JP4872911B2 - 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム - Google Patents

撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム Download PDF

Info

Publication number
JP4872911B2
JP4872911B2 JP2007511739A JP2007511739A JP4872911B2 JP 4872911 B2 JP4872911 B2 JP 4872911B2 JP 2007511739 A JP2007511739 A JP 2007511739A JP 2007511739 A JP2007511739 A JP 2007511739A JP 4872911 B2 JP4872911 B2 JP 4872911B2
Authority
JP
Japan
Prior art keywords
pixel
noise reduction
determined
value
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007511739A
Other languages
English (en)
Other versions
JPWO2007020930A1 (ja
Inventor
弘征 木下
ケイ チョウ
真博 伊東
啓 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007511739A priority Critical patent/JP4872911B2/ja
Publication of JPWO2007020930A1 publication Critical patent/JPWO2007020930A1/ja
Application granted granted Critical
Publication of JP4872911B2 publication Critical patent/JP4872911B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

この発明は、撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラムに関し、映像信号や画像信号に含まれる雑音（ノイズ）を効果的に除去することができる撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラムに関する。
近年の撮像装置に備えられる撮像素子の画素数増加は目覚しく、撮像素子の解像度は人間の眼では判定できないほど滑らかな粒状性を持つレベルに達しつつある。この状況下において画質に対する要求は解像感から、例えばノイズ感の低減へと移行しつつある。ノイズ感を低減させるために、撮像装置では撮像素子から得られる撮像信号に対してノイズリダクション（雑音低減処理）が行われる。
特開平６−８６１０４号公報には、ε（イプシロン）フィルタリングを利用してノイズリダクション（ＮＲ）を行うノイズリダクション装置が記載されている。
特開平６−８６１０４号公報
第１図Ａおよび第１図Ｂを用いてεフィルタリングを利用したノイズリダクションについて説明する。第１図Ａは画像の平坦部における隣接する複数の画素レベル（画素値とも称される）を示す。例えば、ノイズリダクションを施す対象である注目画素（又は対象画素という）１０１に対して検波領域を左右３つずつの周辺画素に設定し、平滑化を行うとする。ここで、注目画素１０１と周辺画素１０２〜周辺画素１０７とは同色成分の画素である。
検波領域内の周辺画素１０２〜周辺画素１０７はそれぞれノイズがない場合の画素レベルとの差（レベル差）を有する。このレベル差がノイズとなって表示される。ここで注目画素と検波領域内のそれぞれの周辺画素とのレベル差分の絶対値が注目画素の値を中心として設定された閾値内であれば、周辺画素１０２〜周辺画素１０７をノイズリダクションに使用できる画素と判別する。そして、注目画素１０１と周辺画素１０２〜周辺画素１０７の画素レベルの加算平均を算出してフィルタ処理を行う。なお、第１図Ａに示した例では左右方向を例にしているが、検波枠が平面方向領域を成すものであれば上下や斜め方向にも同様である。
εフィルタリングを利用したノイズリダクションでは、注目画素と検波領域内の周辺画素とのレベル差分の絶対値が一定の閾値内にある画素を信号成分に関して相関があるものと判別し、注目画素および注目画素と相関があると判別された周辺画素の画素レベルの加算平均を算出する。また、εフィルタリングを利用したノイズリダクションでは、例えばエッジ部（輪郭部）のように注目画素とのレベル差が大きい画素は用いられない。従って、第１図Ａに示すような画像の平坦部ではエッジをなまらせず、また周波数特性の劣化を極力抑えつつノイズリダクションを行うことができる。
しかしながら、上述した従来のノイズリダクションには以下のような問題点があった。第１図Ｂは、レベルが面内で徐々に変化していく画像のランプ部における各画素の画素レベルを示す。第１図Ｂに示すように検波領域内の複数の周辺画素の中で、注目画素２０１とのレベル差分の絶対値が閾値内の画素は、周辺画素２０４および周辺画素２０５である。画像のランプ部で注目画素２０１と周辺画素２０４および周辺画素２０５とを使用して平滑化を行っても、画像の平坦部に比べて加算平均を算出するために用いる画素数が少なくなってしまう。従って、ランプ部におけるノイズリダクションの効果が十分でないという問題があった。また、注目画素と周辺画素の画素レベルを使用して加算平均処理を行うことで処理後の出力画像の周波数特性を劣化させてしまう。このことは、画像の平坦部では大きな問題とならないが、画像の高周波領域ではノイズを除去すると共に周波数特性を劣化させ、処理後の出力画像がぼけてしまう問題があった。
また、平坦部とランプ部が混在する画像においては、平坦部ではノイズリダクションの効果が得られるがランプ部では効果が落ちるため、結果的にランプ部のノイズ感を際立たせてしまうという問題があった。また、従来のノイズリダクションでは、どの周辺画素がノイズリダクションに用いられるかによってはノイズリダクション後に注目画素の重心をずらしてしまい、画像内の直線性を著しく失わせてしまうという問題があった。また、注目画素に例えばインパルス状の突出したノイズがのっていた時はノイズリダクション効果を望めないという問題があった。
さらに、ノイズリダクションは同色成分の注目画素および周辺画素を使用して行われるが、撮像素子に設けられるカラーフィルタによっては注目画素と同色成分の周辺画素が少なくなってしまう。例えば、三原色信号（Ｒ（赤）Ｇ（緑）Ｂ（青））のカラーフィルタの場合は、人間の視感度特性等を考慮してＧフィルタが多く配列されることが多いためＲフィルタとＢフィルタが相対的に少なくなる。従って、例えばＲ成分の注目画素に対してノイズリダクションを施すときには、ノイズリダクションの効果を得るべく検波領域内のＲ成分の画素数が多くなるように検波領域を広めに設定する必要があるが、検波領域を広く設定することでラインメモリが増加して回路規模が大きくなってしまうという問題があった。また、検波領域を広くすると注目画素と周辺画素との相関が弱くなりノイズ低減効果が低くなるおそれがあった。
したがって、この発明の目的は、画像の平坦部およびランプ部のいずれに対してもノイズリダクションを行うことができる撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラムを提供することである。
また、この発明の他の目的は、検波領域内で同色成分の画素が少ない成分の画素に対してもノイズリダクションを行うことができる撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラムを提供することである。
上述した課題を解決するために、第１の発明は、撮像部と、撮像部から得られる撮像信号に対してノイズリダクションを行うノイズリダクション装置とを備え、ノイズリダクション装置は、ノイズリダクションをしようとする注目画素と、注目画素と同色成分である複数の周辺画素とを取り出す取り出し手段と、注目画素と周辺画素との間にエッジが存在するか否かを検出するエッジ検出手段と、エッジ検出手段によりエッジが存在しないと判別されるときは周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは周辺画素はノイズリダクションに使用できないと判別する判別手段と、注目画素の画素値と、判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理手段と、注目画素の画素値と、判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理手段と、第１の処理手段の出力値と第２の処理手段の出力値とを、重み係数を使用して重み付け加算する重み付け加算手段とを備える撮像装置である。
また、第２の発明は、ノイズリダクションをしようとする注目画素と、注目画素と同色成分である複数の周辺画素とを取り出す取り出し手段と、注目画素と周辺画素との間にエッジが存在するか否かを検出するエッジ検出手段と、エッジ検出手段によりエッジが存在しないと判別されるときは周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは周辺画素はノイズリダクションに使用できないと判別する判別手段と、注目画素の画素値と、判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理手段と、注目画素の画素値と、判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理手段と、第１の処理手段の出力値と第２の処理手段の出力値とを、重み係数を使用して重み付け加算する重み付け加算手段とを備えるノイズリダクション装置である。
また、第３の発明は、ノイズリダクションをしようとする注目画素と、注目画素と同色成分である複数の周辺画素とを取り出す取り出しステップと、注目画素と周辺画素との間にエッジが存在するか否かを検出するエッジ検出ステップと、エッジ検出ステップにおいてエッジが存在しないと判別されるときは周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは周辺画素はノイズリダクションに使用できないと判別する判別ステップと、注目画素の画素値と、判別ステップにおいてノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理ステップと、注目画素の画素値と、判別ステップにおいてノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理ステップと、第１の処理ステップの出力値と第２の処理ステップの出力値とを、重み係数を使用して重み付け加算する重み付け加算ステップとからなるノイズリダクション方法である。
また、第４の発明は、コンピュータに、ノイズリダクションをしようとする注目画素と、注目画素と同色成分である複数の周辺画素とを取り出す取り出しステップと、注目画素と周辺画素との間にエッジが存在するか否かを検出するエッジ検出ステップと、エッジ検出ステップにおいてエッジが存在しないと判別されるときは周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは周辺画素はノイズリダクションに使用できないと判別する判別ステップと、注目画素の画素値と、判別ステップにおいてノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理ステップと、注目画素の画素値と、判別ステップにおいてノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理ステップと、第１の処理ステップの出力値と第２の処理ステップの出力値とを、重み係数を使用して重み付け加算する重み付け加算ステップとを実行させるプログラムである。
また、第５の発明は、撮像部と、撮像部から得られる撮像信号に対してノイズリダクションを行うノイズリダクション装置とを備え、ノイズリダクション装置は、ノイズリダクションをしようとする注目画素と、注目画素と同色成分である複数の周辺画素とを取り出す取り出し手段と、注目画素と周辺画素との間にエッジが存在するか否かを検出するエッジ検出手段と、エッジ検出手段によりエッジが存在しないと判別されるときは周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは周辺画素はノイズリダクションに使用できないと判別する判別手段と、注目画素が孤立点であるか否かを判別する孤立点判別手段と、注目画素の画素値と、判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理手段と、注目画素の画素値と、判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理手段と、第１の処理手段の出力値と第２の処理手段の出力値とを、重み係数を使用して重み付け加算する重み付け加算手段と、注目画素の画素値と、判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値と、判別手段によってノイズリダクションに使用できないと判別された周辺画素の画素値とを使用して、周波数特性を保持しつつノイズ低減処理を行う第３の処理手段とを備え、孤立点判別手段で注目画素が孤立点ではないと判別されたときには、重み付け加算手段の出力値を注目画素の画素値と置換して出力し、孤立点判別手段で注目画素が孤立点であると判別されたときには、第３の処理手段の出力値を注目画素の画素値と置換して出力するようにした撮像装置である。
また、第６の発明は、ノイズリダクションをしようとする注目画素と、注目画素と同色成分である複数の周辺画素とを取り出す取り出し手段と、注目画素と周辺画素との間にエッジが存在するか否かを検出するエッジ検出手段と、エッジ検出手段によりエッジが存在しないと判別されるときは周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは周辺画素はノイズリダクションに使用できないと判別する判別手段と、注目画素が孤立点であるか否かを判別する孤立点判別手段と、注目画素の画素値と、判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理手段と、注目画素の画素値と、判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理手段と、第１の処理手段の出力値と第２の処理手段の出力値とを、重み係数を使用して重み付け加算する重み付け加算手段と、注目画素の画素値と、判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値と、判別手段によってノイズリダクションに使用できないと判別された周辺画素の画素値とを使用して、周波数特性を保持しつつノイズ低減処理を行う第３の処理手段とを備え、孤立点判別手段で注目画素が孤立点ではないと判別されたときには、重み付け加算手段の出力値を注目画素の画素値と置換して出力し、孤立点判別手段で注目画素が孤立点であると判別されたときには、第３の処理手段の出力値を注目画素の画素値と置換して出力するようにしたノイズリダクション装置である。
また、第７の発明は、ノイズリダクションをしようとする注目画素と、注目画素と同色成分である複数の周辺画素とを取り出す取り出しステップと、注目画素と周辺画素との間にエッジが存在するか否かを検出するエッジ検出ステップと、エッジ検出ステップによりエッジが存在しないと判別されるときは周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは周辺画素はノイズリダクションに使用できないと判別する判別ステップと、注目画素が孤立点であるか否かを判別する孤立点判別ステップと、注目画素の画素値と、判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理ステップと、注目画素の画素値と、判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理ステップと、第１の処理ステップによる出力値と第２の処理ステップによる出力値とを、重み係数を使用して重み付け加算する重み付け加算ステップと、注目画素の画素値と、判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値と、判別ステップによってノイズリダクションに使用できないと判別された周辺画素の画素値とを使用して、周波数特性を保持しつつノイズ低減処理を行う第３の処理ステップとを備え、孤立点判別ステップで注目画素が孤立点ではないと判別されたときには、重み付け加算ステップによる出力値を注目画素の画素値と置換して出力し、孤立点判別ステップで注目画素が孤立点であると判別されたときには、第３の処理ステップによる出力値を注目画素の画素値と置換して出力するようにしたノイズリダクション方法である。
また、第８の発明は、ノイズリダクションをしようとする注目画素と、注目画素と同色成分である複数の周辺画素とを取り出す取り出しステップと、注目画素と周辺画素との間にエッジが存在するか否かを検出するエッジ検出ステップと、エッジ検出ステップによりエッジが存在しないと判別されるときは周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは周辺画素はノイズリダクションに使用できないと判別する判別ステップと、注目画素が孤立点であるか否かを判別する孤立点判別ステップと、注目画素の画素値と、判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理ステップと、注目画素の画素値と、判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理ステップと、第１の処理ステップによる出力値と第２の処理ステップによる出力値とを、重み係数を使用して重み付け加算する重み付け加算ステップと、注目画素の画素値と、判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値と、判別ステップによってノイズリダクションに使用できないと判別された周辺画素の画素値とを使用して、周波数特性を保持しつつノイズ低減処理を行う第３の処理ステップとを備え、孤立点判別ステップで注目画素が孤立点ではないと判別されたときには、重み付け加算ステップによる出力値を注目画素の画素値と置換して出力し、孤立点判別ステップで注目画素が孤立点であると判別されたときには、第３の処理ステップによる出力値を注目画素の画素値と置換して出力するようにしたノイズリダクション方法をコンピュータに実行させるプログラムである。
上述したように、第１、第２、第３および第４の発明は、ノイズリダクションをしようとする注目画素と、注目画素と同色成分である複数の周辺画素とを取り出し、注目画素と周辺画素との間にエッジが存在するか否かを検出してエッジが存在しないと判別されるときは周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは周辺画素はノイズリダクションに使用できないと判別し、注目画素の画素値と、ノイズリダクションに使用できると判別された周辺画素の画素値とを使用して行うノイズ低減処理の出力値と、注目画素の画素値と、判別ステップにおいてノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつ行うノイズ低減処理の出力値とを、重み係数を使用して重み付け加算するようにしているため、注目画素に対するノイズリダクションを適切に行うことができる。
また、第５、第６、第７および第８の発明は、ノイズリダクションをしようとする注目画素と、注目画素と同色成分である複数の周辺画素とを取り出し、注目画素と周辺画素との間にエッジが存在するか否かを検出してエッジが存在しないと判別されるときは周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは周辺画素はノイズリダクションに使用できないと判別し、注目画素が孤立点であるか否かを判別し、注目画素の画素値とノイズリダクションに使用できると判別された周辺画素の画素値とを使用して行うノイズ低減処理による出力値と、注目画素の画素値と判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつ行うノイズ低減処理による出力値とを、重み係数を使用して重み付け加算し、孤立点判別ステップで注目画素が孤立点ではないと判別されたときには、重み付け係数を使用して注目画素の画素値とノイズリダクションに使用できると判別された周辺画素の画素値とを使用して行うノイズ低減処理による出力値と、注目画素の画素値と判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつ行うノイズ低減処理による出力値とを加算した出力値を注目画素の画素値と置換して出力し、注目画素が孤立点であると判別されたときには、注目画素の画素値とノイズリダクションに使用できると判別された周辺画素の画素値とノイズリダクションに使用できないと判別された周辺画素の画素値とを使用して周波数特性を保持しつつ行うノイズ低減処理による出力値を注目画素の画素値と置換して出力するようにしているため、注目画素が孤立点であっても、ノイズリダクションを適切に行うことができる。
第１、第２、第３および第４の発明によれば、ノイズリダクションをしようとする注目画素に対して、ノイズリダクション効果が得られる。また、平坦部およびランプ部のいずれに対してもノイズリダクション効果にばらつきのないノイズリダクションを行うことができる。さらに、検波領域内に同色成分の画素が少ない画素に対してもノイズリダクション効果を得られるノイズリダクションを行うことができる。
第５、第６、第７および第８の発明によれば、ノイズリダクションをしようとする注目画素に対してノイズリダクション効果が得られ、平坦部およびランプ部のいずれに対してもノイズリダクション効果にばらつきのないノイズリダクションを行うことができ、検波領域内に同色成分の画素が少ない画素に対してもノイズリダクション効果を得られるノイズリダクションを行うことができると共に、注目画素が孤立点であっても、適切にノイズリダクションを行うことができる。
この発明は、ディジタルビデオカメラやディジタルスチルカメラ等の撮像装置のほか、撮像機能を有する携帯電話機やＰＤＡ（Personal Digital Assistants）に対しても適用することができる。また、上述した処理機能は、プログラムとしてパーソナルコンピュータによって実現される。処理内容を記述したプログラムは、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリ等のコンピュータが読み取り可能な記録媒体に記録しておくことができる。
以下、図面を参照しながらこの発明の一実施形態について説明する。第２図はこの発明の一実施形態における撮像装置１の主要な構成を示す。撮像装置１は、撮像素子２、ディレイラインブロック３、ノイズリダクション処理ブロック４、カメラ信号処理ブロック５を含む構成とされる。
撮像素子２は例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサであり、図示しない光学系（レンズ、赤外線除去フィルタ、光学的ローパスフィルタ等を含む）により集光された光を電気信号に変換する。ＣＯＭＳセンサ２は例えばフォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成されている。この一実施形態では撮像素子２をＣＭＯＳセンサとして説明するが、ＣＣＤ(Charge Coupled Device)でも良い。
ＣＭＯＳセンサ２から出力される画像信号は、ディレイラインブロック３に供給される。後述するノイズリダクション処理では、垂直方向に遅延された任意のライン数の入力を必要とするため、ディレイラインブロック３ではライン遅延処理が行われる。
ディレイラインブロック３において遅延処理がされた画像信号は、ノイズリダクションブロック４に供給される。ノイズリダクションブロック４では、設定された検波枠内の注目画素に対してノイズリダクションが行われる。
ノイズリダクションブロック４から出力された画像信号はカメラ信号処理ブロック５に供給される。カメラ信号処理部５は例えば１チップのＩＣとして構成され、ＡＦ(Auto Focus)、ＡＥ(Auto Exposure)、ホワイトバランス処理、ガンマ補正、ニー補正等の処理を行う。また、カメラ信号処理ブロック５は入力される画像信号の解像度を必要に応じて変換する解像度変換処理を行う。カメラ信号処理ブロック５では上述したような信号処理が行われ、さらに輝度信号と色差信号が生成されてカメラ信号処理ブロック５から出力される。
なお、カメラ信号処理ブロック５は、ノイズリダクションブロック４の前段に位置する構成としても良い。すなわち、カメラ信号処理ブロック５から出力される輝度信号および色差信号に対してノイズリダクションブロック４においてノイズリダクションが行われるようにしても良い。
また、ノイズリダクションブロック４を複数個設けても良い。ノイズリダクションブロック４を複数個設けることで撮像素子の画素配列に対して複数の検波枠を設定し、それぞれの検波枠内の注目画素に対してノイズリダクションをパラレル（並列的）に行うことができる。
続いて、この発明の一実施形態におけるノイズリダクションブロック４の構成の一例を説明する。ノイズリダクションブロック４は、ＬＰＦ(Low Pass Filter)１１、二次微分処理部１２、画素判別部１３、閾値演算部１４、対称処理部１５、加算平均処理部１６、メディアンフィルタ１７、乗算器１８、乗算器１９、重み係数発生部２０、重み係数発生部２１、加算器２２を含む構成とされる。
ＬＰＦ１１は、二次微分処理部１２において行われる二次微分の二次微分方向と直交する方向に対して平滑化処理を行い、必要に応じて補間処理を行う。このＬＰＦ１１における平滑化処理および補間処理により、ノイズリダクションブロック４に供給される画像信号に含まれるインパルス状の雑音を除去することができる。
エッジ検出手段の一例である二次微分処理部１２は、検波領域内の注目画素の画素レベルと、注目画素と同色成分の周辺画素の画素レベルを使用して二次微分を行う。二次微分処理により得られた値の絶対値（以下、適宜、二次微分値と称する）は、判別手段の一例である画素判別部１３に供給される。また、画素判別部１３には閾値演算部１４において算出された閾値情報が供給される。
画素判別部１３は、二次微分処理で得られた二次微分値と、閾値演算部１４から供給される閾値とを比較する。そして二次微分値が閾値より小さい場合は、周辺画素をノイズリダクションに使用できるとし、二次微分値が閾値より大きい場合は、周辺画素をノイズリダクションには使用できないとする。
画素判別部１３における判別処理の結果は対称処理部１５に供給される。対称処理部１５は、画素判別部１３においてノイズリダクションに使用できると判別された周辺画素が、注目画素を中心として点対称の位置関係にあるか否かの判別を行う。そして、注目画素を中心として点対称の位置関係にある周辺画素をノイズリダクションに使用できる画素と判別する。なお、この対称処理部１５における処理は、画素判別部１３において行われても良い。
対称処理部１５における対称判別処理によってノイズリダクションに使用できる周辺画素が決定する。第１の処理手段の一例である加算平均処理部１６は、注目画素の画素レベルと、ノイズリダクションに使用できると判別された周辺画素の画素レベルとを使用して加算平均処理を行う。加算平均処理は、注目画素の画素レベルとノイズリダクションに使用できると判別された周辺画素の画素レベルとを加算し、加算結果を加算数により除算することで平均値を算出する。算出された値（以下、適宜、加算平均値と称する）が加算平均処理部１６から出力されて乗算器１８に対して供給される。
第２の処理手段の一例であるメディアンフィルタ１７は、注目画素の画素レベルと、ノイズリダクションに使用できると判別された周辺画素の画素レベルとの中から略中央の値を選択する。選択された画素レベルの値（以下、適宜、メディアン値と称する）がメディアンフィルタ１７から出力されて乗算器１９に対して供給される。
一方、対称処理部１５においてノイズリダクションに使用できる周辺画素が決定すると、ノイズリダクションに使用される画素の画素数（以下、適宜、ノイズリダクション使用画素数と称する）の情報が重み係数発生部２０に供給される。ノイズリダクション使用画素数は、対称処理部１５においてノイズリダクションに使用できると判別された周辺画素の画素数と、注目画素との合計数である。
重み係数発生部２０は、例えば対称処理部１５から供給されるノイズリダクション使用画素数に応じて適応的に重み係数αの値（但し、０≦α≦１とされる）を決定する。重み係数発生部２０において決定された重み係数α（以下、適宜、係数αと略す）の値は、乗算器１８に供給される。また、重み係数発生部２１では、係数αの値に応じて重み係数（１−α）が計算され、計算された重み係数（１−α）（以下、適宜、係数（１−α）と略す）の値は乗算器１９に供給される。
乗算器１８では、加算平均処理部１６から出力される加算平均値に係数αが乗算され、乗算結果の値が加算器２２に供給される。また、乗算器１９では、メディアンフィルタ１７から出力されるメディアン値に係数（１−α）が乗算されて、乗算結果の値が加算器２２に供給される。
加算器２２では、乗算器１８と乗算器１９から供給されるそれぞれの値を加算する。そして、注目画素の画素レベルが、加算器２２において得られた値に置き換えられてノイズリダクションブロック４から出力される。
ノイズリダクションブロック４において行われるノイズリダクション処理をより詳細に説明する。
第３図は、この発明の一実施形態におけるＣＯＭＳセンサ２に設けられるカラーフィルタの配列を示す。第３図に示すカラーフィルタ配列は、正方格子状の配列を４５°傾けると共に、ＲおよびＢの各フィルタの周囲の全てをＧフィルタで囲んだ構成とされる。この構成によりＲ・Ｂ成分についての人間の視感度特性上、必要十分な空間周波数特性が得られながらも、これらの成分より人間の感度が高いＧ成分の空間周波数特性を従来のベイヤ配列よりも高めることが可能となる。Ｇ成分は、輝度信号を生成する上で主成分となるものであり、これにより無彩色の被写体だけでなく、有彩色の被写体に対する輝度の解像度が高められ画質が向上する。
第３図に示すカラーフィルタ配列においては、第４図の点線矢印で示すように、１水平同期期間内に隣接する２行の画素を交互に読み出す方法を基本としている。すなわち、出力チャネルが１つだけのときはこのようにして順に走査して読出しを行う。
第５図は、上述したカラーフィルタを備えるＣＭＯＳセンサ２に設定される検波枠の一例を示す。カラーフィルタ配列において人間の感度の高いＧ成分が多く配列されているため、検波枠内のＲ・Ｂ成分の画素数が少なくなってしまう。例えば、第５図において太線で囲まれた検波枠内では、Ｒ成分の注目画素の周辺に存在する同色成分の周辺画素は８個しかない。このように、同色成分の周辺画素の画素数が少なくなると、加算平均処理によるノイズ低減効果が低くなるおそれもある。このため、この発明の一実施形態ではメディアンフィルタによる処理を平行して行い、加算平均処理とメディアンフィルタの結果を重み付け加算することで、検波枠内に同色成分の画素数が少ない場合でもノイズリダクションの効果を得ることができるようにした。
撮像素子から得られた画像信号から各色チャネル毎に分離される。第６図は、一例として第５図に示した検波枠内のＲ成分の画素を取り出して示したものである。ノイズリダクションをしようとする注目画素をＲｃとし、注目画素Ｒｃの周辺には、周辺画素Ｒ１１、周辺画素Ｒ１２、周辺画素Ｒ１３、周辺画素Ｒ２１、周辺画素Ｒ２３、周辺画素Ｒ３１、周辺画素Ｒ３２、周辺画素Ｒ３３が存在する。この検波枠の広さは任意に設定することができる。
また、検波枠内の注目画素と周辺画素に対して二次微分方向が規定される。すなわち、第７図に示すように注目画素Ｒｃを中心に、横（水平）方向Ｄ１、縦（垂直）方向Ｄ２、斜め方向Ｄ３および斜め方向Ｄ４の合計４個の二次微分方向が規定される。
第８図Ａは、ＬＰＦ１１で行われる平滑化処理の一例を示す。平滑化処理は、二次微分方向と直交する方向に対して行われる。例えば、水平方向の二次微分方向に対しては、周辺画素Ｒ１１、周辺画素Ｒ１２、周辺画素Ｒ１３の配列、周辺画素Ｒ２１、周辺画素Ｒｃ、周辺画素Ｒ２３の配列、周辺画素Ｒ３１、周辺画素Ｒ３２、周辺画素Ｒ３３の配列に対して平滑化が行われる。平滑化は、各画素の画素レベルを加算し、加算数を除算する方法で行われる。例えば、周辺画素Ｒ１１、周辺画素Ｒ１２、周辺画素Ｒ１３の画素レベルを加算し、加算数である３で除算した値を周辺画素Ｒ１２の画素レベルとして置き換える。
ＬＰＦ１１では、必要に応じて補間処理も行われる。第８図Ｂは、ＬＰＦ１１で行われる補間処理を示す。撮像素子に設けられるカラーフィルタの配列によっては、第８図Ａおよび第８図Ｂに示すように周辺画素Ｒ４１、周辺画素Ｒ４２、周辺画素Ｒ５１および周辺画素Ｒ５２が存在し得る。このようなときは、２画素の加算平均した値を、二次微分方向で画素が存在しない位置に補間する補間画素の画素レベルとする処理が行われる。例えば、周辺画素Ｒ４１および周辺画素Ｒ４２の画素レベルの加算平均を算出して、算出された値を画素レベルとする補間画素を補間する。
ＬＰＦ１１では、水平方向だけでなく垂直方向および左右斜め方向に関しても同様に二次微分方向と直交する方向に平滑化処理（必要に応じて補間処理）が行われる。また、例えば周辺画素Ｒ１１、周辺画素Ｒ１３、周辺画素Ｒ３１および周辺画素Ｒ３３のように検波領域内の画素のみで平滑化処理を行うことができない周辺画素に対しては、検波領域外の画素を使用して平滑化処理を行っても良いし、平滑化処理を行わないようにしても良い。このＬＰＦ１１における平滑化処理によって、各画素のインパルス状のノイズを除去することができる。
第９図は、二次微分処理部１２において二次微分を行う、例えば水平方向の画素の配列を示す。平滑化処理がなされた注目画素Ｒｃ、周辺画素Ｒ１２、周辺画素Ｒ３２に対して二次微分処理が行われる。二次微分は、例えば適切に設定された３タップの係数を各画素レベルに乗算して、乗算結果を加算することで行われる。３タップの係数は、例えば（−１、２、−１）のように固定的に設定しても良いし、適応的に設定しても良い。
二次微分処理部１２において得られた二次微分値は画素判別部１３に供給され、閾値と比較される。ここで閾値は、閾値演算部１４から供給された値である。閾値は、閾値演算部１４において例えば注目画素の画素レベルを基にノイズリダクションの目的に応じて算出され、若しくは任意に設定される値である。例えば、光ショットノイズのノイズリダクションを目的とするならば、閾値は注目画素の画素レベルの平方根の定数倍に設定される。また、光ショットノイズとランダムノイズのノイズリダクションを目的とするならば、閾値は注目画素の画素レベルの平方根の定数倍に別の定数（ランダムノイズレベルを意味する定数や変数）を加算した値に設定される。
画素判別部１３において二次微分値と閾値との比較が行われる。二次微分値が閾値以下であれば、注目画素と周辺画素の間にはエッジが存在しないと判別し、ノイズリダクションに使用できる周辺画素の候補とする。また、二次微分値が閾値より大きい場合は、注目画素と周辺画素の間にエッジが存在すると判別し、ノイズリダクションには使用できない画素と判別する。
第１０図Ａ〜第１０図Ｅを用いて画素判別部１３の処理の一例を説明する。第１０図Ａ〜第１０図Ｅでは、説明をわかりやすくするために注目画素をＡとし、周辺画素をＢおよびＣとする。また、第１０図Ａ〜第１０図Ｅに示す例では周辺画素Ｂをノイズリダクションに使用できる画素か否かを判別する対象の画素とし、ここでは判別画素Ｂと称する。
第１０図Ａは、注目画素Ａ、判別画素Ｂおよび周辺画素Ｃが画像の平坦部に位置する場合を示す。この場合は、二次微分を行うと二次微分値が０となり（実際には一次微分によって０となる）閾値以下となることから、判別画素Ｂおよび周辺画素Ｃは注目画素Ａに対して相関を有しているものとし、判別画素Ｂはノイズリダクションに使用できる画素の候補とされる。
第１０図Ｂは、注目画素Ａ、判別画素Ｂおよび周辺画素Ｃが画像のランプ部に位置する場合を示す。この場合では、１次関数で変化するランプ部を一次微分した場合には傾きに対応する一定の値が保たれ、さらに一定の値を二次微分すると値が０になる。従って、二次微分値は閾値以下となることから、判別画素Ｂおよび周辺画素Ｃは注目画素Ａに対して相関を有しているものとし、判別画素Ｂはノイズリダクションに使用できる画素の候補とされる。
第１０図Ｃや第１０図Ｄは、画像の平坦部やランプ部におけるある画素（ここでは注目画素Ａとする）にノイズがのっている場合を示す。第１０図Ｃや第１０図Ｄの場合は、二次微分値は０にはならないが、二次微分値が閾値以下であればノイズ成分を検出したものとし、エッジが存在しない平坦部またはランプ部と判別する。そして、判別画素Ｂおよび周辺画素Ｃは注目画素Ａに対して相関を有しているものとし、判別画素Ｂはノイズリダクションに使用できる画素の候補とされる。
第１０図Ｅは、例えば注目画素Ａと周辺画素Ｃの間にエッジが存在する場合を示す。エッジが存在することで、注目画素Ａと周辺画素Ｃの画素レベルの差は大きいもとなり、二次微分値は適切に設定された閾値より大きくなる。二次微分値が閾値より大きい場合は注目画素と周辺画素との間にエッジが存在するものと判別する。エッジを跨ぐ周辺画素は注目画素との相関を有しないため、ノイズリダクションには使用できないものとする。
第１０図Ｅでは注目画素Ａと周辺画素Ｃの間にエッジが存在するとしているが、判別画素Ｂをノイズリダクションに使用できないと判別する。これは、二次微分処理では、注目画素Ａと判別画素Ｂの間または注目画素Ａと周辺画素Ｃの間のいずれか一方にエッジが存在することしか判別できないため、判別画素Ｂもノイズリダクションに使用できないと判別する。また、注目画素の位置に対して、エッジが存在すると判別された画素を跨ぐ位置にある画素（例えば第１０図Ｅでは周辺画素Ｄ）もノイズリダクションに使用できないと判別する。これは、エッジを跨いだ位置にある周辺画素Ｄが注目画素Ａと相関を有していると判別されていても周辺画素Ｄの画素レベルが本来の画素レベルか若しくはノイズの影響によりたまたま注目画素Ａと相関を有していると判別されたのかの区別がつかず、誤判別の原因となるからである。
上述したように、閾値と比較する対象を従来のレベル差とは異なり二次微分値とすることで、特に画像のランプ部においてノイズリダクションに使用できる画素数が減少することを防ぐことができる。
なお、二次微分処理は、注目画素の近傍（例えば隣接する）に位置し、且つ点対称の位置関係にある周辺画素から行うことで、周辺画素の画素数が多くなる場合も二次微分処理の処理ステップ数を少なくすることができる。例えば、第１１図に示すように注目画素Ｒｃの近傍に位置し、かつ点対称の位置関係にある周辺画素Ｒ４３、周辺画素Ｒ５３と注目画素Ｒｃとを使用して二次微分処理が行われる（処理１）。ここで二次微分値が閾値より大きければ、注目画素Ｒｃと、周辺画素Ｒ４３または周辺画素Ｒ５３との間にはエッジが存在するものと判別する。そして周辺画素Ｒ４３および周辺画素Ｒ５３、注目画素Ｒｃに対して周辺画素Ｒ４３および周辺画素Ｒ５３を跨ぐ位置にある周辺画素Ｒ１２および周辺画素Ｒ２３をノイズリダクションに使用できない周辺画素と判別する。つまり、周辺画素Ｒ１２と周辺画素Ｒ４３の間や周辺画素Ｒ５３と周辺画素Ｒ２３との間にエッジが存在するかを調べることなく、周辺画素Ｒ１２および周辺画素Ｒ２３をノイズリダクションに使用できない周辺画素と判別できるので、二次微分処理のステップ数を少なくすることができる。二次微分値が閾値より小さい場合は、例えば処理２、処理３、処理４の組み合わせによって順次、二次微分処理が行われる。
また、ＬＰＦ１１において補間処理が行われた場合は、補間画素は二次微分処理には使用されるが、補間画素をノイズリダクションに使用できるか否かの判別は行わない。言い換えれば、補間画素を用いてのノイズリダクションは行わない。
二次微分処理は、垂直方向、左右斜め方向に関しても同様に行われ、複数の周辺画素の中でノイズリダクションに使用できる周辺画素の候補が判別される。ノイズリダクションに使用できると判別された周辺画素の情報は対称処理部１５に供給される。
対称処理部１５においては、画素判別部１３においてノイズリダクションに使用できると候補された周辺画素が、注目画素を中心として点対称の位置関係にあるか否かの判別が行われる。そして点対称の位置関係にある周辺画素をノイズリダクションに使用できる周辺画素と判別する。
例えば、第１２図に示すように、画素判別部１３において注目画素Ｒｃに対して、周辺画素Ｒ１１、周辺画素Ｒ１２、周辺画素Ｒ１３、周辺画素Ｒ２１、周辺画素Ｒ２３、周辺画素Ｒ３１、周辺画素Ｒ３２がノイズリダクションに使用できる画素の候補と判別されたとする。対称処理部１５では、それぞれの周辺画素が注目画素Ｒｃを中心として点対称の位置関係にあるか否かの判別が行われる。
例えば、周辺画素Ｒ２１と周辺画素Ｒ２３とは注目画素Ｒｃを中心として点対称の位置関係にあるので、周辺画素Ｒ２１および周辺画素Ｒ２３はノイズリダクションに使用できる周辺画素と判別される。同様に、周辺画素Ｒ１３と周辺画素Ｒ３１とは注目画素Ｒｃを中心として点対称の位置関係にあるので、周辺画素Ｒ１３および周辺画素Ｒ３１はノイズリダクションに使用できる周辺画素と判別される。また、周辺画素Ｒ１２と周辺画素Ｒ３２とは注目画素Ｒｃを中心として点対称の位置関係にあるので、周辺画素Ｒ１２および周辺画素Ｒ３２はノイズリダクションに使用できる周辺画素と判別される。しかしながら、周辺画素Ｒ１１については、点対称の位置関係にある周辺画素Ｒ３３がすでにノイズリダクションに使用できないと判別されているため、周辺画素Ｒ１１はノイズリダクションに使用できない周辺画素と判別される。
このように、注目画素を中心として点対称の位置関係にある周辺画素をノイズリダクションに使用することで、ノイズリダクションによって注目画素が重心ずれを引き起こすことを防ぐことができる。画素の重心ずれとは、ノイズリダクション前の注目画素の位置（空間位相）と、ノイズリダクション後の注目画素の位置（空間位相）がずれることを意味する。例えば、第１２図に示す対称判別処理を行っていないノイズリダクションに使用される候補の周辺画素を全て使用して加算平均処理を行うと、加算平均後の注目画素Ｒｃの画素位置が加算平均前の注目画素Ｒｃの画素位置からずれてしまうおそれがある。画素の重心ずれによりノイズリダクション後の画像の線形性が失われ、例えば直線部分が直線でなくなくなってしまう。対称判別処理によって注目画素Ｒｃの重心ずれを防ぎ、画像の直線性を劣化させることを防ぐことができる。
対称処理部１５における対称処理が終了すると、ノイズリダクションに使用できる周辺画素が決定する。続いて、加算平均処理部１６において加算平均処理が行われる。また、パラレルにメディアンフィルタ１７においてフィルタ処理が行われる。
加算平均処理部１６では、注目画素の画素レベルと、ノイズリダクションに使用できると判別された周辺画素の画素レベルとを使用して加算平均処理が行われる。例えば、第１０図Ａ〜第１０図Ｅを用いて説明した例では注目画素Ｒｃに対して、周辺画素Ｒ１２、周辺画素Ｒ１３、周辺画素Ｒ２１、周辺画素Ｒ２３、周辺画素Ｒ３１および周辺画素Ｒ３２がノイズリダクションに使用できると判別されている。従って、加算平均処理部１６では、注目画素Ｒｃの画素レベルと周辺画素Ｒ１２、周辺画素Ｒ１３、周辺画素Ｒ２１、周辺画素Ｒ２３、周辺画素Ｒ３１および周辺画素Ｒ３２のそれぞれの画素レベルとを加算し、加算して得られる値を加算する画素数である７で除算して加算平均値を得る。得られた加算平均値は乗算器１８に供給される。
加算平均処理部１６における加算処理により、特に画像信号におけるノイズを低減させることができる。
加算平均処理部１６における処理とパラレルにメディアンフィルタ１７においてフィルタ処理が行われる。メディアンフィルタ１７では、注目画素の画素レベルと、ノイズリダクションに使用できる周辺画素の画素レベルの中から略中央の値が選択される。そして、選択されたメディアン値が乗算器１９に供給される。この一実施形態では対称処理部１５において対称判別処理がされていることから、ノイズリダクション使用画素数は点対称の位置関係にある偶数個の周辺画素と注目画素の合計数となり、必ず奇数個となる。従って、メディアンフィルタ１７では中央の値が選択される。
メディアンフィルタ１７におけるメディアンフィルタリング処理により、周波数特性を保持しつつ、ノイズを低減させることができる。しかしながら、周波数特性を保持する、言い換えればエッジがなまることを防ぐため、加算平均処理に比べてノイズを低減させる効果は劣る。
乗算器１８では、加算平均処理部１６から供給される加算平均値に対して係数α（但し、０≦α≦１）が乗算される。また、乗算器１９では、メディアン値に対して係数（１−α）が乗算される。
ここで係数αについて説明する。係数αは、例えば対称処理部１５おいて決定されたノイズリダクション使用画素数に応じて決定される。検波枠内の注目画素に対して、ノイズリダクションに使用できると判別された周辺画素の画素数が多いということは、その検波枠は画像の平坦部に存在することが言える。一方、ノイズリダクションに使用できると判別された周辺画素の画素数が少ないということは、その検波枠は画像のエッジを含むということが言える。従って、周辺画素の画素数が少ないときは検波枠は画像の平坦部であることから、よりノイズ低減効果を得るべく係数αの値を大きくする。他方、周辺画素の画素数が多いときは検波枠は画像のエッジを含むことから、エッジを残しつつノイズを低減できるメディアンフィルタを主に使用するため係数αの値を小さくして係数（１−α）の値を大きくする。
第１３図は、係数αの設定方法の一例を示す。例えば、この一実施形態における検波枠内で全ての周辺画素（８個）がノイズリダクションに使用可能と判別されると、ノイズリダクション使用画素数は９個となる。全ての周辺画素がノイズリダクションに使用可能とされていることから、ノイズを低減させるべく係数αを１に設定する。このとき係数（１−α）の値は０となる。言い換えれば、加算平均値のみを使用して、メディアン値は使用しない。また、ノイズリダクションに使用できる画素数が７個、５個・・と少なくなるにつれ検波枠内にエッジが存在することを意味するから、画像のエッジをなまらせないためメディアンフィルタ１７を主に使うようにする。すなわち、ノイズリダクション使用画素数が少なくなるにつれて係数αの値を０に近づけるようにして、係数（１−α）の値を大きくする。
なお、係数αの値は、必ずしも第１３図に示すように線形に変化させる必要はない。例えばノイズリダクション使用画素数に応じた最適な係数αの値を重み係数発生部２０にテーブルとして記憶するようにしても良い。
また、係数αは被写体の照度変化によって適応的に設定することもできる。例えば、撮像装置の最低被写体照度付近の低照度下において被写体を撮像すると、画像にざらざらとした粒状感のノイズが発生することが多い。従って、低照度下ではよりノイズを低減させるべく係数αの値を大きくする。そして最低被写体照度から徐々に明るくなる毎に、係数αの値を小さくしてメディアン値の割合を多くし、エッジをなまらせないようにしてノイズを低減する。
照度に関する情報は、例えば撮像装置が有する自動露出機能を実行するときに検波される輝度情報を使用する。自動露出機能（ＡＥ(Auto Exposure)とも称される）では、画像信号から輝度情報を検波し、輝度情報をマイクロプロセッサ等の制御部に供給する。制御部は輝度情報に応じてドライバを駆動してレンズの絞りを開閉する制御を行い、撮像素子への入射光量を調節する。この自動露出機能を実行するときに検波される輝度情報を重み係数発生部２０に供給して、輝度情報の輝度レベルに応じて係数αの値が適切に決定されるようにしても良い。
決定された係数αは乗算器１８に対して供給される。また係数（１−α）は乗算器１９に供給される。乗算器１８は、加算平均値に係数αを乗算した値を出力する。乗算器１９は、メディアン値に係数（１−α）を乗算した値を出力する。
加算器２２は、乗算器１８および乗算器１９から出力されたそれぞれの出力値を加算する。そして加算処理により得られた値を注目画素の画素レベルとして置き換えて、ノイズリダクションブロック４から出力する。
このように加算平均とメディアンフィルタリング処理をパラレルに行い、それぞれの処理の出力値を重み係数αを変化させて重み付け加算することで、例えば画像の平坦部またはランプ部にはノイズ低減処理を積極的に行い、画像のエッジを含む部分（高周波部）にはエッジをなまらせず、周波数特性を劣化させないノイズ低減処理を行うようにすることができる。従って、エッジがなまることなく且つノイズが除去された最適な出力画像を得ることができる。
第１４図は、この発明の一実施形態におけるノイズリダクション処理の流れを示すフローチャートである。以下説明する処理は、ハードウェア的に実現されても良いし、プログラムを利用してソフトウェア的に実現されても良い。
ノイズリダクション処理がスタートすると、はじめにステップＳ１では、注目画素を中心に縦、横、左右斜め方向に欠落画素が存在するか否かの判別が行われる。ここで、欠落画素の有無の判別対象となる画素は、注目画素と同色成分または注目画素の画素レベルとのレベル差が一定の範囲内である任意の色成分の画素とされる。
ステップＳ１において欠落画素が存在すると判別されたときは処理がステップＳ２に進む。ステップＳ２では、ＬＰＦ１１において、二次微分方向と直交する方向から欠落画素を補間する処理が行われる。補間処理が終了した後は再び処理がステップＳ１に進む。なお、この補間処理において縦方向、横方向、左右斜め方向の全ての画素に対して欠落した画素が存在する場合は、補間するために使用するための周辺画素が存在せず注目画素と欠落画素を結ぶ方向と直交する方向に補間処理を行うことができない。このような場合は、補間処理を行わず、ステップＳ１以降の処理において欠落画素の位置を処理対象から除外する。
ステップＳ１において欠落画素が存在しないと判別されると、処理がステップＳ３に進む。ステップＳ３では、ＬＰＦ１１において二次微分方向と直交する方向から平滑化処理が行われる。このときステップＳ２において補間された補間画素に対しては、補間処理により平滑化も行われていることから、再度平滑化を行う必要はない。
ステップＳ３において平滑化処理が行われると、処理がステップＳ４に進む。ステップＳ４では、二次微分処理部１２において、注目画素を中心として縦、横、斜め方向から二次微分が行われる。二次微分処理は、例えば検波枠内の注目画素を中心として点対称の位置関係にある周辺画素の３画素を使用して行われる。また、二次微分の端の画素と注目画素の間に２画素以上の画素が存在する場合は、注目画素と端の画素に位置する全ての画素を使用した組み合わせで二次微分を行う。
上述したステップＳ１〜ステップＳ４の処理に平行して、ステップＳ５では閾値演算部１４において閾値が算出される。閾値は、例えば注目画素の画素レベルの平方根の実数ａ倍に実数ｂを加算することで算出される。ａおよびｂの値は可変可能な任意の数である。以下に式（１）として示す。なお、式（１）において、Ｌｖは、注目画素の画素レベルを示す。
ａ×Ｌｖ０．５＋ｂ・・・式（１）
続いて処理がステップＳ６に進む。ステップＳ６では、画素判別部１３において二次微分の結果の絶対値である二次微分値と、ステップＳ５で算出された閾値とを比較する。そして処理がステップＳ７に進む。
ステップＳ７では、検波枠内でノイズリダクションに使用できるか否かを判別する判別画素に着目する。続いて処理がステップＳ８に進む。
ステップＳ８では、注目画素と判別画素を使用した二次微分値が閾値より大きいか否かが判別される。二次微分値が閾値より大きい場合は処理がステップＳ９に進む。ステップＳ９では、判別画素がノイズリダクションに使用できないと判別する。また、対称処理を行い、注目画素を中心として判別画素と点対称の位置関係にある周辺画素もノイズリダクションに使用できないと判別する。
ステップＳ８において二次微分値が閾値より小さい場合は、処理がステップＳ１０に進み、判別画素をノイズリダクションに使用できる画素の候補と判別する。そして、さらに対称処理部１５において対称判別処理を行われる。対称判別処理では、注目画素を中心として、ノイズリダクションに使用できる画素の候補とされた判別画素と点対称の位置関係にある周辺画素がノイズリダクションに使用できる画素とされているか否かを判別する。点対称の位置関係にある周辺画素がノイズリダクションに使用できる画素とされていれば、判別画素はノイズリダクションに使用できる画素と決定される。点対称の位置関係にある周辺画素がノイズリダクションに使用できない画素とされていれば、判別画素はノイズリダクションに使用できない画素として再判断される。
続いて、処理がステップＳ１１に進む。ステップＳ１１では検波枠内の全ての判別画素に着目したか否かが判別される。全ての判別画素に着目していないときは、処理がステップＳ１２に進み、判別処理が行われていない判別画素が特定される。そして特定された判別画素に対してステップＳ７以降の処理が行われ、判別画素がノイズリダクションに使用できるか否かが判別される。
ステップＳ１１において、検波枠内の全ての周辺画素に対してノイズリダクションに使用できるか否かの判別が行われると、処理がステップＳ１３に進む。ステップＳ１３では、加算平均処理部１６において注目画素の画素レベルと、ノイズリダクションに使用できると判別された周辺画素の画素レベルの加算平均を計算して加算平均値を算出する。
また、ステップＳ１４では加算平均処理とパラレルに行われる処理として、メディアンフィルタ１７においてメディアンフィルタリング処理が行われる。メディアンフィルタリング処理では注目画素の画素レベルと、ノイズリダクションに使用できると判別された周辺画素の画素レベルの中から中央値であるメディアン値が選択される。
また、加算平均処理およびメディアンフィルタリング処理と平行して係数α（但し、０≦α≦１）を決定する処理が行われる。ステップＳ１５では、ステップＳ１１においてノイズリダクションに使用できると判別された周辺画素の画素数と注目画素の合計の画素数が、ノイズリダクション使用画素数として保持される。
そして処理がステップＳ１６に進み、係数αを決定する処理が行われる。係数αは、重み係数発生部２０に記憶されるテーブルを参照して、ノイズリダクション使用画素数に応じて適応的に決定される。なお、係数αの決定の仕方は上述したようにノイズリダクション使用画素数に応じて決定しても良いし、撮像する被写体の照度に応じて適応的に決定しても良い。
続いて処理がステップＳ１７に進む。ステップＳ１７では、ステップＳ１３において計算された加算平均値に対してステップＳ１６において決定された係数αを乗算する処理と、ステップＳ１４において選択されたメディアン値に対して係数（１−α）を乗算する処理が行われる。そして、それぞれの乗算処理によって得られる値を加算する処理が行われる。
続いて処理がステップＳ１８に進む。ステップＳ１８では、注目画素の画素レベルが、ステップＳ１７における重み付け加算処理によって得られた値に置き換えられる。そしてノイズリダクション処理が終了する。
以上、この発明の一実施形態について具体的に説明したが、この発明は、上述した一実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば、上述した一実施形態ではＲ成分の画素を使用して説明したが、Ｂ成分の画素は勿論のこと、カラーフィルタに多く配列されるＧ成分に対しても適用することができる。また、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）を使用した補色系のカラーフィルタや４色以上の色の配列を有するカラーフィルタにおいても、同色成分の画素を取り出してこの発明によるノイズリダクションを実行することができる。また、第３図を用いて説明したカラーフィルタ配列に限らず、例えばベイヤ配列などのカラーフィルタ配列に対してもこの発明を適用できる。
また、ノイズリダクションブロック４を複数個設けて、パラレルに処理を行うようにしても良い。例えば第１５図に示すように注目画素を画素Ｒ１、Ｇ１、Ｇ２、Ｇ３とし、それぞれの注目画素に検波枠を設定しノイズリダクション処理をパラレルに行う。そして、次の処理では、画素の読出し方向に対応させて、注目画素を画素Ｒ２、Ｇ４、Ｇ５、Ｇ６としてノイズリダクションを行うようにしても良い。
次に、この発明の一実施形態の変形例について説明する。この発明の一実施形態の変形例は、上述の一実施形態によるノイズリダクション処理において、注目画素が周辺画素と比較して特異な値を有する画素である場合に、適切な処理を行うことができるようにするものである。
第１６図Ａ〜第１６図Ｃおよび第１７図Ａおよび第１７図Ｂを用いて、この発明の一実施形態の変形例について概略的に説明する。なお、第１６図Ａ〜第１６図Ｃおよび第１７図Ａおよび第１７図Ｂにおいて、横軸は画素の位置を示し、縦軸は画素レベルを示す。実際の撮像画像においては、第１６図Ａに一例が示されるように、注目画素４０１の画素レベルが、注目画素４０１に対する周辺画素４０２、４０２、・・・の画素レベルに対して特異な値、例えば極端に大きな値である場合が起こり得る。この場合、注目画素４０１は、周辺画素４０２、４０２、・・・と相関が無いと考えられ、周辺の画素に対して孤立している孤立点である。
この孤立点である注目画素４０１に対して、上述した一実施形態によるノイズリダクション処理を行った場合について考える。先ず、ＬＰＦ１１により平滑化処理がなされる。平滑化処理は、既に説明したように、所定範囲の画素について画素レベルを加算し、加算数で除して行う。この平滑化処理によれば、加算数が数点である場合、画素４０１の値に対する平滑効果は、余り期待できないことが考えられる。すなわち、ＬＰＦ１１による平滑化処理の後も、画素４０１の値は、周辺画素４０２、４０２、・・・の値よりも極端に大きい値とされ、注目画素の孤立点としての状態が維持される。
次に、二次微分処理部１２により、二次微分処理が行われる。注目画素の画素４０１の値が周辺画素４０２、４０２、・・・の値より極端に大きいため、二次微分処理の結果も大きい値となる。二次微分処理結果に対する閾値εとして、一実施形態で式（１）を用いて説明した例のように、注目画素レベルの平方根に基づく値を用いる場合、実数ｂの値によっては、二次微分処理の結果、全ての周辺画素４０２、４０２、・・・がノイズリダクション処理に使用できない画素とされる可能性がある。この場合、注目画素４０１のみがノイズリダクション処理に使用可能な画素とされる。
ノイズリダクション処理に使用可能な画素が注目画素４０１の１画素のみである場合、加算平均処理結果とメディアンフィルタ処理結果とを混合する際の混合比を示す係数αが従えば０となり（第１３図参照）、メディアンフィルタ処理結果のみが出力される。上述のように、二次微分処理の結果、注目画素４０１のみがノイズリダクション処理に使用可能な画素とされているため、第１６図Ｂに画素４０３として例示されるように、注目画素４０１の値がそのまま出力されてしまうことになる。この場合、結果的に、注目画素４０１に対するノイズリダクション処理がなされないことになる。
なお、一実施形態の方法に従い、二次微分処理結果に対する閾値εを注目画素レベルに基づき決めて、周辺画素４０２のそれぞれを注目画素としてノイズリダクション処理を行った場合には、第１６図Ｂに画素４０４、４０４、・・・として例示されるように、画像の高域成分が保たれた状態でノイズリダクション効果が得られる。
一方、一実施形態の方法に従いノイズリダクション処理を行った場合に、孤立点である注目画素４０１がそのまま出力されてしまう状態を避けるために、二次微分結果に対する閾値を、第１６図Ｃに閾値ε'として例示されるように、例えば注目画素４０１の画素レベルをも含む程度の大きな値とすることも考えられる。この場合には、ノイズリダクション処理に使用可能な画素の検出率が高くなることになる。その結果、係数αが１若しくは１に近い値となり、注目画素４０１の値は、第１６図Ｃに画素４０５として例示されるように平滑化され、ノイズリダクション効果が得られる。
ところが、この方法によれば、画素４０２、４０２、・・・のそれぞれを注目画素として処理を行った場合、加算平均処理結果に基づく出力の比率が非常に高くなり、第１６図Ｃに画素４０６、４０６、・・・として例示されるように、全体として画像の高域部分が失われてしまうおそれがある。この場合には、画像のエッジ部分が鈍り、画質の劣化を招くことになる。
この発明の一実施形態の変形例では、上述した一実施形態によるノイズリダクション処理に対し、このような孤立点に対する処理を適切に行うことができるようにしたものである。
この発明の一実施形態の変形例によるノイズリダクション方法は、概略的には、注目画素に対し、当該注目画素が孤立点であるか否かを判断し、孤立点であると判断された場合には、注目画素を含めた所定範囲に存在する全画素の画素レベルに基づきメディアンフィルタ処理を行い、得られた値を注目画素の画素レベル値と置換して出力する。一方、注目画素が孤立点ではないと判断されたら、上述した一実施形態による方法に従い、ノイズリダクション処理に使用可能な画素数に基づく比率で、周辺画素を用いた加算平均処理結果とメディアンフィルタ処理結果とを混合し、得られた値を注目画素の画素レベル値と置換して出力する。
第１７図Ａおよび第１７図Ｂを用いて、より具体的に説明する。なお、第１７図Ａは、上述の第１６図Ａと同等の図であり共通する部分には同一の符号を付す。第１７図Ａに例示されるような注目画素４０１に対して、当該注目画素が周辺画素に対して画素レベルが特異な値である孤立点であるか否かが判断される。例えば、注目画素４０１を含めた所定範囲内に存在する画素のうち、当該注目画素４０１のみがノイズリダクション処理に使用可能な画素であると判断された場合に、当該注目画素４０１が孤立点であると判断する。注目画素４０１が孤立点であれば、注目画素４０１を含む所定範囲の画素の画素レベルに基づきメディアンフィルタ処理を行い、処理結果を注目画素４０１の画素レベルと置き換えて出力する。この出力を、第１７図Ｂに画素４０７として例示する。
一方、孤立点ではないと判断された画素４０２、４０２、・・・のそれぞれについては、上述した一実施形態の方法に従い、二次微分処理結果に対する閾値εを注目画素レベルに基づき決めてノイズリダクション処理を行う。その結果、第１７図Ｂに画素４０８、４０８、・・・として例示されるように、画像の高域成分が保たれた状態でノイズリダクション効果が得られる。
最終的に、孤立点であると判断された画素４０１と、孤立点ではないと判断された画素４０２とに対してそれぞれ適切にノイズリダクション処理がなされ、全体的に、画像の高域成分が保たれ、且つ、孤立点の画素レベルが抑制された、高画質な画像を得ることができる。
このように、注目画素が孤立点であるか否かを判断し、判断結果に基づき処理を切り換えることで、ノイズリダクション処理を適切に行うことができる。
第１８図Ａおよび第１８図Ｂは、この発明の一実施形態の変形例に適用可能な撮像装置１'の一例の構成を示す。なお、この第１８図Ａおよび第１８図Ｂに示される構成において、上述した第２図の構成と共通する部分には同一の符号を付し、詳細な説明を省略する。また、以下において、画素は、注目画素と同色成分の画素であるものとする。
この撮像装置１'は、上述した一実施形態による撮像装置１に対して、孤立点判断部３０、全画素メディアンフィルタ部３１および孤立点依存切換部３２が追加されている。孤立点判断部３０は、注目画素が孤立点であるか否かを判断する。全画素メディアンフィルタ部３１は、注目画素を含む所定範囲の画素を用いてメディアンフィルタ処理を行う。孤立点依存切換部３２は、例えば孤立点判断部３０の判断結果に基づき制御され、加算器２２からの出力と、全画素メディアンフィルタ部３１からの出力とを切り換えて、注目画素の画素レベルと置換して出力する。
第１８図Ａおよび第１８図Ｂの構成に基づくノイズリダクション処理について、より具体的に説明する。撮像素子２から出力された画像信号は、ディレイライン３を介してノイズリダクションブロック４'に入力され、ＬＰＦ１１および閾値演算部１４に供給される。閾値演算部１４は、例えば上述した式（１）に従い、注目画素の画素レベルに基づき閾値εを算出する。閾値εは、画素判別部１３に供給される。
一方、画像信号は、ＬＰＦ１１で平滑処理がなされ、二次微分処理部１２で注目画素と当該注目画素の周辺画素とを用いて二次微分処理がなされる。周辺画素のそれぞれに対する二次微分結果が画素判別部１３に供給され、閾値演算部１４で算出された閾値εとそれぞれ比較される。比較の結果、二次微分値が閾値εよりも小さいと判断された周辺画素が、ノイズリダクション処理に使用可能な画素の候補であると判断される。画素判別部１３でノイズリダクション処理に使用可能な画素の候補であるとされた画素について、次の対称処理部１５で、注目画素を中心として周辺画素の対称性が判断され、当該候補の画素のうち、対称性を有しない画素をノイズリダクション処理に用いないとする。対称処理部１５でノイズリダクション処理に用いるとされた画素の画素数に基づき、重み係数発生部２０で係数αが生成される。
孤立点判断部３０では、注目画素が孤立点であるか否かが判断される。例えば、対称処理部１５までの処理により、ノイズリダクション処理に使用可能であるとされた画素が注目画素の１個のみである場合、当該注目画素が孤立点であると判断する。なお、対称処理部１５までの処理で、ノイズリダクション処理に使用可能であるとされた画素が１個のみである場合、当該１個の画素は、注目画素そのものである。
一方、ノイズリダクション処理に使用可能であるとされた画素が２個以上あった場合は、注目画素が孤立点ではないと判断される。実際には、対称処理部１５では、上述のように注目画素を中心として周辺画素の対称性が判断されるので、ノイズリダクション処理に使用可能であると判断された画素が３個、５個、７個、９個、・・・のときに、注目画素が孤立点ではないと判断される。
全画素メディアンフィルタ部３１は、注目画素を中心とした所定範囲、例えば検波領域内の全画素を用いてメディアンフィルタ処理を行う。すなわち、この全画素メディアンフィルタ部３１では、対称処理部１５までの処理でノイズリダクション処理に用いないと判断した画素も含めて、領域内の全ての画素を用いてメディアンフィルタ処理を行う。全画素メディアンフィルタ部３１の出力は、孤立点依存切換部３２に供給される。
加算平均処理部１６およびメディアンフィルタ１７は、上述した一実施形態と同様の処理を行う。すなわち、対称処理部１５までの処理でノイズリダクション処理に使用可能であると判断された画素を用いて、加算平均処理部１６では加算平均を求め、メディアンフィルタ１７ではメディアン値を有する画素の画素レベルが出力される。加算平均処理部１６の出力は、乗算器１８で係数αを乗ぜられる。一方、メディアンフィルタ１７の出力は、乗算器１９で係数（１−α）を乗ぜられる。乗算器１８および乗算器１９の出力は、加算器２２で加算される。加算器２２の出力が孤立点依存切換部３２に供給される。
孤立点依存切換部３２は、孤立点判断部３０の判断結果に基づき、全画素メディアンフィルタ部３１の出力と、加算器２２の出力とを切り換えて、注目画素の画素レベルと置き換えて出力する。すなわち、孤立点判断部３０により注目画素が孤立点であると判断されたら、孤立点依存切換部３２は、全画素メディアンフィルタ部３１の出力を選択し、全画素メディアンフィルタ部３１から出力された値を注目画素の画素レベルと置き換えて出力する。
一方、孤立点判断部３０により注目画素が孤立点ではないと判断されたら、孤立点依存切換部３２は、加算器２２の出力を選択し、加算平均処理部１６の出力とメディアンフィルタ１７の出力とに対して係数αに基づき重み付けされ混合された値を、注目画素の画素レベルと置き換えて出力する。
第１９図は、この発明の一実施形態の変形例による一例のノイズリダクション処理を示すフローチャートである。なお、第１９図において、上述した第１４図と共通する部分には同一の符号を付し、詳細な説明を省略する。
第１９図のフローチャートにおいて、ステップＳ１２までの処理は、上述した一実施形態のステップＳ１１までの処理と同一である。すなわち、ステップＳ１で、注目画素を中心とした所定範囲の画素に対して欠落画素の有無が判断され、欠落画素が存在すると判断された場合には、ステップＳ２で欠落画素が補間される。欠落画素が存在しないと判断された場合には、ステップＳ３でＬＰＦ１１による平滑化処理が行われ、次のステップＳ４で二次微分処理部１２により注目画素と周辺画素とを用いて、周辺画素それぞれについて二次微分が算出される。また、これらの処理と並列的に、ステップＳ５で注目画素の画素レベルに基づき閾値εが算出される。ステップＳ６で、周辺画素それぞれについて（ステップＳ１２）、二次微分値と閾値εが比較され、ステップＳ７で着目された判別画素について、ステップＳ８で二次微分結果が閾値εよりも大きいか否かが判断される。二次微分結果が閾値εよりも大きい判別画素は、ノイズリダクション処理に使用不可とされ（ステップＳ９）、二次微分結果が閾値εよりも小さい判別結果は、使用可能とされる（ステップＳ１０）。
ステップＳ１１で、検波枠内における被検波画素の全てに着目されたか否かが判断され、着目されていないと判断されれば、処理がステップＳ７に戻され、次の被検波画素が着目される。検波枠内の被検波画素の全てに着目され、当該被検波画素の全てに対してノイズリダクション処理に使用可能か否かの判断が行われたと判断されれば、処理はステップＳ２０に移行されると共に、ステップＳ２０以下の処理と並列的に、ステップＳ１５およびステップＳ１６の処理がなされる。すなわち、ステップＳ１５でノイズリダクション処理に使用可能な画素数が保持され、ステップＳ１６で、保持された画素数に基づき係数発生部２０により係数αが決定される。
一方、ステップＳ２０では、孤立点判断部３０により、ノイズリダクション処理に使用可能である画素が注目画素自身のみであるか否かが判断される。若し、使用可能である画素が注目画素以外にも存在すると判断された場合には、処理はステップＳ１３およびステップＳ１４にそれぞれ移行し、ステップＳ１３の加算平均処理とステップＳ１４のメディアンフィルタ処理とがそれぞれ行われる。ステップＳ１３およびステップＳ１４の処理結果と、上述のステップＳ１６で決定された係数αとに基づき、ステップＳ１７で乗算器１８および乗算器１９による乗算処理が行われ、乗算結果が加算器２２で加算される。
一方、ステップＳ２０で、孤立点判断部３０により、ノイズリダクション処理に使用可能である画素が注目画素自身のみであると判断された場合には、処理はステップＳ２１に移行される。ステップＳ２１では、全画素メディアンフィルタ部３１により、検波枠内の被検波画素の全てを用いたメディアンフィルタ処理が行われる。
ステップＳ２３では、上述したステップＳ２０における判断結果に基づき、上述したステップＳ１７またはステップＳ２１の出力を選択的に用いて注目画素の画素レベルを置換する。すなわち、ステップＳ２３では、孤立点判断部３０の判断結果に基づき、注目画素が孤立点であるとされたら、孤立点依存切換部３２により全画素メディアンフィルタ部３１の出力が選択され、当該出力による値が注目画素の画素レベルと置き換えられる。
一方、孤立点判断部３０の判断結果に基づき、注目画素が孤立点ではないとされたら、孤立点依存切換部３２より加算器２２の出力が選択され、加算平均処理部１６の出力とメディアンフィルタ１７の出力とを係数αに基づき重み付けし加算して得られた出力による値が注目画素の画素レベルと置き換えられる。
なお、上述では、加算平均処理を行う画素範囲と、メディアンフィルタ処理を行う画素範囲が同一であるかのように説明したが、これはこの例に限定されない。例えば、第２０図に一例が示されるように、加算平均処理を行う範囲３０２とメディアンフィルタ処理を行う範囲３０３とを異ならせることも可能である。勿論、両者の範囲を異ならせる場合でも、注目画素３０１は、それぞれの範囲の中央に位置している必要がある。なお、第２０図において、斜線および影を付されている枡が画素を示す。
ここで、加算平均処理は、入力されたデータを順次加えていくことで行われ、入力データのそれぞれを保持する必要が無い。一方、メディアンフィルタ処理は、入力されたデータを全て保持した上で、保持されたデータの中からメディアン値を抽出する必要がある。そのため、メディアンフィルタ処理と加算平均処理とでは、メディアンフィルタ処理の方がより大きなメモリ容量を必要とすると共に、処理にも時間がかかる。そのため、メディアンフィルタ処理を行う画素範囲３０３は、例えば加算平均処理を行う画素範囲３０２よりも小さく設定することが考えられる。
さらに、上述では、全画素メディアンフィルタ部３１での処理と、加算平均処理部１６およびメディアンフィルタ１７での処理とを並列的に行うように説明したが、これはこの例に限定されない。例えば、孤立点判断部３０の判断結果に基づき、使用されない側の処理を停止するように制御してもよい。一例として、孤立点判断部３０により注目画素自身が孤立点であると判断された場合には、加算平均処理部１６、メディアンフィルタ１７、乗算器１８および１９、ならびに、加算器２２などの処理を停止することが考えられる。
従来のεフィルタリングの処理を説明するための略線図である。 この発明の一実施形態における撮像装置の構成を示すブロック図である。 この発明の一実施形態における撮像素子に設けられるカラーフィルタ配列を示す略線図である。 この発明の一実施形態における撮像素子の画素の読出し方法を示す略線図である。 この発明の一実施形態における検波領域を示す略線図である。 検波領域内の同色成分の画素を取り出して示した略線図である。 この発明の一実施形態における二次微分方向を示す略線図である。 この発明の一実施形態における平滑化処理および補間処理を説明するための略線図である。 この発明の一実施形態における二次微分処理を説明するための略線図である。 この発明の一実施形態における二次微分処理を説明するための略線図である。 二次微分処理の処理手順を示す略線図である。 この発明の一実施形態における対称判別処理を説明するための略線図である。 この発明の一実施形態における係数αの設定方法の一例を示す略線図である。 この発明の一実施形態におけるノイズリダクション処理の流れを示すフローチャートである。 ノイズリダクション処理がパラレルに行われるときの注目画素の位置を説明するための略線図である。 この発明の一実施形態の変形例について概略的に説明するための略線図である。 この発明の一実施形態の変形例について概略的に説明するための略線図である。 この発明の一実施形態の変形例に適用可能な撮像装置の一例の構成を示すブロック図である。 この発明の一実施形態の変形例による一例のノイズリダクション処理を示すフローチャートである。 加算平均処理を行う画素範囲とメディアンフィルタ処理を行う画素範囲とを異ならせる例を示す略線図である。
Ｓ１ 欠落画素存在？
Ｓ２ 補間処理
Ｓ３ ＬＰＦ処理
Ｓ４ 二次微分処理
Ｓ５ 閾値算出
Ｓ６ 二次微分結果と閾値との比較
Ｓ７ 検波枠内の判別画素に着目
Ｓ８ 二次微分結果が閾値より大きい？
Ｓ９ 判別画素使用不可
Ｓ１０ 判別画素使用可能
Ｓ１１ 被検波画素全てに着目？
Ｓ１２ 判別画素存在
Ｓ１３ 加算平均値算出
Ｓ１４ メディアン値算出
Ｓ１５ ＮＲ使用画素数保持
Ｓ１６ α決定
Ｓ１７ 乗算・加算処理
Ｓ１８ 画素レベル置換
Ｓ２０ 使用可能である判別画素が自身のみ？
Ｓ２１ 全画素メディアン値算出
Ｓ２２ 画素レベル置換

Claims (17)

  1. 撮像部と、
    上記撮像部から得られる撮像信号に対してノイズリダクションを行うノイズリダクション装置とを備え、
    上記ノイズリダクション装置は、
    ノイズリダクションをしようとする注目画素と、上記注目画素と同色成分である複数の周辺画素とを取り出す取り出し手段と、
    上記注目画素と上記周辺画素との間にエッジが存在するか否かを検出するエッジ検出手段と、
    上記エッジ検出手段によりエッジが存在しないと判別されるときは上記周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは上記周辺画素はノイズリダクションに使用できないと判別する判別手段と、
    上記注目画素の画素値と、上記判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理手段と、
    上記注目画素の画素値と、上記判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理手段と、
    上記第１の処理手段の出力値と上記第２の処理手段の出力値とを、重み係数を使用して重み付け加算する重み付け加算手段と
    を備える撮像装置。
  2. 上記エッジ検出手段は、上記注目画素の画素値と上記周辺画素の画素値とを使用して二次微分を行うことでエッジを検出する手段である請求の範囲１に記載の撮像装置。
  3. さらに、上記注目画素と上記複数の周辺画素に対して、上記二次微分を行う二次微分方向と直交する方向に平滑化を行う平滑化手段と、
    上記二次微分方向に欠落画素がある場合は、上記欠落画素を補間する補間手段と
    を備える請求の範囲２に記載の撮像装置。
  4. 上記判別手段において上記ノイズリダクションに使用できると判別した周辺画素の中で、上記注目画素を中心として点対称の位置関係にある周辺画素を上記ノイズリダクションに使用できると判別する請求の範囲１に記載の撮像装置。
  5. 上記エッジ検出手段は、上記注目画素の画素値と、上記注目画素を中心として点対称の位置関係にある周辺画素の画素値とを使用してエッジを検出する手段である請求の範囲１に記載の撮像装置。
  6. 上記第１の処理手段は、上記注目画素の画素値と、上記判別手段によりノイズリダクションに使用できると判別された周辺画素の画素値との平均値を出力し、
    上記第２の処理手段は、上記注目画素の画素値と、上記判別手段によりノイズリダクションに使用できると判別された周辺画素の画素値との中から略中央の画素値を選択し、選択した画素値を出力する請求の範囲１に記載の撮像装置。
  7. 上記第１の処理手段は、上記注目画素の画素値と、上記判別手段によりノイズリダクションに使用できると判別された周辺画素の画素値との平均値を算出する加算平均手段であり、
    上記第２の処理手段は、メディアンフィルタである請求の範囲１に記載の撮像装置。
  8. さらに、上記注目画素の画素値を、上記重み付け加算手段により得られる値に置き換えて出力する出力手段を備える請求の範囲１に記載の撮像装置。
  9. 上記重み係数の値が、ノイズリダクションに使用される画素数に応じて適応的に設定される請求の範囲１に記載の撮像装置。
  10. 上記重み係数の値が、被写体の照度に応じて適応的に設定される請求の範囲１に記載の撮像装置。
  11. ノイズリダクションをしようとする注目画素と、上記注目画素と同色成分である複数の周辺画素とを取り出す取り出し手段と、
    上記注目画素と上記周辺画素との間にエッジが存在するか否かを検出するエッジ検出手段と、
    上記エッジ検出手段によりエッジが存在しないと判別されるときは上記周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは上記周辺画素はノイズリダクションに使用できないと判別する判別手段と、
    上記注目画素の画素値と、上記判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理手段と、
    上記注目画素の画素値と、上記判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理手段と、
    上記第１の処理手段の出力値と上記第２の処理手段の出力値とを、重み係数を使用して重み付け加算する重み付け加算手段と
    を備えるノイズリダクション装置。
  12. ノイズリダクションをしようとする注目画素と、上記注目画素と同色成分である複数の周辺画素とを取り出す取り出しステップと、
    上記注目画素と上記周辺画素との間にエッジが存在するか否かを検出するエッジ検出ステップと、
    上記エッジ検出ステップにおいてエッジが存在しないと判別されるときは上記周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは上記周辺画素はノイズリダクションに使用できないと判別する判別ステップと、
    上記注目画素の画素値と、上記判別ステップにおいてノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理ステップと、
    上記注目画素の画素値と、上記判別ステップにおいてノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理ステップと、
    上記第１の処理ステップの出力値と上記第２の処理ステップの出力値とを、重み係数を使用して重み付け加算する重み付け加算ステップと
    からなるノイズリダクション方法。
  13. コンピュータに、
    ノイズリダクションをしようとする注目画素と、上記注目画素と同色成分である複数の周辺画素とを取り出す取り出しステップと、
    上記注目画素と上記周辺画素との間にエッジが存在するか否かを検出するエッジ検出ステップと、
    上記エッジ検出ステップにおいてエッジが存在しないと判別されるときは上記周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは上記周辺画素はノイズリダクションに使用できないと判別する判別ステップと、
    上記注目画素の画素値と、上記判別ステップにおいてノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理ステップと、
    上記注目画素の画素値と、上記判別ステップにおいてノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理ステップと、
    上記第１の処理ステップの出力値と上記第２の処理ステップの出力値とを、重み係数を使用して重み付け加算する重み付け加算ステップと
    を実行させるプログラム。
  14. 撮像部と、
    上記撮像部から得られる撮像信号に対してノイズリダクションを行うノイズリダクション装置とを備え、
    上記ノイズリダクション装置は、
    ノイズリダクションをしようとする注目画素と、上記注目画素と同色成分である複数の周辺画素とを取り出す取り出し手段と、
    上記注目画素と上記周辺画素との間にエッジが存在するか否かを検出するエッジ検出手段と、
    上記エッジ検出手段によりエッジが存在しないと判別されるときは上記周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは上記周辺画素はノイズリダクションに使用できないと判別する判別手段と、
    上記注目画素が孤立点であるか否かを判別する孤立点判別手段と、
    上記注目画素の画素値と、上記判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理手段と、
    上記注目画素の画素値と、上記判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理手段と、
    上記第１の処理手段の出力値と上記第２の処理手段の出力値とを、重み係数を使用して重み付け加算する重み付け加算手段と、
    上記注目画素の画素値と、上記判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値と、上記判別手段によってノイズリダクションに使用できないと判別された周辺画素の画素値とを使用して、周波数特性を保持しつつノイズ低減処理を行う第３の処理手段と
    を備え、
    上記孤立点判別手段で上記注目画素が上記孤立点ではないと判別されたときには、上記重み付け加算手段の出力値を上記注目画素の画素値と置換して出力し、上記孤立点判別手段で上記注目画素が上記孤立点であると判別されたときには、上記第３の処理手段の出力値を上記注目画素の画素値と置換して出力する
    ようにした撮像装置。
  15. ノイズリダクションをしようとする注目画素と、上記注目画素と同色成分である複数の周辺画素とを取り出す取り出し手段と、
    上記注目画素と上記周辺画素との間にエッジが存在するか否かを検出するエッジ検出手段と、
    上記エッジ検出手段によりエッジが存在しないと判別されるときは上記周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは上記周辺画素はノイズリダクションに使用できないと判別する判別手段と、
    上記注目画素が孤立点であるか否かを判別する孤立点判別手段と、
    上記注目画素の画素値と、上記判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理手段と、
    上記注目画素の画素値と、上記判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理手段と、
    上記第１の処理手段の出力値と上記第２の処理手段の出力値とを、重み係数を使用して重み付け加算する重み付け加算手段と、
    上記注目画素の画素値と、上記判別手段によってノイズリダクションに使用できると判別された周辺画素の画素値と、上記判別手段によってノイズリダクションに使用できないと判別された周辺画素の画素値とを使用して、周波数特性を保持しつつノイズ低減処理を行う第３の処理手段と
    を備え、
    上記孤立点判別手段で上記注目画素が上記孤立点ではないと判別されたときには、上記重み付け加算手段の出力値を上記注目画素の画素値と置換して出力し、上記孤立点判別手段で上記注目画素が上記孤立点であると判別されたときには、上記第３の処理手段の出力値を上記注目画素の画素値と置換して出力する
    ようにしたノイズリダクション装置。
  16. ノイズリダクションをしようとする注目画素と、上記注目画素と同色成分である複数の周辺画素とを取り出す取り出しステップと、
    上記注目画素と上記周辺画素との間にエッジが存在するか否かを検出するエッジ検出ステップと、
    上記エッジ検出ステップによりエッジが存在しないと判別されるときは上記周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは上記周辺画素はノイズリダクションに使用できないと判別する判別ステップと、
    上記注目画素が孤立点であるか否かを判別する孤立点判別ステップと、
    上記注目画素の画素値と、上記判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理ステップと、
    上記注目画素の画素値と、上記判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理ステップと、
    上記第１の処理ステップによる出力値と上記第２の処理ステップによる出力値とを、重み係数を使用して重み付け加算する重み付け加算ステップと、
    上記注目画素の画素値と、上記判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値と、上記判別ステップによってノイズリダクションに使用できないと判別された周辺画素の画素値とを使用して、周波数特性を保持しつつノイズ低減処理を行う第３の処理ステップと
    を備え、
    上記孤立点判別ステップで上記注目画素が上記孤立点ではないと判別されたときには、上記重み付け加算ステップによる出力値を上記注目画素の画素値と置換して出力し、上記孤立点判別ステップで上記注目画素が上記孤立点であると判別されたときには、上記第３の処理ステップによる出力値を上記注目画素の画素値と置換して出力する
    ようにしたノイズリダクション方法。
  17. ノイズリダクションをしようとする注目画素と、上記注目画素と同色成分である複数の周辺画素とを取り出す取り出しステップと、
    上記注目画素と上記周辺画素との間にエッジが存在するか否かを検出するエッジ検出ステップと、
    上記エッジ検出ステップによりエッジが存在しないと判別されるときは上記周辺画素はノイズリダクションに使用できると判別し、エッジが存在すると判別されるときは上記周辺画素はノイズリダクションに使用できないと判別する判別ステップと、
    上記注目画素が孤立点であるか否かを判別する孤立点判別ステップと、
    上記注目画素の画素値と、上記判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値とを使用してノイズ低減処理を行う第１の処理ステップと、
    上記注目画素の画素値と、上記判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値とを使用して周波数特性を保持しつつノイズ低減処理を行う第２の処理ステップと、
    上記第１の処理ステップによる出力値と上記第２の処理ステップによる出力値とを、重み係数を使用して重み付け加算する重み付け加算ステップと、
    上記注目画素の画素値と、上記判別ステップによってノイズリダクションに使用できると判別された周辺画素の画素値と、上記判別ステップによってノイズリダクションに使用できないと判別された周辺画素の画素値とを使用して、周波数特性を保持しつつノイズ低減処理を行う第３の処理ステップと
    を備え、
    上記孤立点判別ステップで上記注目画素が上記孤立点ではないと判別されたときには、上記重み付け加算ステップによる出力値を上記注目画素の画素値と置換して出力し、上記孤立点判別ステップで上記注目画素が上記孤立点であると判別されたときには、上記第３の処理ステップによる出力値を上記注目画素の画素値と置換して出力する
    ようにしたノイズリダクション方法をコンピュータに実行させるプログラム。
JP2007511739A 2005-08-15 2006-08-09 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム Expired - Fee Related JP4872911B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007511739A JP4872911B2 (ja) 2005-08-15 2006-08-09 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005235469 2005-08-15
JP2005235469 2005-08-15
PCT/JP2006/316062 WO2007020930A1 (ja) 2005-08-15 2006-08-09 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム
JP2007511739A JP4872911B2 (ja) 2005-08-15 2006-08-09 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム

Publications (2)

Publication Number Publication Date
JPWO2007020930A1 JPWO2007020930A1 (ja) 2009-02-26
JP4872911B2 true JP4872911B2 (ja) 2012-02-08

Family

ID=37757590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007511739A Expired - Fee Related JP4872911B2 (ja) 2005-08-15 2006-08-09 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム

Country Status (4)

Country Link
US (1) US7834917B2 (ja)
JP (1) JP4872911B2 (ja)
CN (1) CN100562065C (ja)
WO (1) WO2007020930A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI316814B (en) * 2006-05-12 2009-11-01 Realtek Semiconductor Corp Device for reducing impulse noise and method thereof
JP4883772B2 (ja) * 2006-07-13 2012-02-22 キヤノン株式会社 画像処理装置及び方法
JP4329833B2 (ja) 2007-03-20 2009-09-09 ソニー株式会社 ストリーキング補正信号生成回路、ストリーキング補正信号生成方法、プログラム、ストリーキング補正回路および撮像装置
CN101316321B (zh) * 2007-05-30 2010-04-07 展讯通信（上海）有限公司 一种基于中值滤波器的图像噪声去除方法和装置
US8014030B2 (en) * 2007-09-14 2011-09-06 Kabushiki Kaisha Toshiba Image processing and formation with line thininng by reducing intensity of target pixel based on extracted contour pixel and area connectedness information
JP4465002B2 (ja) 2007-11-16 2010-05-19 オリンパス株式会社 ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
JP4486703B2 (ja) * 2007-12-07 2010-06-23 パナソニック株式会社 撮像装置
CN101237523B (zh) * 2008-02-25 2013-03-06 宝利微电子系统控股公司 主边缘检测方法和基于该方法的降噪方法及装置
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8625932B2 (en) * 2008-08-28 2014-01-07 Adobe Systems Incorporated Seam carving using seam energy re-computation in seam neighborhood
JP5315158B2 (ja) * 2008-09-12 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
US8581937B2 (en) 2008-10-14 2013-11-12 Adobe Systems Incorporated Seam-based reduction and expansion of images using partial solution matrix dependent on dynamic programming access pattern
US8963960B2 (en) 2009-05-20 2015-02-24 Adobe Systems Incorporated System and method for content aware hybrid cropping and seam carving of images
JP5169997B2 (ja) * 2009-05-29 2013-03-27 ソニー株式会社 フィルタ回路、画像処理装置、撮像装置、画像処理方法及びプログラム
TWI394429B (zh) * 2009-07-27 2013-04-21 Altek Corp 消除圖像雜訊之方法，以及使用該方法之裝置
US8659622B2 (en) 2009-08-31 2014-02-25 Adobe Systems Incorporated Systems and methods for creating and editing seam carving masks
US8659683B1 (en) * 2010-03-25 2014-02-25 Ambarella, Inc. Digital picture noise reduction by combining high-noise and low-noise processed pictures
US20120019727A1 (en) * 2010-07-21 2012-01-26 Fan Zhai Efficient Motion-Adaptive Noise Reduction Scheme for Video Signals
US8755625B2 (en) 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
US8699813B2 (en) 2010-11-19 2014-04-15 Analog Devices, Inc Adaptive filter for low-light noise reduction
CN102005036B (zh) * 2010-12-08 2012-05-09 上海杰图软件技术有限公司 自动移除全景图像中三脚架残留影像的方法和装置
CN102005060B (zh) * 2010-12-08 2012-11-14 上海杰图软件技术有限公司 自动移除图像中选定影像的方法和装置
JP2012124832A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP5868090B2 (ja) 2011-09-20 2016-02-24 三菱電機株式会社 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
JP6027316B2 (ja) * 2012-01-26 2016-11-16 株式会社ミツトヨ 飽和吸収線判定方法、及びレーザ周波数安定化装置
US9129185B1 (en) * 2012-05-21 2015-09-08 The Boeing Company System and method for reducing image clutter
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
JP2014090359A (ja) * 2012-10-31 2014-05-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
DE112013005574B4 (de) 2012-11-21 2018-10-31 Mitsubishi Electric Corporation Bilderzeugungsvorrichtung
JP6127620B2 (ja) * 2013-03-18 2017-05-17 日産自動車株式会社 画像処理装置および画像処理方法
JP6348108B2 (ja) * 2013-03-27 2018-06-27 株式会社日立製作所 画像処理装置、放射線撮影装置および画像処理方法
US9088740B2 (en) * 2013-06-21 2015-07-21 Himax Imaging Limited System and method of reducing noise
JP6320053B2 (ja) * 2014-01-22 2018-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6327869B2 (ja) * 2014-01-29 2018-05-23 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
KR101558532B1 (ko) * 2014-06-09 2015-10-12 아스텔 주식회사 영상의 잡음 제거장치
CN105450909B (zh) * 2014-06-27 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
FR3028376B1 (fr) * 2014-11-07 2018-01-12 Safran Electronics & Defense Sas Procede de detection de pixels defectueux.
US10467735B2 (en) * 2015-08-25 2019-11-05 Interdigital Vc Holdings, Inc. Inverse tone mapping based on luminance zones
EP3203439B1 (en) * 2016-02-04 2019-10-02 InterDigital VC Holdings, Inc. Method and device for reducing noise in a component of a picture
CN108574663B (zh) * 2017-03-09 2021-08-13 李明 一种安全传输方法和系统
CN108052948B (zh) * 2017-11-14 2020-01-17 武汉科技大学 一种提取图像特征的编码方法
CN109658344B (zh) * 2018-11-12 2022-10-25 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN110705375B (zh) * 2019-09-11 2022-07-12 西安交通大学 一种面向噪声图像的骨架检测系统及检测方法
CN114500802B (zh) * 2022-01-21 2023-05-05 西南科技大学 一种γ辐射环境下成像设备的图像去噪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06260889A (ja) * 1993-03-05 1994-09-16 Sony Corp フィルタ回路
JPH06315104A (ja) * 1993-03-05 1994-11-08 Sony Corp フィルタ回路
JP2004166010A (ja) * 2002-11-14 2004-06-10 Matsushita Electric Ind Co Ltd 画像ノイズ低減方法及び画像処理装置
JP2004214756A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 画像ノイズの低減
JP2005117449A (ja) * 2003-10-09 2005-04-28 Victor Co Of Japan Ltd モスキートノイズ低減装置、モスキートノイズ低減方法、及びモスキートノイズ低減用プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0440786A1 (en) * 1989-08-28 1991-08-14 Eastman Kodak Company A computer based digital image noise reduction method based on overlapping planar approximation
JPH0686104A (ja) 1992-09-04 1994-03-25 Matsushita Electric Ind Co Ltd ノイズリダクション装置
DE69416584T2 (de) * 1994-08-25 1999-10-07 St Microelectronics Srl Unscharfes Verfahren zur Bildrauschverringerung
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
US7027172B1 (en) * 2000-08-15 2006-04-11 Eastman Kodak Company Color digital printer having a graphical user interface for displaying and selecting images for local and remote printing
US6665448B1 (en) * 2000-09-29 2003-12-16 Hewlett-Packard Development Company, L.P. Selective smoothing and sharpening of images by generalized unsharp masking
EP1223554A1 (fr) * 2000-11-28 2002-07-17 Koninklijke Philips Electronics N.V. Méthode de réduction de bruit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06260889A (ja) * 1993-03-05 1994-09-16 Sony Corp フィルタ回路
JPH06315104A (ja) * 1993-03-05 1994-11-08 Sony Corp フィルタ回路
JP2004166010A (ja) * 2002-11-14 2004-06-10 Matsushita Electric Ind Co Ltd 画像ノイズ低減方法及び画像処理装置
JP2004214756A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 画像ノイズの低減
JP2005117449A (ja) * 2003-10-09 2005-04-28 Victor Co Of Japan Ltd モスキートノイズ低減装置、モスキートノイズ低減方法、及びモスキートノイズ低減用プログラム

Also Published As

Publication number Publication date
WO2007020930A1 (ja) 2007-02-22
JPWO2007020930A1 (ja) 2009-02-26
CN101044750A (zh) 2007-09-26
CN100562065C (zh) 2009-11-18
US20090033773A1 (en) 2009-02-05
US7834917B2 (en) 2010-11-16

Similar Documents

Publication Publication Date Title
JP4872911B2 (ja) 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム
JP5349790B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR100978688B1 (ko) 디지털 이미지의 컬러 아티팩트 저감 기법
US8184181B2 (en) Image capturing system and computer readable recording medium for recording image processing program
US8537234B2 (en) Image restoration with enhanced filtering
JP4977395B2 (ja) 画像処理装置及び方法
JP5123756B2 (ja) 撮像システム、画像処理方法および画像処理プログラム
US20080180557A1 (en) Solid-state image pickup device
RU2503139C1 (ru) Устройство считывания изображений
JP5901935B2 (ja) 固体撮像装置及びカメラモジュール
JP2010239492A (ja) 撮像装置および映像信号のノイズ低減方法
KR20180016385A (ko) 자동 화이트 밸런스를 위한 동적 프레임 스킵
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
KR101650842B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체
JP5291788B2 (ja) 撮像装置
JP5600812B2 (ja) 撮像装置
JP4043197B2 (ja) 単板式カラーカメラの色分離回路
JP4380399B2 (ja) 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム
US8804025B2 (en) Signal processing device and imaging device
JP6525522B2 (ja) 画像処理装置および画像処理方法
JP2009022044A (ja) 画像処理装置及び画像処理プログラム
JP6856999B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5109911B2 (ja) 撮像装置および補間処理方法
JP5528138B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4180007B2 (ja) 画像信号処理回路

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090722

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees