JPWO2009037803A1 - 画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラム - Google Patents
画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラム Download PDFInfo
- Publication number
- JPWO2009037803A1 JPWO2009037803A1 JP2009533028A JP2009533028A JPWO2009037803A1 JP WO2009037803 A1 JPWO2009037803 A1 JP WO2009037803A1 JP 2009533028 A JP2009533028 A JP 2009533028A JP 2009533028 A JP2009533028 A JP 2009533028A JP WO2009037803 A1 JPWO2009037803 A1 JP WO2009037803A1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- pixels
- gradient direction
- filter coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 60
- 238000012937 correction Methods 0.000 claims abstract description 179
- 238000004364 calculation method Methods 0.000 claims abstract description 44
- 238000001514 detection method Methods 0.000 abstract description 37
- 238000012545 processing Methods 0.000 description 96
- 230000015654 memory Effects 0.000 description 80
- 230000008569 process Effects 0.000 description 40
- 230000002146 bilateral effect Effects 0.000 description 22
- 101100277808 Arabidopsis thaliana DIR4 gene Proteins 0.000 description 20
- 102100038804 FK506-binding protein-like Human genes 0.000 description 20
- 101001031402 Homo sapiens FK506-binding protein-like Proteins 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 101100443272 Arabidopsis thaliana DIR2 gene Proteins 0.000 description 12
- 101000807859 Homo sapiens Vasopressin V2 receptor Proteins 0.000 description 12
- 102100037108 Vasopressin V2 receptor Human genes 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000004321 preservation Methods 0.000 description 4
- 206010070834 Sensitisation Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008313 sensitization Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
勾配方向検出部12は注目画素を中心とするN×N画素からなる領域における画素値の勾配方向を検出し、選択部13は勾配方向と直交する方向に沿って注目画素を含むN画素を選択画素として選択し、フィルタ係数初期化部14は各選択画素に対応するフィルタ係数の初期化を行い、基準値決定部15は各選択画素に対する基準値を勾配方向を基に定まる画素の画素値に基づいて決定し、フィルタ係数補正部16は各選択画素に対する基準値に基づいて各選択画素に対応するフィルタ係数の初期値を補正し、画素値計算部17は各選択画素に対する画素値と各フィルタ係数の補正値とに基づいて注目画素に対する出力画素値を計算する。
Description
本発明は、画像に含まれるノイズを除去する技術に関する。
近年、映像機器のデジタル化により、デジタル信号処理による画像処理が画質の向上のために重要になってきている。画質の低下の要因の一つとして原信号にノイズ成分が含まれることを挙げることができ、画質の向上のためにはノイズ成分の除去又はノイズ成分の影響の低減を図ることが重要となる。
原信号からノイズ成分を除去する手段として、例えばメディアンフィルタと呼ばれるフィルタが知られている。メディアンフィルタは、原画像の注目画素と当該注目画素に隣接した隣接画素とを取り出し、取り出した画素(注目画素、隣接画素)の輝度値を降順又は昇順に並べた場合にちょうど中央の輝度値を持つ画素の画素値を注目画素に対する出力画素値として出力する。一般的には、注目画素と当該注目画素に隣接する画素とを含む3×3画素の計9個の輝度値を降順又は昇順に並べ、5番目(中央)となる輝度値をもつ画素の画素値を注目画素に対する出力画素値とする。これによって、周辺の画素と画素値が大きく離れた画素、つまり、ノイズ成分と思われる画素が除去され、ノイズの少ない画像を得ることができる。
しかしながら、上述したように中央の輝度値を持つ画素の画素値を注目画素に対する出力画素値とすることから、メディアンフィルタにはノイズ除去による画像のボケが大きい、特にエッジ周辺での画像のボケが大きいという問題点がある。また、メディアンフィルタはノイズが多い場合に十分なノイズの除去を行えないという問題がある。
上記の問題を解決したノイズ除去手段としてバイラテラルフィルタがある。バイラテラルフィルタは、エッジ保存フィルタの一種であり、画像のエッジを保存しつつノイズ除去を行えるフィルタである。バイラテラルフィルタは、注目画素からの距離と輝度差とに着目し、注目画素の輝度値との差が大きい輝度値を持つ画素、或いは、注目画素と距離が離れている画素の影響を小さくすることで画像のエッジを保存することに特徴がある。バイラテラルフィルタは例えば特許文献1の背景技術に詳述されており、以下、特許文献1の記載を引用しながらバイラテラルフィルタの概要を説明する。
バイラテラルフィルタは、注目画素と当該注目画素に隣接する隣接画素とからなる(2N+1)×(2N+1)画素をフィルタ対象領域として抜き出してフィルタ処理を施し、このフィルタ処理により注目画素に対する出力画素値を求めて出力する。
このバイラテラルフィルタにおけるフィルタ処理は以下の通りである。なお、注目画素の座標を(X,Y)、注目画素の画素値をIN(X,Y)、注目画素に対する出力画素値をOUT(X,Y)、隣接画素の座標を(PX,PY)とする。
座標(X,Y)と座標(PX,PY)との距離に依存する値をWs(X,Y,PX,PY)、座標(X,Y)と座標(PX,PY)との標準偏差をσsとすると、値Ws(X,Y,PX,PY)は下記の式(1)で表される。
また、エッジの有無を表すエッジ評価値をWr(X,Y,PX,PY)とすると、エッジ評価値Wr(X,Y,PX,PY)は下記の式(2)で表される。
但し、式(2)において、Edge(X,Y)は座標(X,Y)の注目画素の画素値、Edge(PX,PY)は座標(PX,PY)の隣接画素の画素値、σsはフィルタ対象領域内の画素の画素値の標準偏差である。
上記の式(1)で算出した値Ws(X,Y,PX,PY)と上記の式(2)で算出したエッジ評価値Wr(X,Y,PX,PY)とを下記の式(3)に代入することによって係数W(X,Y,PX,PY)を求める。
注目画素に対する出力画素値OUT(X,Y)は下記の式(4)により求められる。
しかしながら、バイラテラルフィルタのフィルタ処理では上記の式(1)〜式(4)の演算を行う必要があり、また、Nの値がある程度大きくなければノイズ除去等の効果が現れにくいことからNの値をある程度大きくする必要がある。このため、バイラテラルフィルタにはノイズ除去に要する演算量が大きいという課題がある。
本発明は、上記の課題を鑑みてなされたものであり、簡易な演算処理によってエッジ保存を行いつつノイズ除去を効果的に行うことが可能な画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラムを提供することを目的とする。
上記課題を解決するために、本発明の画像ノイズ除去装置は、注目画素を中心とするN×N(Nは3以上の奇数)画素からなる領域における画素値の勾配方向を検出する勾配方向検出手段と、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むN画素を選択画素として選択する選択手段と、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化手段と、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定手段と、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正手段と、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算手段と、を備える。
また、本発明の画像ノイズ除去方法は、注目画素を中心とするN×N(Nは3以上の奇数)画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むN画素を選択画素として選択する選択ステップと、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、を有する。
さらに、本発明の画像ノイズ除去プログラムは、コンピュータに、注目画素を中心とするN×N(Nは3以上の奇数)画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むN画素を選択画素として選択する選択ステップと、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、を実行させる。
上記の画像ノイズ除去装置によれば、簡易な演算処理によってエッジを保存しながら効果的にノイズ除去を行うことができる。
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行うようにしてもよい。
これによれば、各フィルタ係数の補正に用いられる選択画素に対する基準値を複数の画素の画素値に基づいて決定することによって、ノイズの影響を抑えたフィルタ係数の補正を行うことができる。
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記注目画素を除く前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行い、前記注目画素である選択画素について、当該注目画素の画素値に基づいて前記基準値の決定を行うようにしてもよい。
これによれば、各フィルタ係数の補正に用いられる注目画素(選択画素の一つ)に対する基準値を注目画素の画素値とすると共に、各フィルタ係数の補正に用いられる選択画素(注目画素を除く。)に対する基準値を複数の画素の画素値に基づいて決定することによって、演算量を抑えながらノイズの影響を抑えたフィルタ係数の補正を行うことができる。
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記選択画素の夫々について、前記選択画素の画素値を前記基準値に決定するようにしてもよい。
これによれば、フィルタ係数の補正をより少ない演算量で行うことが可能になる。
1 画像ノイズ除去装置
2 原画像メモリ
3 処理画像メモリ
4 ノイズ除去部
11 画素値取得部
12 勾配方向検出部
13 選択部
14 フィルタ係数初期化部
15 基準値決定部
16 フィルタ係数補正部
17 画素値計算部
18 画素値出力部
2 原画像メモリ
3 処理画像メモリ
4 ノイズ除去部
11 画素値取得部
12 勾配方向検出部
13 選択部
14 フィルタ係数初期化部
15 基準値決定部
16 フィルタ係数補正部
17 画素値計算部
18 画素値出力部
以下、本発明の実施の形態について図面を参照しつつ説明する。
≪画像ノイズ除去装置1の構成≫
本実施の形態の画像ノイズ除去装置1について図1を参照しつつ説明する。図1は本実施の形態の画像ノイズ除去装置1の装置構成図である。
本実施の形態の画像ノイズ除去装置1について図1を参照しつつ説明する。図1は本実施の形態の画像ノイズ除去装置1の装置構成図である。
画像ノイズ除去装置1は原画像メモリ2と処理画像メモリ3とノイズ除去部4とを備える。なお、例えば、原画像メモリ2と処理画像メモリ3は論理的なメモリであり、物理的には同一メモリ上に配置されていても良い。
原画像メモリ2及び処理画像メモリ3には例えば半導体メモリが利用され、原画像メモリ2はノイズ除去処理前の原画像を記憶し、処理画像メモリ3はノイズ除去部4によるノイズ除去処理後の処理画像を記憶する。ノイズ除去部4は、原画像メモリ2に記憶されている原画像に対してノイズ除去処理を行い、ノイズ除去処理の結果得られた処理画像を処理画像メモリ3に書き込む。
<ノイズ除去部4の構成>
以下、図1のノイズ除去部4の構成について図2を参照しつつ説明する。図2は図1のノイズ除去部4の構成図である。
以下、図1のノイズ除去部4の構成について図2を参照しつつ説明する。図2は図1のノイズ除去部4の構成図である。
ノイズ除去部4は、画素値取得部11と勾配方向検出部12と選択部13とフィルタ係数初期化部14と基準値決定部15とフィルタ係数補正部16と画素値計算部17と画素値出力部18とを備える。
画素値取得部11は、注目画素を中心とするN×N(Nは3以上の奇数)画素の領域内の各画素の画素値を原画像メモリ3から取得し、取得した各画素の画素値を勾配方向検出部12と選択部13と基準値決定部14とへ出力する。なお、以下において、注目画素を中心とするN×N画素の領域内の注目画素以外の各画素を「隣接画素」と言い、注目画素及び各隣接画素からなる原画像の領域を「対象領域」と言う。
ここで、図3に対象領域が3×3画素の場合の注目画素と隣接画素との関係を示す。原画像31の座標(x,y)の画素P(x、y)が注目画素32である場合、注目画素32を取り囲む画素P(x+i,y+j)(iは−1以上1以下の整数であり、jは−1以上1以下の整数である。但し、iが0且つjが0の場合を除く。)が隣接画素になる。なお、対象領域が5×5画素の場合、原画像31の座標(x,y)の画素P(x、y)が注目画素32であれば、注目画素32を取り囲む画素P(x+i,y+j)(iは−2以上2以下の整数であり、jは−2以上2以下の整数である。但し、iが0且つjが0の場合を除く。)が隣接画素になる。なお、ノイズの除去及びそのための処理量の観点から観ると、対象領域を3×3画素或いは5×5画像とするのが好ましい。
勾配方向検出部12は、画素値取得部11から入力される対象領域内の各画素の画素値に基づいて当該対象領域における画素値の勾配方向の検出を行い、検出した勾配方向を選択部13と基準値決定部15とへ出力する。但し、本実施の形態における勾配方向検出部12によって検出される勾配方向は、予め定められた複数の勾配方向のうち画素値を用いて実際に算出される勾配方向に最も近い勾配方向である。図4に対象領域が3×3画素である場合に勾配方向検出部12によって検出される勾配方向を示し、勾配方向検出部12は4つの勾配方向DIR13〜DIR43の中から画素値を用いて実際に算出される勾配方向に最も近い勾配方向を検出する。図5に対象領域が5×5画素である場合に勾配方向検出部12によって検出される勾配方向を示し、勾配方向検出部12は4つの勾配方向DIR15〜DIR45の中から画素値を用いて実際に算出される勾配方向に最も近い勾配方向を検出する。なお、本実施の形態では、図4における勾配方向DIR13〜DIR43及び図5における勾配方向DIR15〜DIR45の夫々は、一の方向と当該一の方向と反対方向との2方向を含む。
但し、勾配方向検出部12には例えばエッジ検出によく利用されるゾーベルフィルタ(Sobel Filter)やプレヴィットフィルタ(Prewitt Filter)などを用いることができる。ゾーベルフィルタやプレヴィットフィルタなどは、水平方向の勾配及び垂直方向の勾配を3×3の行列演算により求めるものであり、2つのフィルタ係数を利用することによって水平方向の勾配及び垂直方向の勾配を取得することができる。そして、ゾーベルフィルタやプレヴィットフィルタなどでは、取得した水平方向の勾配及び垂直方向の勾配に基づいて画素値の勾配方向を検出することができる。
また、特開平2001−14461号公報に開示された方法に基づいて対象領域における画素値の勾配方向の検出を行ってもよい。この場合、当該方法によって検出される方向は画素値の勾配に直交する勾配に対する接線方向になるので、検出された方向に直交する方向を勾配方向検出部12が検出する勾配方向に変換するための処理が必要になる。
なお、上記の各勾配方向の検出手段は既知の内容であるため詳細は省略する。また、上記の各勾配方向の検出手段は例であって、画素値の勾配方向を検出することができる手段であればよい。
選択部13は、勾配方向検出部12から入力される対象領域における画素値の勾配方向に基づいて、当該対象領域内の複数の画素の中から当該勾配方向と直交する方向に沿って注目画素を含むN個の画素を選択する。そして、選択部13は、選択した画素の画素値を画素値計算部17へ出力すると共に、選択した画素を示す選択画素情報を基準値決定部15へ出力する。更に言えば、選択部13は、注目画素の中心点を通り且つ勾配方向と直交する線上に存在する注目画素を含むN個の画素を選択する。なお、以下、選択部13によって選択される画素を「選択画素」と言う。
例えば、対象領域が3×3画素の場合に選択部13によって選択される選択画素を図6(a)〜図6(d)に示し、“a”、“b”、“c”が付された3つの画素が選択画素であり、“b”が付された選択画素が注目画素である。但し、図6(a)は勾配方向DIR13に対応する選択画素を示し、図6(b)は勾配方向DIR23に対応する選択画素を示し、図6(c)は勾配方向DIR33に対応する選択画素を示し、図6(d)は勾配方向DIR43に対応する選択画素を示す。
また、対象領域が5×5画素の場合に選択部13によって選択される選択画素を図7(a)〜図7(d)に示し、“a”、“b”、“c”、“d”、“e”が付された画素が選択画素であり、“c”が付された選択画素が注目画素である。但し、図7(a)は勾配方向DIR15に対応する選択画素を示し、図7(b)は勾配方向DIR25に対応する選択画素を示し、図7(c)は勾配方向DIR35に対応する選択画素を示し、図7(d)は勾配方向DIR45に対応する選択画素を示す。
フィルタ係数初期化部14は各選択画素に対応したフィルタ係数の初期化を行い、各フィルタ係数の初期値をフィルタ係数補正部16へ出力する。但し、フィルタ係数初期化部14は、フィルタ係数の初期化の際に、各フィルタ係数の初期値の和が1になるように正規化を行う。
例えば、対象領域が3×3画素の場合、フィルタ係数初期化部14は、フィルタ係数Ca3,Cb3,Cc3の初期値Ca3i,Cb3i,Cc3iの和が1(Ca3i+Cb3i+Cc3i=1)になるようにフィルタ係数Ca3,Cb3,Cc3の初期化を行う。但し、フィルタ係数Ca3,Cb3,Cc3は、夫々、図6(a)〜(d)において、“a”、“b”、“c”が付された選択画素に対応するフィルタ係数である。各フィルタ係数の初期値の大小関係は、例えば、Ca3i=Cb3i=Cc3iや、Cb3i>Ca3i=Cc3iである。後者の場合、ノイズ除去によるボケ味が小さくなる。なお、フィルタ係数Ca3,Cb3,Cc3の初期値の大小関係は必ずしも上記のものである必要はない。
また、対象領域が5×5画素の場合、フィルタ係数初期化部14は、フィルタ係数Ca5,Cb5,Cc5,Cd5,Ce5の初期値Ca5i,Cb5i,Cc5i,Cd5i,Ce5iの和が1(Ca5i+Cb5i+Cc5i+Cd5i+Ce5i=1)になるようにフィルタ係数Ca5,Cb5,Cc5,Cd5,Ce5の初期化を行う。但し、フィルタ係数Ca5,Cb5,Cc5,Cd5,Ce5は、夫々、図7(a)〜(d)において、“a”、“b”、“c”、“d”、“e”が付された選択画素に対応するフィルタ係数である。各フィルタ係数の初期値の大小関係は、例えば、Ca5i=Cb5i=Cc5i=Cd5i=Ce5iや、Cc5i>Cb5i=Cd5i>Ca5i=Ce5iである。後者の場合、ノイズ除去によるボケ味が小さくなる。なお、フィルタ係数Ca5,Cb5,Cc5,Cd5,Ce5の初期値の大小関係は必ずしも上記のものである必要はない。
基準値決定部15は、入力される選択画素情報に示される選択部13によって選択された選択画素毎に、各フィルタ係数の補正に用いる基準値の決定に用いる画素(以下、「基準画素」と言う。)を勾配方向検出部12から入力される勾配方向に基づいて決定し、決定した基準画素の画素値に基づいて基準値の算出を行う。そして、基準値決定部15は各選択画素に対して算出した基準値をフィルタ係数補正部16へ出力する。
例えば、対象領域が3×3画素の場合に基準値決定部15が行う基準値の算出処理を図8(a)〜図8(d)を用いて説明する。但し、図8(a)、図8(b)、図8(c)及び図8(d)は、夫々、勾配方向DIR13における基準画素、勾配方向DIR23における基準画素、勾配方向DIR33における基準画素、及び勾配方向DIR43における基準画素を示すための図である。なお、図8(a)〜図8(d)における“a1”、“a2”、“a3”が付された画素が図6(a)〜図6(d)における“a”が付された選択画素に関係する基準画素であり、“b1”、“b2”、“b3”が付された画素が“b”が付された選択画素に関係する基準画素であり、“c1”、“c2”、“c3”が付された画素が“c”が付された選択画素に関係する基準画素である。
勾配方向DIR13,DIR23では、基準値決定部15は、選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部12から入力される勾配方向の線上にある3つの画素を基準画素に決定する(図8(a)、図8(b)参照。)。
また、勾配方向DIR33,DIR43では、基準値決定部15は、“b”が付された選択画素について、選択画素の中心点を通り且つ勾配方向検出部12から入力される勾配方向の線上にある3つの画素を基準画素に決定する。そして、基準値決定部15は、“a”、“c”が付された選択画素の夫々について、選択画素と当該選択画素に辺が接する2つの画素との計3つの画素を基準画素に決定する(図8(c)、図8(d)参照。)。なお、“a”、“c”が付された選択画素において、選択画素と辺が接する2つの画素を基準画素にするのは3×3画素を対象として処理することによる。但し、対象領域以外の画素の画素値を原画像メモリ3から取得して、注目画素の中心点を通り且つ勾配方向の線上にある画素を基準画素とするようにしてもよい。
続いて、基準値決定部15は、下記の式(5)を用いて、各選択画素に対する基準値を算出し、各選択画素に対して算出した基準値をフィルタ係数補正部16へ出力する。
但し、Sa、Sb、Scは、夫々、“a”、“b”、“c”が付された選択画素に対する基準値である。a1、a2、a3は、夫々、“a1”、“a2”、“a3”が付された基準画素の画素値であり、b1、b2、b3は、夫々、“b1”、“b2”、“b3”が付された基準画素の画素値であり、c1、c2、c3は、夫々、“c1”、“c2”、“c3”が付された基準画素の画素値である。また、αa、βa、γa、αb、βb、γb、αc、βc、γcは、夫々、予め定められた定数である。なお、βaはαa、γaと等しい値或いはそれらより大きい値とすることが好ましく、βbはαb、γbと等しい値或いはそれらより大きい値とすることが好ましく、βcはαc、γcと等しい値或いはそれらより大きい値とすることが好ましい。
また、対象領域が5×5画素の場合に基準値決定部15が行う基準値の算出処理を図9(a)〜図9(d)を用いて説明する。但し、図9(a)、図9(b)、図9(c)及び図9(d)は、夫々、勾配方向DIR15における基準画素、勾配方向DIR25における基準画素、勾配方向DIR35における基準画素、勾配方向DIR45における基準画素を示すための図である。なお、図9(a)〜図9(d)における“a1”、“a2”、“a3”が付された画素が図7(a)〜図7(d)における“a”が付された選択画素に関係する基準画素であり、“b1”、“b2”、“b3”が付された画素が“b”が付された選択画素に関係する基準画素であり、“c1”、“c2”、“c3”が付された画素が“c”が付された選択画素に関係する基準画素であり、“d1”、“d2”、“d3”が付された画素が“d”が付された選択画素に関係する基準画素であり、“e1”、“e2”、“e3”が付された画素が“e”が付された選択画素に関係する基準画素である。
勾配方向DIR15,DIR25では、基準値決定部15は、選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部12から入力される勾配方向の線上にある3つの画素を基準画素に決定する(図9(a)、図9(b)参照。)。
また、勾配方向DIR35,DIR45では、基準値決定部15は、“b”、“c”、“d”が付された選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部12から入力される勾配方向の線上にある3つの画素を基準画素に決定する。そして、基準値決定部15は、“a”、“e”が付された選択画素の夫々について、選択画素と当該選択画素に辺が接する2つの画素との計3つの画素を基準画素に決定する(図9(c)、図9(d)参照。)。なお、“a”、“e”が付された選択画素において、選択画素と辺が接する2つの画素を基準画素にするのは5×5画素を対象として処理することによる。但し、対象領域以外の画素の画素値を原画像メモリ3から取得して、注目画素の中心点を通り且つ勾配方向の線上にある画素を基準画素とするようにしてもよい。
続いて、基準値決定部15は、下記の式(6)を用いて、各選択画素に対する基準値を算出し、各選択画素に対して算出した基準値をフィルタ係数補正部16へ出力する。
但し、Sa、Sb、Sc、Sd、Seは、夫々、“a”、“b”、“c”、“d”、“e”が付された選択画素に対する基準値である。a1、a2、a3は、夫々、“a1”、“a2”、“a3”が付された基準画素の画素値であり、b1、b2、b3は、夫々、“b1”、“b2”、“b3”が付された基準画素の画素値であり、c1、c2、c3は、夫々、“c1”、“c2”、“c3”が付された基準画素の画素値であり、d1、d2、d3は、夫々、“d1”、“d2”、“d3”が付された基準画素の画素値であり、e1、e2、e3は、夫々、“e1”、“e2”、“e3”が付された基準画素の画素値である。また、αa、βa、γa、αb、βb、γb、αc、βc、γc、αd、βd、γd、αe、βe、γeは、夫々、予め定められた定数である。なお、βaはαa、γaと等しい値或いはそれらより大きい値とすることが好ましく、βbはαb、γbと等しい値或いはそれらより大きい値とすることが好ましく、βcはαc、γcと等しい値或いはそれらより大きい値とすることが好ましく、βdはαd、γdと等しい値或いはそれらより大きい値とすることが好ましく、βeはαe、γeと等しい値或いはそれらより大きい値とすることが好ましい。
上記のように、勾配方向と直交する方向に沿って選択される選択画素だけでなく、選択画素の周辺の画素も考慮することによって、ノイズの影響を抑えてフィルタ係数の補正を行うことができる。これにより、フィルタ処理による画像のエッジ近辺でのボケ味の発生を抑制することが可能になる。
フィルタ係数補正部16は、選択部13によって選択された注目画素を除く選択画素の夫々において、注目画素に対する基準値と注目画素以外の選択画素の基準値との差の絶対値(以下、「差分」と言う。)を算出し、算出した差分に基づいてフィルタ係数の補正に用いる係数補正値を求める。なお、本実施の形態では、フィルタ係数補正部16は、図10に示す差分と係数補正値との関係の何れか1つを利用して、算出した差分に対する係数補正値を求める。但し、図10において、横軸は差分を示し、縦軸は係数補正値を示す。なお、図10中の実線は直線による差分補正、破線は折れ線による差分補正、一点鎖線は曲線による差分補正の例であり、フィルタ係数補正部16は例えば図10中の一点鎖線で示す差分と係数補正値との関係を用いる。
続いて、フィルタ係数補正部16は、注目画素以外の選択画素の夫々について、選択画素に対応するフィルタ係数の初期値から求めた係数補正値を減算することによってフィルタ係数の補正値を算出する。また、フィルタ係数補正部16は、選択画素のうちの注目画素について、注目画素に対応するフィルタ係数の初期値に注目画素以外の選択画素に対して求められた係数補正値の全てを加算することによってフィルタ係数の補正値を算出する。そして、フィルタ係数補正部16は、算出した各選択画素に対応するフィルタ係数の補正値を画素値計算部17へ出力する。
例えば、対象領域が3×3画素の場合、フィルタ係数補正部16は、“b”が付された選択画素(注目画素)に対する基準値Sbと“a”が付された選択画素に対する基準値Saとの差の絶対値(差分)|Sb−Sa|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sb−Sa|に対する係数補正値Cba3を求める。また、フィルタ係数補正部16は、“b”が付された選択画素(注目画素)に対する基準値Sbと“c”が付された選択画素に対する基準値Scとの差分|Sb−Sc|を算出し、図10に示した差分値と係数補正値との関係から算出した差分|Sb−Sc|に対する係数補正値Cbc3を求める。
そして、フィルタ係数補正部16は、下記の式(7)を用いて、各選択画素に対応するフィルタ係数Ca3、Cb3、Cc3の補正値を算出する。この様子を図11に示す。
但し、Ca3m、Cb3m、Cc3mは、夫々、フィルタ係数Ca3、Cb3、Cc3の補正値である。
また、対象領域が5×5画素の場合、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“a”が付された選択画素に対する基準値Saとの差分|Sc−Sa|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Sa|に対する係数補正値Cca5を求める。また、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“b”が付された選択画素に対する基準値Sbとの差分|Sc−Sb|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Sb|に対する係数補正値Ccb5を求める。また、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“d”が付された選択画素に対する基準値Sdとの差分|Sc−Sd|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Sd|に対する係数補正値Ccd5を求める。また、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“e”が付された選択画素に対する基準値Seとの差分|Sc−Se|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Se|に対する係数補正値Cce5を求める。
そして、フィルタ係数補正部16は、下記の式(8)を用いて、各選択画素に対応するフィルタ係数Ca5、Cb5、Cc5、Cd5、Ce5の補正値を算出する。この様子を図12に示す。
但し、Ca5m、Cb5m、Cc5m、Cd5m、Ce5mは、夫々、フィルタ係数Ca5、Cb5、Cc5、Cd5、Ce5の補正値である。
なお、フィルタ係数の補正値が負の値になった場合には、フィルタ係数補正部16は、負の値になったフィルタ係数を0になるように補正値を修正するとともに、注目画素に対応するフィルタ係数の補正値に当該負の値を加算することによって修正する。
以上のように、各選択画素に対する基準値を用いてフィルタ係数の補正を行うことによって、画素値の変化が大きい部分、つまり、エッジ成分の大きい部分などではフィルタ効果を小さくすることができ、エッジ周辺のボケ味を軽減することができる。
画素値計算部17は、選択部13によって選択された選択画素毎に、選択画素の画素値とフィルタ係数補正部16によって補正された当該選択画素に対応するフィルタ係数の補正値とを乗算する。そして、画素値計算部17は、乗算値の全てを加算して、注目画素に対応する出力画素値を算出し、算出した注目画素に対応する出力画素値を画素値出力部18へ出力する。
例えば、対象領域が3×3画素の場合には、画素値決定部17は下記の式(9)を用いて座標(x,y)の注目画素に対する出力画素値OUT(x,y)を算出する。
但し、a、b、cは、夫々、“a”、“b”、“c”が付された選択画素の画素値である。
また、対象領域が5×5画素の場合には、画素値決定部17は下記の式(10)を用いて座標(x,y)の注目画素に対する出力画素値OUT(x,y)を算出する。
但し、a、b、c、d、eは、夫々、“a”、“b”、“c”、“d”、“e”が付された選択画素の画素値である。
画素値出力部18は、画素値計算部17から入力される注目画素に対する出力画素値OUT(x,y)を処理画像メモリ3に書き込む。
<ノイズ除去部4の動作>
以下、図2のノイズ除去部4によるノイズ除去処理について図13を参照しつつ説明する。図13は図2のノイズ除去部4によるノイズ除去処理の手順を示すフローチャートである。
以下、図2のノイズ除去部4によるノイズ除去処理について図13を参照しつつ説明する。図13は図2のノイズ除去部4によるノイズ除去処理の手順を示すフローチャートである。
画素値取得部11は、注目画素の位置の座標を(x,y)に初期化する(ステップS1)。初期化の位置の座標としては、例えば、(0,0)を挙げることができる。
画素値取得部11は、注目画素の位置によって定まる対象領域内の各画素(注目画素と各隣接画素)の画素値を原画像メモリ2から取得する(ステップS2)。勾配方向検出部12はステップS2で取得した対象領域内の各画素の画素値に基づいて当該対象領域内における画素値の勾配方向の検出を行う(ステップS3)。選択部13は、ステップS3における勾配方向の検出結果に基づいて対象領域内の複数の画素の中から選択画素の選択を行う(ステップS4)。
フィルタ係数初期化部14は、ステップS4において選択された各選択画素に対応するフィルタ係数の初期化を行い(ステップS5)、基準値決定部15はステップS4において選択された各選択画素に対する基準値の決定を行う(ステップS6)。フィルタ係数補正部16は、注目画素以外の選択画素の夫々について、注目画素の基準値と注目画素以外の選択画素の画素値との差の絶対値(差分)を計算し(ステップS7)、計算により求めた差分に基づいて係数補正値を求める(ステップS8)。そして、フィルタ係数補正部16は、ステップS8において求めた各係数補正値に基づいて各選択画素に対応するフィルタ係数の補正を行う(ステップS9)。画素値計算部17は、各選択画素の画素値と各フィルタ係数の補正値とに基づいて注目画素に対する出力画素値を計算し(ステップS10)、画素値出力部18はステップS10で求められた注目画素に対する出力画素値を処理画像メモリ3に書き込む(ステップS11)。
画素値取得部11は、原画像メモリ2に記憶されている処理対象の原画像の全画素に対してノイズ除去処理が行われたか否かを判定し(ステップS12)、全画素に対してノイズ除去処理が行われていない場合には(S12:NO)、注目画素の位置を未処理の画素の位置に更新し(ステップS13)、ステップS2の処理が行われる。全画素に対してノイズ除去処理が行われた場合には(S12:YES)、図13のノイズ除去処理が終了する。
上述した実施の形態によれば、バイラテラルフィルタに比べて少ない演算量及び回路規模でエッジ保存を行いつつノイズ除去を行うことができ、少ない演算量でバイラテラルフィルタの近似的な効果を得ることができる。
≪変形例≫
<コンピュータ>
以下、上述した画像ノイズ除去装置1が行うノイズ除去処理を実行するコンピュータについて図14を参照しつつ説明する。図14は本変形例におけるコンピュータの装置構成図である。
<コンピュータ>
以下、上述した画像ノイズ除去装置1が行うノイズ除去処理を実行するコンピュータについて図14を参照しつつ説明する。図14は本変形例におけるコンピュータの装置構成図である。
コンピュータ51は、プログラムメモリ52と原画像メモリ53と処理画像メモリ54とCPU(Central Processing Unit)55とを備える。
プログラムメモリ52、原画像メモリ53及び処理画像メモリ54には例えば半導体メモリが利用できる。プログラムメモリ52には、上述した画像ノイズ除去装置1が行うノイズ除去処理と等価な処理手順を記述した画像ノイズ除去プログラムが格納されている。原画像メモリ53は原画像を記憶し、処理画像メモリ54はCPU55による画像ノイズ除去プログラムの実行後の処理画像を記憶する。
CPU55は、プログラムメモリ52から画像ノイズ除去プログラムを読み出して、画像ノイズ除去プログラムを実行することによって、原画像メモリ53に記憶されている原画像からノイズの除去を行い、ノイズの除去の結果得られた処理画像を処理画像メモリ54に書き込む。
なお、CPUの代わりに例えばDSP(Digital Signal Processor)などを用いるようにしてもよい。
<カラー画像の取り扱い>
上記の実施の形態は、画素毎に1つの画素値を持つグレースケール映像や輝度のみの映像を対象にしているが、これに限られるものではなく、例えば、画素値として輝度(Y)と色差(Cb,Cr)とを持つ画像を対象とすることも可能である。
上記の実施の形態は、画素毎に1つの画素値を持つグレースケール映像や輝度のみの映像を対象にしているが、これに限られるものではなく、例えば、画素値として輝度(Y)と色差(Cb,Cr)とを持つ画像を対象とすることも可能である。
以下、図15を参照してカラー画像を対象とした場合のノイズ除去処理について説明する。図15(a)〜(c)はカラー画像へのノイズ除去処理の適用例を説明するための図である。
図15(a)の適用例では、画像ノイズ除去装置は、輝度(Y)成分に対してのみ上記の実施の形態で説明したノイズ除去処理を実行し、Cb成分、Cr成分は原画像メモリから処理画像メモリへそのままコピーする。つまり、画像ノイズ除去装置は、人間がノイズに対して敏感な輝度(Y)成分に対してのみノイズ除去処理を行い、それ以外の色差(Cb,Cr)成分に対してノイズ除去処理を行わない。これにより、人間がノイズに対して敏感な輝度(Y)成分からノイズの除去を行いつつ、ノイズ除去のための処理量を削減することができる。
図15(b)の適用例では、画像ノイズ除去装置は、注目画素ごとに、輝度(Y)成分を用いて選択画素の選択処理及びフィルタ係数の補正値の算出処理を行う。その後、画像ノイズ除去装置は、輝度(Y)成分について、各選択画素の輝度(Y)成分の値と各フィルタ係数の補正値とに基づいて処理画像メモリに出力する輝度(Y)成分の出力値を算出する。これとともに、画像ノイズ除去装置は、Cb成分について、輝度(Y)成分を用いて選択された各選択画素のCb成分の値と輝度(Y)成分を用いて求められた各フィルタ係数の補正値とに基づいて処理画像メモリに出力するCb成分の出力値を算出する。また、画像ノイズ除去装置は、Cr成分について、輝度(Y)成分を用いて選択された各選択画素のCr成分の値と輝度(Y)成分を用いて求められた各フィルタ係数の補正値とに基づいて処理画像メモリに出力するCr成分の出力値を算出する。これによれば、処理量を削減しつつ、色差に対してもノイズ除去処理が可能になる。
図15(c)の適用例では、画像ノイズ除去装置は、輝度(Y)成分、Cb成分、及びCr成分の夫々に対して個別に上記の実施の形態で説明したノイズ除去処理を実行する。これによれば、輝度(Y)、色差(Cb,Cr)にあわせたノイズ除去が行われることになり、良好な結果が期待できる。なお、Y,Cb,Cr色空間だけでなく、例えばR,G,BやX,Y,Z色空間においても適用することができる。
<反復実行>
上記の実施の形態は、ノイズ除去処理の処理量とノイズ除去の効果との観点から見た場合、注目画素を中心とした3×3画素または5×5画素を用いて処理を行うことが好ましい。しかしながら、3×3画素または5×5画素では、フィルタ処理の影響範囲が狭いため大域的なノイズを除去することができないことも考えられる。そこで、大域的なノイズを除去する場合には、処理画像メモリ3に記録された処理画像に対して、再び上記の実施の形態で説明したノイズ除去処理を実行する。但し、処理画像に対するノイズ除去処理の反復実行回数は適宜変更可能である。
上記の実施の形態は、ノイズ除去処理の処理量とノイズ除去の効果との観点から見た場合、注目画素を中心とした3×3画素または5×5画素を用いて処理を行うことが好ましい。しかしながら、3×3画素または5×5画素では、フィルタ処理の影響範囲が狭いため大域的なノイズを除去することができないことも考えられる。そこで、大域的なノイズを除去する場合には、処理画像メモリ3に記録された処理画像に対して、再び上記の実施の形態で説明したノイズ除去処理を実行する。但し、処理画像に対するノイズ除去処理の反復実行回数は適宜変更可能である。
このように、ノイズ除去処理を反復実行をすることによって、大域的なノイズを除去することが可能となる。また、エッジ成分を保存したノイズ除去を行う性質があるため、反復したノイズ除去を行ってもエッジは保存され、エッジ以外の部分のノイズが除去されていく。
なお、ノイズ除去処理を反復実行する場合には、フィルタ係数の初期値などを変化させるようにしてもよく、或いは、基準値の差の絶対値による補正のグラフ(図10参照)の傾斜を変化させていくようにしてもよい。例えば、1回目のノイズ除去処理では、フィルタ係数を平坦にしておき(各選択画素に対応するフィルタ係数を互いに等しくしておき)、補正のグラフの傾斜を低くしておくことでフィルタを強く効かせ、2回目以降はフィルタの効果を小さくしてゆくなどが考えられる。
≪補足≫
本発明は上記の実施の形態に限られるものではなく、例えば、次のようなものであってもよい。
本発明は上記の実施の形態に限られるものではなく、例えば、次のようなものであってもよい。
(1)上記の実施の形態では、フィルタ係数初期化部14はフィルタ係数の初期値の和が1になるように正規化を行っているが、これに限らず、例えば、フィルタ係数補正部16がフィルタ係数の補正値の和が1になるように正規化を行ってもよい。
(2)上記の実施の形態では、フィルタ係数初期化部14はフィルタ係数を予め定められた値に初期化しているが、これに限られるものではなく、例えば、注目画素毎にフィルタ係数の初期値が異なるようにフィルタ係数の初期化を行ってもよい。例えば、本実施の形態において説明したノイズ除去処理より前に他のノイズ除去処理を行う場合には、フィルタ係数初期化部14は他のノイズ除去処理の結果を利用してフィルタ係数の初期値を変更するようにしてもよい。また、変形例において説明した本実施の形態において説明したノイズ除去処理を反復実行する場合には、フィルタ係数初期化部14は、これまでの(例えば、前回の)ノイズ除去処理の結果を利用してフィルタ係数の初期値を変更するようにしてもよい。このようにすることによって、よりボケ味が少なく、且つ、ノイズの除去を効果的に行うことが可能になる。
(3)上記の実施の形態において、基準値決定部15が対象領域が3×3画素の場合に用いる定数αb及び定数γbの値を0に、定数βbの値を1にしてもよく、対象領域が5×5画素の場合に用いる定数αc及び定数γcの値を0に、定数βcの値を1にしてもよい。この場合、画像ノイズ除去処理のための演算量の軽減が図られる。
なお、上記の場合は、選択画素が注目画素である場合には、選択画素に対する基準画素を当該選択画素のみにし、対象領域が3×3画素の場合にはSb=b2、対象領域が5×5画素の場合にはSc=c2にすることと等価である。
(4)上記の実施の形態では、各選択画素に対する基準値の決定に際して複数の基準画素の画素値を用いているが、これに限らず、例えば、選択画素の夫々について、選択画素に対する基準値を当該選択画素の画素値としてもよい。
(5)上記の実施の形態において、基準値決定部15は定数を利用するものとしたが、これに限られず、原画像に応じて変更するようにしてもよい。
(6)上記の実施の形態において、対象領域が5×5画素の場合に基準画素の数を3としているが、これに限られるものではなく、例えば基準画素の数を5としてもよい。
(7)上記の実施の形態では、図10に示す差分と係数補正値との関係を示すグラフを用いて係数補正値を求めているが、これに限られるものではなく、例えば、差分(diff)を変数とする関数f(diff)を用意し、係数補正値=f(diff)を用いて係数補正値を求めるようにしてもよい。
(8)上記の実施の形態において、ノイズ除去処理の対象が原画像メモリ2に記憶されている原画像であるとしているが、これに限らず、ノイズ除去処理の対象は例えば他のノイズ除去処理によるノイズ除去処理後の画像であってもよく、特にノイズ除去処理の対象は限定されるものではない。
(9)上記の実施の形態では、注目画素を中心とするN×N(Nは3以上の奇数)画素を対象領域としたが、これに限らず、対象領域がA×A(Aは2以上の偶数)画素であってもよく、更に、B1×B2(B1及びB2は2以上の整数であって、B1とB2とが互いに異なる。)画素であってもよい。
(10)上記の実施の形態の構成は、典型的には集積回路であるLSI(Large Scale Integration)として実現されてもよい。これらは、個別に1チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように1チップ化されてもよい。
ここでは、LSIとしたが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
本発明は、デジタルカメラやビデオムービ等の入力段におけるノイズ除去処理、デジタルテレビ等の出力段におけるノイズ除去処理として利用可能である。特に、高速撮影時にはシャッター速度が短くなるため、増感によりノイズ成分が増加してしまうが、本発明はこのノイズ成分を有効に除去するための装置として好適である。
本発明は、画像に含まれるノイズを除去する技術に関する。
近年、映像機器のデジタル化により、デジタル信号処理による画像処理が画質の向上のために重要になってきている。画質の低下の要因の一つとして原信号にノイズ成分が含まれることを挙げることができ、画質の向上のためにはノイズ成分の除去又はノイズ成分の影響の低減を図ることが重要となる。
原信号からノイズ成分を除去する手段として、例えばメディアンフィルタと呼ばれるフィルタが知られている。メディアンフィルタは、原画像の注目画素と当該注目画素に隣接した隣接画素とを取り出し、取り出した画素(注目画素、隣接画素)の輝度値を降順又は昇順に並べた場合にちょうど中央の輝度値を持つ画素の画素値を注目画素に対する出力画素値として出力する。一般的には、注目画素と当該注目画素に隣接する画素とを含む3×3画素の計9個の輝度値を降順又は昇順に並べ、5番目(中央)となる輝度値をもつ画素の画素値を注目画素に対する出力画素値とする。これによって、周辺の画素と画素値が大きく離れた画素、つまり、ノイズ成分と思われる画素が除去され、ノイズの少ない画像を得ることができる。
原信号からノイズ成分を除去する手段として、例えばメディアンフィルタと呼ばれるフィルタが知られている。メディアンフィルタは、原画像の注目画素と当該注目画素に隣接した隣接画素とを取り出し、取り出した画素(注目画素、隣接画素)の輝度値を降順又は昇順に並べた場合にちょうど中央の輝度値を持つ画素の画素値を注目画素に対する出力画素値として出力する。一般的には、注目画素と当該注目画素に隣接する画素とを含む3×3画素の計9個の輝度値を降順又は昇順に並べ、5番目(中央)となる輝度値をもつ画素の画素値を注目画素に対する出力画素値とする。これによって、周辺の画素と画素値が大きく離れた画素、つまり、ノイズ成分と思われる画素が除去され、ノイズの少ない画像を得ることができる。
しかしながら、上述したように中央の輝度値を持つ画素の画素値を注目画素に対する出力画素値とすることから、メディアンフィルタにはノイズ除去による画像のボケが大きい、特にエッジ周辺での画像のボケが大きいという問題点がある。また、メディアンフィルタはノイズが多い場合に十分なノイズの除去を行えないという問題がある。
上記の問題を解決したノイズ除去手段としてバイラテラルフィルタがある。バイラテラルフィルタは、エッジ保存フィルタの一種であり、画像のエッジを保存しつつノイズ除去を行えるフィルタである。バイラテラルフィルタは、注目画素からの距離と輝度差とに着目し、注目画素の輝度値との差が大きい輝度値を持つ画素、或いは、注目画素と距離が離れている画素の影響を小さくすることで画像のエッジを保存することに特徴がある。バイラテラルフィルタは例えば特許文献1の背景技術に詳述されており、以下、特許文献1の記載を引用しながらバイラテラルフィルタの概要を説明する。
上記の問題を解決したノイズ除去手段としてバイラテラルフィルタがある。バイラテラルフィルタは、エッジ保存フィルタの一種であり、画像のエッジを保存しつつノイズ除去を行えるフィルタである。バイラテラルフィルタは、注目画素からの距離と輝度差とに着目し、注目画素の輝度値との差が大きい輝度値を持つ画素、或いは、注目画素と距離が離れている画素の影響を小さくすることで画像のエッジを保存することに特徴がある。バイラテラルフィルタは例えば特許文献1の背景技術に詳述されており、以下、特許文献1の記載を引用しながらバイラテラルフィルタの概要を説明する。
バイラテラルフィルタは、注目画素と当該注目画素に隣接する隣接画素とからなる(2N+1)×(2N+1)画素をフィルタ対象領域として抜き出してフィルタ処理を施し、このフィルタ処理により注目画素に対する出力画素値を求めて出力する。
このバイラテラルフィルタにおけるフィルタ処理は以下の通りである。なお、注目画素の座標を(X,Y)、注目画素の画素値をIN(X,Y)、注目画素に対する出力画素値をOUT(X,Y)、隣接画素の座標を(PX,PY)とする。
このバイラテラルフィルタにおけるフィルタ処理は以下の通りである。なお、注目画素の座標を(X,Y)、注目画素の画素値をIN(X,Y)、注目画素に対する出力画素値をOUT(X,Y)、隣接画素の座標を(PX,PY)とする。
座標(X,Y)と座標(PX,PY)との距離に依存する値をWs(X,Y,PX,PY)、座標(X,Y)と座標(PX,PY)との標準偏差をσsとすると、値Ws(X,Y,PX,PY)は下記の式(1)で表される。
また、エッジの有無を表すエッジ評価値をWr(X,Y,PX,PY)とすると、エッジ評価値Wr(X,Y,PX,PY)は下記の式(2)で表される。
但し、式(2)において、Edge(X,Y)は座標(X,Y)の注目画素の画素値、Edge(PX,PY)は座標(PX,PY)の隣接画素の画素値、σsはフィルタ対象領域内の画素の画素値の標準偏差である。
上記の式(1)で算出した値Ws(X,Y,PX,PY)と上記の式(2)で算出したエッジ評価値Wr(X,Y,PX,PY)とを下記の式(3)に代入することによって係数W(X,Y,PX,PY)を求める。
上記の式(1)で算出した値Ws(X,Y,PX,PY)と上記の式(2)で算出したエッジ評価値Wr(X,Y,PX,PY)とを下記の式(3)に代入することによって係数W(X,Y,PX,PY)を求める。
注目画素に対する出力画素値OUT(X,Y)は下記の式(4)により求められる。
しかしながら、バイラテラルフィルタのフィルタ処理では上記の式(1)〜式(4)の演算を行う必要があり、また、Nの値がある程度大きくなければノイズ除去等の効果が現れにくいことからNの値をある程度大きくする必要がある。このため、バイラテラルフィルタにはノイズ除去に要する演算量が大きいという課題がある。
本発明は、上記の課題を鑑みてなされたものであり、簡易な演算処理によってエッジ保存を行いつつノイズ除去を効果的に行うことが可能な画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラムを提供することを目的とする。
本発明は、上記の課題を鑑みてなされたものであり、簡易な演算処理によってエッジ保存を行いつつノイズ除去を効果的に行うことが可能な画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラムを提供することを目的とする。
上記課題を解決するために、本発明の画像ノイズ除去装置は、注目画素を中心とするN×N(Nは3以上の奇数)画素からなる領域における画素値の勾配方向を検出する勾配方向検出手段と、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むN画素を選択画素として選択する選択手段と、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化手段と、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定手段と、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正手段と、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算手段と、を備える。
また、本発明の画像ノイズ除去方法は、注目画素を中心とするN×N(Nは3以上の奇数)画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むN画素を選択画素として選択する選択ステップと、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、を有する。
さらに、本発明の画像ノイズ除去プログラムは、コンピュータに、注目画素を中心とするN×N(Nは3以上の奇数)画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むN画素を選択画素として選択する選択ステップと、各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、を実行させる。
上記の画像ノイズ除去装置によれば、簡易な演算処理によってエッジを保存しながら効果的にノイズ除去を行うことができる。
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行うようにしてもよい。
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行うようにしてもよい。
これによれば、各フィルタ係数の補正に用いられる選択画素に対する基準値を複数の画素の画素値に基づいて決定することによって、ノイズの影響を抑えたフィルタ係数の補正を行うことができる。
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記注目画素を除く前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行い、前記注目画素である選択画素について、当該注目画素の画素値に基づいて前記基準値の決定を行うようにしてもよい。
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記注目画素を除く前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行い、前記注目画素である選択画素について、当該注目画素の画素値に基づいて前記基準値の決定を行うようにしてもよい。
これによれば、各フィルタ係数の補正に用いられる注目画素(選択画素の一つ)に対する基準値を注目画素の画素値とすると共に、各フィルタ係数の補正に用いられる選択画素(注目画素を除く。)に対する基準値を複数の画素の画素値に基づいて決定することによって、演算量を抑えながらノイズの影響を抑えたフィルタ係数の補正を行うことができる。
上記の画像ノイズ除去装置において、前記基準値決定手段は、前記選択画素の夫々について、前記選択画素の画素値を前記基準値に決定するようにしてもよい。
これによれば、フィルタ係数の補正をより少ない演算量で行うことが可能になる。
これによれば、フィルタ係数の補正をより少ない演算量で行うことが可能になる。
以下、本発明の実施の形態について図面を参照しつつ説明する。
≪画像ノイズ除去装置1の構成≫
本実施の形態の画像ノイズ除去装置1について図1を参照しつつ説明する。図1は本実施の形態の画像ノイズ除去装置1の装置構成図である。
画像ノイズ除去装置1は原画像メモリ2と処理画像メモリ3とノイズ除去部4とを備える。なお、例えば、原画像メモリ2と処理画像メモリ3は論理的なメモリであり、物理的には同一メモリ上に配置されていても良い。
≪画像ノイズ除去装置1の構成≫
本実施の形態の画像ノイズ除去装置1について図1を参照しつつ説明する。図1は本実施の形態の画像ノイズ除去装置1の装置構成図である。
画像ノイズ除去装置1は原画像メモリ2と処理画像メモリ3とノイズ除去部4とを備える。なお、例えば、原画像メモリ2と処理画像メモリ3は論理的なメモリであり、物理的には同一メモリ上に配置されていても良い。
原画像メモリ2及び処理画像メモリ3には例えば半導体メモリが利用され、原画像メモリ2はノイズ除去処理前の原画像を記憶し、処理画像メモリ3はノイズ除去部4によるノイズ除去処理後の処理画像を記憶する。ノイズ除去部4は、原画像メモリ2に記憶されている原画像に対してノイズ除去処理を行い、ノイズ除去処理の結果得られた処理画像を処理画像メモリ3に書き込む。
<ノイズ除去部4の構成>
以下、図1のノイズ除去部4の構成について図2を参照しつつ説明する。図2は図1のノイズ除去部4の構成図である。
ノイズ除去部4は、画素値取得部11と勾配方向検出部12と選択部13とフィルタ係数初期化部14と基準値決定部15とフィルタ係数補正部16と画素値計算部17と画素値出力部18とを備える。
以下、図1のノイズ除去部4の構成について図2を参照しつつ説明する。図2は図1のノイズ除去部4の構成図である。
ノイズ除去部4は、画素値取得部11と勾配方向検出部12と選択部13とフィルタ係数初期化部14と基準値決定部15とフィルタ係数補正部16と画素値計算部17と画素値出力部18とを備える。
画素値取得部11は、注目画素を中心とするN×N(Nは3以上の奇数)画素の領域内の各画素の画素値を原画像メモリ3から取得し、取得した各画素の画素値を勾配方向検出部12と選択部13と基準値決定部14とへ出力する。なお、以下において、注目画素を中心とするN×N画素の領域内の注目画素以外の各画素を「隣接画素」と言い、注目画素及び各隣接画素からなる原画像の領域を「対象領域」と言う。
ここで、図3に対象領域が3×3画素の場合の注目画素と隣接画素との関係を示す。原画像31の座標(x,y)の画素P(x、y)が注目画素32である場合、注目画素32を取り囲む画素P(x+i,y+j)(iは−1以上1以下の整数であり、jは−1以上1以下の整数である。但し、iが0且つjが0の場合を除く。)が隣接画素になる。なお、対象領域が5×5画素の場合、原画像31の座標(x,y)の画素P(x、y)が注目画素32であれば、注目画素32を取り囲む画素P(x+i,y+j)(iは−2以上2以下の整数であり、jは−2以上2以下の整数である。但し、iが0且つjが0の場合を除く。)が隣接画素になる。なお、ノイズの除去及びそのための処理量の観点から観ると、対象領域を3×3画素或いは5×5画像とするのが好ましい。
勾配方向検出部12は、画素値取得部11から入力される対象領域内の各画素の画素値に基づいて当該対象領域における画素値の勾配方向の検出を行い、検出した勾配方向を選択部13と基準値決定部15とへ出力する。但し、本実施の形態における勾配方向検出部12によって検出される勾配方向は、予め定められた複数の勾配方向のうち画素値を用いて実際に算出される勾配方向に最も近い勾配方向である。図4に対象領域が3×3画素である場合に勾配方向検出部12によって検出される勾配方向を示し、勾配方向検出部12は4つの勾配方向DIR13〜DIR43の中から画素値を用いて実際に算出される勾配方向に最も近い勾配方向を検出する。図5に対象領域が5×5画素である場合に勾配方向検出部12によって検出される勾配方向を示し、勾配方向検出部12は4つの勾配方向DIR15〜DIR45の中から画素値を用いて実際に算出される勾配方向に最も近い勾配方向を検出する。なお、本実施の形態では、図4における勾配方向DIR13〜DIR43及び図5における勾配方向DIR15〜DIR45の夫々は、一の方向と当該一の方向と反対方向との2方向を含む。
但し、勾配方向検出部12には例えばエッジ検出によく利用されるゾーベルフィルタ(Sobel Filter)やプレヴィットフィルタ(Prewitt Filter)などを用いることができる。ゾーベルフィルタやプレヴィットフィルタなどは、水平方向の勾配及び垂直方向の勾配を3×3の行列演算により求めるものであり、2つのフィルタ係数を利用することによって水平方向の勾配及び垂直方向の勾配を取得することができる。そして、ゾーベルフィルタやプレヴィットフィルタなどでは、取得した水平方向の勾配及び垂直方向の勾配に基づいて画素値の勾配方向を検出することができる。
また、特開平2001−14461号公報に開示された方法に基づいて対象領域における画素値の勾配方向の検出を行ってもよい。この場合、当該方法によって検出される方向は画素値の勾配に直交する勾配に対する接線方向になるので、検出された方向に直交する方向を勾配方向検出部12が検出する勾配方向に変換するための処理が必要になる。
なお、上記の各勾配方向の検出手段は既知の内容であるため詳細は省略する。また、上記の各勾配方向の検出手段は例であって、画素値の勾配方向を検出することができる手段であればよい。
なお、上記の各勾配方向の検出手段は既知の内容であるため詳細は省略する。また、上記の各勾配方向の検出手段は例であって、画素値の勾配方向を検出することができる手段であればよい。
選択部13は、勾配方向検出部12から入力される対象領域における画素値の勾配方向に基づいて、当該対象領域内の複数の画素の中から当該勾配方向と直交する方向に沿って注目画素を含むN個の画素を選択する。そして、選択部13は、選択した画素の画素値を画素値計算部17へ出力すると共に、選択した画素を示す選択画素情報を基準値決定部15へ出力する。更に言えば、選択部13は、注目画素の中心点を通り且つ勾配方向と直交する線上に存在する注目画素を含むN個の画素を選択する。なお、以下、選択部13によって選択される画素を「選択画素」と言う。
例えば、対象領域が3×3画素の場合に選択部13によって選択される選択画素を図6(a)〜図6(d)に示し、“a”、“b”、“c”が付された3つの画素が選択画素であり、“b”が付された選択画素が注目画素である。但し、図6(a)は勾配方向DIR13に対応する選択画素を示し、図6(b)は勾配方向DIR23に対応する選択画素を示し、図6(c)は勾配方向DIR33に対応する選択画素を示し、図6(d)は勾配方向DIR43に対応する選択画素を示す。
また、対象領域が5×5画素の場合に選択部13によって選択される選択画素を図7(a)〜図7(d)に示し、“a”、“b”、“c”、“d”、“e”が付された画素が選択画素であり、“c”が付された選択画素が注目画素である。但し、図7(a)は勾配方向DIR15に対応する選択画素を示し、図7(b)は勾配方向DIR25に対応する選択画素を示し、図7(c)は勾配方向DIR35に対応する選択画素を示し、図7(d)は勾配方向DIR45に対応する選択画素を示す。
フィルタ係数初期化部14は各選択画素に対応したフィルタ係数の初期化を行い、各フィルタ係数の初期値をフィルタ係数補正部16へ出力する。但し、フィルタ係数初期化部14は、フィルタ係数の初期化の際に、各フィルタ係数の初期値の和が1になるように正規化を行う。
例えば、対象領域が3×3画素の場合、フィルタ係数初期化部14は、フィルタ係数Ca3,Cb3,Cc3の初期値Ca3i,Cb3i,Cc3iの和が1(Ca3i+Cb3i+Cc3i=1)になるようにフィルタ係数Ca3,Cb3,Cc3の初期化を行う。但し、フィルタ係数Ca3,Cb3,Cc3は、夫々、図6(a)〜(d)において、“a”、“b”、“c”が付された選択画素に対応するフィルタ係数である。各フィルタ係数の初期値の大小関係は、例えば、Ca3i=Cb3i=Cc3iや、Cb3i>Ca3i=Cc3iである。後者の場合、ノイズ除去によるボケ味が小さくなる。なお、フィルタ係数Ca3,Cb3,Cc3の初期値の大小関係は必ずしも上記のものである必要はない。
例えば、対象領域が3×3画素の場合、フィルタ係数初期化部14は、フィルタ係数Ca3,Cb3,Cc3の初期値Ca3i,Cb3i,Cc3iの和が1(Ca3i+Cb3i+Cc3i=1)になるようにフィルタ係数Ca3,Cb3,Cc3の初期化を行う。但し、フィルタ係数Ca3,Cb3,Cc3は、夫々、図6(a)〜(d)において、“a”、“b”、“c”が付された選択画素に対応するフィルタ係数である。各フィルタ係数の初期値の大小関係は、例えば、Ca3i=Cb3i=Cc3iや、Cb3i>Ca3i=Cc3iである。後者の場合、ノイズ除去によるボケ味が小さくなる。なお、フィルタ係数Ca3,Cb3,Cc3の初期値の大小関係は必ずしも上記のものである必要はない。
また、対象領域が5×5画素の場合、フィルタ係数初期化部14は、フィルタ係数Ca5,Cb5,Cc5,Cd5,Ce5の初期値Ca5i,Cb5i,Cc5i,Cd5i,Ce5iの和が1(Ca5i+Cb5i+Cc5i+Cd5i+Ce5i=1)になるようにフィルタ係数Ca5,Cb5,Cc5,Cd5,Ce5の初期化を行う。但し、フィルタ係数Ca5,Cb5,Cc5,Cd5,Ce5は、夫々、図7(a)〜(d)において、“a”、“b”、“c”、“d”、“e”が付された選択画素に対応するフィルタ係数である。各フィルタ係数の初期値の大小関係は、例えば、Ca5i=Cb5i=Cc5i=Cd5i=Ce5iや、Cc5i>Cb5i=Cd5i>Ca5i=Ce5iである。後者の場合、ノイズ除去によるボケ味が小さくなる。なお、フィルタ係数Ca5,Cb5,Cc5,Cd5,Ce5の初期値の大小関係は必ずしも上記のものである必要はない。
基準値決定部15は、入力される選択画素情報に示される選択部13によって選択された選択画素毎に、各フィルタ係数の補正に用いる基準値の決定に用いる画素(以下、「基準画素」と言う。)を勾配方向検出部12から入力される勾配方向に基づいて決定し、決定した基準画素の画素値に基づいて基準値の算出を行う。そして、基準値決定部15は各選択画素に対して算出した基準値をフィルタ係数補正部16へ出力する。
例えば、対象領域が3×3画素の場合に基準値決定部15が行う基準値の算出処理を図8(a)〜図8(d)を用いて説明する。但し、図8(a)、図8(b)、図8(c)及び図8(d)は、夫々、勾配方向DIR13における基準画素、勾配方向DIR23における基準画素、勾配方向DIR33における基準画素、及び勾配方向DIR43における基準画素を示すための図である。なお、図8(a)〜図8(d)における“a1”、“a2”、“a3”が付された画素が図6(a)〜図6(d)における“a”が付された選択画素に関係する基準画素であり、“b1”、“b2”、“b3”が付された画素が“b”が付された選択画素に関係する基準画素であり、“c1”、“c2”、“c3”が付された画素が“c”が付された選択画素に関係する基準画素である。
勾配方向DIR13,DIR23では、基準値決定部15は、選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部12から入力される勾配方向の線上にある3つの画素を基準画素に決定する(図8(a)、図8(b)参照。)。
また、勾配方向DIR33,DIR43では、基準値決定部15は、“b”が付された選択画素について、選択画素の中心点を通り且つ勾配方向検出部12から入力される勾配方向の線上にある3つの画素を基準画素に決定する。そして、基準値決定部15は、“a”、“c”が付された選択画素の夫々について、選択画素と当該選択画素に辺が接する2つの画素との計3つの画素を基準画素に決定する(図8(c)、図8(d)参照。)。なお、“a”、“c”が付された選択画素において、選択画素と辺が接する2つの画素を基準画素にするのは3×3画素を対象として処理することによる。但し、対象領域以外の画素の画素値を原画像メモリ3から取得して、注目画素の中心点を通り且つ勾配方向の線上にある画素を基準画素とするようにしてもよい。
また、勾配方向DIR33,DIR43では、基準値決定部15は、“b”が付された選択画素について、選択画素の中心点を通り且つ勾配方向検出部12から入力される勾配方向の線上にある3つの画素を基準画素に決定する。そして、基準値決定部15は、“a”、“c”が付された選択画素の夫々について、選択画素と当該選択画素に辺が接する2つの画素との計3つの画素を基準画素に決定する(図8(c)、図8(d)参照。)。なお、“a”、“c”が付された選択画素において、選択画素と辺が接する2つの画素を基準画素にするのは3×3画素を対象として処理することによる。但し、対象領域以外の画素の画素値を原画像メモリ3から取得して、注目画素の中心点を通り且つ勾配方向の線上にある画素を基準画素とするようにしてもよい。
続いて、基準値決定部15は、下記の式(5)を用いて、各選択画素に対する基準値を算出し、各選択画素に対して算出した基準値をフィルタ係数補正部16へ出力する。
但し、Sa、Sb、Scは、夫々、“a”、“b”、“c”が付された選択画素に対する基準値である。a1、a2、a3は、夫々、“a1”、“a2”、“a3”が付された基準画素の画素値であり、b1、b2、b3は、夫々、“b1”、“b2”、“b3”が付された基準画素の画素値であり、c1、c2、c3は、夫々、“c1”、“c2”、“c3”が付された基準画素の画素値である。また、αa、βa、γa、αb、βb、γb、αc、βc、γcは、夫々、予め定められた定数である。なお、βaはαa、γaと等しい値或いはそれらより大きい値とすることが好ましく、βbはαb、γbと等しい値或いはそれらより大きい値とすることが好ましく、βcはαc、γcと等しい値或いはそれらより大きい値とすることが好ましい。
また、対象領域が5×5画素の場合に基準値決定部15が行う基準値の算出処理を図9(a)〜図9(d)を用いて説明する。但し、図9(a)、図9(b)、図9(c)及び図9(d)は、夫々、勾配方向DIR15における基準画素、勾配方向DIR25における基準画素、勾配方向DIR35における基準画素、勾配方向DIR45における基準画素を示すための図である。なお、図9(a)〜図9(d)における“a1”、“a2”、“a3”が付された画素が図7(a)〜図7(d)における“a”が付された選択画素に関係する基準画素であり、“b1”、“b2”、“b3”が付された画素が“b”が付された選択画素に関係する基準画素であり、“c1”、“c2”、“c3”が付された画素が“c”が付された選択画素に関係する基準画素であり、“d1”、“d2”、“d3”が付された画素が“d”が付された選択画素に関係する基準画素であり、“e1”、“e2”、“e3”が付された画素が“e”が付された選択画素に関係する基準画素である。
勾配方向DIR15,DIR25では、基準値決定部15は、選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部12から入力される勾配方向の線上にある3つの画素を基準画素に決定する(図9(a)、図9(b)参照。)。
また、勾配方向DIR35,DIR45では、基準値決定部15は、“b”、“c”、“d”が付された選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部12から入力される勾配方向の線上にある3つの画素を基準画素に決定する。そして、基準値決定部15は、“a”、“e”が付された選択画素の夫々について、選択画素と当該選択画素に辺が接する2つの画素との計3つの画素を基準画素に決定する(図9(c)、図9(d)参照。)。なお、“a”、“e”が付された選択画素において、選択画素と辺が接する2つの画素を基準画素にするのは5×5画素を対象として処理することによる。但し、対象領域以外の画素の画素値を原画像メモリ3から取得して、注目画素の中心点を通り且つ勾配方向の線上にある画素を基準画素とするようにしてもよい。
また、勾配方向DIR35,DIR45では、基準値決定部15は、“b”、“c”、“d”が付された選択画素の夫々について、選択画素の中心点を通り且つ勾配方向検出部12から入力される勾配方向の線上にある3つの画素を基準画素に決定する。そして、基準値決定部15は、“a”、“e”が付された選択画素の夫々について、選択画素と当該選択画素に辺が接する2つの画素との計3つの画素を基準画素に決定する(図9(c)、図9(d)参照。)。なお、“a”、“e”が付された選択画素において、選択画素と辺が接する2つの画素を基準画素にするのは5×5画素を対象として処理することによる。但し、対象領域以外の画素の画素値を原画像メモリ3から取得して、注目画素の中心点を通り且つ勾配方向の線上にある画素を基準画素とするようにしてもよい。
続いて、基準値決定部15は、下記の式(6)を用いて、各選択画素に対する基準値を算出し、各選択画素に対して算出した基準値をフィルタ係数補正部16へ出力する。
但し、Sa、Sb、Sc、Sd、Seは、夫々、“a”、“b”、“c”、“d”、“e”が付された選択画素に対する基準値である。a1、a2、a3は、夫々、“a1”、“a2”、“a3”が付された基準画素の画素値であり、b1、b2、b3は、夫々、“b1”、“b2”、“b3”が付された基準画素の画素値であり、c1、c2、c3は、夫々、“c1”、“c2”、“c3”が付された基準画素の画素値であり、d1、d2、d3は、夫々、“d1”、“d2”、“d3”が付された基準画素の画素値であり、e1、e2、e3は、夫々、“e1”、“e2”、“e3”が付された基準画素の画素値である。また、αa、βa、γa、αb、βb、γb、αc、βc、γc、αd、βd、γd、αe、βe、γeは、夫々、予め定められた定数である。なお、βaはαa、γaと等しい値或いはそれらより大きい値とすることが好ましく、βbはαb、γbと等しい値或いはそれらより大きい値とすることが好ましく、βcはαc、γcと等しい値或いはそれらより大きい値とすることが好ましく、βdはαd、γdと等しい値或いはそれらより大きい値とすることが好ましく、βeはαe、γeと等しい値或いはそれらより大きい値とすることが好ましい。
上記のように、勾配方向と直交する方向に沿って選択される選択画素だけでなく、選択画素の周辺の画素も考慮することによって、ノイズの影響を抑えてフィルタ係数の補正を行うことができる。これにより、フィルタ処理による画像のエッジ近辺でのボケ味の発生を抑制することが可能になる。
フィルタ係数補正部16は、選択部13によって選択された注目画素を除く選択画素の夫々において、注目画素に対する基準値と注目画素以外の選択画素の基準値との差の絶対値(以下、「差分」と言う。)を算出し、算出した差分に基づいてフィルタ係数の補正に用いる係数補正値を求める。なお、本実施の形態では、フィルタ係数補正部16は、図10に示す差分と係数補正値との関係の何れか1つを利用して、算出した差分に対する係数補正値を求める。但し、図10において、横軸は差分を示し、縦軸は係数補正値を示す。なお、図10中の実線は直線による差分補正、破線は折れ線による差分補正、一点鎖線は曲線による差分補正の例であり、フィルタ係数補正部16は例えば図10中の一点鎖線で示す差分と係数補正値との関係を用いる。
フィルタ係数補正部16は、選択部13によって選択された注目画素を除く選択画素の夫々において、注目画素に対する基準値と注目画素以外の選択画素の基準値との差の絶対値(以下、「差分」と言う。)を算出し、算出した差分に基づいてフィルタ係数の補正に用いる係数補正値を求める。なお、本実施の形態では、フィルタ係数補正部16は、図10に示す差分と係数補正値との関係の何れか1つを利用して、算出した差分に対する係数補正値を求める。但し、図10において、横軸は差分を示し、縦軸は係数補正値を示す。なお、図10中の実線は直線による差分補正、破線は折れ線による差分補正、一点鎖線は曲線による差分補正の例であり、フィルタ係数補正部16は例えば図10中の一点鎖線で示す差分と係数補正値との関係を用いる。
続いて、フィルタ係数補正部16は、注目画素以外の選択画素の夫々について、選択画素に対応するフィルタ係数の初期値から求めた係数補正値を減算することによってフィルタ係数の補正値を算出する。また、フィルタ係数補正部16は、選択画素のうちの注目画素について、注目画素に対応するフィルタ係数の初期値に注目画素以外の選択画素に対して求められた係数補正値の全てを加算することによってフィルタ係数の補正値を算出する。そして、フィルタ係数補正部16は、算出した各選択画素に対応するフィルタ係数の補正値を画素値計算部17へ出力する。
例えば、対象領域が3×3画素の場合、フィルタ係数補正部16は、“b”が付された選択画素(注目画素)に対する基準値Sbと“a”が付された選択画素に対する基準値Saとの差の絶対値(差分)|Sb−Sa|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sb−Sa|に対する係数補正値Cba3を求める。また、フィルタ係数補正部16は、“b”が付された選択画素(注目画素)に対する基準値Sbと“c”が付された選択画素に対する基準値Scとの差分|Sb−Sc|を算出し、図10に示した差分値と係数補正値との関係から算出した差分|Sb−Sc|に対する係数補正値Cbc3を求める。
そして、フィルタ係数補正部16は、下記の式(7)を用いて、各選択画素に対応するフィルタ係数Ca3、Cb3、Cc3の補正値を算出する。この様子を図11に示す。
但し、Ca3m、Cb3m、Cc3mは、夫々、フィルタ係数Ca3、Cb3、Cc3の補正値である。
また、対象領域が5×5画素の場合、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“a”が付された選択画素に対する基準値Saとの差分|Sc−Sa|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Sa|に対する係数補正値Cca5を求める。また、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“b”が付された選択画素に対する基準値Sbとの差分|Sc−Sb|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Sb|に対する係数補正値Ccb5を求める。また、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“d”が付された選択画素に対する基準値Sdとの差分|Sc−Sd|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Sd|に対する係数補正値Ccd5を求める。また、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“e”が付された選択画素に対する基準値Seとの差分|Sc−Se|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Se|に対する係数補正値Cce5を求める。
また、対象領域が5×5画素の場合、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“a”が付された選択画素に対する基準値Saとの差分|Sc−Sa|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Sa|に対する係数補正値Cca5を求める。また、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“b”が付された選択画素に対する基準値Sbとの差分|Sc−Sb|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Sb|に対する係数補正値Ccb5を求める。また、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“d”が付された選択画素に対する基準値Sdとの差分|Sc−Sd|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Sd|に対する係数補正値Ccd5を求める。また、フィルタ係数補正部16は、“c”が付された選択画素(注目画素)に対する基準値Scと“e”が付された選択画素に対する基準値Seとの差分|Sc−Se|を算出し、図10に示した差分と係数補正値との関係から算出した差分|Sc−Se|に対する係数補正値Cce5を求める。
そして、フィルタ係数補正部16は、下記の式(8)を用いて、各選択画素に対応するフィルタ係数Ca5、Cb5、Cc5、Cd5、Ce5の補正値を算出する。この様子を図12に示す。
但し、Ca5m、Cb5m、Cc5m、Cd5m、Ce5mは、夫々、フィルタ係数Ca5、Cb5、Cc5、Cd5、Ce5の補正値である。
なお、フィルタ係数の補正値が負の値になった場合には、フィルタ係数補正部16は、負の値になったフィルタ係数を0になるように補正値を修正するとともに、注目画素に対応するフィルタ係数の補正値に当該負の値を加算することによって修正する。
なお、フィルタ係数の補正値が負の値になった場合には、フィルタ係数補正部16は、負の値になったフィルタ係数を0になるように補正値を修正するとともに、注目画素に対応するフィルタ係数の補正値に当該負の値を加算することによって修正する。
以上のように、各選択画素に対する基準値を用いてフィルタ係数の補正を行うことによって、画素値の変化が大きい部分、つまり、エッジ成分の大きい部分などではフィルタ効果を小さくすることができ、エッジ周辺のボケ味を軽減することができる。
画素値計算部17は、選択部13によって選択された選択画素毎に、選択画素の画素値とフィルタ係数補正部16によって補正された当該選択画素に対応するフィルタ係数の補正値とを乗算する。そして、画素値計算部17は、乗算値の全てを加算して、注目画素に対応する出力画素値を算出し、算出した注目画素に対応する出力画素値を画素値出力部18へ出力する。
画素値計算部17は、選択部13によって選択された選択画素毎に、選択画素の画素値とフィルタ係数補正部16によって補正された当該選択画素に対応するフィルタ係数の補正値とを乗算する。そして、画素値計算部17は、乗算値の全てを加算して、注目画素に対応する出力画素値を算出し、算出した注目画素に対応する出力画素値を画素値出力部18へ出力する。
例えば、対象領域が3×3画素の場合には、画素値決定部17は下記の式(9)を用いて座標(x,y)の注目画素に対する出力画素値OUT(x,y)を算出する。
但し、a、b、cは、夫々、“a”、“b”、“c”が付された選択画素の画素値である。
また、対象領域が5×5画素の場合には、画素値決定部17は下記の式(10)を用いて座標(x,y)の注目画素に対する出力画素値OUT(x,y)を算出する。
また、対象領域が5×5画素の場合には、画素値決定部17は下記の式(10)を用いて座標(x,y)の注目画素に対する出力画素値OUT(x,y)を算出する。
但し、a、b、c、d、eは、夫々、“a”、“b”、“c”、“d”、“e”が付された選択画素の画素値である。
画素値出力部18は、画素値計算部17から入力される注目画素に対する出力画素値OUT(x,y)を処理画像メモリ3に書き込む。
<ノイズ除去部4の動作>
以下、図2のノイズ除去部4によるノイズ除去処理について図13を参照しつつ説明する。図13は図2のノイズ除去部4によるノイズ除去処理の手順を示すフローチャートである。
画素値出力部18は、画素値計算部17から入力される注目画素に対する出力画素値OUT(x,y)を処理画像メモリ3に書き込む。
<ノイズ除去部4の動作>
以下、図2のノイズ除去部4によるノイズ除去処理について図13を参照しつつ説明する。図13は図2のノイズ除去部4によるノイズ除去処理の手順を示すフローチャートである。
画素値取得部11は、注目画素の位置の座標を(x,y)に初期化する(ステップS1)。初期化の位置の座標としては、例えば、(0,0)を挙げることができる。
画素値取得部11は、注目画素の位置によって定まる対象領域内の各画素(注目画素と各隣接画素)の画素値を原画像メモリ2から取得する(ステップS2)。勾配方向検出部12はステップS2で取得した対象領域内の各画素の画素値に基づいて当該対象領域内における画素値の勾配方向の検出を行う(ステップS3)。選択部13は、ステップS3における勾配方向の検出結果に基づいて対象領域内の複数の画素の中から選択画素の選択を行う(ステップS4)。
画素値取得部11は、注目画素の位置によって定まる対象領域内の各画素(注目画素と各隣接画素)の画素値を原画像メモリ2から取得する(ステップS2)。勾配方向検出部12はステップS2で取得した対象領域内の各画素の画素値に基づいて当該対象領域内における画素値の勾配方向の検出を行う(ステップS3)。選択部13は、ステップS3における勾配方向の検出結果に基づいて対象領域内の複数の画素の中から選択画素の選択を行う(ステップS4)。
フィルタ係数初期化部14は、ステップS4において選択された各選択画素に対応するフィルタ係数の初期化を行い(ステップS5)、基準値決定部15はステップS4において選択された各選択画素に対する基準値の決定を行う(ステップS6)。フィルタ係数補正部16は、注目画素以外の選択画素の夫々について、注目画素の基準値と注目画素以外の選択画素の画素値との差の絶対値(差分)を計算し(ステップS7)、計算により求めた差分に基づいて係数補正値を求める(ステップS8)。そして、フィルタ係数補正部16は、ステップS8において求めた各係数補正値に基づいて各選択画素に対応するフィルタ係数の補正を行う(ステップS9)。画素値計算部17は、各選択画素の画素値と各フィルタ係数の補正値とに基づいて注目画素に対する出力画素値を計算し(ステップS10)、画素値出力部18はステップS10で求められた注目画素に対する出力画素値を処理画像メモリ3に書き込む(ステップS11)。
画素値取得部11は、原画像メモリ2に記憶されている処理対象の原画像の全画素に対してノイズ除去処理が行われたか否かを判定し(ステップS12)、全画素に対してノイズ除去処理が行われていない場合には(S12:NO)、注目画素の位置を未処理の画素の位置に更新し(ステップS13)、ステップS2の処理が行われる。全画素に対してノイズ除去処理が行われた場合には(S12:YES)、図13のノイズ除去処理が終了する。
上述した実施の形態によれば、バイラテラルフィルタに比べて少ない演算量及び回路規模でエッジ保存を行いつつノイズ除去を行うことができ、少ない演算量でバイラテラルフィルタの近似的な効果を得ることができる。
≪変形例≫
<コンピュータ>
以下、上述した画像ノイズ除去装置1が行うノイズ除去処理を実行するコンピュータについて図14を参照しつつ説明する。図14は本変形例におけるコンピュータの装置構成図である。
≪変形例≫
<コンピュータ>
以下、上述した画像ノイズ除去装置1が行うノイズ除去処理を実行するコンピュータについて図14を参照しつつ説明する。図14は本変形例におけるコンピュータの装置構成図である。
コンピュータ51は、プログラムメモリ52と原画像メモリ53と処理画像メモリ54とCPU(Central Processing Unit)55とを備える。
プログラムメモリ52、原画像メモリ53及び処理画像メモリ54には例えば半導体メモリが利用できる。プログラムメモリ52には、上述した画像ノイズ除去装置1が行うノイズ除去処理と等価な処理手順を記述した画像ノイズ除去プログラムが格納されている。原画像メモリ53は原画像を記憶し、処理画像メモリ54はCPU55による画像ノイズ除去プログラムの実行後の処理画像を記憶する。
プログラムメモリ52、原画像メモリ53及び処理画像メモリ54には例えば半導体メモリが利用できる。プログラムメモリ52には、上述した画像ノイズ除去装置1が行うノイズ除去処理と等価な処理手順を記述した画像ノイズ除去プログラムが格納されている。原画像メモリ53は原画像を記憶し、処理画像メモリ54はCPU55による画像ノイズ除去プログラムの実行後の処理画像を記憶する。
CPU55は、プログラムメモリ52から画像ノイズ除去プログラムを読み出して、画像ノイズ除去プログラムを実行することによって、原画像メモリ53に記憶されている原画像からノイズの除去を行い、ノイズの除去の結果得られた処理画像を処理画像メモリ54に書き込む。
なお、CPUの代わりに例えばDSP(Digital Signal Processor)などを用いるようにしてもよい。
なお、CPUの代わりに例えばDSP(Digital Signal Processor)などを用いるようにしてもよい。
<カラー画像の取り扱い>
上記の実施の形態は、画素毎に1つの画素値を持つグレースケール映像や輝度のみの映像を対象にしているが、これに限られるものではなく、例えば、画素値として輝度(Y)と色差(Cb,Cr)とを持つ画像を対象とすることも可能である。
以下、図15を参照してカラー画像を対象とした場合のノイズ除去処理について説明する。図15(a)〜(c)はカラー画像へのノイズ除去処理の適用例を説明するための図である。
上記の実施の形態は、画素毎に1つの画素値を持つグレースケール映像や輝度のみの映像を対象にしているが、これに限られるものではなく、例えば、画素値として輝度(Y)と色差(Cb,Cr)とを持つ画像を対象とすることも可能である。
以下、図15を参照してカラー画像を対象とした場合のノイズ除去処理について説明する。図15(a)〜(c)はカラー画像へのノイズ除去処理の適用例を説明するための図である。
図15(a)の適用例では、画像ノイズ除去装置は、輝度(Y)成分に対してのみ上記の実施の形態で説明したノイズ除去処理を実行し、Cb成分、Cr成分は原画像メモリから処理画像メモリへそのままコピーする。つまり、画像ノイズ除去装置は、人間がノイズに対して敏感な輝度(Y)成分に対してのみノイズ除去処理を行い、それ以外の色差(Cb,Cr)成分に対してノイズ除去処理を行わない。これにより、人間がノイズに対して敏感な輝度(Y)成分からノイズの除去を行いつつ、ノイズ除去のための処理量を削減することができる。
図15(b)の適用例では、画像ノイズ除去装置は、注目画素ごとに、輝度(Y)成分を用いて選択画素の選択処理及びフィルタ係数の補正値の算出処理を行う。その後、画像ノイズ除去装置は、輝度(Y)成分について、各選択画素の輝度(Y)成分の値と各フィルタ係数の補正値とに基づいて処理画像メモリに出力する輝度(Y)成分の出力値を算出する。これとともに、画像ノイズ除去装置は、Cb成分について、輝度(Y)成分を用いて選択された各選択画素のCb成分の値と輝度(Y)成分を用いて求められた各フィルタ係数の補正値とに基づいて処理画像メモリに出力するCb成分の出力値を算出する。また、画像ノイズ除去装置は、Cr成分について、輝度(Y)成分を用いて選択された各選択画素のCr成分の値と輝度(Y)成分を用いて求められた各フィルタ係数の補正値とに基づいて処理画像メモリに出力するCr成分の出力値を算出する。これによれば、処理量を削減しつつ、色差に対してもノイズ除去処理が可能になる。
図15(c)の適用例では、画像ノイズ除去装置は、輝度(Y)成分、Cb成分、及びCr成分の夫々に対して個別に上記の実施の形態で説明したノイズ除去処理を実行する。これによれば、輝度(Y)、色差(Cb,Cr)にあわせたノイズ除去が行われることになり、良好な結果が期待できる。なお、Y,Cb,Cr色空間だけでなく、例えばR,G,BやX,Y,Z色空間においても適用することができる。
<反復実行>
上記の実施の形態は、ノイズ除去処理の処理量とノイズ除去の効果との観点から見た場合、注目画素を中心とした3×3画素または5×5画素を用いて処理を行うことが好ましい。しかしながら、3×3画素または5×5画素では、フィルタ処理の影響範囲が狭いため大域的なノイズを除去することができないことも考えられる。そこで、大域的なノイズを除去する場合には、処理画像メモリ3に記録された処理画像に対して、再び上記の実施の形態で説明したノイズ除去処理を実行する。但し、処理画像に対するノイズ除去処理の反復実行回数は適宜変更可能である。
上記の実施の形態は、ノイズ除去処理の処理量とノイズ除去の効果との観点から見た場合、注目画素を中心とした3×3画素または5×5画素を用いて処理を行うことが好ましい。しかしながら、3×3画素または5×5画素では、フィルタ処理の影響範囲が狭いため大域的なノイズを除去することができないことも考えられる。そこで、大域的なノイズを除去する場合には、処理画像メモリ3に記録された処理画像に対して、再び上記の実施の形態で説明したノイズ除去処理を実行する。但し、処理画像に対するノイズ除去処理の反復実行回数は適宜変更可能である。
このように、ノイズ除去処理を反復実行をすることによって、大域的なノイズを除去することが可能となる。また、エッジ成分を保存したノイズ除去を行う性質があるため、反復したノイズ除去を行ってもエッジは保存され、エッジ以外の部分のノイズが除去されていく。
なお、ノイズ除去処理を反復実行する場合には、フィルタ係数の初期値などを変化させるようにしてもよく、或いは、基準値の差の絶対値による補正のグラフ(図10参照)の傾斜を変化させていくようにしてもよい。例えば、1回目のノイズ除去処理では、フィルタ係数を平坦にしておき(各選択画素に対応するフィルタ係数を互いに等しくしておき)、補正のグラフの傾斜を低くしておくことでフィルタを強く効かせ、2回目以降はフィルタの効果を小さくしてゆくなどが考えられる。
なお、ノイズ除去処理を反復実行する場合には、フィルタ係数の初期値などを変化させるようにしてもよく、或いは、基準値の差の絶対値による補正のグラフ(図10参照)の傾斜を変化させていくようにしてもよい。例えば、1回目のノイズ除去処理では、フィルタ係数を平坦にしておき(各選択画素に対応するフィルタ係数を互いに等しくしておき)、補正のグラフの傾斜を低くしておくことでフィルタを強く効かせ、2回目以降はフィルタの効果を小さくしてゆくなどが考えられる。
≪補足≫
本発明は上記の実施の形態に限られるものではなく、例えば、次のようなものであってもよい。
(1)上記の実施の形態では、フィルタ係数初期化部14はフィルタ係数の初期値の和が1になるように正規化を行っているが、これに限らず、例えば、フィルタ係数補正部16がフィルタ係数の補正値の和が1になるように正規化を行ってもよい。
本発明は上記の実施の形態に限られるものではなく、例えば、次のようなものであってもよい。
(1)上記の実施の形態では、フィルタ係数初期化部14はフィルタ係数の初期値の和が1になるように正規化を行っているが、これに限らず、例えば、フィルタ係数補正部16がフィルタ係数の補正値の和が1になるように正規化を行ってもよい。
(2)上記の実施の形態では、フィルタ係数初期化部14はフィルタ係数を予め定められた値に初期化しているが、これに限られるものではなく、例えば、注目画素毎にフィルタ係数の初期値が異なるようにフィルタ係数の初期化を行ってもよい。例えば、本実施の形態において説明したノイズ除去処理より前に他のノイズ除去処理を行う場合には、フィルタ係数初期化部14は他のノイズ除去処理の結果を利用してフィルタ係数の初期値を変更するようにしてもよい。また、変形例において説明した本実施の形態において説明したノイズ除去処理を反復実行する場合には、フィルタ係数初期化部14は、これまでの(例えば、前回の)ノイズ除去処理の結果を利用してフィルタ係数の初期値を変更するようにしてもよい。このようにすることによって、よりボケ味が少なく、且つ、ノイズの除去を効果的に行うことが可能になる。
(3)上記の実施の形態において、基準値決定部15が対象領域が3×3画素の場合に用いる定数αb及び定数γbの値を0に、定数βbの値を1にしてもよく、対象領域が5×5画素の場合に用いる定数αc及び定数γcの値を0に、定数βcの値を1にしてもよい。この場合、画像ノイズ除去処理のための演算量の軽減が図られる。
なお、上記の場合は、選択画素が注目画素である場合には、選択画素に対する基準画素を当該選択画素のみにし、対象領域が3×3画素の場合にはSb=b2、対象領域が5×5画素の場合にはSc=c2にすることと等価である。
なお、上記の場合は、選択画素が注目画素である場合には、選択画素に対する基準画素を当該選択画素のみにし、対象領域が3×3画素の場合にはSb=b2、対象領域が5×5画素の場合にはSc=c2にすることと等価である。
(4)上記の実施の形態では、各選択画素に対する基準値の決定に際して複数の基準画素の画素値を用いているが、これに限らず、例えば、選択画素の夫々について、選択画素に対する基準値を当該選択画素の画素値としてもよい。
(5)上記の実施の形態において、基準値決定部15は定数を利用するものとしたが、これに限られず、原画像に応じて変更するようにしてもよい。
(5)上記の実施の形態において、基準値決定部15は定数を利用するものとしたが、これに限られず、原画像に応じて変更するようにしてもよい。
(6)上記の実施の形態において、対象領域が5×5画素の場合に基準画素の数を3としているが、これに限られるものではなく、例えば基準画素の数を5としてもよい。
(7)上記の実施の形態では、図10に示す差分と係数補正値との関係を示すグラフを用いて係数補正値を求めているが、これに限られるものではなく、例えば、差分(diff)を変数とする関数f(diff)を用意し、係数補正値=f(diff)を用いて係数補正値を求めるようにしてもよい。
(7)上記の実施の形態では、図10に示す差分と係数補正値との関係を示すグラフを用いて係数補正値を求めているが、これに限られるものではなく、例えば、差分(diff)を変数とする関数f(diff)を用意し、係数補正値=f(diff)を用いて係数補正値を求めるようにしてもよい。
(8)上記の実施の形態において、ノイズ除去処理の対象が原画像メモリ2に記憶されている原画像であるとしているが、これに限らず、ノイズ除去処理の対象は例えば他のノイズ除去処理によるノイズ除去処理後の画像であってもよく、特にノイズ除去処理の対象は限定されるものではない。
(9)上記の実施の形態では、注目画素を中心とするN×N(Nは3以上の奇数)画素を対象領域としたが、これに限らず、対象領域がA×A(Aは2以上の偶数)画素であってもよく、更に、B1×B2(B1及びB2は2以上の整数であって、B1とB2とが互いに異なる。)画素であってもよい。
(9)上記の実施の形態では、注目画素を中心とするN×N(Nは3以上の奇数)画素を対象領域としたが、これに限らず、対象領域がA×A(Aは2以上の偶数)画素であってもよく、更に、B1×B2(B1及びB2は2以上の整数であって、B1とB2とが互いに異なる。)画素であってもよい。
(10)上記の実施の形態の構成は、典型的には集積回路であるLSI(Large Scale Integration)として実現されてもよい。これらは、個別に1チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように1チップ化されてもよい。
ここでは、LSIとしたが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
ここでは、LSIとしたが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(FieldProgrammable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
さらに、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
本発明は、デジタルカメラやビデオムービ等の入力段におけるノイズ除去処理、デジタルテレビ等の出力段におけるノイズ除去処理として利用可能である。特に、高速撮影時にはシャッター速度が短くなるため、増感によりノイズ成分が増加してしまうが、本発明はこのノイズ成分を有効に除去するための装置として好適である。
1 画像ノイズ除去装置
2 原画像メモリ
3 処理画像メモリ
4 ノイズ除去部
11 画素値取得部
12 勾配方向検出部
13 選択部
14 フィルタ係数初期化部
15 基準値決定部
16 フィルタ係数補正部
17 画素値計算部
18 画素値出力部
2 原画像メモリ
3 処理画像メモリ
4 ノイズ除去部
11 画素値取得部
12 勾配方向検出部
13 選択部
14 フィルタ係数初期化部
15 基準値決定部
16 フィルタ係数補正部
17 画素値計算部
18 画素値出力部
Claims (6)
- 注目画素を中心とするN×N(Nは3以上の奇数)画素からなる領域における画素値の勾配方向を検出する勾配方向検出手段と、
前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むN画素を選択画素として選択する選択手段と、
各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化手段と、
各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定手段と、
各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正手段と、
各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算手段と、
を備える画像ノイズ除去装置。 - 前記基準値決定手段は、前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行う
ことを特徴とする請求項1記載の画像ノイズ除去装置。 - 前記基準値決定手段は、
前記注目画素を除く前記選択画素の夫々について、前記勾配方向を基に複数の画素を選択し、選択した複数の画素の画素値に基づいて前記基準値の決定を行い、
前記注目画素である選択画素について、当該注目画素の画素値に基づいて前記基準値の決定を行う
ことを特徴とする請求項1記載の画像ノイズ除去装置。 - 前記基準値決定手段は、前記選択画素の夫々について、前記選択画素の画素値を前記基準値に決定する
ことを特徴とする請求項1記載の画像ノイズ除去装置。 - 注目画素を中心とするN×N(Nは3以上の奇数)画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、
前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むN画素を選択画素として選択する選択ステップと、
各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、
各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、
各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、
各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、
を有する画像ノイズ除去方法。 - コンピュータに、
注目画素を中心とするN×N(Nは3以上の奇数)画素からなる領域における画素値の勾配方向を検出する勾配方向検出ステップと、
前記領域内の画素の中から前記勾配方向と直交する方向に沿って前記注目画素を含むN画素を選択画素として選択する選択ステップと、
各前記選択画素に対応するフィルタ係数の初期化を行うフィルタ係数初期化ステップと、
各前記フィルタ係数の補正に用いられる各前記選択画素に対する基準値を前記勾配方向を基に定まる画素の画素値に基づいて決定する基準値決定ステップと、
各前記選択画素に対する前記基準値に基づいて各前記選択画素に対応する前記フィルタ係数の初期値を補正するフィルタ係数補正ステップと、
各前記選択画素の画素値と各前記フィルタ係数の補正値とに基づいて前記注目画素に対する出力画素値を計算する画素値計算ステップと、
を実行させるための画像ノイズ除去プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007243225 | 2007-09-20 | ||
JP2007243225 | 2007-09-20 | ||
PCT/JP2008/002141 WO2009037803A1 (ja) | 2007-09-20 | 2008-08-07 | 画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2009037803A1 true JPWO2009037803A1 (ja) | 2011-01-06 |
Family
ID=40467632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009533028A Pending JPWO2009037803A1 (ja) | 2007-09-20 | 2008-08-07 | 画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20110216984A1 (ja) |
JP (1) | JPWO2009037803A1 (ja) |
WO (1) | WO2009037803A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8559746B2 (en) * | 2008-09-04 | 2013-10-15 | Silicon Image, Inc. | System, method, and apparatus for smoothing of edges in images to remove irregularities |
KR101649882B1 (ko) * | 2009-02-10 | 2016-08-22 | 래티스세미컨덕터코퍼레이션 | 블록 노이즈 검출 및 필터링 |
JP5220677B2 (ja) * | 2009-04-08 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2011065641A (ja) * | 2010-09-01 | 2011-03-31 | Toshiba Corp | 画像処理装置、表示装置及び画像処理方法 |
JP2012158118A (ja) | 2011-02-01 | 2012-08-23 | Konica Minolta Business Technologies Inc | 画像形成装置 |
JP6045185B2 (ja) * | 2011-06-14 | 2016-12-14 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5855443B2 (ja) * | 2011-12-20 | 2016-02-09 | 株式会社Pfu | 画像補正装置、オーバーヘッド型画像読取装置、画像補正方法及びプログラム |
CN103473543B (zh) * | 2012-06-07 | 2016-10-05 | 富士通株式会社 | 用于提取图像中对象边界的装置、方法以及电子设备 |
CN102801928A (zh) * | 2012-09-10 | 2012-11-28 | 上海国茂数字技术有限公司 | 图像处理方法及图像处理设备 |
US11064195B2 (en) * | 2016-02-15 | 2021-07-13 | Qualcomm Incorporated | Merging filters for multiple classes of blocks for video coding |
US10506230B2 (en) | 2017-01-04 | 2019-12-10 | Qualcomm Incorporated | Modified adaptive loop filter temporal prediction for temporal scalability support |
US11328390B2 (en) | 2020-05-13 | 2022-05-10 | Ambu A/S | Method for adaptive denoising and sharpening and visualization systems implementing the method |
WO2022178834A1 (zh) * | 2021-02-26 | 2022-09-01 | 深圳市大疆创新科技有限公司 | 一种图像处理的方法和装置 |
US12217392B1 (en) * | 2022-06-28 | 2025-02-04 | Amazon Technologies, Inc. | Techniques for preserving original luma with noisy clamped sources |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0816773A (ja) * | 1994-06-29 | 1996-01-19 | Matsushita Electric Ind Co Ltd | 画像処理方法 |
JP2000137807A (ja) * | 1998-10-05 | 2000-05-16 | Agfa Gevaert Nv | 階段効果を平滑化する方法 |
JP2006519527A (ja) * | 2003-01-16 | 2006-08-24 | ディ−ブルアー テクノロジス リミテッド | 画像向上機能を備えたカメラ |
JP2007018379A (ja) * | 2005-07-08 | 2007-01-25 | Konica Minolta Medical & Graphic Inc | 画像処理方法及び画像処理装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6674903B1 (en) * | 1998-10-05 | 2004-01-06 | Agfa-Gevaert | Method for smoothing staircase effect in enlarged low resolution images |
-
2008
- 2008-08-07 WO PCT/JP2008/002141 patent/WO2009037803A1/ja active Application Filing
- 2008-08-07 JP JP2009533028A patent/JPWO2009037803A1/ja active Pending
- 2008-08-07 US US12/674,197 patent/US20110216984A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0816773A (ja) * | 1994-06-29 | 1996-01-19 | Matsushita Electric Ind Co Ltd | 画像処理方法 |
JP2000137807A (ja) * | 1998-10-05 | 2000-05-16 | Agfa Gevaert Nv | 階段効果を平滑化する方法 |
JP2006519527A (ja) * | 2003-01-16 | 2006-08-24 | ディ−ブルアー テクノロジス リミテッド | 画像向上機能を備えたカメラ |
JP2007018379A (ja) * | 2005-07-08 | 2007-01-25 | Konica Minolta Medical & Graphic Inc | 画像処理方法及び画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2009037803A1 (ja) | 2009-03-26 |
US20110216984A1 (en) | 2011-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2009037803A1 (ja) | 画像ノイズ除去装置、画像ノイズ除去方法及び画像ノイズ除去プログラム | |
US9299163B2 (en) | Method and apparatus for processing edges of a gray image | |
CN103310430B (zh) | 对非均匀运动模糊进行去模糊的方法和设备 | |
JP5436566B2 (ja) | 画像を編集する方法及び装置 | |
JP5158202B2 (ja) | 画像補正装置および画像補正方法 | |
KR20150037369A (ko) | 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치 | |
US8698905B2 (en) | Estimation of point spread functions from motion-blurred images | |
JP6293374B2 (ja) | 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置 | |
CN104115482B (zh) | 图像噪声除去装置、以及图像噪声除去方法 | |
TW200809699A (en) | Image processing apparatus and image processing method | |
WO2015033695A1 (ja) | 画像処理装置 | |
JP2006180268A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP5914843B2 (ja) | 画像処理装置及び画像処理方法 | |
WO2012175010A1 (en) | Method and device for processing of an image | |
JP2015062270A (ja) | 画像処理装置 | |
CN110503611A (zh) | 图像处理的方法和装置 | |
JPWO2010007777A1 (ja) | 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 | |
WO2022104180A1 (en) | Systems, apparatus, and methods for removing blur in an image | |
Chang et al. | A single image deblurring algorithm for nonuniform motion blur using uniform defocus map estimation | |
GB2545649B (en) | Artefact detection | |
US20230274398A1 (en) | Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium | |
JP7385311B2 (ja) | デジタル画像における背景高周波ノイズを抑制するデータ処理方法 | |
CN115082352A (zh) | 生成全聚焦图像的方法和装置 | |
KR20140009706A (ko) | 이미지 데이터에 포함된 모션 블러 영역을 찾고 그 모션 블러 영역을 처리하는 이미지 프로세싱 장치 및 그 장치를 이용한 이미지 프로세싱 방법 | |
JP2014158083A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130227 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130820 |