JP4584152B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4584152B2 JP4584152B2 JP2006006608A JP2006006608A JP4584152B2 JP 4584152 B2 JP4584152 B2 JP 4584152B2 JP 2006006608 A JP2006006608 A JP 2006006608A JP 2006006608 A JP2006006608 A JP 2006006608A JP 4584152 B2 JP4584152 B2 JP 4584152B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- values
- low
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 16
- 230000001629 suppression Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Description
図1は、この発明の実施の形態1による画像処理装置を示す構成図である。
図において、画像処理装置は、ローパスフィルタ1,2,3、差分器4,5,6、ベースノイズクリップ回路7,8,9、加算器10を備えている。
ローパスフィルタ1,2,3は、それぞれ、入力される画像信号に基づいて、注目画素の画素値と、注目画素の複数の周辺画素の画素値とを加重平均した値を算出すると共に、複数の周辺画素として、それぞれが異なる範囲を参照するためのフィルタである。差分器4,5,6は、それぞれ入力画像信号とローパスフィルタ1の出力との差分、ローパスフィルタ1の出力とローパスフィルタ2の出力との差分、ローパスフィルタ2の出力とローパスフィルタ3の出力との差分を求める差分器である。ベースノイズクリップ回路7,8,9は、それぞれ、差分器4,5,6の出力に対して、入力値が所定の範囲内では一定の出力値とするクリップ処理を行う回路である。加算器10は、ベースノイズクリップ回路7,8,9のそれぞれの出力値と、注目画素の画素値以外の相互差分されていないローパスフィルタの出力値であるローパスフィルタ3の出力値との加算を行い、注目画素の画像信号として出力する演算器である。
図2は、実施の形態1の動作を示すフローチャートである。
先ず、入力画像信号は、ローパスフィルタ1,2,3に送られ、ローパスフィルタ処理がおこなわれる(ステップST1)。
図3は、ローパスフィルタ処理において注目画素と共に参照される周辺画素の位置を示すものである。
ここでは注目画素を中心として5×5画素の範囲を参照する場合について例を挙げて説明する。ローパスフィルタ処理において参照する画素の範囲は本装置が対象とする撮像素子の入力画像の特性に合わせ、7×7、11×11といったより広い範囲、もしくは3×3といったより狭い範囲としても同様の効果が得られる。
ローパスフィルタ処理では注目画素および周辺画素の画素値に係数を掛けて加重平均を行う。本実施の形態では、図1におけるローパスフィルタ1,2,3によるフィルタ処理に対して、それぞれ対応する周波数領域の異なる算出式を適用する。
ここで、図3における各画素の画素値のRGB成分をP11からP55に関して、それぞれR11からR55、G11からG55、B11からB55とし、G画素値の加重平均値を、ローパスフィルタ1からローパスフィルタ3の出力値の順に、それぞれG1’、G2’、G3’とすれば、加重平均値の計算式は下記のように表される。
G2’=(G22+2×G23+G24+2×G32+4×G33+2×G34
+G42+2×G43+G44)/16
G3’=(G11+G12+G13+G14+G15+G21+2×G22
+2×G23+2×G24+G25+G31+2×G32+4×G33+2×G34
+G35+G41+2×G42+2×G43+2×G44+G45+G51+G52
+G53+G54+G55)/36
尚、ここでそれぞれの加重平均値の係数、および除数は演算方法の一例として挙げたものであり、本装置が対象とする撮像素子の入力画像の特性に合わせ他の値の組み合わせとしても構わない。
入力画像がRGB形式で表現されている場合のG成分に関する注目画素の画素値をG0’とし、ローパスフィルタ1,2,3におけるそれぞれの注目画素に対応する出力値をG1’、G2’、G3’とし、各画素値間の差分値D0、D1、D2、D3を下記のように算出する。
D1=G1’−G2’
D2=G2’−G3’
D3=G3’
D0’=D0((−a)≦D0<aのとき)
D0’=D0−a(a≦D0のとき)
D1’=D1((−b)≦D1<bのとき)
D1’=D1−b(b≦D1のとき)
D2’=D2((−c)≦D2<cのとき)
D2’=D2−c(c≦D2のとき)
上記のD0、D1、D2は、それぞれ特性の異なるローパスフィルタ1,2,3の出力値および入力画素値の相互差分をとることにより、それぞれ入力画像における互いに異なる周波数成分を抽出した値となっている。よって、クリップレベルを表す定数であるa、b、cを適切に設定することにより、被写体のエッジに対応する周波数成分を保持したまま、ノイズに対応する周波数成分のみを抑圧することが可能である。
ここで、出力値に加算される値であるD0’、D1’、D2’およびG3’は、クリップレベルを表す定数であるa、b、cを全て0に設定した場合、D0’とD0、D1’とD1、D2’とD2がそれぞれ一致した値となるため、D0’+D1’+D2’+G3’=D0+D1+D2+G3=G0’、即ち、加算値が注目画素の画素値そのものとなる性質を持っている。
よってD0’、D1’、D2’およびG3’の加算値は入力画像に対して、各周波数成分毎のクリップ処理により、ノイズに対応する周波数成分のみ抑圧した補正画像であると考えることができる。
その際、画像の色成分毎に入力画像のノイズ特性は異なるため、ノイズレベルクリップ処理において、R画素処理用、G画素処理用、B画素処理用と、それぞれ異なったクリップレベルの定数a,b,cを設定することにより、より適切なノイズ抑圧処理となるよう調整を行っても良い。
実施形態1では、画像の補間処理および色変換処理を行った後のRGB形式画像、またはYUV形式画像に対して処理を適用する場合の方法について述べたものであるが、フィルタ処理は画像の補間処理を行う前の固体撮像素子のRAW出力画像に対して行うことも可能であり、これを実施の形態2として次に説明する。
実施の形態2の画像処理装置が実施の形態1と異なるのは、ローパスフィルタ1,2,3における参照画素位置が異なる点である。
これらの画素配列は、一般的なベイヤー配列の2次元カラーフィルタを用いた場合を示している。尚、固体撮像素子としては例えばCCD等を用いるものであるが、その図示は省略している。
図5は、G画素を対象としたローパスフィルタ処理を行う場合の参照画素位置を示したものである。図5において、P44は注目画素を表し、P44を除くP11からP77は注目画素を中心とした周辺画素を表す。
ここで、図5における各画素の画素値のG成分をP11からP77に関して、G11からG77とし、G画素値の加重平均値を、ローパスフィルタ1からローパスフィルタ3の順にそれぞれG1’、G2’、G3’とすれば、加重平均値の計算式は下記のように表される。
G2’=(G22+2×G24+G26+2×G33+2×G35+2×G42
+4×G44+2×G46+2×G53+2×G55+G62+2×G64+G66)
/24
G3’=(G11+G13+G15+G17+2×G22+2×G24+2×G26
+G31+4×G33+4×G35+G37+2×G42+6×G44+2×G46
+G51+4×G53+4×G55+G57+2×G62+2×G64+2×G66
+G71+G73+G75+G77)/50
ここで、図6における各画素の画素値のR成分をP00からP88に関して、R00からR88とし、R画素値の加重平均値を、ローパスフィルタ1からローパスフィルタ3の順にそれぞれR1’、R2’、R3’とすれば、加重平均値の計算式は下記のように表される。
R2’=(R22+2×R24+R26+2×R42+4×R44+2×R46
+R62+2×R64+R66/16
R3’=(R00+R02+R04+R06+R08+R20+2×R22
+2×R24+2×R26+R28+R40+2×R42+4×R44+2×R46
+R48+R60+2×R62+2×R64+2×R66+R68+R80+R82
+R84+R86+R88)/36
上記の値をローパスフィルタ処理の出力値とし、実施の形態1と同様の方法で差分値の算出とノイズレベルクリップ処理、および出力値の加算を行うことにより、同様の効果を得ることが可能である。
実施の形態1は、ローパスフィルタ処理に関して常に固定された一定の係数を適用するものであった。しかし、実際の画像処理では入力画像に特定方向のエッジ成分が強く表れている場合、エッジ方向に対して垂直方向のフィルタ処理は行わず、エッジ方向に水平な成分に特化したフィルタ処理を行うことにより、よりエッジ成分を保存し、解像感の低下を抑えたノイズ抑圧処理が可能となる。そこで、実施の形態3では、パターンマッチング等による局所的なエッジ方向検出処理と組み合わせ、ローパスフィルタ処理のカーネルを動的に変更する方法について説明する。
図示の画像処理装置は、ローパスフィルタ1a,2a,3a、差分器4,5,6、ベースノイズクリップ回路7,8,9、加算器10およびエッジ方向抽出部11を備えている。エッジ方向抽出部11は、注目画素周辺の局所的なエッジ方向を抽出する機能を有し、その抽出結果をローパスフィルタ1a,2a,3aに出力するよう構成されている。ローパスフィルタ1a,2a,3aは、それぞれ、エッジ方向抽出部11の抽出結果に基づいて加重平均処理を行う場合の係数を動的に変更して処理を行うよう構成されている。これ以外の構成は、図1に示した実施の形態1または実施の形態2と同様であるため、ここでの説明は省略する。
エッジ方向抽出部11は、パターンマッチング等の方法により、注目画素の周囲におけるエッジ成分の方向性を検出する。ここでの方向性検出結果は、処理内容によって、垂直方向、水平方向、エッジ成分なしの3通り、あるいはこれに右斜め45°方向、左斜め45°方向を加えた5通り、もしくはより細かい刻みにて分けることも考えられるが、ここでは一つの例として垂直方向、水平方向、エッジ成分なしの3通りの結果が得られる場合について述べる。
同様に水平方向のエッジが検出された場合には水平方向のみローパスフィルタ処理を行い、垂直方向にはフィルタ処理を行わないものとする。
また、エッジ成分が検出されない場合には実施の形態1、2と同様に、水平方向、垂直方向共にローパスフィルタ処理を行う。
実際のローパスフィルタ処理内容の切替は、エッジ方向抽出処理より出力されるエッジ方向抽出結果情報に基づき、ローパスフィルタ処理の加重平均に関する係数設定を動的に変更することにより行う。
G1’=(G23+2×G33+G43)/4
G2’=(G13+2×G23+4×G33+2×G43+G53)/10
G3’=(G13+G23+G33+G43+G53)/5
G1’=(G32+2×G33+G34)/4
G2’=(G31+2×G32+4×G33+2×G34+G35)/10
G3’=(G31+G32+G33+G34+G35)/5
G1’=(G23+G32+2×G33+G34+G43)/6
G2’=(G22+2×G23+G24+2×G32+4×G33+2×G34
+G42+2×G43+G44)/16
G3’=(G11+G12+G13+G14+G15+G21+2×G22
+2×G23+2×G24+G25+G31+2×G32+4×G33+2×G34
+G35+G41+2×G42+2×G43+2×G44+G45+G51+G52
+G53+G54+G55)/36
実施の形態1〜3では、ベースノイズクリップ処理として単純な演算式を使用していた。しかし、この部分をルックアップテーブルに置き換え、任意の変換曲線を設定可能とすることにより、ノイズ抑圧処理をより柔軟に行えると共に、入力値に対する出力値を大きく設定することにより、入力画像の特定周波数成分を増幅させ、画像の輪郭を強調する処理を合わせて行うことも可能となる。このような例を実施の形態4として以下説明する。
図示の画像処理装置は、ローパスフィルタ1,2,3、差分器4,5,6、加算器10およびルックアップテーブル演算部12,13,14を備えている。ここで、ルックアップテーブル演算部12,13,14は、実施の形態1におけるベースノイズクリップ回路7,8,9に置き換わるもので、それぞれ、差分器4,5,6の出力値を入力値とし、所定の変換曲線に従って出力値を決定するためのルックアップテーブルを用いて、その補正演算を行う演算部である。即ち、これらのルックアップテーブル演算部12,13,14は、それぞれ入力値が所定の範囲内では入力値に対する出力値を抑制し、それ以外の範囲では入力値に対する出力値を所定の変換値とするよう構成されている。これ以外の構成は実施の形態1と同様であるため、ここでの説明は省略する。
本実施の形態において、ローパスフィルタ1,2,3におけるローパスフィルタ処理は実施の形態1と同様である。また、ローパスフィルタ1,2,3の出力値や入力画素値との間で、差分器4,5,6により、相互の差分値算出処理を行い、各画素値間の差分値D0、D1、D2、D3を算出する動作についても実施の形態1と同様である。
各ルックアップテーブル演算部12,13,14において、例えばこの図9に示すように、ノイズ抑圧区間では入力値に対する出力値を小さく抑え、輪郭強調区間では入力値に対して出力値を増幅するような処理を行うことにより、同じ周波数帯に属する成分であっても、その大きさに応じてノイズ成分であるか画像のエッジ成分であるかを判定し、それぞれ異なった補正処理を適用することが可能となる。
Claims (3)
- 固体撮像素子のRAW出力画像信号から、R、G、Bのうちのいずれかの注目画素の画素値と、当該注目画素の複数の周辺同色画素の画素値とを平均化した値を算出すると共に、前記複数の周辺同色画素として、それぞれが異なる範囲を参照する複数のローパスフィルタと、
前記注目画素の画素値および前記複数のローパスフィルタの出力値をそれぞれ相互差分する複数の差分器と、
前記複数の差分器からの出力値をそれぞれ入力し、当該入力値がR、G、Bにおいて各々異なる値に設定された範囲内では一定の出力値とする複数のクリップ回路と、
前記複数のクリップ回路の出力値および前記注目画素の画素値以外の相互差分されていないローパスフィルタの出力値を加算して前記注目画素の新たな値を算出する加算器とを備えた画像処理装置。 - 固体撮像素子のRAW出力画像信号から、R,G,Bのうちのいずれかの注目画素の画素値と、当該注目画素の複数の周辺同色画素の画素値とを平均化した値を算出すると共に、前記複数の周辺同色画素として、それぞれが異なる範囲を参照する複数のローパスフィルタと、
前記注目画素の画素値および前記複数のローパスフィルタの出力値をそれぞれ相互差分する複数の差分器と、
前記複数の差分器からの出力値をそれぞれ入力し、当該入力値がR、G、Bにおいて各々異なる値に設定された範囲内では入力値に対する出力値を抑制し、それ以外の範囲では入力値に対する出力値を所定の変換値とする複数のルックアップテーブル演算部と、
前記複数のルックアップテーブル演算部の出力値および前記注目画素の画素値以外の相互差分されていないローパスフィルタの出力値を加算して前記注目画素の新たな値を算出する加算器とを備えた画像処理装置。 - 注目画素周辺の局所的なエッジ方向を抽出するエッジ方向抽出部を備え、
複数のローパスフィルタは、
前記エッジ方向抽出部のエッジ方向抽出結果に基づいて、前記注目画素の画素値および複数の周辺画素の画素値を加重平均する場合の係数を選択することを特徴とする請求項1または請求項2記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006006608A JP4584152B2 (ja) | 2006-01-13 | 2006-01-13 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006006608A JP4584152B2 (ja) | 2006-01-13 | 2006-01-13 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007188346A JP2007188346A (ja) | 2007-07-26 |
JP4584152B2 true JP4584152B2 (ja) | 2010-11-17 |
Family
ID=38343467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006006608A Expired - Fee Related JP4584152B2 (ja) | 2006-01-13 | 2006-01-13 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4584152B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2919943B1 (fr) * | 2007-08-07 | 2010-02-26 | Dxo Labs | Procede de traitement d'objet numerique et systeme associe |
JP4727720B2 (ja) * | 2008-12-31 | 2011-07-20 | 株式会社モルフォ | 画像処理方法および画像処理装置 |
JP5693743B2 (ja) * | 2011-10-26 | 2015-04-01 | 三菱電機株式会社 | 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08163408A (ja) * | 1994-12-02 | 1996-06-21 | Sony Corp | ノイズ検出回路、ノイズ除去回路及び輪郭強調回路 |
JP2004295236A (ja) * | 2003-03-25 | 2004-10-21 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
-
2006
- 2006-01-13 JP JP2006006608A patent/JP4584152B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08163408A (ja) * | 1994-12-02 | 1996-06-21 | Sony Corp | ノイズ検出回路、ノイズ除去回路及び輪郭強調回路 |
JP2004295236A (ja) * | 2003-03-25 | 2004-10-21 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2007188346A (ja) | 2007-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4662584B2 (ja) | 画像センサのライン毎ノイズ除去装置及び方法 | |
KR101526031B1 (ko) | 이미지에서 콘트라스트를 보존하면서 노이즈를 저감시키기 위한 기술 | |
USRE44717E1 (en) | Edge detecting method | |
KR100954133B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
KR101442242B1 (ko) | 불량 화소 및 잡음 제거 방법 | |
JP4863505B2 (ja) | 画像処理装置 | |
EP1860610B1 (en) | Image processing apparatus and image processing method | |
JP4683994B2 (ja) | 画像処理装置、画像処理方法、電子カメラ、スキャナ | |
US20030169353A1 (en) | Method and apparatus for processing sensor images | |
JP5060447B2 (ja) | ノイズキャンセル処理回路および固体撮像装置 | |
JP2010193199A (ja) | 画像処理装置および画像処理方法 | |
JP4584152B2 (ja) | 画像処理装置 | |
KR20070112713A (ko) | 화상 처리 장치 | |
JP2009055281A (ja) | 画像処理装置 | |
JP2004363853A (ja) | 画像信号のノイズ低減方法及びノイズ低減装置 | |
JP2001051672A (ja) | 画像処理装置 | |
WO2017154293A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
KR100690171B1 (ko) | 이미지 보정 회로 및 이미지 보정 방법 | |
US20030169941A1 (en) | Edge enhancement method and apparatus in digital image scalar-up circuit | |
JP2006041687A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、電子カメラ、及びスキャナ | |
JP5103580B2 (ja) | 画像処理装置およびデジタルカメラ | |
JP5557635B2 (ja) | 輪郭強調装置 | |
JP3959547B2 (ja) | 画像処理装置、画像処理方法、及び情報端末装置 | |
JP2005295244A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを格納した記憶媒体 | |
JP2023144442A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071001 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080626 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100824 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4584152 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |