JP5277388B2 - 画像処理装置および撮像装置 - Google Patents
画像処理装置および撮像装置 Download PDFInfo
- Publication number
- JP5277388B2 JP5277388B2 JP2010053160A JP2010053160A JP5277388B2 JP 5277388 B2 JP5277388 B2 JP 5277388B2 JP 2010053160 A JP2010053160 A JP 2010053160A JP 2010053160 A JP2010053160 A JP 2010053160A JP 5277388 B2 JP5277388 B2 JP 5277388B2
- Authority
- JP
- Japan
- Prior art keywords
- noise reduction
- component
- reduction processing
- noise
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 295
- 238000003384 imaging method Methods 0.000 title claims description 37
- 230000009467 reduction Effects 0.000 claims abstract description 175
- 238000000034 method Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000000926 separation method Methods 0.000 description 93
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 239000006185 dispersion Substances 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 14
- 238000003786 synthesis reaction Methods 0.000 description 14
- 230000001419 dependent effect Effects 0.000 description 9
- 230000006866 deterioration Effects 0.000 description 8
- 239000000470 constituent Substances 0.000 description 7
- 238000003672 processing method Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
図1は本発明の第1の実施形態に係る撮像装置のシステム構成図である。図1において、実線はデータ信号線、破線は制御信号線を表しており、各々の処理部は、システムコントローラー1000で制御される。
加算型分離では、原画像信号Iが次式(2)で示すように、第1成分Uと第2成分Vの和として表される。
例2:第1成分Uを原画像信号Iにメジアンフィルタ処理した結果とし、第2成分Vを原画像信号Iに対する第1成分Uの残差とする方法
例3:第1成分Uを原画像信号Iに多値モホロジフィルタを掛けた結果とし、第2成分Vを原画像信号Iに対する第1成分Uの残差とする方法
例4: 第1成分Uを原画像信号Iに縮小処理を施し、さらに拡大処理を施した結果とし、第2成分Vを原画像信号Iに対する第1成分Uの残差とする方法
例5:第1成分Uを原画像信号IにBilateral Filterを施した結果とし、第2成分Vを原画像信号Iに対する第1成分Uの残差とする方法
乗算型分離
続いて乗算型分離の方法について説明する。乗算型分離では、原画像信号Iが第1成分Uと第2成分Vの積によって表されるが、原画像信号Iを対数変換して対数原画像信号fとすると、次式(7)のように加算型分離問題に変換することができる。
第2の実施形態以降の実施形態はフルカラーに対応した実施形態である。第1の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
図10は第3の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
図12は第4の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
ノイズを含まないカラー画像において、3×3の近傍領域で評価した局所色間相互相関係数(以下、「相関係数」という。)は1に近い正値を示す一方で、ノイズを含むカラー画像では、相関係数が低下する画素を含むため、近傍領域で評価した相関係数は低下する。このことから、相関係数の値が小さいほど画像信号に含まれるノイズが多いといえる。
色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために原画像信号Iが1次元であるとして説明する。
画素位置 R G B
1 150 180 130
2 220 120 140
3 160 150 100
4 200 140 160
5 140 100 200
である。このとき、R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 -0.15836 -0.69668 -0.14106
となり、最小相関係数rは、-0.69668となる。
画素位置 R G B
1 100 120 150
2 150 160 180
3 170 160 180
4 100 120 90
5 90 100 100
である。このとき、R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 0.962099 0.866459 0.848117
となり、最小相関係数rは、0.848117となる。
図17は第6の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
図18は第7の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために第2成分Vが1次元であるとして説明する。第2成分Vがテクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第1成分Uの残差成分であるので、第2成分Vはゼロを中心として変動する成分である。
画素位置 R G B
1 -5 7 2
2 4 -2 2
3 -2 4 4
4 1 -5 5
5 6 -1 2
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 -0.75148 -0.36622 -0.19914
となり、最小相関係数rは、-0.75148となる。
画素位置 R G B
1 1 0 -1
2 4 3 3
3 5 3 4
4 -2 -1 0
5 -1 0 -1
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 0.964023 0.911685 0.873891
となり、最小相関係数rは、0.873891となる。
図22は第8の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
1002 固体撮像装置(モノクロ)
1012 固体撮像装置(フルカラー)
1005 デジタル信号処理部(デジタル信号処理手段)
3001 成分分離部(成分分離手段)
3002 ノイズ低減処理部(ノイズ低減手段)
3004 ノイズ低減処理パラメータ設定部(パラメータ設定手段)
3006 相関演算処理部(相関演算処理手段)
3007 パラメータ補正部(パラメータ補正手段)
3005 成分合成処理部(合成手段)
3008 色成分分離部(信号レベル取得手段)
3018 Y/C分離部(信号レベル取得手段)
3023 代表信号レベル算出部(信号レベル取得手段)
Claims (16)
- 複数の色成分からなる原画像信号に施すノイズ低減処理の用に供するノイズ低減処理パラメータを設定するパラメータ設定手段と、
前記原画像信号中の各色成分間の相関係数を演算する相関演算処理手段と、
前記相関係数に基づき、前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
前記補正されたノイズ低減処理パラメータを用いて前記原画像信号中のノイズを低減するノイズ低減手段と、
を備え、
前記ノイズ低減手段は、前記ノイズ低減処理パラメータから、コアリング処理の上限閾値及び下限閾値を設定し、当該設定された上限閾値及び下限閾値を用いて、前記コアリング処理を行い、
前記パラメータ補正手段は、前記色成分間の相関係数が低い場合は、前記上限閾値と前記下限閾値との幅が大きくなるような前記ノイズ低減処理パラメータの補正係数を算出し、前記色成分間の相関係数が高い場合は、前記上限閾値と前記下限閾値との幅が小さくなるような前記ノイズ低減処理パラメータの補正係数を算出し、前記算出された補正係数を前記ノイズ低減処理パラメータに掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記相関演算処理手段は、前記ノイズ低減を行う対象の注目画素を含む近傍領域での各色成分間の相関係数を演算することを特徴とする画像処理装置。 - 請求項1または2に記載の画像処理装置において、
階調変換を行うデジタル信号処理手段をさらに備え、
前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とする画像処理装置。 - 色フィルタアレイを前面に配置した撮像素子と、
前記撮像素子から得られた複数の色成分からなる原画像信号に施すノイズ低減処理の用に供するノイズ低減処理パラメータを設定するパラメータ設定手段と、
前記原画像信号中の各色成分間の相関係数を演算する相関演算処理手段と、
前記相関係数に基づき、前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
前記補正されたノイズ低減処理パラメータを用いて前記原画像信号中のノイズを低減するノイズ低減手段と、
を備え、
前記ノイズ低減手段は、前記ノイズ低減処理パラメータから、コアリング処理の上限閾値及び下限閾値を設定し、当該設定された上限閾値及び下限閾値を用いて、前記コアリング処理を行い、
前記パラメータ補正手段は、前記色成分間の相関係数が低い場合は、前記上限閾値と前記下限閾値との幅が大きくなるような前記ノイズ低減処理パラメータの補正係数を算出し、前記色成分間の相関係数が高い場合は、前記上限閾値と前記下限閾値との幅が小さくなるような前記ノイズ低減処理パラメータの補正係数を算出し、前記算出された補正係数を前記ノイズ低減処理パラメータに掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置。 - 請求項4に記載の撮像装置において、
前記相関演算処理手段は、前記ノイズ低減を行う対象の注目画素を含む近傍領域での各色成分間の相関係数を演算することを特徴とする撮像装置。 - 請求項4または5に記載の撮像装置において、
階調変換を行うデジタル信号処理手段をさらに備え、
前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とする撮像装置。 - 請求項1に記載の画像処理装置において、
前記原画像信号中のノイズ低減を行う対象の注目画素とその近傍の領域での信号レベルを取得する信号レベル取得手段と、
を備え、
前記パラメータ設定手段は、前記信号レベルに基づいて前記ノイズ低減処理パラメータを設定することを特徴とする画像処理装置。 - 請求項7に記載の画像処理装置において、
前記ノイズ低減手段は、前記上限閾値及び前記下限閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とする画像処理装置。 - 請求項7または8に記載の画像処理装置において、
前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置。 - 請求項9に記載の画像処理装置において、前記パラメータ補正手段は前記補正係数を
次式:
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする画像処理装置。 - 請求項7から10のいずれか一つに記載の画像処理装置において、
前記原画像信号は3種以上の色成分を含み、
前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする画像処理装置。 - 請求項4に記載の撮像装置であって、
前記原画像信号中のノイズ低減を行う対象の注目画素とその近傍の領域での信号レベルを取得する信号レベル取得手段をさらに備え、
前記パラメータ設定手段は、前記信号レベルに基づいて前記ノイズ低減処理パラメータを設定することを特徴とする撮像装置。 - 請求項12に記載の撮像装置において、
前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とする撮像装置。 - 請求項12または13に記載の撮像装置において、
前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置。 - 請求項14に記載の撮像装置において、
前記パラメータ補正手段は前記補正係数を
次式:
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする撮像装置。 - 請求項12から15のいずれか一つに記載の撮像装置において、
前記原画像信号は3種以上の色成分を含み、
前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010053160A JP5277388B2 (ja) | 2010-03-10 | 2010-03-10 | 画像処理装置および撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010053160A JP5277388B2 (ja) | 2010-03-10 | 2010-03-10 | 画像処理装置および撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007002655A Division JP4523008B2 (ja) | 2007-01-10 | 2007-01-10 | 画像処理装置および撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010166598A JP2010166598A (ja) | 2010-07-29 |
JP5277388B2 true JP5277388B2 (ja) | 2013-08-28 |
Family
ID=42582342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010053160A Expired - Fee Related JP5277388B2 (ja) | 2010-03-10 | 2010-03-10 | 画像処理装置および撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5277388B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9430816B2 (en) | 2012-04-27 | 2016-08-30 | Nec Corporation | Image processing method, image processing system, image processing device, and image processing program capable of removing noises over different frequency bands, respectively |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05347723A (ja) * | 1992-06-15 | 1993-12-27 | Toshiba Corp | ノイズ低減回路 |
KR0144820B1 (ko) * | 1994-09-30 | 1998-07-15 | 김광호 | 영상의 노이즈 제거 및 디테일 개선장치 |
JPH0950519A (ja) * | 1995-06-01 | 1997-02-18 | Canon Inc | 画像処理装置及び方法 |
KR0160718B1 (ko) * | 1995-08-29 | 1999-01-15 | 김광호 | 색신호에 포함된 윤곽을 보정하는 방법 및 이를 칼라 비디오기기에서 구현하기 위한 회로 |
JP4479429B2 (ja) * | 2003-09-09 | 2010-06-09 | コニカミノルタホールディングス株式会社 | 撮像装置 |
-
2010
- 2010-03-10 JP JP2010053160A patent/JP5277388B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010166598A (ja) | 2010-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4523008B2 (ja) | 画像処理装置および撮像装置 | |
JP5034003B2 (ja) | 画像処理装置 | |
US8248492B2 (en) | Edge preserving and tone correcting image processing apparatus and method | |
JP5251637B2 (ja) | ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体 | |
US8184181B2 (en) | Image capturing system and computer readable recording medium for recording image processing program | |
JP5220677B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5197414B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4465002B2 (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 | |
JP4547223B2 (ja) | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム | |
JP4869653B2 (ja) | 画像処理装置 | |
US8115833B2 (en) | Image-acquisition apparatus | |
JP4803178B2 (ja) | 画像処理装置、コンピュータプログラム製品および画像処理方法 | |
JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
US8831346B2 (en) | Image processing apparatus and method, and program | |
JP2011003048A (ja) | 画像処理装置、及び画像処理プログラム | |
JP5098054B2 (ja) | 画像処理装置及び画像処理プログラム | |
WO2008056566A1 (fr) | Appareil, programme et procédé de traitement de signal d'image | |
JP5277388B2 (ja) | 画像処理装置および撮像装置 | |
JP5242750B2 (ja) | 画像処理装置 | |
KR102051367B1 (ko) | Wrgb cfa 영상을 위한 처리 장치 및 그 처리 방법 | |
JP2010199844A (ja) | 画像処理装置、画像処理方法、プログラムおよび記憶媒体 | |
JP2010147568A (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
JP2004289606A (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
JP2008182638A (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130408 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5277388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |