JP4424068B2 - ノイズ除去装置、ノイズ除去プログラム、ノイズ除去方法、および電子カメラ - Google Patents
ノイズ除去装置、ノイズ除去プログラム、ノイズ除去方法、および電子カメラ Download PDFInfo
- Publication number
- JP4424068B2 JP4424068B2 JP2004153422A JP2004153422A JP4424068B2 JP 4424068 B2 JP4424068 B2 JP 4424068B2 JP 2004153422 A JP2004153422 A JP 2004153422A JP 2004153422 A JP2004153422 A JP 2004153422A JP 4424068 B2 JP4424068 B2 JP 4424068B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- noise
- level
- dark
- dark image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
また、本発明は、このノイズ除去装置を搭載した電子カメラに関する。
この従来装置では、まず、通常に撮像された画像データと、シャッタを閉じて撮像した暗黒画像データとを用意する。従来装置は、この画像データから暗黒画像データを画素単位に減算することにより、両画像に共通する固定パターンノイズを同相除去する。
そこで、本発明では、長秒時撮影のノイズ除去において、固定パターンノイズとランダムノイズとを選別して、ランダムノイズの増加を抑える技術を提供することを目的とする。
請求項1のノイズ除去装置は、画像記憶部、レベル選別部、変動抑制部、および減算部を備える。
画像記憶部は、被写界を撮像素子で撮像して得た画像データを取り込んで記憶する。
レベル選別部は、遮蔽状態の撮像素子で撮像して得た暗黒画像データを取り込み、予め定められた閾値以下の低レベル画素を、この暗黒画像データから選別する。
変動抑制部は、選別された低レベル画素について、暗黒画像データの画面内の高域空間周波数成分を抑制することにより、暗黒画像データ中の固定パターンノイズを保ちつつ、ランダムノイズを低減する。
減算部は、変動抑制部により処理された暗黒画像データを、画像データから減算することにより、画像データのノイズを低減する。
請求項2のノイズ除去装置は、請求項1に記載のノイズ除去装置において、レベル選別部が、暗黒画像データから、予め定められた下限値以上かつ閾値以下の低レベル画素を選別して低レベル画素とする。
請求項3のノイズ除去装置は、請求項1または請求項2に記載のノイズ除去装置において、変動抑制部が、低レベル画素を対象にして、最大値を制限した周辺画素を用いて平滑化処理を施すことによって、低レベル画素の高域空間周波数成分を抑制する。
請求項4のノイズ除去装置は、請求項1ないし請求項3のいずれか1項に記載のノイズ除去装置において、暗黒画像データの撮像時の電荷蓄積時間が、画像データの撮像時の電荷蓄積時間よりも短く設定される。一方、減算部は、この暗黒画像データを増幅することで、電荷蓄積時間の短縮分による固定パターンノイズのレベル低下を補償する。減算部は、このレベル低下を補償した暗黒画像データを、画像データから減算することにより、画像データのノイズを低減する。
請求項5のノイズ除去プログラムは、コンピュータを、請求項1ないし請求項4のいずれか1項に記載の画像記録部、レベル選別部、変動抑制部、および減算部として機能させることを特徴とする。
請求項6のノイズ除去方法は、下記のステップを有する。
(1)被写界を撮像素子で撮像して得た画像データを取り込んで画像記憶部に記憶するステップ。
(2)遮蔽状態の撮像素子で撮像して得た暗黒画像データを取り込み、暗黒画像データから予め定められた閾値以下の低レベル画素を選別するステップ。
(3)選別された低レベル画素について、暗黒画像データの画面内の高域空間周波数成分を抑制することにより、暗黒画像データ中の固定パターンノイズを保ちつつ、ランダムノイズを低減するステップ。
(4)ランダムノイズを低減した暗黒画像データを、画像データから減算することにより、画像データのノイズを低減するステップ。
請求項7の電子カメラは、次の構成要件を有する。
(1)請求項1ないし請求項4のいずれか1項に記載のノイズ除去装置。
(2)撮像素子。
(3)撮像素子を遮蔽する遮蔽機構。
(4)撮像素子を制御して被写界の画像データを生成し、かつ遮蔽機構を駆動して撮像素子を遮蔽して暗黒画像データを生成する制御部。
請求項1および請求項6の発明では、遮蔽状態で撮像された暗黒画像データを取り込む。この暗黒画像データには、画像本来の情報は含まれず、次の三種類のノイズを主として含む。
(1)固定パターンノイズ
(2)ランダムノイズ
(3)暗電流オフセット
一方、ランダムノイズは、画面内に略一様なバラツキを示す高域ノイズとなる。このランダムノイズのオフセット分が、暗電流オフセットであり、暗電流などの蓄積に従って画像データの黒レベルを押し上げるものである。暗電流オフセットはランダムノイズに比較して、低い空間周波数成分を有する。また、暗電流オフセットのレベルは電荷蓄積時間と共に上昇するが、その上昇分は固定パターンノイズのレベル上昇に比較して格段に小さい。
さらに、高レベル画素が示す固定パターンノイズは、高域抑制の影響を受けずに、画像データから減算される。そのため、長秒時撮影による固定パターンノイズを正確に除去することができる。
請求項2の発明では、予め定められた下限値から閾値までを、低レベル画素として選別する。この下限値未満の画素については、信号レベルが小さいため、ランダムノイズのレベルも小さい。したがって、このような画素は、ランダムノイズの処理対象から除外しても、最終画像のランダムノイズ増加は無視できる。また、このようにして低レベル画素の数が減ることにより、ノイズ除去の処理コストを低減することもできる。
請求項3の発明は、低レベル画素に対して周辺画素を用いた平滑化処理を施すことにより、低レベル画素の高域空間周波数成分を抑制する。この平滑化処理では、周辺画素の最大値を制限することにより、周辺画素の固定パターンノイズを簡易的に除く。
したがって、平滑化処理によって周辺画素から低レベル画素へ、固定パターンノイズが混入するといった弊害を未然に防ぐことができる。
したがって、この平滑化後の低レベル画素は、固定パターンノイズの影響を殆ど受けず、極めて正確な暗電流オフセットの値を示すようになる。
このように処理された暗黒画像データを画像データから減算することにより、画像データの暗電流オフセットを正確に打ち消し、黒レベルを忠実に再現した画像データを得ることが可能となる。
請求項4の発明では、暗黒画像データの電荷蓄積時間を短縮する代わりに、暗黒画像データを増幅する。このような増幅処理では、暗黒画像データのランダムノイズが比例して増加する。このような暗黒画像データを画像データから減算した場合、画像データのランダムノイズが顕著に増えてしまう。
しかしながら、本発明では、暗黒画像データからランダムノイズを低減するので、増幅処理を行っても暗黒画像データのランダムノイズを小さく保つことができる。したがって、暗黒画像データの電荷蓄積時間を短縮しても、減算後の画像データにランダムノイズはさほど増えない。
このようにランダムノイズがさほど増えないことから、電子カメラ側では、暗黒画像データの電荷蓄積時間を更に短縮することが可能になる。その結果、電子カメラを暗黒画像データの撮影処理から逸早く開放することが可能となり、一段と使い勝手のよい電子カメラを実現できる。
請求項5のノイズ除去プログラムをコンピュータで実行することにより、コンピュータを請求項1ないし請求項4のいずれか1項に記載のノイズ除去装置として機能させることが可能になる。
請求項7の電子カメラは、請求項1ないし請求項4のいずれか1項に記載のノイズ除去装置を搭載する。したがって、上述したノイズ除去動作を、電子カメラ内において実施することができる。
図1は、本実施形態における電子カメラ11の構成を示す図である。
図1において、電子カメラ11には、撮影レンズ12が装着される。この撮影レンズ12の像空間には、シャッタ13および撮像素子14が配置される。これらシャッタ13および撮像素子14は、制御部11aによって駆動制御される。
暗黒画像加工部20は、この暗黒画像データBに対して加工処理を施す。この暗黒画像加工部20は、下記の構成要件を備える。
(2)周辺画素レベル制限部22・・低レベル画素の周辺画素を読み出し、読み出した周辺画素の信号レベルの最大値を制限する。
(3)平滑化処理部23・・最大値を制限された周辺画素を用いて、低レベル画素に平滑化処理を施す。
(4)ゲイン・オフセット調整部24・・暗黒画像データの電荷蓄積時間Tbの短縮を補償するため、暗黒画像データのゲイン・オフセットを調整する。
以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の画像記憶部は、画像メモリ16に対応する。
請求項記載のレベル選別部は、レベル選別部21に対応する。
請求項記載の変動抑制部は、周辺画素レベル制限部22、および平滑化処理部23に対応する。
請求項記載の減算部は、同相除去部17、およびゲイン・オフセット調整部24に対応する。
請求項記載の撮像素子は、撮像素子14に対応する。
請求項記載の遮蔽機構は、シャッタ13に対応する。
請求項記載の制御部は、制御部11aに対応する。
図2は、電子カメラ11における固定パターンノイズの除去処理を説明する流れ図である。
以下、図2に示すステップ番号に沿って、この処理動作を説明する。
撮像素子14は、制御部11aから与えられる駆動パルスに従って、この画像データAを出力する。出力された画像データAは、信号処理部15を介して、画像メモリ16に一時記憶される。
制御部11aは、画像データAの生成直後、シャッタ13を閉じて遮光状態を維持し、電荷蓄積時間Tbの暗黒画像データBを撮像素子14に生成させる。
撮像素子14は、制御部11aから与えられる駆動パルスに従って、この暗黒画像データBを出力する。出力された暗黒画像データBは、信号処理部15を介して、画像メモリ16に一時記憶される。
この閾値は、暗黒画像画面内の固定パターンノイズのレベルバラツキの下限側と、暗黒画像画面内のランダムノイズのレベルバラツキの上限側とを複数の暗黒画像データから実験的に求め、これら2つの値の中間値に定めることが好ましい。
また、この閾値は、撮像感度や温度の条件を変えて実験的に複数定めておき、撮像時の撮像感度や温度に応じて選択使用することが好ましい。
このようなレベル選別により、固定パターンノイズの発生箇所を除いて、低レベルなランダムノイズの発生箇所が、低レベル画素として抽出される。
なお、予め定められた下限値未満を低レベル画素の選別から省いてもよい。この場合の下限値については、ノイズ除去後の画像データAのランダムノイズが増加しないことを実験的に確認して定めればよい。
このような前述の低レベル画素のうちの前記閾値より更に低いレベル(予め定められた下限値)未満のレベルの画素の選別を省略することにより、後述する平滑化処理の処理回数を、画質に影響がない範囲で減らすことが可能になり、ノイズ除去の処理コストや処理時間を低減することができる。
周辺画素レベル制限部22は、この周辺画素の各値について最大値を制限することにより、局所的に突出する固定パターンノイズを周辺画素から簡易的に除く。
ここでの最大値の制限方法としては、周辺画素の最大値を、二番目に大きな値に置き換えても良い。また例えば、ステップS3で低レベル画素の選別に用いた閾値を最大値として、周辺画素の各値をこの閾値以下にレベル制限してもよい。また例えば、ステップS3で低レベル画素の選別に用いた閾値を最大値として、閾値を超える周辺画素を、後述するステップS5で実行される平滑化処理の参照範囲から除いてもよい。
なお、加重加算の代わりに、周辺画素および低レベル画素からメディアン値を算出して、低レベル画素と置き換えてもよい。
これらの平滑化処理により、低レベル画素の高域空間周波数成分すなわちランダムノイズが抑えられ、低レベル画素の値は、低域の暗電流オフセットを正確に示すようになる。
なお、電荷蓄積時間と固定パターンノイズとの間に非線形性がある場合には、その非線形性を補償する係数αを実験的に予め求め、暗黒画像データBの信号レベルを(Ta/Tb)α倍にすることが好ましい。
このような処理を終えた暗黒画像データBは、画像メモリ16内に再び記憶される。
本実施形態においては、画像データAおよび暗黒画像データBについて暗電流オフセットのレベルを揃えた上で、画像データAから暗黒画像データBを減算している。しかしながら、本発明はこれに限定されるものではない。例えば、画像データAおよび暗黒画像データBそれぞれについて暗電流オフセットの減算処理をまず実行し、その後に、画像データAから暗黒画像データBを減算してもよい。
以上説明したように、本実施形態では、暗黒画像データBから低レベル画素を選別し、これら低レベル画素に対して平滑化処理を施す。したがって、暗黒画像データBの低レベル画素において、ランダムノイズを強力に抑制できる。
なお、上述した実施形態では、電子カメラ11内でノイズ除去を実施する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図2に示すノイズ除去処理をプログラム化してもよい(請求項6に対応)。このノイズ除去プログラムをコンピュータ上で実行することにより、コンピュータをノイズ除去装置として機能させることができる。
11a 制御部
12 撮影レンズ
13 シャッタ
14 撮像素子
15 信号処理部
16 画像メモリ
17 同相除去部
18 画像処理部
19 メモリカード
20 暗黒画像加工部
21 レベル選別部
22 周辺画素レベル制限部
23 平滑化処理部
24 ゲイン・オフセット調整部
Claims (7)
- 被写界を撮像素子で撮像して得た画像データを取り込んで記憶する画像記憶部と、
遮蔽状態の前記撮像素子で撮像して得た暗黒画像データを取り込み、予め定められた閾値以下の低レベル画素を前記暗黒画像データから選別するレベル選別部と、
選別された前記低レベル画素について、前記暗黒画像データの画面内の高域空間周波数成分を抑制することにより、前記暗黒画像データ中の固定パターンノイズを保ちつつ、ランダムノイズを低減する変動抑制部と、
前記変動抑制部により処理された前記暗黒画像データを、前記画像データから減算することにより、前記画像データのノイズを低減する減算部と
を備えたことを特徴とするノイズ除去装置。 - 請求項1に記載のノイズ除去装置において、
前記レベル選別部は、前記暗黒画像データから、予め定められた下限値以上かつ前記閾値以下の画素を、低レベル画素として選別する
ことを特徴とするノイズ除去装置。 - 請求項1または請求項2に記載のノイズ除去装置において、
前記変動抑制部は、
前記低レベル画素に対して、最大値を制限した周辺画素を用いて平滑化処理を施すことにより、前記低レベル画素の高域空間周波数成分を抑制する
ことを特徴とするノイズ除去装置。 - 請求項1ないし請求項3のいずれか1項に記載のノイズ除去装置において、
前記暗黒画像データの撮像時の電荷蓄積時間は、前記画像データの撮像時の電荷蓄積時間よりも短く設定され、
前記減算部は、前記暗黒画像データを増幅して前記電荷蓄積時間の短縮分による固定パターンノイズのレベル低下を補償し、補償後の前記暗黒画像データを、前記画像データから減算することにより、前記画像データのノイズを低減する
ことを特徴とするノイズ除去装置。 - コンピュータを、請求項1ないし請求項4のいずれか1項に記載の前記画像記録部、前記レベル選別部、前記変動抑制部、および減算部として機能させるためのノイズ除去プログラム。
- 被写界を撮像素子で撮像して得た画像データを取り込んで画像記憶部に記憶するステップと、
遮蔽状態の前記撮像素子で撮像して得た暗黒画像データを取り込み、前記暗黒画像データから予め定められた閾値以下の低レベル画素を選別するステップと、
選別された低レベル画素について、前記暗黒画像データの画面内の高域空間周波数成分を抑制することにより、前記暗黒画像データ中の固定パターンノイズを保ちつつ、ランダムノイズを低減するステップと、
該ランダムノイズを低減した前記暗黒画像データを、前記画像データから減算することにより、前記画像データのノイズを低減するステップと
を備えたことを特徴とするノイズ除去方法。 - 請求項1ないし請求項4のいずれか1項に記載のノイズ除去装置と、
撮像素子と、
前記撮像素子を遮蔽する遮蔽機構と、
前記撮像素子を制御して被写界の画像データを生成し、前記遮蔽機構を駆動して前記撮像素子を遮蔽して前記暗黒画像データを生成する制御部と
を備えたことを特徴とする電子カメラ。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004153422A JP4424068B2 (ja) | 2004-05-24 | 2004-05-24 | ノイズ除去装置、ノイズ除去プログラム、ノイズ除去方法、および電子カメラ |
US11/133,285 US8009207B2 (en) | 2004-05-24 | 2005-05-20 | Noise reduction device for reducing noise in image using blackout image, electronic camera, program, and method |
EP05011158A EP1601185B1 (en) | 2004-05-24 | 2005-05-23 | Noise reduction device and method using a shaded image in an electronic camera |
US13/067,968 US9438831B2 (en) | 2004-05-24 | 2011-07-12 | Noise reduction device for reducing noise in image using blackout image, electronic camera, program, and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004153422A JP4424068B2 (ja) | 2004-05-24 | 2004-05-24 | ノイズ除去装置、ノイズ除去プログラム、ノイズ除去方法、および電子カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005340928A JP2005340928A (ja) | 2005-12-08 |
JP4424068B2 true JP4424068B2 (ja) | 2010-03-03 |
Family
ID=35494034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004153422A Expired - Fee Related JP4424068B2 (ja) | 2004-05-24 | 2004-05-24 | ノイズ除去装置、ノイズ除去プログラム、ノイズ除去方法、および電子カメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4424068B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4765387B2 (ja) * | 2005-04-27 | 2011-09-07 | 株式会社ニコン | ノイズ抑制装置、電子カメラおよびノイズ抑制プログラム |
JP4958666B2 (ja) * | 2007-07-12 | 2012-06-20 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2009104090A (ja) * | 2007-10-26 | 2009-05-14 | Sanyo Electric Co Ltd | 電子カメラ |
CN109471853B (zh) * | 2018-09-18 | 2023-06-16 | 平安科技(深圳)有限公司 | 数据降噪方法、装置、计算机设备和存储介质 |
-
2004
- 2004-05-24 JP JP2004153422A patent/JP4424068B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005340928A (ja) | 2005-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9438831B2 (en) | Noise reduction device for reducing noise in image using blackout image, electronic camera, program, and method | |
JP4534715B2 (ja) | 撮像装置および画像処理プログラム | |
JP2003204486A (ja) | 撮像装置 | |
EP1765005B1 (en) | Imaging method and imaging apparatus | |
JP5561112B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
JP2010092461A (ja) | 画像処理装置及び画像処理方法 | |
JP2008236661A (ja) | 撮像装置及び暗電流成分キャンセル処理方法 | |
JP5861924B2 (ja) | 撮像装置 | |
WO2010116400A1 (ja) | 被写体動き検出装置および方法 | |
JP2003116064A (ja) | 撮像装置 | |
JP4765387B2 (ja) | ノイズ抑制装置、電子カメラおよびノイズ抑制プログラム | |
JP5014253B2 (ja) | 撮像装置及びその制御方法 | |
JP4424068B2 (ja) | ノイズ除去装置、ノイズ除去プログラム、ノイズ除去方法、および電子カメラ | |
JP6652290B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2010011073A (ja) | 撮像装置、その画像処理方法及びプログラム | |
JP4007802B2 (ja) | 撮像装置 | |
JP4525198B2 (ja) | ノイズ除去装置、電子カメラ、およびノイズ除去プログラム。 | |
JP6727206B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2011135379A (ja) | 撮像装置、撮像方法及びプログラム | |
JP4973428B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP4262363B2 (ja) | 撮像装置 | |
JP2009201062A (ja) | 撮像装置及び撮像方法 | |
JP2007096607A (ja) | 画像処理装置 | |
JP2020123863A (ja) | 撮像装置 | |
JP2001230976A (ja) | 画像撮像装置、画像撮像方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4424068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151218 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151218 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |