JP5464541B2 - ノイズリダクション回路 - Google Patents
ノイズリダクション回路 Download PDFInfo
- Publication number
- JP5464541B2 JP5464541B2 JP2009009980A JP2009009980A JP5464541B2 JP 5464541 B2 JP5464541 B2 JP 5464541B2 JP 2009009980 A JP2009009980 A JP 2009009980A JP 2009009980 A JP2009009980 A JP 2009009980A JP 5464541 B2 JP5464541 B2 JP 5464541B2
- Authority
- JP
- Japan
- Prior art keywords
- noise reduction
- coefficient
- motion
- accumulation
- accumulation time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009825 accumulation Methods 0.000 claims description 97
- 125000004122 cyclic group Chemical group 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 6
- 241000257465 Echinoidea Species 0.000 claims 1
- 230000006870 function Effects 0.000 description 29
- 230000000694 effects Effects 0.000 description 5
- 206010047571 Visual impairment Diseases 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
Description
図5には、巡回型ノイズリダクション回路の一例を示してある。
本例の巡回型ノイズリダクション回路は、乗算器101、加算器102、フレームメモリ103、乗算器104、フィルタ係数Kの出力部105、フィルタ係数(1−K)の出力部106を備えている。
この方式では、巡回型フィルタを用いて累積加算する構成により、ランダム成分であるノイズのみがキャンセルされ、信号成分を有効に取り出すことができる。
本例の動き検出機能付きの巡回型ノイズリダクション回路は、乗算器111、加算器112、フレームメモリ113、乗算器114、フィルタ係数Kの出力部115、フィルタ係数(1−K)の出力部116、フィルタ係数を制御する動き検出部117を備えている。
なお、動き検出部117は、例えば、過去のフレームを記憶するメモリを内部或いは外部に有している。
図7(a)には、撮像素子における通常の蓄積動作の一例を示してあり、図7(b)には、撮像素子における2倍の蓄積動作の一例を示してある。
図7(a)に示されるように、通常の蓄積処理では、フレーム単位で行うため、毎フレームで信号が出力されるが、図7(b)に示されるように、蓄積時間が長い場合には、間欠フレームが発生する。このとき、カメラシステムでは、例えば、メモリを用いて間欠フレームを補間して、無信号期間の穴埋めをする。
蓄積時間が2倍である場合には、電荷が2倍溜まるため、感度は2倍上がり、つまり、2倍明るくなる。
このように蓄積時間を長くする構成は、例えば、夜間などのように光量が少なくなる場合に感度向上の目的で適用される。但し、間欠処理となるため、映像の動きに不連続性が発生し得る。
本発明は、このような従来の事情に鑑み為されたもので、巡回型ノイズリダクション機能と長時間蓄積動作機能の両立を実現したノイズリダクション回路を提供することを目的とする。
すなわち、巡回型フィルタ手段が、前記信号に対して、フィルタ係数を使用して、巡回型のフィルタリングを行う。動き検出手段が、前記信号の動きを検出する。動き係数決定手段が、前記動き検出手段により検出された動きの量に応じて、フィルタ係数の値を決定する。
また、蓄積時間変更手段が、前記撮像素子における電荷蓄積の蓄積時間を変更する。フィルタ係数制御手段が、前記蓄積時間変更手段により変更された蓄積時間が所定の閾値以下(又は、未満)である場合には、前記動き係数決定手段により決定されるフィルタ係数の値が前記巡回型フィルタ手段により使用されるように制御し、前記蓄積時間変更手段により変更された蓄積時間が前記所定の閾値を超える(又は、それ以上である)場合には、所定の固定係数の値が前記巡回型フィルタ手段によりフィルタ係数として使用されるように制御する。
なお、巡回型ノイズリダクション機能をオフとして長時間蓄積動作機能のみを実行する場合があってもよい。
また、ノイズを除去する程度としては、必ずしもノイズをゼロにする態様が用いられなくともよく、実用上で有効な程度でノイズを低減することができればよい。
また、巡回型フィルタの構成としては、種々なものが用いられてもよい。
また、信号の動きの量としては、例えば、映像信号の時間的な変化の量が用いられ、一例として、1つ前のフレームと現フレームとの間における特定の対象物(映像に映っているもの)又は映像の全体などの動き(変化)の量に基づいて検出することができる。
また、撮像素子における電荷蓄積の蓄積時間に関する所定の閾値としては、種々な値が用いられてもよく、一例として、映像の1フレームの期間以上に長い期間(又は、映像の1フレームの期間より長い期間)が用いられる。なお、蓄積時間が1フレームの期間と同一である場合には、毎フレームの蓄積が行われて、間欠フレームは発生しないため、本明細書では、このような場合を蓄積オフと言っている。
また、フィルタ係数として使用される所定の固定係数としては、種々な値が用いられてもよく、例えば、蓄積時間の長さが大きくなるに従って固定係数の値を小さくするといったように、可変なものが用いられてもよい。
すなわち、前記巡回型フィルタ手段により過去のフィルタリング結果のフレームを記憶しておくメモリ及び間欠動作時に補間用フレームとして出力する過去のフィルタリング結果のフレームを記憶しておくメモリとして、共通のメモリを用いた。
ここで、例えば蓄積時間が1フレームの期間を超える(2フレーム以上の期間となる)と、フレームの欠落が生じて、間欠動作となる。
図1には、本発明の一実施例に係るノイズリダクション回路の構成例を示してある。本例では、カメラシステムに適用した場合を示してある。
本例のノイズリダクション回路は、撮像素子1、乗算器2、加算器3、フレームメモリ4、乗算器5、フィルタ係数Kの出力部6、フィルタ係数(1−K)の出力部7、メモリ8、動き検出部9、固定係数部10、切り替え部11、蓄積制御部12を備えている。
撮像素子1は、カメラに設けられており、入射された光を電気信号へ変換して、乗算器2、メモリ8、動き検出部9へ出力する。また、撮像素子1では、蓄積制御部12からの制御により、電荷蓄積の蓄積時間が変更され得る。
出力部7は、出力部6からの入力に基づいて、フィルタ係数(1−K)を乗算器2へ出力する。
乗算器2は、撮像素子1からの入力信号と出力部7から入力されるフィルタ係数(1−K)とを乗算して、その結果を加算器3へ出力する。
加算器3は、乗算器2からの入力信号と乗算器5からの入力信号を加算して、その結果をノイズリダクション回路からの出力信号として出力するとともに、フレームメモリ4へ出力する。
フレームメモリ4は、加算器3から入力された信号(映像信号)をフレーム毎に記憶し、記憶した信号をフレーム毎に乗算器5へ出力する。
乗算器5は、フレームメモリ4からの入力信号と出力部6から入力されるフィルタ係数Kとを乗算して、その結果を加算器3へ出力する。
動き検出部9は、撮像素子1からの入力信号とメモリ8からの入力信号(例えば、所定のフレーム(或いは、所定の時間)だけずれたもの)を比較して、映像(画像)における動きを検出し、検出した動きの量に応じた動き係数R(i、j)を切り替え部11へ出力する。具体的には、動きが大きい画像については、残像を抑えるために、フィルタ係数Kとして使用される動き係数R(i、j)を小さくして、巡回フィルタの効果を弱める一方、動きの無い画像については、動き係数R(i、j)を大きくして、巡回フィルタの効果を強める。
固定係数部10は、所定の係数(本例で、固定係数と言う)Rを切り替え部10へ出力する。なお、固定係数Rは、例えば外部の制御部からの制御などにより、変更され得る。
ここで、撮像素子1における電荷蓄積の蓄積時間の長さは、例えば、周囲の光量などに基づいて制御され、具体例として、夜間などのように光量が少なくなる場合には感度向上の目的で蓄積時間を長くする。但し、蓄積時間を長くすると、間欠処理となるため、映像の動きに不連続性が発生し得る。
また、切り替え部11に対する制御は、例えば、予め定められた条件に従って、撮像素子1における電荷蓄積の蓄積時間の長さに応じた態様で行われる。
なお、蓄積制御部12により行われる制御は、例えば、ユーザ(人)から受け付けられる指示などに基づいて行われてもよく、或いは、予め設定された制御手順(例えば、プログラム)に従って行われてもよい。
本例では、例えば、ブランキング期間と映像期間を有する1フレームを1サイクルの単位として処理が行われる。本例では、z番目のフレームのサイクルをs(z)で表す(z=・・・、−3、−2、−1、0、1、2、3、・・・)。
サイクルs(1)において、撮像素子1からの出力(A)である信号S(1)が、動き検出用のメモリ8にライトされる(書き込まれる)。
一方、巡回型フィルタ用のフレームメモリ4からの出力(D)である信号DNR_R(1)を読み出して、信号S(2)と、動き係数R(2、1)を合わせて用いて、加算器3により加算演算を行って、ノイズリダクション結果DNR_R(2)を得る。このノイズリダクション結果DNR_R(2)は、ノイズリダクション回路からの出力(C)として出力されると同時に、フレームメモリ4にライトされる。
以降のサイクルs(z)についても、同様である。
サイクルs(1)において、撮像素子1からの出力(A)である信号S(1)が、動き検出用のメモリ8にライトされる。
サイクルs(2)においては、撮像素子1からの出力(A)である信号は、無信号期間であるため、間欠となる。このとき、動き検出用のメモリ8へのライト/リード動作は停止する。
一方、巡回型フィルタ用のフレームメモリ4からの出力(D)である信号DNR_R(1)を読み出して、信号S(3)と、動き係数R(3、1)を合わせて用いて、加算器3により加算演算を行って、ノイズリダクション結果DNR_R(3)を得る。このノイズリダクション結果DNR_R(3)は、ノイズリダクション回路からの出力(C)として出力されると同時に、フレームメモリ4にライトされる。
サイクルs(5)においては、上記と同様に、例えば、フレームメモリ4からの出力(D)である信号DNR_R(3)を読み出して、信号S(5)と、動き係数R(5、3)を合わせて用いて、加算器3により加算演算を行って、ノイズリダクション結果DNR_R(5)を得る。
以降のサイクルs(z)についても、同様である。
なお、フレームメモリ4からの出力信号をそのままノイズリダクション回路からの出力(C)とする場合には、例えば、フィルタ係数Kを1(K=1)に設定すればよく、或いは、フレームメモリ4からの出力信号をそのままノイズリダクション回路から出力するための経路が設けられてもよい。
この場合、動き検出を行う上で、精度を欠いてしまうため、ノイズリダクションのフィルタ係数Kを、動きに適応する係数R(i、j)から、固定係数Rへ切り替える。
なお、本例では、4倍以上の蓄積動作時にフィルタ係数Kを固定係数Rへ切り替える場合を示すが、何倍の蓄積動作からフィルタ係数Kを切り替えるかについては、一例であって、本質的なことではなく、種々な値が用いられてもよい。
サイクルs(1)において、撮像素子1からの出力(A)である信号S(1)が、動き検出用のメモリ8にライトされる。
ここで、4倍蓄積動作時には、動きに適応する係数は用いないが、4倍蓄積動作から2倍蓄積動作へ戻る瞬間又は蓄積オフ動作へ戻る瞬間におけるメモリ情報が必要であるため、動き適応用のメモリ8の動作は継続する。
但し、本例では、動き係数R(5、1)は使用せずに、固定係数Rをフィルタ係数Kとする。
サイクルs(9)においては、上記と同様に、例えば、巡回型フィルタ用のフレームメモリ4からの出力(D)である信号DNR_R(5)を読み出して、信号S(9)と、固定係数Rを合わせて用いて、加算器3により加算演算を行って、ノイズリダクション結果DNR_R(9)を得る。
また、本例のノイズリダクション回路では、巡回型ノイズリダクション用メモリと蓄積間欠フレーム補間用メモリとで1個のメモリ(本例では、巡回型ノイズリダクション用のフレームメモリ4)を共用している。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがROM(Read Only Memory)に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクやCD(Compact Disc)−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
Claims (4)
- 撮像素子における電荷蓄積により取得された信号のノイズを除去するノイズリダクション回路において、
前記信号に対してフィルタ係数を使用して巡回型のフィルタリングを行う巡回型フィルタ手段と、
前記信号の動きを検出する動き検出手段と、
前記動き検出手段により検出された動きの量に応じて、動きの量が大きくなるに従って小さくなるフィルタ係数の値を決定する動き係数決定手段と、
前記撮像素子における電荷蓄積の蓄積時間を変更する蓄積時間変更手段と、
前記蓄積時間変更手段により変更された蓄積時間が第一の閾値以下又は未満である場合には、前記動き係数決定手段により決定されるフィルタ係数の値が前記巡回型フィルタ手段により使用されるように制御し、前記蓄積時間変更手段により変更された蓄積時間が前記第一の閾値を超える又はそれ以上且つ前記第一の閾値より大きい第二の閾値以下又は未満である場合には、前記蓄積時間変更手段により変更された蓄積時間が長くなるに従って小さくなる所定の固定係数の値が前記巡回型フィルタ手段によりフィルタ係数として使用されるように制御し、前記蓄積時間変更手段により変更された蓄積時間が前記第二の閾値を超える又はそれ以上である場合には、ゼロが前記巡回型フィルタ手段によりフィルタ係数として使用されるように制御するフィルタ係数制御手段と、
を備えたことを特徴とするノイズリダクション回路。 - 請求項1に記載のノイズリダクション回路において、
前記巡回型フィルタ手段により過去のフィルタリング結果のフレームを記憶しておくメモリ及び間欠動作時に補間用フレームとして出力する過去のフィルタリング結果のフレームを記憶しておくメモリとして、共通のメモリを用いた、
ことを特徴とするノイズリダクション回路。 - 撮像素子における電荷蓄積により取得された信号のノイズを除去するノイズリダクション回路により実施されるノイズリダクション方法において、
前記ノイズリダクション回路は、前記信号に対してフィルタ係数を使用して巡回型のフィルタリングを行う巡回型フィルタ手段を備え、
前記撮像素子における電荷蓄積の蓄積時間が第一の閾値以下又は未満である場合には、前記信号の動きの量が大きくなるに従って小さくなるフィルタ係数の値を決定して、当該決定したフィルタ係数の値が前記巡回型フィルタ手段により使用されるように制御し、前記撮像素子における電荷蓄積の蓄積時間が前記第一の閾値を超える又はそれ以上且つ前記第一の閾値より大きい第二の閾値以下又は未満である場合には、前記撮像素子における電荷蓄積の蓄積時間が長くなるに従って小さくなる所定の固定係数の値が前記巡回型フィルタ手段により使用されるように制御し、前記撮像素子における電荷蓄積の蓄積時間が前記第二の閾値を超える又はそれ以上である場合には、ゼロが前記巡回型フィルタ手段によりフィルタ係数として使用されるように制御する、
ことを特徴とするノイズリダクション方法。 - 請求項3に記載のノイズリダクション方法において、
前記巡回型フィルタ手段により過去のフィルタリング結果のフレームを記憶しておくメモリ及び間欠動作時に補間用フレームとして出力する過去のフィルタリング結果のフレームを記憶しておくメモリとして、共通のメモリを用いた、
ことを特徴とするノイズリダクション方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009009980A JP5464541B2 (ja) | 2009-01-20 | 2009-01-20 | ノイズリダクション回路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009009980A JP5464541B2 (ja) | 2009-01-20 | 2009-01-20 | ノイズリダクション回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010171517A JP2010171517A (ja) | 2010-08-05 |
JP5464541B2 true JP5464541B2 (ja) | 2014-04-09 |
Family
ID=42703252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009009980A Active JP5464541B2 (ja) | 2009-01-20 | 2009-01-20 | ノイズリダクション回路 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5464541B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7098958B2 (ja) * | 2018-02-28 | 2022-07-12 | 株式会社ニコン | 撮像装置、画像処理装置、および画像処理プログラム |
CN110445951B (zh) * | 2018-05-02 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 视频的滤波方法和装置、存储介质、电子装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01129580A (ja) * | 1987-11-16 | 1989-05-22 | Hitachi Ltd | テレビカメラ |
JP3425500B2 (ja) * | 1995-11-16 | 2003-07-14 | シャープ株式会社 | ノイズ低減回路 |
JP3693780B2 (ja) * | 1997-02-28 | 2005-09-07 | 三菱電機株式会社 | ビデオカメラ |
JP2005175864A (ja) * | 2003-12-11 | 2005-06-30 | Konica Minolta Photo Imaging Inc | 撮像装置および画像処理方法 |
JP2005210216A (ja) * | 2004-01-20 | 2005-08-04 | Konica Minolta Photo Imaging Inc | 撮像装置および動画のノイズ処理方法 |
JP2005303803A (ja) * | 2004-04-14 | 2005-10-27 | Olympus Corp | 撮像装置と画像記録媒体、および画像処理装置ならびに画像処理プログラムとその記録媒体 |
JP4719584B2 (ja) * | 2006-02-08 | 2011-07-06 | 富士通株式会社 | 動き検出プログラム、動き検出方法、動き検出装置、 |
JP4321626B2 (ja) * | 2007-05-23 | 2009-08-26 | ソニー株式会社 | 画像処理方法および画像処理装置 |
-
2009
- 2009-01-20 JP JP2009009980A patent/JP5464541B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010171517A (ja) | 2010-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4969508B2 (ja) | 振動補正制御回路およびそれを搭載する撮像装置 | |
KR102182695B1 (ko) | 영상 잡음 제거 장치 및 방법 | |
KR101738933B1 (ko) | 상흔들림 보정장치, 그 제어방법, 그 제어 프로그램을 기억하는 기억매체, 및 상흔들림 보정장치를 구비한 촬상장치 | |
US9544505B2 (en) | Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof | |
KR102668130B1 (ko) | 이벤트 카메라를 이용한 정적 이미지들의 생성 | |
JP5417746B2 (ja) | 動き適応型ノイズ低減装置、画像信号処理装置、画像入力処理装置、および、動き適応ノイズ低減方法 | |
JP4969509B2 (ja) | 振動補正制御回路およびそれを搭載する撮像装置 | |
JP2008118647A (ja) | 高速かつ効率的なノイズ低減装置、方法及びソフトウェア | |
JP7113911B2 (ja) | ぶれ補正制御装置、撮像装置、撮像装置のぶれ補正方法、及びプログラム | |
JP5464541B2 (ja) | ノイズリダクション回路 | |
JP4842991B2 (ja) | 振動補正制御回路およびそれを搭載する撮像装置 | |
WO2003088648A1 (fr) | Detecteur de mouvement, systeme de traitement d'image, procede de detection de mouvement, programme, support d'enregistrement | |
JP6338587B2 (ja) | ビデオ安定化のインテリジェントな無効化によるモーションアーチファクトの防止 | |
WO2010106739A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2009265446A (ja) | 振動補正制御回路およびそれを搭載する撮像装置 | |
US9300869B2 (en) | Reduction of spatial resolution for temporal resolution | |
JP2014027496A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
TWI789196B (zh) | 視訊採集方法和裝置 | |
US11190688B2 (en) | Image blur correction device, method for controlling same, and imaging apparatus | |
US11019348B2 (en) | Image processing apparatus and image processing method | |
WO2015008663A1 (ja) | フォーカス制御装置及びフォーカス制御方法 | |
JP2009094784A (ja) | ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器 | |
JP4561282B2 (ja) | 画像動き補正装置 | |
JPH04154278A (ja) | 低周波雑音抑圧回路 | |
JP4311191B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101128 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110620 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5464541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |