JPH11215515A - 画像センサのライン毎ノイズ除去装置及び方法 - Google Patents
画像センサのライン毎ノイズ除去装置及び方法Info
- Publication number
- JPH11215515A JPH11215515A JP10014143A JP1414398A JPH11215515A JP H11215515 A JPH11215515 A JP H11215515A JP 10014143 A JP10014143 A JP 10014143A JP 1414398 A JP1414398 A JP 1414398A JP H11215515 A JPH11215515 A JP H11215515A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- amount
- frequency component
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003044 adaptive effect Effects 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000008030 elimination Effects 0.000 claims description 9
- 238000003379 elimination reaction Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 230000006866 deterioration Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 238000001444 catalytic combustion detection Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
で撮影した画像におけるライン毎ノイズを効果的に除去
することができるノイズ除去装置及び方法を提供する。 【解決手段】 注目画素に対するぼかし量を求めるため
のぼかし手段12は、注目画素と周辺画素との間の平均
値と、この注目画素との差分を求める。一方、高周波成
分検出手段16は注目画素と一つおき上下左右4画素の
ラプラシアンフィルタを用いてその注目画素の高周波成
分を検出している。このように、一つおき上下左右4画
素のフィルタを用いることにより、ライン毎ノイズに影
響されずに高周波成分を検出することができる。したが
って、この高周波成分検出手段16で検出した高周波成
分の絶対値に基づき適応的にぼかし量を注目画素に加算
することにより、ライン毎ノイズを効率的に除去するこ
とができる。
Description
(デジタルスチルカメラ)、デジタルビデオカメラ等の
電子撮像装置に関する。特に、これらの撮像装置におけ
る光電変換素子が出力した画像データのノイズを除去す
る装置及び方法に関する。
カメラにおいては光学的な画像を、電気信号による画像
データに変換する必要がある。この変換のために、CC
Dなどの光学変換素子が用いられている。
画像データはR(赤)G(緑)B(青)や、CMYなど
の各色成分から構成されている場合が多い。従って、赤
(R)用のCCDと、青(B)用のCCDと、緑(G)
用のCCDのように、各色毎に3枚のCCDを用いたデ
ジタルビデオカメラなども作成されている。
めや、装置構成を簡単にするため等の理由により、1枚
のCCDを用いてR、G、Bの3原色の画像データを得
る手法も広く採用されている。この1枚のCCDを用い
て3原色の画像データを得るためには、この1枚のCC
Dにモザイク状の光学フィルタを取り付ける手法が広く
利用されている。このフィルタはカラーフィルタアレイ
(Color Filter Array:CFA)と
呼ばれている。このフィルタをCCDに取り付けること
により、CCDを構成する画素のうちある画素は赤
(R)のデータを検出し、また別の画素は緑(G)など
を検出するように構成されている。
のものが提案されているが、典型的な配列としてBay
er配列色のフィルタが広く利用されている。このBa
yer配列の色フィルタにおける各色の配置の様子を表
す説明図が図1に示されている。
配列においてはRやBの画素数に比べてGの画素数が2
倍になっている。これは、Gの値が、人間の目の視覚上
重要である輝度に関する情報をより多く含んでいるから
である。
像装置においては、その偶数ラインと奇数ラインとによ
ってしばしばゲインのミスマッチが生じる場合がある。
出力端子が偶数ライン上の出力端子、奇数ライン上の出
力端子の2つの出力端子が備えられている場合に顕著で
ある。2つの出力端子が備えられている場合にはそれぞ
れの出力段において出力のためのアンプが備えられてい
るが、このアンプのゲインの差が出力信号に反映されて
しまう場合があるからである。すなわち、アンプのゲイ
ン差が出力信号の大きさの差となってしまいミスマッチ
が生じるのである。
子が1つだけ備えられているCCDにおいても生じる可
能性がある。一般にその1つの出力端子の出力段アンプ
の増幅特性により、ある画素のデータを出力している際
に、その画素の前に出力していた画素の値によって、現
在出力中のその画素の値が影響を受けてしまう場合は多
い。
のデータの値に影響を受ける場合には、上記Bayer
配列の特徴から、奇数ラインの緑の値は隣の赤(R)画
素の値から影響を受ける。一方、偶数ラインの緑(G)
の画素の値は、隣接している青(B)の画素の値から影
響を受けることになる。従って、例えば赤い物体を撮影
する場合には、奇数ラインにおける緑はこの赤の画素の
影響を強く受けることになるが、偶数ラインの緑は前の
画素の影響をほとんど受けないことになる。その結果奇
数ラインと偶数ラインにおける緑の画素の値が異なって
しまい、結果としてミスマッチが生じてしまう。
えられているCCDにおいては、そのCCDを用いてカ
メラなどを製造する際に、奇数ラインと偶数ラインのゲ
インの差を調整するためのアンプやアッテネータを調整
する手法や、あるいは校正値を記憶しておき、画像処理
の段階で奇数ラインと偶数ラインのゲイン補正するなど
の手法が提案されている。
ayer配列の色フィルタを有するCCDにおいて生じ
るゲインのミスマッチは、その要因が不安定である場合
が多い。例えば、同一ライン上にある前の画素値からの
影響は、温度によって大幅に変化してしまう。従って、
アンプの調整や、画像処理の段階でミスマッチを除去す
ること等の上記手法の実施は実際には非常に困難であ
り、ゲインのミスマッチに対する対策手法として実用さ
れているものは極めて少ないのが実状である。
ンのミスマッチによるノイズは、最終画像に横縞を発生
させてしまう。さらにこの横縞を含む画像に補間処理や
エッジ強調処理等を施すと、画像に更に悪影響を与えて
しまうことがある。例えば、横縞以外の複雑なパターン
が生成されてしまい、目障りなノイズを発生させてしま
い、最終的な画像品質を劣化させる原因ともなってい
た。
のゲインの差は、縞状のノイズと考えることができる。
したがって、この横縞状のノイズを画像処理の最終段階
においてノイズ除去処理によって取り除くことも考えら
れる。しかし、画像処理の時間がかなり必要となってし
まうという問題があり、さらに、このノイズ除去の副作
用として、画像のエッジがなまってしまうなどの問題も
ある。
であり、その目的はBayer配列の色フィルタを有す
るCCDなどから得られた画像データにおいて、偶数ラ
インと奇数ラインのゲインのミスマッチによって生じた
ノイズを除去することが可能なノイズ除去方法および装
置を提供することである。
決するために、Bayer型色フィルタを有する光電変
換素子が出力するBayer型画像データのノイズを除
去するノイズ除去装置において、以下のような手段を含
むことを特徴とする。
yer型画像データを構成する各画素が有する高周波成
分量を検出する高周波成分量検出手段と、前記Baye
r型画像データを構成する各画素のぼかし量を算出する
ぼかし量算出手段と、前記高周波成分量検出手段が検出
した高周波成分の量に基づき、前記ぼかし量を適応的に
変更し、変更後の前記ぼかし量を前記各画素に加算する
ぼかし量適応決定手段と、を含むことを特徴とする。
適応的に加算したので、画像品質の劣化を少なくするこ
とができる。
段は、注目画素の値と、前記注目画素と1つおきの上下
左右の4画素の値と、を入力とするラプラシアンフィル
タ、を含むことを特徴とする。そして、前記ラプラシア
ンフィルタの出力信号が、前記高周波成分量として出力
される。
するので、ライン毎ノイズの影響を小さくすることがで
きる。
段は、注目画素の値と、前記注目画素と1つおきの上下
左右の4画素の値と、を入力とするラプラシアンフィル
タと、前記注目画素の上下の画素の値の差の絶対値を出
力する上下差分算出手段と、前記注目画素の左右の画素
の値の差の絶対値を出力する左右差分算出手段と、前記
ラプラシアンフィルタの出力信号と、上下差分算出手段
の出力信号と、前記左右差分算出手段の出力信号と、を
重み付け加算する加算手段と、を含むことを特徴とす
る。そして、前記加算手段の出力信号は、前記高周波成
分量として出力される。
くすることができるとともに、画素の値の差分を参照し
ているため、画像品質の劣化を小さくすることができ
る。
は、注目画素の値と、前記注目画素の周囲の画素の値と
の重み付け平均値を求める平均値算出手段と、前記重み
付け平均値と、前記注目画素との差分値を出力する差分
値算出手段と、を含むことを特徴とする。そして、前記
差分値算出手段の出力信号が前記ぼかし量として出力さ
れる。
像の品質に応じたぼかし量を算出することができる。
段は、前記高周波成分量をスケールファクタに変換する
変換手段と、前記スケールファクタを前記ぼかし量に乗
算する乗算手段と、前記スケールファクタを乗算した前
記ぼかし量を前記注目画素に加算する加算手段と、を含
むことを特徴とするノイズ除去装置である。
変化するので、画像品質を維持したままノイズの除去を
することができる。
る光電変換素子が出力するBayer型画像データのノ
イズを除去するノイズ除去方法において、以下のステッ
プを有するものである。
構成する各画素が有する高周波成分量を検出する高周波
成分量検出ステップと、前記Bayer型画像データを
構成する各画素のぼかし量を算出するぼかし量算出ステ
ップと、前記高周波成分量検出ステップにおいて検出し
た高周波成分の量に基づき、前記ぼかし量を適応的に変
更し、変更後の前記ぼかし量を前記各画素に加算するぼ
かし量適応決定ステップと、を含むことを特徴とするノ
イズ除去方法である。
適応的に加算したので、画像品質の劣化を少なくするこ
とができる。
テップは、注目画素の値と、前記注目画素と1つおきの
上下左右の4画素の値と、に基づき、画素の値の2次微
分値を算出するラプラシアンフィルタリングステップ、
を含むことを特徴とする。そして、前記2次微分値が、
前記高周波成分量として算出される。
するので、ライン毎ノイズの影響を小さくすることがで
きる。
テップは、注目画素の値と、前記注目画素と1つおきの
上下左右の4画素の値と、を入力し、画素の値の2次微
分値を算出するラプラシアンフィルタリングステップ
と、前記注目画素の上下の画素の値の差の絶対値を算出
する上下差分算出ステップと、前記注目画素の左右の画
素の値の差の絶対値を算出する左右差分算出ステップ
と、前記2次微分値と、上下差分算出ステップの出力信
号と、前記左右差分算出ステップの出力信号と、を重み
付け加算する加算ステップと、を含むことを特徴とす
る。そして、前記加算ステップの出力信号は、前記高周
波成分量として出力される。
くすることができるとともに、画素の値の差分を参照し
ているため、画像品質の劣化を小さくすることができ
る。
プは、注目画素の値と、前記注目画素の周囲の画素の値
との重み付け平均値を求める平均値算出ステップと、前
記重み付け平均値と、前記注目画素との差分値を算出す
る差分値算出ステップと、を含むことを特徴とする。そ
して、前記差分値算出ステップの出力信号が前記ぼかし
量として算出される。
像の品質に応じたぼかし量を算出することができる。
テップは、前記高周波成分量をスケールファクタに変換
する変換ステップと、前記スケールファクタを前記ぼか
し量に乗算する乗算ステップと、前記スケールファクタ
を乗算した前記ぼかし量を前記注目画素に加算する加算
ステップと、を含むことを特徴とするノイズ除去方法で
ある。
変化するので、画像品質を維持したままノイズの除去を
することができる。
を図面に基づいて説明する。
ータにおいては、奇数ラインと偶数ラインの双方に存在
しうる画素は緑(G)である。緑(G)以外の赤(R)
や青(B)は奇数ラインだけまたは偶数ラインだけに存
在するためライン毎のノイズの影響を受けにくい。そこ
で、本実施の形態においては特に緑画素(G)に対して
画像の高周波部分に相当するか否かで、適応的にフィル
タリングをする手法を提案する。このように適応的にフ
ィルタリングすることにより特に緑画素に対するライン
毎ノイズの除去を好適に行うことができる。
去装置の機能ブロック図が示されている。この図2にお
いて、Bayer配列画像10は、上記図1に示される
ような光フィルタが設けられたCCDなどから得られた
画像データであり、図1に示されるような光フィルタの
並びで各画素が単一の色成分の情報のみを有している。
配列画像10に対してノイズを除去するためのぼかしの
データを作成する手段である。このぼかし手段12の具
体的な構成については後に詳述する。このぼかし手段1
2が算出したぼかし量は、適応的ぼかし手段14に供給
される。適応的ぼかし手段14は、このぼかし量をBa
yer配列画像10をぼかすのに用いる。このようにし
て、適応的ぼかし手段14は、画像のノイズ除去をす
る。
ayer配列画像10の中の各画素が画像の高周波部分
にあたるかどうかを判断するための、その画素における
高周波成分を検出する手段である。具体的なこの高周波
成分検出手段16の構成については後に詳述する。適応
的ぼかし手段14は、ぼかし手段12によって得られた
ぼかし量をそのままBayer配列画像10に加算する
のではなく、高周波成分検出手段16によって得られた
その画素の高周波成分の量に基づき適応的にぼかし量を
加算するようにしている。
素に対してはぼかし手段12によるぼかし量を少なく加
算し、高周波部分に相当しない画像の平坦な部分におい
てこのぼかし量を多く加算することにより、画像の品質
を劣化させずにライン毎ノイズを効果的に除去すること
が可能となる。
について詳細に説明する。
ズ除去をするにあたって、その画素の高周波成分を高周
波成分検出手段16によって検出している。本実施の形
態にかかる高周波成分検出手段16は、今着目している
緑画素(以下、この着目画素を自画素と呼ぶ)と一つお
きに上下左右4画素に基づくラプラシアン(Lapla
cian)フィルタを用いている。この高周波成分検出
手段16で用いているラプラシアンフィルタの係数を表
す説明図が図3に示されている。この図に示されている
ように、このラプラシアンフィルタは、自画素を中心と
する5×5のマトリクスに関するラプラシアンフィルタ
である。図に示されているように、自画素の係数は
「1」であり、この自画素と一つおき上下左右4画素の
係数はいずれも「−1/4」である。
アンフィルタと、Bayer配列画像10の画像データ
の値との畳み込み(コンボルーション)をとった結果の
絶対値を、本実施の形態においてはその自画素(緑画
素)の高周波成分量の尺度として利用している。
周波成分検出手段16が用いているラプラシアンフィル
タにおいて、一つおきの画素を参照していることであ
る。したがって、自画素が偶数ライン上にある場合に
は、偶数ライン上の画素のみから高周波成分の量を算出
することが可能となる。逆に、自画素(緑画素)が奇数
ライン上に存在する場合には、奇数ラインの画素のみか
ら高周波成分の量を見積もることになる。したがって、
上述したライン毎ノイズの影響を受けずに、その画素の
高周波成分量を検出することが可能となるのである。
とによるラプラシアンフィルタの出力値を、本実施の形
態ではResult1と呼ぶ。
分を検出する方法として、上記ラプラシアンフィルタの
出力値だけでなく、以下のような値を利用することも好
ましい。
くは青の画素の値の差と、上下の青または赤の画素の値
の差と、自画素と一つおき上下左右4画素のラプラシア
ンフィルタの出力値との、重み付き加算値を用いるのも
好ましい。注目している緑画素の上下左右の赤や青の画
素を例えば図4に示すようにそれぞれR1、R2、B
1、B2と表す。
ている緑画素の上下に青の画素(B1、B2)があり左
右に赤の画素(R1、R2)が存在するか、または逆に
緑画素の上下に赤の画素(R1、R2)が存在し左右に
青の画素(B1、B2)が存在する場合、の2通りが考
えられる。これは、その緑画素が偶数ライン上にあるか
奇数ライン上にあるかによって異なる。以上のように赤
及び青の画素を表すと高周波成分量は以下のような式で
求めることができる。
表す。また、Coeff1、Coeff2、Coeff
3はそれぞれ重み係数を表す。また、Result1
は、上述したようにラプラシアンフィルタの出力値であ
る。このラプラシアンフィルタの出力値は図3に示され
ているようなフィルタ係数と画像データの値との畳み込
みによって求められる。なお、ここで各係数は、その撮
像装置(CCD)の特性や、各色の感度によって求まる
最適値である。
去に際して、ぼかし量を求める。具体的には、本実施の
形態においては自画素と周囲画素の重み付き平均値と自
画素の値の差を求めている。
r配列画像10との畳み込み(コンボルーション)をと
ることで、注目している緑画素(自画素)と斜め上下左
右4画素の重み付き平均値を求めている。本実施の形態
で用いている低域通過フィルタのフィルタ係数を説明す
る説明図が図5に示されている。この図に示されている
ように、注目している緑画素の係数は「1/2」であ
り、斜め上下左右4画素の係数はいずれも「1/8」で
ある。このようなフィルタ係数の低域通過フィルタを用
いることにより、自画素を中心とする自画素及び周囲の
斜め方向の4画素の重み付き平均値が低域通過フィルタ
の出力値として求まる。本実施の形態においては、この
平均値と、注目している緑画素(自画素)の値の差を求
め、この差をぼかし量として用いている。すなわち、ぼ
かし量は以下の式で算出される値である。
値を求め、この平均値から自画素(緑画素)の値を減算
することによりぼかし量が求められるが、この演算は結
局は以下に示すようなぼかし量決定フィルタとBaye
r配列画像10の値との畳込みを行う演算と等価であ
る。本実施の形態におけるぼかし量決定フィルタの係数
の説明図が図6に示されている。この図に示されている
ように、ぼかし量決定フィルタの係数は、自画素の係数
が「−1/2」であることを除けば、上記低域通過フィ
ルタの係数と等しいのである。
定フィルタは、高域通過フィルタの符号を反転したもの
となっている。この高域通過フィルタの係数の例が図7
に示されている。この高域通過フィルタは、上記図4に
示されているような係数の低域通過フィルタの係数に対
応したものである。したがって、本実施の形態において
は、ぼかし量=−1×(高周波成分)となる。もちろ
ん、ここで高周波成分とは、図7に示されているような
係数の高周波通過フィルタとBayer配列画像の各画
素の値の畳み込み値で得られる値である。
る。
て説明する。この適応的ぼかし手段14は、上記(1)
の(1−1)または(1−2)で述べた高周波成分検出
手段16の出力値(高周波成分量)の絶対値をスケール
ファクターとしてぼかし量を決定するのである。すなわ
ち、上で計算して求めたぼかし量にこのスケールファク
ターをかけ算して得られた値を最終的なぼかし量として
利用するのである。本文では、このスケールファクター
を適応的ぼかし量係数と呼ぶ。この適応的ぼかし量係数
の計算は、以下の式で行われる。
le(abs(高周波成分量)) ここで、Scale Tableは、高周波成分量の絶
対値が入力されたときに、最適なぼかし量の係数を出力
するようなルックアップテーブルである。定性的に言え
ば、高周波成分量の絶対値が小さいときにはこのSca
le Tableは大きな値を出力し、高周波成分量の
絶対値が大きいときには0を出力するようなテーブルで
ある。このScale Tableの具体的な内容の例
が図8に示されている。図8に示されているグラフは、
このScale Tableにおける入力と出力の関係
を表したものである。このグラフの横軸は、入力される
高周波成分量の絶対値である。また、このグラフの縦軸
はScale Tableから出力する適応的ぼかし量
係数である。このグラフに示されているように、高周波
成分量の絶対値が小さいときには適応的ぼかし量係数は
大きな値をとる。特に、高周波成分量の絶対値が0の場
合には適応的ぼかし量係数は最大の値をとる。高周波成
分量の絶対値が大きくなるにしたがって、あるしきい値
t1を超えた場合には適応的ぼかし量係数は0となる。
これは、高周波成分量の絶対値が大きい場合にはぼかし
量を0とし、画像品質を維持した方が好ましいと考えら
れるからである。
分検出手段16が出力する高周波成分量の絶対値に基づ
きぼかし量と乗算するスケールファクターを算出する。
このスケールファクターは、上述したように本文におい
ては「適応的ぼかし量係数」と呼ぶ。さらに、この適応
的ぼかし手段14は、この適応的ぼかし量係数をぼかし
手段12が出力するぼかし量に乗算し、乗算結果を緑出
力Gに加算する。この結果、適応的ぼかし手段14は最
終的な緑の出力G´を、以下の式によって算出すること
になる。
配列画像に対して、ライン毎ノイズに対して効果的にそ
の除去を図ることができるようにぼかし量を適応的に加
えている。この結果、緑画素のライン毎ノイズを除去す
ることができる。本実施の形態で提案した方法は、基本
的にはライン毎ノイズ発生原因によらずに効果が現れ、
複数の原因によってライン毎ノイズが発生している場合
でもこのノイズを除去するのに大きな効果が期待でき
る。また、本実施の形態においてはライン毎ノイズが目
立つ部分、すなわち画像の低周波部分、にのみフィルタ
を大きく作用させ、ぼかしをきかせた。一方、エッジ部
分などの高周波部分ではフィルタを作用させずにそのま
まの画像の品質を維持している。この結果、エッジがな
まってぼけた画像になることなく、効果的にノイズの除
去をすることができる。
の画像処理、例えば補間処理や色補正、エッジ強調など
に先だってノイズを除去することができる。したがっ
て、他の種類の画像処理によるノイズの副作用を効果的
に除去することができるのである。
イン毎に原因調整を行う従来の対策とは異なり、画像の
情報に対してフィルタリングを行っている。したがっ
て、ライン毎ノイズだけではなく、センサや回路の持つ
ランダムなノイズをも効果的に取り除くことができると
いう特徴を有する。
周波成分量に基づきぼかし量を決定しているため、エッ
ジ部分などの画像品質を劣化させることなく、画像のノ
イズを低減することができるノイズ除去装置及び方法が
得られる。
きの上下左右の4画素の値を用いたラプラシアンフィル
タによって高周波成分量を求めている。したがって、画
像に生じるライン毎ノイズを効果的に除去することがで
きる装置及び方法が得られる。
フィルタの出力信号に加え、注目画素の上下及び左右の
画素の値の差に基づいて高周波成分量を算出しているた
め、より正確に高周波成分量を検出することができる装
置及び方法が得られる。
注目画素とその周囲の画素の重み付け平均値と、注目画
素の差分をぼかし量としたため、注目画素を平均的な値
とすることができ、ノイズを効果的に防止することがで
きる装置及び方法が得られる。
定のスケールファクターに変換し、このスケールファク
ターをぼかし量に乗算してから、このぼかし量を注目画
素に加算した。したがって、高周波成分量の大きさに応
じて適応的にぼかしをすることができる装置及び方法が
得られる。
G、Bが並んでいる様子を表す説明図である。
ブロック図である。
おいて用いられる自画素と一つおき上下左右4画素のラ
プラシアンフィルタの係数を表す説明図である。
おいて採用している注目画素の左右の値または上下の値
の差を求める際の画素の関係を表す説明図である。
フィルタ係数の係数であって、ぼかし量を求める手段と
してのフィルタを表す説明図である。
用いられているぼかし量決定フィルタの係数を表す説明
図である。
る。
用しているスケールファクターを出力するScale
Tableの入力と出力の関係を表すグラフである。
適応的ぼかし手段、16 高周波成分検出手段。
Claims (10)
- 【請求項1】 Bayer型色フィルタを有する光電変
換素子が出力するBayer型画像データのノイズを除
去するノイズ除去装置において、 前記Bayer型画像データを構成する各画素が有する
高周波成分量を検出する高周波成分量検出手段と、 前記Bayer型画像データを構成する各画素のぼかし
量を算出するぼかし量算出手段と、 前記高周波成分量検出手段が検出した高周波成分の量に
基づき、前記ぼかし量を適応的に変更し、変更後の前記
ぼかし量を前記各画素に加算するぼかし量適応決定手段
と、 を含むことを特徴とするノイズ除去装置。 - 【請求項2】 請求項1記載のノイズ除去装置におい
て、 前記高周波成分量検出手段は、 注目画素の値と、前記注目画素と1つおきの上下左右の
4画素の値と、を入力とするラプラシアンフィルタ、 を含み、前記ラプラシアンフィルタの出力信号を、前記
高周波成分量として出力することを特徴とするノイズ除
去装置。 - 【請求項3】 請求項1記載のノイズ除去装置におい
て、 前記高周波成分量検出手段は、 注目画素の値と、前記注目画素と1つおきの上下左右の
4画素の値と、を入力とするラプラシアンフィルタと、 前記注目画素の上下の画素の値の差の絶対値を出力する
上下差分算出手段と、 前記注目画素の左右の画素の値の差の絶対値を出力する
左右差分算出手段と、 前記ラプラシアンフィルタの出力信号と、上下差分算出
手段の出力信号と、前記左右差分算出手段の出力信号
と、を重み付け加算する加算手段と、 を含み、前記加算手段の出力信号を、前記高周波成分量
として出力することを特徴とするノイズ除去装置。 - 【請求項4】 請求項1、2又は3記載のノイズ除去装
置において、 前記ぼかし量算出手段は、 注目画素の値と、前記注目画素の周囲の画素の値との重
み付け平均値を求める平均値算出手段と、 前記重み付け平均値と、前記注目画素との差分値を出力
する差分値算出手段と、 を含み、前記差分値算出手段の出力信号を前記ぼかし量
として出力するノイズ除去装置。 - 【請求項5】 請求項1、2、3又は4記載のノイズ除
去装置において、 前記ぼかし量適応決定手段は、 前記高周波成分量をスケールファクタに変換する変換手
段と、 前記スケールファクタを前記ぼかし量に乗算する乗算手
段と、 前記スケールファクタを乗算した前記ぼかし量を前記注
目画素に加算する加算手段と、 を含むことを特徴とするノイズ除去装置。 - 【請求項6】 Bayer型色フィルタを有する光電変
換素子が出力するBayer型画像データのノイズを除
去するノイズ除去方法において、 前記Bayer型画像データを構成する各画素が有する
高周波成分量を検出する高周波成分量検出ステップと、 前記Bayer型画像データを構成する各画素のぼかし
量を算出するぼかし量算出ステップと、 前記高周波成分量検出ステップにおいて検出した高周波
成分の量に基づき、前記ぼかし量を適応的に変更し、変
更後の前記ぼかし量を前記各画素に加算するぼかし量適
応決定ステップと、 を含むことを特徴とするノイズ除去方法。 - 【請求項7】 請求項6記載のノイズ除去方法におい
て、 前記高周波成分量検出ステップは、 注目画素の値と、前記注目画素と1つおきの上下左右の
4画素の値と、に基づき、画素の値の2次微分値を算出
するラプラシアンフィルタリングステップ、 を含み、前記2次微分値を、前記高周波成分量として算
出することを特徴とするノイズ除去方法。 - 【請求項8】 請求項6記載のノイズ除去方法におい
て、 前記高周波成分量検出ステップは、 注目画素の値と、前記注目画素と1つおきの上下左右の
4画素の値と、を入力し、画素の値の2次微分値を算出
するラプラシアンフィルタリングステップと、 前記注目画素の上下の画素の値の差の絶対値を算出する
上下差分算出ステップと、 前記注目画素の左右の画素の値の差の絶対値を算出する
左右差分算出ステップと、 前記2次微分値と、上下差分算出ステップの出力信号
と、前記左右差分算出ステップの出力信号と、を重み付
け加算する加算ステップと、 を含み、前記加算ステップの出力信号を、前記高周波成
分量として算出することを特徴とするノイズ除去方法。 - 【請求項9】 請求項6、7又は8記載のノイズ除去方
法において、 前記ぼかし量算出ステップは、 注目画素の値と、前記注目画素の周囲の画素の値との重
み付け平均値を求める平均値算出ステップと、 前記重み付け平均値と、前記注目画素との差分値を算出
する差分値算出ステップと、 を含み、前記差分値算出ステップの出力信号を前記ぼか
し量として算出するノイズ除去方法。 - 【請求項10】 請求項6、7、8、9記載のノイズ除
去方法において、 前記ぼかし量適応決定ステップは、 前記高周波成分量をスケールファクタに変換する変換ス
テップと、 前記スケールファクタを前記ぼかし量に乗算する乗算ス
テップと、 前記スケールファクタを乗算した前記ぼかし量を前記注
目画素に加算する加算ステップと、 を含むことを特徴とするノイズ除去方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01414398A JP4662584B2 (ja) | 1998-01-27 | 1998-01-27 | 画像センサのライン毎ノイズ除去装置及び方法 |
US09/146,015 US6526181B1 (en) | 1998-01-27 | 1998-09-02 | Apparatus and method for eliminating imaging sensor line noise |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01414398A JP4662584B2 (ja) | 1998-01-27 | 1998-01-27 | 画像センサのライン毎ノイズ除去装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11215515A true JPH11215515A (ja) | 1999-08-06 |
JP4662584B2 JP4662584B2 (ja) | 2011-03-30 |
Family
ID=11852940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP01414398A Expired - Fee Related JP4662584B2 (ja) | 1998-01-27 | 1998-01-27 | 画像センサのライン毎ノイズ除去装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6526181B1 (ja) |
JP (1) | JP4662584B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1289310A2 (en) * | 2001-08-27 | 2003-03-05 | Agilent Technologies, Inc. | Method and system for adaptive demosaicing |
WO2005081542A1 (ja) * | 2004-02-19 | 2005-09-01 | Mitsubishi Denki Kabushiki Kaisha | 画像処理方法 |
KR100698626B1 (ko) | 2004-12-10 | 2007-03-21 | 삼성전자주식회사 | 에일리어싱을 방지하기 위한 영상 보간 장치 및 방법 |
JP2009053436A (ja) * | 2007-08-27 | 2009-03-12 | Lg Display Co Ltd | デジタル表示装置の駆動装置 |
JP2009105960A (ja) * | 2009-02-02 | 2009-05-14 | Seiko Epson Corp | 撮影装置およびこれに用いるプログラム並びに画像記憶方法 |
US8467003B2 (en) | 2006-06-22 | 2013-06-18 | Samsung Electronics Co., Ltd. | Noise reduction method, medium, and system |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6786420B1 (en) | 1997-07-15 | 2004-09-07 | Silverbrook Research Pty. Ltd. | Data distribution mechanism in the form of ink dots on cards |
US6618117B2 (en) | 1997-07-12 | 2003-09-09 | Silverbrook Research Pty Ltd | Image sensing apparatus including a microcontroller |
US7551201B2 (en) | 1997-07-15 | 2009-06-23 | Silverbrook Research Pty Ltd | Image capture and processing device for a print on demand digital camera system |
US7110024B1 (en) | 1997-07-15 | 2006-09-19 | Silverbrook Research Pty Ltd | Digital camera system having motion deblurring means |
US6690419B1 (en) | 1997-07-15 | 2004-02-10 | Silverbrook Research Pty Ltd | Utilising eye detection methods for image processing in a digital image camera |
US6624848B1 (en) | 1997-07-15 | 2003-09-23 | Silverbrook Research Pty Ltd | Cascading image modification using multiple digital cameras incorporating image processing |
US6879341B1 (en) | 1997-07-15 | 2005-04-12 | Silverbrook Research Pty Ltd | Digital camera system containing a VLIW vector processor |
AUPP702098A0 (en) | 1998-11-09 | 1998-12-03 | Silverbrook Research Pty Ltd | Image creation method and apparatus (ART73) |
JP4327928B2 (ja) * | 1999-02-26 | 2009-09-09 | メディア・テック・ユーエスエイ・インコーポレーテッド | 電子カメラ装置 |
US6803955B1 (en) * | 1999-03-03 | 2004-10-12 | Olympus Corporation | Imaging device and imaging apparatus |
AUPQ056099A0 (en) * | 1999-05-25 | 1999-06-17 | Silverbrook Research Pty Ltd | A method and apparatus (pprint01) |
JP3264659B2 (ja) * | 1999-06-17 | 2002-03-11 | 松下電器産業株式会社 | ノイズリダクション装置および方法とその記録媒体 |
US6900838B1 (en) * | 1999-10-14 | 2005-05-31 | Hitachi Denshi Kabushiki Kaisha | Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method |
US6937274B2 (en) * | 2001-12-17 | 2005-08-30 | Motorola, Inc. | Dynamic range compression of output channel data of an image sensor |
EP1594321A3 (en) * | 2004-05-07 | 2006-01-25 | Dialog Semiconductor GmbH | Extended dynamic range in color imagers |
DE602006021728D1 (de) * | 2005-03-31 | 2011-06-16 | Nippon Kogaku Kk | Bildverarbeitungsverfahren |
KR100652408B1 (ko) * | 2005-04-27 | 2006-12-01 | 삼성전자주식회사 | 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치 |
US7551799B2 (en) * | 2005-05-13 | 2009-06-23 | Seiko Epson Corporation | Apparatus and method for image noise reduction |
JP4905356B2 (ja) * | 2005-11-11 | 2012-03-28 | 株式会社ニコン | ライン走査型共焦点顕微鏡装置 |
US8106969B2 (en) * | 2005-12-29 | 2012-01-31 | Mtekvision Co., Ltd. | Device and method for removing grid noise |
KR100809687B1 (ko) | 2006-02-28 | 2008-03-06 | 삼성전자주식회사 | 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법 |
US8630498B2 (en) * | 2006-03-02 | 2014-01-14 | Sharp Laboratories Of America, Inc. | Methods and systems for detecting pictorial regions in digital images |
US7889932B2 (en) * | 2006-03-02 | 2011-02-15 | Sharp Laboratories Of America, Inc. | Methods and systems for detecting regions in digital images |
US7792359B2 (en) | 2006-03-02 | 2010-09-07 | Sharp Laboratories Of America, Inc. | Methods and systems for detecting regions in digital images |
US8437054B2 (en) * | 2006-06-15 | 2013-05-07 | Sharp Laboratories Of America, Inc. | Methods and systems for identifying regions of substantially uniform color in a digital image |
US7864365B2 (en) * | 2006-06-15 | 2011-01-04 | Sharp Laboratories Of America, Inc. | Methods and systems for segmenting a digital image into regions |
US7876959B2 (en) * | 2006-09-06 | 2011-01-25 | Sharp Laboratories Of America, Inc. | Methods and systems for identifying text in digital images |
JP4925198B2 (ja) * | 2007-05-01 | 2012-04-25 | 富士フイルム株式会社 | 信号処理装置および方法、ノイズ低減装置および方法並びにプログラム |
US20090041344A1 (en) * | 2007-08-08 | 2009-02-12 | Richard John Campbell | Methods and Systems for Determining a Background Color in a Digital Image |
US20130329004A1 (en) * | 2012-06-06 | 2013-12-12 | Apple Inc. | Method of and Apparatus for Image Enhancement |
KR101931332B1 (ko) | 2012-06-29 | 2018-12-20 | 삼성전자주식회사 | 영상의 노이즈 제거 장치 및 방법 |
US9667842B2 (en) | 2014-08-30 | 2017-05-30 | Apple Inc. | Multi-band YCbCr locally-adaptive noise modeling and noise reduction based on scene metadata |
US9641820B2 (en) | 2015-09-04 | 2017-05-02 | Apple Inc. | Advanced multi-band noise reduction |
CN105894479B (zh) * | 2016-06-28 | 2018-08-31 | 福州瑞芯微电子股份有限公司 | 一种图像滤波方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5280347A (en) * | 1990-10-30 | 1994-01-18 | Canon Kabushiki Kaisha | Color image sensing device |
JP3392564B2 (ja) * | 1995-02-27 | 2003-03-31 | 三洋電機株式会社 | 単板式カラービデオカメラ |
-
1998
- 1998-01-27 JP JP01414398A patent/JP4662584B2/ja not_active Expired - Fee Related
- 1998-09-02 US US09/146,015 patent/US6526181B1/en not_active Expired - Lifetime
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1289310A2 (en) * | 2001-08-27 | 2003-03-05 | Agilent Technologies, Inc. | Method and system for adaptive demosaicing |
EP1289310A3 (en) * | 2001-08-27 | 2005-12-07 | Agilent Technologies, Inc. | Method and system for adaptive demosaicing |
US7088392B2 (en) | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
WO2005081542A1 (ja) * | 2004-02-19 | 2005-09-01 | Mitsubishi Denki Kabushiki Kaisha | 画像処理方法 |
JPWO2005081542A1 (ja) * | 2004-02-19 | 2007-08-30 | 三菱電機株式会社 | 画像処理方法 |
JP4668185B2 (ja) * | 2004-02-19 | 2011-04-13 | 三菱電機株式会社 | 画像処理方法 |
US7970231B2 (en) | 2004-02-19 | 2011-06-28 | Mitsubishi Denki Kabushiki Kaisha | Image processing method |
KR100698626B1 (ko) | 2004-12-10 | 2007-03-21 | 삼성전자주식회사 | 에일리어싱을 방지하기 위한 영상 보간 장치 및 방법 |
US8467003B2 (en) | 2006-06-22 | 2013-06-18 | Samsung Electronics Co., Ltd. | Noise reduction method, medium, and system |
JP2009053436A (ja) * | 2007-08-27 | 2009-03-12 | Lg Display Co Ltd | デジタル表示装置の駆動装置 |
JP2009105960A (ja) * | 2009-02-02 | 2009-05-14 | Seiko Epson Corp | 撮影装置およびこれに用いるプログラム並びに画像記憶方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4662584B2 (ja) | 2011-03-30 |
US6526181B1 (en) | 2003-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4662584B2 (ja) | 画像センサのライン毎ノイズ除去装置及び方法 | |
US7016549B1 (en) | Image processing method for direction dependent low pass filtering | |
EP2278788B1 (en) | Method and apparatus for correcting lens shading | |
US7697044B2 (en) | Image processing apparatus and image processing method | |
EP2162863B1 (en) | Non-linear transformations for enhancement of images | |
JP4683994B2 (ja) | 画像処理装置、画像処理方法、電子カメラ、スキャナ | |
US8238685B2 (en) | Image noise reduction method and image processing apparatus using the same | |
JP2005520442A (ja) | センサ画像を処理する方法および装置 | |
WO2006006373A1 (ja) | 画像処理装置およびコンピュータプログラム製品 | |
JP2009520403A (ja) | 画像ノイズ低減のための方法および装置 | |
KR101225056B1 (ko) | 이미지 센서 노이즈 저감 장치 및 방법 | |
US7889942B2 (en) | Dynamic range compensation-dependent noise reduction | |
JP5701640B2 (ja) | 画像処理装置 | |
JP2003304549A (ja) | カメラ及び画像信号処理システム | |
US7269295B2 (en) | Digital image processing methods, digital image devices, and articles of manufacture | |
JP2004328564A (ja) | カラー補正装置、カラー補正方法及びカラー補正プログラム、並びにカラー補正装置を用いたデジタルカメラ | |
US20050025379A1 (en) | Digital imaging systems, articles of manufacture, and digital image processing methods | |
JP2000023173A (ja) | 固体カラー撮像デバイスのノイズ除去方法 | |
JP7423033B2 (ja) | 画像信号処理方法 | |
JP3633561B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US8054348B2 (en) | Noise reduction device and digital camera | |
JP2006041687A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、電子カメラ、及びスキャナ | |
CN114697558B (zh) | 一种抑制宽动态范围图像频闪的方法 | |
JP5103580B2 (ja) | 画像処理装置およびデジタルカメラ | |
US8345116B2 (en) | Noise reduction filter processing circuit, image processing circuit, imaging device, and storage medium storing noise reduction program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050121 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20050121 Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070803 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080501 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110104 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |