JP3931606B2 - 撮像装置およびノイズ除去方法 - Google Patents
撮像装置およびノイズ除去方法 Download PDFInfo
- Publication number
- JP3931606B2 JP3931606B2 JP2001287036A JP2001287036A JP3931606B2 JP 3931606 B2 JP3931606 B2 JP 3931606B2 JP 2001287036 A JP2001287036 A JP 2001287036A JP 2001287036 A JP2001287036 A JP 2001287036A JP 3931606 B2 JP3931606 B2 JP 3931606B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- bright spot
- signal
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 89
- 238000000034 method Methods 0.000 title claims description 28
- 238000001514 detection method Methods 0.000 claims description 57
- 230000003111 delayed effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 206010027146 Melanoderma Diseases 0.000 description 43
- 238000010586 diagram Methods 0.000 description 29
- 238000007781 pre-processing Methods 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 15
- 230000001934 delay Effects 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000009467 reduction Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007847 structural defect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Image Analysis (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【発明の属する技術分野】
本発明は、固体撮像素子を用いて被写体を撮像する撮像装置、およびこの撮像の際に発生するノイズを除去するためのノイズ除去方法に関する。
【0002】
【従来の技術】
近年、撮影した画像をデジタルデータとして記憶するデジタルカメラが普及している。このデジタルカメラでは、光学レンズによって撮影された画像を、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサといった固体撮像素子を使用して光電変換した後、デジタルデータ化して記録している。
【0003】
このような撮像素子によって生成される画像信号には、製造過程における様々な要因により撮像素子で発生される暗信号によるノイズや、回路基板等で発生するノイズが混在することが多い。例えば、暗信号による固定パターンノイズのうち、構造的欠陥等の原因により特定の撮像素子において大量の電荷が発生するために生じるノイズがある。このノイズは、画面上に白い輝点となって現れる。以下、このノイズを輝点ノイズと呼称する。輝点ノイズは、通常の使用では極端に大きく発生することは少ないが、発生量が露光時間や温度に依存するため、長時間露光や高温環境下において使用された場合には目立つようになる。
【0004】
このため、デジタルカメラの内部では、通常、撮像素子からの画像信号を補正してこれらの固定パターンノイズを低減する処理が行われる。その一例として、シャッタを開いて通常通り撮影した画像信号から、同じ露光条件でシャッタを閉じ、完全に光を遮断した状態で撮影した画像信号を引き算する方法が知られている。
【0005】
【発明が解決しようとする課題】
しかし、上記のノイズ低減方法では、暗信号によるノイズの影響を完全に除去することができず、輝点部分が逆に黒い点として画面上に残ってしまう場合がある。以下、この問題点について説明する。図18は、上記のノイズ低減方法において撮像される画像信号の波形例を示す図である。また、図19は、上記のノイズ低減方法において出力される画像信号の波形例を示す図である。
【0006】
図18(A)では、撮像素子から出力されたアナログ信号の波形例を示している。この信号には、撮像された画像信号上に、細かいノイズ成分やノイズによる直流的なオフセットの他、撮像素子によって発生される暗信号による輝点ノイズN1〜N7が含まれている。撮像装置中では、通常、このような信号がA/D変換部によってデジタル信号に変換された後、ノイズ除去処理等の各種の信号処理が施されて、記憶媒体等に記憶される。
【0007】
また、図18(B)は、シャッタを閉じた状態で撮像され、撮像素子から出力された信号の波形例を示している。なお、図18(B)では、図18(A)に対応する輝点ノイズに同じ符号を付して示している。上記のノイズの低減処理では、この図18(B)の信号についての撮像が、図18(A)の信号に対する撮像の直後または直前において、露光時間等の条件を同じにして行われる。例えば、図18(A)の信号が先に撮像された場合は、この信号がデジタル化された後、所定のバッファに蓄積された状態で、直後に図18(B)の信号が撮像される。
【0008】
ここで、図18(B)の信号は、シャッタを閉じて撮像されたために、画像信号を含まず、ノイズ成分のみで構成される。従って、図18(A)の信号から図18(B)の信号を減算することにより、図19に示すような細かい固定パターンノイズおよび直流オフセットが除去された信号波形が得られる。
【0009】
ところで、図18および19では、これらの信号がA/D変換される際に変換可能なレンジの最大値をRとして点線で表している。図18(A)では、撮像素子からの暗信号による輝点ノイズN1〜N7のうち、特に輝点ノイズN1、N2およびN3のレベルが大きく、A/D変換のレンジを逸脱している。従って、これらの輝点ノイズN1、N2およびN3の信号レベルは、A/D変換されるとすべてフルスケールの同じ値となり、本来の信号レベルが反映されない。
【0010】
一方、図18(B)の信号波形では、暗信号による図18(A)と同じ輝点ノイズN1〜N7が存在しているはずであるが、これらの信号レベルはA/D変換のレンジに収まっているため、実際の入力に即した信号レベルにデジタル変換される。この図18(B)では、輝点ノイズN1、N2およびN3のレベルはそれぞれ実際には異なっていることがわかる。
【0011】
従って、これらの信号を減算して生成された波形には、図19に示すように演算誤差が現れて、輝点となっていた部分の信号レベルが逆に極端に下がった状態となる。この部分は、生成された画像中では、色の濃い画素(以下、黒点と呼称する)となって黒く穴が空いたような状態で残ってしまう。
【0012】
以上のように、従来のノイズ低減方法では、暗信号による輝点ノイズを完全に除去することができず、この輝点ノイズの影響が生成された画像中に黒点として現れてしまい、画質が劣化することが問題となっていた。
【0013】
本発明はこのような課題に鑑みてなされたものであり、固体撮像素子からの暗信号によるノイズを除去することが可能な撮像装置を提供することを目的とする。
【0014】
また、本発明の他の目的は、固体撮像素子からの暗信号によるノイズを除去することが可能なノイズ除去方法を提供することである。
【0015】
【課題を解決するための手段】
本発明では上記課題を解決するために、固体撮像素子を用いて被写体を撮像する撮像装置において、シャッタを開いた通常撮像により撮像されてデジタルデータ化された第1の画像データから、前記通常撮像の直前または直後に前記通常撮像と同じ露光条件でシャッタを閉じて撮像され、デジタルデータ化された第2の画像データを減算する演算手段と、撮像画像上に輝点を生成する高レベルのノイズである輝点ノイズの前記第2の画像データにおける発生位置を検出し、その発生位置を示す信号を出力する輝点位置検出手段と、前記演算手段からの出力データについて、前記輝点位置検出手段からの前記輝点ノイズの発生位置を示す信号に基づき、その発生位置に対応する画素のデータを補正するノイズ補正手段とを有し、前記演算手段は、前記第1の画像データから前記第2の画像データを減算する減算部と、前記減算部からの出力信号に対してオフセット信号を加算する加算部と、前記加算部からの出力信号レベルを制限するリミッタとを備えたことを特徴とする撮像装置が提供される。
【0016】
このような撮像装置では、演算手段は、シャッタを開いた通常撮像による第1の画像データから、通常撮像の直前または直後に通常撮像と同じ露光条件でシャッタを閉じて撮像され生成された第2の画像データを減算する。輝点位置検出手段は、輝点ノイズの第2の画像データにおける発生位置を、第2の画像データにおける各画素の信号レベルから、これらの画素に隣接する画素の信号レベルを減算した値が、あらかじめ任意に設定された設定値に達することにより検出する。そして、輝点ノイズの発生位置を示す信号を出力する。ノイズ補正手段は、演算手段からの出力データについて、輝点位置検出手段からの輝点ノイズの発生位置を示す信号に基づき、その発生位置に対応する画素のデータを補正する。従って、演算手段からの出力データにおける輝点ノイズの発生位置を容易かつ正確に検出し、補正することができる。また、演算手段では、減算部が、第1の画像データから第2の画像データを減算し、加算部が、減算部からの出力信号に対してオフセット信号を加算し、リミッタが、加算部からの出力信号レベルを制限することで、画像信号のビット幅が変化することなく、固定パターンノイズが除去される。
【0017】
また、本発明では、固体撮像素子を用いて被写体を撮像する際に発生するノイズを除去するためのノイズ除去方法において、シャッタを開いた通常撮像により撮像してデジタルデータ化した第1の画像データから、前記通常撮像の直前または直後に前記通常撮像と同じ露光条件でシャッタを閉じて撮像し、デジタルデータ化した第2の画像データを減算し、その減算結果に対してオフセット信号を加算し、さらにその加算結果の出力レベルを制限する演算処理を実行し、撮像画像上に輝点を生成する高レベルのノイズである輝点ノイズの前記第2の画像データにおける発生位置を検出し、検出した前記輝点ノイズの発生位置を示す信号を出力し、前記演算処理による結果のデータについて、前記輝点ノイズの発生位置を示す信号に基づき、その発生位置に対応する画素のデータを補正することを特徴とするノイズ除去方法が提供される。
【0018】
このようなノイズ除去方法では、シャッタを開いた通常撮像の直前または直後に通常撮像と同じ露光条件でシャッタを閉じて撮像され生成された第2の画像データから、輝点ノイズの発生位置を検出し、その発生位置を示す信号を出力する。この発生位置の検出は、第2の画像データにおける各画素の信号レベルから、これらの画素に隣接する画素の信号レベルを減算した値が、あらかじめ任意に設定された設定値に達することにより行う。そして、通常撮像による第1の画像データから第2の画像データを減算し、その減算結果に対してオフセット信号を加算し、さらにその加算結果の出力レベルを制限する演算処理によって得た画像データについて、輝点ノイズの発生位置を示す信号に基づき、その発生位置に対応する画素のデータを補正する。従って、減算によって得られた画像データにおける輝点ノイズの発生位置を容易かつ正確に検出し、補正することができる。また、上記の演算処理により、画像信号のビット幅が変化することなく、固定パターンノイズが除去される。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明の撮像装置の構成例を示すブロック図である。
【0020】
図1に示す撮像装置1は、被写体を撮像してデジタルの画像データを生成するための装置であり、被写体からの光に対するレンズ2a、アイリス2bおよびシャッタ2cと、この光を光電変換する撮像素子3と、撮像素子3からのアナログ画像信号をドライブするアンプ4と、アナログ画像信号のデジタルデータ化等の処理を行うフロントエンド5と、デジタルデータ化された画像信号に対するノイズ低減処理や色信号処理等を行うカメラシステムLSI6と、カメラシステムLSI6からの出力画像信号を記憶する画像メモリ7と、撮像素子3を駆動するTG(Timing Generator)8と、装置全体を制御するマイコン9によって構成される。
【0021】
レンズ2aは、光軸に沿って可動となっており、被写体からの光を撮像素子3に正しく集光する。アイリス2bは、集光された光が透過する面積を変化させて、撮像素子3に供給される光量を制御する。シャッタ2cは、光の透過を遮断することにより撮像素子3における露光を制御する。なお、シャッタ2cの機能をアイリス2bが兼ねている場合もある。これらのレンズ2a、アイリス2bおよびシャッタ2cの動作は、マイコン9によって制御される。
【0022】
撮像素子3は、例えばCCDやCMOSイメージセンサ等の固体撮像素子が多数集積されて構成され、被写体からの光を電気信号に変換して、電流値または電圧値として出力する。アンプ4は、撮像素子3の出力信号をドライブして、アナログ画像信号としてフロントエンド5に供給する。
【0023】
フロントエンド5は、S/H(Sample/Hold)・GC(Gain Control)回路5aと、A/D変換回路5bによって構成される。S/H・GC回路5aは、アンプ4を介して供給されたアナログ画像信号に対して、相関2重サンプリング処理によっていわゆる1/F揺らぎノイズ等のノイズ除去処理を行い、さらに必要に応じてゲイン調整を行う。A/D変換回路5bは、S/H・GC回路5aからの信号をデジタル画像信号に変換して、カメラシステムLSI6に対して供給する。
【0024】
カメラシステムLSI6は、フロントエンド5からの画像信号に対するノイズ除去処理等の前処理を行う前処理回路6aと、色信号処理等の本処理を行う本処理回路6bと、画像メモリ7に対する画像信号の書き込み、読み出しを制御するメモリコントローラ6cと、各部に対するタイミング信号を発生させるタイミング発生回路6dを具備する。
【0025】
前処理回路6aは、画像メモリ7から読み出された画像信号を演算して、撮像素子3等により発生されるノイズ等を除去する処理を行う。ここでは、後述するように、シャッタを開いた通常撮像による画像信号と、シャッタを閉じて撮像した画像信号との減算処理を行った後、さらに暗信号による高レベルのノイズ(輝点ノイズ)の発生のために撮像画像上に現れる色の濃い画素(黒点)を補正する処理を行う。
【0026】
本処理回路6bは、画像メモリ7から読み出されたR/G/B(Red/Green/Blue)原色信号を、輝度信号(Y)と2つの色差信号(Cb/Cr)によるY色差信号に変換する他、画素の補間や周波数特性の補正、Y信号のマトリクスや色差マトリクスの演算等の処理を行う。
【0027】
メモリコントローラ6cは、供給された画像信号のバッファや、画像メモリ7に対するアドレッシングを行い、マイコン9による制御に応じて、指定された画像メモリ7上の領域に画像信号を格納するとともに、前処理回路6aや本処理回路6bに対して、指定された領域の画像信号を読み出して出力する。
【0028】
タイミング発生回路6dは、フロントエンド5やカメラシステムLSI6、TG8等の動作基準となるタイミング信号を発生させる。
画像メモリ7は、例えばDRAM(Dynamic Random Access Memory)あるいはSDRAM(Synchronous−DRAM)等の半導体メモリ等であり、フロントエンド5や前処理回路6a、本処理回路6bからのデジタルの画像信号を一時的に記憶する。
【0029】
TG8は、撮像素子3における水平方向、垂直方向の駆動タイミングを制御する。また、撮像素子3が高速/低速電子シャッタ機能を具備する場合、この機能に対する露光時間制御を行う。
【0030】
マイコン9は、撮像装置1全体の制御をつかさどる。例えば、アイリス2bによる露光量制御、シャッタ2cに対する開閉制御による露光時間制御、フロントエンド5のS/H・GC回路5aにおけるゲイン制御、カメラシステムLSI6に対する動作制御、TG8による撮像素子3の電子シャッタ機能の制御等を行う。また、これらの制御により、シャッタ2cを開いた通常撮像動作と、この直後に行うシャッタ2cを閉じた撮像動作の制御、およびこれらの動作に伴うカメラシステムLSI6における演算、画像補正処理の制御や画像メモリ7の読み出し、書き込み制御等を行う。
【0031】
ところで、この撮像装置1において使用されている撮像素子3では、出力される画像信号に、撮像素子3で発生される暗信号によるノイズや、周囲の回路基板等で発生されるノイズが混在していることが多い。また、暗信号の発生量は露光時間や温度に依存し、長時間露光や高温環境下において使用された場合には、高レベルのノイズによって、撮像画面上に輝点が目立って現れるようになる。
【0032】
このような様々なノイズを除去するために、撮像装置1では、シャッタ2cを開いて撮像する通常撮像動作の際に、その直後に露光量等の撮像条件を変えずにシャッタ2cのみ閉じた状態で撮像を行う。そして、生成された2つの画像信号を用いて、カメラシステムLSI6により上記のノイズを低減し、画質を補正する処理を行う。
【0033】
以下、撮像装置1における撮像時の動作を説明する。
使用者の操作入力等による撮像開始の要求を受けると、マイコン9の制御により、アイリス2bによる絞り量やシャッタ2cの開閉スピードが調節されて、被写体からの光が撮像素子3に入射する。撮像素子3は、TG8による駆動タイミング制御のもとで入射光を光電変換して、画像信号A1を出力する。
【0034】
画像信号A1は、アンプ4を介してフロントエンド5に供給される。フロントエンド5は、S/H・GC回路5aにおいて、入力された画像信号A1に相関2重サンプリング処理を行い、A/D変換回路5bにおいて、画像信号A1をデジタル信号に変換する。デジタル信号に変換された画像信号A2は、カメラシステムLSI6に供給され、カメラシステムLSI6は、メモリコントローラ6cを介して、入力された画像信号A2を画像メモリ7に一旦格納する。
【0035】
続いて、マイコン9からの命令により、アイリス2bやTG8、フロントエンド5におけるゲイン制御等の撮像条件が変えられないまま、シャッタ2cが閉じられる。撮像素子3は、入射光が完全に遮断された状態の画像信号B1を出力する。撮像素子3からの画像信号B1は、アンプ4を介してフロントエンド5に送られる。フロントエンド5は、マイコン9からの命令により、この画像信号B1をサンプリングして、デジタル信号の画像信号B2に変換し、カメラシステムLSI6に供給する。カメラシステムLSI6は、入力された画像信号B2を、メモリコントローラ6cを介して、画像メモリ7内の画像信号A2とは別の領域に格納する。
【0036】
次に、カメラシステムLSI6は、画像信号A2およびB2を画像メモリ7から読み出して、前処理回路6aに供給する。前処理回路6aは、画像信号A2から画像信号B2を減算し、これにより出力された画像信号C1に対して、暗信号による輝点ノイズによって生じた画像上の黒点を補正する処理を行う。画質が補正された画像信号C2は、メモリコントローラ6cを介して再び画像メモリ7に格納される。
【0037】
次に、マイコン9の制御に基づいて、画像信号C2が画像メモリ7から読み出され、本処理回路6bに供給される。本処理回路6bは、例えばR/G/Bの各画素のレベル値等によって構成される画像信号C2に対して、画質を向上させるための補間処理や周波数特性補正、色補正、γ補正等の処理を行い、輝度信号(Y)と色差信号(Cb/Cr)よりなる一般的な画像のデータフォーマットに変換する。変換された画像信号Dは、メモリコントローラ6cを介して画像メモリ7に格納される。
【0038】
次に、カメラシステムLSI6内の前処理回路6aにおける処理について詳述する。図2は、前処理回路6aの内部構成例を示す図である。
図2に示すように、前処理回路6aは、画像信号A2における各画素の信号から、画像信号B2の対応する画素の信号を減算する演算回路61と、画像信号B2から輝点の位置を検出する輝点検出回路62と、輝点検出回路62における検出結果に基づいて、演算回路61から出力される画像信号C1における黒点の画素の信号を補正する黒点補正回路63によって構成される。
【0039】
メモリコントローラ6cによって画像メモリ7から読み出された画像信号A2は、演算回路61に供給され、また、画像信号B2は演算回路61とともに輝点検出回路62にも供給される。演算回路61は、画像信号A2から、対応する各画素について画像信号B2を順次減算することによって、固定パターンノイズの成分のみ除去した画像信号C1を出力する。このとき、画像信号C1には輝点ノイズによる影響を完全に除去できない場合があり、この場合は黒点ノイズが残留する。
【0040】
輝点検出回路62は、供給された画像信号B2から、後述するようにあらかじめ設定された信号レベルLを基にして、輝点ノイズの発生していた画素の位置を検出してタイミングパルスT1を出力する。黒点補正回路63は、演算回路61から出力された画像信号C1に対して、輝点検出回路62からのタイミングパルスT1に基づいて黒点ノイズのある画素の位置を判断し、この画素を近傍の同色画素の信号を用いて補正する。
【0041】
ここで、各部における信号波形例を示し、黒点の補正処理について詳述する。図3は、演算回路61に入力される画像信号A2およびB2の各信号波形の例を示す図である。
【0042】
図3(A)は、通常撮像動作により撮像され、デジタルデータ化された画像信号A2の波形例を示している。この信号は、被写体による映像情報に加えて、撮像素子3より発生される暗信号によるノイズや、周囲の回路基板上等で発生されるノイズ等による固定パターンノイズの成分を含んでいる。固定パターンノイズのレベルによっては、信号に直流的なオフセットが生じる場合があるが、画像信号A2にもオフセットが生じている。また、暗信号によるノイズとして、撮像素子3の構造欠陥や製造ばらつき等のために大量の電荷が発生し、これにより撮像画像上に輝点を生成してしまう輝点ノイズN1〜N7が含まれている。
【0043】
また、図3では、フロントエンド5のA/D変換回路5bにおいて変換可能なレンジの最大値をRとして点線で表している。A/D変換回路5bは、このレンジRより高い信号レベルを有する画素に対しては、すべてフルスケールの同じ値としてデジタルデータ化する。
【0044】
図3(A)の信号波形では、撮像素子3から出力された画像信号A1については、輝点ノイズN1、N2およびN3の実際の信号レベルがレンジRを超えており、デジタル変換された画像信号A2については、この輝点ノイズN1、N2およびN3のレベルがレンジR内でフルスケールに貼り付いた状態であることが示されている。すなわち、デジタル変換された画像信号A2では、輝点ノイズN1、N2およびN3については実際に発生した信号レベルが反映されていない。
【0045】
一方、図3(B)は、通常撮像の直後にシャッタを閉じて撮像され、デジタルデータ化された画像信号B2の信号波形例を示している。この画像信号B2は、被写体による映像信号を含んでおらず、撮像素子3による暗信号のノイズや回路基板上等で発生されるノイズ、直流的なオフセット等の固定パターンノイズ、および輝点ノイズN1〜N7によるノイズ成分のみを含んでいる。なお、図3(B)では、図3(A)の信号波形例に対応する輝点ノイズには、同一の記号を付している。
【0046】
ここで、撮像素子3において発生される暗信号の発生量は、露光時間等の撮像条件や、温度等の環境条件が同一ならば一定となることが知られている。従って、画像信号A2の撮像の直後にシャッタ2cを閉じて撮像した画像信号B2では、画像信号A2ではレンジR内でフルスケールに貼り付いてしまった輝点ノイズN1、N2およびN3の信号レベルについて、本来発生された信号レベルが再現されている。
【0047】
演算回路61は、画像信号A2から、対応する各画素について画像信号B2を順次減算することによって、固定パターンノイズの成分のみ除去した画像信号C1を出力する。また、この演算回路61では、元の信号レベルがレンジRより低かった輝点ノイズN4、N5、N6およびN7も除去される。しかし、画像信号A2において本来の信号レベルが反映されていない輝点ノイズN1、N2およびN3については、画像信号A2およびB2の間で信号レベルに差が生じていることから、画像信号C1では逆に、その画素のみ信号レベルが極端に低い黒点ノイズN11、N12およびN13となって現れてしまう。
【0048】
この黒点ノイズN11、N12およびN13の除去のために、まず輝点検出回路62は、画像信号B2から輝点ノイズN1、N2およびN3の発生位置を検出し、この位置においてタイミングパルスT1を出力する。ここで、図4は、画像信号B2とタイミングパルスT1との関係を説明するための図である。
【0049】
上述したように、画像信号B2には、ノイズ成分の信号レベルが正確に反映されている。また、図4(A)に示すように、画像信号B2は、シャッタ2cを閉じて入射光を遮断した状態で撮像され、被写体の映像成分を含まないことから、輝点ノイズN1〜N7だけを分離しやすい信号形態となっている。
【0050】
そこで、輝点検出回路62は、画像信号B2を使用して輝点ノイズN1〜N7が現れる画素の位置を検出する。輝点ノイズN1〜N7は、他のノイズと比較して極端に信号レベルが高くなっていることから、輝点検出回路62では、輝点ノイズN1〜N7の検出のためのしきい値となる信号レベルLを任意に設定する。そして、図4(B)に示すように、画像信号B2の各画素の信号レベルとこの信号レベルLとを比較し、信号レベルLに達した場合にタイミングパルスT1を出力することにより、輝点ノイズN1〜N7の位置を検出する。
【0051】
次に、図5に、黒点ノイズの補正について説明するための波形例を示す。
図5(A)は、演算回路61から出力された画像信号C1の波形例を示している。この画像信号C1では、上述したように、画像信号A2において信号レベルがレンジR内にフルスケールに貼り付いた輝点ノイズN1、N2およびN3に対応する画素において、黒点ノイズN11、N12およびN13が現れている。
【0052】
黒点補正回路63は、演算回路61からの画像信号C1の入力を順次受け、輝点検出回路62からのタイミングパルスT1を受信すると、このときに入力された画像信号C1における画素の信号を、近傍の画素の信号を使用して補正する。具体的には、例えば、該当する画素の信号を、隣接する前後いずれかの同色画素の信号に置き換える。あるいは、隣接する前後2つの同色画素の信号を平均し、該当する画素の信号をこの平均値で置き換える。このような画素の補正処理によって、撮像画像上では、黒く穴の空いた黒点の画素が、近傍の色で埋められて目立たなくなり、画質の劣化が防止される。
【0053】
次に、前処理回路6aにおける各部の内部構成例について説明する。まず、図6は、演算回路61についての第1の内部構成例を示す図である。
図6に示すように、演算回路61は、減算回路611のみによって構成される。減算回路611は、入力された画像信号A2から画像信号B2を減算した画像信号C1を出力する。
【0054】
この第1の内部構成例の場合、例えば、入力された信号がともに符号なしの10ビットのデータであると、演算結果は符号付き10ビットのデータとなり、ビット幅が1ビット分増加してしまう。具体的には、例えば、減算の結果には不規則なノイズ等によって負の信号が発生する場合があるが、ビット幅を変化させないために負の信号を取り除いてしまうと、黒色付近のノイズが半波整流されることになり、黒色付近の平均直流レベルまたは平均電圧レベルが変化してしまう。
【0055】
これに対して、次に、このような画像信号のビット幅を変化させることを防止した内部構成例について説明する。図7は、演算回路61の第2の内部構成例を示す図である。なお、図7では、図6に示した第1の内部構成例と同じ構成を有する機能ブロックには同一の符号を付している。
【0056】
図7に示す演算回路61aは、上記の減算回路611に加えて、オフセット加算用の加算回路612と、信号レベルを制限するリミッタ613によって構成される。加算回路612は、減算回路611からの出力信号Xに含まれる負のノイズ成分を、十分に伝送可能な程度の直流信号レベルを有するオフセット信号Oを加算する。また、リミッタ613は、加算回路612によってオフセットされた出力信号Yが元のビット幅を保つように、この信号レベルを制限する。
【0057】
ここで、図8は、演算回路61aにおける各部の信号レベルを10ビットのデジタルデータを例として説明するための図である。なお、図8では、輝点ノイズ等の細かいノイズ成分の波形については、説明を簡略化するために省略している。
【0058】
図8において、減算回路611に入力される画像信号A2およびB2に対して、固定パターンノイズが除去された減算回路611からの出力信号Xは、負のノイズ成分を含む場合がある。また、加算回路612からの出力信号Yには、上記の出力信号Xに例として「32」のデータのオフセットが加えられている。その結果、出力信号Yは符号付き11ビットのデータとなり、リミッタ613において、負の信号レベルは「0」に、また10ビットデータの最大レンジ幅の値である「1023」を超えた信号レベルは「1023」とすることにより、出力される画像信号C1は符号なし10ビットのデータとなる。
【0059】
以上の第2の内部構成例では、固定パターンノイズが除去されて出力された出力信号Xを、限られたビット数で、画質に悪影響を与えずに伝送することが可能となる。
【0060】
次に、輝点検出回路62の内部構成例について説明する。図9は、輝点検出回路62の第1の内部構成例を示す図である。
図9に示すように、輝点検出回路62は、入力された画像信号B2の信号レベルを設定値と比較して、比較結果をタイミングパルスT1として出力する比較回路621によって構成される。比較基準となる信号レベルLは、マイコン9により設定される。また、この信号レベルLと比較して、画像信号B2の信号レベルの方が高い場合に、出力するタイミングパルスT1をHレベルとする。
【0061】
この第1の内部構成例では、画像信号B2の信号レベルが、設定された信号レベルLを超えた場合に輝点ノイズの存在を検出し、タイミングパルスT1をHレベルとすることにより、黒点補正回路63にこれを通知する。しかし、このような内部構成では、入力される画像信号B2に含まれる直流的なオフセットの量が大きい場合、輝点ノイズのレベル判定に誤差が生じることがある。
【0062】
ここで、図10は、オフセットレベルの異なる2つの画像信号B2についての輝点ノイズ発生位置の検出の様子を示す図である。
図10(A)および(B)では、一例としてともに、画像信号B2が符号なし10ビット、マイコン9より与えられる信号レベルLの信号が符号なし10ビットで、信号レベルLの設定値が256とされている。また、これらの2つの画像信号B2と、それに対するタイミングパルスT1の出力の様子を併記している。
【0063】
図10(A)の例では、輝点ノイズ検出の信号レベルLの値に対して、6カ所の輝点ノイズが検出され、それぞれについてタイミングパルスT1がHレベルとなっている。これに対して、図10(B)の例では、図10(A)と比較して画像信号B2のオフセットレベルが高くなっている。このために、タイミングT101において発生している比較的レベルの低いノイズが信号レベルLを超えており、このノイズを含む7カ所が輝点ノイズと判断されている。
【0064】
このように、第1の内部構成例では、輝点検出回路62に入力される画像信号B2に含まれるオフセットのレベルによって、輝点ノイズ検出に対する判定に誤差が生じる場合がある。例えば、露光時間が長くなったり、あるいは周囲の温度が高くなった場合には、このようなオフセットのレベルはさらに増加するため、検出の信号レベルLの設定状況によってはすべての画素について輝点ノイズがあると判定してしまう恐れがある。
【0065】
このような判定誤差を防止することが可能な内部構成の例を以下に示す。まず、図11は、輝点検出回路62の第2の内部構成例を示す図である。なお、図11では、図9に示した第1の内部構成例と同じ構成を有する機能ブロックについては、同一の符号を付している。
【0066】
図11に示す輝点検出回路62aは、入力された画像信号B2を遅延させる遅延回路622と、遅延回路622からの出力信号をさらに遅延させる遅延回路623と、遅延回路623と画像信号B2の平均レベル値を演算する平均演算回路624と、遅延回路622の出力信号から平均演算回路624の出力信号を減算する減算回路625と、減算回路625からの出力信号に含まれる負成分を抑制するリミッタ626と、リミッタ626の出力信号から輝点ノイズを検出してタイミングパルスT1を出力する、第1の内部構成例と同様の比較回路621によって構成される。
【0067】
遅延回路622および623は、例えばDフリップフロップ等による遅延素子で構成され、遅延素子の段数は1段または2段となっている。従って、メモリコントローラ6cから供給される画像信号B2に対して、遅延回路622の出力信号は画素1つ分だけ遅延され、遅延回路623の出力信号はさらに画素1つ分だけ遅延される。これにより、輝点検出回路62aでは、遅延回路622からの出力信号を、輝点ノイズの検出対象の信号とし、遅延回路623からの出力信号より、検出対象の画素の1つ前の画素の信号を取り出し、遅延回路622に入力される画像信号B2より、1つ後ろの画素の信号を取り出している。
【0068】
なお、遅延回路622および623における遅延素子の段数は、後述するように、撮像素子3における素子構成に応じて決定される。
平均演算回路624は、遅延回路623からの出力信号と、入力された画像信号B2との平均レベル値を算出する。これにより、検出対象の画素に隣接する前後の画素に対する信号レベルの平均値が求められる。減算回路625は、遅延回路622からの検出対象の信号から、平均演算回路624からの信号を減算する。これにより、検出対象の画素と、これに隣接する両側の画素の平均信号レベルとの差が出力される。
【0069】
リミッタ626は、減算回路625における演算によって発生された負の信号をキャンセルして、この信号レベルを「0」にして出力する。これにより、負の信号の発生によるデータのビット幅が増大することを防ぐ。そして、この出力信号が比較回路621に入力され、検出基準の信号レベルLとの比較により、タイミングパルスT1が出力される。
【0070】
ここで、図12は、第2の内部構成例における比較回路621での輝点ノイズ検出と、タイミングパルスT1の出力との関係を示す図である。
図12では、一例として、比較回路621に対する入力信号Sが符号なし10ビット、マイコン9より与えられる信号レベルLの信号が符号なし10ビットで、信号レベルLの設定値が128とされている。入力信号Sは、検出対象の画素と、これに隣接する両側の画素の平均信号レベルとの差信号から、負の信号が除去されたものとなっている。このため、例えば図10(A)および(B)のように、輝点検出回路62に入力される画像信号Bがどのようなオフセットレベルを有していても、比較回路621への入力信号Sは、このオフセット成分が除去された状態となる。
【0071】
従って、この入力信号Sを使用して検出基準の信号レベルLとの比較を行うことにより、オフセットによる輝点ノイズの誤検出を防止するために、検出基準の信号レベルLを高く設定する必要がなくなり、オフセットレベルに関係なく輝点ノイズの検出を正確に行うことができる。
【0072】
なお、以上の第2の内部構成例では、検出対象の画素に隣接する両側の画素を使用して、その平均レベルを対象画素から減算したが、隣接する片側一方の画素のレベルを使用しても、上記と同様の効果を得ることができる。以下、このような輝点検出回路62の内部構成の例について述べる。
【0073】
図13は、輝点検出回路62の第3および第4の内部構成例を示す図である。なお、図13では、図9および図11に示した第1および第2の内部構成例と同じ構成を有する機能ブロックについては、同一の符号を付している。
【0074】
図13(A)では、第3の内部構成例として、対象画素と、これに隣接する前の画素との差分を使用して輝点ノイズを検出する輝点検出回路62bを示している。この輝点検出回路62bは、入力された画像信号B2を遅延させる遅延回路627と、画像信号B2から遅延回路627の出力信号を減算する減算回路625と、この出力信号から負の成分を除去するリミッタ626と、輝点ノイズの検出を行う比較回路621によって構成される。
【0075】
遅延回路627は、Dフリップフロップ等の遅延素子を1段または2段具備し、入力された画像信号B2を1画素分だけ遅延させる。従って、減算回路625では、検出対象の信号から、遅延回路627からの1つ分だけ前(通常は左側)の画素の信号が減算され、この出力信号がリミッタ626を介して比較回路621に供給される。
【0076】
また、図13(B)では、第4の内部構成例として、対象画素と、これに隣接する後ろの画素との差分を使用して輝点ノイズを検出する輝点検出回路62cを示している。この輝点検出回路62cは、入力された画像信号B2を遅延させる遅延回路628と、遅延回路628からの出力信号から、入力されている画像信号B2を減算する減算回路625と、この出力信号から負の成分を除去するリミッタ626と、輝点ノイズの検出を行う比較回路621によって構成される。
【0077】
この輝点検出回路62cでは、遅延回路628によって1画素分遅延された信号が、輝点ノイズの検出対象となる。従って、減算回路625では、検出対象の信号から、これより1つ分だけ後ろ(通常は右側)の画素の信号が減算され、この出力信号がリミッタ626を介して比較回路621に供給される。
【0078】
以上の第3および第4の内部構成例では、検出対象の画素の信号から、隣接する画素の信号の差分を使用して、信号レベルの比較を行うので、入力される画像信号B2の有するオフセットレベルに関係なく、輝点ノイズの検出を正確に行うことができる。
【0079】
なお、第2および第4の内部構成例では、検出対象とする信号に対して、これより1画素分だけ後ろの信号を使用することから、出力されるタイミングパルスT1は、画像信号B2に対して1画素分だけ遅延していることになる。このため、第2および第4の内部構成例をとる場合には、演算回路61に対する画像信号A2およびB2の入力段、あるいは演算回路61と黒点補正回路63との間に、1画素分の遅延回路が設けられる。
【0080】
次に、黒点補正回路63の内部構成例について説明する。図14は、黒点補正回路63の第1の内部構成例を示す図である。
図14に示す黒点補正回路63は、演算回路61から出力された画像信号C1を遅延させる遅延回路631と、遅延回路631からの出力信号をさらに遅延させる遅延回路632と、遅延回路632からの出力信号と、入力された画像信号C1との平均値を算出する平均演算回路633と、輝点検出回路62からのタイミングパルスT1を遅延させたタイミングパルスT2を出力する遅延回路634と、遅延回路634からのタイミングパルスT2に応じて、遅延回路631からの出力信号と平均演算回路633からの出力信号とを切り換えて、画像信号C2としてメモリコントローラ6cに出力するセレクタ635によって構成される。
【0081】
黒点補正回路63に入力される画像信号C1は、固定パターンノイズが除去されたものの、黒点ノイズを含んでいる可能性があるものである。遅延回路631は、その画像信号C1を同色の1画素分だけ遅延させる。この信号は、黒点補正対象の画素を示す画像信号C3として、セレクタ635の一方の入力に導かれる。また、遅延回路632は、遅延回路631からの出力信号に対して、さらに、同色の1画素分だけ遅延させて、平均演算回路633に供給する。従って、平均演算回路633は、遅延回路631からの出力信号における各画素に対して、この画素に隣接する前後の画素のデータの平均値を算出して、これを黒点補正のための画像信号C4としてセレクタ635の他方の入力に供給する。
【0082】
遅延回路634は、遅延回路631によって黒点補正対象の画像信号C3が遅延されたことに鑑み、この画像信号C3にタイミングパルスT1の位相を合わせるために、このタイミングパルスT1を遅延させたタイミングパルスT2をセレクタ635に対して供給する。セレクタ635は、入力されたタイミングパルスT2がLレベルのとき、遅延回路631からの画像信号C3を出力し、Hレベルのときに平均演算回路633からの画像信号C4を出力する。
【0083】
ここで、図15に、セレクタ635における入出力信号の様子を示す。
図15(A)に示すタイミングパルスT2は、輝点ノイズが発生している画素を示している。また、遅延回路631からの画像信号C3は、固定パターンノイズが除去され、黒点ノイズを含む可能性のある画像信号C1が、単に遅延されたものである。例として図15(B)に示した画像信号C3では、黒点ノイズN11、N12およびN13が含まれている。また、黒点ノイズは、輝点ノイズが発生していた画素にのみ現れる。
【0084】
従って、セレクタ635では、遅延回路631からの画像信号C3のうち、黒点ノイズが存在する可能性のある画素が供給されたタイミングにおいてのみ、平均演算回路633からの画像信号C4を出力する。このようにして出力された画像信号C2を、図15(C)に示す。
【0085】
ところで、黒点ノイズが存在する画素では、その色成分のレベルが近傍の画素より極端に低くなっている。このため、平均演算回路633では、黒点補正の対象画素に隣接する前後の画素の信号に対してその平均値が出力され、セレクタ635では、この画像信号C4が黒点ノイズの発生位置の画素と置き換えられる。これによって、撮像画像上では、黒点ノイズの発生していた画素が近傍の画素の色となだらかにつなげられて、黒点が目立たなくなり、画質が改善される。
【0086】
以上の黒点補正回路63では、黒点補正対象の画素に隣接する前後の同色画素の信号の平均値を使用して、黒点ノイズの存在する画素の信号を置き換えて補正したが、例えば、黒点ノイズの存在する画素を、この画素に隣接するいずれか一方のみの画素の信号に置き換えるようにしても、画質を向上させることができる。以下、このような黒点補正を行う黒点補正回路63の内部構成例について述べる。
【0087】
図16は、黒点補正回路63の第2および第3の内部構成例を示す図である。なお、図16(A)および(B)では、図14に示した第1の内部構成例と同じ構成を有する機能ブロックについては、同一の符号を付している。
【0088】
図16(A)では、第2の内部構成例として、黒点ノイズの存在する画素を、これに隣接する前の同色画素の信号に置き換えて補正を行う黒点補正回路63aを示している。この黒点補正回路63aは、入力された画像信号C1を遅延させる遅延回路636と、入力されたタイミングパルスT1がLレベルのとき、画像信号C1を出力し、Hレベルのとき、遅延回路636からの出力信号を出力するセレクタ635によって構成される。
【0089】
遅延回路636は、Dフリップフロップ等の遅延素子を1段または2段具備し、入力された画像信号C1を、同色の1画素分だけ遅延させる。従って、セレクタ635には、黒点補正対象の画像信号C1と、遅延回路636からの1つ分だけ前(通常は左側)の同色画素の信号とが供給される。そして、タイミングパルスT1に応じて、黒点ノイズを含む可能性のある画素の信号が、1つ分だけ前の画素の信号によって置き換えられる。
【0090】
また、図16(B)では、第3の内部構成例として、黒点ノイズの存在する画素を、これに隣接する後ろの同色画素の信号に置き換えて補正を行う黒点補正回路63bを示している。この黒点補正回路63bは、入力された画像信号C1を遅延させる遅延回路637と、入力されたタイミングパルスT1を遅延させる遅延回路634と、入力されたタイミングパルスT2がLレベルのとき、遅延回路637からの出力信号を出力し、Hレベルのとき、画像信号C1を出力するセレクタ635によって構成される。
【0091】
この黒点補正回路63bでは、遅延回路637によって同色の1画素分遅延された信号が、黒点補正の対象となる。また、遅延回路634は、入力されたタイミングパルスT1を遅延させて、遅延回路637によって遅延された画像信号C3の位相に合わせたタイミングパルスT2を生成し、セレクタ635に供給する。従って、セレクタ635には、黒点補正対象の画像信号C1と、遅延回路637からの1つ分だけ後ろ(通常は右側)の同色画素の信号とが供給される。そして、タイミングパルスT2に応じて、黒点ノイズを含む可能性のある画素の信号が、1つ分だけ後ろの画素の信号によって置き換えられる。
【0092】
以上の第2および第3の内部構成例では、黒点ノイズの存在する画素を、この画素に隣接するいずれか一方のみの画素の信号に置き換えるので、撮像画像の画質が向上する。ただし、隣接するいずれかの画素と同じ色で表示されるので、上述した第1の内部構成例によって補正された画像の方が、画質の補正による効果が大きい。しかし、第2および第3の内部構成例では、第1の内部構成例より回路構成が単純で、製造コストを抑制することができる。
【0093】
ところで、以上の輝点検出回路62および黒点補正回路63の内部構成例において、入力された画像信号B2およびC1やタイミングパルスT1を遅延させる遅延回路については、これらが具備する遅延素子の段数は撮像素子3の構造によって異なる。これは、撮像素子3の構造によって、同色画素の配置間隔が異なるためである。
【0094】
ここで、図17に、撮像素子3の構造の違いによる画像信号中の画素配列の違いの例について示す。
白黒センサまたは3枚CCDでは、各素子から同色の信号のみが出力されるので、隣接する画素の信号が皆同色のものとなる。従って、図17(A)に示すように、遅延回路内の遅延素子を1段(1クロック分)とすることによって、隣接する同色画素1つ分の遅延を得ることが可能となる。
【0095】
また、2×2または2×4のカラーフィルタアレイを具備する単板CCDのような場合は、隣接する画素の色情報がそれぞれ異なる。従って、図17(B)に示すように、遅延回路内の遅延素子を2段(2クロック分)とすることによって、隣接する同色画素1つ分の遅延を得ることが可能となる。
【0096】
以上の撮像装置1では、通常撮像の直後に撮像した画像信号B2を使用して、輝点ノイズの発生している画素を検出するので、黒点ノイズが発生している可能性のある画素の位置を、容易かつ正確に検出することができる。また、この検出に基づいて、黒点ノイズの発生の可能性のある画素について、近傍の画素のデータを使用してこれを補正するので、黒点となっていた画素が目立たなくなり、撮像画像の画質を容易に改善することが可能となる。
【0097】
なお、以上の実施の形態例では、シャッタを閉じた状態の撮像は、通常撮像の直後に行っていたが、逆に、通常撮像の直前にシャッタを閉じた状態で撮像を行うようにしてもよい。この場合、マイコン9は、使用者の操作入力等による撮像開始の要求を受けると、アイリス2bやフロントエンド5、TG8における通常撮像のための設定を行い、まずシャッタ2cを閉じてフロントエンド5に画像信号をサンプリングさせ、続いてシャッタ2cを通常設定にして撮像させ、画像信号を生成させる。画像メモリ7には、まずシャッタを閉じた撮像による画像信号B2が記憶された後、通常撮像による画像信号A2が記憶され、これらが同時に前処理回路6aに出力される。
【0098】
また、上記の実施の形態例では、通常撮像による画像信号A2と、シャッタを閉じた撮像による画像信号B2の双方を、一旦画像メモリ7に記憶させてから、前処理回路6aに出力していたが、これに限らず、例えば、一方の画像信号を画像メモリ7に記憶させた後、その後の他方の撮像を行った時点で、一方の画像信号を画像メモリ7から読み出し、双方を同時に前処理回路6aに供給するような構成としてもよい。さらに、前処理回路6aから出力された画像信号C2を一旦画像メモリ7に記憶せずに、直接本処理回路6bに供給する構成としてもよい。
【0099】
このような構成とすることで、画像メモリ7へのアクセス回数や転送データ量が抑制されるので、撮像開始から最終的な画像信号の記憶までの時間が短縮されるとともに、消費電力を低減することができる。
【0100】
【発明の効果】
以上説明したように、本発明の撮像装置では、輝点位置検出手段により、シャッタを開いた通常撮像の直前または直後に通常撮像と同じ露光条件でシャッタを閉じて撮像され生成された第2の画像データから、輝点ノイズの発生位置が検出される。また、その発生位置を示す信号が出力される。そして、ノイズ補正手段により、通常撮像による第1の画像データから第2の画像データを減算して得たデータについて、輝点位置検出手段からの輝点ノイズの発生位置を示す信号に基づき、その発生位置に対応する画素のデータが補正される。従って、演算手段からの出力データを順次受けて、その出力データにおける輝点ノイズの発生位置を容易かつ正確に検出し、補正することができるので、メモリ容量を増やすことなく、短時間で輝点ノイズを除去して撮像画像の品質を高めることが可能となる。さらに、演算手段を、減算部が第1の画像データから第2の画像データを減算し、加算部がその減算部からの出力信号に対してオフセット信号を加算し、リミッタが加算部からの出力信号レベルを制限する構成としたことで、画像信号のビット幅を変化させることなく、固定パターンノイズを除去できる。
【0101】
また、本発明のノイズ除去方法では、シャッタを開いた通常撮像の直前または直後に通常撮像と同じ露光条件でシャッタを閉じて撮像され生成された第2の画像データから、輝点ノイズの発生位置が検出され、その発生位置を示す信号が出力される。そして、通常撮像による第1の画像データから第2の画像データを減算し、その減算結果に対してオフセット信号を加算し、さらにその加算結果の出力レベルを制限する演算処理によって得たデータについて、輝点ノイズの発生位置を示す信号に基づき、その発生位置に対応する画素のデータが補正される。従って、減算によって得られた画像データを順次受けて、その画像データにおける輝点ノイズの発生位置を容易かつ正確に検出し、補正することができるので、メモリ容量を増やすことなく、短時間で輝点ノイズを除去して撮像画像の品質を高めることが可能となる。さらに、上記の演算処理により、画像信号のビット幅を変化させることなく、固定パターンノイズを除去できる。
【図面の簡単な説明】
【図1】 本発明の撮像装置の構成例を示すブロック図である。
【図2】 前処理回路の内部構成例を示す図である。
【図3】 演算回路に入力される各画像信号の信号波形の例を示す図である。
【図4】 シャッタを閉じて撮像された画像信号とタイミングパルスとの関係を説明するための図である。
【図5】 黒点ノイズの補正について説明するための波形例を示す図である。
【図6】 演算回路の第1の内部構成例を示す図である。
【図7】 演算回路の第2の内部構成例を示す図である。
【図8】 演算回路の第2の内部構成例における各部の信号レベルについて10ビットのデジタルデータを例として説明するための図である。
【図9】 輝点検出回路の第1の内部構成例を示す図である。
【図10】 輝点検出回路に対する、オフセットレベルの異なる2つの画像信号についての輝点ノイズ発生位置の検出の様子を示す図である。
【図11】 輝点検出回路の第2の内部構成例を示す図である。
【図12】 第2の内部構成例における比較回路での輝点ノイズ検出と、タイミングパルスの出力との関係を示す図である。
【図13】 輝点検出回路の第3および第4の内部構成例を示す図である。
【図14】 黒点補正回路の第1の内部構成例を示す図である。
【図15】 セレクタにおける入出力信号の様子を示す図である。
【図16】 黒点補正回路の第2および第3の内部構成例を示す図である。
【図17】 撮像素子の構造の違いによる画像信号中の画素配列の違いの例について示す図である。
【図18】 従来のノイズ低減方法において撮像される画像信号の波形例を示す図である。
【図19】 従来のノイズ低減方法において出力される画像信号の波形例を示す図である。
【符号の説明】
1……撮像装置、2a……レンズ、2b……アイリス、2c……シャッタ、3……撮像素子、4……アンプ、5……フロントエンド、5a……S/H・GC回路、5b……A/D変換回路、6……カメラシステムLSI、6a……前処理回路、6b……本処理回路、6c……メモリコントローラ、6d……タイミング発生回路、7……画像メモリ、8……TG、9……マイコン、61……演算回路、62……輝点検出回路、63……黒点補正回路
Claims (14)
- 固体撮像素子を用いて被写体を撮像する撮像装置において、
シャッタを開いた通常撮像により撮像されてデジタルデータ化された第1の画像データから、前記通常撮像の直前または直後に前記通常撮像と同じ露光条件でシャッタを閉じて撮像され、デジタルデータ化された第2の画像データを減算する演算手段と、
撮像画像上に輝点を生成する高レベルのノイズである輝点ノイズの前記第2の画像データにおける発生位置を検出し、その発生位置を示す信号を出力する輝点位置検出手段と、
前記演算手段からの出力データについて、前記輝点位置検出手段からの前記輝点ノイズの発生位置を示す信号に基づき、その発生位置に対応する画素のデータを補正するノイズ補正手段と、
を有し、
前記演算手段は、
前記第1の画像データから前記第2の画像データを減算する減算部と、
前記減算部からの出力信号に対してオフセット信号を加算する加算部と、
前記加算部からの出力信号レベルを制限するリミッタと、
を備えたことを特徴とする撮像装置。 - 前記輝点位置検出手段は、前記第2の画像データから前記輝点ノイズの発生位置を検出した場合に、前記ノイズ補正手段に対して前記輝点ノイズの発生位置を示す信号を出力することを特徴とする請求項1記載の撮像装置。
- 前記輝点位置検出手段からの前記輝点ノイズの発生位置を示す信号を所定時間だけ遅延させて前記ノイズ補正手段に供給し、前記輝点位置検出手段における前記輝点ノイズの検出対象の画素と前記ノイズ補正手段における補正対象の画素との前記固体撮像素子上の空間位置を揃える遅延手段をさらに有することを特徴とする請求項1記載の撮像装置。
- 前記輝点位置検出手段は、前記第2の画像データにおける各画素の信号レベルおよび当該画素に対応して決定される他の所定画素の信号レベルに基づいて、前記輝点ノイズの発生位置を検出することを特徴とする請求項1記載の撮像装置。
- 前記輝点位置検出手段は、前記第2の画像データにおける各画素の信号レベルと当該画素に対応して決定される他の所定画素の信号レベルとの差分に基づいて、前記輝点ノイズの発生位置を検出することを特徴とする請求項4記載の撮像装置。
- 前記輝点位置検出手段は、前記第2の画像データにおける各画素の信号レベルと、当該画素の両側に位置する2つの画素の平均信号レベルとの差分が、あらかじめ任意に設定された設定値に達することにより、前記輝点ノイズの発生位置を検出することを特徴とする請求項5記載の撮像装置。
- 前記輝点位置検出手段は、前記第2の画像データにおける各画素の信号レベルがあらかじめ任意に設定された設定値に達することにより、前記輝点ノイズの発生位置を検出することを特徴とする請求項1記載の撮像装置。
- 前記ノイズ補正手段は、前記輝点ノイズの発生位置に対応する画素のデータを、当該画素近傍の画素のデータを用いて補正することを特徴とする請求項1記載の撮像装置。
- 前記ノイズ補正手段は、前記輝点ノイズの発生位置に対応する画素のデータを、当該画素近傍に位置する同色画素のデータを用いて補正することを特徴とする請求項8記載の撮像装置。
- 前記ノイズ補正手段は、前記輝点ノイズの発生位置に対応する画素のデータを、隣接するいずれか一方の同色画素のデータに置き換えることを特徴とする請求項8記載の撮像装置。
- 固体撮像素子を用いて被写体を撮像する際に発生するノイズを除去するためのノイズ除去方法において、
シャッタを開いた通常撮像により撮像してデジタルデータ化した第1の画像データから、前記通常撮像の直前または直後に前記通常撮像と同じ露光条件でシャッタを閉じて撮像 し、デジタルデータ化した第2の画像データを減算し、その減算結果に対してオフセット信号を加算し、さらにその加算結果の出力レベルを制限する演算処理を実行し、
撮像画像上に輝点を生成する高レベルのノイズである輝点ノイズの前記第2の画像データにおける発生位置を検出し、
検出した前記輝点ノイズの発生位置を示す信号を出力し、
前記演算処理による結果のデータについて、前記輝点ノイズの発生位置を示す信号に基づき、その発生位置に対応する画素のデータを補正する、
ことを特徴とするノイズ除去方法。 - 前記輝点ノイズの発生位置を示す信号を、前記第2の画像データから前記輝点ノイズの発生位置を検出した場合に出力することを特徴とする請求項11記載のノイズ除去方法。
- 前記輝点ノイズの発生位置を、前記第2の画像データにおける各画素の信号レベルおよび当該画素に対応して決定される他の所定画素の信号レベルに基づいて検出することを特徴とする請求項11記載のノイズ除去方法。
- 前記輝点ノイズの発生位置に対応する画素のデータを補正する際には、当該画素のデータを、当該画素近傍に位置する同色画素のデータを用いて補正することを特徴とする請求項11記載のノイズ除去方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001287036A JP3931606B2 (ja) | 2001-09-20 | 2001-09-20 | 撮像装置およびノイズ除去方法 |
PCT/JP2002/008953 WO2003028367A1 (en) | 2001-09-20 | 2002-09-03 | Imaging device and method for removing noise |
CNB028035828A CN100399805C (zh) | 2001-09-20 | 2002-09-03 | 图像捕获装置和噪声消除方法 |
KR1020037006751A KR100880085B1 (ko) | 2001-09-20 | 2002-09-03 | 촬상 장치 및 노이즈 제거 방법 |
US10/432,134 US7479993B2 (en) | 2001-09-20 | 2002-09-03 | Image device and method for removing noise |
CN2007101409754A CN101141561B (zh) | 2001-09-20 | 2002-09-03 | 图像捕获装置 |
EP02762990A EP1387574A4 (en) | 2001-09-20 | 2002-09-03 | IMAGING DEVICE AND METHOD OF NOISE REMOVAL |
TW091121162A TW574827B (en) | 2001-09-20 | 2002-09-16 | Image capturing device and method for removing noise |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001287036A JP3931606B2 (ja) | 2001-09-20 | 2001-09-20 | 撮像装置およびノイズ除去方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006306681A Division JP4501926B2 (ja) | 2006-11-13 | 2006-11-13 | 撮像装置およびノイズ除去方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003101887A JP2003101887A (ja) | 2003-04-04 |
JP3931606B2 true JP3931606B2 (ja) | 2007-06-20 |
Family
ID=19109909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001287036A Expired - Fee Related JP3931606B2 (ja) | 2001-09-20 | 2001-09-20 | 撮像装置およびノイズ除去方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7479993B2 (ja) |
EP (1) | EP1387574A4 (ja) |
JP (1) | JP3931606B2 (ja) |
KR (1) | KR100880085B1 (ja) |
CN (2) | CN101141561B (ja) |
TW (1) | TW574827B (ja) |
WO (1) | WO2003028367A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004320128A (ja) | 2003-04-11 | 2004-11-11 | Mega Chips Corp | 欠陥画素補正装置 |
JP4331553B2 (ja) * | 2003-09-17 | 2009-09-16 | オリンパス株式会社 | 撮像装置 |
EP1708490B1 (en) | 2003-12-03 | 2013-02-13 | Nikon Corporation | Image processing device for controlling intensity of noise removal in a screen, image processing program, image processing method, and electronic camera |
US8009207B2 (en) | 2004-05-24 | 2011-08-30 | Nikon Corporation | Noise reduction device for reducing noise in image using blackout image, electronic camera, program, and method |
JP4525198B2 (ja) * | 2004-06-17 | 2010-08-18 | 株式会社ニコン | ノイズ除去装置、電子カメラ、およびノイズ除去プログラム。 |
CN100394463C (zh) * | 2004-05-31 | 2008-06-11 | 东芝松下显示技术有限公司 | 配备图像获取功能的显示装置 |
JP4230967B2 (ja) * | 2004-07-02 | 2009-02-25 | 富士通マイクロエレクトロニクス株式会社 | 撮像装置、撮像装置の制御方法、cmosイメージセンサ |
JP4744828B2 (ja) * | 2004-08-26 | 2011-08-10 | 浜松ホトニクス株式会社 | 光検出装置 |
KR101119969B1 (ko) * | 2004-11-09 | 2012-02-22 | 삼성전자주식회사 | 디지털 카메라에서 고정 패턴 노이즈 제거 장치 및 방법 |
JP4598182B2 (ja) * | 2005-01-05 | 2010-12-15 | Hoya株式会社 | 電子内視鏡システム |
CN100394779C (zh) * | 2005-02-04 | 2008-06-11 | 三洋电机株式会社 | 噪声处理装置及摄像装置 |
JP2007053691A (ja) * | 2005-08-19 | 2007-03-01 | Micron Technol Inc | サブlsbを用いた拡張デジタルデータ路構造 |
JP2007173953A (ja) * | 2005-12-19 | 2007-07-05 | Matsushita Electric Ind Co Ltd | 固体撮像装置及び駆動方法 |
WO2008153085A1 (ja) * | 2007-06-14 | 2008-12-18 | Sony Corporation | 撮像装置、撮像制御方法および撮像制御プログラム |
JP2009136459A (ja) * | 2007-12-05 | 2009-06-25 | Hoya Corp | ノイズ除去システム、内視鏡プロセッサ、および内視鏡システム |
US8090183B2 (en) * | 2009-03-12 | 2012-01-03 | Visiongate, Inc. | Pattern noise correction for pseudo projections |
JP2009260871A (ja) * | 2008-04-21 | 2009-11-05 | Nikon Corp | 撮像装置 |
US8164657B2 (en) * | 2008-06-27 | 2012-04-24 | AltaSens, Inc | Pixel or column fixed pattern noise mitigation using partial or full frame correction with uniform frame rates |
US20120038778A1 (en) * | 2010-08-11 | 2012-02-16 | United States Of America, As Represented By The Secretary Of The Army | Self-Scanning Passive Infrared Personnel Detection Sensor |
CN102143332B (zh) * | 2011-04-20 | 2013-03-20 | 中国科学院半导体研究所 | 基于标准cmos工艺的彩色图像传感器 |
CN102316275B (zh) * | 2011-09-06 | 2013-07-03 | 中国科学院长春光学精密机械与物理研究所 | 一种无电子快门帧转移面阵ccd的曝光时间调节方法 |
KR102149270B1 (ko) * | 2013-12-13 | 2020-08-28 | 한화테크윈 주식회사 | 렌즈 조리개 제어를 이용한 노이즈 제거 방법 및 시스템 |
CN104061908B (zh) * | 2014-06-13 | 2016-06-01 | 北京空间机电研究所 | 一种红外遥感器背景电平漂移消除系统及其方法 |
CN104486563B (zh) * | 2014-12-19 | 2017-10-31 | 中国科学院长春光学精密机械与物理研究所 | 带电荷倾倒功能的帧转移ccd曝光时间短至零的实现方法 |
US11069054B2 (en) | 2015-12-30 | 2021-07-20 | Visiongate, Inc. | System and method for automated detection and monitoring of dysplasia and administration of immunotherapy and chemotherapy |
JP6862129B2 (ja) * | 2016-08-29 | 2021-04-21 | キヤノン株式会社 | 光電変換装置および撮像システム |
JP6880709B2 (ja) * | 2016-12-20 | 2021-06-02 | 株式会社リコー | 光電変換装置、光電変換方法及び画像形成装置 |
US11367390B2 (en) * | 2018-12-24 | 2022-06-21 | Novatek Microelectronics Corp. | Display apparatus and method for noise reduction |
JP2024056345A (ja) * | 2022-10-11 | 2024-04-23 | 浜松ホトニクス株式会社 | 固体撮像装置、及び、信号処理方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4573070A (en) * | 1977-01-31 | 1986-02-25 | Cooper J Carl | Noise reduction system for video signals |
US4703442A (en) * | 1985-09-25 | 1987-10-27 | Rca Corporation | Temperature tracking defect corrector for a solid-state imager |
US4654714A (en) * | 1985-10-30 | 1987-03-31 | Rca Corporation | Pixel addressing system |
JP2652793B2 (ja) | 1988-03-16 | 1997-09-10 | キヤノン株式会社 | 撮像装置 |
JP2687670B2 (ja) | 1990-04-19 | 1997-12-08 | 松下電器産業株式会社 | 動き検出回路および手ぶれ補正装置 |
JP2800080B2 (ja) | 1991-08-23 | 1998-09-21 | 鐘淵化学工業株式会社 | 接着剤及びその製造方法 |
JPH05137073A (ja) * | 1991-11-11 | 1993-06-01 | Canon Inc | 固体撮像素子の固定パターン補正装置 |
JPH06303531A (ja) * | 1993-04-09 | 1994-10-28 | Olympus Optical Co Ltd | 固体撮像素子の画素欠陥補正装置 |
JP3014895B2 (ja) | 1993-06-02 | 2000-02-28 | 株式会社日立製作所 | ビデオカメラ |
JPH0851571A (ja) * | 1994-08-03 | 1996-02-20 | Olympus Optical Co Ltd | 電子的撮像装置 |
US6002433A (en) * | 1995-08-29 | 1999-12-14 | Sanyo Electric Co., Ltd. | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit |
US5854655A (en) * | 1995-08-29 | 1998-12-29 | Sanyo Electric Co., Ltd. | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit |
JP3785520B2 (ja) * | 1997-03-19 | 2006-06-14 | コニカミノルタホールディングス株式会社 | 電子カメラ |
JPH11215439A (ja) * | 1998-01-26 | 1999-08-06 | Toshiba Corp | 撮像素子の固定パターンノイズ低減装置 |
JPH11239298A (ja) * | 1998-02-19 | 1999-08-31 | Konica Corp | 電子カメラ、画素信号補正方法及び記録媒体 |
JPH11355666A (ja) | 1998-06-05 | 1999-12-24 | Matsushita Electric Ind Co Ltd | 画素欠陥検出装置 |
KR100340052B1 (ko) * | 1998-06-30 | 2002-07-18 | 박종섭 | 이미지센서 |
JP4146948B2 (ja) * | 1998-11-10 | 2008-09-10 | オリンパス株式会社 | 電子カメラ |
JP2000184267A (ja) * | 1998-12-17 | 2000-06-30 | Sony Corp | 映像信号処理装置 |
JP2000209506A (ja) | 1999-01-14 | 2000-07-28 | Toshiba Corp | 撮像装置および撮像方法 |
JP4262363B2 (ja) * | 1999-07-06 | 2009-05-13 | オリンパス株式会社 | 撮像装置 |
JP2001177768A (ja) * | 1999-12-15 | 2001-06-29 | Olympus Optical Co Ltd | 撮像装置 |
JP4497759B2 (ja) * | 2000-06-30 | 2010-07-07 | キヤノン株式会社 | 画像処理装置及びその処理方法 |
-
2001
- 2001-09-20 JP JP2001287036A patent/JP3931606B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-03 CN CN2007101409754A patent/CN101141561B/zh not_active Expired - Fee Related
- 2002-09-03 KR KR1020037006751A patent/KR100880085B1/ko not_active IP Right Cessation
- 2002-09-03 US US10/432,134 patent/US7479993B2/en not_active Expired - Fee Related
- 2002-09-03 EP EP02762990A patent/EP1387574A4/en not_active Withdrawn
- 2002-09-03 CN CNB028035828A patent/CN100399805C/zh not_active Expired - Fee Related
- 2002-09-03 WO PCT/JP2002/008953 patent/WO2003028367A1/ja active Application Filing
- 2002-09-16 TW TW091121162A patent/TW574827B/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
CN101141561B (zh) | 2010-06-16 |
KR20040038894A (ko) | 2004-05-08 |
WO2003028367A1 (en) | 2003-04-03 |
CN101141561A (zh) | 2008-03-12 |
JP2003101887A (ja) | 2003-04-04 |
EP1387574A4 (en) | 2006-08-02 |
US7479993B2 (en) | 2009-01-20 |
KR100880085B1 (ko) | 2009-01-23 |
TW574827B (en) | 2004-02-01 |
US20040135922A1 (en) | 2004-07-15 |
EP1387574A1 (en) | 2004-02-04 |
CN100399805C (zh) | 2008-07-02 |
CN1484913A (zh) | 2004-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3931606B2 (ja) | 撮像装置およびノイズ除去方法 | |
JP4773179B2 (ja) | 撮像装置 | |
US7206020B2 (en) | Adaptive white defect signal correction method and image-pickup apparatus using the method | |
US7262793B2 (en) | Imager and image quality correcting method performing correction based on the output of different readout modes | |
US20070263111A1 (en) | Solid-state image pickup device capable of compensating for vertical shading caused by dark current | |
JP2002044688A (ja) | 固体撮像素子の画素欠陥検出方法およびその方法を用いた撮像装置 | |
JP4367910B2 (ja) | 固体撮像装置 | |
JP4679174B2 (ja) | 画像処理装置およびこの画像処理装置を備えたデジタルカメラ | |
US20050030412A1 (en) | Image correction processing method and image capture system using the same | |
JP4501926B2 (ja) | 撮像装置およびノイズ除去方法 | |
JP4007802B2 (ja) | 撮像装置 | |
JP4175587B2 (ja) | 画像処理装置及びその方法、撮像装置、並びにメモリ媒体 | |
JP3238968B2 (ja) | 固体撮像装置 | |
JP4130275B2 (ja) | 映像信号処理装置 | |
JP3796421B2 (ja) | 撮像装置及び撮像方法 | |
JP4245373B2 (ja) | 画素信号処理回路 | |
JP4824467B2 (ja) | 固体撮像装置 | |
JP2001189878A (ja) | 撮像装置 | |
JP2000209505A (ja) | 固体撮像装置の白キズ信号レベル抑制装置 | |
JP3216244B2 (ja) | 固体撮像素子の欠陥補正装置及び固体撮像装置 | |
JP5074795B2 (ja) | 撮像装置、映像信号補正方法、プログラム並びに記憶媒体 | |
JP2009017586A (ja) | 画像再生装置およびその再生方法 | |
JP2000069359A (ja) | ビデオカメラ | |
JP2002320144A (ja) | 電子カメラ | |
JPH07212658A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070305 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100323 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110323 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120323 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130323 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130323 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140323 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |