JP3990059B2 - Apparatus and method for correcting defective pixel of imaging device - Google Patents
Apparatus and method for correcting defective pixel of imaging device Download PDFInfo
- Publication number
- JP3990059B2 JP3990059B2 JP36068498A JP36068498A JP3990059B2 JP 3990059 B2 JP3990059 B2 JP 3990059B2 JP 36068498 A JP36068498 A JP 36068498A JP 36068498 A JP36068498 A JP 36068498A JP 3990059 B2 JP3990059 B2 JP 3990059B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- defective
- cell
- defect
- imaging cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 173
- 230000002950 deficient Effects 0.000 title claims description 145
- 238000000034 method Methods 0.000 title claims description 18
- 230000007547 defect Effects 0.000 claims description 87
- 238000012937 correction Methods 0.000 claims description 61
- 238000012545 processing Methods 0.000 claims description 34
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、撮像デバイスの欠陥画素補正装置、およびその方法に関する。より具体的には、とくに固体撮像デバイスから得られる画像信号における欠陥撮像セルに起因する画素信号を補正する装置、およびその方法に関するものである。
【0002】
【従来の技術】
周知のように、固体撮像デバイスは、多数の感光素子が配列された撮像セルのアレイが設けられている。撮像セルアレイに含まれる感光素子には、製造工程に起因して、入射光に反応しないセルや、入射光がなくても異常に多い暗電流を発生するセルが含まれていることがしばしばある。これらの欠陥セルは一般に、それぞれ「黒キズ」および「白キズ」と称し、固体撮像デバイスでは避けられない。
【0003】
そこで、固体撮像デバイスから出力される画像信号において、これらの欠陥セルに起因する画素信号を、その周囲の撮像セルから得られる画素信号を利用して補正する欠陥画素の補正方式が多数、提案されている。また、特開平 7-59011号公報には、撮像セルアレイにおける欠陥セルの位置座標を記憶するメモリ領域の容量制限から、欠陥セルを識別する際、欠陥セルの欠陥の程度、すなわち欠陥レベルを判別して、欠陥レベルの大きいセルについてのみ、その位置座標を記憶する欠陥セルの自動検出装置が開示されている。
【0004】
ところで、固体撮像デバイスからは、画像信号は一般に、水平および垂直走査方向に画素順次で時系列的にラスタ走査されて出力される。欠陥セルの画素信号を補正する場合、そのセルに隣接する複数の撮像セルの画素信号を用いて、たとえば単純平均して、その平均値を当該欠陥セルの画素信号に置き換える方式がある。また、隣接する複数の撮像セルが欠陥セルであるバースト状の欠陥の場合、バースト状の注目欠陥セルの画素信号を補正するときは、それに隣接する欠陥セルの、すでに補正された画素信号を使用する。
【0005】
【発明が解決しようとする課題】
従来の欠陥画素補正は、撮像セルの欠陥レベルによらず、または所定のレベル以上の欠陥セルについてのみ、補正アルゴリズムを適用して、行なっていた。したがって、たとえばバースト状に欠陥セルが存在する場合など、欠陥セルの位置によっては補正後の信号が他の欠陥セルの補正に悪影響を与えるなどして、十分に良好な欠陥画素補正が行なわれないことがあった。
【0006】
固体撮像デバイスからラスタ走査にて画素順次に出力される画像信号について、その出力順、すなわち時系列的に欠陥セルの画素信号を補正すると、このようなバースト状の一連の欠陥セルにおける注目欠陥セルの画素信号の補正の適否は、それに隣接する欠陥セルの、すでに補正された画素信号に大きく左右されることがある。つまり、隣接欠陥セルの画素信号の補正が適切でないと、その適切でない補正値を注目欠陥セルの画素信号の補正に使用するので、その適切でない補正値の影響が注目セルの画素信号の補正に強く現れることがある。
【0007】
本発明は、このような従来技術と比較して、より適切に固体撮像デバイスの欠陥撮像セルの画素信号を補正することができる撮像デバイスの欠陥画素補正装置、およびその方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明によれば、撮像デバイスにおける撮像セルの欠陥の程度、すなわち欠陥レベルに応じて、欠陥レベルの高い撮像セルを優先して欠陥画素補正を行ない、該当する場合、この補正された画素信号を使用して、他の撮像セルの欠陥画素補正を行なう。
【0009】
より具体的には、本発明による撮像デバイスの欠陥画素補正装置は、複数の撮像セルが配列された撮像セルアレイを有する撮像デバイスから出力される画像信号を受ける入力手段と、この画像信号に複数の撮像セルのうちの欠陥のある撮像セルに対応する画素信号が含まれるときは、この画素信号を補正する補正手段と、欠陥のある撮像セルの欠陥の程度を表わす欠陥程度データをその欠陥のある撮像セルに対応して蓄積する蓄積手段と、欠陥程度データに応じて補正手段を制御し、補正手段によって、欠陥のある撮像セルに対応する画素信号を補正させる制御手段とを含み、制御手段は、欠陥程度データを参照してその欠陥のある撮像セルおよび欠陥の程度を識別し、補正手段は、識別した欠陥の程度に従って欠陥の程度の高い撮像セルから低い撮像セルの順に対応する画素信号を補正し、該当する場合は、補正された結果を欠陥の程度の低い撮像セルの画素信号の補正に使用する。
【0010】
本発明によればまた、欠陥程度データに代わって、欠陥のある撮像セルの欠陥の程度に従ってその欠陥のある撮像セルを特定する識別データを蓄積手段に蓄積し、制御手段は、この識別データを参照して欠陥のある撮像セルおよび欠陥の程度を識別するように構成してもよい。
【0011】
さらに、本発明による撮像デバイスの欠陥画素補正方法は、複数の撮像セルが配列された撮像セルアレイを有する撮像デバイスから出力される画像信号を用意する工程と、画像信号に複数の撮像セルのうちの欠陥のある撮像セルに対応する画素信号が含まれるときは、その画素信号を補正する工程と、欠陥のある撮像セルの欠陥の程度に関連するデータを用意する工程と、このデータを参照して、撮像セルのうちの欠陥のある撮像セルについて、欠陥の程度の高い撮像セルから低い撮像セルの順に対応する画素信号を補正する工程とを含み、この補正する工程では、該当する場合は、補正された結果を欠陥の程度の低い撮像セルの画素信号の補正に使用する。
【0012】
【発明の実施の形態】
次に添付図面を参照して本発明による撮像デバイスの欠陥画素補正装置の実施例を詳細に説明する。図1には、本発明を適用したディジタル電子スチルカメラの実施例が示されている。このカメラ 100は、たとえば電荷転送デバイス(CCD) などの固体撮像デバイス 102を有し、固体撮像デバイス 102から出力される画像信号 104の欠陥撮像セルに関連する画素信号を補正して装置出力 106から出力する撮影装置である。
【0013】
固体撮像デバイス 102は、感光素子が2次元状に配列された撮像セルアレイ 103を有し、これらの感光素子のなかには一般に、製造工程に起因して、黒キズや白キズと称する欠陥セルが含まれていることがしばしばある。これらの欠陥セルは、たとえば、撮像デバイス 102の供給業者からそれらの位置、すなわちアレイ 103上の座標を特定する欠陥セルデータが提供されたり、または、均一な照度の2次元画像を撮像して得られた画像信号から、欠陥セルの撮像セルアレイ 103における位置を知ることができる。これらの位置は、好ましくは、撮像セルアレイ 103の2次元平面におけるX方向およびY方向(図2参照)における座標(X、Y) の形で表わされる。実施例のスチルカメラ 100は、このような欠陥セルの位置を示す欠陥セルデータを蓄積するためのメモリ 108を有している。この欠陥セルデータの構造については、後に詳述する。
【0014】
撮像セルアレイ 103は、カメラ 100の撮像光学系(図示せず)を通して被写界から入射する入射光に応じた電荷を蓄積する多数の撮像セル10を有し、固体撮像デバイス 102は、後述するタイミング発生器 110の出力する駆動信号 112に応動して、この蓄積電荷を画像信号の形でその出力 104に生成する撮像装置である。この出力 104は、サンプリング回路 112の入力に接続されている。以下の説明において、信号は、その現れる接続線の参照符号にて指定する。本実施例では、固体撮像デバイスとしてCCD が採用されている。本発明はしかし、この特定のタイプの撮像デバイスに限定されず、たとえばMOS 型半導体撮像デバイスなどの他の方式の撮像装置であっても、効果的に適用される。
【0015】
サンプリング回路 112は、撮像デバイス 102から入力される画像信号を増幅し、タイミング発生器 110より供給されるサンプリングパルス 116に応動して画像信号 104を標本化し、これをその出力 114に出力する増幅、標本化回路である。出力 114はアナログ・ディジタル(AD)変換器 118に接続されている。
【0016】
アナログ・ディジタル変換器 118は、タイミング発生器 110から接続線 120を通して供給されるクロックパルスに応動して、入力 114の標本値を対応するディジタルデータに変換する変換回路である。アナログ・ディジタル変換器 118は、変換されたディジタルデータを出力する出力 122を有し、これは信号処理回路 124の入力に接続されている。
【0017】
信号処理回路 124は、やはりタイミング発生器 110から接続線 120を通して供給されるクロックパルスや同期信号に応動して、入力 122に入力される画像データ 122に、たとえば階調補正やホワイトバランス調整などの信号処理を施して画像信号として装置出力 106に出力する信号処理機能部である。この信号処理に関連して、本装置はフレームメモリ 126を有し、これは、図示のように制御およびデータ線 128によって信号処理回路 124に接続されている。フレームメモリ 126は、少なくとも1コマ分の画像信号を蓄積する記憶容量を有する一時記憶装置であり、信号処理回路 124は、フレームメモリ 126の記憶領域を使用して画像データの信号処理を行なう。
【0018】
信号処理回路 124は、とくに本発明に関連する機能として、後述のシステム制御部 130と協動して、固体撮像デバイス 102から出力される画像信号 104における欠陥セルに起因する画素信号をその周囲の撮像セルの画素信号を利用して補正する欠陥画素補正ないしは補間機能も有している。これについては、後に詳述する。フレームメモリ 126は、実時間にて画像信号を出力する構成の装置において、欠陥画素補正の方式によっては、必ずしも必要としない。また、走査方式がインタレース方式の場合、適用例によっては、フレームメモリでなくフィールドメモリであってもよい。
【0019】
システム制御部 130は、タイミング発生器 110および信号処理回路 124と、それぞれ接続線 132および 134にて接続され、シャッタレリーズボタン(図示せず)の操作に応動して本装置全体の撮影動作および信号処理動作を統括、制御する全体制御部である。システム制御部 130はまた、接続線 136によって欠陥セルメモリ 108にも接続され、とくに本発明に関連する機能として、信号処理回路 124を制御して、欠陥セルメモリ 108に蓄積されている欠陥セル位置のデータに従って欠陥セルの画素信号を補正する欠陥画素補正機能の一部を分担している。
【0020】
本実施例では、欠陥セルメモリ 108には、本装置 100に含まれている固体撮像デバイス 102について、その有する撮像セルアレイ 103に欠陥セルがある場合、その欠陥セルのそれぞれについて、撮像セルアレイ 103の2次元配列における位置を表わす座標データと、その欠陥レベルを表わす欠陥レベルデータが対応して蓄積されている。
【0021】
図2を参照すると、同図には、固体撮像デバイス 102の撮像セルアレイ 103に多数の撮像セル10が2次元XおよびY方向に配列された様子の一部が模式的に示されている。X方向が、たとえば撮影画面の水平方向に、またY方向が垂直方向に相当する。各正方形が1個の撮像セル10を示す。また、その正方形10の内側に記載されている数字は、そのセル10の出力する輝度信号の相対的レベルを概念的に示している。上縁部にはX座標が、また左縁部にはY座標が数字で示されている。説明の複雑化を避けるため、同図には、撮像セルアレイ 103の内の少数の撮像セル10のみが示されているが、実際には、これよりはるかに多数のセルが2次元状に配列されていることは、言うまでもない。また、単に「輝度信号レベル」または「輝度レベル」と称しているが、これらは、いわゆる輝度信号Yのレベルのみに限定されず、たとえば特定の色成分、たとえばG信号などの信号レベル、すなわち大きさをも包含する広義に解釈するものとする。
【0022】
たとえば、X、Y座標(1、1) に位置するセル12の出力する輝度信号レベルを「1」とすれば、この例では、座標(2、3) に位置するセル14の出力する輝度信号レベルが「2」であり、座標(3、3) のセル16は輝度信号レベル「10」を出力する。他のセル10は、この例では、おしなべてレベル「1」の画素信号を出力している。これらのうち、2つの撮像セル14および16が欠陥セルであるならば、本実施例は、それらの個々の欠陥セルに上下および左右の方向において隣接する4個のセルの画素信号を単純平均して、欠陥セルの画素信号を補正する、すなわちその欠陥画素信号を補正値に置き換える「埋戻し」を行なうように構成されている。
【0023】
これらの撮像セル14および16が欠陥セルであるか否かを示す情報は、本実施例では、欠陥セルメモリ 108に欠陥セル位置データとして保持されている。図3にこの欠陥セル位置データの様子を例示する。本発明は、このような特定の欠陥画素補間方式のみに限定されるものではない。たとえば、注目画素の斜め方向に隣接する4個の撮像セルの画像信号を加えて8個の隣接セルの画素信号を使用して欠陥画素補間を行なうように構成してもよい。または、水平X方向に隣接する2つの撮像セルの画素信号のみを用いるように構成してもよい。さらに、上述の単純加算平均でなく、画素位置によって重み付けした重み付け平均方式をとってもよい。
【0024】
図3は、図2に示す撮像セルアレイ 103の部分について、欠陥セル14および16とその周囲のセルの欠陥セル位置データを例示している。同図の左縁部にメモリ 108の記憶位置アドレスが十進法で示されている。また、右縁部には、撮像セル10の座標(X、Y) が参考のために示されている。たとえば、番地#1003 は、撮像セル14に対応し、その次の番地#1004 は、撮像セル16に対応し、それぞれの記憶位置に、その撮像セルが正常か否か、および、欠陥セルであれば、その欠陥の程度、すなわち欠陥レベルを示すデータが蓄積されている。この実施例では、たとえば座標(1、3) などに位置する正常セル10については、欠陥レベル「0」が記録されていることで正常セルであることを示し、欠陥セルについては、その欠陥レベルを示す数値が記録される。たとえば、座標(2、3) に位置する欠陥セル14については、レベル「2」が、また座標(3、3) に位置する欠陥セル16については、レベル「10」が記録されている。これらの欠陥セル14および16は、いずれも、いわゆる「白キズ」に相当する。同図における数値はいずれも、説明の便宜上、十進数表記である。
【0025】
欠陥レベルデータは、たとえば、固体撮像デバイス 102の供給業者から提供されるものが利用できる。または、たとえば均一な照度の2次元画像を撮像デバイス 102で撮像して得られた画像信号から、周囲の撮像セルより異常に高い、または低い輝度レベルの画素信号を生成するセルについて、その輝度レベルの値、またはそれに対応した値を欠陥レベル値として採用してもよい。本実施例では、説明を簡単にするため、後者の例をとった。
【0026】
図4を参照すると、座標(62、22) および(63、22) にそれぞれ位置する撮像セル30および32は、いわゆる「黒キズ」である。他の正常セル10は、輝度レベル「10」の画素信号を出力しているのに対して、撮像セル30および32は、それぞれ輝度レベル「0」および「1」の画素信号を出力している。同図に示す撮像セルアレイ 103の部分について、欠陥セル30および32とその周囲のセルの欠陥セル位置データの例を図5に示す。同図は、図3と同じ表記方法をとっている。たとえば、番地#2001 は、欠陥撮像セル30に対応し、欠陥レベルが値「10」として記録されている。その次の番地#2002 は、撮像セル32に対応し、欠陥レベルが値「9」として記録されている。他の記憶位置は、それらのセルが正常であることを示す値「0」が記録されている。この例では、黒キズの撮像セルの欠陥レベル値は、均一な被写体を最高照度で撮像した場合の正常セルの出力レベルとの差で表わしている。この欠陥レベルの表示方法は、実施例の説明のためのものであって、本発明がこの特定の表示方法のみに限定されることはない。
【0027】
たとえば、図6に示すように、欠陥セルメモリ 108の記憶領域#4000 以降、老い番の記憶位置へ向かって、欠陥レベルの高いセルから低いセルの順番に撮像セルの座標(X、Y) を記録するように構成してもよい。図示の例では、座標(X、Y) が十進数で示され、番地#4000 には、撮像セルアレイ 103において最高の欠陥レベル値を有する撮像セル16(図2)示す座標(3、3) が記録されている。その次の番地#4001 には、2番目の欠陥レベル値を示す欠陥セル30(図4)の座標(62、22) が記録されている。この例では、欠陥セル16および30では、欠陥レベルの値が同じ値「10」であるので、いずれを第1番目として扱ってもよい。さらに次の番地#4002 には、3番目の欠陥レベル値を示す欠陥セル14の座標(2、3) が記録されている。こうして、以降、この例では、白キズ、黒キズを問わず、欠陥レベルの高い方から低い順に、その位置座標(X、Y) がメモリ 108に記録されている。正常セル10は、図示のように、画面のラスタ走査の順番に位置座標が記録されている。
【0028】
本発明は、ここに説明したような特定の欠陥レベルデータの構成例に限定されない。たとえば、白キズのセルを黒キズのセルと分けて欠陥レベルデータを構成してもよい。図6を参照して説明したメモリ 108の構成をとる適用例では、正常セル10について、メモリ 108にこのような座標データを記録しなくてもよい。また、撮像セル10の位置を特定するのに、本実施例では、その座標(X、Y) を使用している。しかし、このような座標によらず、たとえば個々の撮像セル10に番号や符号などの識別表示を付与し、これによって特定の撮像セル10を表わすように構成してもよい。
【0029】
システム制御部 130は、信号処理回路 124がフレームメモリ 126に蓄積されている画像信号に欠陥画素信号の補正を行なう際、欠陥セルメモリ 108の欠陥レベルデータを参照し、欠陥レベルの高い撮像セルを欠陥レベルの低い撮像セルや正常な撮像セルに優先して扱う。こうすることによって本実施例では、たとえバースト状に欠陥セルが存在しても、隣接する欠陥セルの画素信号が相互に適切に補正される。したがって、従来のように、隣接する欠陥セルの適切でない補正値を注目欠陥セルの画素信号の補正に使用する、すなわち埋め戻すことによって、その適切でない補正値の影響が注目セルの画素信号の補正に強く現れることはない。
【0030】
動作状態において、シャッタレリーズボタン(図示せず)を操作すると、タイミング発生器 110からの駆動パルス 116に応動して、固体撮像デバイス 102は、撮像セルアレイ 103から被写界を表わす画像信号 104をサンプリング回路 112に出力する。サンプリング回路 112は、この画像信号 104を増幅し、サンプリングパルス 116に応動してこれを標本化し、その出力 114からアナログ・ディジタル変換器 118に与える。
【0031】
アナログ・ディジタル変換器 118は、クロックパルス 120に応動して入力 114の画像信号標本値をディジタルデータに変換する。変換されたディジタルデータ 122は信号処理回路 124に入力され、本実施例では、信号処理回路 124によってフレームメモリ 126に一時蓄積される。
【0032】
そこで信号処理回路 124は、たとえば、階調補正などの信号処理に先立って、フレームメモリ 126に蓄積された画像信号に欠陥セルに対応する画素信号の補正を行なう。システム制御部 130は、まず、欠陥セルメモリ 108の欠陥レベルデータを参照し、欠陥レベルの高い撮像セルから低い撮像セルの順に欠陥セルを識別し、これらの欠陥セルについて画素信号を補正する。欠陥画素補正が施された画像信号は、一旦、フレームメモリ 126に蓄積され、および/または、信号処理回路 124から装置出力 106へ出力される。装置出力 106には、たとえばメモリカードなどの画像記憶装置や通信線等の利用装置(図示せず)が着脱可能に接続され、欠陥画素補正がされ、階調補正などの信号処理の施された画像信号がこれらの利用装置にて利用される。
【0033】
より詳細には、本実施例によれば、欠陥撮像セルの画素信号は、欠陥の程度、すなわち欠陥レベルに応じて、欠陥レベルの高いセルの画素信号を先に補正し、その補正の結果の値を使用して欠陥レベルの低いセルの画素信号を補正する。説明を簡略にするため、図2に示す画素信号の例で、撮像セルアレイ 103に含まれる欠陥セルは白キズのセル14および16のみであるとすると、システム制御部 130は、欠陥セルメモリ 108の欠陥レベルデータを参照して、まず、最も欠陥レベルの高いセルが、この例では座標(3、3) に位置するセル16であることを識別する。
【0034】
欠陥セルメモリ 108に、欠陥セルのデータが図3に示す形式で格納されている適用例では、システム制御部 130は、メモリ 108を参照して、その記憶領域全体を検索し、最も欠陥レベルの値の高い蓄積内容の記憶位置、この例では#1004 を識別する。これから、システム制御部 130は、座標(3、3) の位置にある欠陥セルを識別することができる。また、欠陥セルのデータが図6に示す形式で格納されている適用例では、システム制御部 130は、メモリ 108を参照して、まず、その欠陥セルデータの記憶位置の先頭#4000 の蓄積内容を読み出し、これからシステム制御部 130は、座標(3、3) の位置にあるセルが最も高レベルの欠陥セルであることを識別する。以降、第2位以下の欠陥レベルの撮像セルを索出するには、番地の値の大きい記憶位置について順番に、同様の読み出し動作を行なう。
【0035】
識別された欠陥セル16の位置は、システム制御部 130から信号処理回路 124に通知される。これによって信号処理部 124は、欠陥セル16の出力する輝度信号レベル「10」の画素信号を他より優先して補正することになる。この例では、座標(3、3) のセル16からの画素信号が輝度信号レベルの値「10」でフレームメモリ 126に蓄積されている。
【0036】
本実施例では、欠陥セル16に上下および左右の方向において隣接するセル24、26および14、16の画素信号を平均して欠陥セル16の画素信号を補正する単純平均方式に従って、信号処理回路 124は、フレームメモリ 126の画像信号について、欠陥セル16の隣接セル24、26および14、28の輝度レベル「1」「1」および「2」「1」を単純平均する。その結果、欠陥セル16の補正された画素信号の値「1.25」が算出される。この補正値は、フレームメモリ 126の撮像セル16に対応する記憶位置に蓄積される。
【0037】
システム制御部 130は次に、同様にしてメモリ 108の欠陥セルデータから、2番目に欠陥レベルの高いセル、この例では、座標(2、3) に位置する欠陥セル14を識別する。信号処理回路 124は、そこで、当面の注目欠陥セル14に隣接するセルのうち、先に補正の対象となった隣接セル16については、その補正の結果の値「1.25」を輝度レベルとして使用して、注目欠陥セル14の画素信号を補正する。そこで、この新たな注目セル14については、その上下および左右方向の隣接セル18、20および22、24の輝度レベル「1」「1」および「1」「1.25」を単純平均する。その結果の値「1.06」は、フレームメモリ 126の撮像セル14に対応する記憶位置に、好ましくは補正前の値と置換されて、蓄積される。
【0038】
こうして得られた欠陥セル16および14についての補正の結果値は、「1.25」および「1.06」となる。これらは、周囲の正常セル10、12、18、20、22などの輝度レベル「1」にかなり近い値であることがわかる。
【0039】
比較のために、従来技術で行なわれているように仮に撮像デバイス 102から出力される画像信号をそのラスタ走査の順に、つまり被写界画面の左上の画素から水平方向に右に、垂直方向に下方に、画素信号の時系列的に欠陥画素補正を行なったとすると、欠陥セル14および16の補正された輝度レベルは、周囲の正常セル10、12、18、20、22などの輝度レベル「1」と比較して、かなり掛け離れた値、つまり、それぞれ「3.25」および「1.56」となるであろう。
【0040】
より詳細には、図2に示す例において、まず、座標(2、3) に位置する欠陥セル14に欠陥画素補正を行なう。その上下および左右の方向において隣接するセル18、20および22、24の輝度レベル「1」「1」および「1」「10」を単純平均すると、結果の値は「3.25」となる。画素順次のラスタ走査方法は、X方向であるから、次に、X方向における次の欠陥セル16の画素信号を補正することになる。その場合、注目画素セル16に隣接する欠陥セル14については、その補正値「3.25」を使用することになる。そこで、この新たな欠陥セル16に上下および左右の方向において隣接するセル24、26および14、28の輝度レベル「1」「1」および「3.25」「1」を単純平均する。したがって、欠陥セル16の補正された画素信号の値は「1.56」となるであろう。つまり、欠陥セル14および16の補正された輝度レベルは、それぞれ「3.25」および「1.56」である。これらの値は、周囲の正常セル10、12、18、20、22などの輝度レベル「1」と比較して、かなり掛け離れた値である。
【0041】
【発明の効果】
このように本発明によれば、撮像デバイスの撮像セルの欠陥に起因する欠陥画素信号を、従来技術に比較してより適切に補正することができる。
【図面の簡単な説明】
【図1】本発明を適用したディジタル電子スチルカメラの実施例の構成を示す概略ブロック図である。
【図2】図1に示す実施例における撮像セルアレイから出力される画素信号のレベルの例を概念的に示す説明図である。
【図3】同実施例における欠陥セルメモリに蓄積されている欠陥セルデータの例を図2に示す撮像セルに関連して示す説明図である。
【図4】同実施例における撮像セルアレイから出力される画素信号のレベルの他の例を概念的に示す、図2と同様の説明図である。
【図5】同実施例における欠陥セルメモリに蓄積されている欠陥セルデータの他の例を図4に示す撮像セルに関連して示す、図3と同様の説明図である。
【図6】同実施例における欠陥セルメモリに蓄積されている欠陥セルデータの他の例を示す、図3と同様の説明図である。
【符号の説明】
10 撮像セル
14、16 欠陥撮像セル
102 固体撮像デバイス
103 撮像セルアレイ
108 欠陥セルメモリ
124 信号処理回路
126 フレームメモリ
130 システム制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a defective pixel correction apparatus for an imaging device and a method thereof. More specifically, the present invention relates to an apparatus and method for correcting a pixel signal caused by a defective imaging cell in an image signal obtained from a solid-state imaging device.
[0002]
[Prior art]
As is well known, a solid-state imaging device is provided with an array of imaging cells in which a large number of photosensitive elements are arranged. The photosensitive element included in the imaging cell array often includes cells that do not react to incident light and cells that generate an abnormally large dark current without incident light due to the manufacturing process. These defective cells are generally referred to as “black scratches” and “white scratches”, respectively, and are unavoidable in solid-state imaging devices.
[0003]
In view of this, there have been proposed a number of defective pixel correction methods for correcting pixel signals caused by these defective cells using pixel signals obtained from the surrounding imaging cells in the image signal output from the solid-state imaging device. ing. Japanese Laid-Open Patent Publication No. 7-59011 discloses a method of determining the defect level of a defective cell, that is, the defect level, when identifying the defective cell from the capacity limitation of the memory area for storing the position coordinates of the defective cell in the imaging cell array. Thus, an automatic detection apparatus for defective cells that stores the position coordinates of only cells having a high defect level is disclosed.
[0004]
By the way, from a solid-state imaging device, an image signal is generally raster-scanned in a time sequential manner in the horizontal and vertical scanning directions and output. When correcting a pixel signal of a defective cell, there is a method in which, for example, simple averaging is performed using pixel signals of a plurality of imaging cells adjacent to the cell, and the average value is replaced with the pixel signal of the defective cell. In addition, in the case of a burst-like defect in which a plurality of adjacent imaging cells are defective cells, when correcting the pixel signal of the burst-like target defective cell, the already corrected pixel signal of the defective cell adjacent to it is used. To do.
[0005]
[Problems to be solved by the invention]
Conventional defective pixel correction is performed by applying a correction algorithm only to defective cells of a predetermined level or higher, regardless of the defect level of the imaging cell. Therefore, for example, when defective cells exist in a burst state, a sufficiently good defective pixel correction cannot be performed because the corrected signal adversely affects the correction of other defective cells depending on the position of the defective cell. There was a thing.
[0006]
When the pixel signals of the defective cells are corrected in the output order, that is, the pixel signals of the defective cells in a time series with respect to the image signals output sequentially from the solid-state imaging device by raster scanning, the target defective cells in such a series of defective cells in a burst form The appropriateness of the correction of the pixel signal may greatly depend on the already corrected pixel signal of the defective cell adjacent thereto. In other words, if the correction of the pixel signal of the adjacent defective cell is not appropriate, the inappropriate correction value is used for correcting the pixel signal of the target defective cell. Therefore, the influence of the inappropriate correction value causes the correction of the pixel signal of the target cell. May appear strongly.
[0007]
An object of the present invention is to provide a defective pixel correction apparatus for an imaging device, and a method thereof, which can more appropriately correct a pixel signal of a defective imaging cell of a solid-state imaging device as compared with such a conventional technique. And
[0008]
[Means for Solving the Problems]
According to the present invention, defective pixel correction is performed with priority given to an imaging cell having a high defect level according to the degree of defect of the imaging cell in the imaging device, that is, the defect level. Used to correct defective pixels in other imaging cells.
[0009]
More specifically, the defective pixel correction apparatus for an imaging device according to the present invention includes an input unit that receives an image signal output from an imaging device having an imaging cell array in which a plurality of imaging cells are arranged, and a plurality of the image signals. When a pixel signal corresponding to a defective imaging cell among the imaging cells is included, correction means for correcting the pixel signal and defect degree data indicating the degree of the defect of the imaging cell having the defect are present. The storage means for storing corresponding to the imaging cell, and the control means for controlling the correction means according to the defect degree data, and for correcting the pixel signal corresponding to the imaging cell having a defect by the correction means, Referring to the defect degree data, the defective imaging cell and the degree of the defect are identified, and the correction means is an imaging cell having a high degree of defect according to the identified degree of defect. Corrects the pixel signal corresponding to the order of the lower imaging cell, if applicable, using the corrected result to the correction of the pixel signals of the lower imaging cells of the extent of the defect.
[0010]
According to the present invention, instead of the defect degree data, identification data for identifying the defective imaging cell according to the degree of the defect of the defective imaging cell is accumulated in the accumulation means, and the control means stores the identification data in the accumulation means. You may comprise so that the imaging cell with a defect and the grade of a defect may be identified with reference.
[0011]
Furthermore, the defect pixel correction method for an imaging device according to the present invention includes a step of preparing an image signal output from an imaging device having an imaging cell array in which a plurality of imaging cells are arranged, and the image signal includes a plurality of imaging cells. When a pixel signal corresponding to a defective imaging cell is included, a step of correcting the pixel signal, a step of preparing data related to the degree of the defect of the defective imaging cell, and referring to this data A pixel signal corresponding to the imaging cell having a defect degree in order from the imaging cell having a high degree of defect to the imaging cell having a low degree of defect. The obtained result is used to correct the pixel signal of the imaging cell with a low degree of defect.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Next, an embodiment of a defective pixel correction apparatus for an imaging device according to the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 shows an embodiment of a digital electronic still camera to which the present invention is applied. This
[0013]
The solid-
[0014]
The
[0015]
The
[0016]
The analog /
[0017]
The
[0018]
The
[0019]
The
[0020]
In the present embodiment, in the
[0021]
Referring to FIG. 2, a part of a state in which a large number of
[0022]
For example, if the luminance signal level output from the
[0023]
In the present embodiment, information indicating whether or not these
[0024]
FIG. 3 exemplifies defective cell position data of the
[0025]
As the defect level data, for example, data provided from the supplier of the solid-
[0026]
Referring to FIG. 4, the
[0027]
For example, as shown in FIG. 6, after the
[0028]
The present invention is not limited to the configuration example of the specific defect level data as described herein. For example, defect level data may be configured by dividing white flaw cells from black flaw cells. In the application example having the configuration of the
[0029]
When the
[0030]
When a shutter release button (not shown) is operated in the operating state, the solid-
[0031]
The analog /
[0032]
Therefore, the
[0033]
More specifically, according to the present embodiment, the pixel signal of the defective imaging cell is first corrected for the pixel signal of the cell having a high defect level according to the degree of the defect, that is, the defect level, and the result of the correction The pixel signal of the cell having a low defect level is corrected using the value. In order to simplify the description, in the example of the pixel signal shown in FIG. 2, if the defective cells included in the
[0034]
In an application example in which defective cell data is stored in the
[0035]
The position of the identified
[0036]
In the present embodiment, the
[0037]
Next, the
[0038]
The correction result values for the
[0039]
For comparison, the image signal output from the
[0040]
More specifically, in the example shown in FIG. 2, first, defective pixel correction is performed on the
[0041]
【The invention's effect】
As described above, according to the present invention, the defective pixel signal caused by the defect of the imaging cell of the imaging device can be corrected more appropriately as compared with the related art.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing the configuration of an embodiment of a digital electronic still camera to which the present invention is applied.
2 is an explanatory diagram conceptually illustrating an example of a level of a pixel signal output from an imaging cell array in the embodiment illustrated in FIG.
3 is an explanatory diagram showing an example of defective cell data stored in a defective cell memory in the embodiment in relation to the imaging cell shown in FIG. 2;
4 is an explanatory view similar to FIG. 2, conceptually showing another example of the level of the pixel signal output from the imaging cell array in the same embodiment. FIG.
5 is an explanatory view similar to FIG. 3, showing another example of defective cell data stored in the defective cell memory in the embodiment in relation to the imaging cell shown in FIG. 4; FIG.
6 is an explanatory view similar to FIG. 3, showing another example of defective cell data stored in the defective cell memory in the same embodiment. FIG.
[Explanation of symbols]
10 Imaging cell
14, 16 Defect imaging cell
102 Solid-state imaging device
103 Imaging cell array
108 defective cell memory
124 Signal processing circuit
126 frame memory
130 System controller
Claims (7)
該入力手段に入力する画像信号を蓄積する第1の蓄積手段と、
該第1の蓄積手段に記憶した画像信号に前記複数の撮像セルのうちの欠陥のある撮像セルに対応する画素信号が含まれるときは、該画素信号を補正して前記第1の蓄積手段に蓄積する補正手段と、
前記欠陥のある撮像セルの欠陥の程度を表わす欠陥程度データを該欠陥のある撮像セルに対応して蓄積する第2の蓄積手段と、
前記欠陥程度データに応じて前記補正手段を制御し、該補正手段によって、前記欠陥のある撮像セルに対応する画素信号を補正させる制御手段と、
前記補正手段により前記画素信号が補正され、前記第1の蓄積手段に蓄積された画像信号を処理する信号処理手段とを含み、
該制御手段は、前記欠陥程度データを参照して前記欠陥のある撮像セルおよび欠陥の程度を識別し、
前記補正手段は、前記信号処理手段による処理に先だって、前記識別した欠陥の程度に従って該欠陥の程度の高い撮像セルから低い撮像セルの順に対応する画素信号を補正し、該補正する撮像セルに該当する場合は、補正された結果を欠陥の程度の低い撮像セルの画素信号の補正に使用することを特徴とする撮像デバイスの欠陥画素補正装置。Input means for receiving an image signal output from an imaging device having an imaging cell array in which a plurality of imaging cells are arranged;
First storage means for storing image signals to be input to the input means;
The When defective pixel signal corresponding to the imaging cell with one of the plurality of imaging cells in the image signal stored is included in the first storage means, to said first storage means corrects the pixel signal Correction means to accumulate ;
Second accumulation means for accumulating defect degree data representing the degree of defect of the defective imaging cell corresponding to the defective imaging cell;
Control means for controlling the correction means according to the defect degree data, and correcting the pixel signal corresponding to the defective imaging cell by the correction means ;
Signal processing means for correcting the pixel signal by the correction means and processing the image signal stored in the first storage means ;
The control means refers to the defect degree data to identify the imaging cell having the defect and the degree of the defect,
Prior to the processing by the signal processing means , the correction means corrects the pixel signal corresponding to the order of the imaging cell with the highest degree of defect from the imaging cell with the lowest degree according to the degree of the identified defect, and corresponds to the imaging cell to be corrected In this case, the corrected pixel correction apparatus of the imaging device, wherein the corrected result is used for correcting the pixel signal of the imaging cell having a low degree of defect.
該入力手段に入力する画像信号を蓄積する第1の蓄積手段と、
該第1の蓄積手段に記憶した画像信号に前記複数の撮像セルのうちの欠陥のある撮像セルに対応する画素信号が含まれるときは、該画素信号を補正して前記第1の蓄積手段に蓄積する補正手段と、
前記欠陥のある撮像セルの欠陥の程度に従って該欠陥のある撮像セルを特定する識別データを蓄積する第2の蓄積手段と、
前記補正手段を制御し、該補正手段によって、前記欠陥のある撮像セルに対応する画素信号を補正させる制御手段と、
前記補正手段により前記画素信号が補正され、前記第1の蓄積手段に蓄積された画像信号を処理する信号処理手段とを含み、
前記制御手段は、前記識別データを参照して前記欠陥のある撮像セルおよび欠陥の程度を識別し、
前記補正手段は、前記信号処理手段による処理に先だって、前記識別した欠陥の程度に従って該欠陥の程度の高い撮像セルから低い撮像セルの順に対応する画素信号を補正し、該補正する撮像セルに該当する場合は、補正された結果を欠陥の程度の低い撮像セルの画素信号の補正に使用することを特徴とする撮像デバイスの欠陥画素補正装置。Input means for receiving an image signal output from an imaging device having an imaging cell array in which a plurality of imaging cells are arranged;
First storage means for storing image signals to be input to the input means;
The When defective pixel signal corresponding to the imaging cell with one of the plurality of imaging cells in the image signal stored is included in the first storage means, to said first storage means corrects the pixel signal Correction means to accumulate ;
Second accumulating means for accumulating identification data for identifying the defective imaging cell according to the degree of defect of the defective imaging cell;
Control means for controlling the correction means, and correcting the pixel signal corresponding to the defective imaging cell by the correction means ;
Signal processing means for correcting the pixel signal by the correction means and processing the image signal stored in the first storage means ;
The control means identifies the defective imaging cell and the degree of the defect with reference to the identification data,
Prior to the processing by the signal processing means , the correction means corrects the pixel signal corresponding to the order of the imaging cell with the highest degree of defect from the imaging cell with the lowest degree according to the degree of the identified defect, and corresponds to the imaging cell to be corrected In this case, the corrected pixel correction apparatus of the imaging device, wherein the corrected result is used for correcting the pixel signal of the imaging cell having a low degree of defect.
該画像信号に前記複数の撮像セルのうちの欠陥のある撮像セルに対応する画素信号が含まれるときは、該画素信号を補正する第1の工程と、
前記欠陥のある撮像セルの欠陥の程度に関連するデータを用意する工程と、
該データを参照して、前記撮像セルのうちの欠陥のある撮像セルについて、欠陥の程度の高い撮像セルから低い撮像セルの順に対応する画素信号を補正する第2の工程と、
該第2の工程により前記画素信号が補正された画像信号を処理する信号処理工程とを含み、
前記第2の工程では、前記補正する撮像セルに該当する場合は、補正された結果を欠陥の程度の低い撮像セルの画素信号の補正に使用することを特徴とする撮像デバイスの欠陥画素補正方法。Preparing an image signal output from an imaging device having an imaging cell array in which a plurality of imaging cells are arranged;
A first step of correcting the pixel signal when the image signal includes a pixel signal corresponding to a defective imaging cell of the plurality of imaging cells;
Preparing data relating to the degree of defect of the defective imaging cell;
Referring to the data, for a defective imaging cell among the imaging cells, a second step of correcting pixel signals corresponding to an imaging cell having a high degree of defect to a low imaging cell ;
A signal processing step of processing the image signal in which the pixel signal is corrected by the second step ,
In the second step, if it corresponds to the imaging cell to be corrected, the corrected result is used for correcting the pixel signal of the imaging cell having a low degree of defect, and a defective pixel correction method for an imaging device, .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36068498A JP3990059B2 (en) | 1998-12-18 | 1998-12-18 | Apparatus and method for correcting defective pixel of imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36068498A JP3990059B2 (en) | 1998-12-18 | 1998-12-18 | Apparatus and method for correcting defective pixel of imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000184289A JP2000184289A (en) | 2000-06-30 |
JP3990059B2 true JP3990059B2 (en) | 2007-10-10 |
Family
ID=18470473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36068498A Expired - Fee Related JP3990059B2 (en) | 1998-12-18 | 1998-12-18 | Apparatus and method for correcting defective pixel of imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3990059B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4515627B2 (en) * | 2000-12-08 | 2010-08-04 | オリンパス株式会社 | Imaging device |
JP4524529B2 (en) * | 2001-03-26 | 2010-08-18 | ソニー株式会社 | Black defect detection device and imaging device for solid-state image sensor, and black defect detection method |
JP4546664B2 (en) * | 2001-04-27 | 2010-09-15 | オリンパス株式会社 | Imaging apparatus and pixel defect correction method |
-
1998
- 1998-12-18 JP JP36068498A patent/JP3990059B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000184289A (en) | 2000-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6965395B1 (en) | Methods and systems for detecting defective imaging pixels and pixel values | |
JP3984936B2 (en) | Imaging apparatus and imaging method | |
US7884868B2 (en) | Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus | |
US7893972B2 (en) | Method and apparatus for real time identification and correction of pixel defects for image sensor arrays | |
US7471321B2 (en) | Photographing apparatus and photographing method | |
JP5541718B2 (en) | Imaging device and defective pixel detection method thereof | |
US8310577B1 (en) | Method and apparatus for color compensation | |
US7576787B2 (en) | Image-pickup device, and device and method for correcting defective pixel | |
US20080278609A1 (en) | Imaging apparatus, defective pixel correcting apparatus, processing method in the apparatuses, and program | |
US7286171B2 (en) | Apparatus and method for concealing defective pixels in image sensors having test mode | |
EP1067777B1 (en) | Image sensing device, image processing apparatus and method, and memory medium | |
JPH10285473A (en) | Image signal correction device | |
JP2005328421A (en) | Imaging apparatus and imaging method | |
JP3980781B2 (en) | Imaging apparatus and imaging method | |
JP3257131B2 (en) | Automatic defect detection device for solid-state imaging device and solid-state imaging device | |
JP3990059B2 (en) | Apparatus and method for correcting defective pixel of imaging device | |
JP2011114473A (en) | Pixel defect correction device | |
JPH05122574A (en) | Image fetching device | |
US8885076B2 (en) | Camera sensor defect correction and noise reduction | |
US20030222989A1 (en) | Image pickup apparatus and image pickup display system | |
JP2005167497A (en) | Imaging device, method for acquiring image with high quality, and program | |
JP3331666B2 (en) | Solid-state imaging device and defect detection and correction method for solid-state imaging device | |
JP4646394B2 (en) | Imaging device | |
JP2009055295A (en) | Imaging apparatus | |
JP4088869B2 (en) | Defective pixel detection device for solid-state imaging device and solid-state imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040421 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061129 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070719 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |