JP3990059B2 - Apparatus and method for correcting defective pixel of imaging device - Google Patents

Apparatus and method for correcting defective pixel of imaging device Download PDF

Info

Publication number
JP3990059B2
JP3990059B2 JP36068498A JP36068498A JP3990059B2 JP 3990059 B2 JP3990059 B2 JP 3990059B2 JP 36068498 A JP36068498 A JP 36068498A JP 36068498 A JP36068498 A JP 36068498A JP 3990059 B2 JP3990059 B2 JP 3990059B2
Authority
JP
Japan
Prior art keywords
imaging
defective
cell
defect
imaging cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP36068498A
Other languages
Japanese (ja)
Other versions
JP2000184289A (en
Inventor
和也 小田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP36068498A priority Critical patent/JP3990059B2/en
Publication of JP2000184289A publication Critical patent/JP2000184289A/en
Application granted granted Critical
Publication of JP3990059B2 publication Critical patent/JP3990059B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮像デバイスの欠陥画素補正装置、およびその方法に関する。より具体的には、とくに固体撮像デバイスから得られる画像信号における欠陥撮像セルに起因する画素信号を補正する装置、およびその方法に関するものである。
【0002】
【従来の技術】
周知のように、固体撮像デバイスは、多数の感光素子が配列された撮像セルのアレイが設けられている。撮像セルアレイに含まれる感光素子には、製造工程に起因して、入射光に反応しないセルや、入射光がなくても異常に多い暗電流を発生するセルが含まれていることがしばしばある。これらの欠陥セルは一般に、それぞれ「黒キズ」および「白キズ」と称し、固体撮像デバイスでは避けられない。
【0003】
そこで、固体撮像デバイスから出力される画像信号において、これらの欠陥セルに起因する画素信号を、その周囲の撮像セルから得られる画素信号を利用して補正する欠陥画素の補正方式が多数、提案されている。また、特開平 7-59011号公報には、撮像セルアレイにおける欠陥セルの位置座標を記憶するメモリ領域の容量制限から、欠陥セルを識別する際、欠陥セルの欠陥の程度、すなわち欠陥レベルを判別して、欠陥レベルの大きいセルについてのみ、その位置座標を記憶する欠陥セルの自動検出装置が開示されている。
【0004】
ところで、固体撮像デバイスからは、画像信号は一般に、水平および垂直走査方向に画素順次で時系列的にラスタ走査されて出力される。欠陥セルの画素信号を補正する場合、そのセルに隣接する複数の撮像セルの画素信号を用いて、たとえば単純平均して、その平均値を当該欠陥セルの画素信号に置き換える方式がある。また、隣接する複数の撮像セルが欠陥セルであるバースト状の欠陥の場合、バースト状の注目欠陥セルの画素信号を補正するときは、それに隣接する欠陥セルの、すでに補正された画素信号を使用する。
【0005】
【発明が解決しようとする課題】
従来の欠陥画素補正は、撮像セルの欠陥レベルによらず、または所定のレベル以上の欠陥セルについてのみ、補正アルゴリズムを適用して、行なっていた。したがって、たとえばバースト状に欠陥セルが存在する場合など、欠陥セルの位置によっては補正後の信号が他の欠陥セルの補正に悪影響を与えるなどして、十分に良好な欠陥画素補正が行なわれないことがあった。
【0006】
固体撮像デバイスからラスタ走査にて画素順次に出力される画像信号について、その出力順、すなわち時系列的に欠陥セルの画素信号を補正すると、このようなバースト状の一連の欠陥セルにおける注目欠陥セルの画素信号の補正の適否は、それに隣接する欠陥セルの、すでに補正された画素信号に大きく左右されることがある。つまり、隣接欠陥セルの画素信号の補正が適切でないと、その適切でない補正値を注目欠陥セルの画素信号の補正に使用するので、その適切でない補正値の影響が注目セルの画素信号の補正に強く現れることがある。
【0007】
本発明は、このような従来技術と比較して、より適切に固体撮像デバイスの欠陥撮像セルの画素信号を補正することができる撮像デバイスの欠陥画素補正装置、およびその方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明によれば、撮像デバイスにおける撮像セルの欠陥の程度、すなわち欠陥レベルに応じて、欠陥レベルの高い撮像セルを優先して欠陥画素補正を行ない、該当する場合、この補正された画素信号を使用して、他の撮像セルの欠陥画素補正を行なう。
【0009】
より具体的には、本発明による撮像デバイスの欠陥画素補正装置は、複数の撮像セルが配列された撮像セルアレイを有する撮像デバイスから出力される画像信号を受ける入力手段と、この画像信号に複数の撮像セルのうちの欠陥のある撮像セルに対応する画素信号が含まれるときは、この画素信号を補正する補正手段と、欠陥のある撮像セルの欠陥の程度を表わす欠陥程度データをその欠陥のある撮像セルに対応して蓄積する蓄積手段と、欠陥程度データに応じて補正手段を制御し、補正手段によって、欠陥のある撮像セルに対応する画素信号を補正させる制御手段とを含み、制御手段は、欠陥程度データを参照してその欠陥のある撮像セルおよび欠陥の程度を識別し、補正手段は、識別した欠陥の程度に従って欠陥の程度の高い撮像セルから低い撮像セルの順に対応する画素信号を補正し、該当する場合は、補正された結果を欠陥の程度の低い撮像セルの画素信号の補正に使用する。
【0010】
本発明によればまた、欠陥程度データに代わって、欠陥のある撮像セルの欠陥の程度に従ってその欠陥のある撮像セルを特定する識別データを蓄積手段に蓄積し、制御手段は、この識別データを参照して欠陥のある撮像セルおよび欠陥の程度を識別するように構成してもよい。
【0011】
さらに、本発明による撮像デバイスの欠陥画素補正方法は、複数の撮像セルが配列された撮像セルアレイを有する撮像デバイスから出力される画像信号を用意する工程と、画像信号に複数の撮像セルのうちの欠陥のある撮像セルに対応する画素信号が含まれるときは、その画素信号を補正する工程と、欠陥のある撮像セルの欠陥の程度に関連するデータを用意する工程と、このデータを参照して、撮像セルのうちの欠陥のある撮像セルについて、欠陥の程度の高い撮像セルから低い撮像セルの順に対応する画素信号を補正する工程とを含み、この補正する工程では、該当する場合は、補正された結果を欠陥の程度の低い撮像セルの画素信号の補正に使用する。
【0012】
【発明の実施の形態】
次に添付図面を参照して本発明による撮像デバイスの欠陥画素補正装置の実施例を詳細に説明する。図1には、本発明を適用したディジタル電子スチルカメラの実施例が示されている。このカメラ 100は、たとえば電荷転送デバイス(CCD) などの固体撮像デバイス 102を有し、固体撮像デバイス 102から出力される画像信号 104の欠陥撮像セルに関連する画素信号を補正して装置出力 106から出力する撮影装置である。
【0013】
固体撮像デバイス 102は、感光素子が2次元状に配列された撮像セルアレイ 103を有し、これらの感光素子のなかには一般に、製造工程に起因して、黒キズや白キズと称する欠陥セルが含まれていることがしばしばある。これらの欠陥セルは、たとえば、撮像デバイス 102の供給業者からそれらの位置、すなわちアレイ 103上の座標を特定する欠陥セルデータが提供されたり、または、均一な照度の2次元画像を撮像して得られた画像信号から、欠陥セルの撮像セルアレイ 103における位置を知ることができる。これらの位置は、好ましくは、撮像セルアレイ 103の2次元平面におけるX方向およびY方向(図2参照)における座標(X、Y) の形で表わされる。実施例のスチルカメラ 100は、このような欠陥セルの位置を示す欠陥セルデータを蓄積するためのメモリ 108を有している。この欠陥セルデータの構造については、後に詳述する。
【0014】
撮像セルアレイ 103は、カメラ 100の撮像光学系(図示せず)を通して被写界から入射する入射光に応じた電荷を蓄積する多数の撮像セル10を有し、固体撮像デバイス 102は、後述するタイミング発生器 110の出力する駆動信号 112に応動して、この蓄積電荷を画像信号の形でその出力 104に生成する撮像装置である。この出力 104は、サンプリング回路 112の入力に接続されている。以下の説明において、信号は、その現れる接続線の参照符号にて指定する。本実施例では、固体撮像デバイスとしてCCD が採用されている。本発明はしかし、この特定のタイプの撮像デバイスに限定されず、たとえばMOS 型半導体撮像デバイスなどの他の方式の撮像装置であっても、効果的に適用される。
【0015】
サンプリング回路 112は、撮像デバイス 102から入力される画像信号を増幅し、タイミング発生器 110より供給されるサンプリングパルス 116に応動して画像信号 104を標本化し、これをその出力 114に出力する増幅、標本化回路である。出力 114はアナログ・ディジタル(AD)変換器 118に接続されている。
【0016】
アナログ・ディジタル変換器 118は、タイミング発生器 110から接続線 120を通して供給されるクロックパルスに応動して、入力 114の標本値を対応するディジタルデータに変換する変換回路である。アナログ・ディジタル変換器 118は、変換されたディジタルデータを出力する出力 122を有し、これは信号処理回路 124の入力に接続されている。
【0017】
信号処理回路 124は、やはりタイミング発生器 110から接続線 120を通して供給されるクロックパルスや同期信号に応動して、入力 122に入力される画像データ 122に、たとえば階調補正やホワイトバランス調整などの信号処理を施して画像信号として装置出力 106に出力する信号処理機能部である。この信号処理に関連して、本装置はフレームメモリ 126を有し、これは、図示のように制御およびデータ線 128によって信号処理回路 124に接続されている。フレームメモリ 126は、少なくとも1コマ分の画像信号を蓄積する記憶容量を有する一時記憶装置であり、信号処理回路 124は、フレームメモリ 126の記憶領域を使用して画像データの信号処理を行なう。
【0018】
信号処理回路 124は、とくに本発明に関連する機能として、後述のシステム制御部 130と協動して、固体撮像デバイス 102から出力される画像信号 104における欠陥セルに起因する画素信号をその周囲の撮像セルの画素信号を利用して補正する欠陥画素補正ないしは補間機能も有している。これについては、後に詳述する。フレームメモリ 126は、実時間にて画像信号を出力する構成の装置において、欠陥画素補正の方式によっては、必ずしも必要としない。また、走査方式がインタレース方式の場合、適用例によっては、フレームメモリでなくフィールドメモリであってもよい。
【0019】
システム制御部 130は、タイミング発生器 110および信号処理回路 124と、それぞれ接続線 132および 134にて接続され、シャッタレリーズボタン(図示せず)の操作に応動して本装置全体の撮影動作および信号処理動作を統括、制御する全体制御部である。システム制御部 130はまた、接続線 136によって欠陥セルメモリ 108にも接続され、とくに本発明に関連する機能として、信号処理回路 124を制御して、欠陥セルメモリ 108に蓄積されている欠陥セル位置のデータに従って欠陥セルの画素信号を補正する欠陥画素補正機能の一部を分担している。
【0020】
本実施例では、欠陥セルメモリ 108には、本装置 100に含まれている固体撮像デバイス 102について、その有する撮像セルアレイ 103に欠陥セルがある場合、その欠陥セルのそれぞれについて、撮像セルアレイ 103の2次元配列における位置を表わす座標データと、その欠陥レベルを表わす欠陥レベルデータが対応して蓄積されている。
【0021】
図2を参照すると、同図には、固体撮像デバイス 102の撮像セルアレイ 103に多数の撮像セル10が2次元XおよびY方向に配列された様子の一部が模式的に示されている。X方向が、たとえば撮影画面の水平方向に、またY方向が垂直方向に相当する。各正方形が1個の撮像セル10を示す。また、その正方形10の内側に記載されている数字は、そのセル10の出力する輝度信号の相対的レベルを概念的に示している。上縁部にはX座標が、また左縁部にはY座標が数字で示されている。説明の複雑化を避けるため、同図には、撮像セルアレイ 103の内の少数の撮像セル10のみが示されているが、実際には、これよりはるかに多数のセルが2次元状に配列されていることは、言うまでもない。また、単に「輝度信号レベル」または「輝度レベル」と称しているが、これらは、いわゆる輝度信号Yのレベルのみに限定されず、たとえば特定の色成分、たとえばG信号などの信号レベル、すなわち大きさをも包含する広義に解釈するものとする。
【0022】
たとえば、X、Y座標(1、1) に位置するセル12の出力する輝度信号レベルを「1」とすれば、この例では、座標(2、3) に位置するセル14の出力する輝度信号レベルが「2」であり、座標(3、3) のセル16は輝度信号レベル「10」を出力する。他のセル10は、この例では、おしなべてレベル「1」の画素信号を出力している。これらのうち、2つの撮像セル14および16が欠陥セルであるならば、本実施例は、それらの個々の欠陥セルに上下および左右の方向において隣接する4個のセルの画素信号を単純平均して、欠陥セルの画素信号を補正する、すなわちその欠陥画素信号を補正値に置き換える「埋戻し」を行なうように構成されている。
【0023】
これらの撮像セル14および16が欠陥セルであるか否かを示す情報は、本実施例では、欠陥セルメモリ 108に欠陥セル位置データとして保持されている。図3にこの欠陥セル位置データの様子を例示する。本発明は、このような特定の欠陥画素補間方式のみに限定されるものではない。たとえば、注目画素の斜め方向に隣接する4個の撮像セルの画像信号を加えて8個の隣接セルの画素信号を使用して欠陥画素補間を行なうように構成してもよい。または、水平X方向に隣接する2つの撮像セルの画素信号のみを用いるように構成してもよい。さらに、上述の単純加算平均でなく、画素位置によって重み付けした重み付け平均方式をとってもよい。
【0024】
図3は、図2に示す撮像セルアレイ 103の部分について、欠陥セル14および16とその周囲のセルの欠陥セル位置データを例示している。同図の左縁部にメモリ 108の記憶位置アドレスが十進法で示されている。また、右縁部には、撮像セル10の座標(X、Y) が参考のために示されている。たとえば、番地#1003 は、撮像セル14に対応し、その次の番地#1004 は、撮像セル16に対応し、それぞれの記憶位置に、その撮像セルが正常か否か、および、欠陥セルであれば、その欠陥の程度、すなわち欠陥レベルを示すデータが蓄積されている。この実施例では、たとえば座標(1、3) などに位置する正常セル10については、欠陥レベル「0」が記録されていることで正常セルであることを示し、欠陥セルについては、その欠陥レベルを示す数値が記録される。たとえば、座標(2、3) に位置する欠陥セル14については、レベル「2」が、また座標(3、3) に位置する欠陥セル16については、レベル「10」が記録されている。これらの欠陥セル14および16は、いずれも、いわゆる「白キズ」に相当する。同図における数値はいずれも、説明の便宜上、十進数表記である。
【0025】
欠陥レベルデータは、たとえば、固体撮像デバイス 102の供給業者から提供されるものが利用できる。または、たとえば均一な照度の2次元画像を撮像デバイス 102で撮像して得られた画像信号から、周囲の撮像セルより異常に高い、または低い輝度レベルの画素信号を生成するセルについて、その輝度レベルの値、またはそれに対応した値を欠陥レベル値として採用してもよい。本実施例では、説明を簡単にするため、後者の例をとった。
【0026】
図4を参照すると、座標(62、22) および(63、22) にそれぞれ位置する撮像セル30および32は、いわゆる「黒キズ」である。他の正常セル10は、輝度レベル「10」の画素信号を出力しているのに対して、撮像セル30および32は、それぞれ輝度レベル「0」および「1」の画素信号を出力している。同図に示す撮像セルアレイ 103の部分について、欠陥セル30および32とその周囲のセルの欠陥セル位置データの例を図5に示す。同図は、図3と同じ表記方法をとっている。たとえば、番地#2001 は、欠陥撮像セル30に対応し、欠陥レベルが値「10」として記録されている。その次の番地#2002 は、撮像セル32に対応し、欠陥レベルが値「9」として記録されている。他の記憶位置は、それらのセルが正常であることを示す値「0」が記録されている。この例では、黒キズの撮像セルの欠陥レベル値は、均一な被写体を最高照度で撮像した場合の正常セルの出力レベルとの差で表わしている。この欠陥レベルの表示方法は、実施例の説明のためのものであって、本発明がこの特定の表示方法のみに限定されることはない。
【0027】
たとえば、図6に示すように、欠陥セルメモリ 108の記憶領域#4000 以降、老い番の記憶位置へ向かって、欠陥レベルの高いセルから低いセルの順番に撮像セルの座標(X、Y) を記録するように構成してもよい。図示の例では、座標(X、Y) が十進数で示され、番地#4000 には、撮像セルアレイ 103において最高の欠陥レベル値を有する撮像セル16(図2)示す座標(3、3) が記録されている。その次の番地#4001 には、2番目の欠陥レベル値を示す欠陥セル30(図4)の座標(62、22) が記録されている。この例では、欠陥セル16および30では、欠陥レベルの値が同じ値「10」であるので、いずれを第1番目として扱ってもよい。さらに次の番地#4002 には、3番目の欠陥レベル値を示す欠陥セル14の座標(2、3) が記録されている。こうして、以降、この例では、白キズ、黒キズを問わず、欠陥レベルの高い方から低い順に、その位置座標(X、Y) がメモリ 108に記録されている。正常セル10は、図示のように、画面のラスタ走査の順番に位置座標が記録されている。
【0028】
本発明は、ここに説明したような特定の欠陥レベルデータの構成例に限定されない。たとえば、白キズのセルを黒キズのセルと分けて欠陥レベルデータを構成してもよい。図6を参照して説明したメモリ 108の構成をとる適用例では、正常セル10について、メモリ 108にこのような座標データを記録しなくてもよい。また、撮像セル10の位置を特定するのに、本実施例では、その座標(X、Y) を使用している。しかし、このような座標によらず、たとえば個々の撮像セル10に番号や符号などの識別表示を付与し、これによって特定の撮像セル10を表わすように構成してもよい。
【0029】
システム制御部 130は、信号処理回路 124がフレームメモリ 126に蓄積されている画像信号に欠陥画素信号の補正を行なう際、欠陥セルメモリ 108の欠陥レベルデータを参照し、欠陥レベルの高い撮像セルを欠陥レベルの低い撮像セルや正常な撮像セルに優先して扱う。こうすることによって本実施例では、たとえバースト状に欠陥セルが存在しても、隣接する欠陥セルの画素信号が相互に適切に補正される。したがって、従来のように、隣接する欠陥セルの適切でない補正値を注目欠陥セルの画素信号の補正に使用する、すなわち埋め戻すことによって、その適切でない補正値の影響が注目セルの画素信号の補正に強く現れることはない。
【0030】
動作状態において、シャッタレリーズボタン(図示せず)を操作すると、タイミング発生器 110からの駆動パルス 116に応動して、固体撮像デバイス 102は、撮像セルアレイ 103から被写界を表わす画像信号 104をサンプリング回路 112に出力する。サンプリング回路 112は、この画像信号 104を増幅し、サンプリングパルス 116に応動してこれを標本化し、その出力 114からアナログ・ディジタル変換器 118に与える。
【0031】
アナログ・ディジタル変換器 118は、クロックパルス 120に応動して入力 114の画像信号標本値をディジタルデータに変換する。変換されたディジタルデータ 122は信号処理回路 124に入力され、本実施例では、信号処理回路 124によってフレームメモリ 126に一時蓄積される。
【0032】
そこで信号処理回路 124は、たとえば、階調補正などの信号処理に先立って、フレームメモリ 126に蓄積された画像信号に欠陥セルに対応する画素信号の補正を行なう。システム制御部 130は、まず、欠陥セルメモリ 108の欠陥レベルデータを参照し、欠陥レベルの高い撮像セルから低い撮像セルの順に欠陥セルを識別し、これらの欠陥セルについて画素信号を補正する。欠陥画素補正が施された画像信号は、一旦、フレームメモリ 126に蓄積され、および/または、信号処理回路 124から装置出力 106へ出力される。装置出力 106には、たとえばメモリカードなどの画像記憶装置や通信線等の利用装置(図示せず)が着脱可能に接続され、欠陥画素補正がされ、階調補正などの信号処理の施された画像信号がこれらの利用装置にて利用される。
【0033】
より詳細には、本実施例によれば、欠陥撮像セルの画素信号は、欠陥の程度、すなわち欠陥レベルに応じて、欠陥レベルの高いセルの画素信号を先に補正し、その補正の結果の値を使用して欠陥レベルの低いセルの画素信号を補正する。説明を簡略にするため、図2に示す画素信号の例で、撮像セルアレイ 103に含まれる欠陥セルは白キズのセル14および16のみであるとすると、システム制御部 130は、欠陥セルメモリ 108の欠陥レベルデータを参照して、まず、最も欠陥レベルの高いセルが、この例では座標(3、3) に位置するセル16であることを識別する。
【0034】
欠陥セルメモリ 108に、欠陥セルのデータが図3に示す形式で格納されている適用例では、システム制御部 130は、メモリ 108を参照して、その記憶領域全体を検索し、最も欠陥レベルの値の高い蓄積内容の記憶位置、この例では#1004 を識別する。これから、システム制御部 130は、座標(3、3) の位置にある欠陥セルを識別することができる。また、欠陥セルのデータが図6に示す形式で格納されている適用例では、システム制御部 130は、メモリ 108を参照して、まず、その欠陥セルデータの記憶位置の先頭#4000 の蓄積内容を読み出し、これからシステム制御部 130は、座標(3、3) の位置にあるセルが最も高レベルの欠陥セルであることを識別する。以降、第2位以下の欠陥レベルの撮像セルを索出するには、番地の値の大きい記憶位置について順番に、同様の読み出し動作を行なう。
【0035】
識別された欠陥セル16の位置は、システム制御部 130から信号処理回路 124に通知される。これによって信号処理部 124は、欠陥セル16の出力する輝度信号レベル「10」の画素信号を他より優先して補正することになる。この例では、座標(3、3) のセル16からの画素信号が輝度信号レベルの値「10」でフレームメモリ 126に蓄積されている。
【0036】
本実施例では、欠陥セル16に上下および左右の方向において隣接するセル24、26および14、16の画素信号を平均して欠陥セル16の画素信号を補正する単純平均方式に従って、信号処理回路 124は、フレームメモリ 126の画像信号について、欠陥セル16の隣接セル24、26および14、28の輝度レベル「1」「1」および「2」「1」を単純平均する。その結果、欠陥セル16の補正された画素信号の値「1.25」が算出される。この補正値は、フレームメモリ 126の撮像セル16に対応する記憶位置に蓄積される。
【0037】
システム制御部 130は次に、同様にしてメモリ 108の欠陥セルデータから、2番目に欠陥レベルの高いセル、この例では、座標(2、3) に位置する欠陥セル14を識別する。信号処理回路 124は、そこで、当面の注目欠陥セル14に隣接するセルのうち、先に補正の対象となった隣接セル16については、その補正の結果の値「1.25」を輝度レベルとして使用して、注目欠陥セル14の画素信号を補正する。そこで、この新たな注目セル14については、その上下および左右方向の隣接セル18、20および22、24の輝度レベル「1」「1」および「1」「1.25」を単純平均する。その結果の値「1.06」は、フレームメモリ 126の撮像セル14に対応する記憶位置に、好ましくは補正前の値と置換されて、蓄積される。
【0038】
こうして得られた欠陥セル16および14についての補正の結果値は、「1.25」および「1.06」となる。これらは、周囲の正常セル10、12、18、20、22などの輝度レベル「1」にかなり近い値であることがわかる。
【0039】
比較のために、従来技術で行なわれているように仮に撮像デバイス 102から出力される画像信号をそのラスタ走査の順に、つまり被写界画面の左上の画素から水平方向に右に、垂直方向に下方に、画素信号の時系列的に欠陥画素補正を行なったとすると、欠陥セル14および16の補正された輝度レベルは、周囲の正常セル10、12、18、20、22などの輝度レベル「1」と比較して、かなり掛け離れた値、つまり、それぞれ「3.25」および「1.56」となるであろう。
【0040】
より詳細には、図2に示す例において、まず、座標(2、3) に位置する欠陥セル14に欠陥画素補正を行なう。その上下および左右の方向において隣接するセル18、20および22、24の輝度レベル「1」「1」および「1」「10」を単純平均すると、結果の値は「3.25」となる。画素順次のラスタ走査方法は、X方向であるから、次に、X方向における次の欠陥セル16の画素信号を補正することになる。その場合、注目画素セル16に隣接する欠陥セル14については、その補正値「3.25」を使用することになる。そこで、この新たな欠陥セル16に上下および左右の方向において隣接するセル24、26および14、28の輝度レベル「1」「1」および「3.25」「1」を単純平均する。したがって、欠陥セル16の補正された画素信号の値は「1.56」となるであろう。つまり、欠陥セル14および16の補正された輝度レベルは、それぞれ「3.25」および「1.56」である。これらの値は、周囲の正常セル10、12、18、20、22などの輝度レベル「1」と比較して、かなり掛け離れた値である。
【0041】
【発明の効果】
このように本発明によれば、撮像デバイスの撮像セルの欠陥に起因する欠陥画素信号を、従来技術に比較してより適切に補正することができる。
【図面の簡単な説明】
【図1】本発明を適用したディジタル電子スチルカメラの実施例の構成を示す概略ブロック図である。
【図2】図1に示す実施例における撮像セルアレイから出力される画素信号のレベルの例を概念的に示す説明図である。
【図3】同実施例における欠陥セルメモリに蓄積されている欠陥セルデータの例を図2に示す撮像セルに関連して示す説明図である。
【図4】同実施例における撮像セルアレイから出力される画素信号のレベルの他の例を概念的に示す、図2と同様の説明図である。
【図5】同実施例における欠陥セルメモリに蓄積されている欠陥セルデータの他の例を図4に示す撮像セルに関連して示す、図3と同様の説明図である。
【図6】同実施例における欠陥セルメモリに蓄積されている欠陥セルデータの他の例を示す、図3と同様の説明図である。
【符号の説明】
10 撮像セル
14、16 欠陥撮像セル
102 固体撮像デバイス
103 撮像セルアレイ
108 欠陥セルメモリ
124 信号処理回路
126 フレームメモリ
130 システム制御部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a defective pixel correction apparatus for an imaging device and a method thereof. More specifically, the present invention relates to an apparatus and method for correcting a pixel signal caused by a defective imaging cell in an image signal obtained from a solid-state imaging device.
[0002]
[Prior art]
As is well known, a solid-state imaging device is provided with an array of imaging cells in which a large number of photosensitive elements are arranged. The photosensitive element included in the imaging cell array often includes cells that do not react to incident light and cells that generate an abnormally large dark current without incident light due to the manufacturing process. These defective cells are generally referred to as “black scratches” and “white scratches”, respectively, and are unavoidable in solid-state imaging devices.
[0003]
In view of this, there have been proposed a number of defective pixel correction methods for correcting pixel signals caused by these defective cells using pixel signals obtained from the surrounding imaging cells in the image signal output from the solid-state imaging device. ing. Japanese Laid-Open Patent Publication No. 7-59011 discloses a method of determining the defect level of a defective cell, that is, the defect level, when identifying the defective cell from the capacity limitation of the memory area for storing the position coordinates of the defective cell in the imaging cell array. Thus, an automatic detection apparatus for defective cells that stores the position coordinates of only cells having a high defect level is disclosed.
[0004]
By the way, from a solid-state imaging device, an image signal is generally raster-scanned in a time sequential manner in the horizontal and vertical scanning directions and output. When correcting a pixel signal of a defective cell, there is a method in which, for example, simple averaging is performed using pixel signals of a plurality of imaging cells adjacent to the cell, and the average value is replaced with the pixel signal of the defective cell. In addition, in the case of a burst-like defect in which a plurality of adjacent imaging cells are defective cells, when correcting the pixel signal of the burst-like target defective cell, the already corrected pixel signal of the defective cell adjacent to it is used. To do.
[0005]
[Problems to be solved by the invention]
Conventional defective pixel correction is performed by applying a correction algorithm only to defective cells of a predetermined level or higher, regardless of the defect level of the imaging cell. Therefore, for example, when defective cells exist in a burst state, a sufficiently good defective pixel correction cannot be performed because the corrected signal adversely affects the correction of other defective cells depending on the position of the defective cell. There was a thing.
[0006]
When the pixel signals of the defective cells are corrected in the output order, that is, the pixel signals of the defective cells in a time series with respect to the image signals output sequentially from the solid-state imaging device by raster scanning, the target defective cells in such a series of defective cells in a burst form The appropriateness of the correction of the pixel signal may greatly depend on the already corrected pixel signal of the defective cell adjacent thereto. In other words, if the correction of the pixel signal of the adjacent defective cell is not appropriate, the inappropriate correction value is used for correcting the pixel signal of the target defective cell. Therefore, the influence of the inappropriate correction value causes the correction of the pixel signal of the target cell. May appear strongly.
[0007]
An object of the present invention is to provide a defective pixel correction apparatus for an imaging device, and a method thereof, which can more appropriately correct a pixel signal of a defective imaging cell of a solid-state imaging device as compared with such a conventional technique. And
[0008]
[Means for Solving the Problems]
According to the present invention, defective pixel correction is performed with priority given to an imaging cell having a high defect level according to the degree of defect of the imaging cell in the imaging device, that is, the defect level. Used to correct defective pixels in other imaging cells.
[0009]
More specifically, the defective pixel correction apparatus for an imaging device according to the present invention includes an input unit that receives an image signal output from an imaging device having an imaging cell array in which a plurality of imaging cells are arranged, and a plurality of the image signals. When a pixel signal corresponding to a defective imaging cell among the imaging cells is included, correction means for correcting the pixel signal and defect degree data indicating the degree of the defect of the imaging cell having the defect are present. The storage means for storing corresponding to the imaging cell, and the control means for controlling the correction means according to the defect degree data, and for correcting the pixel signal corresponding to the imaging cell having a defect by the correction means, Referring to the defect degree data, the defective imaging cell and the degree of the defect are identified, and the correction means is an imaging cell having a high degree of defect according to the identified degree of defect. Corrects the pixel signal corresponding to the order of the lower imaging cell, if applicable, using the corrected result to the correction of the pixel signals of the lower imaging cells of the extent of the defect.
[0010]
According to the present invention, instead of the defect degree data, identification data for identifying the defective imaging cell according to the degree of the defect of the defective imaging cell is accumulated in the accumulation means, and the control means stores the identification data in the accumulation means. You may comprise so that the imaging cell with a defect and the grade of a defect may be identified with reference.
[0011]
Furthermore, the defect pixel correction method for an imaging device according to the present invention includes a step of preparing an image signal output from an imaging device having an imaging cell array in which a plurality of imaging cells are arranged, and the image signal includes a plurality of imaging cells. When a pixel signal corresponding to a defective imaging cell is included, a step of correcting the pixel signal, a step of preparing data related to the degree of the defect of the defective imaging cell, and referring to this data A pixel signal corresponding to the imaging cell having a defect degree in order from the imaging cell having a high degree of defect to the imaging cell having a low degree of defect. The obtained result is used to correct the pixel signal of the imaging cell with a low degree of defect.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Next, an embodiment of a defective pixel correction apparatus for an imaging device according to the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 shows an embodiment of a digital electronic still camera to which the present invention is applied. This camera 100 has a solid-state imaging device 102 such as a charge transfer device (CCD), for example, and corrects a pixel signal related to a defective imaging cell of an image signal 104 output from the solid-state imaging device 102 to output from a device output 106 An imaging device that outputs.
[0013]
The solid-state imaging device 102 has an imaging cell array 103 in which photosensitive elements are two-dimensionally arranged. Generally, these photosensitive elements include defective cells called black scratches or white scratches due to the manufacturing process. There are often. These defective cells can be obtained, for example, by providing defective cell data specifying their position, ie, coordinates on the array 103, from the supplier of the imaging device 102, or by capturing a two-dimensional image with uniform illumination. The position of the defective cell in the imaging cell array 103 can be known from the obtained image signal. These positions are preferably expressed in the form of coordinates (X, Y) in the X direction and Y direction (see FIG. 2) in the two-dimensional plane of the imaging cell array 103. The still camera 100 of the embodiment has a memory 108 for storing such defective cell data indicating the position of the defective cell. The structure of the defective cell data will be described later in detail.
[0014]
The imaging cell array 103 includes a large number of imaging cells 10 that store charges corresponding to incident light incident from the object field through an imaging optical system (not shown) of the camera 100, and the solid-state imaging device 102 has a timing described later. This is an imaging device that generates this accumulated charge at its output 104 in the form of an image signal in response to a drive signal 112 output from the generator 110. This output 104 is connected to the input of the sampling circuit 112. In the following description, a signal is designated by the reference numeral of the connecting line that appears. In this embodiment, a CCD is used as the solid-state imaging device. However, the present invention is not limited to this specific type of image pickup device, and can be effectively applied to an image pickup apparatus of another type such as a MOS type semiconductor image pickup device.
[0015]
The sampling circuit 112 amplifies the image signal input from the imaging device 102, samples the image signal 104 in response to the sampling pulse 116 supplied from the timing generator 110, and outputs this to the output 114 thereof. It is a sampling circuit. Output 114 is connected to an analog to digital (AD) converter 118.
[0016]
The analog / digital converter 118 is a conversion circuit that converts the sample value of the input 114 into corresponding digital data in response to a clock pulse supplied from the timing generator 110 through the connection line 120. The analog-to-digital converter 118 has an output 122 that outputs the converted digital data, which is connected to the input of the signal processing circuit 124.
[0017]
The signal processing circuit 124 also responds to a clock pulse or a synchronization signal supplied from the timing generator 110 through the connection line 120 to the image data 122 input to the input 122, for example, gradation correction or white balance adjustment. It is a signal processing function unit that performs signal processing and outputs it as an image signal to the apparatus output 106. In connection with this signal processing, the apparatus has a frame memory 126, which is connected to the signal processing circuit 124 by control and data lines 128 as shown. The frame memory 126 is a temporary storage device having a storage capacity for storing image signals for at least one frame, and the signal processing circuit 124 performs image data signal processing using the storage area of the frame memory 126.
[0018]
The signal processing circuit 124 cooperates with a system control unit 130 described later as a function particularly related to the present invention, and outputs a pixel signal due to a defective cell in the image signal 104 output from the solid-state imaging device 102 in the surroundings. It also has a defective pixel correction or interpolation function for correcting using the pixel signal of the imaging cell. This will be described in detail later. The frame memory 126 is not necessarily required depending on the defective pixel correction method in an apparatus configured to output an image signal in real time. When the scanning method is an interlace method, a field memory may be used instead of the frame memory depending on the application example.
[0019]
The system control unit 130 is connected to the timing generator 110 and the signal processing circuit 124 via connection lines 132 and 134, respectively, and in response to the operation of a shutter release button (not shown), the imaging operation and signals of the entire apparatus. This is an overall control unit that controls and controls processing operations. The system control unit 130 is also connected to the defective cell memory 108 by a connection line 136. In particular, as a function relevant to the present invention, the system control unit 130 controls the signal processing circuit 124 to store the defective cell location stored in the defective cell memory 108. A part of the defective pixel correction function for correcting the pixel signal of the defective cell according to the data is shared.
[0020]
In the present embodiment, in the defective cell memory 108, when there are defective cells in the imaging cell array 103 of the solid-state imaging device 102 included in the apparatus 100, 2 of the imaging cell array 103 for each of the defective cells. Coordinate data representing the position in the dimension array and defect level data representing the defect level are stored correspondingly.
[0021]
Referring to FIG. 2, a part of a state in which a large number of imaging cells 10 are arranged in the two-dimensional X and Y directions in the imaging cell array 103 of the solid-state imaging device 102 is schematically shown. For example, the X direction corresponds to the horizontal direction of the shooting screen, and the Y direction corresponds to the vertical direction. Each square represents one imaging cell 10. The numbers written inside the square 10 conceptually indicate the relative level of the luminance signal output from the cell 10. The upper edge is indicated by an X coordinate, and the left edge is indicated by a Y coordinate. In order to avoid complicated explanation, only a small number of imaging cells 10 in the imaging cell array 103 are shown in the figure, but in reality, a much larger number of cells are arranged two-dimensionally. Needless to say. Further, although simply referred to as “brightness signal level” or “brightness level”, these are not limited to the level of the so-called luminance signal Y, and for example, a signal level of a specific color component, for example, a G signal, that is, a large level. It shall be interpreted in a broad sense that also includes
[0022]
For example, if the luminance signal level output from the cell 12 positioned at the X, Y coordinates (1, 1) is “1”, in this example, the luminance signal output from the cell 14 positioned at the coordinates (2, 3) is set. The level 16 is “2”, and the cell 16 at the coordinates (3, 3) outputs the luminance signal level “10”. The other cells 10 generally output a pixel signal of level “1” in this example. Of these, if the two imaging cells 14 and 16 are defective cells, this embodiment simply averages the pixel signals of four cells adjacent to the individual defective cells in the vertical and horizontal directions. Thus, the pixel signal of the defective cell is corrected, that is, “backfill” is performed in which the defective pixel signal is replaced with a correction value.
[0023]
In the present embodiment, information indicating whether or not these imaging cells 14 and 16 are defective cells is held in the defective cell memory 108 as defective cell position data. FIG. 3 illustrates the state of the defective cell position data. The present invention is not limited to such a specific defective pixel interpolation method. For example, it may be configured such that defective pixel interpolation is performed using pixel signals of eight adjacent cells by adding image signals of four imaging cells adjacent in the diagonal direction of the target pixel. Alternatively, only pixel signals of two imaging cells adjacent in the horizontal X direction may be used. Furthermore, instead of the above-described simple addition averaging, a weighted average method weighted according to pixel positions may be used.
[0024]
FIG. 3 exemplifies defective cell position data of the defective cells 14 and 16 and surrounding cells for the part of the imaging cell array 103 shown in FIG. The storage location address of the memory 108 is shown in decimal notation on the left edge of the figure. Further, the coordinates (X, Y) of the imaging cell 10 are shown on the right edge for reference. For example, the address # 1003 corresponds to the imaging cell 14, the next address # 1004 corresponds to the imaging cell 16, and whether each imaging location is normal and whether it is a defective cell. For example, data indicating the degree of the defect, that is, the defect level is accumulated. In this embodiment, for example, a normal cell 10 located at coordinates (1, 3) or the like is indicated as a normal cell by recording a defect level “0”. A numerical value indicating is recorded. For example, the level “2” is recorded for the defect cell 14 located at the coordinates (2, 3), and the level “10” is recorded for the defect cell 16 located at the coordinates (3, 3). These defective cells 14 and 16 both correspond to so-called “white scratches”. All numerical values in the figure are expressed in decimal notation for convenience of explanation.
[0025]
As the defect level data, for example, data provided from the supplier of the solid-state imaging device 102 can be used. Alternatively, for example, a luminance level of a cell that generates a pixel signal having a luminance level that is abnormally higher or lower than that of the surrounding imaging cell from an image signal obtained by imaging a two-dimensional image with uniform illuminance with the imaging device 102. Or a value corresponding thereto may be adopted as the defect level value. In this embodiment, the latter example is used for the sake of simplicity.
[0026]
Referring to FIG. 4, the imaging cells 30 and 32 located at coordinates (62, 22) and (63, 22), respectively, are so-called “black scratches”. The other normal cells 10 output pixel signals with luminance level “10”, whereas the imaging cells 30 and 32 output pixel signals with luminance levels “0” and “1”, respectively. . FIG. 5 shows an example of defective cell position data of the defective cells 30 and 32 and the surrounding cells in the imaging cell array 103 shown in FIG. This figure uses the same notation as FIG. For example, the address # 2001 corresponds to the defect imaging cell 30, and the defect level is recorded as the value “10”. The next address # 2002 corresponds to the imaging cell 32 and the defect level is recorded as the value “9”. In other storage positions, a value “0” indicating that these cells are normal is recorded. In this example, the defect level value of the black flaw imaging cell is represented by the difference from the normal cell output level when a uniform subject is imaged at the maximum illuminance. The display method of the defect level is for explanation of the embodiment, and the present invention is not limited only to this specific display method.
[0027]
For example, as shown in FIG. 6, after the storage area # 4000 of the defective cell memory 108, the coordinates (X, Y) of the imaging cell are set in order from the cell having the highest defect level to the cell having the lowest defect level toward the oldest storage position. You may comprise so that it may record. In the example shown in the figure, the coordinates (X, Y) are shown in decimal numbers, and the address (# 4000) has coordinates (3, 3) indicating the imaging cell 16 (FIG. 2) having the highest defect level value in the imaging cell array 103. It is recorded. At the next address # 4001, the coordinates (62, 22) of the defect cell 30 (FIG. 4) indicating the second defect level value are recorded. In this example, the defect cells 16 and 30 have the same defect level value “10”, so that any of them may be treated as the first. Further, at the next address # 4002, the coordinates (2, 3) of the defect cell 14 indicating the third defect level value are recorded. Thus, hereinafter, in this example, the position coordinates (X, Y) are recorded in the memory 108 in ascending order from the highest defect level regardless of white scratches and black scratches. In the normal cell 10, position coordinates are recorded in the order of raster scanning on the screen as shown in the figure.
[0028]
The present invention is not limited to the configuration example of the specific defect level data as described herein. For example, defect level data may be configured by dividing white flaw cells from black flaw cells. In the application example having the configuration of the memory 108 described with reference to FIG. 6, such coordinate data may not be recorded in the memory 108 for the normal cell 10. In this embodiment, the coordinates (X, Y) are used to specify the position of the imaging cell 10. However, irrespective of such coordinates, for example, an identification display such as a number or a sign may be given to each imaging cell 10 so that a specific imaging cell 10 is represented by this.
[0029]
When the signal processing circuit 124 corrects the defective pixel signal to the image signal stored in the frame memory 126, the system control unit 130 refers to the defect level data in the defective cell memory 108 and selects an imaging cell with a high defect level. The imaging cell with a low defect level and the normal imaging cell are preferentially handled. In this way, in this embodiment, even if defective cells exist in a burst shape, the pixel signals of adjacent defective cells are corrected appropriately. Therefore, as in the prior art, the inappropriate correction value of the adjacent defective cell is used for correcting the pixel signal of the target defective cell, that is, by backfilling, the influence of the inappropriate correction value is corrected for the pixel signal of the target cell. It does not appear strongly in
[0030]
When a shutter release button (not shown) is operated in the operating state, the solid-state imaging device 102 samples the image signal 104 representing the object scene from the imaging cell array 103 in response to the drive pulse 116 from the timing generator 110. Output to circuit 112. The sampling circuit 112 amplifies the image signal 104, samples it in response to the sampling pulse 116, and provides it to the analog / digital converter 118 from its output 114.
[0031]
The analog / digital converter 118 converts the image signal sample value of the input 114 into digital data in response to the clock pulse 120. The converted digital data 122 is input to the signal processing circuit 124 and is temporarily stored in the frame memory 126 by the signal processing circuit 124 in this embodiment.
[0032]
Therefore, the signal processing circuit 124 corrects the pixel signal corresponding to the defective cell in the image signal stored in the frame memory 126, for example, prior to signal processing such as gradation correction. First, the system control unit 130 refers to defect level data in the defective cell memory 108, identifies defective cells in order from an imaging cell with a high defect level to an imaging cell with a low defect level, and corrects the pixel signal for these defective cells. The image signal subjected to the defective pixel correction is temporarily stored in the frame memory 126 and / or output from the signal processing circuit 124 to the device output 106. For example, an image storage device such as a memory card or a utilization device such as a communication line (not shown) is detachably connected to the device output 106, corrected for defective pixels, and subjected to signal processing such as gradation correction. An image signal is used in these utilization devices.
[0033]
More specifically, according to the present embodiment, the pixel signal of the defective imaging cell is first corrected for the pixel signal of the cell having a high defect level according to the degree of the defect, that is, the defect level, and the result of the correction The pixel signal of the cell having a low defect level is corrected using the value. In order to simplify the description, in the example of the pixel signal shown in FIG. 2, if the defective cells included in the imaging cell array 103 are only white scratch cells 14 and 16, the system control unit 130 stores the defective cell memory 108. With reference to the defect level data, first, it is identified that the cell having the highest defect level is the cell 16 located at the coordinates (3, 3) in this example.
[0034]
In an application example in which defective cell data is stored in the defective cell memory 108 in the format shown in FIG. 3, the system control unit 130 searches the entire memory area with reference to the memory 108 and finds the most defective level. The storage location of the accumulated content with a high value, in this example, # 1004 is identified. From this, the system control unit 130 can identify the defective cell at the position of the coordinates (3, 3). Further, in the application example in which the defective cell data is stored in the format shown in FIG. 6, the system control unit 130 refers to the memory 108 and first stores the accumulated contents of the beginning # 4000 of the storage position of the defective cell data. From this, the system control unit 130 identifies that the cell at the position of the coordinates (3, 3) is the highest level defective cell. Thereafter, in order to search for an imaging cell having the second or lower defect level, the same reading operation is sequentially performed for the storage position having a larger address value.
[0035]
The position of the identified defective cell 16 is notified from the system control unit 130 to the signal processing circuit 124. As a result, the signal processing unit 124 corrects the pixel signal of the luminance signal level “10” output from the defective cell 16 with priority over others. In this example, the pixel signal from the cell 16 at the coordinates (3, 3) is stored in the frame memory 126 with the luminance signal level value “10”.
[0036]
In the present embodiment, the signal processing circuit 124 according to a simple averaging method that corrects the pixel signal of the defective cell 16 by averaging the pixel signals of the cells 24, 26, 14, and 16 adjacent to the defective cell 16 in the vertical and horizontal directions. For the image signal of the frame memory 126, the luminance levels “1”, “1” and “2” “1” of the adjacent cells 24, 26 and 14, 28 of the defective cell 16 are simply averaged. As a result, the corrected pixel signal value “1.25” of the defective cell 16 is calculated. This correction value is accumulated in the storage position corresponding to the imaging cell 16 of the frame memory 126.
[0037]
Next, the system control unit 130 similarly identifies the cell having the second highest defect level, in this example, the defective cell 14 located at the coordinates (2, 3), from the defective cell data in the memory 108. Therefore, the signal processing circuit 124 uses the correction result value “1.25” as the luminance level for the adjacent cell 16 that has been subjected to correction first among the cells adjacent to the target defective cell 14 for the time being. Thus, the pixel signal of the defective cell 14 of interest is corrected. Therefore, for the new attention cell 14, the luminance levels “1”, “1” and “1” “1.25” of the adjacent cells 18, 20 and 22, 24 in the vertical and horizontal directions are simply averaged. The value “1.06” as a result is accumulated in the storage position corresponding to the imaging cell 14 in the frame memory 126, preferably with the value before correction.
[0038]
The correction result values for the defective cells 16 and 14 thus obtained are “1.25” and “1.06”. It can be seen that these values are very close to the luminance level “1” of the surrounding normal cells 10, 12, 18, 20, 22 and the like.
[0039]
For comparison, the image signal output from the image pickup device 102 is assumed to be in the raster scan order, that is, from the upper left pixel of the object scene screen to the right in the horizontal direction and in the vertical direction as in the prior art. If the defective pixel correction is performed on the pixel signal in time series, the corrected luminance levels of the defective cells 14 and 16 are the luminance levels “1” of the surrounding normal cells 10, 12, 18, 20, 22 and the like. Will be considerably different from each other, ie “3.25” and “1.56”, respectively.
[0040]
More specifically, in the example shown in FIG. 2, first, defective pixel correction is performed on the defective cell 14 located at the coordinates (2, 3). When the luminance levels “1”, “1” and “1” “10” of the adjacent cells 18, 20, 22 and 24 in the vertical and horizontal directions are simply averaged, the result value is “3.25”. Since the pixel sequential raster scanning method is in the X direction, the pixel signal of the next defective cell 16 in the X direction is then corrected. In that case, the correction value “3.25” is used for the defective cell 14 adjacent to the target pixel cell 16. Therefore, the luminance levels “1”, “1”, “3.25”, and “1” of the cells 24, 26, 14, and 28 adjacent to the new defective cell 16 in the vertical and horizontal directions are simply averaged. Therefore, the corrected pixel signal value of the defective cell 16 will be “1.56”. That is, the corrected luminance levels of the defective cells 14 and 16 are “3.25” and “1.56”, respectively. These values are considerably different from the brightness level “1” of the surrounding normal cells 10, 12, 18, 20, 22 and the like.
[0041]
【The invention's effect】
As described above, according to the present invention, the defective pixel signal caused by the defect of the imaging cell of the imaging device can be corrected more appropriately as compared with the related art.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing the configuration of an embodiment of a digital electronic still camera to which the present invention is applied.
2 is an explanatory diagram conceptually illustrating an example of a level of a pixel signal output from an imaging cell array in the embodiment illustrated in FIG.
3 is an explanatory diagram showing an example of defective cell data stored in a defective cell memory in the embodiment in relation to the imaging cell shown in FIG. 2;
4 is an explanatory view similar to FIG. 2, conceptually showing another example of the level of the pixel signal output from the imaging cell array in the same embodiment. FIG.
5 is an explanatory view similar to FIG. 3, showing another example of defective cell data stored in the defective cell memory in the embodiment in relation to the imaging cell shown in FIG. 4; FIG.
6 is an explanatory view similar to FIG. 3, showing another example of defective cell data stored in the defective cell memory in the same embodiment. FIG.
[Explanation of symbols]
10 Imaging cell
14, 16 Defect imaging cell
102 Solid-state imaging device
103 Imaging cell array
108 defective cell memory
124 Signal processing circuit
126 frame memory
130 System controller

Claims (7)

複数の撮像セルが配列された撮像セルアレイを有する撮像デバイスから出力される画像信号を受ける入力手段と、
該入力手段に入力する画像信号を蓄積する第1の蓄積手段と、
第1の蓄積手段に記憶した画像信号に前記複数の撮像セルのうちの欠陥のある撮像セルに対応する画素信号が含まれるときは、該画素信号を補正して前記第1の蓄積手段に蓄積する補正手段と、
前記欠陥のある撮像セルの欠陥の程度を表わす欠陥程度データを該欠陥のある撮像セルに対応して蓄積する第2の蓄積手段と、
前記欠陥程度データに応じて前記補正手段を制御し、該補正手段によって、前記欠陥のある撮像セルに対応する画素信号を補正させる制御手段と
前記補正手段により前記画素信号が補正され、前記第1の蓄積手段に蓄積された画像信号を処理する信号処理手段とを含み、
該制御手段は、前記欠陥程度データを参照して前記欠陥のある撮像セルおよび欠陥の程度を識別し、
前記補正手段は、前記信号処理手段による処理に先だって、前記識別した欠陥の程度に従って該欠陥の程度の高い撮像セルから低い撮像セルの順に対応する画素信号を補正し、該補正する撮像セルに該当する場合は、補正された結果を欠陥の程度の低い撮像セルの画素信号の補正に使用することを特徴とする撮像デバイスの欠陥画素補正装置。
Input means for receiving an image signal output from an imaging device having an imaging cell array in which a plurality of imaging cells are arranged;
First storage means for storing image signals to be input to the input means;
The When defective pixel signal corresponding to the imaging cell with one of the plurality of imaging cells in the image signal stored is included in the first storage means, to said first storage means corrects the pixel signal Correction means to accumulate ;
Second accumulation means for accumulating defect degree data representing the degree of defect of the defective imaging cell corresponding to the defective imaging cell;
Control means for controlling the correction means according to the defect degree data, and correcting the pixel signal corresponding to the defective imaging cell by the correction means ;
Signal processing means for correcting the pixel signal by the correction means and processing the image signal stored in the first storage means ;
The control means refers to the defect degree data to identify the imaging cell having the defect and the degree of the defect,
Prior to the processing by the signal processing means , the correction means corrects the pixel signal corresponding to the order of the imaging cell with the highest degree of defect from the imaging cell with the lowest degree according to the degree of the identified defect, and corresponds to the imaging cell to be corrected In this case, the corrected pixel correction apparatus of the imaging device, wherein the corrected result is used for correcting the pixel signal of the imaging cell having a low degree of defect.
請求項1に記載の装置において、前記補正手段は、前記欠陥のある撮像セルに隣接する撮像セルの画素信号を補正に使用することを特徴とする欠陥画素補正装置。2. The defective pixel correction apparatus according to claim 1, wherein the correction unit uses a pixel signal of an imaging cell adjacent to the defective imaging cell for correction. 請求項1に記載の欠陥画素補正装置を含み、前記撮像デバイスが前記入力手段に接続されていることを特徴とするディジタル電子スチルカメラ。A digital electronic still camera comprising the defective pixel correction apparatus according to claim 1, wherein the imaging device is connected to the input means. 複数の撮像セルが配列された撮像セルアレイを有する撮像デバイスから出力される画像信号を受ける入力手段と、
該入力手段に入力する画像信号を蓄積する第1の蓄積手段と、
第1の蓄積手段に記憶した画像信号に前記複数の撮像セルのうちの欠陥のある撮像セルに対応する画素信号が含まれるときは、該画素信号を補正して前記第1の蓄積手段に蓄積する補正手段と、
前記欠陥のある撮像セルの欠陥の程度に従って該欠陥のある撮像セルを特定する識別データを蓄積する第2の蓄積手段と、
前記補正手段を制御し、該補正手段によって、前記欠陥のある撮像セルに対応する画素信号を補正させる制御手段と
前記補正手段により前記画素信号が補正され、前記第1の蓄積手段に蓄積された画像信号を処理する信号処理手段とを含み、
前記制御手段は、前記識別データを参照して前記欠陥のある撮像セルおよび欠陥の程度を識別し、
前記補正手段は、前記信号処理手段による処理に先だって、前記識別した欠陥の程度に従って該欠陥の程度の高い撮像セルから低い撮像セルの順に対応する画素信号を補正し、該補正する撮像セルに該当する場合は、補正された結果を欠陥の程度の低い撮像セルの画素信号の補正に使用することを特徴とする撮像デバイスの欠陥画素補正装置。
Input means for receiving an image signal output from an imaging device having an imaging cell array in which a plurality of imaging cells are arranged;
First storage means for storing image signals to be input to the input means;
The When defective pixel signal corresponding to the imaging cell with one of the plurality of imaging cells in the image signal stored is included in the first storage means, to said first storage means corrects the pixel signal Correction means to accumulate ;
Second accumulating means for accumulating identification data for identifying the defective imaging cell according to the degree of defect of the defective imaging cell;
Control means for controlling the correction means, and correcting the pixel signal corresponding to the defective imaging cell by the correction means ;
Signal processing means for correcting the pixel signal by the correction means and processing the image signal stored in the first storage means ;
The control means identifies the defective imaging cell and the degree of the defect with reference to the identification data,
Prior to the processing by the signal processing means , the correction means corrects the pixel signal corresponding to the order of the imaging cell with the highest degree of defect from the imaging cell with the lowest degree according to the degree of the identified defect, and corresponds to the imaging cell to be corrected In this case, the corrected pixel correction apparatus of the imaging device, wherein the corrected result is used for correcting the pixel signal of the imaging cell having a low degree of defect.
請求項4に記載の装置において、前記補正手段は、前記欠陥のある撮像セルに隣接する撮像セルの画素信号を補正に使用することを特徴とする欠陥画素補正装置。5. The defective pixel correction apparatus according to claim 4, wherein the correction unit uses a pixel signal of an imaging cell adjacent to the defective imaging cell for correction. 請求項4に記載の欠陥画素補正装置を含み、前記撮像デバイスが前記入力手段に接続されていることを特徴とするディジタル電子スチルカメラ。A digital electronic still camera comprising the defective pixel correction apparatus according to claim 4, wherein the imaging device is connected to the input unit. 複数の撮像セルが配列された撮像セルアレイを有する撮像デバイスから出力される画像信号を用意する工程と、
該画像信号に前記複数の撮像セルのうちの欠陥のある撮像セルに対応する画素信号が含まれるときは、該画素信号を補正する第1の工程と、
前記欠陥のある撮像セルの欠陥の程度に関連するデータを用意する工程と、
該データを参照して、前記撮像セルのうちの欠陥のある撮像セルについて、欠陥の程度の高い撮像セルから低い撮像セルの順に対応する画素信号を補正する第2の工程と
該第2の工程により前記画素信号が補正された画像信号を処理する信号処理工程とを含み、
前記第2の工程では、前記補正する撮像セルに該当する場合は、補正された結果を欠陥の程度の低い撮像セルの画素信号の補正に使用することを特徴とする撮像デバイスの欠陥画素補正方法。
Preparing an image signal output from an imaging device having an imaging cell array in which a plurality of imaging cells are arranged;
A first step of correcting the pixel signal when the image signal includes a pixel signal corresponding to a defective imaging cell of the plurality of imaging cells;
Preparing data relating to the degree of defect of the defective imaging cell;
Referring to the data, for a defective imaging cell among the imaging cells, a second step of correcting pixel signals corresponding to an imaging cell having a high degree of defect to a low imaging cell ;
A signal processing step of processing the image signal in which the pixel signal is corrected by the second step ,
In the second step, if it corresponds to the imaging cell to be corrected, the corrected result is used for correcting the pixel signal of the imaging cell having a low degree of defect, and a defective pixel correction method for an imaging device, .
JP36068498A 1998-12-18 1998-12-18 Apparatus and method for correcting defective pixel of imaging device Expired - Fee Related JP3990059B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP36068498A JP3990059B2 (en) 1998-12-18 1998-12-18 Apparatus and method for correcting defective pixel of imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36068498A JP3990059B2 (en) 1998-12-18 1998-12-18 Apparatus and method for correcting defective pixel of imaging device

Publications (2)

Publication Number Publication Date
JP2000184289A JP2000184289A (en) 2000-06-30
JP3990059B2 true JP3990059B2 (en) 2007-10-10

Family

ID=18470473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36068498A Expired - Fee Related JP3990059B2 (en) 1998-12-18 1998-12-18 Apparatus and method for correcting defective pixel of imaging device

Country Status (1)

Country Link
JP (1) JP3990059B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4515627B2 (en) * 2000-12-08 2010-08-04 オリンパス株式会社 Imaging device
JP4524529B2 (en) * 2001-03-26 2010-08-18 ソニー株式会社 Black defect detection device and imaging device for solid-state image sensor, and black defect detection method
JP4546664B2 (en) * 2001-04-27 2010-09-15 オリンパス株式会社 Imaging apparatus and pixel defect correction method

Also Published As

Publication number Publication date
JP2000184289A (en) 2000-06-30

Similar Documents

Publication Publication Date Title
US6965395B1 (en) Methods and systems for detecting defective imaging pixels and pixel values
JP3984936B2 (en) Imaging apparatus and imaging method
US7884868B2 (en) Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus
US7893972B2 (en) Method and apparatus for real time identification and correction of pixel defects for image sensor arrays
US7471321B2 (en) Photographing apparatus and photographing method
JP5541718B2 (en) Imaging device and defective pixel detection method thereof
US8310577B1 (en) Method and apparatus for color compensation
US7576787B2 (en) Image-pickup device, and device and method for correcting defective pixel
US20080278609A1 (en) Imaging apparatus, defective pixel correcting apparatus, processing method in the apparatuses, and program
US7286171B2 (en) Apparatus and method for concealing defective pixels in image sensors having test mode
EP1067777B1 (en) Image sensing device, image processing apparatus and method, and memory medium
JPH10285473A (en) Image signal correction device
JP2005328421A (en) Imaging apparatus and imaging method
JP3980781B2 (en) Imaging apparatus and imaging method
JP3257131B2 (en) Automatic defect detection device for solid-state imaging device and solid-state imaging device
JP3990059B2 (en) Apparatus and method for correcting defective pixel of imaging device
JP2011114473A (en) Pixel defect correction device
JPH05122574A (en) Image fetching device
US8885076B2 (en) Camera sensor defect correction and noise reduction
US20030222989A1 (en) Image pickup apparatus and image pickup display system
JP2005167497A (en) Imaging device, method for acquiring image with high quality, and program
JP3331666B2 (en) Solid-state imaging device and defect detection and correction method for solid-state imaging device
JP4646394B2 (en) Imaging device
JP2009055295A (en) Imaging apparatus
JP4088869B2 (en) Defective pixel detection device for solid-state imaging device and solid-state imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061129

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees