JP4058254B2 - イメージセンサの欠陥ピクセル補正装置及びその方法 - Google Patents
イメージセンサの欠陥ピクセル補正装置及びその方法 Download PDFInfo
- Publication number
- JP4058254B2 JP4058254B2 JP2001328107A JP2001328107A JP4058254B2 JP 4058254 B2 JP4058254 B2 JP 4058254B2 JP 2001328107 A JP2001328107 A JP 2001328107A JP 2001328107 A JP2001328107 A JP 2001328107A JP 4058254 B2 JP4058254 B2 JP 4058254B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- position information
- image sensor
- defective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 105
- 238000012937 correction Methods 0.000 title claims description 67
- 230000007547 defect Effects 0.000 title claims description 25
- 230000002950 deficient Effects 0.000 claims description 211
- 238000003702 image correction Methods 0.000 claims description 50
- 238000012360 testing method Methods 0.000 claims description 50
- 238000003860 storage Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Image Input (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、イメージセンサの欠陥ピクセル補正装置及びその方法と前記方法を実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体に関する。
【０００２】
【従来の技術】
一般に、イメージセンサとは、ＣＣＤまたはＣＭＯＳからなる半導体素子をいい、このようなイメージセンサは、視覚的情報を入力する最も重要な素子であって、キャムコーダ、ディジタルカメラ、スキャナー(scanner)などの主要部品に用いられる。
【０００３】
イメージ情報は、光の情報と言えるが、明るさと色相とに区分して表現が可能であり、イメージセンサは、このような光情報を電気的信号に変換する装置であって、アナログである電気的信号をディジタル値に変換してイメージ処理をすることになる。
【０００４】
すなわち、イメージセンサは、複数のピクセルが２次元構造に配列されており(スキャナーのために１次元構成もある)、各ピクセルは、入る光の明るさによってこれを電気信号に変換させることになるが、この電気信号を測定すれば、各ピクセルに入る光の量が分かり、これを利用してピクセル単位のイメージを構成することができる。
【０００５】
この場合、各ピクセルの動作は、太陽電池の動作と類似していると言える。すなわち、光の明るさが強いほど多くの電荷を作って蓄積することになり、一定の時間の間各ピクセルに蓄積された電荷を測定して各ピクセルの光の強度が分かって各ピクセルを再構成すれば、イメージの形状が分かるようになるのである。
【０００６】
図１は、本発明が適用される実際の物体とセンサに捕獲された像の一例示図であって、実際の物体１０１、センサチップ１０２、ピクセルエリア(Pixel Area)１０３及びセンサのピクセルエリアに捕獲された実際の物体の像１０４を示している。
【０００７】
この場合、図面に示すピクセルエリア１０３内のピクセルが小さく多いほど、実際の物体をより近似して表現できるようになるのである。
【０００８】
このような、イメージセンサには、白黒とカラーとがある。カラーイメージセンサの場合には、ピクセル上にＲ、Ｇ、Ｂ(Red、Green、Blue)などのカラーフィルタが載せられて各ピクセルは該当色相の光に対して反応をする。
【０００９】
カラーフィルタが載せられるパターンは、種々の方式があるが、この中で代表的なものが次の[表１]に示したことのようなバイエルフォーマット(Bayer format)である。
【００１０】
【表１】
【００１１】
一般に、カラーイメージの各ピクセルは、一つの色相のみを表示するようになっている。しかし、実際には全てのピクセルがＲ、Ｇ、Ｂ情報を全部持っている時ディスプレーが可能であるので、いない情報を作るために補間(Interpolation)という手法を使用している。
【００１２】
補間手法を利用して前記[表１]の左側３ｘ３ボックス(Box)の真中にあるＢ１ピクセルのＲ、Ｇ、Ｂ値を求めれば、次の[数式１]と同様である。
【００１３】
【数１】
【００１４】
すなわち、前記のような数式を使用することによって、Ｂ１ピクセルのＲ、Ｇ、Ｂを全部求めることができる。
【００１５】
もう一つの例として、前記[表１]の右側３ｘ３ボックスの真中にあるＧ６のＲ、Ｇ、Ｂ値を求めれば、次の[数式２]と同様である。
【００１６】
【数２】
【００１７】
一般に、イメージセンサ製造過程中の種々の理由によって、正常に動作できないピクセルが発生することになるが、このようなピクセルは、光に対して適切に反応できないので、この出力値を利用してイメージを再構成すれば、実際とは違うように現れることになる。
【００１８】
このようなピクセルは、実際より明るく現れるか、または実際より暗く現れるが、この中でその差が大きくいため、顕著に目立つピクセルを欠陥ピクセル(Defective Pixel)という。
【００１９】
この中、実際より明るく現れる欠陥ピクセルをホワイトピクセル(White Pixel)(以下、簡単に「White Pixel」という)といい、実際より暗く現れる欠陥ピクセルをダークピクセル(Dark Pixel)(以下、簡単に「Dark Pixel」という)という。このような欠陥ピクセルがあるセンサは正常的な製品として販売することは困難である。
【００２０】
一方、イメージセンサは、ピクセルの数が多いほど高い解像度を有する高価の製品となるが、ピクセルの数が多くなるほど前記したような欠陥ピクセルが発生する可能性も高くなる。
【００２１】
実際に欠陥ピクセルは、イメージセンサの収率を左右する最も大きい要素であり、したがって、欠陥ピクセルがあるとしてもこれを製品として使用することができるならば、大きい利益となり得る。
【００２２】
このためにＤＰＣ(Defective Pixel Concealment)(以下、簡単に「ＤＰＣ」という)という方法を使用するが、これはセンサの物理的欠陥ピクセルを目に見えないように補完する方法である。ＤＰＣの基本原理は前記で説明した補間手法と同一である。
【００２３】
すなわち、ディスプレーしようとするピクセルが欠陥ピクセルであるならば、周囲の同じ色相を持っている正常的なピクセル値を利用して推定値に置き換えるものであって、以下では、次の[表２]を参照しながら説明する。
【００２４】
【表２】
【００２５】
すなわち、前記[表２]においてＢ２位置ピクセルのＲＧＢ値を求めようとするならば、Ｂ２が正常ピクセルである場合、Ｒ＝（Ｒ２＋Ｒ３＋Ｒ５＋Ｒ６）／４、Ｂ＝Ｂ２、Ｇ＝（Ｇ２＋Ｇ５＋Ｇ６＋Ｇ８）／４となる。
【００２６】
もし、Ｂ２が欠陥ピクセルであるならば、Ｂｌｕｅ値が実際とは違うように画面に現れる。この場合、Ｂ＝Ｂ２の代わりに、Ｂ＝（Ｂ１＋Ｂ３）／２に置き換えれば、はるかに自然な画面を得ることができる。
【００２７】
このような方法を補間によるＤＰＣ方法と言える。もう一つの方法には、単純にＢ＝Ｂ１に置き換えることもできるが、これは代替(Substitution)によるＤＰＣ方法と言える。
【００２８】
以下では、補間によるＤＰＣ方法の説明のために、もう一つの例として次の[表３]を参照しながら説明する。
【００２９】
【表３】
【００３０】
すなわち、[表３]でＧ５ピクセルのＧｒｅｅｎ値、Ｇ＝Ｇ５に表示される。もしＧ５ピクセルが欠陥ピクセルであるならば、Ｇ＝（Ｇ１＋Ｇ２＋Ｇ７＋Ｇ８）／４に置き換えれば良い。
【００３１】
この場合、代替によるＤＰＣ方法を利用する場合には、Ｇ＝Ｇ４に単に置き換えることもできる。
【００３２】
前記のようなＤＰＣ方法の中、補間による隠蔽(Concealment)が代替(Substitution)による隠蔽方法よりさらに自然な画面を得ることができるが、ハードウェア(Ｈ／Ｗ)がより多く必要となる。
【００３３】
前記のようなＤＰＣ方法を具現するための従来の装置を図２を参照しながら説明する。
【００３４】
図２ａないし図２ｃは、従来のイメージセンサの欠陥ピクセル補正装置の一実施例の構成図であって、カメラを一例にして示している。この場合、図２ａは、イメージセンサの欠陥ピクセル補正装置の全体構成を示すものであって、図２ｂは、図２ａに示した感知部２１０を詳細に示すものであって、図２ｃは、図２ａに示すイメージ補正部２２０を詳細に示すものである。
【００３５】
すなわち、図２ａに示すように、従来に利用されたイメージセンサの欠陥ピクセル補正装置は、イメージを感知するために、センサから構成された感知部２１０、イメージの欠陥ピクセルを補正するためのイメージ補正部２２０、イメージ欠陥ピクセルの位置情報を格納するために、ＥＰＲＯＭ(Erasable and Programmable ROM)(以下、簡単に「ＥＰＲＯＭ」という)から構成された格納部２４０、及び前記各部間の移動情報を制御するための制御部２３０を含んで構成されている。
【００３６】
前記のような構成において、イメージ補正部２２０は、感知部のセンサから伝送されたイメージデータを、補間を含んで実際利用できる形態に処理する回路であって、ＤＰＣ回路もここに含まれて補間前に処理すべきである。
【００３７】
イメージ補正部２２０を詳細に示すものが図２ｃであって、図面に示すように、イメージ補正部２２０は、正常ピクセルに対する補間を行なうための補間処理器２２１、欠陥ピクセルに対する補間を行なうための補間処理器２２２、現在ピクセルの位置情報を管理するための現在ピクセルの位置感知器２２３、欠陥ピクセルの位置情報を記録するための欠陥ピクセル位置記録器２２４、現在ピクセルの位置と欠陥ピクセルの位置とを比較するための比較器２２５、比較器の比較結果によって、ＤＰＣ過程を行なうためのＤＰＣ処理器２２６、ＤＰＣ処理器を駆動させるためのＤＰＣ駆動器２２７、ＤＰＣ処理器の処理結果によって、正常ピクセルに対する補間処理器または欠陥ピクセルに対する補間処理器の出力結果を選択するための選択器２２８及びＤＰＣ機能の他に入力されたイメージフレームに対する別途の機能を行なうためのその他の過程処理器２２９を含んで構成されている。
【００３８】
また、制御部２３０は、イメージ補正部２２０のデータを分析して適当な処理をし、感知部２１０やイメージ補正部２２０を用途に合うようにプログラムする役割をする。
【００３９】
また、ＥＰＲＯＭから構成された格納部２４０は、感知部２１０にあるセンサのピクセルエリア１０３での欠陥ピクセルの位置情報を格納しており、カメラが正常動作モードに作動することになれば、制御部２３０はＥＰＲＯＭ２４０に格納されている欠陥ピクセルの位置情報をイメージ補正部２２０の欠陥ピクセル位置記録器２２４に記録することになる。
【００４０】
以下、前記のような構成を有するイメージセンサの欠陥ピクセル補正装置で行なわれた従来の欠陥ピクセル補正方法を説明する。
【００４１】
まず、欠陥ピクセルを探してプログラミングする方法は次の通りである。
【００４２】
すなわち、感知部２１０にあるセンサの露出を適当にセッティングし適当な照明下で白色面を取る。
【００４３】
このように撮影した画面を制御部２３０で分析して他のピクセルに比べて顕著に暗いピクセルがあれば、これをDark Pixelと見做してピクセルエリア１０３内での位置を記憶する。
【００４４】
センサの露出と照明を他の適当な値にセッティングし黒い背景を取る。
【００４５】
このように撮影した画面を制御部２３０で分析して他のピクセルに比べて顕著に明るいピクセルがあれば、これをWhite Pixelと見做してピクセルエリア１０３内での位置を記憶する。
【００４６】
前記過程を介して探したDark PixelとWhite Pixelの位置をＥＰＲＯＭ２４０に格納する。
【００４７】
次に、ＥＰＲＯＭ２４０に格納された欠陥ピクセルの位置を利用して実際にＤＰＣを行なう方法は次の通りである。
【００４８】
すなわち、カメラに電源が印加されれば、制御部２３０はＥＰＲＯＭ２４０の欠陥ピクセル位置を読み出してイメージ補正部２２０の欠陥ピクセル位置記録器２２４に記録し、ＤＰＣ駆動器２２７を駆動させる。
【００４９】
この後、各ピクセルの補間を進行する時ごとに現在ピクセルの位置感知器２２３の値と欠陥ピクセル位置記録器２２４の値とを比較して、もし値が一致すれば、現在補間しようとするピクセルは欠陥ピクセルであるので、選択器２２８では欠陥ピクセルに対する補間器２２２において処理された値を選択して制御部２３０にその値を伝達することによって、イメージセンサの欠陥ピクセルを補正することになる。
【００５０】
すなわち、前記のような従来のＤＰＣ方法は、ＥＰＲＯＭ２４０に欠陥ピクセルの位置を記憶しておき、カメラに電源が印加されれば、これを欠陥ピクセル位置記録器(ＡＳＩＣのRegister)２２４にロードした後、センサから伝送されたイメージの各ピクセルが前記欠陥ピクセルの位置と判断されれば、これを補正して伝送する方法である。この場合、ＥＰＲＯＭ２４０のデータを読み出して欠陥ピクセル位置記録器(ＡＳＩＣのＤＰＣ回路のレジスタ)２２４に記録する理由は、ＥＰＲＯＭ２４０の動作速度が遅くてＥＰＲＯＭに位置データを持って直接ＤＰＣをできないためである。
【００５１】
このような方法のために、まずピクセルの欠陥位置を探すべきであるが、探す方法には、システムの集光タイム(Integration Time)を一定にし、非常に暗いイメージと非常に明るいイメージを取って異常があるピクセルを探し出す方法がある。
【００５２】
しかし、前記したことのような従来のＤＰＣ方法には以下のような問題点がある。
【００５３】
すなわち、欠陥ピクセルの位置を格納するために、別途の格納装置であるＥＰＲＯＭを必要とし、欠陥ピクセルの位置を探すために、センサの露出、撮影環境などを変えながらいちいちテストをすべきであり、このようにして探した欠陥位置をまたＥＰＲＯＭに格納する等複雑な過程が要求されるという点である。
【００５４】
また、ピクセルの中にはある場合には欠陥のように現れることもあり、ある場合には正常のように現れることもあるピクセル(このようなピクセルをMoving Defectという)が存在するが、前記のような従来の方法は、製品出荷前に一回のテストで欠陥ピクセルを探してＥＰＲＯＭに格納しておいた状態で、ユーザがカメラを使用するので、カメラ使用中に発生するこのような動く欠陥ピクセル(Moving Defect Pixel)に対してはいかなる補正もできないという問題点がある。
【００５５】
すなわち、前記のような従来の方法によれば、イメージセンサの欠陥ピクセルに対する情報は、イメージセンサを製作する事業者の実験により固定した値に格納されているので、ユーザが前記のようなイメージセンサの欠陥ピクセル補正装置が付着された製品を使用する途中に現れる欠陥ピクセルに対しは、いかなる対処もできないのみでなく、事業者の立場においても販売される全てのイメージセンサに対していちいち欠陥ピクセルの位置を把握して別途の格納装置に格納させて置くべきであるので、複雑な工程及び追加コストを負担しなければならないという問題点がある。
【００５６】
【発明が解決しようとする課題】
そこで、本発明は上記従来の技術の問題点に鑑みてなされたものであって、外部に別に格納手段を設ける必要がないのみでなく、いちいちテストをして欠陥ピクセルに対するプログラミングをする必要もなく、ユーザが使用する間にも動く欠陥ピクセル(Moving defect pixel)に対する補正が可能となるようにするための、イメージセンサの欠陥ピクセル補正装置及びその方法と、前記方法を実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供することにその目的がある。
【００５７】
【課題を解決するための手段】
前記目的を達成するため、本発明は、イメージセンサの欠陥ピクセル補正装置において、レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知した実際の物体のイメージをイメージフレームとしてイメージ補正手段に入力するための感知手段と、テストモードの間、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している。
【００５８】
また、前記目的を達成するため、本発明は、レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードの間、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を使用してイメージセンサの欠陥ピクセルを補正する方法において、前記感知手段の露出を最小化する第１ステップと、前記光源をオンにしてテストモードを設定する第２ステップと、前記テストモードの間、前記制御手段が、イメージセンサのホワイトピクセル(White Pixel)を探索してその位置情報を臨時に格納する第３ステップと、前記テストモードの間、前記制御手段が、イメージセンサのダークピクセル(Dark Pixel)を探索してその位置情報を臨時に格納する第４ステップと、前記テストモードの間、前記イメージ補正手段が、臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第５ステップと、正常モードの間、前記光源をオフにして、実際の物体のイメージフレームを前記イメージ補正手段に入力する第６ステップと、前記イメージ補正手段が、前記実際の物体のイメージに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しは、欠陥ピクセルに対する補間を実行した後、前記イメージを再び組み合わせて出力する第７ステップとを含む。
【００５９】
また、前記目的を達成するため、本発明は、レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードの間、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を使用してイメージセンサの欠陥ピクセルを補正する方法において、前記感知手段の露出を最小化する第１ステップと、前記光源をオンにしてテストモードを設定する第２ステップと、前記テストモードの間、前記制御手段が、イメージセンサのホワイトピクセルの探索条件下で入力された第１イメージフレームを格納する第３ステップと、前記テストモードの間、前記制御手段が、イメージセンサのダークピクセルの探索条件下で入力された第２イメージフレームを格納する第４ステップと、前記テストモードの間、前記イメージ補正手段が、前記第１イメージフレーム及び前記第２イメージフレームに対して各々ホワイトピクセル及びダークピクセル如何を判断して、ホワイトピクセル及びダークピクセルの位置情報を臨時に格納しておいて、臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第５ステップと、正常モードの間、前記光源をオフにして、実際の物体のイメージを入力する第６ステップと、前記イメージ補正手段が、前記実際の物体のイメージに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しは、欠陥ピクセルに対する補間を実行した後、前記イメージを再び組み合わせて出力する第７ステップとを含む。
【００６０】
また、前記目的を達成するため、本発明は、レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードの間、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を構成するコンピュータシステムに対して、そのコンピュータに、前記制御手段がイメージセンサのホワイトピクセルを探索してその位置情報を臨時に格納する第１機能と、前記制御手段がイメージセンサのダークピクセルを探索してその位置情報を臨時に格納する第２機能と、前記イメージ補正手段が臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第３機能と、前記光源をオフにして実際の物体のイメージのイメージフレームを前記イメージ補正手段に入力する第４機能と、前記イメージ補正手段が前記実際の物体のイメージのイメージフレームに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しは欠陥ピクセルに対する補間を実行した後、前記イメージフレームを再び組み合わせて出力する第５機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００６１】
また、前記目的を達成するため、本発明は、レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードの間、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を構成するコンピュータシステムに対して、そのコンピュータに、前記制御手段がイメージセンサのホワイトピクセルの探索条件下で入力された第１イメージフレームを格納する第１機能と、前記制御手段がイメージセンサのダークピクセルの探索条件下で入力された第２イメージフレームを格納する第２機能と、前記イメージ補正手段が前記第１イメージフレーム及び前記第２イメージフレームに対して各々ホワイトピクセル及びダークピクセル如何を判断して、ホワイトピクセル及びダークピクセルの位置情報を臨時に格納しておいて、臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第３機能と、前記光源をオフにして実際の物体のイメージのイメージフレームを前記イメージ補正手段に入力する第４機能と、前記イメージ補正手段が前記実際の物体のイメージのイメージフレームに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しは欠陥ピクセルに対する補間を実行した後、前記イメージフレームを再び組み合わせて出力する第５機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００６２】
本発明で提供しようとするイメージセンサの欠陥ピクセル補正装置は、欠陥ピクセルを探す装置を内蔵しているので全体システムの稼動時人工知能的に欠陥ピクセルを探す一方、欠陥ピクセルの位置情報をＡＳＩＣ（応用注文型集積回路）から構成された欠陥ピクセル位置記録器に記録しておくことによって、入力されたイメージの各ピクセルに対して欠陥ピクセルの如何を比較判断して欠陥ピクセルに対して補正できるようにした。
【００６３】
【発明の実施の形態】
以下、図３及び図６を参照しながら本発明に係る好ましい一実施例を詳細に説明する。
【００６４】
図３は、本発明に係るイメージセンサの欠陥ピクセル補正装置の一実施例の構成図である。また、図４ａは、本発明に係るイメージセンサの欠陥ピクセル補正装置の中、感知部の一実施例詳細構成図であって、図３に示す感知部（センサ）３１０の断面図を詳細に示すものである。また、図４ｂは、本発明に係るイメージセンサの欠陥ピクセル補正装置の中イメージ補正部の一実施例詳細構成図であって、図３に示すイメージ補正部３２０を詳細に示したものである。また、図４ｃは、本発明に係るイメージセンサの欠陥ピクセル補正装置の中制御部の一実施例詳細構成図であって、図３に示す制御部３３０を詳細に示したものである。
【００６５】
すなわち、図面に示すように、本発明に係るイメージセンサの欠陥ピクセル補正装置は、感知部（センサ）３１０、イメージ補正部３２０、及び制御部３３０を含んで構成されている。
【００６６】
前記のような構成を有する本発明に係るイメージセンサの欠陥ピクセル補正装置は、キャムコーダ(Camcorder)、ディジタルカメラ、スキャナー等のようなシステムで用いられることができ、以下では、特にディジタルカメラシステムを一例として説明する。すなわち、図３に示すイメージセンサの欠陥ピクセル補正装置は、ディジタルカメラシステムに実装されて作動されているものであると言える。
【００６７】
まず、図４ａを参照しながらイメージを感知するための感知部３１０について説明する。図面に示すように、感知部３１０は、レンズホルダー３１１、レンズ３１２、光源３１３、イメージセンサパッケージ３１４、イメージセンサダイ３１５、ＰＣＢボード３１６を含んで構成されており、図２ｂに示す従来の感知部２１０と比較した時、光源３１３をさらに含んでいる。
【００６８】
すなわち、本発明に係るイメージセンサの欠陥ピクセル補正装置の感知部３１０には、図面に示すように、センサと近い所に小さい光源３１３が設けられており、この光源３１３は欠陥ピクセルを探す間のみしばらくの間オンにされて正常動作時にはオフされることになる。
【００６９】
一方、センサが正常モードに動作する時、すなわち、レンズから入ったイメージを捕獲する間には、光源３１３がこれを妨害してはいけないので、これのために光源３１３はレンズから入る光の経路から外れた所に位置することになる。
【００７０】
前記のような感知部３１０の構成において、光源３１３がオフされている間は、光源がないことのように動作すべきであるが、光源３１３が入った場合には、逆に外部の画像が無視されるべきであるので、光源３１３の明るさがレンズから外部の画像がセンサに像として捕獲されないほど明るいべきであり、この場合、センサに捕獲される像は内部光源によるものである。
【００７１】
次に、図４ｂを参照しながらイメージ補正部３２０について詳細に説明する。
【００７２】
すなわち、図面に示すように、イメージ補正部３２０は、正常ピクセルに対する補間を行なうための補間処理器３２１、欠陥ピクセルに対する補間を行なうための補間処理器３２２、現在ピクセルの位置情報を管理するための現在ピクセルの位置感知器３２３、欠陥ピクセルの位置情報を記録するための欠陥ピクセル位置記録器３２４、現在ピクセルの位置と欠陥ピクセルの位置とを比較するための比較器３２５、比較器の比較結果に応じてＤＰＣ過程を行なうためのＤＰＣ処理器３２６、ＤＰＣ処理器を駆動させるためのＤＰＣ駆動器３２７、正常動作モードでＤＰＣ処理器の処理結果に応じて正常ピクセルに対する補間処理器または欠陥ピクセルに対する補間処理器の出力結果を選択し、テストモードで感知部３１０からのイメージフレームを伝達される選択器３２８、ＤＰＣ機能の他に入力されたイメージフレームに対する別途の機能を行なうためのその他の過程処理器３２９と、及び前記テストモードであるかまたは正常動作モードであるかの如何に対する情報を制御部３３０から入力されて前記選択器３２８の駆動を制御する選択器制御器３４１を含んで構成されている。
【００７３】
一方、図４ｂの本実施例では感知部３１０のセンサで感知されたテストモード時のイメージフレームが補正部３２０を介して制御部３３０に伝達される構成からなっているが、感知部３１０から補正部３２０を介さず直接制御部３３０にテストモード時のイメージフレームが伝達されるように具現することもできる。
【００７４】
次に、図４ｃを参照しながら制御部３３０について詳細に説明する。
【００７５】
制御部３３０は、カメラ外部のＰＣ等コンピュータシステムになり得るのみでなく、カメラ内部のマイクロコントローラ(Micro Controller)にもなり得るし、感知部（センサ）３１０、イメージ補正部３２０等からデータを受け取って処理しこれらを制御する役割をする。
【００７６】
前記のような役割のために、制御部３３０は、感知部３１０のセンサを介して入力されたイメージフレームを格納するためのイメージフレーム格納器３３３、イメージフレーム格納器に格納されたイメージフレームに対して欠陥ピクセルを探すためのプログラムを格納し、そのプログラムを行なうための欠陥ピクセル探知器３３２、欠陥ピクセル探知器で探知された欠陥ピクセルの位置を臨時保管するための欠陥ピクセル位置臨時格納器３３４及び前記各構成要素３３２ないし３３４と外部回路間の移動情報を制御するためのイメージ制御器３３１を含んで構成されている。
【００７７】
以下では、前記のような構成を有するイメージセンサの欠陥ピクセル補正装置を利用して欠陥ピクセルを補正する方法を説明する。
【００７８】
図５は、本発明に係るイメージセンサの欠陥ピクセル補正方法の一実施例のフローチャートである。
【００７９】
本発明に係るイメージセンサの欠陥ピクセルの補正のために、まず前記で説明した欠陥ピクセル補正装置に電源(Power)を印加させる(５１０）。
【００８０】
電源が印加されれば、制御部３３０のイメージ制御器３３１は、カメラのモードをWhite Pixelを探索するためのテストモードにセッティングした後、下記の過程を介してWhite Pixelを探索してその位置情報を欠陥ピクセル位置臨時格納器３３４に格納することになる（５２０）。
【００８１】
すなわち、センサの露出を最小にセッティングし、イメージ補正部３２０の補間機能及びＤＰＣ機能を遮断(disable)させる。
【００８２】
テストモードにセッティングされたならば、イメージ制御器３３１は、感知部３１０のセンサを介して入力されたイメージフレームを読み出してイメージフレーム格納器３３３に格納することになり、欠陥ピクセル探知器３３２は、イメージフレーム格納器３３３に格納されたイメージデータをピクセル単位で読み出しながら欠陥判定方式によって欠陥如何を判定して(White Pixel探索)、欠陥ピクセルであるならば、ピクセルの位置を欠陥ピクセル位置臨時格納器３３４に格納する。
【００８３】
前記のようなWhite Pixel探知過程をイメージフレーム格納器３３３の全てのピクセルに対して繰り返す。
【００８４】
イメージフレーム格納器３３３の全てのピクセルに対してWhite Pixel探知過程を行なったならば、カメラのモードをDark Pixelを探知するためのテストモードにセッティングした後、下記の過程を介してDark Pixelを探索してその位置情報を欠陥ピクセル位置臨時格納器３３４に格納することになる（５３０）。
【００８５】
すなわち、感知部３１０内のセンサの露出を適当な値にセッティングし、光源３１３をオンにした状態でセンサから入力されたイメージフレームを読み出してイメージフレーム格納器３３３に格納した後、光源３１３をオフにする。
【００８６】
光源３１３をオフにした状態でイメージフレーム格納器３３３に格納されたデータをピクセル単位で読み出しながら、欠陥判定方式によって欠陥如何を判定(Dark Pixel探索)して、欠陥ピクセルであるならば、ピクセルの位置を欠陥ピクセル位置臨時格納器３３４に格納する。
【００８７】
前記のようなDark Pixel判定過程をイメージフレーム格納器３３３の全てのピクセルに対して繰り返す。
【００８８】
前記のような過程（５２０、５３０）が終了すれば、イメージ制御器３３１は、欠陥ピクセル位置臨時格納器３３４に格納されている欠陥ピクセルの位置情報を読み出してイメージ補正部３２０内の欠陥ピクセル位置記録器３２４に記録し（５４０）、ディジタルカメラシステムのモードを正常動作モードにセッティングする（５５０）。すなわち、イメージ補正部３２０のＤＰＣ機能及び補間機能を駆動させ感知部３１０のセンサを介してイメージを入力される。
【００８９】
正常動作モードでディジタルカメラシステムは、イメージ補正部３２０のＤＰＣ回路によって正常動作をすることになるが、現在ピクセルの位置感知部３２３にある現在ピクセルの位置情報と欠陥ピクセル位置記録器３２４に記録されている欠陥ピクセルの位置とを比較して、同じものがあれば、欠陥ピクセルに対する補間処理器３２２の出力を利用し、そうではなかったら正常ピクセルに対する補間処理器３２１の出力を利用して感知部３１０を介して入力されたイメージを再び組み合わせることになる（５６０）。
【００９０】
一方、前記過程はイメージフレーム格納器３３３を二つの所に設けて進行させることもできる。すなわち、White Pixel探知過程（５２０）とDark Pixel探知過程（５３０）で各々読み出されたイメージフレームをまず二つの所のイメージフレーム格納器３３３に各々格納しておいて、White Pixel如何判定及びDark Pixel如何判定過程を同時に実行させるのである。
【００９１】
図６ａは、本発明に係るイメージセンサの欠陥ピクセル補正方法の中White Pixel判定方法の一実施例詳細フローチャートであって、図５に示す過程の中White
Pixel判定過程（５２０）を詳細に示すものである。
【００９２】
前記図５に対する説明のように、ディジタルカメラシステムに電源が印加されれば（５１０）、カメラのモードをWhite Pixel探索のためのテストモードにセッティングさせる（５２１）。
【００９３】
すなわち、制御部３３０は、感知部３１０内のセンサの露出を最小にプログラムし、イメージ補正部３２０の補間機能及びＤＰＣ機能を遮断させる（この場合、制御部３３０はディジタルカメラシステム外部のＰＣであり得るし、この場合には、ＰＣでカメラ用プログラムを利用してカメラのセンサ及びイメージ補正部３２０を調整する）。
【００９４】
テストモードにセッティングされならば、感知部３１０内のセンサを介して入力されたイメージの一つのフレームを読み出してイメージフレーム格納器３３３に格納する（このイメージフレームは補間されてない原始データである）（５２２）。
【００９５】
イメージフレームが格納されたならば、欠陥ピクセル探知器３２２でイメージフレーム格納器３３３に格納されたピクセルを一つずつ調べて他のピクセルより顕著に明るく現れるピクセルをWhite Pixelと見做して（５２３）、その位置を欠陥ピクセル位置臨時格納器３３４に格納する（５２４）。
【００９６】
この場合、他のピクセルより顕著に明るいということを判断するために、全体フレーム平均と比較するか周辺の他のピクセル値と比較することができ、各ピクセルの一実施例値を示した下記の［表４］を例として説明する。
【００９７】
【表４】
【００９８】
まず、全体フレーム平均と比較する方法には、全体フレーム平均をＡとし、調べようとするピクセルが［表４］においてＧ５とすれば、Ｇ５＞Ａ＊Ｖであれば、Ｇ５ピクセルを欠陥ピクセルと見なすのである（ここでＶは、重み付け値として平均より３０％以上明るいピクセルを探そうとすれば、Ｖ＝１．３、５０％以上明るいものを探そうとすれば、Ｖ＝１．５などとなる）。
【００９９】
次に、周辺の他のピクセル値と比較する方法には、Ｇ５の場合、Ｇ５＞Ｖ＊（Ｇ１＋Ｒ２＋Ｇ２＋Ｂ１＋Ｂ２＋Ｇ７＋Ｒ５＋Ｇ８）／８でテストすることができる。すなわち周辺の八つのピクセルの平均と比較する方法に重み付け値Vを使用することは同じである。
【０１００】
もう一つの方法には、単に隣の二つのピクセルとのみ比較することもできる。Ｇ５の場合、Ｇ５＞Ｖ＊（Ｂ１＋Ｂ２）／２を介してチェックできる。すなわち、左右の二つの平均と比較することもできる。
【０１０１】
もう一つの方法としてさらに簡単には、直ぐ前の一つのピクセルのみを持ってテストすることも可能である。すなわち、Ｇ５＞Ｖ＊Ｂ１である場合に、欠陥ピクセル(White Pixel)と見なす。
【０１０２】
前記のような欠陥ピクセルの判断をする時、全体フレーム平均を利用せず周囲のいくつのピクセル値のみ比較して判断する場合、比較しようとする周囲のピクセルが欠陥ピクセルである場合には、これを除外した他の値でのみ判断の根拠とする。
【０１０３】
例えば、Ｇ５と周囲の八つのピクセルとを比較する場合、Ｇ１が欠陥ピクセルであるならば、Ｇ１を除外した残りの七つのピクセルの平均を使用する。左右の二つのピクセルのみを利用する場合、一つが欠陥ピクセルであるならば、他の一つのみを利用して処理する。直ぐ前の一つのピクセルのみを利用する場合に、前のピクセルが欠陥ピクセルであるならば、処理しようとするピクセルは欠陥ピクセルではないと見なす。このような判断のために、現在の時点まで探し出した欠陥ピクセル位置臨時格納器３３４内の全ての情報を利用することもできる。
【０１０４】
前記のようなWhite Pixel如何判定過程がイメージフレーム格納器３３３内の全てのピクセルに対して行なわれたかを判断して（５２５）、イメージフレーム内の全てのWhite Pixelの位置を探して欠陥ピクセル位置臨時格納器３３４に格納する（５２４）。
【０１０５】
図６ｂは、本発明に係るイメージセンサの欠陥ピクセル補正方法の中、ダークピクセル(Dark Pixel)判定方法の一実施例詳細フローチャートであって、図５に示す過程の中Dark Pixel判定過程（５４０）を詳細に示すものである。
【０１０６】
まず、カメラのモードをDark Pixel探索のためのテストモードにセッティングさせる（５３１）。
【０１０７】
すなわち、光源をオンにして集光タイムを適切に与えた後、感知部３１０内のセンサを介して入力されたイメージの一つのフレーム(Raw Data Image Frame)を読み出してイメージフレーム格納器３３３に格納した後（５３２）、光源をオフにする（５３３）。
【０１０８】
イメージ制御器３３１は、イメージフレーム格納器３３３に格納されたピクセルを一つずつ調べて他のピクセルより顕著に暗く現れるピクセルをDark Pixelと見做して（５３４）、その位置を欠陥ピクセル位置臨時格納器３３４に格納する（５３５）。
【０１０９】
この場合、他のピクセルより顕著に明るいということを判断するために、全体フレーム平均と比較するか、周辺の他のピクセル値と比較することができ、各ピクセルの一実施例値を示す下記の[表５]を例として説明する。
【０１１０】
【表５】
【０１１１】
まず、全体フレーム平均と比較する方法には、全体フレーム平均をＡとし、調べようとするピクセルが［表５］においてＧ５とすれば、Ｇ５＜Ａ＊Ｖであれば、Ｇ５ピクセルを欠陥ピクセルと見なすのである（ここで、Ｖは重み付け値であって平均より３０％以上暗いピクセルを探そうとすれば、Ｖ＝０．７、５０％以上暗いものを探そうとすれば、Ｖ＝０．５などとなる）。
【０１１２】
次に、周辺の他のピクセル値と比較する方法には、Ｇ５の場合、Ｇ５＜Ｖ＊（Ｇ１＋Ｒ２＋Ｇ２＋Ｂ１＋Ｂ２＋Ｇ７＋Ｒ５＋Ｇ８）／８でテストすることができる。すなわち、周辺の八つのピクセルの平均と比較する方法に重み付け値Vを使用することは同じである。
【０１１３】
もう一つの方法には、単に隣の二つのピクセルのみと比較することもできる。Ｇ５の場合、Ｇ５＜Ｖ＊（Ｂ１＋Ｂ２）／２を介してチェックできる。すなわち左右の二つの平均と比較することもできる。
【０１１４】
もう一つの方法としてより簡単には、直ぐ前の一つのピクセルのみを持ってテストすることも可能である。すなわち、Ｇ５＜Ｖ＊Ｂ１である場合に、欠陥ピクセルと見なす。
【０１１５】
前記のような欠陥ピクセルの判断をする時、全体フレーム平均を利用せず周囲のいくつのピクセル値のみ比較して判断する場合、比較しようとする周囲のピクセルが欠陥ピクセルである場合には、これを除外した他の値のみで判断の根拠とする。
【０１１６】
例えば、Ｇ５と周囲の八つのピクセルを比較する場合、Ｇ１が欠陥ピクセルであるならば、Ｇ１を除外した残りの七つのピクセルの平均を使用する。左右の二つのピクセルのみを利用する場合、一つが欠陥ピクセルであるならば、他の一つのみを利用して処理する。直ぐ前の一つのピクセルのみを利用する場合に、前のピクセルが欠陥ピクセルであるならば、処理しようとするピクセルは、欠陥ピクセルではないと見なす。このような判断のために、現在の時点まで探し出した欠陥ピクセル位置臨時格納器３３４内の全ての情報を利用できる。
【０１１７】
前記のようなダークピクセル如何判定過程がイメージフレーム格納器３３４内の全てのピクセルに対して行なわれたかを判断して（５３６）、イメージフレーム内の全てのDark Pixelの位置を探して欠陥ピクセル位置臨時格納器３３４に格納する（５３５）。
【０１１８】
図６ｃは、本発明に係るイメージセンサの欠陥ピクセル補正方法の中、正常モード動作方法の一実施例の詳細フローチャートであって、図５に示す過程の中正常動作モードの進行過程（５６０）を詳細に示すものである。
【０１１９】
正常動作モードで感知部３１０内のセンサを介して入力されたピクセルの位置と欠陥ピクセルの位置情報を、現在ピクセルの位置感知器３２３及び欠陥ピクセル位置記録器３２４で各々読み出してその位置情報を比較する（５６１）。
【０１２０】
比較の結果、現在ピクセルの位置が欠陥ピクセル位置の中いずれか一つと同一であるならば（５６２）、処理しようとするピクセルを欠陥ピクセルと判定して、欠陥ピクセルに対する補間処理器３２２の結果を出力する（５６４）。
【０１２１】
比較の結果、欠陥ピクセルのどの位置とも一致しなければ（５６２）、正常ピクセルと判定して正常ピクセルに対する補間処理器３２１の結果を出力する（５６３）。
【０１２２】
前記のような過程を介して正常ピクセルに対する補間処理器３２１または欠陥ピクセルに対する補間処理器３２２から出力された値を利用してイメージを組み合わせた後、ディジタルカメラシステムの出力部を介してイメージを出力する（５６５）。
【０１２３】
尚、本発明は、本実施例に限られるものではない。本発明の趣旨から逸脱しない範囲内で多様に変更実施することが可能である。
【０１２４】
【発明の効果】
上述したようになされる本発明によると、欠陥ピクセルの位置を格納するために、別途の格納装置であるＥＰＲＯＭを必要としないので、システムの費用が増加しないだけでなく（ただし、セルフテストのためにレンズホルダーにＬＥＤ一つが付着必要)、欠陥ピクセルの位置を探すために、センサの露出、撮影環境などを変えながらいちいちテストをすべきである複雑な過程が要求されないという優れた効果がある。
【０１２５】
また、本発明は、ある場合には欠陥ピクセルに現れて、ある場合には正常のように現れることもあるピクセル(このようなピクセルをMoving Defectという)に対する補正が可能であるという優れた効果がある。
【図面の簡単な説明】
【図１】 本発明が適用される実際の物体とセンサに捕獲された像の一例示図。
【図２ａないし図２ｃ】 従来のイメージセンサの欠陥ピクセル補正装置の一実施例の構成図。
【図３】 本発明に係るイメージセンサの欠陥ピクセル補正装置の一実施例の構成図。
【図４ａ】 本発明に係るイメージセンサの欠陥ピクセル補正装置の中感知部の一実施例の詳細構成図。
【図４ｂ】 本発明に係るイメージセンサの欠陥ピクセル補正装置の中イメージ補正部の一実施例の詳細構成図。
【図４ｃ】 本発明に係るイメージセンサの欠陥ピクセル補正装置の中制御部の一実施例の詳細構成図。
【図５】 本発明に係るイメージセンサの欠陥ピクセル補正方法の一実施例のフローチャート。
【図６ａ】 本発明に係るイメージセンサの欠陥ピクセル補正方法の中ホワイトピクセル判定方法の一実施例の詳細フローチャート。
【図６ｂ】 本発明に係るイメージセンサの欠陥ピクセル補正方法の中ダークピクセル判定方法の一実施例の詳細フローチャート。
【図６ｃ】 本発明に係るイメージセンサの欠陥ピクセル補正方法の中正常モード動作方法の一実施例の詳細フローチャート。
【符号の説明】
３１０...感知部、３２１...正常ピクセルに対する補間を行うための補間処理器、３２２...欠陥ピクセルに対する補間を行うための補間処理器、３２３...現在ピクセルの位置感知器、３２８...選択器、３２６...ＤＰＣ処理器、３２５... 比較器、３２９...その他の過程処理器、３２７...ＤＰＣ駆動器、３２４...欠陥ピクセル位置記録器、３３０...制御器、３４１...選択制御器。
【発明の属する技術分野】
本発明は、イメージセンサの欠陥ピクセル補正装置及びその方法と前記方法を実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体に関する。
【０００２】
【従来の技術】
一般に、イメージセンサとは、ＣＣＤまたはＣＭＯＳからなる半導体素子をいい、このようなイメージセンサは、視覚的情報を入力する最も重要な素子であって、キャムコーダ、ディジタルカメラ、スキャナー(scanner)などの主要部品に用いられる。
【０００３】
イメージ情報は、光の情報と言えるが、明るさと色相とに区分して表現が可能であり、イメージセンサは、このような光情報を電気的信号に変換する装置であって、アナログである電気的信号をディジタル値に変換してイメージ処理をすることになる。
【０００４】
すなわち、イメージセンサは、複数のピクセルが２次元構造に配列されており(スキャナーのために１次元構成もある)、各ピクセルは、入る光の明るさによってこれを電気信号に変換させることになるが、この電気信号を測定すれば、各ピクセルに入る光の量が分かり、これを利用してピクセル単位のイメージを構成することができる。
【０００５】
この場合、各ピクセルの動作は、太陽電池の動作と類似していると言える。すなわち、光の明るさが強いほど多くの電荷を作って蓄積することになり、一定の時間の間各ピクセルに蓄積された電荷を測定して各ピクセルの光の強度が分かって各ピクセルを再構成すれば、イメージの形状が分かるようになるのである。
【０００６】
図１は、本発明が適用される実際の物体とセンサに捕獲された像の一例示図であって、実際の物体１０１、センサチップ１０２、ピクセルエリア(Pixel Area)１０３及びセンサのピクセルエリアに捕獲された実際の物体の像１０４を示している。
【０００７】
この場合、図面に示すピクセルエリア１０３内のピクセルが小さく多いほど、実際の物体をより近似して表現できるようになるのである。
【０００８】
このような、イメージセンサには、白黒とカラーとがある。カラーイメージセンサの場合には、ピクセル上にＲ、Ｇ、Ｂ(Red、Green、Blue)などのカラーフィルタが載せられて各ピクセルは該当色相の光に対して反応をする。
【０００９】
カラーフィルタが載せられるパターンは、種々の方式があるが、この中で代表的なものが次の[表１]に示したことのようなバイエルフォーマット(Bayer format)である。
【００１０】
【表１】
一般に、カラーイメージの各ピクセルは、一つの色相のみを表示するようになっている。しかし、実際には全てのピクセルがＲ、Ｇ、Ｂ情報を全部持っている時ディスプレーが可能であるので、いない情報を作るために補間(Interpolation)という手法を使用している。
【００１２】
補間手法を利用して前記[表１]の左側３ｘ３ボックス(Box)の真中にあるＢ１ピクセルのＲ、Ｇ、Ｂ値を求めれば、次の[数式１]と同様である。
【００１３】
【数１】
すなわち、前記のような数式を使用することによって、Ｂ１ピクセルのＲ、Ｇ、Ｂを全部求めることができる。
【００１５】
もう一つの例として、前記[表１]の右側３ｘ３ボックスの真中にあるＧ６のＲ、Ｇ、Ｂ値を求めれば、次の[数式２]と同様である。
【００１６】
【数２】
一般に、イメージセンサ製造過程中の種々の理由によって、正常に動作できないピクセルが発生することになるが、このようなピクセルは、光に対して適切に反応できないので、この出力値を利用してイメージを再構成すれば、実際とは違うように現れることになる。
【００１８】
このようなピクセルは、実際より明るく現れるか、または実際より暗く現れるが、この中でその差が大きくいため、顕著に目立つピクセルを欠陥ピクセル(Defective Pixel)という。
【００１９】
この中、実際より明るく現れる欠陥ピクセルをホワイトピクセル(White Pixel)(以下、簡単に「White Pixel」という)といい、実際より暗く現れる欠陥ピクセルをダークピクセル(Dark Pixel)(以下、簡単に「Dark Pixel」という)という。このような欠陥ピクセルがあるセンサは正常的な製品として販売することは困難である。
【００２０】
一方、イメージセンサは、ピクセルの数が多いほど高い解像度を有する高価の製品となるが、ピクセルの数が多くなるほど前記したような欠陥ピクセルが発生する可能性も高くなる。
【００２１】
実際に欠陥ピクセルは、イメージセンサの収率を左右する最も大きい要素であり、したがって、欠陥ピクセルがあるとしてもこれを製品として使用することができるならば、大きい利益となり得る。
【００２２】
このためにＤＰＣ(Defective Pixel Concealment)(以下、簡単に「ＤＰＣ」という)という方法を使用するが、これはセンサの物理的欠陥ピクセルを目に見えないように補完する方法である。ＤＰＣの基本原理は前記で説明した補間手法と同一である。
【００２３】
すなわち、ディスプレーしようとするピクセルが欠陥ピクセルであるならば、周囲の同じ色相を持っている正常的なピクセル値を利用して推定値に置き換えるものであって、以下では、次の[表２]を参照しながら説明する。
【００２４】
【表２】
すなわち、前記[表２]においてＢ２位置ピクセルのＲＧＢ値を求めようとするならば、Ｂ２が正常ピクセルである場合、Ｒ＝（Ｒ２＋Ｒ３＋Ｒ５＋Ｒ６）／４、Ｂ＝Ｂ２、Ｇ＝（Ｇ２＋Ｇ５＋Ｇ６＋Ｇ８）／４となる。
【００２６】
もし、Ｂ２が欠陥ピクセルであるならば、Ｂｌｕｅ値が実際とは違うように画面に現れる。この場合、Ｂ＝Ｂ２の代わりに、Ｂ＝（Ｂ１＋Ｂ３）／２に置き換えれば、はるかに自然な画面を得ることができる。
【００２７】
このような方法を補間によるＤＰＣ方法と言える。もう一つの方法には、単純にＢ＝Ｂ１に置き換えることもできるが、これは代替(Substitution)によるＤＰＣ方法と言える。
【００２８】
以下では、補間によるＤＰＣ方法の説明のために、もう一つの例として次の[表３]を参照しながら説明する。
【００２９】
【表３】
すなわち、[表３]でＧ５ピクセルのＧｒｅｅｎ値、Ｇ＝Ｇ５に表示される。もしＧ５ピクセルが欠陥ピクセルであるならば、Ｇ＝（Ｇ１＋Ｇ２＋Ｇ７＋Ｇ８）／４に置き換えれば良い。
【００３１】
この場合、代替によるＤＰＣ方法を利用する場合には、Ｇ＝Ｇ４に単に置き換えることもできる。
【００３２】
前記のようなＤＰＣ方法の中、補間による隠蔽(Concealment)が代替(Substitution)による隠蔽方法よりさらに自然な画面を得ることができるが、ハードウェア(Ｈ／Ｗ)がより多く必要となる。
【００３３】
前記のようなＤＰＣ方法を具現するための従来の装置を図２を参照しながら説明する。
【００３４】
図２ａないし図２ｃは、従来のイメージセンサの欠陥ピクセル補正装置の一実施例の構成図であって、カメラを一例にして示している。この場合、図２ａは、イメージセンサの欠陥ピクセル補正装置の全体構成を示すものであって、図２ｂは、図２ａに示した感知部２１０を詳細に示すものであって、図２ｃは、図２ａに示すイメージ補正部２２０を詳細に示すものである。
【００３５】
すなわち、図２ａに示すように、従来に利用されたイメージセンサの欠陥ピクセル補正装置は、イメージを感知するために、センサから構成された感知部２１０、イメージの欠陥ピクセルを補正するためのイメージ補正部２２０、イメージ欠陥ピクセルの位置情報を格納するために、ＥＰＲＯＭ(Erasable and Programmable ROM)(以下、簡単に「ＥＰＲＯＭ」という)から構成された格納部２４０、及び前記各部間の移動情報を制御するための制御部２３０を含んで構成されている。
【００３６】
前記のような構成において、イメージ補正部２２０は、感知部のセンサから伝送されたイメージデータを、補間を含んで実際利用できる形態に処理する回路であって、ＤＰＣ回路もここに含まれて補間前に処理すべきである。
【００３７】
イメージ補正部２２０を詳細に示すものが図２ｃであって、図面に示すように、イメージ補正部２２０は、正常ピクセルに対する補間を行なうための補間処理器２２１、欠陥ピクセルに対する補間を行なうための補間処理器２２２、現在ピクセルの位置情報を管理するための現在ピクセルの位置感知器２２３、欠陥ピクセルの位置情報を記録するための欠陥ピクセル位置記録器２２４、現在ピクセルの位置と欠陥ピクセルの位置とを比較するための比較器２２５、比較器の比較結果によって、ＤＰＣ過程を行なうためのＤＰＣ処理器２２６、ＤＰＣ処理器を駆動させるためのＤＰＣ駆動器２２７、ＤＰＣ処理器の処理結果によって、正常ピクセルに対する補間処理器または欠陥ピクセルに対する補間処理器の出力結果を選択するための選択器２２８及びＤＰＣ機能の他に入力されたイメージフレームに対する別途の機能を行なうためのその他の過程処理器２２９を含んで構成されている。
【００３８】
また、制御部２３０は、イメージ補正部２２０のデータを分析して適当な処理をし、感知部２１０やイメージ補正部２２０を用途に合うようにプログラムする役割をする。
【００３９】
また、ＥＰＲＯＭから構成された格納部２４０は、感知部２１０にあるセンサのピクセルエリア１０３での欠陥ピクセルの位置情報を格納しており、カメラが正常動作モードに作動することになれば、制御部２３０はＥＰＲＯＭ２４０に格納されている欠陥ピクセルの位置情報をイメージ補正部２２０の欠陥ピクセル位置記録器２２４に記録することになる。
【００４０】
以下、前記のような構成を有するイメージセンサの欠陥ピクセル補正装置で行なわれた従来の欠陥ピクセル補正方法を説明する。
【００４１】
まず、欠陥ピクセルを探してプログラミングする方法は次の通りである。
【００４２】
すなわち、感知部２１０にあるセンサの露出を適当にセッティングし適当な照明下で白色面を取る。
【００４３】
このように撮影した画面を制御部２３０で分析して他のピクセルに比べて顕著に暗いピクセルがあれば、これをDark Pixelと見做してピクセルエリア１０３内での位置を記憶する。
【００４４】
センサの露出と照明を他の適当な値にセッティングし黒い背景を取る。
【００４５】
このように撮影した画面を制御部２３０で分析して他のピクセルに比べて顕著に明るいピクセルがあれば、これをWhite Pixelと見做してピクセルエリア１０３内での位置を記憶する。
【００４６】
前記過程を介して探したDark PixelとWhite Pixelの位置をＥＰＲＯＭ２４０に格納する。
【００４７】
次に、ＥＰＲＯＭ２４０に格納された欠陥ピクセルの位置を利用して実際にＤＰＣを行なう方法は次の通りである。
【００４８】
すなわち、カメラに電源が印加されれば、制御部２３０はＥＰＲＯＭ２４０の欠陥ピクセル位置を読み出してイメージ補正部２２０の欠陥ピクセル位置記録器２２４に記録し、ＤＰＣ駆動器２２７を駆動させる。
【００４９】
この後、各ピクセルの補間を進行する時ごとに現在ピクセルの位置感知器２２３の値と欠陥ピクセル位置記録器２２４の値とを比較して、もし値が一致すれば、現在補間しようとするピクセルは欠陥ピクセルであるので、選択器２２８では欠陥ピクセルに対する補間器２２２において処理された値を選択して制御部２３０にその値を伝達することによって、イメージセンサの欠陥ピクセルを補正することになる。
【００５０】
すなわち、前記のような従来のＤＰＣ方法は、ＥＰＲＯＭ２４０に欠陥ピクセルの位置を記憶しておき、カメラに電源が印加されれば、これを欠陥ピクセル位置記録器(ＡＳＩＣのRegister)２２４にロードした後、センサから伝送されたイメージの各ピクセルが前記欠陥ピクセルの位置と判断されれば、これを補正して伝送する方法である。この場合、ＥＰＲＯＭ２４０のデータを読み出して欠陥ピクセル位置記録器(ＡＳＩＣのＤＰＣ回路のレジスタ)２２４に記録する理由は、ＥＰＲＯＭ２４０の動作速度が遅くてＥＰＲＯＭに位置データを持って直接ＤＰＣをできないためである。
【００５１】
このような方法のために、まずピクセルの欠陥位置を探すべきであるが、探す方法には、システムの集光タイム(Integration Time)を一定にし、非常に暗いイメージと非常に明るいイメージを取って異常があるピクセルを探し出す方法がある。
【００５２】
しかし、前記したことのような従来のＤＰＣ方法には以下のような問題点がある。
【００５３】
すなわち、欠陥ピクセルの位置を格納するために、別途の格納装置であるＥＰＲＯＭを必要とし、欠陥ピクセルの位置を探すために、センサの露出、撮影環境などを変えながらいちいちテストをすべきであり、このようにして探した欠陥位置をまたＥＰＲＯＭに格納する等複雑な過程が要求されるという点である。
【００５４】
また、ピクセルの中にはある場合には欠陥のように現れることもあり、ある場合には正常のように現れることもあるピクセル(このようなピクセルをMoving Defectという)が存在するが、前記のような従来の方法は、製品出荷前に一回のテストで欠陥ピクセルを探してＥＰＲＯＭに格納しておいた状態で、ユーザがカメラを使用するので、カメラ使用中に発生するこのような動く欠陥ピクセル(Moving Defect Pixel)に対してはいかなる補正もできないという問題点がある。
【００５５】
すなわち、前記のような従来の方法によれば、イメージセンサの欠陥ピクセルに対する情報は、イメージセンサを製作する事業者の実験により固定した値に格納されているので、ユーザが前記のようなイメージセンサの欠陥ピクセル補正装置が付着された製品を使用する途中に現れる欠陥ピクセルに対しは、いかなる対処もできないのみでなく、事業者の立場においても販売される全てのイメージセンサに対していちいち欠陥ピクセルの位置を把握して別途の格納装置に格納させて置くべきであるので、複雑な工程及び追加コストを負担しなければならないという問題点がある。
【００５６】
【発明が解決しようとする課題】
そこで、本発明は上記従来の技術の問題点に鑑みてなされたものであって、外部に別に格納手段を設ける必要がないのみでなく、いちいちテストをして欠陥ピクセルに対するプログラミングをする必要もなく、ユーザが使用する間にも動く欠陥ピクセル(Moving defect pixel)に対する補正が可能となるようにするための、イメージセンサの欠陥ピクセル補正装置及びその方法と、前記方法を実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供することにその目的がある。
【００５７】
【課題を解決するための手段】
前記目的を達成するため、本発明は、イメージセンサの欠陥ピクセル補正装置において、レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知した実際の物体のイメージをイメージフレームとしてイメージ補正手段に入力するための感知手段と、テストモードの間、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している。
【００５８】
また、前記目的を達成するため、本発明は、レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードの間、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を使用してイメージセンサの欠陥ピクセルを補正する方法において、前記感知手段の露出を最小化する第１ステップと、前記光源をオンにしてテストモードを設定する第２ステップと、前記テストモードの間、前記制御手段が、イメージセンサのホワイトピクセル(White Pixel)を探索してその位置情報を臨時に格納する第３ステップと、前記テストモードの間、前記制御手段が、イメージセンサのダークピクセル(Dark Pixel)を探索してその位置情報を臨時に格納する第４ステップと、前記テストモードの間、前記イメージ補正手段が、臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第５ステップと、正常モードの間、前記光源をオフにして、実際の物体のイメージフレームを前記イメージ補正手段に入力する第６ステップと、前記イメージ補正手段が、前記実際の物体のイメージに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しは、欠陥ピクセルに対する補間を実行した後、前記イメージを再び組み合わせて出力する第７ステップとを含む。
【００５９】
また、前記目的を達成するため、本発明は、レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードの間、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を使用してイメージセンサの欠陥ピクセルを補正する方法において、前記感知手段の露出を最小化する第１ステップと、前記光源をオンにしてテストモードを設定する第２ステップと、前記テストモードの間、前記制御手段が、イメージセンサのホワイトピクセルの探索条件下で入力された第１イメージフレームを格納する第３ステップと、前記テストモードの間、前記制御手段が、イメージセンサのダークピクセルの探索条件下で入力された第２イメージフレームを格納する第４ステップと、前記テストモードの間、前記イメージ補正手段が、前記第１イメージフレーム及び前記第２イメージフレームに対して各々ホワイトピクセル及びダークピクセル如何を判断して、ホワイトピクセル及びダークピクセルの位置情報を臨時に格納しておいて、臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第５ステップと、正常モードの間、前記光源をオフにして、実際の物体のイメージを入力する第６ステップと、前記イメージ補正手段が、前記実際の物体のイメージに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しは、欠陥ピクセルに対する補間を実行した後、前記イメージを再び組み合わせて出力する第７ステップとを含む。
【００６０】
また、前記目的を達成するため、本発明は、レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードの間、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を構成するコンピュータシステムに対して、そのコンピュータに、前記制御手段がイメージセンサのホワイトピクセルを探索してその位置情報を臨時に格納する第１機能と、前記制御手段がイメージセンサのダークピクセルを探索してその位置情報を臨時に格納する第２機能と、前記イメージ補正手段が臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第３機能と、前記光源をオフにして実際の物体のイメージのイメージフレームを前記イメージ補正手段に入力する第４機能と、前記イメージ補正手段が前記実際の物体のイメージのイメージフレームに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しは欠陥ピクセルに対する補間を実行した後、前記イメージフレームを再び組み合わせて出力する第５機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００６１】
また、前記目的を達成するため、本発明は、レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードの間、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を構成するコンピュータシステムに対して、そのコンピュータに、前記制御手段がイメージセンサのホワイトピクセルの探索条件下で入力された第１イメージフレームを格納する第１機能と、前記制御手段がイメージセンサのダークピクセルの探索条件下で入力された第２イメージフレームを格納する第２機能と、前記イメージ補正手段が前記第１イメージフレーム及び前記第２イメージフレームに対して各々ホワイトピクセル及びダークピクセル如何を判断して、ホワイトピクセル及びダークピクセルの位置情報を臨時に格納しておいて、臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第３機能と、前記光源をオフにして実際の物体のイメージのイメージフレームを前記イメージ補正手段に入力する第４機能と、前記イメージ補正手段が前記実際の物体のイメージのイメージフレームに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しは欠陥ピクセルに対する補間を実行した後、前記イメージフレームを再び組み合わせて出力する第５機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００６２】
本発明で提供しようとするイメージセンサの欠陥ピクセル補正装置は、欠陥ピクセルを探す装置を内蔵しているので全体システムの稼動時人工知能的に欠陥ピクセルを探す一方、欠陥ピクセルの位置情報をＡＳＩＣ（応用注文型集積回路）から構成された欠陥ピクセル位置記録器に記録しておくことによって、入力されたイメージの各ピクセルに対して欠陥ピクセルの如何を比較判断して欠陥ピクセルに対して補正できるようにした。
【００６３】
【発明の実施の形態】
以下、図３及び図６を参照しながら本発明に係る好ましい一実施例を詳細に説明する。
【００６４】
図３は、本発明に係るイメージセンサの欠陥ピクセル補正装置の一実施例の構成図である。また、図４ａは、本発明に係るイメージセンサの欠陥ピクセル補正装置の中、感知部の一実施例詳細構成図であって、図３に示す感知部（センサ）３１０の断面図を詳細に示すものである。また、図４ｂは、本発明に係るイメージセンサの欠陥ピクセル補正装置の中イメージ補正部の一実施例詳細構成図であって、図３に示すイメージ補正部３２０を詳細に示したものである。また、図４ｃは、本発明に係るイメージセンサの欠陥ピクセル補正装置の中制御部の一実施例詳細構成図であって、図３に示す制御部３３０を詳細に示したものである。
【００６５】
すなわち、図面に示すように、本発明に係るイメージセンサの欠陥ピクセル補正装置は、感知部（センサ）３１０、イメージ補正部３２０、及び制御部３３０を含んで構成されている。
【００６６】
前記のような構成を有する本発明に係るイメージセンサの欠陥ピクセル補正装置は、キャムコーダ(Camcorder)、ディジタルカメラ、スキャナー等のようなシステムで用いられることができ、以下では、特にディジタルカメラシステムを一例として説明する。すなわち、図３に示すイメージセンサの欠陥ピクセル補正装置は、ディジタルカメラシステムに実装されて作動されているものであると言える。
【００６７】
まず、図４ａを参照しながらイメージを感知するための感知部３１０について説明する。図面に示すように、感知部３１０は、レンズホルダー３１１、レンズ３１２、光源３１３、イメージセンサパッケージ３１４、イメージセンサダイ３１５、ＰＣＢボード３１６を含んで構成されており、図２ｂに示す従来の感知部２１０と比較した時、光源３１３をさらに含んでいる。
【００６８】
すなわち、本発明に係るイメージセンサの欠陥ピクセル補正装置の感知部３１０には、図面に示すように、センサと近い所に小さい光源３１３が設けられており、この光源３１３は欠陥ピクセルを探す間のみしばらくの間オンにされて正常動作時にはオフされることになる。
【００６９】
一方、センサが正常モードに動作する時、すなわち、レンズから入ったイメージを捕獲する間には、光源３１３がこれを妨害してはいけないので、これのために光源３１３はレンズから入る光の経路から外れた所に位置することになる。
【００７０】
前記のような感知部３１０の構成において、光源３１３がオフされている間は、光源がないことのように動作すべきであるが、光源３１３が入った場合には、逆に外部の画像が無視されるべきであるので、光源３１３の明るさがレンズから外部の画像がセンサに像として捕獲されないほど明るいべきであり、この場合、センサに捕獲される像は内部光源によるものである。
【００７１】
次に、図４ｂを参照しながらイメージ補正部３２０について詳細に説明する。
【００７２】
すなわち、図面に示すように、イメージ補正部３２０は、正常ピクセルに対する補間を行なうための補間処理器３２１、欠陥ピクセルに対する補間を行なうための補間処理器３２２、現在ピクセルの位置情報を管理するための現在ピクセルの位置感知器３２３、欠陥ピクセルの位置情報を記録するための欠陥ピクセル位置記録器３２４、現在ピクセルの位置と欠陥ピクセルの位置とを比較するための比較器３２５、比較器の比較結果に応じてＤＰＣ過程を行なうためのＤＰＣ処理器３２６、ＤＰＣ処理器を駆動させるためのＤＰＣ駆動器３２７、正常動作モードでＤＰＣ処理器の処理結果に応じて正常ピクセルに対する補間処理器または欠陥ピクセルに対する補間処理器の出力結果を選択し、テストモードで感知部３１０からのイメージフレームを伝達される選択器３２８、ＤＰＣ機能の他に入力されたイメージフレームに対する別途の機能を行なうためのその他の過程処理器３２９と、及び前記テストモードであるかまたは正常動作モードであるかの如何に対する情報を制御部３３０から入力されて前記選択器３２８の駆動を制御する選択器制御器３４１を含んで構成されている。
【００７３】
一方、図４ｂの本実施例では感知部３１０のセンサで感知されたテストモード時のイメージフレームが補正部３２０を介して制御部３３０に伝達される構成からなっているが、感知部３１０から補正部３２０を介さず直接制御部３３０にテストモード時のイメージフレームが伝達されるように具現することもできる。
【００７４】
次に、図４ｃを参照しながら制御部３３０について詳細に説明する。
【００７５】
制御部３３０は、カメラ外部のＰＣ等コンピュータシステムになり得るのみでなく、カメラ内部のマイクロコントローラ(Micro Controller)にもなり得るし、感知部（センサ）３１０、イメージ補正部３２０等からデータを受け取って処理しこれらを制御する役割をする。
【００７６】
前記のような役割のために、制御部３３０は、感知部３１０のセンサを介して入力されたイメージフレームを格納するためのイメージフレーム格納器３３３、イメージフレーム格納器に格納されたイメージフレームに対して欠陥ピクセルを探すためのプログラムを格納し、そのプログラムを行なうための欠陥ピクセル探知器３３２、欠陥ピクセル探知器で探知された欠陥ピクセルの位置を臨時保管するための欠陥ピクセル位置臨時格納器３３４及び前記各構成要素３３２ないし３３４と外部回路間の移動情報を制御するためのイメージ制御器３３１を含んで構成されている。
【００７７】
以下では、前記のような構成を有するイメージセンサの欠陥ピクセル補正装置を利用して欠陥ピクセルを補正する方法を説明する。
【００７８】
図５は、本発明に係るイメージセンサの欠陥ピクセル補正方法の一実施例のフローチャートである。
【００７９】
本発明に係るイメージセンサの欠陥ピクセルの補正のために、まず前記で説明した欠陥ピクセル補正装置に電源(Power)を印加させる(５１０）。
【００８０】
電源が印加されれば、制御部３３０のイメージ制御器３３１は、カメラのモードをWhite Pixelを探索するためのテストモードにセッティングした後、下記の過程を介してWhite Pixelを探索してその位置情報を欠陥ピクセル位置臨時格納器３３４に格納することになる（５２０）。
【００８１】
すなわち、センサの露出を最小にセッティングし、イメージ補正部３２０の補間機能及びＤＰＣ機能を遮断(disable)させる。
【００８２】
テストモードにセッティングされたならば、イメージ制御器３３１は、感知部３１０のセンサを介して入力されたイメージフレームを読み出してイメージフレーム格納器３３３に格納することになり、欠陥ピクセル探知器３３２は、イメージフレーム格納器３３３に格納されたイメージデータをピクセル単位で読み出しながら欠陥判定方式によって欠陥如何を判定して(White Pixel探索)、欠陥ピクセルであるならば、ピクセルの位置を欠陥ピクセル位置臨時格納器３３４に格納する。
【００８３】
前記のようなWhite Pixel探知過程をイメージフレーム格納器３３３の全てのピクセルに対して繰り返す。
【００８４】
イメージフレーム格納器３３３の全てのピクセルに対してWhite Pixel探知過程を行なったならば、カメラのモードをDark Pixelを探知するためのテストモードにセッティングした後、下記の過程を介してDark Pixelを探索してその位置情報を欠陥ピクセル位置臨時格納器３３４に格納することになる（５３０）。
【００８５】
すなわち、感知部３１０内のセンサの露出を適当な値にセッティングし、光源３１３をオンにした状態でセンサから入力されたイメージフレームを読み出してイメージフレーム格納器３３３に格納した後、光源３１３をオフにする。
【００８６】
光源３１３をオフにした状態でイメージフレーム格納器３３３に格納されたデータをピクセル単位で読み出しながら、欠陥判定方式によって欠陥如何を判定(Dark Pixel探索)して、欠陥ピクセルであるならば、ピクセルの位置を欠陥ピクセル位置臨時格納器３３４に格納する。
【００８７】
前記のようなDark Pixel判定過程をイメージフレーム格納器３３３の全てのピクセルに対して繰り返す。
【００８８】
前記のような過程（５２０、５３０）が終了すれば、イメージ制御器３３１は、欠陥ピクセル位置臨時格納器３３４に格納されている欠陥ピクセルの位置情報を読み出してイメージ補正部３２０内の欠陥ピクセル位置記録器３２４に記録し（５４０）、ディジタルカメラシステムのモードを正常動作モードにセッティングする（５５０）。すなわち、イメージ補正部３２０のＤＰＣ機能及び補間機能を駆動させ感知部３１０のセンサを介してイメージを入力される。
【００８９】
正常動作モードでディジタルカメラシステムは、イメージ補正部３２０のＤＰＣ回路によって正常動作をすることになるが、現在ピクセルの位置感知部３２３にある現在ピクセルの位置情報と欠陥ピクセル位置記録器３２４に記録されている欠陥ピクセルの位置とを比較して、同じものがあれば、欠陥ピクセルに対する補間処理器３２２の出力を利用し、そうではなかったら正常ピクセルに対する補間処理器３２１の出力を利用して感知部３１０を介して入力されたイメージを再び組み合わせることになる（５６０）。
【００９０】
一方、前記過程はイメージフレーム格納器３３３を二つの所に設けて進行させることもできる。すなわち、White Pixel探知過程（５２０）とDark Pixel探知過程（５３０）で各々読み出されたイメージフレームをまず二つの所のイメージフレーム格納器３３３に各々格納しておいて、White Pixel如何判定及びDark Pixel如何判定過程を同時に実行させるのである。
【００９１】
図６ａは、本発明に係るイメージセンサの欠陥ピクセル補正方法の中White Pixel判定方法の一実施例詳細フローチャートであって、図５に示す過程の中White
Pixel判定過程（５２０）を詳細に示すものである。
【００９２】
前記図５に対する説明のように、ディジタルカメラシステムに電源が印加されれば（５１０）、カメラのモードをWhite Pixel探索のためのテストモードにセッティングさせる（５２１）。
【００９３】
すなわち、制御部３３０は、感知部３１０内のセンサの露出を最小にプログラムし、イメージ補正部３２０の補間機能及びＤＰＣ機能を遮断させる（この場合、制御部３３０はディジタルカメラシステム外部のＰＣであり得るし、この場合には、ＰＣでカメラ用プログラムを利用してカメラのセンサ及びイメージ補正部３２０を調整する）。
【００９４】
テストモードにセッティングされならば、感知部３１０内のセンサを介して入力されたイメージの一つのフレームを読み出してイメージフレーム格納器３３３に格納する（このイメージフレームは補間されてない原始データである）（５２２）。
【００９５】
イメージフレームが格納されたならば、欠陥ピクセル探知器３２２でイメージフレーム格納器３３３に格納されたピクセルを一つずつ調べて他のピクセルより顕著に明るく現れるピクセルをWhite Pixelと見做して（５２３）、その位置を欠陥ピクセル位置臨時格納器３３４に格納する（５２４）。
【００９６】
この場合、他のピクセルより顕著に明るいということを判断するために、全体フレーム平均と比較するか周辺の他のピクセル値と比較することができ、各ピクセルの一実施例値を示した下記の［表４］を例として説明する。
【００９７】
【表４】
まず、全体フレーム平均と比較する方法には、全体フレーム平均をＡとし、調べようとするピクセルが［表４］においてＧ５とすれば、Ｇ５＞Ａ＊Ｖであれば、Ｇ５ピクセルを欠陥ピクセルと見なすのである（ここでＶは、重み付け値として平均より３０％以上明るいピクセルを探そうとすれば、Ｖ＝１．３、５０％以上明るいものを探そうとすれば、Ｖ＝１．５などとなる）。
【００９９】
次に、周辺の他のピクセル値と比較する方法には、Ｇ５の場合、Ｇ５＞Ｖ＊（Ｇ１＋Ｒ２＋Ｇ２＋Ｂ１＋Ｂ２＋Ｇ７＋Ｒ５＋Ｇ８）／８でテストすることができる。すなわち周辺の八つのピクセルの平均と比較する方法に重み付け値Vを使用することは同じである。
【０１００】
もう一つの方法には、単に隣の二つのピクセルとのみ比較することもできる。Ｇ５の場合、Ｇ５＞Ｖ＊（Ｂ１＋Ｂ２）／２を介してチェックできる。すなわち、左右の二つの平均と比較することもできる。
【０１０１】
もう一つの方法としてさらに簡単には、直ぐ前の一つのピクセルのみを持ってテストすることも可能である。すなわち、Ｇ５＞Ｖ＊Ｂ１である場合に、欠陥ピクセル(White Pixel)と見なす。
【０１０２】
前記のような欠陥ピクセルの判断をする時、全体フレーム平均を利用せず周囲のいくつのピクセル値のみ比較して判断する場合、比較しようとする周囲のピクセルが欠陥ピクセルである場合には、これを除外した他の値でのみ判断の根拠とする。
【０１０３】
例えば、Ｇ５と周囲の八つのピクセルとを比較する場合、Ｇ１が欠陥ピクセルであるならば、Ｇ１を除外した残りの七つのピクセルの平均を使用する。左右の二つのピクセルのみを利用する場合、一つが欠陥ピクセルであるならば、他の一つのみを利用して処理する。直ぐ前の一つのピクセルのみを利用する場合に、前のピクセルが欠陥ピクセルであるならば、処理しようとするピクセルは欠陥ピクセルではないと見なす。このような判断のために、現在の時点まで探し出した欠陥ピクセル位置臨時格納器３３４内の全ての情報を利用することもできる。
【０１０４】
前記のようなWhite Pixel如何判定過程がイメージフレーム格納器３３３内の全てのピクセルに対して行なわれたかを判断して（５２５）、イメージフレーム内の全てのWhite Pixelの位置を探して欠陥ピクセル位置臨時格納器３３４に格納する（５２４）。
【０１０５】
図６ｂは、本発明に係るイメージセンサの欠陥ピクセル補正方法の中、ダークピクセル(Dark Pixel)判定方法の一実施例詳細フローチャートであって、図５に示す過程の中Dark Pixel判定過程（５４０）を詳細に示すものである。
【０１０６】
まず、カメラのモードをDark Pixel探索のためのテストモードにセッティングさせる（５３１）。
【０１０７】
すなわち、光源をオンにして集光タイムを適切に与えた後、感知部３１０内のセンサを介して入力されたイメージの一つのフレーム(Raw Data Image Frame)を読み出してイメージフレーム格納器３３３に格納した後（５３２）、光源をオフにする（５３３）。
【０１０８】
イメージ制御器３３１は、イメージフレーム格納器３３３に格納されたピクセルを一つずつ調べて他のピクセルより顕著に暗く現れるピクセルをDark Pixelと見做して（５３４）、その位置を欠陥ピクセル位置臨時格納器３３４に格納する（５３５）。
【０１０９】
この場合、他のピクセルより顕著に明るいということを判断するために、全体フレーム平均と比較するか、周辺の他のピクセル値と比較することができ、各ピクセルの一実施例値を示す下記の[表５]を例として説明する。
【０１１０】
【表５】
まず、全体フレーム平均と比較する方法には、全体フレーム平均をＡとし、調べようとするピクセルが［表５］においてＧ５とすれば、Ｇ５＜Ａ＊Ｖであれば、Ｇ５ピクセルを欠陥ピクセルと見なすのである（ここで、Ｖは重み付け値であって平均より３０％以上暗いピクセルを探そうとすれば、Ｖ＝０．７、５０％以上暗いものを探そうとすれば、Ｖ＝０．５などとなる）。
【０１１２】
次に、周辺の他のピクセル値と比較する方法には、Ｇ５の場合、Ｇ５＜Ｖ＊（Ｇ１＋Ｒ２＋Ｇ２＋Ｂ１＋Ｂ２＋Ｇ７＋Ｒ５＋Ｇ８）／８でテストすることができる。すなわち、周辺の八つのピクセルの平均と比較する方法に重み付け値Vを使用することは同じである。
【０１１３】
もう一つの方法には、単に隣の二つのピクセルのみと比較することもできる。Ｇ５の場合、Ｇ５＜Ｖ＊（Ｂ１＋Ｂ２）／２を介してチェックできる。すなわち左右の二つの平均と比較することもできる。
【０１１４】
もう一つの方法としてより簡単には、直ぐ前の一つのピクセルのみを持ってテストすることも可能である。すなわち、Ｇ５＜Ｖ＊Ｂ１である場合に、欠陥ピクセルと見なす。
【０１１５】
前記のような欠陥ピクセルの判断をする時、全体フレーム平均を利用せず周囲のいくつのピクセル値のみ比較して判断する場合、比較しようとする周囲のピクセルが欠陥ピクセルである場合には、これを除外した他の値のみで判断の根拠とする。
【０１１６】
例えば、Ｇ５と周囲の八つのピクセルを比較する場合、Ｇ１が欠陥ピクセルであるならば、Ｇ１を除外した残りの七つのピクセルの平均を使用する。左右の二つのピクセルのみを利用する場合、一つが欠陥ピクセルであるならば、他の一つのみを利用して処理する。直ぐ前の一つのピクセルのみを利用する場合に、前のピクセルが欠陥ピクセルであるならば、処理しようとするピクセルは、欠陥ピクセルではないと見なす。このような判断のために、現在の時点まで探し出した欠陥ピクセル位置臨時格納器３３４内の全ての情報を利用できる。
【０１１７】
前記のようなダークピクセル如何判定過程がイメージフレーム格納器３３４内の全てのピクセルに対して行なわれたかを判断して（５３６）、イメージフレーム内の全てのDark Pixelの位置を探して欠陥ピクセル位置臨時格納器３３４に格納する（５３５）。
【０１１８】
図６ｃは、本発明に係るイメージセンサの欠陥ピクセル補正方法の中、正常モード動作方法の一実施例の詳細フローチャートであって、図５に示す過程の中正常動作モードの進行過程（５６０）を詳細に示すものである。
【０１１９】
正常動作モードで感知部３１０内のセンサを介して入力されたピクセルの位置と欠陥ピクセルの位置情報を、現在ピクセルの位置感知器３２３及び欠陥ピクセル位置記録器３２４で各々読み出してその位置情報を比較する（５６１）。
【０１２０】
比較の結果、現在ピクセルの位置が欠陥ピクセル位置の中いずれか一つと同一であるならば（５６２）、処理しようとするピクセルを欠陥ピクセルと判定して、欠陥ピクセルに対する補間処理器３２２の結果を出力する（５６４）。
【０１２１】
比較の結果、欠陥ピクセルのどの位置とも一致しなければ（５６２）、正常ピクセルと判定して正常ピクセルに対する補間処理器３２１の結果を出力する（５６３）。
【０１２２】
前記のような過程を介して正常ピクセルに対する補間処理器３２１または欠陥ピクセルに対する補間処理器３２２から出力された値を利用してイメージを組み合わせた後、ディジタルカメラシステムの出力部を介してイメージを出力する（５６５）。
【０１２３】
尚、本発明は、本実施例に限られるものではない。本発明の趣旨から逸脱しない範囲内で多様に変更実施することが可能である。
【０１２４】
【発明の効果】
上述したようになされる本発明によると、欠陥ピクセルの位置を格納するために、別途の格納装置であるＥＰＲＯＭを必要としないので、システムの費用が増加しないだけでなく（ただし、セルフテストのためにレンズホルダーにＬＥＤ一つが付着必要)、欠陥ピクセルの位置を探すために、センサの露出、撮影環境などを変えながらいちいちテストをすべきである複雑な過程が要求されないという優れた効果がある。
【０１２５】
また、本発明は、ある場合には欠陥ピクセルに現れて、ある場合には正常のように現れることもあるピクセル(このようなピクセルをMoving Defectという)に対する補正が可能であるという優れた効果がある。
【図面の簡単な説明】
【図１】 本発明が適用される実際の物体とセンサに捕獲された像の一例示図。
【図２ａないし図２ｃ】 従来のイメージセンサの欠陥ピクセル補正装置の一実施例の構成図。
【図３】 本発明に係るイメージセンサの欠陥ピクセル補正装置の一実施例の構成図。
【図４ａ】 本発明に係るイメージセンサの欠陥ピクセル補正装置の中感知部の一実施例の詳細構成図。
【図４ｂ】 本発明に係るイメージセンサの欠陥ピクセル補正装置の中イメージ補正部の一実施例の詳細構成図。
【図４ｃ】 本発明に係るイメージセンサの欠陥ピクセル補正装置の中制御部の一実施例の詳細構成図。
【図５】 本発明に係るイメージセンサの欠陥ピクセル補正方法の一実施例のフローチャート。
【図６ａ】 本発明に係るイメージセンサの欠陥ピクセル補正方法の中ホワイトピクセル判定方法の一実施例の詳細フローチャート。
【図６ｂ】 本発明に係るイメージセンサの欠陥ピクセル補正方法の中ダークピクセル判定方法の一実施例の詳細フローチャート。
【図６ｃ】 本発明に係るイメージセンサの欠陥ピクセル補正方法の中正常モード動作方法の一実施例の詳細フローチャート。
【符号の説明】
３１０...感知部、３２１...正常ピクセルに対する補間を行うための補間処理器、３２２...欠陥ピクセルに対する補間を行うための補間処理器、３２３...現在ピクセルの位置感知器、３２８...選択器、３２６...ＤＰＣ処理器、３２５... 比較器、３２９...その他の過程処理器、３２７...ＤＰＣ駆動器、３２４...欠陥ピクセル位置記録器、３３０...制御器、３４１...選択制御器。
Claims (17)
- イメージセンサの欠陥ピクセル補正装置において、
レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知した実際の物体のイメージをイメージフレームとしてイメージ補正手段に入力するための感知手段と、
テストモードにおいて、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、
前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、
前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、
ことを特徴とするイメージセンサの欠陥ピクセル補正装置。 - 前記感知手段の光源は、実際の物体からの光の入射経路から外れた所に位置している
ことを特徴とする請求項１に記載のイメージセンサの欠陥ピクセル補正装置。 - 前記制御手段は、
前記感知手段内のイメージセンサを介して入力されたイメージフレームを格納するためのイメージフレーム格納手段と、
前記イメージフレーム格納手段に格納されたイメージフレームに対して欠陥ピクセル(Defective Pixel)を探すためのプログラムを格納していてそのプログラムを実行するための欠陥ピクセル探知手段と、
前記欠陥ピクセル探知手段で探知された欠陥ピクセルの位置を臨時保管するための欠陥ピクセル位置臨時格納手段と、
前記イメージフレーム格納手段、欠陥ピクセル探知手段、欠陥ピクセル位置臨時格納手段、前記感知手段、前記イメージ補正手段間の移動情報を制御するためのイメージ制御手段と
を含むことを特徴とする請求項１に記載のイメージセンサの欠陥ピクセル補正装置。 - 前記イメージ補正手段は、
正常ピクセルに対する補間を行なうための補間処理手段と、
欠陥ピクセルに対する補間を行なうための補間処理手段と、
前記感知手段を介して入力された現在ピクセルの位置情報を管理するための現在ピクセルの位置感知手段と、
欠陥ピクセルの位置情報を前記制御手段から読み出して記録するための欠陥ピクセル位置記録手段と、
前記現在ピクセルの位置感知手段に格納されている現在ピクセルの位置と前記欠陥ピクセル位置記録手段に記録されている欠陥ピクセルの位置とを比較するための比較手段と、
前記比較手段の比較結果によってイメージ補正過程を行なうためのＤＰＣ処理手段と、
前記ＤＰＣ処理手段の処理結果によって前記正常ピクセルに対する補間処理手段または前記欠陥ピクセルに対する補間処理手段の出力結果を選択するための選択手段と
を含むことを特徴とする請求項１ないし３のいずれかに記載のイメージセンサの欠陥ピクセル補正装置。 - レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードにおいて、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如 何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を使用してイメージセンサの欠陥ピクセルを補正する方法において、
前記感知手段の露出を最小化する第１ステップと、
テストモードを設定する第２ステップと、
前記テストモードにおいて、前記制御手段がイメージセンサのホワイトピクセル(White Pixel)を探索してその位置情報を臨時に格納する第３ステップと、
前記テストモードにおいて、前記光源をオンにして、前記制御手段がイメージセンサのダークピクセル(Dark Pixel)を探索してその位置情報を臨時に格納する第４ステップと、
前記テストモードにおいて、前記イメージ補正手段が、臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第５ステップと、
正常モードの間、前記光源をオフにして、実際の物体のイメージフレームを前記イメージ補正手段に入力する第６ステップと、
前記イメージ補正手段が、前記実際の物体のイメージに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しは、欠陥ピクセルに対する補間を実行した後、前記イメージを再び組み合わせて出力する第７ステップと
を含んでなるイメージセンサの欠陥ピクセル補正方法。 - 前記第３ステップは、
前記光源を遮断させ、前記イメージセンサの露出を最小にしてイメージセンサのホワイトピクセルの探索のためのテスト条件をセッティングする第８ステップと、
前記テスト条件下で入力されたイメージフレームを格納する第９ステップと、
前記イメージフレームの各ピクセルに対して全体フレーム平均値と比較するか、または周辺の他のピクセル値と比較して明るいと判断する場合には、該当ピクセルの位置情報を臨時に格納する第１０ステップと
を含むことを特徴とする請求項５に記載のイメージセンサの欠陥ピクセル補正方法。 - 前記第４ステップは、
前記光源をオンにしてイメージセンサのダークピクセルの探索のためのテスト条件をセッティングする第８ステップと、
前記テスト条件下で入力されたイメージフレームを格納する第９ステップと、
前記光源を遮断させる第１０ステップと、
前記イメージフレームの各ピクセルに対して全体フレーム平均値と比較するか、または周辺の他のピクセル値と比較して暗いと判断する場合には、該当ピクセルの位置情報を臨時に格納する第１１ステップと
を含むことを特徴とする請求項５に記載のイメージセンサの欠陥ピクセル補正方法。 - 前記第１０ステップにおける周辺の他のピクセル値と比較する方法は、該当ピクセル周辺の八つのピクセルの平均と比較する方法、単に隣の二つのピクセルと比較する方法、直ぐ前の一つのピクセルと比較する方法の中少なくともいずれか一つの方法が利用されることを特徴とする請求項６に記載のイメージセンサの欠陥ピクセル補正方法。
- 前記第１１ステップにおける周辺の他のピクセル値と比較する方法は、該当ピクセル周辺の八つのピクセルの平均と比較する方法、単に隣の二つのピクセルと比較する方法、直ぐ前の一つのピクセルと比較する方法の中、少なくともいずれか一つの方法が利用されることを特徴とする請求項７に記載のイメージセンサの欠陥ピクセル補正方法。
- レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードにおいて、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を使用してイメージセンサの欠陥ピクセルを補正する方法において、
前記感知手段の露出を最小化する第１ステップと、
テストモードを設定する第２ステップと、
前記テストモードにおいて、前記制御手段がイメージセンサのホワイトピクセルの探索条件下で入力された第１イメージフレームを格納する第３ステップと、
前記テストモードにおいて、前記光源をオンにして、前記制御手段がイメージセンサのダークピクセルの探索条件下で入力された第２イメージフレームを格納する第４ステップと、
前記テストモードにおいて、前記イメージ補正手段が、前記第１イメージフレーム及び前記第２イメージフレームに対して各々ホワイトピクセル及びダークピクセル如何を判断して、ホワイトピクセル及びダークピクセルの位置情報を臨時に格納しておいて、臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第５ステップと、
正常モードの間、前記光源をオフにして、実際の物体のイメージを入力する第６ステップと、
前記イメージ補正手段が、前記実際の物体のイメージに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しては、欠陥ピクセルに対する補間を実行した後、前記イメージを再び組み合わせて出力する第７ステップと
を含んでなるイメージセンサの欠陥ピクセル補正方法。 - 前記第３ステップの探索条件は、前記光源を遮断させ、センサの露出を最小にすることを特徴とする請求項１０に記載のイメージセンサの欠陥ピクセル補正方法。
- 前記第４ステップは、
前記光源をオンにしてイメージセンサのダークピクセルの探索のためのテスト条件をセッティングする第８ステップと、
前記テスト条件下で入力されたイメージフレームを格納する第９ステップと、
前記光源を遮断させる第１０ステップと
を含むことを特徴とする請求項１０に記載のイメージセンサの欠陥ピクセル補正方法。 - 前記第６ステップは、
前記第１イメージフレームの各ピクセルに対して全体フレーム平均値と比較するか、または周辺の他のピクセル値と比較して明るいと判断される場合には、該当ピクセルの位置情報を臨時に格納する第８ステップと、
前記第２イメージフレームの各ピクセルに対して全体フレーム平均値と比較するか、または周辺の他のピクセル値と比較して暗いと判断される場合には、該当ピクセルの位置情報を臨時に格納する第９ステップと、
臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を欠陥ピクセル位置記録器に記録し、実際の物体のイメージを入力する第１０ステップと
を含むことを特徴とする請求項１０に記載のイメージセンサの欠陥ピクセル補正方法。 - 前記第８ステップまたは前記９ステップにおける周辺の他のピクセル値と比較する方法には、該当ピクセル周辺の八つのピクセルの平均と比較する方法、単に隣の二つのピクセルと比較する方法、直ぐ前の一つのピクセルと比較する方法の中、少なくともいずれか一つの方法が利用されることを特徴とする請求項１３に記載のイメージセンサの欠陥ピクセル補正方法。
- 前記第７ステップは、
前記イメージセンサを介して入力された前記実際の物体のイメージに対するピクセルの位置情報を前記ホワイトピクセル位置情報またはダークピクセル位置情報と比較する第１１ステップと、
前記第１１ステップの比較結果、前記実際の物体のイメージに対するピクセルの位置情報が前記ホワイトピクセル位置情報、またはダークピクセル位置情報の中少なくともいずれか一つと一致する場合には、前記実際の物体のイメージに対するピクセルに対して欠陥ピクセルに対する補間を行なってその値を出力する第１２ステップと、
前記第１１ステップの比較結果、前記実際の物体のイメージに対するピクセルの位置情報が前記ホワイトピクセル位置情報、またはダークピクセル位置情報の中いずれのものとも一致しない場合には、前記実際の物体のイメージに対するピクセルに対して正常ピクセルに対する補間を行なってその値を出力する第１３ステップと、
前記第１２ステップ及び前記第１３ステップを介して出力された値を利用してイメージを組み合わせた後、該当イメージを出力する第１４ステップと
を含むことを特徴とする請求項６ないし１４のいずれかに記載のイメージセンサの欠陥ピクセル補正方法。 - レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードにおいて、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を構成するコンピュータシステムに対して、そのコンピュータに、
前記制御手段がイメージセンサのホワイトピクセルを探索してその位置情報を臨時に格納する第１機能と、
前記制御手段がイメージセンサのダークピクセルを探索してその位置情報を臨時に格納する第２機能と、
前記イメージ補正手段が臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第３機能と、
前記光源をオフにして実際の物体のイメージのイメージフレームを前記イメージ補正手段に入力する第４機能と、
前記イメージ補正手段が前記実際の物体のイメージのイメージフレームに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しては欠陥ピクセルに対する補間を実行した後、前記イメージフレームを再び組み合わせて出力する第５機能と
を実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体。 - レンズから入る光による実際の物体のイメージを感知するイメージセンサおよびレンズから入る光の経路から外れた周囲に前記イメージセンサの手前に位置する欠陥ピクセル探知のための光源を有し、感知したイメージのイメージフレームをイメージ補正手段に入力するための感知手段と、テストモードにおいて、前記光源をオンにすることにより、前記感知手段を介して入力されたイメージフレームに対して欠陥ピクセル如何を判断して、その位置情報を格納するための制御手段と、前記制御手段の欠陥ピクセル位置情報と前記感知手段を介して入力された実際の物体のイメージフレームのピクセル位置を比較して欠陥ピクセルに対する補正を行なうためのイメージ補正手段とを含んでなり、前記光源は、実際の物体のイメージが入力される正常モードの間はオフにされているが、前記オンにされたときは、前記レンズを介して入力された実際の物体のイメージが前記イメージセンサに捕獲されないほどの明るさを有している、ことを特徴とするイメージセンサの欠陥ピクセル補正装置を構成するコンピュータシステムに対して、そのコンピュータに、
前記制御手段がイメージセンサのホワイトピクセルの探索条件下で入力された第１イメージフレームを格納する第１機能と、
前記制御手段がイメージセンサのダークピクセルの探索条件下で入力された第２イメージフレームを格納する第２機能と、
前記イメージ補正手段が前記第１イメージフレーム及び前記第２イメージフレームに対して各々ホワイトピクセル及びダークピクセル如何を判断して、ホワイトピクセル及びダークピクセルの位置情報を臨時に格納しておいて、臨時に格納された前記ホワイトピクセル位置情報及びダークピクセル位置情報を記録する第３機能と、
前記光源をオフにして実際の物体のイメージのイメージフレームを前記イメージ補正手段に入力する第４機能と、
前記イメージ補正手段が前記実際の物体のイメージのイメージフレームに対する各ピクセルの位置情報と前記ホワイトピクセル位置情報、またはダークピクセル位置情報を比較して同じ位置のピクセルに対しては欠陥ピクセルに対する補間を実行した後、前記イメージフレームを再び組み合わせて出力する第５機能と
を実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20000063040 | 2000-10-25 | ||
| KR2000-063040 | 2000-10-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002185863A JP2002185863A (ja) | 2002-06-28 |
| JP4058254B2 true JP4058254B2 (ja) | 2008-03-05 |
Family
ID=19695464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001328107A Expired - Lifetime JP4058254B2 (ja) | 2000-10-25 | 2001-10-25 | イメージセンサの欠陥ピクセル補正装置及びその方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7286171B2 (ja) |
| JP (1) | JP4058254B2 (ja) |
| KR (1) | KR100399884B1 (ja) |
| CN (2) | CN1333572C (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10205691A1 (de) * | 2002-02-04 | 2003-08-14 | Pilz Gmbh & Co | Verfahren zum Überprüfen der Funktonssicherheit eines Bildsensors sowie Vorrichtung mit einem Bildsensor |
| KR100407158B1 (ko) * | 2002-02-07 | 2003-11-28 | 삼성탈레스 주식회사 | 적외선 열상장비의 시변결점 보상방법 및 장치 |
| US20030202111A1 (en) * | 2002-04-30 | 2003-10-30 | Jaejin Park | Apparatus and methods for dark level compensation in image sensors using dark pixel sensor metrics |
| JP3912672B2 (ja) * | 2002-07-05 | 2007-05-09 | ソニー株式会社 | 固体撮像装置及びその画素欠陥検査方法 |
| KR100461006B1 (ko) * | 2002-10-28 | 2004-12-09 | 삼성전자주식회사 | 결함을 갖는 ｃｃｄ소자에 대한 보정기능을 갖는ｃｃｄ카메라 및 그 보정방법 |
| US7136157B2 (en) * | 2003-08-22 | 2006-11-14 | Micron Technology, Inc. | Method and apparatus for testing image sensors |
| KR101013631B1 (ko) * | 2003-12-30 | 2011-02-10 | 엘지디스플레이 주식회사 | 액정 표시소자의 구동장치 및 그 구동방법 |
| JP4239094B2 (ja) * | 2004-03-03 | 2009-03-18 | ノーリツ鋼機株式会社 | 画像処理装置、方法、及びプログラム |
| KR100619306B1 (ko) * | 2004-09-24 | 2006-09-12 | 엘지전자 주식회사 | 디지털 이미징 장치의 불량화소 추출 방법 |
| TWI244330B (en) * | 2004-10-21 | 2005-11-21 | Novatek Microelectronics Corp | Image sensing device with pixel correction function and method for correcting pixel sensing-information in an image sensing device |
| KR100745837B1 (ko) * | 2005-11-30 | 2007-08-02 | 엠텍비젼 주식회사 | 여유 데이터가 부가된 화소 데이터 출력 방법 및 장치 |
| US9137466B2 (en) | 2006-08-30 | 2015-09-15 | Micron Technology, Inc. | Image sensor defect identification using optical flare |
| US20080055434A1 (en) * | 2006-08-31 | 2008-03-06 | Micron Technology, Inc. | Image sensor defect identification using blurring techniques |
| KR100854722B1 (ko) * | 2006-12-01 | 2008-08-27 | 엠텍비젼 주식회사 | 결함 픽셀 보정 방법 및 그 장치 |
| DE102007032609A1 (de) * | 2007-07-11 | 2009-03-05 | Corpus.E Ag | Kostengünstige Erfassung der inneren Raumform von Fußbekleidung und Körpern |
| KR101425582B1 (ko) * | 2007-08-03 | 2014-08-04 | 삼성전자주식회사 | 초기 설정을 위한 디스플레이 제어방법 및 이를 이용한기기 |
| TWI395958B (zh) * | 2008-09-29 | 2013-05-11 | Maishi Electronic Shanghai Ltd | 壞點偵測校正設備、系統及偵測校正壞點的方法 |
| US20100231763A1 (en) * | 2009-03-16 | 2010-09-16 | Harris Corporation, Corporation Of The State Of Delaware | Defective pixel detector for a digital video camera and associated methods |
| TWI495862B (zh) * | 2012-10-04 | 2015-08-11 | Pixart Imaging Inc | 檢測影像感測器的方法以及相關裝置 |
| WO2015069566A1 (en) * | 2013-11-05 | 2015-05-14 | Arizona Board Of Regents For And On Behalf Of Arizona State University | Adaptive detection sensor array and method of providing and using the same |
| US9525865B2 (en) * | 2014-10-23 | 2016-12-20 | Texas Instruments Incorporated | Fault detection and method of detecting faults in digital imaging systems |
| US10440299B2 (en) * | 2015-09-04 | 2019-10-08 | Apple Inc. | Correcting pixel defects based on defect history in an image processing pipeline |
| KR101729663B1 (ko) * | 2015-12-31 | 2017-04-24 | 에스케이텔레콤 주식회사 | 양자 노이즈 기반 난수생성기의 성능을 관리하기 위한 장치 및 방법 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5047861A (en) * | 1990-07-31 | 1991-09-10 | Eastman Kodak Company | Method and apparatus for pixel non-uniformity correction |
| JPH0762865B2 (ja) * | 1993-05-13 | 1995-07-05 | 日本電気株式会社 | 指紋画像入力装置 |
| JPH0750752A (ja) * | 1993-08-06 | 1995-02-21 | Fuji Xerox Co Ltd | 画像密度変換方法及び装置 |
| JPH07143408A (ja) | 1993-11-18 | 1995-06-02 | Hitachi Ltd | ビデオカメラ用画素欠陥補正装置 |
| JP3540485B2 (ja) * | 1995-04-13 | 2004-07-07 | 株式会社リコー | 電子スチルカメラ |
| US6002433A (en) * | 1995-08-29 | 1999-12-14 | Sanyo Electric Co., Ltd. | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit |
| JP3819511B2 (ja) * | 1997-02-13 | 2006-09-13 | 富士写真フイルム株式会社 | Ｃｃｄ撮像デバイスにおけるモニタ方法およびディジタルスチルカメラ |
| US6665009B1 (en) * | 1998-05-20 | 2003-12-16 | Omnivision Technologies, Inc. | On-chip dead pixel correction in a CMOS imaging sensor |
| JP2000217039A (ja) | 1999-01-21 | 2000-08-04 | Sanyo Electric Co Ltd | 点欠陥検出方法および点欠陥画素値補正方法 |
| JP3864021B2 (ja) | 1999-11-01 | 2006-12-27 | シャープ株式会社 | ビデオカメラ |
| US6724945B1 (en) * | 2000-05-24 | 2004-04-20 | Hewlett-Packard Development Company, L.P. | Correcting defect pixels in a digital image |
-
2001
- 2001-10-23 KR KR10-2001-0065515A patent/KR100399884B1/ko active IP Right Grant
- 2001-10-25 CN CNB2004100749261A patent/CN1333572C/zh not_active Expired - Lifetime
- 2001-10-25 CN CNB011424036A patent/CN1198443C/zh not_active Expired - Lifetime
- 2001-10-25 JP JP2001328107A patent/JP4058254B2/ja not_active Expired - Lifetime
- 2001-10-25 US US09/983,654 patent/US7286171B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| KR100399884B1 (ko) | 2003-09-29 |
| CN1617563A (zh) | 2005-05-18 |
| KR20020032331A (ko) | 2002-05-03 |
| US7286171B2 (en) | 2007-10-23 |
| CN1198443C (zh) | 2005-04-20 |
| US20020080253A1 (en) | 2002-06-27 |
| CN1356820A (zh) | 2002-07-03 |
| CN1333572C (zh) | 2007-08-22 |
| JP2002185863A (ja) | 2002-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4058254B2 (ja) | イメージセンサの欠陥ピクセル補正装置及びその方法 | |
| US8634002B2 (en) | Image processing device and method for image correction | |
| CN104038702B (zh) | 摄像设备及其控制方法 | |
| TWI451754B (zh) | 改善缺陷色彩及全色彩色濾光器陣列影像 | |
| TWI459324B (zh) | 修改色彩及全色通道彩色濾光片陣列影像 | |
| KR100840986B1 (ko) | 이미지흐림 감소 | |
| US20070237506A1 (en) | Image blurring reduction | |
| US20050128509A1 (en) | Image creating method and imaging device | |
| CN103731604B (zh) | 追踪装置及追踪方法 | |
| US8031243B2 (en) | Apparatus, method, and medium for generating image | |
| JP5541718B2 (ja) | 撮像装置及びその欠陥画素検出方法 | |
| WO2003103275A1 (en) | Method and apparatus for real time identification and correction of pixel defects for image sensor arrays | |
| KR101822458B1 (ko) | 썸네일 이미지 제공 방법 및 이를 적용한 영상 촬영 장치 | |
| JP2003111088A (ja) | 固体撮像装置 | |
| JP5068158B2 (ja) | 撮像装置 | |
| JP2009017475A (ja) | 欠陥画素検出装置、撮像装置、および、欠陥画素の検出方法 | |
| US20090102953A1 (en) | Performance digital image sensing | |
| CN110428391A (zh) | 用以去除鬼影假象的图像融合方法及装置 | |
| JP3630149B2 (ja) | 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム | |
| JP2004015191A (ja) | 固体撮像素子の欠陥補正装置及び方法 | |
| US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
| JP5446955B2 (ja) | 撮像装置 | |
| JP3864021B2 (ja) | ビデオカメラ | |
| JP2004241600A (ja) | 欠陥検出回路及び欠陥検出方法 | |
| JP3767188B2 (ja) | 電子カメラ及び信号補正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041021 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060201 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061101 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070925 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071024 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071211 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4058254 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131221 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |