JP4250085B2 - イメージセンサの機能的信頼性の検査方法およびイメージセンサを有する装置 - Google Patents

イメージセンサの機能的信頼性の検査方法およびイメージセンサを有する装置 Download PDF

Info

Publication number
JP4250085B2
JP4250085B2 JP2003567107A JP2003567107A JP4250085B2 JP 4250085 B2 JP4250085 B2 JP 4250085B2 JP 2003567107 A JP2003567107 A JP 2003567107A JP 2003567107 A JP2003567107 A JP 2003567107A JP 4250085 B2 JP4250085 B2 JP 4250085B2
Authority
JP
Japan
Prior art keywords
dark
noise
pixel
pixels
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003567107A
Other languages
English (en)
Other versions
JP2005517259A (ja
Inventor
フーフス,オリヴァー
ビットナー,ディーター
ヴェンドラー,マルティン
デートリンク,ディートマー
Original Assignee
ピルツ ゲーエムベーハー アンド コー.カーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ピルツ ゲーエムベーハー アンド コー.カーゲー filed Critical ピルツ ゲーエムベーハー アンド コー.カーゲー
Publication of JP2005517259A publication Critical patent/JP2005517259A/ja
Application granted granted Critical
Publication of JP4250085B2 publication Critical patent/JP4250085B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Facsimile Heads (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、複数個の光感知画素を有するイメージセンサの機能的信頼性を検査する方法に関し、この方法においては、少なくとも1個の光感知画素のグレイスケール値が読み出される。
本発明はさらに、イメージセンサを有する装置、特に電子カメラに関し、この装置は、複数個の光感知画素と、読み出すための前記光感知画素のグレイスケール値を提供する出力ユニットと、イメージセンサの機能的信頼性を検査するためのモニタリングユニットとを有しており、前記モニタリングユニットは参照値を保存するための少なくとも1個のメモリを有している。
このような方法および装置は、例えば、下記特許文献1に開示されている。
本明細書は、危険領域を保護するための保護装置と、この保護装置の機能的信頼性を検査する方法とを説明する。保護装置は、例えば、自動的に作動する機械の危険領域を記録することのできる電子カメラである。例えば人が危険領域に位置しているかどうかを検査するために、記録されたイメージは、電子イメージ加工手段により評価される。もし、危険領域に位置しているならば、機械は作動停止される。
このような装置を用いて所望の安全を達成するためには、保護装置それ自体の機能的信頼性を確認する必要がある。例えば、人が危険領域に入ったその時に保護装置が故障するというようなことは、防がねばならない。そのために、保護装置において使用されるカメラの機能的信頼性を定期的に検査する必要がある。
下記特許文献1によれば、カメラにより記録された被写体イメージは、イメージセンサの機能的信頼性を検査するために変形される。変形された被写体イメージは、次に、予期される変形を含む参照イメージと比較される。変形された被写体イメージが、参照イメージから逸脱すると、イメージセンサの機能的エラーが考えられる。この方法によって、とりわけ欧州標準 EN 9541 のカテゴリー3および4の高度安全要件に合致する保護装置が実現できる。特に、危険領域の(時間的に)中断しないモニタリングと個別画素の検査とが可能である。しかしながら、被写体イメージの所定の変形には、入射光のビーム通路に影響を与える機械的および/または光学的部品を必要とする。その結果、公知の保護装置は比較的高価となる。
下記特許文献2は、空間領域を光学的にモニタする方法および装置を開示している。この装置の機能的信頼性を検査するために、カメラは発光ダイオードによりまばゆい光を当てられる。次にカメラにより記録されたイメージパターンが、保存された参照パターンと比較される。しかしながら、この方法は、機能テストが実施されている間、カメラは「見えない」ため、時間的に中断しないモニタリングの実施が不可能であるという欠点を有している。さらに、この方法は、使用されるイメージセンサの個別画素または領域に欠陥がないかどうかを確実に検査できない。
下記特許文献3には、色差の光学的評価に基づくカメラを有する保護装置が記載されている。保護されるべきオペレータは、危険な機械とは異なる色の衣服を着る。モニタリングに使用されるカメラの機能的信頼性を検査するために、色パターンの存在が連続的に検査される。しかしながらこれらの方法は、カメラにおいて使用されるイメージセンサの個別画素も領域も検査できない。
独国特許出願公開第 100 17 333 号明細書 欧州特許出願公開第 0 902 402 号明細書 欧州特許出願公開第 0 179 252 号明細書
従って、本発明の目的は、イメージセンサの機能的信頼性を確実に検査できる別の方法を提供することである。本発明の他の目的は、その機能的信頼性を確実に且つ中断せずに検査できる、前記方法に対応する装置、特に電子カメラを提供することである。
前記目的は特許請求の範囲に規定したタイプの方法により達成され、この方法は下記の段階を含む。すなわち、光が入射している少なくとも1個の光感知画素のグレイスケール値を読み出す段階と、当該画素の入射光の強度に応じた前記グレイスケール値からその統計的な変動を示す実際のノイズ係数を決定する段階と、前記画素の、入射光のない状態での統計的な変動を示すダークノイズ係数を提供する段階と、前記決定したノイズ係数と前記ダークノイズ係数とを比較する段階とを含み、もし前記画素が背景輝度を有しているにも係わらず、前記決定したノイズ係数が前記ダークノイズ係数を超えていなければ、当該画素に機能的エラーが存在すると考えられる。
前記目的は、さらに、特許請求の範囲に規定したタイプの装置により達成され、この装置においては、少なくとも1個の画素のための少なくとも1個のダークノイズ係数がメモリに保存されており、モニタリングユニットはノイズ決定部とコンパレータとを有しており、前記ノイズ決定部は前記少なくとも1個の画素のグレイスケール値の実際のノイズ係数を決定でき、前記コンパレータは実際のノイズ係数とダークノイズ係数とを比較でき、もし背景輝度(Xt)を有しているにも係わらず前記決定したノイズ係数が前記ダークノイズ係数を超えていなければ、当該画素に、機能的エラーが存在すると考えられる。
本発明の基本的コンセプトは、イメージセンサの欠陥を有する画素のノイズ行動が、正常に機能する画素のノイズ行動とは異なるという驚くべき洞察に基づいている。この場合、ノイズという語は、個別画素のグレイスケール値の統計的変動を示し、それは周囲条件が一定である場合にも確立される。これらの統計的変動は種々の原因に帰すことが可能であり、とりわけいわゆるフォトンノイズ、いわゆるダークノイズおよびいわゆる固定パターンノイズに帰すことができる。フォトンノイズは光の量子物理特性に基づく。信号変動は、明らかにこの場合であり、これは異なる時点に異なる数の「光粒子」が画素に当たるためである。入射光の強度が増すにつれて、フォトンノイズが増す。光強度が高い場合にはフォトンノイズがきわめて多く、従って総ノイズレベルは光強度の平方根にほぼ比例する。
ダークノイズは、イメージセンサに入射する電磁エネルギーの電気信号への変換の際の統計的プロセスを示す。ダークノイズは、とりわけ電荷キャリヤ移送時の不均一により生じる。さらに、イメージセンサに一体化されているかまたは連結されている電子部品が、ノイズレベルに影響する。ダークノイズは、光強度と無関係であるという特性を有する。しかしながら、ダークノイズは周囲温度の影響を受ける。
固定パターンノイズは、イメージセンサの個別画素の不均一により生じる。これは、まず、製造許容量により生じる。固定パターンノイズは1個の個別画素のノイズ行動に影響を与えない。すなわち、それは他の画素との比較においてのみ語られる。
本発明による方法は、検査すべき画素の実際のノイズ行動を、ダークノイズ係数により特徴づけられる予期される行動と比較するために、実際のノイズ係数を使用する。この場合、ダークノイズ係数は、損なわれていない画素のノイズ行動を反映する。比較は、例えば大きさの比較または同一比較など、個別のケースにおいて定められたノイズ係数に基づいて行われる。検査される画素の実際のノイズ係数が、ダークノイズ係数により特徴づけられるノイズ行動とは異なるノイズ行動を示す場合には、機能的エラーが存在すると考えられる。
本発明による方法は、記録されたイメージに作用するための追加の機械的または光学的部品を必要としない。この方法は、とにかく存在するグレイスケール値に基づいてのみ実施できる。従って、本発明による装置は、特に多数の場合、コストにおいてきわめて有利に実現できる。さらに好ましいことには、機能的信頼性の検査は外部テスト信号を必要としないので、本発明による方法は、モニタリングを中断せずに済む。そのためイメージセンサが「見えない」状態になることはない。
従って、上記目的は完全に達成される。
本発明の一局面において、実際のノイズ係数はそれが光強度に応じて変化するように決定される
この局面において、実際のノイズ係数は第一にフォトンノイズの強度を反映している。ダークノイズ係数は、暗闇における画素のノイズレベルを特定する。フォトンノイズは光強度に応じてノイズを上昇させるため、これらの2つのノイズ係数を比較することにより、画素が入射光に対し所望の感度を有しているかどうかを特に簡単に確かめることができる。存在する背景輝度にもかかわらず、実際のノイズ係数がダークノイズ係数よりも大きくなければ、機能的エラーが存在すると考えられる。光は「外側から」イメージセンサに当たるため、この場合、記録されたイメージ信号も通過する全体的な信号加工チェーンは1段階で検査される。従って、この局面は、イメージ記録経路全体を効果的且つ完全に検査することができる。
本発明の他の局面において、実際のノイズ係数は複数個の連続的に読み出されるグレイスケール値の統計的評価により決定される。
これとは異なり、純粋に測定に基づくノイズレベルの決定もまた原理的に可能である。しかしながら、一般的なタイプのカメラはしばしば、データの統計的評価の実施に使用できるマイクロプロセッサまたはマイクロコントローラをすでに有しているので、ここにおいて好ましい実際のノイズ係数の決定はきわめて簡単に且つコストにおいて有利に実現できる。従って、本発明による装置は、追加測定手段を必要としない。特に、画素のグレイスケール値の分散、先行グレイスケール値からの現在のグレイスケール値の平均偏差または測定サイクル内の画素の全グレイスケール値の極値間の差は、実際のノイズ係数として役立ち得る。
さらに別の局面において、実際のノイズ係数とダークノイズ係数とはそれぞれ同じ方法で決定される。
これにより2つの値の比較が特に簡単になる。従って、実現のための出費は少なくて済み、比較は非常に迅速に実施できる。
さらに別の局面において、実際のノイズ係数とダークノイズ係数とは、現在の周囲温度範囲に基づいて互いに比較される。
ダークノイズの温度による変化を考慮し且つ補正することができるので、これによって、精度および信頼性を増すことが可能である。
さらに別の局面において、前記少なくとも1個の画素のための実際のノイズ係数は、絶対値として決定される。
従って、各画素のための実際のノイズ係数は独立して、すなわち他の画素とは無関係に決定される。これの代わりに、1個またはそれ以上の画素のノイズレベルに関連してノイズ係数を決定することもまた、原理的に可能である。好ましい局面は、いわゆる「膠着」エラー、すなわち画素のグレイスケール値が光入射に関係なく一定値にとどまるエラーを容易に明らかにする。現在のグレイスケール値の先行値からの分散または平均偏差は、ここでは絶対値として使用されることが望ましい。
さらに他の局面において、実際のノイズ係数とダークノイズ係数とは、それぞれ同じ画素に関して互いに比較される
これによって、個別画素における「膠着」エラーの所定の検知が簡単に可能になる。
さらに別の局面において、実際のノイズ係数は、少なくとも2個の異なる画素のグレイスケール値の比から決定される。
この場合、使用されるノイズ係数は少なくとも2個の別の画素の特徴的行動を反映している。これによって、相互関係を簡単に検知できる。例として、この場合、2個の画素の同時期グレイスケール値間の大きさの違いの平均値をノイズ係数として使用してもよい。もし、このノイズ係数が、存在する背景輝度にもかかわらず、ダークノイズよりも小さいかそれに等しいならば、これらの画素は互いに独立していず、間違ったカップリングが存在している。
さらに別の局面において、実際のノイズ係数は、空間的に隣接する画素のグレイスケール値の比から形成される。
この場合、間違ったカップリングのサーチは、ある可能性でカップリングが起こり得る画素に所定の方法で集中される。好ましくは、一直線の画素、一列の画素および/または隣接した部分的領域(クラスター)内の画素が検査される。この局面により、データ加工の複雑さを減らして方法の実施を迅速にすることができる。
さらに別の局面において、実際のノイズ係数とダークノイズ係数とは、個別画素に関して互いに比較される。
本発明のこの局面において、イメージセンサは画素精度について検査され、きわめて小さいエラーも検知できる。これによって、イメージセンサの特に高度な機能的信頼性が確実となる。
他の局面において、さらに別の局面において、実際のノイズ係数とダークノイズ係数とは、画素グループに関して互いに比較される。
これによって、データ加工の複雑さを減らして方法実施を迅速にすることができる。しかしながら前記局面とは対照的に、この場合、イメージセンサは各画素に関して個別に検査されず、むしろ領域ごとにのみ検査される。
さらに別の局面において、さらに少なくとも1個の光感知画素の平均グレイスケール値が決定され、比較段階はこの平均グレイスケール値に基づいて実施される。
これによって、方法の実施はフォトンノイズに基づく確かな判断が可能な画素に集中されるので、データ加工の複雑さを軽減できる。
上記の特徴および下記の特徴は、本発明の範囲から逸脱することなく、互いに記載した組み合わせだけでなく他の組み合わせにおいてまたはそれ自体で使用できることはいうまでもない。
本発明の実施形態を添付図面を参照して以下にさらに詳細に説明する。
図1において、電子カメラの形態の本発明装置は全体として参照番号10で示されている。
カメラ10は、複数個の個別画素14、16を有するイメージセンサ12を有している。画素14、16は互いにマトリクス状に配置されており、小さいイメージセンサ12の場合には時には直線状にも配置されており、共にイメージセンサ12の光感知領域を形成している。
参照番号18は出力ユニットを示しており、この出力ユニット18は画素14、16により記録された光のグレイスケール値を読み出すために提供する。この場合、「グレイスケール値」という語は、これらの値を指示するために確立されている。しかしながら、それは、イメージセンサ12がこれらの値にコード化されたカラー情報をも供給することを妨げない。
この場合、グレイスケール値は、デジタル数値として、端子20を介し下流のイメージ加工ユニットに送られる。別の場合には、下流のイメージ加工ユニットは、カメラ10のハウジング内に一体化されていてもよく、このことは、危険領域を保護するための保護装置内でカメラが使用される時に、特に好ましい。
イメージセンサ12は、好ましくは直線状の特性曲線を有するCMOSイメージセンサである。しかしながら、本発明はこれに限定されることはなく、他のイメージセンサにも同様に適用できる。
参照番号22は、光24がイメージセンサ12に当たる光線経路を概略的に示している。
参照番号26は、カメラ10および特にイメージセンサ12の機能的信頼性を検査するためのモニタリングユニットを示す。好ましい実施形態において、モニタリングユニット26は、本発明方法が複数のプログラムステップとして実施されるマイクロプロセッサにより実現される。この実施形態において、モニタリングユニット26は、個々のプログラムステップがそれ自体公知の方法で保存されているメモリ(ここには図示せず)を有している。
ここに示された構造説明においては、モニタリングユニット26はコンパレータ28を含む。コンパレータ28は、まずメモリ30に連結されており、メモリ30には個別画素14、16のダークノイズ係数が参照値として保存されている。個別画素14、16のダークノイズ係数は、カメラのキャリブレーションの間に決定されメモリ30に保存される。
さらに、コンパレータ28はノイズ決定部32に連結されており、ノイズ決定部32において、各画素14、16に関してグレイスケール値の現在のノイズ係数が決定できる。コンパレータ28は、現在決定されたノイズ係数と対応するダークノイズ係数とを下記にさらに詳細に説明する方法で比較する。
参照番号34は温度センサを示し、その出力信号はメモリ30に与えられる。これによって、上記比較に使用されるダークノイズ係数をそれぞれの周囲温度に応じて選択することができる。
本実施形態において、メモリ30は、ノイズ決定部32に直接連結されている。これによって、ダークノイズ係数を、カメラ10の作動中に使用される現在のノイズ係数と同じ方法できわめて簡単に決定することができる。
上記2つのノイズ係数を比較した結果は、コンパレータ28の出力に与えられる。本実施形態において、コンパレータ28はエラー信号を発し、これは端子36を介して外側に送られる。
図2において、参照番号40は、個別画素14、16の光強度に応じたノイズ行動を示す特性曲線を示す。従って、入射光24の強度Φを横軸42に取り、ノイズレベルNを縦軸44に取って表に示されている。例として、特性曲線上の点46は、座標(Φj, Nj)を有する。
参照番号48は、入射光の強度とは無関係なノイズ成分を示す。このノイズ成分は、第一にダークノイズに帰すことができる。これとは対象的に、光強度Φの上昇に伴う特性曲線40の上昇は、フォトンノイズを示している。
図3は、個別画素14、16におけるいわゆる「膠着(stuck at)」エラーを検知するために使用できる方法のフローダイアグラムである。この方法は、ステップ50における検査すべき画素のグレイスケール値xjの読み込みから始まる。次に、ステップ52において、読み込んだグレイスケール値xjが信号ダイナミックレンジを表すかどうかを決定するための検査を行う。信号ダイナミックレンジは、特にグレイスケール値xjと前のグレイスケール値または複数個の前のグレイスケール値xjkとの差が所定の差よりも大きい場合に存在する。これは、例えばモニタされる空間領域における移動によって生じ得る。もし信号ダイナミックレンジが確認されると、「膠着」エラーを最初から除外することが可能であり、そのためにステップ50に戻る。
もし信号ダイナミックレンジが確認されなければ、これは元々モニタされる空間領域での静止状態での場合であるが、画素の平均グレイスケール値<x>が十分な背景輝度を有しているかどうか(<x> > xt)を決定するためにステップ54において検査を行う。もし検査した画素の平均グレイスケール値<x>が所定の背景輝度xtより小さいならば、総ノイズレベルにおけるフォトンノイズ係数の割合が低すぎるため、この方法により画素の機能的信頼性を確言することができない。従って、この場合、この方法は、ステップ50に戻る。この結果を多数回繰り返す場合、エラー信号を発してもよい(図示せず)。
もし検査した画素のグレイスケール値の背景輝度<x>が上記閾値xtより大きいならば、ステップ56において現在のノイズ係数が決定される。この場合、本実施形態においては、ステップ58によって、周囲温度θもまた計算に入れられる。
好ましくは、この場合の現在のノイズ係数は下式に基づく統計的評価により、分散または標準偏差(分散の平方根)として決定される。
Figure 0004250085
この式において、
j は現在のグレイスケール値を示し、
<x> は計算に入れられるすべてのグレイスケール値の平均値を示し、
n は測定数を示し、
θ は温度を示す。
これとは違って、現在のノイズ係数を、先行グレイスケール値からの現在のグレイスケール値の平均偏差として決定してもよい。この場合、ノイズ係数は、下式により決定される。
Figure 0004250085
最後に、検査した画素の測定サイクル内での最大グレイスケール値と最小グレイスケール値との差もまた、現在のノイズ係数として使用してもよい。これは、ノイズ係数の非常に簡単な決定方法である。しかしながら、上記2つの方法は画素の検査をより確実に行えるので、好ましい。
ステップ60において、現在決定したノイズ係数を、次に、カメラ10のメモリ30からステップ62によって読み出されたのと同じ方法で決定されたダークノイズ係数xdark(θ)と比較する。もし、現在決定したノイズ係数xnoiseが比較のために使用されたダークノイズ係数xdarkよりも大きければ、検査した画素の機能は正常である。従って、ステップ50に戻り、新しい検査サイクルを開始する。
もし、ダークノイズ係数xdarkが現在決定したノイズ係数xnoiseよりも大きければ、「膠着」エラーが存在するので、ステップ64においてエラー処理ルーティーンが続く。エラー処理ルーティーン64内では、例えば端子36を介してエラー信号が出力されてもよい。その後、他の画素の新しい検査サイクルを開始するために、ステップ50に戻る。
図示した方法とは異なり、複数個の画素を同時に検査することもまた可能である。
図4は、2個の異なる画素のカップリングを確認するために使用できる方法の実施形態を示している。この場合、同一参照記号は、前記と同一の部材を示す。
ステップ70において、まず、互いに比較される2個の画素のグレイスケール値aj、bj を読み出す。次にステップ72において、これら2つのグレイスケール値を比較する。例えば記録されたイメージにおける明暗構造によって起こりうるように、もし2つのグレイスケール値が大きく異なるならば、その場合にはカップリングが存在しないと考えられる。従って、ステップ70に戻る。
ステップ72において構造が見つからなければ、ステップ74において前記2個の画素のための背景輝度を再度検査する。もし背景輝度が低すぎるならば、その場合は信頼できる提示が確認できないのでステップ70に戻る。この結果が何度も繰り返されると、エラー信号が発される(図示せず)。
もしステップ74において充分な背景輝度が確認されると、ステップ76において、前記2個の画素のグレイスケール値の比を用いて下式により正確に現在のノイズ係数が決定される。
Figure 0004250085
この式において、
<Λ> はノイズ係数を示し、
a は第1画素のグレイスケール値を示し、
b は第2画素のグレイスケール値を示し、
n は測定サイクルの数を示す。
ステップ58に基づいて、この場合、温度は再度計算に入れられる。次にステップ78において、このようにして決定されたノイズ係数<Λ>が、対応温度に対してメモリ30に保存されたダークノイズ係数<Λ>darkよりも大きいかどうかを決定するために検査を行う。 もしダークノイズ係数<Λ>darkの方が小さければ、前記2個の画素間にカップリングが存在しないと考えられる。しかしながら、もし前記2個の画素の平均偏差<Λ>がダークノイズ係数<Λ>darkよりも小さいかそれに等しいならば、前記2個の画素間にカップリングが存在すると考えなければならない。従って、ステップ80においてエラールーティーンが開始される。
図5は、カップリングを明らかにするための別の実施形態を示す。この実施形態は、図4の方法とは対照的に、もし互いに比較した画素のグレイスケール値が構造によって互いに大きく異なっても劣化は起こらないので、今日的な視点から好ましい。ステップ90において、まず2個の画素のグレイスケール値aj、bj が再度読み出される。次にステップ92において、下式に基づいて現在のノイズ係数が決定される。
Figure 0004250085
この式において、
<U> は現在のノイズ係数を示し、
a は第1画素のグレイスケール値を示し、
b は第2画素のグレイスケール値を示し、
n は測定サイクルの数を示す。
ステップ94において、ノイズ係数<U>はダークノイズ係数<U>darkと比較されるが、このダークノイズ係数<U>darkは、上記と同じ式により、但し暗闇で決定されたものである。もし現在のノイズ係数<U>が保存されているダークノイズ係数よりも大きければ、2個の画素間にカップリングは存在しない。そうでない場合には、ステップ96に基づいてエラールーティーンを再度行う。
図5の方法の利点は、ここで行われる検査のすべてはグレイスケール値の統計的な時間的変動が互いに他方に無関係であるかどうかであるため、2個の画素間のそれぞれのグレイスケール値のカップリングが加算定数または乗算定数により影響され得ることである。
外縁に位置する画素は構造上、光が当たらないように配置されている、市販のイメージセンサがある。従って、これらの縁部画素は、本来常にダーク値に対応する信号を供給する。好ましい実施形態においては、そのようなイメージセンサが本発明によるカメラにおいて使用され、参照として使用されるダークノイズ係数は、縁部における光の当たらない画素のグレイスケール値から決定される。そうでない場合には、必要な参照値が簡単に得られるように、イメージセンサの縁部の画素を、カメラ内の適切な配置により光りが当たらないようにしてもよい。
さらに別の実施形態において、ノイズ係数を決定するために次の式が使用される。
Figure 0004250085
この式において、
j は現在のイメージからの画素jのグレイスケール値を示し、
j は前のイメージからの画素jのグレイスケール値を示し、
n は画素の数を示す。
この実施形態において、2つの連続イメージからの画素間のグレイスケール値の大きさの違いが画素ごとに決定される。その後、すべての画素にわたるグレイスケール値の平均差が形成される。これとは異なり、平均偏差または分散を使用してもよい。2つの連続ダークイメージから同様な方法で決定されたダークノイズ係数が参照ノイズ係数として使用される。この場合、次に、2つのノイズ係数が差異イメージの複数個の画素から決定される。エラー防止イメージセンサの場合、ある背景輝度が存在するならば、現在のノイズ係数はダークノイズ係数よりも大きくなければならない。もし、現在のノイズ係数はダークノイズ係数よりも小さければ、イメージセンサは明らかに「フローズンイメージ」を供給する。すなわち、現在入射する光の変化にもはや反応しない。
連続イメージにおけるムーブメントおよびモチーフの変化によって、ダークノイズ係数に対する現在のノイズ係数が増すが、それは同様に、機能しているイメージセンサを示す。
本実施形態において、個別画素の個別機能について述べることは不可能であるが、本実施形態はイメージセンサの機能性についてのきわめて簡潔で迅速な性質上の提示を行っている。
電子カメラの形態の本発明装置の概略図である。 個別画素のノイズ行動の入射光強度に対する依存を示す概略図である。 本発明による方法の第1実施形態を示すフロー線図である。 本発明による方法の第2実施形態を示すフロー線図である。 本発明による方法の第3実施形態を示すフロー線図である。

Claims (14)

  1. 複数個の光感知画素(14、16)を有するイメージセンサ(12)の機能的信頼性を検査する方法であって、
    (a)光が入射している少なくとも1個の光感知画素(14、16)のグレイスケール値を読み出す段階と、
    (b)当該画素(14、16)の入射光の強度に応じた前記グレイスケール値からその統計的な変動を示す実際のノイズ係数(xnoise; <Λ>; <U>)を決定する段階と、
    (c)前記画素(14、16)の、入射光のない状態での統計的な変動を示すダークノイズ係数(x dark ; <Λ> dark ; <U> dark )を提供する段階と、
    (d)前記決定したノイズ係数と前記ダークノイズ係数とを比較する段階とを含み、
    前記画素が背景輝度 (Xt) を有しているにも係わらず、前記決定したノイズ係数が前記ダークノイズ係数を超えていなければ、当該画素に機能的エラーが存在すると判定する、方法。
  2. 前記実際のノイズ係数(xnoise; <Λ>; <U>)は、前記画素から複数個の読み出されたグレイスケール値の統計的評価(56; 76; 92)により決定される、請求項1に記載の方法。
  3. 前記実際のノイズ係数(xnoise; <Λ>; <U>)と前記ダークノイズ係数(x dark ; <Λ> dark ; <U> dark )とは、それぞれ同じ方法(56; 76; 92)で決定される、請求項1または2に記載の方法。
  4. 前記実際のノイズ係数(xnoise; <Λ>; <U>)と前記ダークノイズ係数(x dark ; <Λ> dark ; <U> dark )とは、周囲温度(58、62)に応じて評価される、請求項1ないしのいずれかに記載の方法。
  5. 前記画素(14、16)のための前記実際のノイズ係数(xnoise)は、絶対値(56)として決定される、請求項1ないしのいずれかに記載の方法。
  6. 前記実際のノイズ係数(xnoise)と前記ダークノイズ係数(x dark )とは、それぞれ同一の画素に関して比較される(60)、請求項1ないしのいずれかに記載の方法。
  7. 前記実際のノイズ係数(<Λ>; <U>)は、少なくとも2個の異なる画素(76; 92)のグレイスケール値の比から決定される、請求項1ないしのいずれかに記載の方法。
  8. 前記実際のノイズ係数(<Λ>; <U>)は、空間的に隣接した画素(14、16)のグレイスケール値の比から決定される、請求項に記載の方法。
  9. 前記実際のノイズ係数(xnoise; <Λ>; <U>)と前記ダークノイズ係数(x dark ; <Λ> dark ; <U> dark )とは、個別画素(14、16)に関して互いに比較される、請求項1ないし8のいずれかに記載の方法。
  10. 前記実際のノイズ係数(xnoise; <Λ>; <U>)と前記ダークノイズ係数(x dark ; <Λ> dark ; <U> dark )とは、画素グループ(14、16)に関して互いに比較される、請求項1ないし9のいずれかに記載の方法。
  11. 前記画素(14、16)の平均グレイスケール値(<x>)が決定され(54; 74)、前記比較段階(d)は、前記平均グレイスケール値が前記背景輝度 (Xt) よりも小さくなければ実施される、請求項1ないし10のいずれかに記載の方法。
  12. イメージセンサ(12)を有する装置であって、この装置は、入射光に応じたグレイスケール値を生成する複数個の光感知画素(14、16)と、少なくとも1個の前記光感知画素(14、 16)から読み出されたグレイスケール値を提供する出力ユニット(18)と、イメージセンサ(12)の機能的信頼性を検査するためのモニタリングユニット(26)とを有し
    前記モニタリングユニット(26)は参照値を保存するための少なくとも1個のメモリ(30)を有しており、
    前記画素のためのダークノイズ係数(x dark ; <Λ> dark ; <U> dark )が前記メモリ(30)に保存され、
    前記モニタリングユニット(26)はノイズ決定部(32)とコンパレータ(28)とを有しており、
    前記ノイズ決定部(32)は前記画素(14、16)の入射光の強度に応じたグレイスケール値から前記実際のノイズ係数(xnoise; <Λ>; <U>)を決定することができ、
    前記コンパレータ(28)は前記実際のノイズ係数と前記ダークノイズ係数とを比較することができ、もし背景輝度 (Xt) を有しているにも係わらず前記決定したノイズ係数が前記ダークノイズ係数を超えていなければ、当該画素に、機能的エラーが存在すると判定する、装置。
  13. 請求項1ないし11のいずれかに記載の方法のすべてのステップを実行するためのプログラムコードを有するマイクロプロセッサプログラム。
  14. 請求項13に記載のマイクロプロセッサプログラムが保存されている、マイクロプロセッサプログラム記憶媒体
JP2003567107A 2002-02-04 2003-01-23 イメージセンサの機能的信頼性の検査方法およびイメージセンサを有する装置 Expired - Lifetime JP4250085B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10205691A DE10205691A1 (de) 2002-02-04 2002-02-04 Verfahren zum Überprüfen der Funktonssicherheit eines Bildsensors sowie Vorrichtung mit einem Bildsensor
PCT/EP2003/000637 WO2003067900A1 (de) 2002-02-04 2003-01-23 Verfahren zum überprüfen der funktionssicherheit eines bildsensors sowie vorrichtung mit einem bildsensor

Publications (2)

Publication Number Publication Date
JP2005517259A JP2005517259A (ja) 2005-06-09
JP4250085B2 true JP4250085B2 (ja) 2009-04-08

Family

ID=27588554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003567107A Expired - Lifetime JP4250085B2 (ja) 2002-02-04 2003-01-23 イメージセンサの機能的信頼性の検査方法およびイメージセンサを有する装置

Country Status (7)

Country Link
US (1) US7872678B2 (ja)
EP (1) EP1472890B1 (ja)
JP (1) JP4250085B2 (ja)
AT (1) ATE322127T1 (ja)
AU (1) AU2003212223A1 (ja)
DE (2) DE10205691A1 (ja)
WO (1) WO2003067900A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100464247C (zh) * 2004-02-23 2009-02-25 英华达(上海)电子有限公司 自动检测相机的方法、检测系统以及储存媒体
DE102004013269A1 (de) * 2004-03-18 2005-09-29 Adc Automotive Distance Control Systems Gmbh Verfahren zur Bestimmung der Temperatur eines Bildsensors
DE102004020331B3 (de) * 2004-04-26 2005-10-20 Pilz Gmbh & Co Kg Vorrichtung und Verfahren zum Aufnehmen eines Bildes
US20070230804A1 (en) * 2006-03-31 2007-10-04 Aldrich Bradley C Encoding techniques employing noise-based adaptation
DE102006040349B4 (de) * 2006-08-29 2016-11-10 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von defekten Pixeln eines Bildaufnahmesensors in einem Fahrerassistenzsystem
DE102006052805B3 (de) * 2006-11-09 2008-06-05 Sick Ag Optoelektronische Überwachungsvorrichtung mit Testeinheit und Testverfahren
EP2199999B1 (de) * 2008-12-19 2012-05-02 Pepperl + Fuchs GmbH Verfahren zum Testen eines optischen Sensors und testbarer optischer Sensor
US8203620B2 (en) * 2010-04-28 2012-06-19 Nethra Imaging Inc Method and apparatus for sharpening digital images
JP6202482B2 (ja) * 2014-02-26 2017-09-27 オムロン株式会社 イメージャデコーダのための誤り検出方法および装置
DE102015120314A1 (de) * 2015-11-24 2017-05-24 Pilz Gmbh & Co. Kg Verfahren zum Programmieren einer Sicherheitssteuerung
CN106341685B (zh) * 2016-09-09 2018-10-16 深圳怡化电脑股份有限公司 一种图像传感器检测方法和装置
US10414048B2 (en) 2016-09-14 2019-09-17 Faro Technologies, Inc. Noncontact safety sensor and method of operation
US10670745B1 (en) 2017-09-19 2020-06-02 The Government of the United States as Represented by the Secretary of the United States Statistical photo-calibration of photo-detectors for radiometry without calibrated light sources comprising an arithmetic unit to determine a gain and a bias from mean values and variance values
EP3496398B1 (de) 2017-12-11 2020-01-29 Sick AG Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren
CN108259892A (zh) * 2018-03-21 2018-07-06 深圳怡化电脑股份有限公司 图像传感器的检测方法、系统及装置
EP3651458B1 (de) 2018-11-08 2020-09-09 Sick Ag Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren
CN113542730A (zh) * 2021-06-29 2021-10-22 深圳市天视通视觉有限公司 一种摄像机的传感器测试方法、装置及存储介质

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US528123A (en) * 1894-10-23 Valve for steam-engines
US779861A (en) * 1904-07-12 1905-01-10 George J Maringer Puzzle.
JPS6055924A (ja) * 1983-09-05 1985-04-01 オリンパス光学工業株式会社 内視鏡の撮像用自動調光装置
US4602291A (en) * 1984-05-09 1986-07-22 Xerox Corporation Pixel non-uniformity correction system
EP0179252A3 (de) 1984-09-14 1987-07-15 Siemens Aktiengesellschaft Verfahren und Einrichtung zum Schutz von Personen, die sich im Aktionsbereich eines beweglichen Maschinenteils einer verfahr- oder verschwenkbaren Arbeitsmaschine, insbesondere eines Industrieroboters, aufhalten
US4703442A (en) 1985-09-25 1987-10-27 Rca Corporation Temperature tracking defect corrector for a solid-state imager
US4654714A (en) * 1985-10-30 1987-03-31 Rca Corporation Pixel addressing system
JPS63248289A (ja) * 1987-04-03 1988-10-14 Fujitsu Ltd Ccd撮像装置
KR100188897B1 (ko) * 1990-01-31 1999-06-01 이데이 노부유끼 고체촬상장치의 화상결합보정회로
US5272536A (en) * 1990-03-13 1993-12-21 Sony Corporation Dark current and defective pixel correction apparatus
US5047863A (en) 1990-05-24 1991-09-10 Polaroid Corporation Defect correction apparatus for solid state imaging devices including inoperative pixel detection
DE4020017A1 (de) 1990-06-20 1992-01-02 Cuba Acad Ciencias Verfahren und anordnung zur ermittlung und ausblendung von defekten pixeln eines halbleiterwandlers
US5047861A (en) * 1990-07-31 1991-09-10 Eastman Kodak Company Method and apparatus for pixel non-uniformity correction
JPH05260386A (ja) * 1992-03-16 1993-10-08 Sony Corp 固体撮像素子の欠陥画素検出回路
JP3014895B2 (ja) * 1993-06-02 2000-02-28 株式会社日立製作所 ビデオカメラ
US5576827A (en) * 1994-04-15 1996-11-19 Micromeritics Instrument Corporation Apparatus and method for determining the size distribution of particles by light scattering
DE19527148C1 (de) 1995-07-25 1997-01-09 Siemens Ag Verfahren zum Betrieb eines digitalen Bildsystems einer Röntgendiagnostikeinrichtung
JPH09200613A (ja) * 1996-01-19 1997-07-31 Sony Corp 固体撮像素子の欠陥検出装置
US5796492A (en) * 1996-03-20 1998-08-18 Agfa Division, Bayer Corporation Rotatable control panel for a scanner
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
US7304670B1 (en) * 1997-03-28 2007-12-04 Hand Held Products, Inc. Method and apparatus for compensating for fixed pattern noise in an imaging system
JP3351704B2 (ja) * 1997-04-09 2002-12-03 ペンタックス株式会社 画像信号補正装置
EP0902402B1 (de) 1997-09-15 2002-07-24 rms kleine gmbh vertrieb elektonischer geräte Verfahren und Vorrichtung zur optischen Überwachung eines Raumbereichs
US6618084B1 (en) * 1997-11-05 2003-09-09 Stmicroelectronics, Inc. Pixel correction system and method for CMOS imagers
JP3587433B2 (ja) * 1998-09-08 2004-11-10 シャープ株式会社 固体撮像素子の画素欠陥検出装置
US6593961B1 (en) * 1998-10-30 2003-07-15 Agilent Technologies, Inc. Test efficient method of classifying image quality of an optical sensor using three categories of pixels
US6529622B1 (en) 1998-10-30 2003-03-04 General Electric Company Method and apparatus for identifying defective regions in a discrete pixel detector
US6965410B1 (en) * 1998-12-03 2005-11-15 Canon Kabushiki Kaisha Image sensing apparatus employing dark image data to correct dark noise
JP2000209506A (ja) * 1999-01-14 2000-07-28 Toshiba Corp 撮像装置および撮像方法
US7324143B1 (en) * 1999-04-13 2008-01-29 Rochester Institute Of Technology Method and system for reducing noise in a digital image and apparatus thereof
AU2001252223A1 (en) * 2000-04-07 2001-10-23 Pilz Gmbh And Co. Protective device for safeguarding a dangerous area and method for verifying thefunctional reliability of such device
DE10017333C2 (de) 2000-04-07 2003-02-13 Pilz Gmbh & Co Schutzvorrichtung zum Absichern eines Gefahrenbereichs sowie Verfahren zum Überprüfen der Funktionssicherheit einer solchen
JP4497759B2 (ja) * 2000-06-30 2010-07-07 キヤノン株式会社 画像処理装置及びその処理方法
KR100399884B1 (ko) * 2000-10-25 2003-09-29 주식회사 하이닉스반도체 이미지 센서의 결함 픽셀 보정 장치 및 그 방법
JP2002354340A (ja) * 2001-05-24 2002-12-06 Olympus Optical Co Ltd 撮像装置
US6985180B2 (en) * 2001-06-19 2006-01-10 Ess Technology, Inc. Intelligent blemish control algorithm and apparatus
US6737625B2 (en) * 2001-06-28 2004-05-18 Agilent Technologies, Inc. Bad pixel detection and correction in an image sensing device
KR100421987B1 (ko) * 2001-12-06 2004-03-11 삼성전자주식회사 오차확산 처리방법
JP2003204486A (ja) * 2002-01-09 2003-07-18 Olympus Optical Co Ltd 撮像装置
JP2003209749A (ja) * 2002-01-11 2003-07-25 Olympus Optical Co Ltd 撮像装置
US20030179418A1 (en) * 2002-03-19 2003-09-25 Eastman Kodak Company Producing a defective pixel map from defective cluster pixels in an area array image sensor
US20040239782A1 (en) * 2003-05-30 2004-12-02 William Equitz System and method for efficient improvement of image quality in cameras
DE102004061978A1 (de) * 2004-12-23 2006-07-13 Lfk-Lenkflugkörpersysteme Gmbh Verfahren und Vorrichtung zum Ersetzen defekter Pixel in Focal Plane Array Kameras

Also Published As

Publication number Publication date
ATE322127T1 (de) 2006-04-15
AU2003212223A1 (en) 2003-09-02
DE50302814D1 (de) 2006-05-18
WO2003067900A1 (de) 2003-08-14
JP2005517259A (ja) 2005-06-09
US20050036045A1 (en) 2005-02-17
EP1472890B1 (de) 2006-03-29
DE10205691A1 (de) 2003-08-14
EP1472890A1 (de) 2004-11-03
US7872678B2 (en) 2011-01-18

Similar Documents

Publication Publication Date Title
JP4250085B2 (ja) イメージセンサの機能的信頼性の検査方法およびイメージセンサを有する装置
JP3927353B2 (ja) 比較検査における画像の位置合せ方法、比較検査方法及び比較検査装置
US7099002B2 (en) Defect detector and method of detecting defect
CN101677359B (zh) 图像传感装置及缺陷像素检测方法
US11293877B2 (en) Defect detecting device and defect detecting method
US7161586B2 (en) Method of operating an optical motion sensing device and optical motion sensing device implementing this method
CN113554637B (zh) 相机盖板的脏污检测方法及检测装置
CN113570582B (zh) 相机盖板清洁度检测方法及检测装置
JP6000054B2 (ja) 乗客コンベアの自動監視装置、および乗客コンベアの自動監視方法
TW200427981A (en) Device for examining end part
JP4913585B2 (ja) 異常検査装置
US11039096B2 (en) Image processing device, image processing method and storage medium
JP7342480B2 (ja) バケット昇降機の監視装置
US10067234B2 (en) Projected beam detector with imaging device
JP2995124B2 (ja) 寸法測定装置
KR20040020721A (ko) 라인형 이미지 센서를 이용한 표면 검사방법 및 검사장치
CN117110330B (zh) 一种输送带探伤检测方法、装置、设备及存储介质
GB2317447A (en) PCB inspection system
US8109442B2 (en) Optical reader quality factor
JP4958589B2 (ja) 製品検査方法
CN108469909B (zh) 可动态学习不同工作表面之材质的光学导航装置及方法
JPH10325809A (ja) ウェブの欠陥検査装置及びウェブの欠陥検査方法
JP2793518B2 (ja) 表示装置の検査装置
KR100237304B1 (ko) 화상 비교 검사시의 양/불 판정 방법과 불량 위치 검출방법
JP2004171300A (ja) 計量器検針システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081218

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090116

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4250085

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term