JP4978214B2 - 撮像システムおよび画素欠陥補正装置 - Google Patents

撮像システムおよび画素欠陥補正装置 Download PDF

Info

Publication number
JP4978214B2
JP4978214B2 JP2007017884A JP2007017884A JP4978214B2 JP 4978214 B2 JP4978214 B2 JP 4978214B2 JP 2007017884 A JP2007017884 A JP 2007017884A JP 2007017884 A JP2007017884 A JP 2007017884A JP 4978214 B2 JP4978214 B2 JP 4978214B2
Authority
JP
Japan
Prior art keywords
defect
pixel
correction
overcorrection
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007017884A
Other languages
English (en)
Other versions
JP2008118609A5 (ja
JP2008118609A (ja
Inventor
彰規 角谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007017884A priority Critical patent/JP4978214B2/ja
Priority to US11/869,442 priority patent/US7800662B2/en
Priority to CN2007101441834A priority patent/CN101222580B/zh
Priority to CN2010101636177A priority patent/CN101800848B/zh
Priority to CN2010101635954A priority patent/CN101860666B/zh
Publication of JP2008118609A publication Critical patent/JP2008118609A/ja
Publication of JP2008118609A5 publication Critical patent/JP2008118609A5/ja
Priority to US12/860,089 priority patent/US8325253B2/en
Application granted granted Critical
Publication of JP4978214B2 publication Critical patent/JP4978214B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、固体撮像装置(素子)を用いた画素欠陥補正装置およびこの画素欠陥補正装置を用いた撮像システムに関する。
CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)デバイスなどの固体撮像装置(素子)(装置)またはこれを用いた撮像システム(またはカメラ装置とも記載する)において、画素欠陥に、結晶欠陥、製造工程などの製品出荷前に発生する欠陥と、製品出荷後の後発的欠陥がある。これらの欠陥により画像が劣化するため種々の欠陥補正が提案されている。
例えば、固体撮像装置(素子)または撮像システムが製品出荷された後に発生する後発欠陥に対しては、固体撮像装置(素子)の高画素化に伴い、後発欠陥の点数も増加傾向にあるため、補正点数制限のない動的な欠陥検出補正が一般的に使用されている。
しかし、固体撮像装置(素子)または撮像システムの動的な欠陥検出または補正において、高周波成分と画素欠陥の判別が困難であり、高周波成分を欠陥と判定してしまうことがある。このように判定すると、画像に文字や点、高周波を含む場合、本来あるはずの線や点を過補正してしまう。
固体撮像装置(素子)または撮像システムの欠陥補正に関しては、誤検出または補正が抑えられるため、製品出荷時に遮光または一定の輝度を入力した状態で輝度レベルを固定し、静的に検出/補正動作を行うのが一般的である。
また、固体撮像装置または撮像システムの後発欠陥に関しては、高画素化が進み、後発欠陥の発生数が増加傾向にあるため、補正点数を制限せずに、通常撮像状態で動的に検出/補正を行うのが一般的である。さらに、撮像システムの設置場所によっては設置後の設定変更や再調整が困難である。
特開2004−64512号公報
従来、製品出荷に当たり、電源投入時などに欠陥検出補正の調整を行うことを前提にしているが、監視撮像システムなどでは、撮像システムの設置場所によっては設置後の設定変更や再調整が困難であり、出荷または設置後に発生する後発欠陥に対応できない。また、固体撮像装置の高画素化に伴い画素数が増え、それに伴い後発欠陥の点数も増加傾向にあり、補正点数制限のない動的な欠陥検出補正で後発欠陥を補正するのが、一般的になりつつある。しかし、動的な欠陥検出/補正においては高周波成分と画素欠陥の判別が困難であり、高周波成分を欠陥と判定してしまうため、文字や点、高周波を含む場合、本来あるはずの線や点を過補正してしまい、視認できなくなる。さらにこれが被写体の特徴点であった場合には、像を崩してしまうことになる。
また、撮影中または画像再生中などに適宜欠陥検出補正を行うと、表示画面の欠陥画素部の補正を行うので、表示画像が崩れる問題が発生する。
固体撮像装置またはこの固体撮像装置を有する撮像システム(カメラ装置)が製品出荷された後、後発的に固体撮像装置に欠陥が発生することがある。上記したことに鑑み本発明は、後発的に発生した固体撮像装置またはこれを用いた撮像システム(カメラ装置)の欠陥を静的に欠陥検出または補正を行った時点からの使用時間をタイマカウンタ(時間計測手段)を用いて計測しておき、固体撮像装置および撮像システムの欠陥発生率および使用時間から後発欠陥発生点数の分布を算出し、算出された後発欠陥発生点数分布に対して、過補正判定の閾値を設け、市場不良発生率などの設定を与えることで適切な補正点数を決定し、過補正を適切に制限するようにすることである。さらに、この過補正は所定の期間で映像を記録する必要が無い期間や画像取り込み中などの表示画像に影響が無い期間に静的欠陥補正を行うことである。
本発明の撮像システムは、撮像装置と、上記撮像装置の欠陥画素を検出し、補正する画素欠陥補正部と、時間計測手段と、を有し、上記画素欠陥補正部は、上記時間計測手段で計測された使用時間を用いて後発欠陥発生点数を推定し、当該推定の結果に基づいて、補正を抑制し、あるいは再調整のための補正を行う。
本発明の画素欠陥補正装置は、画素信号が供給され、該画素信号の欠陥を検出し、欠陥数を計測する画素欠陥検出手段と、時間計測手段と、上記画素欠陥検出手段の計測値と上記時間計測手段により所定時間経過後の上記画素信号の推定値を算出した値と比較し、上記欠陥補正が過補正か否かを判別し、過補正のとき上記欠陥画素の補正を行う制御信号を発生する過補正演算部と、上記過補正演算部の制御信号により、上記画素信号の欠陥補正を行う。
本発明の他の画素欠陥補正装置は、画素信号が供給され、該画素信号の欠陥を検出し、欠陥数を検出する画素欠陥検出手段と、時間計測手段と、上記画素欠陥検出手段の検出値と上記時間計測手段により所定時間経過後の上記画素信号の欠陥推定値を算出した値と比較し、欠陥補正が過補正か否かを判別し、過補正のとき上記欠陥画素の補正を行う制御信号を発生する過補正演算部と、上記画素信号で形成される映像が連続的に得られない期間、または、映像が得られるが映像に変化がない期間を検出し、検出した期間内に欠陥検出補正を行うための制御信号を生成する動き情報検出手段と、上記動き情報検出手段から供給された制御信号により、上記画素欠陥検出手段と過補正演算部の動作を制御して、映像の変化に応じた所定期間に上記欠陥画素の検出補正を行うコントローラとを有する。
本発明においては、撮像システムの欠陥検出/補正を行った時点からの使用時間を時間計測手段を用いて計測しておき、撮像装置の欠陥発生率および使用時間から後発欠陥発生点数の分布を算出し、この算出された後発欠陥発生点数分布に対して、過補正判定の閾値を設け、市場不良発生率などの設定を与えることで適切な補正点数を決定し、画素欠陥の過補正を適切に制限する。またこの過補正を表示中の画像を壊すことなく行う。
本発明の画素欠陥補正装置および撮像システムは、時間経過における適切な欠陥画素数を算出し、過補正を抑制することができる。画素欠陥の発生率は撮像システムなどの設置場所毎に異なり、欠陥発生率および過補正判定の閾値を持つことにより、使用場所に合わせた適切な過補正抑制ができる。
過補正を判定するための複雑な回路および制御を必要としない。撮像装置を再調整が困難な場所に設置した場合でも、過補正に伴う発報を受けて適切な時期に調整を行うことができる。撮像システムなどを設置した後、欠陥検出補正再調整を必要とせず、撮像機器自体で自己回復を行うことができる。
さらに、補正動作は、表示中の画像を壊すことなく行うことができる。
図1に本発明の実施の形態に係る撮像システム(カメラ装置)100の概略構成図を示す。この撮像システム100は、レンズ1と、イメージセンサ〜ADC(アナログディジタル変換器)2と、クランプ回路3と、ディジタル信号処理部10と、コントローラ30などで構成される。
また、レンズ1には不図示の絞り(アイリス、遮光手段)機構が設けられ、コントローラ30から供給されるアイリス制御信号により制御される。
イメージセンサ〜ADC2は、固体撮像装置(素子)以外にS/H(サンプルホールド)回路、AGC(自動利得制御)回路やADC変換器などで構成される。
ディジタル信号処理部10は、欠陥検出補正回路4、信号処理部5で構成され、さらに欠陥検出補正回路4は図2に示すように、欠陥補正部4Aと欠陥検出部4Bで構成され、信号処理部5は信号処理回路11、エンコーダ12などで構成される。
コントローラ30は、制御回路やマイクロコンピュータなどで構成される。たとえばマイクロコンピュータで制御プログラムなどにしたがって、レンズ1の絞りやディジタル信号処理部10の欠陥検出補正回路4、信号処理部5の動作に関する制御が行われる。
またこの他、不図示のタイミングジェネレータは、システムクロックを基準として水平クロック信号、垂直クロック信号、その他の制御信号を発生し、所定のタイミングでイメージセンサ〜ADC2やディジタル信号処理部10を駆動する。
上記構成の撮像システム100において、レンズ1は、図示しない被写体の画像をイメージセンサ〜ADC2の撮像面上に結像させる。イメージセンサ〜ADC2としては、一般にCCD撮像素子やCMOS型撮像素子などの固体撮像装置(素子)が用いられる。このイメージセンサ(〜ADC)2で、その撮像面上に結像された画像を画素単位で電気信号に変換し、撮像信号として不図示のS/H&AGC回路に供給する。
S/H&AGC回路は、イメージセンサ〜ADC2の固体撮像装置(素子)から出力される撮像信号をサンプルホールドして必要なデータを取り出すとともに、適正なレベルに合わせるためにゲインコントロールを行なう。このS/H&AGC回路の出力信号は、A/D変換器に供給される。
A/D変換器は、S/H&AGC回路の出力信号をアナログ信号からディジタル信号に変換してクランプ回路3に出力する。A/D変換器から、例えば10Bitのデータがクランプ回路3に供給される。
クランプ回路3は、ディジタル化された撮像信号の黒レベルを所定の電圧レベルに固定した後、ディジタル信号処理部10に供給する。
ディジタル信号処理部10において、A/D変換回路から供給されたディジタルデータは欠陥検出補正回路4に供給される。
画素欠陥補正装置の主要部を構成する欠陥検出補正回路4は図2に示すように欠陥補正部4Aと欠陥検出部4Bで構成され、欠陥補正部4Aで補正パルス発生回路27から供給された補正パルスにより欠陥画素が補正される。また欠陥検出部4Bの過補正演算部50で欠陥画素について過補正抑制処理が行われた欠陥画素アドレスデータをもとに補正パルス発生回路27により、補正パルスが発生されこの補正パルスが欠陥補正部4Aに供給され、そこで過補正欠陥画素が補正される。過補正演算部50はソフトウェアーを用いて構成し、コントローラから欠陥アドレスが格納してあるRAM23にアドレスを書き戻すことで実現してもよい。
欠陥画素の補正は、リアルタイムでその画素信号を、1画素もしくは2画素前の画素で置換する方法、前後の画素値の平均で置換する方法、または同様に垂直方向で考え、1つ上の画素で置換する方法、あるいは上下の画素値の平均で置換する方法など、公知の補間方法を利用して欠陥画素の画素値補正を行なう。
信号処理部5は不図示のYC分離回路、輝度信号処理部や色信号処理部などで構成され、欠陥補正された画像信号をYC分離回路で輝度信号(データ)と色信号(データ)に分離し、輝度信号は輝度信号処理部で所定の信号処理を行い、色信号は色信号処理部で所定の信号処理を行う。
輝度信号処理部はY(輝度)信号の垂直・水平(方向)輪郭補正、γ(ガンマ)補正などの種々の画像処理を行う。
色信号処理部は、色信号のノイズや色偽信号の除去、RGBマトリックス(Matrix)処理、R,G,Bの各色の係数を可変するホワイトバランス調整、γ(ガンマ)補正、R−G/B−G変換、色差信号(Cr/Cb)の生成、Hue/Gain調整などを行う。
信号処理部5に、色信号処理部から出力された色差信号R−Y、B−Y信号と輝度信号処理部から出力された輝度信号Yが供給され、同期信号が付加されてアナログコンポジット信号が出力される。またこの他にアナログコンポーネント信号、ディジタルコンポーネント信号などが出力される。
次に、図1の撮像システム100の動作について説明する。レンズ1で図示しない被写体の画像をイメージセンサ〜ADC2の撮像装置の撮像面上に結像させる。固体撮像装置(素子)の撮像面上に結像された画像を画素単位で電気信号に変換し、撮像信号として不図示のS/H&AGC回路に供給する。
S/H&AGC回路で固体撮像装置(素子)から出力される撮像信号をサンプルホールドして必要なデータを取り出すとともに、適正なレベルに合わせるためにゲインコントロールを行ない、利得制御してA/D変換器に供給する。
A/D変換器でアナログ信号をディジタル信号に変換し、ディジタル化された撮像信号の黒レベルをクランプ回路3で所定の電圧レベルに固定した後、ディジタル信号処理部10に供給する。
クランプ回路3から供給されたディジタルデータはディジタル信号処理部10の欠陥検出補正回路4(4A,4B)に供給される。
欠陥検出補正回路4またはコントローラ30に時間計測するタイマーが設けられ、タイマーにより製品出荷時または出荷後に欠陥画素の静的欠陥補正をしたときに、時間設定を行う。時間設定は、たとえば次の画素欠陥補正する時間を設定し、その設定された時間になると自動的に欠陥画素補正が行われる。あるいは、この他にユーザーが撮像システム100を調整できるようにコントローラ30を介して、外部に音声または画像表示により再調整を促すことを発報する。
この画素欠陥補正において、まず、タイマーで設定された経過時間に対して予め計算された欠陥発生率から欠陥画素数が算出される。さらに、算出された欠陥画素数に対して許容画素数が加算され閾値が設定される。
次に、閾値と欠陥検出部4Bで検出された欠陥画素数とが比較され、経過時間に対する補正が妥当かあるいは過補正であるか判断される。
後述の欠陥検出部4Bの過補正演算部50で欠陥画素について過補正制御された後、欠陥画素のアドレスデータに基づき補正パルスが発生され、この補正パルスが欠陥補正部4Aに供給され、欠陥画素を補正する。
コントローラ30から供給された欠陥情報に基づき、欠陥検出補正回路4の欠陥補正部4Aに補正パルスが供給され欠陥画素が補正される。
欠陥画素の補正は、リアルタイムでその画素信号を、1画素もしくは2画素前の画素で置換する方法、前後の画素値の平均で置換する方法、または同様に垂直方向で考え、1つ上の画素で置換する方法、あるいは上下の画素値の平均で置換する方法など、公知の補間方法を利用して欠陥画素の画素値補正を行なう。
適切に補正された画像信号は、上述したように、信号処理部5で、YC分離した後、輝度信号処理部や色信号処理部などそれぞれで所定の信号処理を行う。そして、エンコーダ12で色差信号R−Y、B−Y信号と輝度信号Yが処理され同期信号が付加されてアナログコンポジット信号が出力される。
次に、図2に本発明の実施形態例のディジタル信号処理部10のブロック構成を示す。ディジタル信号処理部10は、欠陥検出補正回路4、信号処理部5などで構成され、さらにこの欠陥検出補正回路4は欠陥補正部4Aと欠陥検出部4Bで構成され、信号処理部5は信号処理回路11とエンコーダ12で構成される。
欠陥補正部4Aにおいて、欠陥画素の補正はリアルタイムでその画素信号を、1画素もしくは2画素前の画素で置換する方法、前後の画素値の平均で置換する方法、または同様に垂直方向で考え、1つ上の画素で置換する方法、あるいは上下の画素値の平均で置換する方法など、公知の補間方法を利用して欠陥画素の画素値補正を行なう。
次に、欠陥検出部4Bについて説明する。図2に示すように、欠陥検出部4Bは例えば、コンパレータ21、アドレス検出回路22、RAM(Random Acess Memory)23、カウンタ24、レベル設定回路25、過補正演算部50、補正パルス発生回路27などで構成される。この過補正演算部50の一部は、コントローラ30内で、たとえばソフトウェアーを用いて構成しても良い。
コンパレータ21は、フレーム読出し駆動でのCCD(またはCMOS)のイメージセンサ〜ADC2の出力レベルを所定のレベル(レベル設定回路25で設定された値)と比較することによって欠陥画素を検出する。
アドレス検出回路22は、コンパレータ21の検出出力に基づいて欠陥画素のアドレスを特定しかつこのフレーム読出し駆動でのアドレスをフィールド読出し駆動でのアドレスに変換する。
RAM23は、欠陥画素として検知した結果をアドレスデータとして保持するために設けられたものである。アドレス検出回路22によって与えられるアドレスデータを奇数・偶数の各フィールド毎に記憶する。
カウンタ24は、コンパレータ21で画素振幅が所定のレベル以上の欠陥画素数を逐次計測する。
レベル設定回路25は、欠陥画素を決定するための画素レベルを設定する。
過補正演算部50は、欠陥発生率の算出、使用時間の計測、過補正判定閾値の設定などを行い、欠陥画素の補正点数を決定する。この過補正演算部50については後述する。
補正パルス発生回路27は、過補正演算部50からの制御信号に応じて過補正画素を補正する制御信号を発生して欠陥補正部4Aに供給する。
信号処理回路11は、色(YC)分離した後、輝度信号に関して輪郭補正、ガンマ(γ)補正などを行う。一方、色信号に関して、ホワイトバランス調整、色差信号を生成するためのマトリックス処理などを行う。
エンコーダ12は、輝度信号処理部で処理された輝度信号と色信号処理部で処理された色信号が供給され、同期信号が付加されてコンポジット信号などを出力する。
次に、図1の撮像システム(カメラ装置)100の動作を図2を用いて説明する。上記構成の撮像システム100を起動すると、コントローラ30内蔵の時計(タイマー)またはディジタル信号処理部10の過補正演算部50に備え付けられた時計の時間が設定される。時間設定後、撮像システム100で使用時間が計測される。
設定された時間が経過すると、コントローラ30により欠陥検出補正回路4が制御されて、過補正抑制の機能が開始する。クランプ回路3から供給された画像信号が欠陥検出補正回路4に供給され、この欠陥検出補正回路4のコンパレータ21で画像信号が所定の基準信号レベルと比較された結果、比較値が基準信号レベルより小さいと、カウンタ24に出力信号たとえばパルスが出力されない。すなわちカウンタ24で欠陥画素数は計数されず、またアドレス検出回路22で欠陥画素に対するアドレスデータは検出されず、RAM23に出力されない。
一方、コンパレータ21において、画像信号が基準値より大きいとカウンタ24に出力信号たとえばパルスが供給され、カウンタ24で欠陥画素数が計数される。またこれと同時に、アドレス検出回路22で欠陥画素に対するアドレスデータが検出され、そのアドレスデータがRAM23に出力され、記憶される。
過補正演算部50で、ユーザーが設定した時間または予め設定された時間における画素の欠陥発生率から欠陥発生点数が算出される。この欠陥発生率は例えば過去の欠陥画素に関する統計データから求められ、例えばコントローラ30内の記憶装置に記憶される。
カウンタ24で得られた欠陥画素数と、過補正演算部50で算出された欠陥画素数の推定値(閾値)とが比較され、算出された欠陥補正数以上の欠陥を補正しているか否かの過補正が判断される。
過補正されていなければ、通常の欠陥補正であるので更なる補正は行わない。一方、算出された欠陥補正数以上の欠陥画素を補正したことが判別されると、コントローラ30を介して欠陥補正や再調整に関する情報(欠陥情報)が発報され、ユーザーに注意を喚起する。この発報によりユーザーは撮像システムの調整や修理を行う。
また過補正のとき、コントローラ30を介して自動的にレンズ1に備え付けてある搾り(アイリス)を調整してイメージセンサ〜ADC2の固体撮像装置(素子)を遮光して、黒レベルを測定して白欠陥を検出し、過補正を再調整して自己修復を行う。
再調整の方法として、動き検出を併用して動物体の存在しない区間(期間)に自動的に欠陥検出補正の再調整を行ってもよい。
また他の方法として、モード遷移期間などの映像出力信号のミュート期間を利用して、欠陥検出補正の再調整を行っても良い。
次に図3に画素欠陥装置の過補正演算部50について説明する。この過補正演算部50は、タイマーカウンタ(時間計測手段)51、欠陥発生分布算出部52、閾値設定回路53、補正演算部54で構成される。またこれらの各機能ブロックは、ハードウェアで構成される以外に図1に示すコントローラ30を用いて実現することもできる。特にタイマーカウンタ51はマイコンの時計を併用することができ、撮像システム100の使用時間はコントローラ30に内臓のRAMなどに記憶することができる。ここでは1例として、ハードウェアで構成された例について説明する。
タイマーカウンタ51は、コントローラ30などからの制御信号により、撮像システム100の使用時間を計測する。
タイマーカウンタ51で時間を計測し、設定された使用時間になると、欠陥発生分布算出部52に使用時間情報を供給する。
欠陥発生分布算出部52で欠陥発生率とイメージセンサ〜ADC2の画素数から、使用時間に対する欠陥画素数が算出される。欠陥発生率は使用時間に対して1次関数で増加することが知られていて、撮像システム100が製品出荷時や、または製品出荷後、ユーザーなどにより再調整されたときタイマーが改めて設定され使用時間が計測される。
欠陥発生率に関する統計分布曲線は、図4に示すように一般的にガウス分布に従う曲線であり、縦軸に任意目盛の分布割合を示し、横軸に欠陥発生点数を示す。
閾値設定回路53は、欠陥発生分布算出部52から供給された使用時間に対する欠陥画素数に許容量を加算した画素数を過補正閾値として設定する。この許容量は、撮像システム100が使用される場所、温度などの使用環境により設定される。過補正を判定するために閾値を設定することにより欠陥の過補正を適切に制限することができる。
補正演算部54は、閾値設定回路53から出力された過補正閾値と、カウンタ24とRAM23から欠陥画素数と各欠陥画素のアドレスが供給され、欠陥画素数と過補正閾値と比較され、過補正が発生しているか否かについて判別される。過補正のとき過補正を防止する制御信号が補正演算部50に出力されるとともにコントローラ30を介して過補正を抑制するための制御信号を出力する。
一方、過補正と判断されない時は、通常の画像欠陥補正の状態を保持する。
次に、過補正演算部50の動作について説明する。製品出荷時または前回の撮像システム100の調整時にタイマーカウンタ51に設定された所定の使用時間が経過すると、欠陥画素数は一般に使用時間に比例して増加するので、その欠陥画素数が統計分布から推測することができる。カウンタ24で計測された欠陥画素数と、統計処理により推測された欠陥画素数と許容欠陥画素数を加味した過補正閾値とが比較される。
カウンタ24で計測された欠陥画素数が過補正閾値より小さいと適正な調整が行われているので、過補正演算部50から過補正抑制を行うための制御信号は補正パルス発生回路27に供給されない。このとき、欠陥補正部4Aにおいて通常の補正が行われているので、過補正に関する調整は行わない。
一方、コンパレータ21で検出された欠陥画素数がユーザーまたは管理者により時間計測手段(タイマーカウンタ)51に設定された使用時間内にカウンタ24で計測され、欠陥画素数が過補正閾値より多いと、動的過補正などが行われている可能性がある。すなわち、誤検出が発生していると判定されると、撮像システム100をPAN(パン)/TILT(チルト)動作すなわち撮像システム100を左右または上下に移動させて撮像領域をずらす。撮像領域をずらしたとき、補正対象となっていた画素の信号レベルが被写体変化に追従するようであれば誤検出とみなし、一方信号レベルに変化がないと欠陥画素であると判定する。このようにして、誤検出された画素を特定し、欠陥検出の対象から外すことにより過補正を抑制することができる。
過補正抑制の例として静的な補正制御方法がある。例えば、後発欠陥の発生数が過補正閾値を上回ると推測された場合、過補正演算部50からコントローラ30に制御信号を供給し、このコントローラ30によりレンズ1のアイリス機構を制御して、イメージセンサ〜ADC2の固体撮像装置(素子)を遮光する。そして、固体撮像装置(素子)の各画素について黒レベルの測定を行い、黒レベルに対して測定レベルが所定量大きいと白欠陥と判別し、検出された欠陥画素について再調整を行い自動的に自己修復する。
他の静的な過補正制御として、過補正欠陥の補正期間は、例えば映像出力のミュート期間内にコントローラ30でアイリス制御信号をレンズ1のアイリス制御機構に供給し、イメージセンサ〜ADC2の固体撮像装置(素子)を自動的に遮光して欠陥検出補正の再調整を行うことができる。
他の補正期間として、撮像システム100の動き検出機能を併用し、動物体が存在しない期間に自動的に遮光し、欠陥検出補正の再調整を行うことで動物体の見落としを防ぎ、常に適切な欠陥補正を行うことができる。
また、自動過補正制御以外に、外部に対して再調整を促すための発報を行うことにより管理者が撮像システム100を再調整することができる。例えば、過補正演算部50で所定の使用時間の欠陥画素数を計測し、この計測値が使用時間に対する統計処理から推測された過補正閾値と比較された結果、欠陥画素数が過補正閾値より多いと、過補正演算部50から制御信号が出力され、インターフェイスを介してコントローラ30に転送される。
コントローラ30から、撮像システム100の不図示の表示装置に制御信号が転送され、この表示部に「欠陥補正」を必要とする旨の内容が表示される。管理者がこの撮像システム100の表示部を見て外部から再調整の調整が可能な場合、適切な時期に欠陥検出補正の再調整を行い、撮像システム100を常に適切な補正状態に保つ。
次に、図5に示す撮像システム100の過補正動作に関するフローチャートを示す。
ステップST−10において、製品出荷時または製品出荷後に画素欠陥補正を行う。この画素欠陥補正は静的欠陥補正または動的欠陥補正のいずれであっても良い。
ステップST−12において、ステップST−10で欠陥補正した際、時刻情報をコントローラ30または過補正演算部50のタイマーカウンタに記憶するとともに、所定の使用時間後に欠陥補正できるようにセットする。
ステップST−14において、撮像システム100を使用し所定の使用時間になると、コントローラ30からの指示により、この使用時間に対するイメージセンサ〜ADC2の固体撮像装置(素子)の画素欠陥発生率を統計分布により推測する。推測した割合から使用イメージセンサ2〜ADCの固体撮像装置(素子)の画素数に対する欠陥画素数を算出する。
ステップST−16において、推測した欠陥画素数から許容数を加味した過補正閾値(欠陥画素数)を求める。
ステップST−18において、欠陥画素数と上記推測した過補正閾値と比較する。
ステップST−18で欠陥画素が推測した過補正閾値より大きく、過補正と判定されると、過補正抑制が行われ、あるいは、コントローラ30により表示装置に欠陥画素の要求が発報され、管理者が撮像システムを再調整できるようにする(ステップST−22)。
ステップST−18で欠陥画素が推測した過補正閾値より小さく、過補正がないと判定されると、ステップST−14に戻り同様なフローを繰り返す(ステップST−20)。
このように、欠陥検出補正回路および撮像システムは、時間経過における適切な欠陥画素数を算出し過補正を抑制することができる。画素欠陥の発生率は撮像システムなどの設置場所毎に異なるが、欠陥発生率および過補正判定の閾値を持つことにより使用場所に合わせた適切な過補正抑制ができる。また、外部に過補正要求に関する報知が行われ、再調整することができる。
次に、図6を用いて表示画像に影響しない欠陥補正について述べる。図6に示す撮像システム100Aは、図1に示した撮像システム100のブロックに一部の機能ブロックを追加した構成である。
ディジタル信号処理部10にさらに安定度検出回路13を設け、これ以外にメモリ20や外部センサ40をシステムの一部として追加構成している。
以下、図1と同じブロックについての説明は省略し、異なるブロックについて説明する。
安定度検出回路13は、ディジタル信号処理部10の信号処理部5とコントローラ30に接続され、輝度積算回路、色積算回路、動き検出回路などで構成される。輝度積算回路は信号処理部5から供給された輝度信号を積分し、色積算回路は信号処理部5から供給された色信号を積分し、また動き検出回路は信号処理部5から供給された画像を基に、フィールドまたはフレーム間の被写体の位置を検出することにより、被写体の動きを検出する。
メモリ20は、ディジタル信号処理部10の信号処理部5の入出力間に接続され、信号処理部5から出力された画像データを記憶し、記憶した画像データをコントローラ30の制御信号により所定のタイミングで信号処理部5に供給し、例えば補正期間に画像データを出力し、表示装置に一定画像を出力する。
コントローラ30は、外部センサ40で得られた被写体を検知し制御する他、上述した動き検出回路で得られた結果、動物体が存在しない情報や輝度積算回路から得られた輝度成分と、色積算回路から得られた色成分に動きが無い状態の動き情報を得てレンズ1、欠陥検出補正回路4や信号処理部5を制御する。また、ディジタル信号処理部10の欠陥検出補正回路4、信号処理部5、安定度検出回路13、外部センサ40間でデータの授受を行い、データに基いてこれらの回路を制御する。
外部センサ40は、例えば超音波センサ、赤外センサ、CCDセンサなどで構成され、撮像システムの前面に被写体が存在するか否かを感知し、その結果をコントローラ30へ供給する。
次に、図6に示す撮像システム100Aの動作について説明する。レンズ1で被写体の画像をイメージセンサ〜ADC2の撮像面上に結像させ画素単位で電気信号に変換し、撮像信号として出力された信号をサンプルホールドした後、A/D変換器でアナログ信号がディジタル信号に変換される。ディジタル化された撮像信号をクランプ回路3で所定の電圧レベルに固定した後、ディジタル信号処理部10に供給する。また、クランプ回路3から供給されたディジタルデータはディジタル信号処理部10の欠陥検出補正回路4に供給される。
欠陥検出補正回路4またはコントローラ30に時間計測するタイマーが設けられ、タイマーにより製品出荷時または出荷後に欠陥画素の静的欠陥補正したときに、次の画素欠陥補正する時間を設定する。設定された時間になると自動的に欠陥画素補正が行われる。あるいは、この他にユーザーが撮像システム100Aを調整できるようにコントローラ30を介して外部に音声または画像表示により再調整を促すことが報知される。
次に、欠陥検出補正の動作について述べる。この動作は再調整するタイミング(や期間)が異なり、表示画像に影響が無い期間を検出し、その期間にメカアイリスなどの遮光機構を使用してCCD素子などを遮光し、その遮光期間に静的な欠陥画素の検出補正を行うことにより再調整を行う。
具体例として、欠陥検出補正のタイミングとして以下の3種類のタイミングと期間がある。すなわち、第1のタイミング(と期間)は映像信号に変化が無く、映像信号を連続的に記録する必要が無い期間を利用する。第2の期間は、モード遷移中やミュート期間中など、映像を連続的に得ることが出来ない状態の期間を利用する。第3の期間は、静止画像取り込み状態など、映像を静止させている期間を利用する。
まず第1に、映像信号に変化が無く、映像信号を連続的に記録する必要が無い期間を利用して欠陥画素の検出補正する例について説明する。
信号処理部5から得られた輝度信号と色信号が安定度検出回路(輝度積算回路、色積算回路、動き検出回路)13に供給され、輝度積算回路で輝度信号が積分され、また、色信号はOPD(オプチカルデテクタ)の色積算回路で積分される。輝度信号や色信号の積分値に変化がない期間を検出し、この時間に関する動き情報をコントローラ30に供給する。コントローラ30は、輝度信号や色信号に動きが無い期間を補正期間とし、欠陥検出補正回路4と信号処理部5に制御信号を出力する。
また、動き検出回路で検出された結果、動物体が存在しないとき、コントローラ30は欠陥検出補正回路4と信号処理部5に欠陥補正の制御信号を出力する。
あるいは、コントローラ30は、外部センサ40で得られた被写体を検知して、撮像対象が存在しないと判断したとき、欠陥検出補正回路4や信号処理部5に制御信号を出力し補正制御が行われる。
次に第2に、モード遷移中やミュート期間中など、映像を連続的に得ることが出来ない状態の期間を利用して欠陥画素を検出補正する例について説明する。
コントローラ30が撮像システム100Aに備えられた画素数切り替えモードの動作を検出して制御信号を欠陥検出補正回路4や信号処理部5に出力し補正制御が行われる。
またフォーマットでJPEG(Joint Photographic Experts Group)とMPEG(Motion Picture Experts Group)間の切り替え、放送システムのNTSC(Nationa Television System Committee)とPAL(Phase Alternation by Line Color Television),SECAM(Sequential Couleur a Memoire)方式の切り替え期間に発生されるミュート動作が開始される。この他、映像を表示したくないときミュート機能を動作させて、表示画面を単色の青/黒色等に設定する。
これらのミュート動作時にコントローラ30がその動作または開始タイミングを検出し、欠陥検出補正回路4や信号処理部5に制御信号を出力する。その結果、欠陥検出補正回路4においては、欠陥補正の動作が開始される。
次に第3に、静止画像取り込み状態など、映像を静止させているタイミングと期間を利用して欠陥検出補正する例について説明する。
静止画像を取り込むときは、輝度信号や色信号の積分値から被写体に動きがないので、この画像取り込み状態を検出し、その結果得られる動き情報をコントローラ30に供給する。コントローラ30は、静止画像取り込み状態など、映像を静止させている期間を画素欠陥に関する補正期間とし、欠陥検出補正回路4と信号処理部5に制御信号を出力する。
あるいは、(静止)画像が動き検出回路で検出された結果、動物体が存在しないとき、コントローラ30は欠陥検出補正回路4と信号処理部5に欠陥補正の制御信号を出力する。そして、欠陥検出補正回路4と信号処理部5において、欠陥検出補正の動作が行われる。
上述した3つの欠陥検出補正のタイミング(と期間)になると、コントローラ30からレンズ1のアイリス機構にアイリス制御信号が供給され、イメージセンサ〜ADC2の固体撮像素子を遮光する。遮光したとき、固体撮像素子の画素データをクランプ回路3を介して欠陥検出補正回路4に供給する。この欠陥検出補正回路4で、全画素について出力レベルが検出され、その結果に基いて欠陥画素とそのアドレスが特定される。
画素欠陥検出補正の動作において、まず、タイマーで設定された経過時間に対して予め計算された欠陥発生率から欠陥画素数(欠陥発生点数)が算出される。さらに、算出された欠陥画素数(算出補正点数)に対して許容画素数が加算され閾値が設定される。
次に、閾値と欠陥検出部Bで検出された欠陥画素数とが比較され、経過時間に対する補正が妥当かあるいは過補正であるか判断される。
後述の欠陥検出部Bの過補正演算部50で欠陥画素について過補正制御された後、欠陥画素のアドレスデータに基づき補正パルスが発生されこの補正パルスが欠陥補正部Aに供給され、欠陥画素を補正する。
コントローラ30から供給された欠陥情報に基づき、欠陥検出補正回路4の欠陥補正部Aに補正パルスが供給され欠陥画素が補正される。
欠陥画素の補正は、リアルタイムでその画素信号を、1画素もしくは2画素前の画素で置換する方法、前後の画素値の平均で置換する方法、または同様に垂直方向で考え、1つ上の画素で置換する方法、あるいは上下の画素値の平均で置換する方法など、公知の補間方法を利用して欠陥画素の画素値補正を行なう。
次に、欠陥補正期間の映像表示に関する動作を説明する。
コントローラ30から、欠陥検出補正の制御信号が信号処理部5に供給されると、それに伴い信号処理部5から出力される映像信号を補間するタイミングと期間が設定され、出力された映像信号がメモリ20に記憶される。そして、欠陥補正期間にメモリ20に記憶された画像データが読み出され信号処理部5を介して表示装置に出力される。すなわち、この欠陥検出補正期間は、メモリ20から出力された補正前の画像のみが表示されることになり、補正中の画像は表示されない。
その結果、信号処理部5から出力された壊れた映像信号は表示されることがないので、ユーザーに違和感を与えることなく補正動作を行うことができる。
次に、図7に、撮像システム100Aの通常動作時の静的な欠陥検出補正動作を説明するためのフローチャートを示す。
ステップST−30において、製品出荷時または製品出荷後に画素欠陥補正を行い、その後通常動作を行う。この画素欠陥補正は静的欠陥補正とする。
欠陥補正した際、時間情報をコントローラ30または過補正演算部50のタイマーカウンタに記憶することにより、所定の使用時間後に自動的に欠陥補正できるようにする。
ステップST−32において、過補正演算部50から欠陥検出補正の動作要求があったかどうか判別する。判別の結果、欠陥検出補正の動作要求がないと終了し、補正は行われないでカメラ動作、たとえば監視動作が続行される。
また、他の例として過補正演算部50からの要求以外に、外部からの要求であっても良い。具体例として、キー操作によりCPU(マイクロコンピュータ)などの制御部にコマンドを転送し、制御プログラムにしたがって欠陥補正の要求を行うことができる。さらに、制御ボタンを押圧して、ハードウェアを動作させて欠陥要求の信号を発生することができる。
ステップST−34において、タイマーカウンタで設定された時間が経過し、欠陥検出補正動作の要求があると、映像記録が必要な状態かどうかを判別する。映像記録が必要な状態であると、欠陥補正は行わない。すなわち、欠陥検出補正のタイミングを検出する。
ステップST−36において、映像記録が不必要なとき、映像出力をメモリ20にホールド(保持)し、コントローラ30からレンズ1のアイリス機構に制御信号を供給する。
この期間、メモリ20からディジタル信号処理部10を介して映像(画像)信号が出力され、補正中の映像(画像)は表示されない。
ステップST−38において、アイリスは制御されて、イメージセンサ〜ADC2の固体撮像素子の受光部は遮光される。
ステップST−40において、遮光された状態で固体撮像素子から出力された画素信号はAD変換、クランプなどの処理が行われた後、欠陥検出補正回路4に供給され、そこで欠陥検出され、そして欠陥データを用いて欠陥補正が行われる。この欠陥補正は、例えば図5のフローチャートのステップST−14〜ステップST−22により行われる。
このように、通常動作においては映像記録が必要のないときに、欠陥検出補正を行い、表示画像にこの検出補正動作が影響しないようにしている。
図8に、撮像システム100Aのモード遷移、ミュート/スチル時の静的な欠陥検出補正動作を説明するためのフローチャートを示す。
タイマーカウンタで設定された欠陥検出補正の所定時間が経過し、モード遷移、ミュート/スチル動作が開始したときの欠陥検出補正動作について説明する。
ステップST−50で、タイマーカウンタで設定された所定の時間が経過し、撮像システム100Aのモード遷移、ミュート/スチルに関する欠陥検出補正の動作が開始される。
ステップST−52において、撮像システム100Aのコントローラ30から制御信号が各機能ブロックに供給され、信号処理部5に欠陥検出補正の制御信号が供給され、映像信号の出力が保持(HOLD)される。
ステップST−54において、コントローラ30で欠陥検出補正の動作要求があるか否かを判別する。この動作要求は、上述したように撮像システム100Aのタイマーカウンタで設定された使用経過時間が経過すると、コントローラ30から自動的に行われる場合や、またはユーザーが撮像システム100Aに装着された操作ボタンを操作して発生する場合などがある。なお、欠陥検出補正の動作要求の手段はこれらに限定されない。
ステップST−54において、欠陥検出補正の要求があると、まず欠陥検出補正のタイミングを検出する。例えば、上述したように、撮像システム100Aの操作中のモード遷移、ミュート/スチルの動作時を検出する。このいずれかの動作が検出されると、コントローラ30からレンズ1のアイリス機構に制御信号が供給されアイリスがクローズされる。その結果、イメージセンサ〜ADC2の固体撮像素子の受光部が遮光される(ST−56)。
ステップST−58において、撮像システム100の使用時間に対するイメージセンサ〜ADC2の固体撮像装置(素子)の画素欠陥発生率を統計分布により推測し、この推測した割合から使用イメージセンサ〜ADC2の固体撮像装置(素子)の画素数に対する欠陥画素数(欠陥発生点数)を算出する。算出した欠陥画素数(算出補正点数)から許容数を加味した過補正閾値を求め、欠陥画素数と推測した過補正閾値と比較する。欠陥画素補正が推測した過補正閾値より小さいと、過補正はないため、通常補正が行われる。欠陥画素補正が推測した過補正閾値より大きく、過補正と判定されると、過補正抑制が行われる。
また、画素欠陥補正のとき、図6に示すメモリ20に記憶された画像データを出力してこの記憶された画像を表示することにより、欠陥検出補正の動作が表示画面に影響しないようにする。
ステップST−60において、欠陥検出補正の動作要求がないときと、ステップST−58での欠陥検出補正が終わると、モード遷移の動作が行われる。そして、所定の動作が終わるとモード遷移の動作が終了する(ステップST−62)。
このように、欠陥検出補正を、映像記録を必要としない期間または映像を連続的に記録できない期間、映像を静止している期間を用いることで、映像信号の欠落を防ぎながら、常に適切な欠陥補正を行うことができる。
さらに、遮光状態となる欠陥検出補正動作中の映像を、メモリを用いて補間することにより、撮像システム動作中にユーザーに違和感を与えることなく静的欠陥検出補正を行うことができる。
図7と図8では、統計的手法を用いた欠陥画素の検出補正について述べたが、これ以外に統計的な欠陥補正を用いない通常の欠陥検出補正動作にも適用できる。
以上述べたように、本発明の欠陥検出補正回路および撮像システムは、静的な欠陥検出補正を行うことにより、時間経過における適切な欠陥画素数を算出し過補正を抑制することができる。画素欠陥の発生率は撮像システムなどの設置場所毎に異なるが、欠陥発生率および過補正判定の閾値を持つことにより使用場所に合わせた適切な過補正抑制ができる。
また、静的欠陥検出補正をミュートやスチル動作期間などのモード遷移期間に行うことで、映像信号の欠落を防ぎながら、常に適切な欠陥補正を行うことができる。
さらに、撮像システムを再調整が困難な場所に設置した場合でも発報を受けて適切な時期に調整を行うことができる。また、撮像システムなどを設置した後、欠陥検出補正の再調整を必要とせず、撮像機器自体で自己回復を行うことができる。
撮像システムのブロック構成を示す図である。 図1に示すディジタル信号処理部のブロック構成図である。 図2に示す欠陥検出補正回路のブロック構成図である。 欠陥発生分布の算出結果を示す分布図である。 撮像システムの動作を説明するためのフローチャートである。 撮像システムのブロック構成を示す図である。 図6に示す撮像システムの動作を説明するためのフローチャートである。 図6に示す撮像システムの動作を説明するためのフローチャートである。
符号の説明
1…レンズ、2…イメージセンサ(固体撮像装置(素子))〜ADC(アナログディジタル変換器)、3…クランプ回路、4…欠陥検出補正回路、4A…欠陥補正部、4B…欠陥検出部、5…信号処理部、10…ディジタル信号処理部、13…安定度検出回路、20…メモリ、21…コンパレータ、22…アドレス検出回路、23…RAM(Random Acess Memory)、24…カウンタ、25…レベル設定回路、27…補正パルス発生回路、30…コントローラ、40…外部センサ、50…過補正演算部、51…タイマーカウンタ(時間計測手段)、52…欠陥発生分布算出部、54…補正演算部、100,100A…撮像システム。

Claims (16)

  1. 撮像装置と、
    上記撮像装置の欠陥画素を検出し、補正する画素欠陥補正部と、
    時間計測手段と、
    を有し、
    上記画素欠陥補正部は、上記時間計測手段で計測された使用時間を用いて後発欠陥発生点数を推定し、当該推定の結果に基づいて、補正を抑制し、あるいは再調整のための補正を行う、
    撮像システム。
  2. 上記撮像装置の受光部を遮光する遮光手段と、
    上記画素欠陥補正部で補正された画素信号の信号処理を行う信号処理部と、
    上記信号処理部と上記遮光手段と上記画素欠陥補正部を制御する制御手段と、
    をさらに有し、
    上記時間計測手段は、上記画素欠陥補正部と上記制御手段の何れかに含まれる
    請求項1に記載の撮像システム。
  3. 上記画素欠陥補正部は、上記撮像装置における欠陥発生率から使用時間に対する後発欠陥点数を推定し、欠陥候補点数が過多と推測される場合、遮光または撮像領域をずらして過補正となっている画素を特定し、通常撮像状態における動的な欠陥補正点数を抑制する
    請求項記載の撮像システム。
  4. 上記画素欠陥補正部は、上記撮像装置における欠陥発生率から使用時間に対する後発欠陥点数を推定し、上記制御手段の制御により上記遮光手段上記受光部を自動的に遮光されると、静的欠陥検出補正を行う
    請求項記載の撮像システム。
  5. 上記撮像システムは動き情報検出手段を有し、上記画素欠陥補正部で上記撮像装置における欠陥発生率から使用時間に対する後発欠陥点数を推定し、欠陥候補点数が過多と推測される場合、上記動き情報検出手段を用いて画像の動き検出を併用し、動物体の存在しない区間に上記遮光手段を制御して自動的に遮光を行い、静的欠陥検出補正により再調整を行う
    請求項2から4の何れか一項に記載の撮像システム。
  6. 上記撮像システムは、上記信号処理部から出力される輝度信号または色信号の積分値によって映像に変化がない期間を検出する動き情報検出手段を有し、上記画素欠陥補正部で上記撮像装置における欠陥発生率から使用時間に対する後発欠陥点数を推定し、欠陥候補点数が過多と推測される場合、上記動き情報検出手段を用いて映像に変化がない期間を検出し、当該期間が検出されたときは、上記遮光手段を制御して自動的に遮光を行い、静的欠陥の検出と補正により再調整を行う
    請求項2から4の何れか一項に記載の撮像システム。
  7. 上記撮像システムは、上記画素欠陥補正部で上記撮像装置における欠陥発生率から使用時間に対する後発欠陥点数を推定し、欠陥候補点数が過多と推測される場合、上記制御手段の制御によって映像が連続的に得られない状態へ遷移したときは、当該映像が連続的に得られない期間に上記遮光手段を制御して自動的に遮光を行い、静的欠陥の検出と補正により再調整を行う
    請求項2から4の何れか一項に記載の撮像システム。
  8. 画素信号が供給され、該画素信号の欠陥を検出し、欠陥数を計測する画素欠陥検出手段と、
    時間計測手段と、
    上記画素欠陥検出手段の計測値と上記時間計測手段により所定時間経過後の上記画素信号の推定値を算出した値と比較し、上記欠陥補正が過補正か否かを判別し、過補正のとき上記欠陥画素の補正を行う制御信号を発生する過補正演算部とを有し、
    上記過補正演算部の制御信号により、上記画素信号の欠陥補正を行う
    画素欠陥補正装置。
  9. 上記過補正演算部は、欠陥発生率から画素の欠陥数を求める欠陥発生分布算出手段を有し、上記時間計測手段で計測された所定の時間経過後の画素欠陥を推定する
    請求項記載の画素欠陥補正装置。
  10. 上記過補正演算部は、閾値設定手段を有し、上記時間計測手段で計測された所定の時間経過後に算出された上記欠陥画素の推定値に許容値を加算した閾値を設定する
    請求項記載の画素欠陥補正装置。
  11. 上記過補正演算部は、過補正判別部を有し、検出された画素欠陥数と上記閾値を比較し、該欠陥画素数が閾値より大きいとき過補正の制御信号を発生する
    請求項記載の画素欠陥補正装置。
  12. 上記過補正演算部は、撮像された画像位置を変更して欠陥画素であるか否かを判別する
    請求項記載の画素欠陥補正装置。
  13. 画素信号が供給され、該画素信号の欠陥を検出し、欠陥数を検出する画素欠陥検出手段と、
    時間計測手段と、
    上記画素欠陥検出手段の検出値と上記時間計測手段により所定時間経過後の上記画素信号の欠陥推定値を算出した値と比較し、欠陥補正が過補正か否かを判別し、過補正のとき上記欠陥画素の補正を行う制御信号を発生する過補正演算部と、
    上記画素信号で形成される映像が連続的に得られない期間、または、映像が得られるが映像に変化がない期間を検出し、検出した期間内に欠陥検出補正を行うための制御信号を生成する動き情報検出手段と、
    上記動き情報検出手段から供給された制御信号により、上記画素欠陥検出手段と過補正演算部の動作を制御して、映像の変化に応じた所定期間に上記欠陥画素の検出補正を行うコントローラと
    を有する画素欠陥補正装置。
  14. 上記コントローラは、上記動き情報検出手段から、上記撮像システムのモード遷移期間またはスチル期間の映像を連続的に記録しない期間を用いて上記過補正演算部と画素欠陥補正手段を制御し、上記欠陥画素の検出補正を行う
    請求項13記載の画素欠陥補正装置。
  15. 上記コントローラは、静止画取り込み中の映像を静止させている期間を用いて、自動的に上記欠陥画素の検出補正を行う
    請求項13記載の画素欠陥補正装置。
  16. 上記画素欠陥補正装置は、さらに外部センサを有し、該外部センサで被写体の動的物体が検出されないとき、上記画素欠陥検出補正部で上記欠陥画素の欠陥検出補正の動作を行う
    請求項13記載の画素欠陥補正装置。
JP2007017884A 2006-10-13 2007-01-29 撮像システムおよび画素欠陥補正装置 Expired - Fee Related JP4978214B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007017884A JP4978214B2 (ja) 2006-10-13 2007-01-29 撮像システムおよび画素欠陥補正装置
US11/869,442 US7800662B2 (en) 2006-10-13 2007-10-09 Imaging system and pixel defect correction device
CN2010101636177A CN101800848B (zh) 2006-10-13 2007-10-15 成像系统及像素缺陷校正装置
CN2010101635954A CN101860666B (zh) 2006-10-13 2007-10-15 像素缺陷校正装置
CN2007101441834A CN101222580B (zh) 2006-10-13 2007-10-15 成像系统及像素缺陷校正装置
US12/860,089 US8325253B2 (en) 2006-10-13 2010-08-20 Imaging system and pixel defect correction device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006279963 2006-10-13
JP2006279963 2006-10-13
JP2007017884A JP4978214B2 (ja) 2006-10-13 2007-01-29 撮像システムおよび画素欠陥補正装置

Publications (3)

Publication Number Publication Date
JP2008118609A JP2008118609A (ja) 2008-05-22
JP2008118609A5 JP2008118609A5 (ja) 2010-03-04
JP4978214B2 true JP4978214B2 (ja) 2012-07-18

Family

ID=39359388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007017884A Expired - Fee Related JP4978214B2 (ja) 2006-10-13 2007-01-29 撮像システムおよび画素欠陥補正装置

Country Status (3)

Country Link
US (2) US7800662B2 (ja)
JP (1) JP4978214B2 (ja)
CN (3) CN101860666B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4978214B2 (ja) * 2006-10-13 2012-07-18 ソニー株式会社 撮像システムおよび画素欠陥補正装置
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
CN101764926B (zh) * 2008-09-29 2012-05-30 凹凸电子(武汉)有限公司 缺陷像素检测纠正设备、系统及检测纠正缺陷像素的方法
JP5379601B2 (ja) * 2009-08-07 2013-12-25 キヤノン株式会社 欠陥画素データ補正装置、撮像装置及び欠陥画素データ補正方法
JP5521460B2 (ja) * 2009-09-18 2014-06-11 ソニー株式会社 撮像装置および方法、電子機器、並びにプログラム
JP2011097542A (ja) * 2009-11-02 2011-05-12 Sony Corp 画素欠陥検出補正装置、撮像装置、画像欠陥検出補正方法、およびプログラム
US8660335B2 (en) * 2010-03-24 2014-02-25 Varian Medical Systems, Inc. Transient pixel defect detection and correction
JP5544285B2 (ja) 2010-12-21 2014-07-09 株式会社日立製作所 画像信号処理装置及び画像信号処理方法
JP5885464B2 (ja) * 2011-10-27 2016-03-15 キヤノン株式会社 撮像装置、その制御方法及びプログラム
CN102752625A (zh) * 2012-06-19 2012-10-24 广东欧珀移动通信有限公司 一种摄像头模组暗电流噪声的测试方法
KR102037206B1 (ko) 2013-04-03 2019-10-29 삼성디스플레이 주식회사 유기발광 표시장치 및 그것의 검사 방법
US10048696B2 (en) 2015-12-22 2018-08-14 Uber Technologies, Inc. Intelligent lens masking system for an autonomous vehicle
EP3435657A1 (en) * 2016-03-22 2019-01-30 Mitsubishi Electric Corporation Monitoring camera
WO2019194106A1 (ja) * 2018-04-06 2019-10-10 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US11056083B2 (en) * 2018-12-11 2021-07-06 Shenzhen Torey Microelectronic Technology Co. Ltd. Display control device and image display method
US11256013B2 (en) 2019-03-27 2022-02-22 Uatc, Llc Dynamic matrix filter for vehicle image sensor
KR20220048090A (ko) * 2020-10-12 2022-04-19 삼성전자주식회사 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템
WO2024063280A1 (ko) * 2022-09-22 2024-03-28 삼성전자 주식회사 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7009644B1 (en) * 1999-12-15 2006-03-07 Logitech Europe S.A. Dynamic anomalous pixel detection and correction
US6995794B2 (en) * 1999-06-30 2006-02-07 Logitech Europe S.A. Video camera with major functions implemented in host software
US6795118B1 (en) * 2000-10-18 2004-09-21 Micron Technology, Inc. Testing of solid-state image sensors
US7365783B2 (en) * 2001-03-16 2008-04-29 Olympus Corporation Image pickup apparatus which stores initial defect data concerning image pickup device and data on later developed defects
JP4468613B2 (ja) * 2001-06-25 2010-05-26 オリンパス株式会社 撮像装置及び撮像方法
US7202894B2 (en) * 2002-06-04 2007-04-10 Micron Technology, Inc. Method and apparatus for real time identification and correction of pixel defects for image sensor arrays
US20050243181A1 (en) * 2002-07-01 2005-11-03 Koninklijke Philips Electronics N.V. Device and method of detection of erroneous image sample data of defective image samples
TWI248297B (en) * 2003-01-17 2006-01-21 Fuji Photo Film Co Ltd Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information
JP4396425B2 (ja) * 2004-07-07 2010-01-13 ソニー株式会社 固体撮像装置及び信号処理方法
JP2006060550A (ja) * 2004-08-20 2006-03-02 Canon Inc 白キズ検出回路
JP4287356B2 (ja) * 2004-11-12 2009-07-01 株式会社日立製作所 画像処理方法及び装置
JP4457874B2 (ja) * 2004-12-06 2010-04-28 ソニー株式会社 映像信号処理装置及び方法
JP2007006024A (ja) * 2005-06-22 2007-01-11 Fujifilm Holdings Corp 撮像装置
JP2007295312A (ja) * 2006-04-25 2007-11-08 Olympus Imaging Corp デジタルカメラ
JP4978214B2 (ja) * 2006-10-13 2012-07-18 ソニー株式会社 撮像システムおよび画素欠陥補正装置

Also Published As

Publication number Publication date
CN101860666B (zh) 2012-11-28
CN101860666A (zh) 2010-10-13
CN101222580B (zh) 2010-11-03
US20080106619A1 (en) 2008-05-08
CN101222580A (zh) 2008-07-16
CN101800848A (zh) 2010-08-11
US7800662B2 (en) 2010-09-21
US8325253B2 (en) 2012-12-04
CN101800848B (zh) 2012-11-28
US20100315518A1 (en) 2010-12-16
JP2008118609A (ja) 2008-05-22

Similar Documents

Publication Publication Date Title
JP4978214B2 (ja) 撮像システムおよび画素欠陥補正装置
JP4768448B2 (ja) 撮像装置
JP5162730B2 (ja) 撮像装置及びその暗電流補正方法
JP5526014B2 (ja) 撮像装置
US9635289B2 (en) Image capturing apparatus, control method thereof, and storage medium
JP2006295763A (ja) 撮像装置
US7245318B2 (en) Imaging apparatus that corrects an imbalance in output levels of image data
JP2009065642A (ja) 撮像装置
JP5262953B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5207926B2 (ja) 撮像装置及びその制御方法
US20050030412A1 (en) Image correction processing method and image capture system using the same
JP2005110178A (ja) 固体撮像装置
JP5544285B2 (ja) 画像信号処理装置及び画像信号処理方法
JP2008245096A (ja) 撮像装置、映像信号処理装置及び映像信号処理方法
JP2009105582A (ja) ノイズ補正回路、撮像装置及びノイズ補正方法
JP5271201B2 (ja) 画像信号処理装置及び撮像装置
JP2000224472A (ja) 撮像制御装置および撮像制御方法
JP2006157242A (ja) 画像信号のクランプ装置及びクランプ方法
JP4136775B2 (ja) 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム
JP6149615B2 (ja) 撮像装置
JP2006100913A (ja) 画像処理装置および画像処理方法
JP2017143585A (ja) 撮像装置
JP2004336245A (ja) 補正装置
JP2006157341A (ja) 固体撮像素子のスミア補正方法、固体撮像素子の信号処理装置および撮像装置
JP2018147417A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120403

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees