JP4261068B2 - イメージセンサ内の欠陥ピクセルの検出における高速の決定論的なアプローチ - Google Patents

イメージセンサ内の欠陥ピクセルの検出における高速の決定論的なアプローチ Download PDF

Info

Publication number
JP4261068B2
JP4261068B2 JP2000601833A JP2000601833A JP4261068B2 JP 4261068 B2 JP4261068 B2 JP 4261068B2 JP 2000601833 A JP2000601833 A JP 2000601833A JP 2000601833 A JP2000601833 A JP 2000601833A JP 4261068 B2 JP4261068 B2 JP 4261068B2
Authority
JP
Japan
Prior art keywords
pixel
image
defective
sensor
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000601833A
Other languages
English (en)
Other versions
JP2002538684A5 (ja
JP2002538684A (ja
Inventor
タン,ヤップ−ペング
アチャルヤ,ティンク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2002538684A publication Critical patent/JP2002538684A/ja
Publication of JP2002538684A5 publication Critical patent/JP2002538684A5/ja
Application granted granted Critical
Publication of JP4261068B2 publication Critical patent/JP4261068B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Facsimiles In General (AREA)
  • Image Input (AREA)

Description

【0001】
(発明の背景)
1.発明の分野
本発明は、一般に画像形成に関する。特に、本発明は、イメージセンサ内の欠陥ピクセルの検出に関する。
【0002】
2.従来技術の記載
デジタル・カメラおよびスキャナーなどの画像形成装置は、1つの構成部品として、CCD(電荷結合素子)、CID(電荷注入デバイス)、またはCMOS(相補型金属酸化物半導体)として製造されたイメージセンサを備えている。イメージセンサは、照明からエネルギーを捕らえ、このエネルギーを強度値などの明確な計測値に変換する「センス」またはピクセル位置のアレイで構成される。ほとんどの場合、イメージセンサには、製造または作製エラーのために「欠陥」のあるピクセル位置がある程度の個数存在する。そのような製造/作製中に、センサ内のどのピクセルも欠陥でないことを保証することは、不可能ではないが非常に困難である。センサの「欠陥」ピクセルとは、照明で露光されるとき、同じ照明に露光されるときの「完全に機能する」ピクセルの強度値や応答とは異なる強度値や応答を作り出すピクセルである。言い換えれば、欠陥ピクセルは、完全に機能するピクセルと比べて、光に対して異常に感度が高かったり低かったりする。そのような欠陥は、検出されず補償されなければ、捕らえられた像の視覚的に認められる品質を低下させ、顕著になると、観察者の注意を欠陥ピクセルにそらすことがある。
【0003】
ピクセル位置内の欠陥は、スタック・ハイ(Stuck High)、スタック・ロー(Stuck Low)、および異常応答の3つの部類に分けられる。スタック・ハイ欠陥ピクセルは、高い強度値を作り出すことによって、照明状態に常に応答するピクセルである。例えば、ピクセルの強度が0から255の範囲にあるとしたとき、シーンの特定のピクセル位置に対して実際に測定された強度が、例えば正常に機能するピクセルによって捕らえられたなら25であっても、スタック・ハイ・ピクセルは、常に例えば255の値で光で応答する。スタック・ロー欠陥ピクセルは、照明状態に常に低い強度値で応答するピクセルである。スタック・ロー・ピクセルは、正常に機能するピクセルなら200、100などである強度値を示しても5の値で応答する。異常応答欠陥を有するピクセルは、絶対的ではなく、むしろ正常に機能するピクセルから相対に変化する。例えば正常に機能するピクセルが値Xを読み取るなら、異常応答欠陥ピクセルは例えば1.25*Xの値で応答するように、特定のパーセンテージで不正確に応答する。異常応答は、したがって絶対的に高いまたは低いのではなく、捕らえられる強度に対して比例的または相対的である。いずれかのこれらの欠陥を示すピクセルは、望ましくは訂正または補正されるべきである。
【0004】
任意のそのような補正における第1ステップは、どのピクセルが実際に「欠陥」であるかの検出である。従来、そのような検出は、センサが製造された後、センサに対する全体的な品質制御の間などの制御された環境において、欠陥ピクセル位置を識別することによって実行される。識別された位置は記録され、その後、センサがデジタル・カメラなどで使用される装置の何らかの不揮発性メモリに転送される。センサの全体のサイズが、およそ1000×1000ピクセルである現在の「メガ・ピクセル」イメージセンサでは、多くのピクセルが欠陥である可能性がある。欠陥ピクセル位置を記憶するために必要な余分なメモリは、装置の製造における全体のコストや時間を増やし、かつ、装置内のセンサの組み立て/統合のプロセス間に実際のデータ転送の必要もある。欠陥ピクセル位置は、装置組み立ての前に、ハード・ディスクなどの固定されたメモリへ別々に記憶されなければならない。一旦欠陥位置が記憶されると、ポスト・画像キャプチャ信号処理技術が、欠陥ピクセルを訂正するために使用されることができる。現在使用されている画像欠陥訂正の他の方法は、欠陥ピクセルを検出するのではなく、知られていない欠陥をノイズとして取り扱い、センサ出力全体(画像)に画像毎にノイズ除去技術を適用することである。メモリ・コスト増や組み立て中のデータ転送を避けることができるが、そのような技術は、実装が過演算をもたらし、視覚的な外観には重要である画像のシャープさを減少させるという欠点を有する。
【0005】
これらの理由のため、装置の製造の時間/コストを追加することなく、および画像の品質を犠牲にすることなく、またはセンサが用いられる装置での画像処理中に計算の必要を追加することなく、欠陥ピクセル位置を検出し補償する方法の必要がある。
【0006】
(概要)
開示されるものは、イメージセンサからの一連の画像をダウンロードし、その後、全ての捕らえられた画像にわたって集計された、欠陥ボート(vote)スコアが、第1のしきい値を超えるなら、センサ欠陥のピクセル位置をマップ上にマークすることを含む方法である。
【0007】
本発明の方法および装置の目的、特徴、および利点は、以下の記載から明らかになろう。
【0008】
(発明の詳細な説明)
図を参照して、本発明の例示的な実施形態を記載する。例示的な実施形態は、本発明の態様を示すために提示され、本発明の範囲を制限するものとして解釈されるべきではない。例示的な実施形態は、主に、ブロック図またはフローチャートを参照して記載される。フローチャートについて言えば、フローチャート内の各ブロックは、方法ステップ、および方法ステップを実行するための装置要素の両方を表す。実施に依存して、対応する装置要素が、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせで構成されることができる。
【0009】
図1は、本発明の実施形態のフロー・ダイヤグラムである。
【0010】
本発明の様々な実施形態において、欠陥ピクセル検出に対する決定論的なソフトウェア・アプローチが開示される。デジタル・カメラなどの画像キャプチャ装置が、PC(パーソナル・コンピュータ)などのホスト・マシンに接続されるとき、本アプローチは、欠陥ピクセル位置のハードウェア・オン・デバイス・マップを維持せずとも実行される。所定の数の入力画像が、最初に画像形成装置によって走査される。各ピクセルに対して、「欠陥ボート」スコアが、注目ピクセルの隣接を考慮する条件を検査することによって集計される。条件を満足する各走査された画像に対して、スコアが増加される。スコアが、全ての走査された画像に対して集計されたとき、欠陥決定に到達する。ピクセルが欠陥であるとわかると、ホストに記憶されるマップに書き込まれる。画像形成装置内の全てのピクセル位置が分類されるまで、プロセスは繰り返される。欠陥ピクセル位置のマップはホストに記憶され、また、画像形成装置によって捕らえられた画像が、強調され、フィルタリングされ、または他の方法で処理される必要があるとき、欠陥ピクセル位置のマップにアクセスすることができる。
【0011】
この構成を考えに入れて、図1は、決定論的な方法で欠陥ピクセル検出を達成することができる論理フローを示す。最初に、試験中のセンサを含むカメラまたは画像形成装置は、PCなどのホストに接続される。それから、一連のN個の画像が、画像キャプチャ装置によって捕らえられる。捕らえられる画像が多ければ多いほど、決定論的なアプローチは正確になるであろう。また、以下より詳細に記載するように、カメラまたは画像形成装置の露光時間、および照明の性質が、検出率を増加するために制御されることができる。恐らく、スタック・ロー(または異常応答)条件に対して、同じシーンにおける光を捕らえるためにセンサの露光時間をより長くすると、結果として得られるピクセル値は、より決定論的に欠陥を評価されるであろう。同様に、スタック・ハイ欠陥は、露光時間が所定の量減少されると、より容易に検出されることができる。例えば、シーンがより明るいと、スタック・ローまたは異常応答欠陥の検出はより容易になる。同様に、シーンがより薄暗くなると、スタック・ハイ欠陥の検出はより容易である。
【0012】
アプローチが最初に実行されたとき、全てのピクセル位置は知られていない、すなわち不確定であると仮定される(すなわち、欠陥であるとも機能するとも分類されない)。各ピクセルに対して、図2により詳細に示される決定論的なアプローチが繰り返される。本発明のある実施形態によれば、隣接しているのが、全てモノクロ・ピクセルで構成されているのか、またはベイヤー・パターンのCFA(カラー・フィルタ・アレイ)の特定のカラー平面(赤、緑、青など)のピクセルだけであるのかにかかわらず、周囲のピクセルの最小隣接距離(Minimum Neighborhood Distance,MND)を考慮することで、測定が各捕らえられた画像で実行される。次に、MNDがしきい値と比較される。所定のピクセルに対して、各走査された画像でNMDがしきい値と比較される。この比較に基づいて、それから「スコア」が集計される。スコアが他のしきい値数をすでに超えたら、ピクセルは欠陥であるとマークされる。各ピクセルがこのように分類されると、欠陥ピクセル位置のマップがホストに記憶される。このプロセスは、画像内の全てのピクセルが分類されるまで継続する。欠陥ピクセル位置の完全なマップは、ノイズ削減、欠陥ピクセル置き換え、または他の画像処理メカニズムなどの訂正処置が行われるように、その後にアクセスすることができるので便利である。このことは、センサ装置すなわちカメラに欠陥ピクセル位置データを記憶する必要性、および製造中にそれを決定する必要性を取り除く、意図された利点を有する。代替的に、処理を始める前に全ての画像を捕らえるよりむしろ、これらの画像が記憶されダウンロードされる必要がないように、各画像が捕らえられたときに各画像を処理することが可能である。
【0013】
図2は、本発明のある実施形態のフローチャートである。
【0014】
図2は、各ピクセルが欠陥であるかどうかを決定する基本的な手順を示す。最初に、初期化ステップが、手順で使用される変数を設定するために実行される(ブロック210)。(i、j)が注目ピクセルの列(i)と行(j)を表すものとすると、その後、それは機能すると仮定されるので、ピクセルP(i、j)の欠陥性をあらわしているD(i、j)が、初期的に0の値を割り当てられる(ブロック210)。同様に、そのピクセルP(i、j)に対する欠陥ボート・スコアH(i、j)が、初期的にゼロに設定される(ブロック210)。集計のために使用される、捕らえられた画像の現在の数を追跡するために使用されるカウンタ変数「k」も、ゼロに設定される(ブロック210)。
【0015】
ブロック220で、カウントkが、欠陥ピクセル検出の目的で捕らえられた画像の総数であるNと比較される。k<Nなら、スコア集計に進む(ブロック230へ)。そうでなければ、最後に画像がスコア集計に使用されたとき、欠陥ピクセルの画像マップは、D(i、j)の値で書き込まれる(ブロック250)。スコア集計中、最初に、初期的にゼロであった変数kは、捕らえられた画像が、集計のために現在考慮されていることを示すために、1だけ増分される(ブロック230)。集計は、最初にピクセルP(i、j)の周りのMNDを計算することによって決定される(ブロック240)。MNDは、次に所定のしきい値Tと比較される(ブロック242)。Tの値は、センサ・ノイズ、および/または所望の「フォールス・ポジティブ(false positive)」率(機能しているピクセルを欠陥として間違って分類する率)、および「フォールス・ネガティブ(false negative)」率(欠陥ピクセルを機能しているとして間違って分類する率)などの、装置に依存するファクタの数に応じて選択されることができる。理想的には、両者は避けられるべきであるが、ほとんどの場合、フォールス・ネガティブよりフォールス・ポジティブを有することがより許容される。しきい値Tは、センサ/装置の品質制御試験の時に決定されることもでき、装置に記憶されまたは供給される。
【0016】
MNDがしきい値Tを超えないなら、スコアH(i、j)は1だけ増加される(ブロック244)。そうでなければ、H(i、j)は前の値を維持する。ブロック230〜244に示される、MNDによるこのボート集計は、k>Nまで、すなわち捕らえられた最後の画像が集計に用いられるまで継続する。捕らえられた最後の画像が集計のために解析されたとき、スコアH(i、j)は[N/2]と比較される。ここで、[x]は、最も近い整数に丸められた数xであり、Nは、捕らえられた画像の総数である。例えば5つの画像が捕らえられ、それからスコアが、[N/2]または3を満たすまたは超えると、ピクセルP(i、j)は欠陥であるとみなされ、値D(i、j)が1に設定される(ブロック252)。そうでなければ、値D(i、j)はその初期化によるゼロのままである。しきい値[N/2]は、例示としてだけのものであり、フォールス・ポジティブおよびフォールス・ネガティブ率、ならびにセンサ特性を修正するなど、所望の検出特徴によって修正されることができる。
【0017】
図3は、本発明の実施形態によるMND(最小隣接距離)の決定を示す。
【0018】
所定のピクセルP(i、j)についての最小隣接距離(MND)は、隣接するピクセル値と所定のピクセル値との間の「距離」または差を考慮することによって決定されることができる。これは、以下の記述で表現されることができる:
MND(P(i、j))=minimumr{|P(i、j)−P(m、n)|}ここで、(m、n)は、位置(i、j)の周りの隣接ピクセルの位置Nのセットであり、rは、結果としての差から選択された最小のランク順である。
【0019】
図3は、位置(i、j)の周りのピクセルの一般的なベイヤー・パターン・センサ・アレイを示す。そのようなセンサでは、同じカラー平面(R(赤)、G(緑)、またはB(青))における隣接するピクセルだけを考慮することが望ましいことが多い。ベイヤ・パターン・アレイでは、アレイの第1列が、交互のRとG平面によって関連付けられるピクセル位置を有し、次の列が、交互のGとBのカラー平面によって関連付けられるピクセル位置を有する。各ピクセル位置に対する隣接Nは、ピクセルP(i、j)のカラー平面関連付けに依存する。図3のアレイは、7行×7列であり、RGBベイヤ・パターンを示す。P(4、4)のMNDの計算のために考慮されることができるBピクセルP(4、4)に対する隣接Nは、8つの最も近くに隣接し関連付けられたBピクセル、すなわち、(2、2)、(2、4)、(2、6)、(4、2)、(4、6)、(6、2)、(6、4)および(6、6)におけるピクセルを含む。
【0020】
MNDは、あるピクセル応答が、どれだけ隣接するピクセルに近いかをおよそ知らせる。最も低いランキング差が、選択された最小値としてみなされるように、r=1を仮定する。上記の隣接を考慮するP(4、4)のMNDは、P(4、4)の強度値と隣接に属する各ピクセルの強度値との差の絶対値をとることによって見出せる。その後、これらの8つ(P(4、4)の場合)の「距離」の最小値が、MNDになる。例えば、P(4、4)の周りの隣接Nに対して以下の強度値を考慮する。P(2、2)=100、P(2、4)=90、P(2、6)=95、P(4、2)=105、P(4、6)=110、P(6、2)=85、P(6、4)=80、およびP(6、6)=75。注目ピクセルP(4、4)が、強度値102を有しているとすると、最小隣接距離は(102−100)=2である。rが2に等しいなら、2番目に低い差(1020−105)=3が選択される。ランク順は、同様のタイプの欠陥が、隣接で見出されるかどうかに依存して変更されることができる。
【0021】
同様に、P(3、3)のMNDを計算するために考慮されることができる、RピクセルP(3、3)に対する隣接Nは、8つの最も近くに隣接し関連付けられたRピクセル、すなわち、(1、1)、(1、3)、(1、5)、(3、1)、(3、5)、(5、1)、(5、3)、(5、5)におけるピクセルを含む。P(3、4)のMND計算のために考慮されることができる、GピクセルP(3、4)に対する隣接Nは、8つの最も近くに隣接し関連付けられたGピクセル、すなわち、(2、3)、(2、5)、(1、4)、(4、3)、(4、5)、(5、4)、(3、6)、(3、2)におけるピクセルを含む。一般に、BまたはRピクセルP(i、j)に対して、隣接Nは、(i−2、j−2)、(i、j−2)、(i+2、j−2)、(i−2、j)、(i+2、j)、(i−2、j+2)、(i、j+2)、(i+2、j+2)におけるピクセルから構成される。同様に、一般に、GピクセルP(i、j)は、(i−1、j−1)、(i+1、j−1)、(i−2、j)、(i+2、j)、(i−1、j+1)、(i+1、j+1)、(i、j―2)および(i、j+2)の隣接Nを有する。画像境界が越えられたところで、そのような値は、単に隣接において除かれる。図3のセンサ・アレイの例示は、RGBセンサであるが、任意の種類のカラー・フィルター・パターン、またはモノクロ・パターン・センサ・アレイでも、上記手順によって処理されることができる。上記隣接は、例示として与えられたものであり、必要なときに修正されることができる。
【0022】
図4は、本発明の実施形態による画像処理装置のブロック・ダイヤグラムである。
【0023】
図4は、本発明の少なくとも1つの実施形態を組み込む、画像形成装置の内部画像処理部品のブロック図である。図4の例示的な回路では、センサ400は、いくつかのシーン/環境からのカラー/強度値であるピクセル要素を生成する。センサ400によって生成されたnビット・ピクセル値は、キャプチャ・インタフェース410に送られる。本発明に関連する文脈におけるセンサ400は、一般的に、領域または位置の1つの「シーン」からのR、G、またはBのいずれかの1つ要素を感知する。したがって、各ピクセルの強度値は、3つのカラー平面(または、G1およびG2が別々に考慮されるなら4つ)のただ1つに関連付けられ、ベイヤ・パターンの未加工画像をともに形成することができる。これらのR、G、またはBカラー「チャネル」は、応用によってどれが望まれるかで、別々に圧縮されおよび符号化され、または組み合わされることができる。キャプチャ・インタフェース410は、センサによって生成された画像を分解し、個々のピクセルに強度値を割り当てる。全画像に対する全てのそのようなピクセルのセットは、デジタル・カメラ・センサの一般的な工業での実施によるベイヤ・パターンである。
【0024】
全てのセンサ装置において、センサ平面内のいくつかのピクセルのセルが、シーン/環境における適切に照明された状態に応答できないことが一般的である。結果として、これらセルから生成されたピクセル値が欠陥である可能性がある。これらピクセル位置が、「欠陥ピクセル」と呼ばれる。本発明の実施形態において、「ピクセル置き換え」ユニット415は、各デッド・ピクセルで読み出された値を、列において直前の有効なピクセルの強度値と取り替えることができる。RAM416は、様々な他の実施形態において見られる欠陥ピクセル置き換え方法論によって与えられる、デッド・ピクセルの列および行の指数からなる。センサ内のピクセルが欠陥であることを検出するための方法論は、コンピュータ・システムまたは、図5に示されるような他の装置によって実行されることができる。欠陥ピクセル位置の行および列指数の結果としての集計は、画像形成装置と外部装置との間の双方向的な性能でデータ伝送を容易にするバス460を介してRAM416内にロードされることができる。代替の実施形態では、置き換えユニット415は、画像がダウンロードされ、または表示される用意ができた後で、フィルタリングまたは平均化などのある後処理の形態のために、画像形成装置から取り除くことができる。
【0025】
画像形成装置において、コンパンディング・モジュール(companding module)425は、センサから捕らえられたnビット(一般的にはn=10)強度の各最初のピクセルを、mビット強度値(ここで、m<n、一般的にはm=8)に変換するように設計されている。センサ400およびキャプチャ・インタフェース410が、ピクセル値当り標準の8ビットを与えるなら、コンパンディング・モジュール425は必要ではない。欠陥ピクセル検出は、センサの関連した強度範囲によって実行されるべきである。最初の強度範囲が、10ビットなどより高い2値解像度なら、強度範囲の高い限度が1023であり、上記で議論したように255(8ビット強度値)ではないと考慮されなければならない。
【0026】
プライマリ・コンプレッサ428は、コンパンドされたセンサの画像データを受け、JPEGなどのように画像圧縮を実行する。RAM429は、そのような圧縮を実行するさいに使用される係数および/または量子化しきい値を記憶するために使用されることができる。プライマリ・コンプレッサ428は、欠陥ピクセル位置およびそれらの値に敏感でありまたは訂正する出力を提供するように設計されることができ、そのような圧縮された値をエンコーダ/データ・パッカー430に送る。欠陥ピクセル位置マップが、図5の画像形成装置が接続される情報装置で生成されるとき、上述した決定論的なアプローチが、ピクセルが圧縮される前にピクセルで最も良く実行される。
【0027】
RAMテーブル416、426、429、および431のそれぞれが、それらのデータがロードされ、その後望まれるなら修正されるように、バス460と直接通信できる。さらに、これらのRAMテーブルおよび他のRAMテーブルは、必要なときに中間結果データを記憶するために使用できる。ストレージ・アレイ440内のデータが、図4の画像形成装置へ外部に転送される準備ができたとき、転送のためにバス460上に置かれる。バス460は、また、望まれるとき、RAMテーブル416、426、429、および431の更新を容易にする。装置の設計に応じて、欠陥ピクセルの識別は行われるが、限定された圧縮を行い、または圧縮をせずかつデータ訂正を行わない診断キャプチャ・モードを設けることができる。
【0028】
図5は、本発明の実施形態のシステム・ダイヤグラムである。
【0029】
図5は、カメラ530に結合されたPC(パーソナル・コンピュータ)などの、汎用計算機、特殊目的の計算機、またはデータ処理装置などであるコンピュータ・システム510を示す。カメラ530は、デジタル・カメラ、デジタル・ビデオ・カメラ、または任意の画像キャプチャ装置、または画像形成システム、またはそれらの組み合わせでよく、シーン540の画像のキャプチャのために使用される。RAM、または固定されたディスクなどの他の記憶手段である画像メモリ・ユニット534に捕らえられた画像が有効に記憶できるように、捕らえられた画像が画像処理回路532によって処理される。本発明の実施形態によれば、コンピュータ・システム510の画像メモリ・ユニット534内に含まれる画像は、カメラ530の欠陥ピクセル位置を決定する目的のものである。スチールの画像形成を実行することができるほとんどのデジタル・カメラでは、画像は、まず記憶され、その後ダウンロードされる。このことは、カメラ530が、追加の遅延なしに速やかに次の対象/シーンを捉えることを可能にする。特にカメラの欠陥ピクセル位置の検出におけるコンピュータ・システム510の使用は、複雑性なしに、およびより安価な製造を可能にする、カメラ530の計算機の使用/蓄積の必要性を低減する。
【0030】
画像処理回路532は、カメラ530によって捕らえられた画像のピクセル置き換え(もしあれば)、コンパンディング、および圧縮を実行する。圧縮されていても未加工でも、捕らえられた画像が、コンピュータ・システム510にダウンロードされたとき、それは復号化され、その後、プリンタなどのある出力装置(図示せず)またはモニタ装置520に与えられる。上述した欠陥ピクセル検出方法論、および所望であれば画像伸張の実行は、MMX技術を有するペンティアム(Pentium(商標))プロセッサ(インテル社の製品)などのプロセッサ512、および命令アドレスおよび結果のデータを記憶/ロードするために使用される、RAMなどのメモリ511を用いて達成されることができる。
【0031】
カメラ530からダウンロードされた一連の画像に基づく欠陥ピクセルの検出を実行するために用いられる応用は、C++などの言語で書かれたソース・コードに従って実行可能であることができる。画像を縮小する必要がある命令に対応する実行可能なファイルの命令は、ディスク518またはメモリ511に記憶される。さらに、そのようなアプリケーション・ソフトウェアは、他のシステムで使用されるためのネットワークまたはコンピュータで読み取り可能な媒体に分配される。
【0032】
シーン540の画像などの画像が、カメラ530によって捕らえられたとき、それは、画像処理回路532に送られる。画像処理回路532は、機能のなかでもとりわけ、欠陥ピクセル訂正によって補償される画像のピクセル・データ・セットの圧縮を実行することができるICまたは他の要素からなる。画像メモリ・ユニット534は、圧縮された/符号化された画像データを記憶する。一旦全てのピクセルが、処理され、記憶され、またはコンピュータ・システム510に転送されると、カメラ530を次の画像を自由に捕らえることができる。ユーザまたはアプリケーションが、画像のダウンロードを望む/要求するとき、画像メモリ・ユニット内の符号化された画像データは、画像メモリ・ユニット534からI/Oポート517へ転送される。I/Oポート517は、メモリ511または任意にディスク518内に一時的にデータを記憶するために、示されるバス・ブリッジ・ハイアラキー(システム・バス513のためのブリッジ514へのI/Oバス515)を使用する。コンピュータ・システム510は、プロセッサ512およびメモリ511へ/からの情報の転送を容易にするシステム・バス513、およびI/Oバス515へ結合されるブリッジ514を有する。I/Oバス515は、ディスプレイ・アダプタ516、ディスク518、およびシリアル・ポートなどのI/Oポート517などの、様々なI/O装置を接続する。I/O装置、バス、およびブリッジの多くのそのような組み合わせは、本発明に使用されることができ、示された組み合わせは、1つのそのような可能な組み合わせを単に例示する。
【0033】
本発明の実施形態によれば、欠陥ピクセルの検出は、カメラ530からの一連の画像のダウンロードおよび解析によって、コンピュータ・システム510で実行される。欠陥ピクセル位置データは、ディスク、メモリ511、または他の記憶機構に記憶されることができ、任意のダウンロードされた画像の訂正または強調の実行で使用されることができる。欠陥画像位置のポスト・ダウンロード訂正は、カメラ530におけるそのような特徴を組み込む必要を除く。欠陥ピクセル検出間のコンピュータ・システム510は、MNDの計算などの計算、これらのしきい値との比較、欠陥ボート・スコアの集計、および欠陥ピクセル・マップの記憶などを実行する。
【0034】
本明細書に記載された例示的な実施形態は、本発明の原理を単に示すために与えらえたものであり、本発明の範囲を限定するものとして解釈されるべきではない。むしろ、本発明の原理は、本明細書に記載された利点を達成するために、他の利点を達成するために、または他の目的も満足するために、システムの広い範囲に適用されることができる。
【図面の簡単な説明】
【図1】 本発明の実施形態のフロー・ダイヤグラムである。
【図2】 本発明のある実施形態のフローチャートである。
【図3】 本発明の実施形態によるMND(最小隣接距離)の決定を示す。
【図4】 本発明の実施形態による画像処理装置のブロック図である。
【図5】 本発明のある実施形態のシステム図である。

Claims (2)

  1. イメージセンサからの一連の画像をダウンロードするステップと;
    各画像内のピクセル位置と隣接するピクセル位置の各セットとの間の強度値の差の絶対値を計算し、強度値の差の絶対値の中から、最小隣接距離であると設定される最小値を見出すことによってピクセル位置の周りの最小隣接距離を一連の画像の各画像について決定するステップと;
    もし、上記最小隣接距離を組入れた欠陥ボート・スコアが、第1しきい値、すなわち、上記の全ての捕らえられた画像にわたって集計したスコアを超えるなら、上記センサ欠陥のピクセル位置をマップ上にマークするステップとから構成され、前記の最小隣接距離を組入れることは、上記最小隣接距離が第2しきい値を越えると、前記欠陥ボート・スコアが1だけ増加することであることを特徴とするイメージセンサ内の欠陥ピクセルの検出方法。
  2. 命令および欠陥ピクセル検出に関係するデータを記憶することができるメモリと;
    イメージセンサのどのピクセルが欠陥であるかを決定するために、命令を実行するためにおよびデータを操作するように適合された、メモリに結合されたプロセッサとを備えたイメージセンサ内の欠陥ピクセルの検出装置であって、前記命令は、イメージセンサからの一連の画像をダウンロードし、
    各画像内のピクセル位置と隣接するピクセル位置の各セットとの間の強度値の差の絶対値を計算し、強度値の差の絶対値の中から、最小隣接距離であると設定される最小値を見出すことによってピクセル位置の周りの最小隣接距離を各画像について決定し、更に、もし上記最小隣接距離を組入れた欠陥ボート・スコアが第1しきい値、すなわち上記の全ての捕えらえれた画像にわたって集計したスコアを越えるならば、上記センサ欠陥のピクセル位置をマップ上にマークする命令であって、前記の最小隣接距離を組入れることは、上記最小隣接距離が第2しきい値を越えると、前記欠陥ボート・スコアが1だけ増加することを特徴とする検出装置。
JP2000601833A 1999-02-26 2000-02-04 イメージセンサ内の欠陥ピクセルの検出における高速の決定論的なアプローチ Expired - Fee Related JP4261068B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/258,636 1999-02-26
US09/258,636 US6381357B1 (en) 1999-02-26 1999-02-26 Hi-speed deterministic approach in detecting defective pixels within an image sensor
PCT/US2000/002968 WO2000051341A1 (en) 1999-02-26 2000-02-04 Hi-speed deterministic approach in detecting defective pixels within an image sensor

Publications (3)

Publication Number Publication Date
JP2002538684A JP2002538684A (ja) 2002-11-12
JP2002538684A5 JP2002538684A5 (ja) 2006-03-09
JP4261068B2 true JP4261068B2 (ja) 2009-04-30

Family

ID=22981463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000601833A Expired - Fee Related JP4261068B2 (ja) 1999-02-26 2000-02-04 イメージセンサ内の欠陥ピクセルの検出における高速の決定論的なアプローチ

Country Status (8)

Country Link
US (1) US6381357B1 (ja)
EP (1) EP1157544B1 (ja)
JP (1) JP4261068B2 (ja)
KR (1) KR100417834B1 (ja)
AU (1) AU3590300A (ja)
DE (1) DE60013102T2 (ja)
TW (1) TW429330B (ja)
WO (1) WO2000051341A1 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3532781B2 (ja) * 1999-02-12 2004-05-31 株式会社メガチップス 画像入力装置の画像処理回路
US7898571B1 (en) * 1999-02-27 2011-03-01 Raytheon Company Versatile video data acquisition and analysis system
US6661456B1 (en) * 1999-04-30 2003-12-09 General Electric Company Imaging of pixel defects in digital detectors
US6693668B1 (en) * 1999-06-04 2004-02-17 Canon Kabushiki Kaisha Self-diagnostic image sensor
US6806902B1 (en) * 1999-06-08 2004-10-19 Chrontel, Inc. System and method for correcting bad pixel data in a digital camera
US6697534B1 (en) 1999-06-09 2004-02-24 Intel Corporation Method and apparatus for adaptively sharpening local image content of an image
US6995794B2 (en) * 1999-06-30 2006-02-07 Logitech Europe S.A. Video camera with major functions implemented in host software
US6658399B1 (en) 1999-09-10 2003-12-02 Intel Corporation Fuzzy based thresholding technique for image segmentation
US6625308B1 (en) 1999-09-10 2003-09-23 Intel Corporation Fuzzy distinction based thresholding technique for image segmentation
US7053944B1 (en) 1999-10-01 2006-05-30 Intel Corporation Method of using hue to interpolate color pixel signals
US6711302B1 (en) * 1999-10-20 2004-03-23 Eastman Kodak Company Method and system for altering defects in digital image
JP3773773B2 (ja) * 1999-10-27 2006-05-10 三洋電機株式会社 画像信号処理装置及び画素欠陥の検出方法
US7158178B1 (en) 1999-12-14 2007-01-02 Intel Corporation Method of converting a sub-sampled color image
US6628827B1 (en) 1999-12-14 2003-09-30 Intel Corporation Method of upscaling a color image
US6748118B1 (en) 2000-02-18 2004-06-08 Intel Corporation Method of quantizing signal samples of an image during same
US6961472B1 (en) 2000-02-18 2005-11-01 Intel Corporation Method of inverse quantized signal samples of an image during image decompression
US7046728B1 (en) 2000-06-30 2006-05-16 Intel Corporation Method of video coding the movement of a human face from a sequence of images
US6642961B1 (en) * 2000-07-12 2003-11-04 Vanguard International Semiconductor Corp. Method of defective pixel address detection for image sensors having windowing function
US6768512B1 (en) * 2000-07-12 2004-07-27 Vanguard International Semiconductor Corp. Method of bad pixel correction
US6775413B1 (en) 2000-09-18 2004-08-10 Intel Corporation Techniques to implement one-dimensional compression
US6795118B1 (en) * 2000-10-18 2004-09-21 Micron Technology, Inc. Testing of solid-state image sensors
WO2002037837A1 (en) 2000-10-30 2002-05-10 Simon Fraser University Active pixel sensor with built in self-repair and redundancy
US6563439B1 (en) * 2000-10-31 2003-05-13 Intel Corporation Method of performing Huffman decoding
FR2816155B1 (fr) * 2000-10-31 2003-04-04 Ge Med Sys Global Tech Co Llc Procede et dispositif de qualification de detecteurs d'image en fonction de leurs mauvais pixels
US6636167B1 (en) 2000-10-31 2003-10-21 Intel Corporation Method of generating Huffman code length information
DE10122876C2 (de) * 2000-11-24 2003-08-21 Siemens Ag Verfahren zum Betrieb eines Bildsystems einer bildgebenden medizinischen Untersuchungseinrichtung und medizinische Untersuchungseinrichtung
US7961201B1 (en) 2000-12-21 2011-06-14 Cognex Corporation Method and apparatus for producing graphical machine vision content for distribution via a network
US7962898B1 (en) 2000-12-29 2011-06-14 Cognex Corporation Optimized distribution of machine vision processing
US20020118746A1 (en) * 2001-01-03 2002-08-29 Kim Hyun Mun Method of performing video encoding rate control using motion estimation
DE10106907C2 (de) * 2001-02-13 2003-06-26 Siemens Ag Röntgendiagnostikeinrichtung mit Mitteln und Verfahren zur Korrektur von Kometenartefakten
US6766286B2 (en) 2001-03-28 2004-07-20 Intel Corporation Pyramid filter
US20020184276A1 (en) * 2001-03-30 2002-12-05 Tinku Acharya Two-dimensional pyramid filter architecture
US6889237B2 (en) * 2001-03-30 2005-05-03 Intel Corporation Two-dimensional pyramid filter architecture
US6726103B1 (en) * 2001-11-07 2004-04-27 Pixim, Inc. Imaging system with built-in diagnostics
US7305114B2 (en) * 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
KR100407158B1 (ko) * 2002-02-07 2003-11-28 삼성탈레스 주식회사 적외선 열상장비의 시변결점 보상방법 및 장치
JP2004015711A (ja) * 2002-06-11 2004-01-15 Fuji Photo Film Co Ltd 画像読取方法および装置ならびに補正情報出力方法および装置
US7209599B2 (en) * 2002-07-12 2007-04-24 Hewlett-Packard Development Company, L.P. System and method for scanned image bleedthrough processing
JP4194336B2 (ja) * 2002-07-25 2008-12-10 富士通マイクロエレクトロニクス株式会社 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ
US7266151B2 (en) * 2002-09-04 2007-09-04 Intel Corporation Method and system for performing motion estimation using logarithmic search
US20040042551A1 (en) * 2002-09-04 2004-03-04 Tinku Acharya Motion estimation
US20040057626A1 (en) * 2002-09-23 2004-03-25 Tinku Acharya Motion estimation using a context adaptive search
US20040169748A1 (en) * 2003-02-28 2004-09-02 Tinku Acharya Sub-sampled infrared sensor for use in a digital image capture device
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
US20050030388A1 (en) * 2003-08-06 2005-02-10 Stavely Donald J. System and method for improving image capture ability
US7424170B2 (en) * 2003-09-30 2008-09-09 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images
US7590305B2 (en) 2003-09-30 2009-09-15 Fotonation Vision Limited Digital camera with built-in lens calibration table
US7369712B2 (en) * 2003-09-30 2008-05-06 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
US7340109B2 (en) * 2003-09-30 2008-03-04 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images dependent upon changes in extracted parameter values
US7676110B2 (en) * 2003-09-30 2010-03-09 Fotonation Vision Limited Determination of need to service a camera based on detection of blemishes in digital images
US7310450B2 (en) 2003-09-30 2007-12-18 Fotonation Vision Limited Method of detecting and correcting dust in digital images based on aura and shadow region analysis
US7308156B2 (en) 2003-09-30 2007-12-11 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data
US8369650B2 (en) 2003-09-30 2013-02-05 DigitalOptics Corporation Europe Limited Image defect map creation using batches of digital images
US7295233B2 (en) * 2003-09-30 2007-11-13 Fotonation Vision Limited Detection and removal of blemishes in digital images utilizing original images of defocused scenes
CN100464247C (zh) * 2004-02-23 2009-02-25 英华达(上海)电子有限公司 自动检测相机的方法、检测系统以及储存媒体
JP2005354278A (ja) * 2004-06-09 2005-12-22 Seiko Epson Corp 撮像手段の撮像した画像の画像データを処理する画像データ処理
US20050280721A1 (en) * 2004-06-18 2005-12-22 Van Der Heide Auke Method for providing combined gain compensation and error correction of a camera pickup array and an apparatus for implementing the method
GB0506566D0 (en) * 2005-03-31 2005-05-04 E2V Tech Uk Ltd Method of identifying a photoelectric sensor array
JP4425834B2 (ja) * 2005-07-25 2010-03-03 富士フイルム株式会社 欠陥画素更新システム
US8009209B2 (en) * 2005-09-30 2011-08-30 Simon Fraser University Methods and apparatus for detecting defects in imaging arrays by image analysis
WO2007095556A2 (en) 2006-02-14 2007-08-23 Fotonation Vision Limited Digital image acquisition device with built in dust and sensor mapping capability
JP4914142B2 (ja) * 2006-08-04 2012-04-11 キヤノン株式会社 検査装置
JP5012673B2 (ja) * 2008-06-03 2012-08-29 ソニー株式会社 表示装置
US20100141810A1 (en) * 2008-12-04 2010-06-10 Proimage Technology Bad Pixel Detection and Correction
US20100231763A1 (en) * 2009-03-16 2010-09-16 Harris Corporation, Corporation Of The State Of Delaware Defective pixel detector for a digital video camera and associated methods
US8654398B2 (en) 2012-03-19 2014-02-18 Seiko Epson Corporation Method for simulating impact printer output, evaluating print quality, and creating teaching print samples
CN113658169A (zh) * 2021-08-26 2021-11-16 歌尔科技有限公司 图像斑点检测方法、设备、介质及计算机程序产品
CN114612320B (zh) * 2022-03-04 2023-09-29 业成科技(成都)有限公司 图像亮度优化方法、装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3121599C2 (de) * 1981-05-30 1986-11-27 Robert Bosch Gmbh, 7000 Stuttgart Verfahren und Schaltungsanordnung zum Verdecken von Fehlern in einem digitalen Videosignal
US4969198A (en) 1986-04-17 1990-11-06 International Business Machines Corporation System for automatic inspection of periodic patterns
US5047861A (en) 1990-07-31 1991-09-10 Eastman Kodak Company Method and apparatus for pixel non-uniformity correction
JPH05260386A (ja) * 1992-03-16 1993-10-08 Sony Corp 固体撮像素子の欠陥画素検出回路
US5541653A (en) * 1993-07-27 1996-07-30 Sri International Method and appartus for increasing resolution of digital color images using correlated decoding
US5854655A (en) * 1995-08-29 1998-12-29 Sanyo Electric Co., Ltd. Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit

Also Published As

Publication number Publication date
AU3590300A (en) 2000-09-14
WO2000051341A1 (en) 2000-08-31
US6381357B1 (en) 2002-04-30
DE60013102D1 (de) 2004-09-23
EP1157544B1 (en) 2004-08-18
KR100417834B1 (ko) 2004-02-11
TW429330B (en) 2001-04-11
JP2002538684A (ja) 2002-11-12
EP1157544A1 (en) 2001-11-28
KR20010108262A (ko) 2001-12-07
DE60013102T2 (de) 2005-08-18

Similar Documents

Publication Publication Date Title
JP4261068B2 (ja) イメージセンサ内の欠陥ピクセルの検出における高速の決定論的なアプローチ
JP5144916B2 (ja) 画像信号処理方法および装置
US8682068B2 (en) Image processing apparatus, image processing method, and program
JP4378746B2 (ja) 欠陥ピクセルの検出可能なディジタル・イメージ・センサおよび方法
US6985180B2 (en) Intelligent blemish control algorithm and apparatus
JP4186699B2 (ja) 撮像装置および画像処理装置
US6625318B1 (en) Robust sequential approach in detecting defective pixels within an image sensor
US20050099516A1 (en) Error calibration for digital image sensors and apparatus using the same
KR101374971B1 (ko) 디지털 이미지 내의 노이즈 감소 방법, 디지털 이미지 내의 노이즈 감소 장치 및 디지털 이미지 내의 노이즈 감소 시스템
US20050243181A1 (en) Device and method of detection of erroneous image sample data of defective image samples
JP2004112736A (ja) 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ
US20080075354A1 (en) Removing singlet and couplet defects from images
KR20020032331A (ko) 이미지 센서의 결함 픽셀 보정 장치 및 그 방법
US20050073596A1 (en) Noise removal method, storage medium having stored therein noise removal processing program and noise removing apparatus
JP2009049753A (ja) 画像処理装置、カメラ、画像処理プログラムおよび画像処理方法
US20030174221A1 (en) Signal processing device for reducing noise of image signal, signal processing program, and signal processing method
JP2004320128A (ja) 欠陥画素補正装置
JP2008205829A (ja) ノイズ特性測定装置及びノイズ特性測定方法
JP6426323B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP4057216B2 (ja) 固体撮像装置および画素欠陥検出方法
JP4579570B2 (ja) シェーディング処理方法
JP3884952B2 (ja) 撮像装置
JP2010130289A (ja) 固体撮像装置、半導体集積回路および欠陥画素補正方法
JP2000217039A (ja) 点欠陥検出方法および点欠陥画素値補正方法
JP5008122B2 (ja) 固体撮像素子の欠陥画素補正方法および欠陥画素補正装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees