JP5266957B2 - 欠陥画素検出装置、撮像装置、および欠陥画素検出方法 - Google Patents

欠陥画素検出装置、撮像装置、および欠陥画素検出方法 Download PDF

Info

Publication number
JP5266957B2
JP5266957B2 JP2008212324A JP2008212324A JP5266957B2 JP 5266957 B2 JP5266957 B2 JP 5266957B2 JP 2008212324 A JP2008212324 A JP 2008212324A JP 2008212324 A JP2008212324 A JP 2008212324A JP 5266957 B2 JP5266957 B2 JP 5266957B2
Authority
JP
Japan
Prior art keywords
defective pixel
defect
priority
defective
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008212324A
Other languages
English (en)
Other versions
JP2010050656A (ja
JP2010050656A5 (ja
Inventor
節子 渡辺
伸郎 岩井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008212324A priority Critical patent/JP5266957B2/ja
Priority to US12/544,401 priority patent/US8169514B2/en
Publication of JP2010050656A publication Critical patent/JP2010050656A/ja
Publication of JP2010050656A5 publication Critical patent/JP2010050656A5/ja
Application granted granted Critical
Publication of JP5266957B2 publication Critical patent/JP5266957B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、固体撮像素子上の欠陥画素を検出する欠陥画素検出装置、それを用いて欠陥画素からの撮像信号を補正する欠陥画素補正装置に関する。
CCD等の半導体で形成した固体撮像素子では、半導体の局所的な結晶欠陥等によって欠陥画素が生じることがあり、このような場合、その欠陥画素の撮像出力に起因する画質劣化、いわゆる白傷や黒傷が生じることが知られている。
そこで近年、固体撮像素子をビデオカメラ等に組み込んだ状態で、欠陥画素を検出してこれを補正する欠陥検出補正システムが提案されている。この種の欠陥検出補正システムでは、1画面内を検出走査する際に、画面の端から順に欠陥画素を検出し、検出した欠陥画素についての情報である欠陥データをメモリに順次記憶するようにしている。この欠陥画素検出時に記憶する欠陥データは、欠陥画素の画面上の絶対位置を特定するアドレスデータもしくはこれにさらに欠陥画素の映像信号レベルである欠陥レベルを加えたものである。
したがって、この欠陥検出補正システムを実際にビデオカメラ等の機器に搭載する場合には、欠陥データを記憶できるデータ量は、機器に搭載するメモリの記憶容量によって制限されることになる。
この欠陥検出補正システムでは、欠陥画素検出を画面内の初めのラインから順次検査し、欠陥画素を検出した場合にその欠陥データをリアルタイムでメモリに記憶し、1フレームの走査を終了するようにしていたので、仮に、存在する欠陥画素数がメモリの記憶容量を越えている場合には、それ以降検出した欠陥画素についての欠陥データを記憶できず、例えば、画面の前半部分しか欠陥補正を行えないといった難点がある。
そこで、限られた記憶容量のメモリを有効に用いて画面全体に亘って欠陥画素の検出および補正を行う技術として、例えば、特許文献1および特許文献2に開示されたものがある。
特許文献1に開示された従来の欠陥検出補正システムは、固体撮像素子の撮像出力レベルと所定のしきい値(検出レベル)とを比較して欠陥画素を検出する際に、検出した欠陥画素数が、メモリの記憶容量に対応する記憶許容数を越えたときには、前記所定の検出レベルをそれまでよりも高く設定することによって欠陥検出感度を下げ、再検出を欠陥画素数が記憶許容数に収まるまで繰り返すものであり、これによって、メモリの記憶容量を最大限に活用して画面全体に亘って欠陥画素を検出して補正するものである。
また、特許文献2に開示された従来の欠陥検出補正システムは、欠陥画素を検出してメモリの記憶容量に対応する記憶許容数の欠陥画素が記憶された後は、検出した欠陥画素の欠陥レベルとメモリに記憶されている欠陥画素の欠陥レベルとを比較し、検出した欠陥画素の欠陥レベルが記憶されている欠陥画素の欠陥レベルよりも大きいと判断したときには、欠陥レベルが小さいと判断された欠陥画素に代えて大きいと判断された欠陥画素をメモリに記憶させるものであり、これによって、欠陥レベルの上位レベルのものからメモリの記憶容量に対応する記憶許容数まで欠陥画素を検出して補正するものである。
特開平6−315112号公報 特開平7−59011号公報
しかしながら、前記従来の構成では、欠陥画素検出時に検出された画素から優先度の高いものを選択して欠陥画素補正を行うことはできるが、本来補正すべき画素が検出できなかった場合の対策がなされていないという課題があった。また、欠陥画素は温度や電荷蓄積時間に依存して欠陥レベルが変化する性質があるが、たまたま欠陥画素検出時に欠陥レベルが低い状態となっていると、そのような欠陥画素は検出されず、補正を行うことができない可能性がある。
このような課題に鑑みて本発明の欠陥画素検出装置は、補正すべき画素を適切に検出することを目的とする。
前記従来の課題を解決するために、本発明の欠陥画素検出装置は、撮像信号を生成する撮像素子において補正対象となる欠陥画素を決定する欠陥画素検出装置であって、補正対象の欠陥画素の優先度を格納する欠陥情報保存手段と、前記撮像素子からの撮像信号のレベルと所定の検出レベルとを比較して欠陥画素を検出する欠陥画素検出手段と、前記欠陥画素検出手段で検出された欠陥画素の撮像信号のレベルに基づいて前記検出された欠陥画素の優先度を設定する優先度設定手段と、前記欠陥画素検出手段で検出された欠陥画素と前記欠陥情報保存手段に格納されている補正対象の欠陥画素の中から、各欠陥画素の優先度に基づいて新たに補正対象となる欠陥画素を決定し、かつこの新たな補正対象の欠陥画素の優先度を決定し、前記欠陥情報保存手段にこの新たな補正対象の欠陥画素の優先度を保存する補正対象決定手段と、を備える。
本発明の欠陥画素補正装置によれば、欠陥画素検出部において本来欠陥であり補正すべき画素を欠陥でないと誤って判断してしまった場合にも、前回の検出処理でその画素が欠陥画素であるとして欠陥情報保存メモリに記憶されていれば、今回の欠陥画素検出処理において再び欠陥画素として記憶される可能性が高くなり、画質劣化が軽減される。また、欠陥画素検出を同時に行った結果に対して優先度を付与し、過去の補正対象の優先度と比較することであらためて補正対象を決定するため、欠陥画素検出のタイミングの違いにより生じる温度や電荷蓄積時間等の違いの影響を受けにくく、補正すべき画素を適切に検出することができる。
以下に、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の欠陥画素補正装置を適用したビデオカメラの構成を示すブロック図である。本実施の形態では、CCD固体映像素子を用いたビデオカメラに適用して欠陥(白傷)補正を実施する場合について説明する。
被写体はレンズ1、絞り2および光学フィルタ3を有する光学系を介してCCD固体撮像素子4の撮像面に結像される。レンズ1、絞り2および光学フィルタ3は、マイコン15により制御された駆動部11により適宜駆動される。
タイミングジェネレータ13は発振回路14から供給される垂直クロック信号や水平クロック信号をH/Vドライバ12に送る。H/Vドライバ12はCCD固体撮像素子4の各画素からの垂直転送レジスタの信号電荷の読み出し、垂直転送レジスタによる垂直転送、水平転送レジスタによる水平転送等を行う。この結果、CCD固体撮像素子4からは、被写体を撮像した映像信号が出力される。タイミングジェネレータ13は、CDS(相関二重サンプリング回路)5、AGC(自動利得制御回路)6、ADC(A/Dコンバータ)7および欠陥補正回路8にも同様に各クロック信号を供給する。
CCD固体撮像素子4からの映像信号はCDS5、AGC6を経た後、ADC7でA/D変換されて欠陥補正回路8に与えられる。
欠陥補正回路8で補正された映像信号は、信号処理回路9で各種の信号処理が行われ、エンコーダ10で符号化されて出力される。
欠陥画素(本実施の形態では白傷、すなわちどのような被写体を撮像しても常に高輝度となってしまう画素を対象とする)の検出は電源起動時、またはブラックバランス調整時等、絞り2を閉じた状態で実施する。絞り2を閉じるとレンズ1からの光の入射がないため、CCD固体撮像素子4から出力される映像信号が示す画面全体は暗くなる。図9は、欠陥画素の一例を示す図である。白傷の場合、欠陥画素は図9の(a−1)のように高輝度の点(白い点)として見える。この映像信号は欠陥検出回路16に与えられ、それぞれの欠陥画素の画面における位置情報及び欠陥レベルを検出する。欠陥レベルは、欠陥画素の映像信号レベル、より具体的には輝度値とすることができる。
欠陥情報保存メモリ18には、直前の欠陥画素検出処理において補正対象画素として選択された欠陥画素の情報が記憶されている。欠陥画素の情報としては、その画素の位置情報および欠陥補正優先度(後述)が含まれる。欠陥情報保存メモリ18に記憶されている欠陥画素の位置情報および欠陥補正優先度と、欠陥検出回路16で検出した欠陥画素の位置情報および欠陥レベルとを用いて、欠陥補正優先度決定部17で欠陥画素を補正する優先順位を決定する。この順位をあらためて欠陥補正優先度とし、欠陥補正優先度が高いものから所定数を補正すべき欠陥画素として選択する。欠陥情報保存メモリ18は、選択された欠陥画素の位置情報および欠陥補正優先度を、すでに記憶しているものと置換して記憶する。記憶されたこれらの欠陥画素情報は欠陥補正回路8での欠陥画素補正処理、および次の欠陥画素検出時における欠陥補正優先度の決定に用いられる。
欠陥画素情報は欠陥補正回路8に与えられ、欠陥補正回路8にて補正を行う。欠陥画素補正処理については、対象画素の周囲の画素値を用いた様々な公知技術を用いることが出来るが、ここでの詳細な説明は省略する。補正処理の結果、例えば図9の(a−1)に示した欠陥画素は図9の(a−2)のように補正される。
以下に、欠陥補正優先度決定部17における欠陥補正優先度の決定方法を説明する。本発明の優先度決定において重要な2つの要素は、「補正対象であると決定された履歴(欠陥検出結果)」と「欠陥レベル」である。
欠陥画素検出において、何らかの理由で欠陥画素を検出できないことがある。よってその時に検出した結果だけを用いるのではなく、過去に補正対象であると決定された履歴を考慮することにより、誤検出の悪影響を軽減することが出来る。
欠陥の中にはある周期で欠陥レベルが変化する点滅欠陥が存在する。点滅欠陥は点滅することにより、視覚的に大変目立つようになるため、優先的に補正を行うべきである。このような欠陥は、欠陥画素検出のタイミングによって検出されたり検出されなかったりする。図9の(b−1)のように画面欠陥Bは欠陥として表れているが、ある瞬間では図9の(b−2)のように欠陥として表れていないため検出されない。もし、今回検出されなかったとして補正対象にならなかった場合、図9の(c−1)のように点滅欠陥Bは補正されずに残ってしまう。
また、欠陥レベルはCCD固体撮像素子4の温度や電荷蓄積時間によって変化する。元々欠陥レベルが高い欠陥画素は、高温や電荷蓄積時間が長くなるような状況ではさらに欠陥レベルが高くなり、映像における欠陥の存在がとても目立つため、優先的に補正されるべきである。よって、欠陥レベルを考慮する必要がある。
一般的に過去の履歴を用いた並べ替えのアルゴリズムのひとつとして下記のLRU(Least Recently Used)方式が知られている。
キャッシュやページング処理では、頻繁にアクセスされるデータを高速なメモリに配置し、そうではないデータをより低速なメインメモリやディスクに配置する処理を行っており、この処理をLRU方式という。また、一般的にあまりアクセスされないデータは、将来的にもアクセスされない傾向にあり、そのような前提をもとにこの方式が定義されている。LRU方式を用いることで、キャッシュのヒット率を高めたり、仮想記憶においてはディスクへのアクセス頻度を低減させたりする上で効果が期待できるものである。
このLRU方式の考えを用いて、今回の欠陥画素検出結果と欠陥情報保存メモリ18に記憶された欠陥画素情報とから、新たに欠陥画素補正の対象となる画素を選択する。その基本的な考え方は次の通りである。
1.今回検出された欠陥画素に対して欠陥レベルの高い方から仮の欠陥補正優先度を付け、現在の欠陥画素補正対象の欠陥補正優先度も含めた全体に対して、優先度が高いものから優先的に補正を行うように欠陥補正の対象を決める。欠陥レベルを絶対値で直接用いるのではなく、欠陥レベルの高い方から並べたときの順位を仮の欠陥補正優先度として用いる。
2.欠陥情報保存メモリ18に記憶されている現在の欠陥画素補正対象の欠陥補正優先度と今回検出された欠陥画素の仮の欠陥補正優先度とが等しい場合には、今回検出された欠陥画素を優先して新たな欠陥補正優先度を決める。
3.今回の欠陥画素検出結果と欠陥情報保存メモリ18に記憶された欠陥画素情報に重複して含まれる欠陥画素については、それぞれに付与された欠陥補正優先度のうち最も高いものをその欠陥画素の欠陥補正優先度として採用する。
以下に欠陥補正優先度の決定方法について、例を挙げて説明する。
図5は、欠陥検出回路16で検出可能な欠陥画素の個数を5つ、また、欠陥情報保存メモリ18に記憶可能な欠陥画素の個数を8つとしたときの本発明の欠陥補正優先度決定方法の説明図である。図5(a)〜(e)の各々において、左右に並んだ矩形は画素を示し、左右の並び順が欠陥補正優先度を示す。なお、欠陥補正優先度はこの例では1〜8のいずれかの値をとるものとし、この数値が小さいほど欠陥補正優先度が高い、すなわち欠陥補正優先度が最大である画素の欠陥補正優先度は「1」であるとする。図中では左側が優先度の高い方になる。
欠陥情報保存メモリに記憶されている補正対象の画素、すなわち前回の欠陥画素検出処理によって欠陥画素補正の対象として選択された画素を、欠陥補正優先度の高い方から「D、G、F、A、B、E、C、H」とする。例えば、画素Dの欠陥補正優先度は1、画素Gの欠陥補正優先度は2といった具合である。これらの画素を欠陥補正優先度の順番に並べると、図5(a)に示すようになる。
また、今回の欠陥画素検出処理で検出された欠陥画素を、欠陥レベルの高い方から「A、B、H、I、J」とする。これらの画素を図5(b)のように欠陥レベルの高い方から並べ、これらに仮の欠陥補正優先度として1〜5を割り当てる。例えば、画素Aの欠陥補正優先度は1、画素Bの欠陥補正優先度は2といった具合である。
そして図5(c)に示すように、前回の欠陥補正優先度(a)と今回の欠陥画素検出結果(b)とを欠陥補正優先度順で並べる。ただし、同じ欠陥補正優先度をもつ画素については、今回の欠陥検出結果(b)のほうが最終的な優先度が高くなるように(左側に来るように)並べ替える。例えば図において、前回補正対象の画素Dと、今回の検出結果の画素Aとは共に欠陥補正優先度が1であるため、今回の検出結果である画素Aをより優先度が高くなるよう左側にしてA、Dの順で並べる。欠陥補正優先度が2以降の画素についても同様に並べる。
ここで、画素A、B、Hのように同じ画素が複数現れた場合は、図5(d)に示すように優先度の高い方(左側の画素)を残して、優先度の低い方(その他の画素)を消去する。例えば、画素Aは一番左と、左から8番目とに現れるため、一番左のものを残し、他を消去する。他も同様である。このようにして残った画素のうち、優先度の高いものから(左側から)8つを選択し、図5(e)に示すように今回の欠陥画素検出結果としての補正対象とする。選択した8つの画素について、優先度の高いほうからあらためて欠陥補正優先度を付与する。例えば、画素Aは優先度1、画素Dが優先度2、画素Bが優先度3となる。なお、同じ画素であるかどうかは、各画素の位置情報を比較し、等しければ同じ画素と判断すればよい。
上記の方法で欠陥補正優先度を決定する。図6は、欠陥画素検出を1回目から4回目まで行った時の欠陥補正優先度決定方法の説明図である。1回目の欠陥画素検出後の補正対象とその欠陥補正優先度(e)は、1回目の欠陥画素検出結果(a)をそのまま用いて、図6(e)のようになる。2回目の欠陥画素検出後の補正対象とその欠陥補正優先度(f)は、2回目の欠陥画素検出結果を欠陥レベルの高い方から並べたもの(b)と、1回目の補正対象(e)とを優先度毎に、2回目の欠陥画素検出結果の優先度が高くなるように並べ替えて得られる。
3回目の欠陥画素検出後の補正対象とその欠陥補正優先度(g)も同様に、3回目の欠陥画素検出結果を欠陥レベルの高い方から並べたもの(c)「A,E,H,G,J」と、2回目の補正対象(f)「D,A,G,B,F,C,E」とを優先度毎に、3回目の欠陥画素検出結果の優先度が高くなるように並べ替えて得られる。
図6の中で画素Bや画素Cは1回目の欠陥検出結果にしか含まれないが、前述のように画素Bや画素Cのようにある周期で欠陥レベルが変化する、点滅欠陥が存在する。点滅することで、視覚的に大変目立つ欠陥であり、優先的に補正を行うべきである。もし、画素Bや画素Cが点滅欠陥であった場合、2回目、3回目の欠陥画素検出処理ですぐに補正対象外となってしまうのではなく、少しずつ欠陥補正優先度が下がりつつしばらくは補正対象であり続ける仕組みになっており、点滅欠陥の補正にもうまく対応できるように工夫されている。特に、欠陥情報保存メモリ18が点滅欠陥の点滅周期をカバーできるだけの容量をもっていれば、点滅欠陥が対象外となる前に再度欠陥画素として検出され、その欠陥補正優先度が再び上がるため、非常に有効となる。
ここで、3回目の欠陥画素検出の時点でのCCD固体撮像素子4の温度が30℃であり、4回目の欠陥画素検出の時点ではそれより10℃高い40℃であったとする。CCD固体撮像素子4の温度が上昇すると、各欠陥画素の欠陥レベルは大きくなると共に、30℃の3回目の欠陥検出結果(c)とは異なる欠陥画素検出結果(d)が得られる。4回目の欠陥画素検出後の補正対象とその欠陥補正優先度(h)も同様に、4回目の欠陥画素検出結果を欠陥レベルの高い方から並べたもの(d)「J,G,M,A,E」と、3回目の補正対象(g)「A,D,E,H,G,B,J,F」とを優先度毎に、4回目の欠陥画素検出結果の優先度が高くなるように並べ替えて得られる。
図6(d)では、温度が上昇したことにより、各画素の欠陥レベルは大幅に上昇している。しかしながら、本発明では欠陥レベルの絶対値の比較を行って優先度を決定する方法は用いていないため、温度が変化しても欠陥優先順位は急に大きく変わらないように工夫されている。
(実施の形態2)
図10は、本発明の実施の形態2における欠陥画素補正装置を適用したビデオカメラの構成を示すブロック図である。本実施の形態でも、CCD固体映像素子を用いたビデオカメラに適用して欠陥(白傷)補正を実施する場合について説明する。
本実施の形態が実施の形態1と異なるところは、実施の形態1における欠陥補正優先度決定部17の機能をマイコン15が実現しているところであり、他の構成は基本的に同様である。
欠陥情報保存メモリ18には、直前の欠陥画素検出処理において補正対象画素として選択された欠陥画素の位置情報、欠陥レベルおよび欠陥補正優先度が記憶されている。欠陥情報保存メモリ18に記憶されている欠陥画素の位置情報および欠陥補正優先度と、欠陥検出回路16で検出した欠陥画素の位置情報および欠陥レベルとを用いて、マイコン15で欠陥画素を補正する優先順位を決定する。この順位をあらためて欠陥補正優先度とし、欠陥補正優先度が高いものから所定数を補正すべき欠陥画素として選択する。欠陥情報保存メモリ18は、選択された欠陥画素の位置情報、欠陥レベルおよび欠陥補正優先度を、すでに記憶しているものと置換して記憶する。記憶されたこれらの欠陥画素情報は欠陥補正回路8での欠陥画素補正処理、および次の欠陥画素検出時における欠陥補正優先度の決定に用いられる。
マイコン15における欠陥補正優先度を決定するソフトウェアのプログラムについて説明する。図7は、上記決定方法をソフトウェアにて処理する際の説明図である。また、図8は、この処理を示すフローチャートである。上記決定方法は、図7に示すような処理をソフトウェアで記述すれば実現できる。図7(c)のように、前回の欠陥画素補正対象(a)に対して今回の欠陥画素検出結果(b)を優先度の高い方向へずらす。そして図7(d)のように(a)と(b)とを交互に組み合わせて並べる(S801)。この中に同じ画素があった場合、図7(e)のように優先度の高い方を残して他を消去する(S802〜S806)。最後に図7(f)のように残った結果の中から、優先度の高い方から8つ選び、新たな欠陥画素補正対象とする。なお、上記プログラムは、不揮発性メモリ等の記録媒体(図示せず)に記録されており、マイコン15にロードされて実行される。
本発明の有効性を、2つの例を挙げて下記に説明する。
まず、1つ目の例として本発明の欠陥補正優先度の決定方法において、欠陥レベルを用いず、LRU方式のみを用いた場合を考える。
図2は、同じく欠陥画素検出部で検出可能な欠陥の個数を5つ、また、欠陥画素補正部で補正可能な欠陥の個数を8つとしたときの2つ目の例の欠陥補正優先度決定方法の説明図である。
1回目の欠陥補正優先度(d)は、1回目の欠陥検出結果(a)をそのまま用いて、図2(d)のようになる。2回目の欠陥補正優先度(e)は、まず、2回目の欠陥検出結果(b)「A,D,E,G,F」の欠陥補正優先度を一番高くする。そして、1回目の欠陥補正優先度(d)「A,B,C,D,E」の内、2回目の欠陥検出結果(b)に含まれない欠陥「B,C」の欠陥補正優先度を2番目に高くする。3回目の欠陥補正優先度(f)は、まず、3回目の欠陥検出結果(c)「A,E,H,I,J」の欠陥補正優先度を一番高くする。そして2回目の欠陥補正優先度(e)「A,D,E,G,F,B,C」の内、3回目の欠陥検出結果(c)に含まれない「D,G,F」の欠陥補正優先度を2番目に高くする。以上のようにして、欠陥補正優先度を決めていく。
図2の中で欠陥Bや欠陥Cは1回目の欠陥検出結果にしか含まれず、その後の検出には表れていない。これらは前述のように欠陥Bや欠陥Cのようにある周期で欠陥レベルが変化する、点滅欠陥である可能性がある。欠陥Bや欠陥Cが点滅欠陥であった場合、3回目の欠陥補正優先度からすぐに外されてしまう。
これに対して本発明は、これらの欠陥がすぐに対象外となるのではなく、少なくともしばらくは対象であり続けるようになっており、点滅欠陥に対して本発明がより有効であると言える。
次に、2つ目の例として、欠陥補正優先度の決定方法において、1つ目の例のLRU方式に加えて欠陥レベルを用いた場合を考える。欠陥レベルを考慮する方法として、本発明では欠陥検出結果を欠陥レベルの高い方から並べ替える時にのみ用いている。この比較対象の例では、欠陥レベルを欠陥情報保存メモリに記憶しておき、欠陥レベルが大きい方から欠陥補正優先順位を決定する。
図3は同じく欠陥画素検出部で検出可能な欠陥の個数を5つ、また、欠陥画素補正部で補正可能な欠陥の個数を8つとしたときの2つ目の例の欠陥補正優先度決定方法の説明図である。欠陥レベルの高い方から順番に並べられている。
1回目の欠陥補正優先度(d)は1回目の欠陥検出結果「A,B,C,D,E」の欠陥レベルの高い欠陥から欠陥補正優先度の高い欠陥とする。2回目の欠陥補正優先度(e)は2回目の欠陥検出結果(b)「A,D,E,G,F」と、1回目の欠陥補正優先度(d)の内2回目の欠陥検出結果に含まれない「B,C」を合わせて、欠陥レベルで並べ替えを行い、欠陥レベルの高い欠陥から欠陥補正優先度の高い欠陥とする。3回目の欠陥補正優先度(f)は3回目の欠陥検出結果(c)「A,E,H,G,J」と、2回目の欠陥補正優先度(e)の内3回目の欠陥検出結果に含まれない「D,B,C,F」と合わせて欠陥レベルの高い欠陥から欠陥補正優先度の高い欠陥とする。
以上の結果を見ると、上記欠陥補正優先度決定方法では1つ目の例の場合とは異なり、点滅欠陥と考えられる欠陥Bや欠陥Cも3回目の欠陥補正優先度に残っており、適切に補正されると考えられる。
ここで、4回目の欠陥検出を、温度が10℃上昇した状況で行ったとする。すると、図4(b)のように欠陥検出結果において、欠陥レベルは大きくなると共に、30℃の3回目の欠陥検出結果(a)とは異なる欠陥検出結果(b)が得られる。この状態で、同様に欠陥補正優先度を決定する。4回目の欠陥検出結果(b)「J,G,M,A,E」と3回目の欠陥補正優先度(c)の内4回目の欠陥検出結果(b)に含まれない「D,B,C,H,F」を合わせて、欠陥レベルで並べ替えを行い、欠陥レベルの高い欠陥から欠陥補正優先度の高い欠陥とすると、図4(d)のようになる。3回目と4回目では温度の違いにより、欠陥レベルが大きく異なるため、4回目の欠陥補正優先度の上位を4回目の欠陥検出結果が独占してしまう結果になっている。並べ替えを行うということは、各欠陥の欠陥レベルを比較することであるが、3回目と4回目の検出の条件が異なっているためこの比較は正しくない可能性がある。また、点滅欠陥と考えられる欠陥Bや欠陥Cも欠陥補正優先度から外れてしまう。
一方、本発明では欠陥レベルを2つ目の例のように絶対値で用いるのではなく、欠陥検出結果の並べ替えにのみ用いているため、2つ目の例のような並べ替えがないように工夫されている。また、図6において点滅欠陥と考えられる欠陥Bと欠陥Cについて、2つの中で欠陥レベルの高い欠陥Bは4回目の欠陥補正優先度(h)に残っている。欠陥レベルの低い欠陥Cは4回目の欠陥補正優先度(h)には残っていない。このように、欠陥レベルがうまく考慮された方式となっている。
本発明にかかる欠陥画素補正装置は、前回の検出処理でその画素が欠陥画素であるとして欠陥情報保存メモリに記憶されていれば、今回の欠陥画素検出処理において再び欠陥画素として記憶される可能性が高くなることで画質劣化が軽減され、また、欠陥画素検出のタイミングの違いにより生じる温度や電荷蓄積時間等の違いの影響を受けにくく、補正すべき画素を適切に検出することができるため、高画質な映像を必要とする放送用・業務用の撮影機器等にも有用である。
本発明の実施の形態1における欠陥画素補正装置の構成を示すブロック図 本発明の有効性を説明する1つ目の例の図 本発明の有効性を説明する2つ目の例の図 本発明の有効性を説明する2つ目の例の図 本発明の実施の形態の欠陥補正優先度決定の手順を示す図 本発明の実施の形態の欠陥補正優先度決定の具体例を示す図 本発明の欠陥補正優先度決定方法をソフトウェア処理する際の説明図 本発明の実施の形態の欠陥補正優先度決定のフローチャート 欠陥画素(白傷)の例を示す図 本発明の実施の形態2における欠陥画素補正装置の構成を示すブロック図
符号の説明
1 レンズ
2 絞り
3 光学フィルタ
4 CCD固体撮像素子
5 CDS
6 AGC
7 ADC
8 欠陥補正回路
9 信号処理回路
10 エンコーダ
11 駆動部
12 H/Vドライバ
13 タイミングジェネレータ
14 発振回路
15 マイコン
16 欠陥検出回路
17 欠陥補正優先度決定部
18 欠陥情報保存メモリ

Claims (5)

  1. 撮像信号を生成する撮像素子において補正対象となる欠陥画素を決定する欠陥画素検出装置であって、
    補正対象の欠陥画素の優先度を格納する欠陥情報保存手段と、
    前記撮像素子からの撮像信号のレベルと所定の検出レベルとを比較して欠陥画素を検出する欠陥画素検出手段と、
    前記欠陥画素検出手段で検出された欠陥画素の撮像信号のレベルに基づいて前記検出された欠陥画素の優先度を設定する優先度設定手段と、
    前記欠陥画素検出手段で検出された欠陥画素と前記欠陥情報保存手段に格納されている補正対象の欠陥画素の中から、各欠陥画素の優先度に基づいて新たに補正対象となる欠陥画素を決定し、かつこの新たな補正対象の欠陥画素の優先度を決定し、前記欠陥情報保存手段にこの新たな補正対象の欠陥画素の優先度を保存する補正対象決定手段を備え、
    前記欠陥画素検出手段で検出された欠陥画素と前記欠陥情報保存手段に格納されている補正対象の欠陥画素に重複して含まれる欠陥画素については、それぞれに付与された欠陥補正優先度のうち最も高いものをその欠陥画素の欠陥補正優先度とする欠陥画素検出装置。
  2. 前記補正対象決定手段は、新たに補正対象の欠陥画素および優先度を決定する際、前記欠陥画素検出手段で検出された欠陥画素と前記欠陥情報保存手段に格納されている補正対象の欠陥画素を優先度順に並べ、優先度が等しい画素については前記欠陥画素検出手段で検出された欠陥画素の優先度を高くするように並べ、優先度が高いほうから所定数を新たに補正対象の欠陥画素とする、
    請求項1記載の欠陥画素検出装置。
  3. 前記補正対象決定手段で決定された新たな補正対象の欠陥画素に対して補正処理を行う補正手段を備える、
    請求項1または2に記載の欠陥画素検出装置。
  4. 撮像信号を生成する撮像素子と、
    前記請求項1から3の何れかに記載の欠陥画素検出装置と、
    を備える撮像装置。
  5. 撮像信号を生成する撮像素子において補正対象となる欠陥画素を決定する欠陥画素検出方法であって、
    補正対象の欠陥画素の優先度を格納する欠陥情報保存工程と、
    前記撮像素子からの撮像信号のレベルと所定の検出レベルとを比較して欠陥画素を検出する欠陥画素検出工程と、
    前記欠陥画素検出工程で検出された欠陥画素の撮像信号のレベルに基づいて前記検出された欠陥画素の優先度を設定する優先度設定工程と、
    前記欠陥画素検出工程で検出された欠陥画素と前記欠陥情報保存工程に格納されている補正対象の欠陥画素の中から、各欠陥画素の優先度に基づいて新たに補正対象となる欠陥画素を決定し、かつこの新たな補正対象の欠陥画素の優先度を決定し、前記欠陥情報保存工程にこの新たな補正対象の欠陥画素の優先度を保存する補正対象決定工程を備え、
    前記欠陥画素検出手段で検出された欠陥画素と前記欠陥情報保存手段に格納されている補正対象の欠陥画素に重複して含まれる欠陥画素については、それぞれに付与された欠陥補正優先度のうち最も高いものをその欠陥画素の欠陥補正優先度とする欠陥画素検出方法。
JP2008212324A 2008-08-21 2008-08-21 欠陥画素検出装置、撮像装置、および欠陥画素検出方法 Expired - Fee Related JP5266957B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008212324A JP5266957B2 (ja) 2008-08-21 2008-08-21 欠陥画素検出装置、撮像装置、および欠陥画素検出方法
US12/544,401 US8169514B2 (en) 2008-08-21 2009-08-20 Defective pixel detecting device, defective pixel detecting method, record medium storing a program for detecting defective pixels, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008212324A JP5266957B2 (ja) 2008-08-21 2008-08-21 欠陥画素検出装置、撮像装置、および欠陥画素検出方法

Publications (3)

Publication Number Publication Date
JP2010050656A JP2010050656A (ja) 2010-03-04
JP2010050656A5 JP2010050656A5 (ja) 2011-07-21
JP5266957B2 true JP5266957B2 (ja) 2013-08-21

Family

ID=42037244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008212324A Expired - Fee Related JP5266957B2 (ja) 2008-08-21 2008-08-21 欠陥画素検出装置、撮像装置、および欠陥画素検出方法

Country Status (2)

Country Link
US (1) US8169514B2 (ja)
JP (1) JP5266957B2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4508740B2 (ja) * 2004-06-22 2010-07-21 キヤノン株式会社 画像処理装置
JP5379601B2 (ja) * 2009-08-07 2013-12-25 キヤノン株式会社 欠陥画素データ補正装置、撮像装置及び欠陥画素データ補正方法
JP5631325B2 (ja) * 2009-10-05 2014-11-26 キヤノン株式会社 撮像装置の欠陥検出方法及び撮像装置
JP5615155B2 (ja) * 2009-12-22 2014-10-29 キヤノン株式会社 画像処理装置及び方法
US8786625B2 (en) * 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
JP2012134951A (ja) * 2010-11-30 2012-07-12 Canon Inc 撮像装置及びその制御方法
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
DE102013209165A1 (de) * 2013-05-17 2014-11-20 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Pixelkorrekturverfahren
WO2016117034A1 (ja) * 2015-01-20 2016-07-28 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US10460701B2 (en) 2015-03-20 2019-10-29 Huawei Technologies Co., Ltd. Display mura correction method, apparatus, and system
CN109414158A (zh) * 2016-06-29 2019-03-01 奥林巴斯株式会社 内窥镜
CN107005657A (zh) * 2016-10-13 2017-08-01 深圳市大疆创新科技有限公司 处理数据的方法、装置、芯片和摄像头
US11107206B2 (en) * 2017-10-17 2021-08-31 Netflix, Inc. Techniques for detecting spatial anomalies in video content
JP6860538B2 (ja) * 2018-09-26 2021-04-14 キヤノン株式会社 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム
KR20220133594A (ko) * 2021-03-25 2022-10-05 에스케이하이닉스 주식회사 이미지 센싱 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3146762B2 (ja) 1993-04-28 2001-03-19 ソニー株式会社 固体撮像素子の欠陥検出装置及びこれを用いたカメラ
JP3153949B2 (ja) 1993-08-11 2001-04-09 ソニー株式会社 固体撮像素子の欠陥画素の自動検出装置、固体撮像素子の欠陥画素の自動検出方法及び自動欠陥補正装置並びにカメラ
JP2008011567A (ja) * 1999-10-27 2008-01-17 Sanyo Electric Co Ltd 画像信号処理装置
JP4515627B2 (ja) * 2000-12-08 2010-08-04 オリンパス株式会社 撮像装置
JP4546664B2 (ja) * 2001-04-27 2010-09-15 オリンパス株式会社 撮像装置および画素欠陥補正方法
US7657116B2 (en) * 2003-10-08 2010-02-02 Canon Kabushiki Kaisha Correction method of defective pixel in image pickup device and image processing apparatus using the correction method
JP2005123873A (ja) * 2003-10-16 2005-05-12 Canon Inc 固体撮像装置
JP4359543B2 (ja) * 2004-08-23 2009-11-04 富士フイルム株式会社 撮像装置
US8638342B2 (en) * 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients

Also Published As

Publication number Publication date
US20100073526A1 (en) 2010-03-25
JP2010050656A (ja) 2010-03-04
US8169514B2 (en) 2012-05-01

Similar Documents

Publication Publication Date Title
JP5266957B2 (ja) 欠陥画素検出装置、撮像装置、および欠陥画素検出方法
US20060238629A1 (en) Pixel defect correction device
JP2004207896A (ja) 画素欠陥検出補正装置及び画素欠陥検出補正方法
JP2007053634A (ja) 撮像装置、欠陥画素補正装置および方法
US9900533B2 (en) Image processing apparatus and method, and image capturing apparatus
JP2005136834A (ja) 撮像装置、白傷補正方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
JP2011151792A (ja) 画像処理装置及び方法
JP4591046B2 (ja) 欠陥検出補正回路及び欠陥検出補正方法
JP2005328421A (ja) 撮像装置および撮像方法
US20050030412A1 (en) Image correction processing method and image capture system using the same
JP2007006024A (ja) 撮像装置
JP2020022135A (ja) 欠陥画素補正装置、撮像装置、欠陥画素補正方法
JP2003198946A (ja) 撮像装置及びその欠陥画素処理方法
JP2006166194A (ja) 画素欠陥検出回路及び画素欠陥検出方法
JP2000101924A (ja) 画像入力装置における欠陥検出補正装置
JP2004064512A (ja) 欠陥画素の検出方法および装置、並びに撮像装置
JP2001128068A (ja) ビデオカメラ
JP2001230976A (ja) 画像撮像装置、画像撮像方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008148115A (ja) 方向検出を用いた撮像デバイスの画像欠陥補正システム
JP2007228269A (ja) 画像信号処理装置及び方法
JP4394470B2 (ja) 撮像装置
JP4088869B2 (ja) 固体撮像素子の欠陥画素検出装置及び固体撮像装置
JP2005286825A (ja) 欠陥画素補正装置及び方法及び撮像装置及びプログラム及び記憶媒体
JP5968145B2 (ja) 画像処理装置及びその制御方法
JP2002152601A (ja) 固体撮像装置および欠陥画素補正方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110606

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121024

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20121214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R151 Written notification of patent or utility model registration

Ref document number: 5266957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees