JP4115574B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4115574B2 JP4115574B2 JP03357198A JP3357198A JP4115574B2 JP 4115574 B2 JP4115574 B2 JP 4115574B2 JP 03357198 A JP03357198 A JP 03357198A JP 3357198 A JP3357198 A JP 3357198A JP 4115574 B2 JP4115574 B2 JP 4115574B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- pixel
- signal level
- defective pixel
- vertical line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 51
- 230000002950 deficient Effects 0.000 claims description 213
- 230000002093 peripheral effect Effects 0.000 claims description 95
- 230000007547 defect Effects 0.000 claims description 91
- 238000001514 detection method Methods 0.000 claims description 62
- 239000004065 semiconductor Substances 0.000 claims description 11
- 238000000034 method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、撮像装置に関し、特に半導体撮像素子の欠陥画素を高精度に補間し補償できるようにした撮像装置に関する。
【０００２】
【従来の技術】
一般に、２次元状に画素を配列してなる半導体撮像素子を備えた撮像装置を用いて撮像を行ったとき、半導体撮像素子を構成する画素に欠陥がある場合、撮像信号に欠陥が入り見苦しい画像が出力されてしまう。従来、出力画像におけるこのような欠陥が目立たないようにするため、種々の画素欠陥補償手段が用いられており、その基本的な補償方式としては、欠陥画素の回りにある画素の信号を用いて、欠陥画素の信号に置き換えるという方式（４点補間方式）が知られている。
【０００３】
また、特公平５−２３５５１号公報には、正方格子状に配設された複数の撮像素子から出力される画素信号の中から、欠陥画素信号を垂直方向、水平方向及び斜め方向にそれぞれ挟む２つの画素信号間毎の差の絶対値を演算し、絶対値信号を出力する絶対値演算手段と、絶対値信号の中で最も小さい値を与える２つの画素信号を検出する最小差検出手段と、最小差検出手段により検出された２つの画素信号について平均値演算を行い、平均値信号を出力する平均値演算手段と、欠陥画素信号を平均値信号で置換する置換手段とを備え、補償誤差を小さくすることにより、より高精度に欠陥画素信号を補償できるようにした画像欠陥補償装置について開示がなされている。
【０００４】
【発明が解決しようとする課題】
ところで、上記周囲画素の４点補間による欠陥補償方式は、例えば図27の（Ａ）に示すように、２列の水平方向の黒線を出力する画素列中において白抜きで示した位置の画素101 が欠陥画素である場合、この欠陥画素101 の上下左右の矢印で示した画素の平均値で欠陥画素を置き換えるという方式である。この方式で図27の（Ａ）に示す欠陥画素101 の補間を行うと、補間に用いる３画素は黒で１画素は白なので、平均値をとって補間を行うと、図27の（Ｂ）に示すように、グレーレベルで補間されることになる。したがって、図27の（Ａ）に示す欠陥画素は本来黒で補間されるべきなのにグレーで補間され、欠陥が少し残ってしまい、このように画像中に輝度が急峻に変化する領域（例えば線やエッジ）に欠陥がある場合、補償誤差が大きくなり、有効に欠陥画素を補償できないという問題点がある。また、上記特公平５−２３５５１号公報開示の画像欠陥補償装置によれば、補償誤差が小さくなり、より高精度に欠陥画素を補償することが可能となるが、欠陥画素の垂直、水平及び斜め方向にそれぞれ挟む２つの画素のみを考慮するものであるため、欠陥画素の周辺領域の画素信号の態様を正確に考慮できず、やはり輝度が急峻に変化している領域では、高精度で欠陥画素を補償できないおそれが生じるという問題点がある。
【０００５】
本発明は、従来の撮像装置において用いられている欠陥画素補償方式における上記問題点を解消するためになされたもので、欠陥画素の周辺領域の画像形状を考慮して、高精度で欠陥画素を補償できるようにした撮像装置を提供することを目的とする。各請求項毎の目的を述べると次の通りである。
請求項１記載の発明は、出力画像中の輝度が急峻に変化する領域に欠陥がある場合でも、欠陥が目立たないように高精度で補償することが可能で、特に欠陥画素位置の周辺領域の画像形状を、領域を大きくせずに高精度で検出することができ、また斜め形状の周辺領域の画像形状も方向を含めて容易に検出でき、高精度に欠陥画素を補償できるようにした撮像装置を提供することを目的とする。請求項２記載の発明は、欠陥画素位置の周辺領域の画像形状の方向を間違って検出した場合でも、欠陥画素が目立たないように補償できる撮像装置を提供することを目的とする。
【０００６】
また請求項３記載の発明は、カラー出力画像中の輝度が急峻に変化する領域に欠陥がある場合でも、欠陥が目立たないように補償することが可能で、特に異なる色の画素でも比較して欠陥画素位置の周辺領域の画像形状を検出することができると共に、領域を大きくせずに欠陥画素位置の周辺領域の画像形状を、斜め形状であっても方向を含めて高精度に検出し、欠陥画素を高精度で補償できるようにした撮像装置を提供することを目的とする。請求項４記載の発明は、欠陥画素位置の周辺領域の画像形状の方向を間違って検出した場合でも、欠陥画素が目立たないように補償したカラー画像が得られる撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するため、請求項１記載の発明は、画素を２次元状に配置してなる半導体撮像素子を備え、被写体光を画像信号に変換する撮像手段と、前記半導体撮像素子の欠陥画素位置を検出する欠陥画素検出手段と、該欠陥画素検出手段で検出された欠陥画素位置情報を記憶する欠陥画素情報記憶手段と、前記撮像手段より得られる画像信号における、前記欠陥画素検出手段により検出された欠陥画素位置の周辺領域の画像形状を、欠陥画素周囲の画素情報から検出する周辺画像形状検出手段と、該周辺画像形状検出手段によって検出された周辺画像形状に基づいて、欠陥画素の周囲から画素を選択し、該選択された画素で欠陥画素を補間することによって画素欠陥補償を行う画素欠陥補償手段とを備え、前記周辺画像形状検出手段は、欠陥画素の周囲にある複数個の画素を基準画素とし、各基準画素の信号レベルを求める基準画素信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ水平方向に所定画素分ずらすことにより得られる第１の複数画素の各画素の信号レベルを検出する第１の信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ垂直方向に所定画素分ずらすことにより得られる第２の複数画素の各画素の信号レベルを検出する第２の信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ右上がり方向に所定画素分ずらすことにより得られる第３の複数画素の各画素の信号レベルを検出する第３の信号レベル 検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ右下がり方向に所定画素分ずらすことにより得られる第４の複数画素の各画素の信号レベルを検出する第４の信号レベル検出手段と、前記基準画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第１の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第２の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第３の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第４の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記基準画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第１の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第２の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第３の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第４の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記基準画素の信号レベル和の比と、第１，第２，第３及び第４の対応する各信号レベル和の比を比較し、基準画素の信号レベル和の比に最も近い値の信号レベル和の比を選択する手段と、該選択手段により第１の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は水平方向のエッジ又は線と判断し、第２の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は垂直方向のエッジ又は線と判断し、第３の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右上がり方向のエッジ又は線と判断し、第４の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右下がり方向のエッジ又は線と判断する手段とを備え、前記画素欠陥補償手段は、前記基準画素のうち、前記エッジ又は線と判断された周辺領域画像形状の方向と同じ方向に並ぶ基準画素を前記補間に用いる画素として選択するようにして撮像装置を構成するものである。
【０００８】
このように、周辺画像形状検出手段によって、画像中の欠陥画素の周辺領域の画像形状（線及びその方向、エッジ及びその方向、面）を検出し、その画像形状に基づいて欠陥画素を補間する画素を選択するようにしているので、出力画像中の輝度が急峻に変化する領域（例えば線やエッジ）に欠陥がある場合でも、欠陥が目立たないように高精度で補償することが可能であり、特に、欠陥画素周囲の画素と、該画素の水平、垂直、右上がり及び右下がり方向にずらした位置の画素を用いて欠陥画素の周辺領域の画像形状を検出することにより、画像形状検出のための領域を大きくせずに、高精度で周辺領域の画像形状を検出することができ、また、斜め方向の周辺領域の画像形状も方向を含めて容易に検出することができる。
【０００９】
請求項２記載の発明は、請求項１記載の撮像装置において、前記画素欠陥補償手段は、前記選択された基準画素の平均値で欠陥画素を補間するように構成されていることを特徴とするものである。このように構成することにより、仮に欠陥画素位置の周辺領域の画像形状の方向が間違って検出された場合でも、欠陥画素と周辺画素とがなだらかな変化となるため、欠陥画素が目立たないように補償することができる。
【００１０】
請求項３記載の発明は、画素を２次元状に配置してなる半導体撮像素子を備え、被写体光を少なくとも３種類以上の複数の色信号からなる画像信号に変換する撮像手段と、前記半導体撮像素子の欠陥画素位置を検出する欠陥画素検出手段と、該欠陥画素検出手段で検出された欠陥画素位置情報を記憶する欠陥画素情報記憶手段と、前記撮像手段より得られる画像信号における、前記欠陥画素検出手段により検出された欠陥画素位置の周辺領域の画像形状を、欠陥画素周囲の欠陥画素と同色の画素情報から検出する周辺画像形状検出手段と、該周辺画像形状検出手段によって検出された周辺画像形状に基づいて、欠陥画素の周囲から欠陥画素と同色の画素を選択し、該選択画素で欠陥画素を補間することによって画素欠陥補償を行う画素欠陥補償手段とを備え、前記周辺画像形状検出手段は、欠陥画素の周囲にある同色の複数個の画素を基準画素とし、各基準画素の信号レベルを求める基準画素信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ水平方向に所定画素分ずらすことにより得られ且つ全てが同色の、第１の複数画素の各画素の信号レベルを検出する第１の信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ垂直方向に所定画素分ずらすことにより得られ且つ全てが同色の、第２の複数画素の各画素の信号レベルを検出する第２の信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ右上がり方向に所定画素分ずらすことにより得られ且つ全てが同色の、第３の複数画素の各画素の信号レベルを検出する第３の信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ右上がり方向に所定画素分ずらすことにより得られ且つ全てが同色の、第４の複数画素の各画素の信号レベルを検出する第４の信号レベル検出手段と、前記基準画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第１の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第２の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第３の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第４の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記基準画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第１の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第２の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第３の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第４の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記基準画素の信号レベル和の比と、第１，第２，第３及び第４の対応する各信号レベル和の比を比較し、基準画素の信号レベル和の比に最も近い値の信号レベル和の比を選択する手段と、該選択手段により第１の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は水平方向のエッジ又は線と判断し、第２の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は垂直方向のエッジ又は線と判断し、第３の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右上がり方向のエッジ又は線と判断し、第４の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右下がり方向のエッジ又は線と判断する手段とを備え、前記画素欠陥補償手段は、前記基準画素のうち、前記エッジ又は線と判断された周辺領域画像形状の方向と同じ方向に並ぶ基準画素を前記補間に用いる画素として選択するようにして撮像装置を構成するものである。
【００１１】
このように構成することにより、カラー出力画像中の輝度が急峻に変化する領域に欠陥がある場合でも、欠陥が目立たないように補償されたカラー画像を得ることが可能であり、特に、異なる色の画素でも相対的な明るさの変化（すなわちレベル比）の相関が強いことが多いので、該画素の水平、垂直、右上がり及び右下がり方向にずらした位置の全てが同色の画素を用いて欠陥画素の周辺領域の画像形状を検出することにより、形状検出のための領域を大きくせずに、高精度でカラー画像における欠陥画素周辺領域の画像形状を検出することができ、斜め方向の周辺領域の画像形状も方向を含めて容易に検出することができる。
【００１２】
請求項４記載の発明は、請求項３に記載の撮像装置において、前記画素欠陥補償手段は、前記選択された基準画素と同色の選択画素の平均値で欠陥画素を補間するように構成されていることを特徴とするものであり、このように構成することにより、仮に欠陥画素位置の周辺領域の画素形状の方向を間違って検出した場合でも、カラー画像における欠陥画素と周辺画素とがなだらかな変化となるため、カラー画像における欠陥画素を目立たないように補償することができる。
【００１３】
【発明の実施の形態】
次に、実施の形態について説明する。図１は本発明に係る撮像装置の実施の形態の全体構成を示すプロック構成図である。図１において、１はレンズで、該レンズ１で結像された光学像は、絞り・シャッタ機構２を通り、光学ＬＰＦ及び赤外カットフィルタ３を介して、２次元状に画素を配列してなるＣＣＤ撮像素子４へ入力される。撮像素子４で光電変換された撮像信号は、ＣＤＳ回路（相関二重サンプリング回路）・ＡＧＣ回路５でノイズキャンセル及び感度調整処理を受けた後、Ａ／Ｄ変換器６でＡ／Ｄ変換されて、画像メモリ７へ一時的に記憶される。
【００１４】
８は画素欠陥補償処理部で、一時的記憶された撮像信号（画像データ）を画像メモリ７から読み出して、欠陥に相当する画素の位置、数及び欠陥画素が２次元的に連続している場合、その並び方パターンを検出して、それらの欠陥情報を欠陥情報記憶手段12へ記憶させる。また、この画素欠陥補償処理部８では、欠陥情報記憶手段12より欠陥情報を読み出し、その欠陥情報に基づいて欠陥画素の周辺領域の画像形状を検出し、その検出された画像形状に基づいて、欠陥画素の周囲から画素を選択し、その選択画素で欠陥画素を補間し、画素欠陥補償処理を行うようになっている。画像メモリ７内に一時的に記憶されている撮像信号が、前記画素欠陥補償処理部８における処理により、欠陥が全て補償された後、記録信号処理部９において、圧縮などの処理が施されて記録に適した信号形態へ変換される。記録信号処理部９で処理された画像データは、記録メディアＩ／Ｆ10において記録メディアに適した信号レベル、レートに変換され、ＳＲＡＭ、フラッシュメモリ、磁気メモリ等の記録メディア11に記録されるようになっている。
【００１５】
また、図１において13はＣＣＤ撮像素子４の駆動タイミングを生成するタイミングジェネレータ、14はタイミングジェネレータ13へ同期信号を供給するための同期信号発生器、16はＣＣＤ撮像素子の駆動信号を電力増幅するＣＣＤドライバであり、17はレンズ１のピント合わせ及びズーミング、並びに絞り・シャッタ機構２の絞り駆動及びシャッタ駆動のためのモータドライバであり、15は以上の各部の動作の制御を行うＣＰＵである。
【００１６】
次に、このように構成されている撮像装置の動作シーケンスを説明すると、図２のタイミングチャートに示すように概略動作シーケンスとしては、シャッタボタン（図示せず）を押すことにより撮像素子４への電荷蓄積動作が開始し、電荷蓄積時間の開始からシャッタ閉までの期間が本露光となり、シャッタ閉期間において信号読み出しが行われる。撮像素子４から出力される撮像信号は、画像メモリ７へ一旦記憶される。そして画像メモリ７に記憶された撮像信号は、画素欠陥補償処理部８及び欠陥情報記憶手段12を介して欠陥補償処理が行われる。次いで、欠陥補償処理された撮像信号は記録信号処理部９で記録信号に処理された後、記録メディア11に記録される。なお、図２において、ＶＤは同期信号発生器14で発生している撮像素子の全ての情報を読み出す基本パルス（垂直同期信号）を示している。
【００１７】
次に、画素欠陥補償処理部８と欠陥情報記憶手段12において行われる欠陥画素の補償処理について詳細に説明する。まず、画素欠陥補償処理部８で行われる欠陥画素の検出処理について説明する。この検出処理には、暗黒画像を撮影して黒画像撮像時における欠陥画素の位置と欠陥画素の並び方を検出する第１の欠陥検出処理と、真っ白な画像を撮影して白画像撮像時における欠陥画素と欠陥画素の並び方を検出する第２の欠陥検出処理とを行う。すなわち、第１の欠陥検出処理においては、図３の（Ａ）のフローチャートに示すように、暗黒画像を撮像し（ステップ21−１）、次いで１画素毎に信号レベルを検出し（ステップ21−２）、各画素の信号レベルが所定の閾値１より小さいか大きいかの判定を行い（ステップ21−３）、閾値１より大きい場合、その画素は欠陥画素であると判定する（ステップ21−４）。次いで、欠陥画素が隣接、すなわち２次元的に連続している場合にはその並び方を調べ（ステップ21−５）、欠陥画素の位置と欠陥画素の並び方に関する欠陥情報を欠陥情報記憶手段12へ保存する（ステップ21−６）。
【００１８】
また、同様に第２の欠陥検出処理においては、図３の（Ｂ）のフローチャートに示すように、白画像を撮像し（ステップ22−１）、次いで１画素毎に信号レベルを検出し（ステップ22−２）、各画素の信号レベルが所定の閾値２より小さいか大きいかの判定を行い（ステップ22−３）、閾値２より小さい場合、その画素は欠陥画素であると判定する（ステップ22−４）。次いで、欠陥画素が隣接、すなわち２次元的に連続している場合にはその並び方を調べ（ステップ22−５）、欠陥画素の位置と欠陥画素の並び方に関する欠陥情報を欠陥情報記憶手段12へ保存する（ステップ22−６）。
【００１９】
なお、欠陥画素に関する欠陥情報は、撮影の都度上記のようにして検出して欠陥情報記憶手段12へ記憶させるようにしてもよいが、撮像装置に組み込まれたＣＣＤ撮像素子等の撮像素子においては、予め欠陥画素の位置等の欠陥情報は検出しておくことができるので、予め検出した欠陥情報を欠陥情報記憶手段へ記憶させておき、撮影時にこの欠陥情報を用いるようにしてもよい。
【００２０】
次に、画素欠陥補償処理の実施の形態について説明する。本発明による欠陥補償は、基本的には、欠陥画素が周辺領域のどのような画像形状の成分に属するかを判定（推定）して、補間するようにするもので、例えば図27の（Ａ）に示した例では、欠陥画素101 は周辺領域の画像形状からみて、横方向の黒線に属するものである蓋然性が極めて高いので、横方向の両側の画素の平均値で、すなわち黒レベルで補間してやるようにするものである。
【００２１】
この基本欠陥補償処理形態を、図４のフローチャートで説明すると、まず撮像素子の撮像動作で被写体画像を取り込み（ステップ31−１）、次いで撮像素子からの撮像信号における欠陥画素の位置、及び欠陥画素が２次元的に連続している場合その並び方を検出して記憶させ、記憶したこれらの欠陥情報を読み出して（ステップ31−２）、画像信号における欠陥画素周囲の画素情報に基づいて、欠陥画素位置の周辺領域の画像形状を検出する（ステップ31−３）。次いで検出された画像形状に基づいて、欠陥画素は周辺領域から、例えば縦、横、斜めのいずれかの方向の２画素を補間画素として選択し（ステップ31−４）、その補間画素の平均レベルで欠陥画素を補間することにより、欠陥補償を行う（ステップ31−５）。
【００２２】
次に、この欠陥補償処理における画像形状検出（ステップ31−３）に関し、まず本発明に関連する第１の参照例を、図５のフローチャートに基づいて説明する。まず最初に、欠陥画素の周囲にある複数個の画素の信号レベルを検出する（ステップ32−１）。例えば、図６において、欠陥画素（●印）35の周りの８個の画素（○印）の信号レベルを検出する。そして、欠陥画素の上方向に位置するＵ方向の３つの画素、下方向に位置するＤ方向の３つの画素、右方向に位置するＲ方向の３つの画素、左方向に位置するＬ方向の３つの画素を、それぞれ一組とし、それらの各組において、ある一画素を基準画素として、その基準画素の信号レベル（輝度）に対する他の画素の相対的な信号レベルを求める（ステップ32−２）。例えば、Ｕ，Ｄ，Ｒ，Ｌの各方向において、相対値は矢印の始点の方向から求めて行き、１番目の画素に対しての２番目の画素の相対値、２番目の画素に対しての３番目の画素の相対値という順に求める。相対値は高い、同じ、低いの３値とし、２つの画素の信号レベルの差が±12.5％以内のときは同じとする。但し、この相対値はＮ値化（Ｎは撮像素子の撮像信号の階調数以下の任意の整数）して表すことができる。
【００２３】
このようにして求めた相対値から、各方向における各組の相対値は、図７に示すようなパターン１〜パターン９の９つのパターン形式に分類することができる。なお、図７においてカッコ内に示すパターン形式は、相対値を矢印の逆方向に沿って求めた場合の逆パターン形式を示している。図７において、例えばパターン１は、１番目の画素（左端）に対して２番目の画素（中央）の相対値が高く、２番目の画素（中央）に対して３番目の画素（右端）の相対値が更に高い場合のパターンを示し、パターン２は、１番目の画素に対して２番目の画素の相対値が高く、２番目の画素に対して３番目の画素の相対値が同じ場合のパターンを示し、パターン３は、１番目の画素に対して２番目の画素の相対値が高く、２番目の画素に対して３番目の画素の相対値が低い場合のパターンを示しており、更にパターン５は、全ての画素が同じレベルのときのパターンを示している。
【００２４】
このような９つのパターン形式を用いて、Ｕ，Ｄ，Ｒ，Ｌの４方向の画素群の相対信号レベルを、画素位置と対応づけて表すことにより、４組のパターンで欠陥画素の周りの８画素の相対信号レベルをパターン化する（ステップ32−３）。次いで、このようにして得られた周辺領域の４組の画素群の相対信号レベルのパターンを、予め設定したパターンと比較する（ステップ32−４）。すなわち、予め考えられる全てのパターンを用意しておいて、その用意されたパターンと、周辺領域の画素群の相対信号レベルから得られたパターンとを比較するもので、例えば、図８の（Ａ）に示すような横エッジ形状の場合は、Ｕ又はＤ方向の画素群に必ずパターン５のパターンが存在し、Ｒ及びＬ方向の画素群にはパターン５が存在しない。したがって、比較されるパターンにおいて、このような条件を有する場合は、周辺領域の画像形状は横エッジ形状であると判定する。
【００２５】
また、図８の（Ｂ）に示すような縦エッジ形状の場合は、Ｒ又はＬ方向の画素群に必ずパターン５が存在し、Ｕ及びＤ方向の画素群にはパターン５は存在しない。したがって、比較されるパターンにおいて、このような条件を有する場合は、周辺領域の画像形状は縦エッジ形状であると判定する。また図８の（Ｃ）に示すような右下がりエッジ形状の場合は、Ｕ及びＲ方向、又はＬ及びＤ方向の画素群には必ずパターン５が存在し、他にもパターン５が存在してもよい。したがって、比較されるパターンにおいて、このような条件を有する場合は、周辺領域の画像形状は右下がりエッジ形状であると判定する。また図８の（Ｄ）に示すような右上がりエッジ形状の場合は、Ｄ及びＲ方向、又はＵ及びＬ方向の画素群には必ずパターン５が存在し、他にもパターン５が存在してもよい。したがって、比較されるパターンにおいて、このような条件を有する場合は、周辺領域の画像形状は右上がりエッジ形状であると判定する。
【００２６】
このようにして、周辺領域の画素群の相対信号レベルのパターンを予め用意されているパターンと比較して、一致するものがあるか否かの判定を行い（ステップ32−５）、一致するものがある場合には、その一致した予め用意されたパターンに対応する形状を、周辺領域の画像形状と決定する（ステップ32−６）。もし予め用意された複数のパターンと一致した場合は、例えば図８の（Ｅ）に示すような形状の２つのパターンは、９つのパターン形式の同じ組み合わせに、いずれも一致するものとして検出されてしまうので、このような場合には、それらの２つのパターンにおいて、補間画素として選択される画素間のレベル差が小さくなる方のパターンを、周辺領域の画像形状として選択する（ステップ32−７）。図８の（Ｅ）のパターンの場合は、縦横線と判定されているので、欠陥画素の上下の画素信号レベルの差が左右の画素信号レベルの差より大なるときは、横線もしくは横エッジと判定する。また逆に、上下の画素信号レベルの差が左右の画素信号レベルの差より小なるときは、縦線もしくは縦エッジと判定する。
【００２７】
また、一致するパターンがない場合には、予め用意してある、例えば図８の（Ｆ）に示す十字パターンをデフォルトパターンとして、これを周辺領域の画像形状とする（ステップ32−８）。
【００２８】
ところで、上記周辺領域の画像形状の検出処理方式において、例えば、図９に示すような画像形状が検出された場合、欠陥画素を補間すべき補間画素として、右下がり画素（白）及び右上がり画素（黒）のいずれを選択すべきかは、一義的には定められないという問題点がある。
【００２９】
次に、このような問題点を解消する本発明における画像形状検出方式の第１の実施の形態を、図10のフローチャートに基づいて説明する。まず、欠陥画素の周囲にある複数個の画素の信号レベルを求め、それらを基準画素信号レベルとする（ステップ33−１）。例えば、図11の（Ａ）に示すように、太枠で示す欠陥画素をＰ33とすると、この欠陥画素から１画素ずつ離れた周囲にある８個の画素Ｐ11，Ｐ13，Ｐ15，Ｐ31，Ｐ35，Ｐ51，Ｐ53，Ｐ55を基準画素とし、これらの信号レベルＰ11，Ｐ13，・・・・Ｐ53，Ｐ55を求める。
【００３０】
次に、上記基準画素を、欠陥画素Ｐ33に重ならないように、それぞれ水平方向に一様にずらした位置にある第１の複数画素、例えば図11の（Ｂ）に示す例においては、画素Ｐ12，Ｐ14，Ｐ16，Ｐ32，Ｐ36，Ｐ52，Ｐ54，Ｐ56の信号レベルＰ12，Ｐ14，・・・・Ｐ54，Ｐ56を求める（ステップ33−２）。次に、同様にして上記基準画素を、欠陥画素Ｐ33に重ならないように、それぞれ垂直方向に一様にずらした位置にある第２の複数画素、例えば図11の（Ｃ）に示す例においては、画素Ｐ21，Ｐ23，Ｐ25，Ｐ41，Ｐ45，Ｐ61，Ｐ63，Ｐ65の信号レベルＰ21，Ｐ23，・・・・Ｐ63，Ｐ65を求める（ステップ33−３）。また、同様にして上記基準画素を、欠陥画素Ｐ33に重ならないように、それぞれ右上がり方向に一様にずらした位置にある第３の複数画素、例えば図11の（Ｄ）に示す例においては、画素Ｐ02，Ｐ04，Ｐ06，Ｐ22，Ｐ26，Ｐ42，Ｐ44，Ｐ46の信号レベルＰ02，Ｐ04，・・・・Ｐ44，Ｐ46を求める（ステップ33−４）。更に同様にして上記基準画素を、欠陥画素Ｐ33に重ならないように、それぞれ右下がり方向に一様にずらした位置にある第４の複数画素、例えば図11の（Ｅ）に示す例においては、画素Ｐ22，Ｐ24，Ｐ26，Ｐ42，Ｐ46，Ｐ62，Ｐ64，Ｐ66の信号レベルＰ22，Ｐ24，・・・・Ｐ64，Ｐ66を求める（ステップ33−５）。
【００３１】
次に、基準画素において、同一垂直ライン上の画素群の信号レベルの和α0 ，β0 ，γ0 を求める（ステップ33−６）。図11の（Ａ）に示した例においては、次のように表される。
α0 ＝Ｐ11＋Ｐ31＋Ｐ51
β0 ＝Ｐ13＋Ｐ53
γ0 ＝Ｐ15＋Ｐ35＋Ｐ55
【００３２】
また、第１の複数画素において、同一垂直ライン上の画素群の信号レベルの和α1 ，β1 ，γ1 を求める（ステップ33−６）。図11の（Ｂ）に示した例においては、次のように表される。
α1 ＝Ｐ12＋Ｐ32＋Ｐ52
β1 ＝Ｐ14＋Ｐ54
γ1 ＝Ｐ16＋Ｐ36＋Ｐ56
【００３３】
また、第２の複数画素において、同一垂直ライン上の画素群の信号レベルの和α2 ，β2 ，γ2 を求める（ステップ33−６）。図11の（Ｃ）に示した例においては、次のように表される。
α2 ＝Ｐ21＋Ｐ41＋Ｐ61
β2 ＝Ｐ23＋Ｐ63
γ2 ＝Ｐ25＋Ｐ45＋Ｐ65
また、第３の複数画素において、同一垂直ライン上の画素群の信号レベルの和α3 ，β3 ，γ3 を求める（ステップ33−６）。図11の（Ｄ）に示した例においては、次のように表される。
α3 ＝Ｐ02＋Ｐ22＋Ｐ42
β3 ＝Ｐ04＋Ｐ44
γ3 ＝Ｐ06＋Ｐ26＋Ｐ46
【００３４】
また、第４の複数画素において、同一垂直ライン上の画素群の信号レベルの和α4 ，β4 ，γ4 を求める（ステップ33−６）。図11の（Ｃ）に示した例においては、次のように表される。
α4 ＝Ｐ22＋Ｐ42＋Ｐ62
β4 ＝Ｐ24＋Ｐ64
γ4 ＝Ｐ26＋Ｐ46＋Ｐ66
【００３５】
次に、基準画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα0 に対する他の全ての垂直ライン上の画素群の信号レベル和β0 ，γ0 の比α0 ／β0 ，α0 ／γ0 を求める。同様に、第１の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα1 に対する他の全ての垂直ライン上の画素群の信号レベル和β1 ，γ1 の比α1 ／β1 ，α1 ／γ1 を求め、また第２の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα2 に対する他の全ての垂直ライン上の画素群の信号レベル和β2 ，γ2 の比α2 ／β2 ，α2 ／γ2 を求め、また第３の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα3 に対する他の全ての垂直ライン上の画素群の信号レベル和β3 ，γ3 の比α3 ／β3 ，α3 ／γ3 を求め、更に第４の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα4 に対する他の全ての垂直ライン上の画素群の信号レベル和β4 ，γ4 の比α4 ／β4 ，α4 ／γ4 を求める（ステップ33−７）。
【００３６】
次に、基準画６の信号レベル和の比α0 ／β0 ，α0 ／γ0 と、第１〜第４の複数画素の信号レベル和の比α1 ／β1 ，α1 ／γ1 ，α2 ／β2 ，α2 ／γ2 ，α3 ／β3 ，α3 ／γ3 α4 ／β4 ，α4 ／γ4 とを比較し、基準画素の信号レベル和の比に最も近い値の信号レベル和の比を選択する（ステップ33−８）。そして、上記信号レベル和の比の比較選択において、第１の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を水平方向のエッジ又は線と決定し、また第２の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を垂直方向のエッジ又は線と決定し、また第３の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を右上がり方向のエッジ又は線と決定し、また第４の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を右下がり方向のエッジ又は線と決定する（ステップ33−９）。
【００３７】
以上のようにして周辺領域における画像形状が検出された後は、検出された画像形状に基づいて補間画素が選択され、欠陥画素が補間補償されるが、図11の（Ａ）〜（Ｅ）に示した図示例では、水平方向のエッジ又は線と決定された場合には、欠陥画素Ｐ33は（Ｐ31＋Ｐ35）／２の信号レベルで補間される。画像形状が垂直方向のエッジ又は線と決定された場合には、欠陥画素Ｐ33は（Ｐ13＋Ｐ53）／２の信号レベルで補間され、画像形状が右上がり方向のエッジ又は線と決定された場合には、欠陥画素Ｐ33は（Ｐ15＋Ｐ51）／２の信号レベルで補間され、画像形状が右下がり方向のエッジ又は線と決定された場合には、欠陥画素Ｐ33は（Ｐ11＋Ｐ55）／２の信号レベルで補間される。
【００３８】
以上のように周辺領域における画像形状を、先に述べた本発明に関連する第１の参照例で検出する場合には、斜め画像形状の検出はできるけれども、斜め方向、すなわち右下がりか右上がりかの検出はできない場合が生じるという問題があったが、本発明に係る第１の実施の形態によれば、検出領域は若干大きくなるが斜め方向を検出することが可能となる。
【００３９】
次に、欠陥画素の周辺領域における画像形状の検出方式の本発明に係る第２の実施の形態を図12のフローチャートに基づいて説明する。この実施の形態は、図５のフローチャートに示した本発明に関連する第１の参照例と図10のフローチャートに示した本発明に係る第１の実施の形態とを組み合わせたものである。すなわち、周辺領域の画素群の相対信号レベルのパターンを予め用意したパターンと比較して一致するものがあるか否かの判定を行い、一致するものがある場合、その一致した予め用意したパターンに対応する形状を、周辺領域の画像形状と仮決定し、また一致するものが複数ある場合には、補間画素として選択される画素間のレベル差が小さくなる方のパターンを、画像形状として仮決定し、また一致するパターンがない場合には、予め用意したデフォルトパターンを画像形状として仮決定するステップ41−１からステップ41−６までは、図５に示した第１の参照例と同一のステップで画像形状検出処理を行い、次いで、この仮決定された画像形状は斜めエッジ又は線でないかどうかの判定を行う（ステップ41−９）。そして、仮決定された画像形状が斜めエッジ又は線でない場合には、仮決定された画像形状を欠陥画素の周辺領域の画像形状として決定し（ステップ41−10）、仮決定された画像形状が斜めエッジ又は線である場合には、図10に示した第１の実施の形態による画像形状検出処理を行い（ステップ41−11）、斜め方向を含む画像形状を決定する。
【００４０】
このように本実施の形態に係る画像形状検出処理方式を用いることにより、斜めエッジ又は線を含む場合でも、効率よく欠陥画素の周辺領域の画像形状を検出することができる。
【００４１】
次に、カラー撮像装置における欠陥画素の補償方式について説明する。カラー画像における欠陥画素の補償処理も、基本的には先に示した白黒画像の欠陥補償処理と同じである。すなわち、図13のフローチャートに示すように、まず撮像動作において、単板カラー撮像素子等のカラー撮像素子で被写体像を取り込み（ステップ51−１）、撮像信号を３種類以上の色信号に変換する（ステップ51−２）。次いで、色信号における欠陥画素の位置、及び欠陥画素が２次元的に連続している場合その並び方情報を検出して記憶させ、その記憶した欠陥情報を読み出して（ステップ51−３）、色信号における欠陥画素周囲の欠陥画素と同色の画素情報に基づいて、欠陥画素位置の周辺領域の欠陥画素と同色の画像形状を検出する（ステップ51−４）。次いで、検出された画像形状に基づいて、欠陥画素の周辺領域から欠陥画素と同色の補間画素を選択し（ステップ51−５）、その補間画素の平均レベルで欠陥画素を補間することにより、欠陥補償を行う（ステップ51−６）。
【００４２】
次に、このカラー画像の欠陥補償処理における画像形状検出ステップ51−４の詳細について、まず本発明に関連する第２の参照例として図14のフローチャートに基づいて説明する。まず最初に、欠陥画素の周囲にある欠陥画素と同色の複数個の画素の信号レベルを検出する（ステップ52−１）。例えば図15のベイヤー配列のカラー画像において、中央の○印のＲ色の欠陥画素の周囲の、欠陥画素と同色の８個のＲ画素（白抜き画素）の信号レベルを検出する。以下、図５に示した白黒画像における画像検出処理と同等の処理ステップ52−２〜52−８を行い、欠陥画素の周辺領域の欠陥画素と同色の画像形状を検出する。
【００４３】
次に、カラー画像における欠陥画素の周辺領域の画像形状検出の本発明に係る手法を、第３の実施の形態として図16のフローチャートに基づいて説明する。この実施の形態は、図10のフローチャートに示した白黒画像における画像形状の検出処理（第１の実施の形態）に対応するものである。まず、欠陥画素の周囲にある欠陥画素と同色の複数個の画素の信号レベルを求め、それらを基準画素信号レベルとする（ステップ53−１）。例えば図17に示すように、欠陥画素を画素Ｇ43とすると、該欠陥画素Ｇ43に関して、まず１画素ずつ離れた周囲にある同色の８個の画素Ｇ21，Ｇ23，Ｇ25，Ｇ41，Ｇ45，Ｇ61，Ｇ63，Ｇ65を基準画素とし、これらの信号レベルＧ21，Ｇ23，・・・・Ｇ63，Ｇ65を求める。
【００４４】
次に、これらの基準画素を欠陥画素Ｇ43に重ならないように、それぞれ水平方向に一様にずらした位置にある全てが同色の第１の複数画素、例えば図18に示す例においては、画素Ｒ22，Ｒ24，Ｒ26，Ｒ42，Ｒ46，Ｒ62，Ｒ64，Ｒ66の信号レベルＲ22，Ｒ24，・・・・Ｒ64，Ｒ66を求める（ステップ53−２）。次に、同様にして基準画素を欠陥画素Ｇ43に重ならないように、それぞれ垂直方向に一様にずらした位置にある全て同色の第２の複数画素、例えば図19に示す例においては、画素Ｂ31，Ｂ33，Ｂ35，Ｂ51，Ｂ55，Ｂ71，Ｂ73，Ｂ75の信号レベルＢ31，Ｂ33，・・・・Ｂ73，Ｂ75を求める（ステップ53−３）。また同様に基準画素を、欠陥画素Ｇ43に重ならないように、それぞれ右上がり方向に一様にずらした位置にある全て同色の第３の複数画素、例えば図20に示す例においては、画素Ｇ12，Ｇ14，Ｇ16，Ｇ32，Ｇ36，Ｇ52，Ｇ54，Ｇ56の信号レベルＧ12，Ｇ14，・・・・Ｇ54，Ｇ56を求める（ステップ53−４）。更に同様にして基準画素を、欠陥画素Ｇ43に重ならないように、それぞれ右下がり方向に一様にずらした位置にある全て同色の第４の複数画素、例えば図21に示す例においては、画素Ｇ32，Ｇ34，Ｇ36，Ｇ52，Ｇ56，Ｇ72，Ｇ74，Ｇ76の信号レベルＧ32，Ｇ34，・・・・Ｇ74，Ｇ76を求める（ステップ53−５）。
【００４５】
次に、基準画素において、同一垂直ライン上の画素群の信号レベルの和α00，β00，γ00を求める（ステップ53−６）。図17に示した例においては、次のように表される。
α00＝Ｇ21＋Ｇ41＋Ｇ61
β00＝Ｇ23＋Ｇ63
γ00＝Ｇ25＋Ｇ45＋Ｇ65
【００４６】
また、第１の複数画素において、同一垂直ライン上の画素群の信号レベルの和α11，β11，γ11を求める（ステップ53−６）。図18に示した例においては、次のように表される。
α11＝Ｒ22＋Ｒ42＋Ｒ62
β11＝Ｒ24＋Ｒ64
γ11＝Ｒ26＋Ｒ46＋Ｒ66
【００４７】
また、第２の複数画素において、同一垂直ライン上の画素群の信号レベルの和α22，β22，γ22を求める（ステップ53−６）。図19に示した例においては、次のように表される。
α22＝Ｂ31＋Ｂ51＋Ｂ71
β22＝Ｂ33＋Ｂ73
γ22＝Ｂ35＋Ｂ55＋Ｂ75
【００４８】
また、第３の複数画素において、同一垂直ライン上の画素群の信号レベルの和α33，β33，γ33を求める（ステップ53−６）。図20に示した例においては、次のように表される。
α33＝Ｇ12＋Ｇ32＋Ｇ52
β33＝Ｇ14＋Ｇ54
γ33＝Ｇ16＋Ｇ36＋Ｇ56
【００４９】
また、第４の複数画素において、同一垂直ライン上の画素群の信号レベルの和α44，β44，γ44を求める（ステップ53−６）。図21に示した例においては、次のように表される。
α44＝Ｇ32＋Ｇ52＋Ｇ72
β44＝Ｇ34＋Ｇ74
γ44＝Ｇ36＋Ｇ56＋Ｇ76
【００５０】
次に、基準画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα00に対する他の全ての垂直ライン上の画素群の信号レベル和β00，γ00の比α00／β00，α00／γ00を求める。同様に、第１の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα11に対する他の全ての垂直ライン上の画素群の信号レベル和β11，γ11の比α11／β11，α11／γ11を求め、また第２の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα22に対する他の全ての垂直ライン上の画素群の信号レベル和β22，γ22の比α22／β22，α22／γ22を求め、また第３の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα33に対する他の全ての垂直ライン上の画素群の信号レベル和β33，γ33の比α33／β33，α33／γ33を求め、更に第４の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα44に対する他の全ての垂直ライン上の画素群の信号レベル和β44，γ44の比α44／β44，α44／γ44を求める（ステップ53−７）。
【００５１】
次に、基準画素の信号レベル和の比α00／β00，α00／γ00と、第１〜第４の複数画素の信号レベル和の比α11／β11，α11／γ11，α22／β22，α22／γ22，α33／β33，α33／γ33，α44／β44，α44／γ44とを比較し、基準画素の信号レベル和の比に最も近い値の信号レベル和の比を選択する（ステップ53−８）。そして、上記信号レベル和の比の比較選択において、第１の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を水平方向のエッジ又は線と決定し、また第２の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を垂直方向のエッジ又は線と決定し、また第３の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を右上がり方向のエッジ又は線と決定し、また第４の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を右下がり方向のエッジ又は線と決定する（ステップ53−９）。
【００５２】
以上のようにして周辺領域における画像形状が検出された後は、検出された画像形状に基づいて補間画素が選択され、欠陥画素が補間補償されるが、水平方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43は（Ｇ41＋Ｇ45）／２の信号レベルで補間される。また画像形状で垂直方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43はＧ43＝（Ｇ23＋Ｇ63）／２の信号レベルで補間され、また画像形状が右上がり方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43はＧ43＝（Ｇ25＋Ｇ61）／２の信号レベルで補間され、また画像形状が右下がり方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43はＧ43＝（Ｇ21＋Ｇ65）／２の信号レベルで補間される。
【００５３】
また、カラー画像の場合も、図12のフローチャートで示した白黒画像に関する欠陥画素周辺領域の画像形状の検出処理と同様に、図14に示した相対信号レベルに関するパターン比較による１回目の画像形状検出を行い、得られた画像形状が斜めエッジ又は線となった場合に、図16に示した基準画素のずらし方式による２回目の画像形状検出を行う処理方式を用いることができる。
【００５４】
また、カラー画像（ベイヤー配列）においては、同色画素は一つおきに配列されているので４つの画素を欠陥画素として取り扱い、この領域の画素は同様に補償できる。次に、このような場合におけるカラー画像における欠陥画素の周辺領域の画像形状検出の手法を、第４の実施の形態として図22のフローチャートに基づいて説明する。この実施の形態においても、まず、欠陥画素の周囲にある欠陥画素と同色の複数個の画素の信号レベルを求め、それらを基準画素信号レベルとする（ステップ55−１）。例えば図23に示すように、欠陥画素群を黒枠で囲んだＧ43，Ｒ44，Ｂ53，Ｇ54とする。このように、黒枠で囲んだ４画素を欠陥画素として考えた場合、その中の画素Ｇ43に関して、１画素ずつ離れた周囲にある同色の８個の画素Ｇ21，Ｇ23，Ｇ25，Ｇ41，Ｇ45，Ｇ61，Ｇ63，Ｇ65を基準画素とし、これらの信号レベルＧ21，Ｇ23，・・・・Ｇ63，Ｇ65を求める。
【００５５】
次に、これらの基準画素を当該欠陥画素群に重ならないように、それぞれ水平方向に一様にずらした位置にある全てが同色の第１の複数画素、例えば図24に示す例においては、画素Ｒ22，Ｒ24，Ｒ26，Ｒ42，Ｒ46，Ｒ62，Ｒ64，Ｒ66の信号レベルＲ22，Ｒ24，・・・・Ｒ64，Ｒ66を求める（ステップ55−２）。次に、同様にして基準画素を当該欠陥画素群に重ならないように、それぞれ垂直方向に一様にずらした位置にある全て同色の第２の複数画素、例えば図25に示す例においては、画素Ｂ31，Ｂ33，Ｂ35，Ｂ51，Ｂ55，Ｂ71，Ｂ73，Ｂ75の信号レベルＢ31，Ｂ33，・・・・Ｂ73，Ｂ75を求める（ステップ53−３）。また同様に第１の基準画素を、当該欠陥画素群に重ならないように、それぞれ右下がり方向に一様にずらした位置にある全て同色の第３の複数画素、例えば図26に示す例においては、画素Ｇ32，Ｇ34，Ｇ36，Ｇ52，Ｇ56，Ｇ72，Ｇ74，Ｇ76の信号レベルＧ32，Ｇ34，・・・・Ｇ74，Ｇ76を求める（ステップ55−４）。
【００５６】
次に、基準画素において、同一垂直ライン上の画素群の信号レベルの和α00′，β00′，γ00′を求める（ステップ55−５）。図23に示した例においては、次のように表される。
α00′＝Ｇ21＋Ｇ41＋Ｇ61
β00′＝Ｇ23＋Ｇ63
γ00′＝Ｇ25＋Ｇ45＋Ｇ65
【００５７】
また、第１の複数画素において、同一垂直ライン上の画素群の信号レベルの和α11′，β11′，γ11′を求める（ステップ55−５）。図24に示した例においては、次のように表される。
α11′＝Ｒ22＋Ｒ42＋Ｒ62
β11′＝Ｒ24＋Ｒ64
γ11′＝Ｒ26＋Ｒ46＋Ｒ66
【００５８】
また、第２の複数画素において、同一垂直ライン上の画素群の信号レベルの和α22′，β22′，γ22′を求める（ステップ55−５）。図25に示した例においては、次のように表される。
α22′＝Ｂ31＋Ｂ51＋Ｂ71
β22′＝Ｂ33＋Ｂ73
γ22′＝Ｂ35＋Ｂ55＋Ｂ75
【００５９】
また、第３の複数画素において、同一垂直ライン上の画素群の信号レベルの和α33′，β33′，γ33′を求める（ステップ55−５）。図26に示した例においては、次のように表される。
α33′＝Ｇ32＋Ｇ52＋Ｇ72
β33′＝Ｇ34＋Ｇ74
γ33′＝Ｇ36＋Ｇ56＋Ｇ76
【００６０】
次に、基準画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα00′に対する他の全ての垂直ライン上の画素群の信号レベル和β00′，γ00′の比α00′／β00′，α00′／γ00′を求める。同様に、第１の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα11′に対する他の全ての垂直ライン上の画素群の信号レベル和β11′，γ11′の比α11′／β11′，α11′／γ11′を求め、また第２の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα22′に対する他の全ての垂直ライン上の画素群の信号レベル和β22′，γ22′の比α22′／β22′，α22′／γ22′を求め、また第３の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα33′に対する他の全ての垂直ライン上の画素群の信号レベル和β33′，γ33′の比α33′／β33′，α33′／γ33′を求める（ステップ55−６）。
【００６１】
次に、基準画素の信号レベル和の比α00′／β00′，α00′／γ00′と、第１〜第３の複数画素の信号レベル和の比α11′／β11′，α11′／γ11′，α22′／β22′，α22′／γ22′，α33′／β33′，α33′／γ33′とを比較すると同時に、第１の複数画素の信号レベルの和の比と第２の複数画素の信号レベルの和の比とを比較し、差の最小となるものを選択する（ステップ55−７）。そして、上記信号レベル和の比の比較選択において、第１の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を水平方向のエッジ又は線と決定し、また第２の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を垂直方向のエッジ又は線と決定し、また第１，第２の複数画素に関する信号レベル和の比の差が最も小さい場合には、欠陥画素の周辺領域における画像形状を右上がり方向のエッジ又は線と決定し、また第３の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を右下がり方向のエッジ又は線と決定する（ステップ55−８）。
【００６２】
以上のようにして周辺領域における画像形状が検出された後は、検出された画像形状に基づいて補間画素が選択され、欠陥画素が補間補償されるが、水平方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43は（Ｇ41＋Ｇ45）／２の信号レベルで補間される。カラー画像の場合は、黒枠で囲まれている４画素は同じ様に補間処理して差し支えないので、欠陥画素Ｒ44は（Ｒ42＋Ｒ46）／２の信号レベルで補間され、また欠陥画素Ｂ53は（Ｂ51＋Ｂ55）／２の信号レベルで補間され、また欠陥画素Ｇ54は（Ｇ52＋Ｇ56）／２の信号レベルで補間される。
【００６３】
また画像形状で垂直方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43，Ｒ44，Ｂ53，Ｇ54は、次に示すような信号レベルＧ43，Ｒ44，Ｂ53，Ｇ54で補間される。
Ｇ43＝（Ｇ23＋Ｇ63）／２
Ｒ44＝（Ｒ24＋Ｒ64）／２
Ｂ53＝（Ｂ33＋Ｂ73）／２
Ｇ54＝（Ｇ34＋Ｇ74）／２
【００６４】
また画像形状が右上がり方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43，Ｒ44，Ｂ53，Ｇ54は、それぞれ次に示すような信号レベルＧ43，Ｒ44，Ｂ53，Ｇ54で補間される。
Ｇ43＝（Ｇ25＋Ｇ61）／２
Ｒ44＝（Ｒ26＋Ｒ62）／２
Ｂ53＝（Ｂ35＋Ｂ71）／２
Ｇ54＝（Ｇ36＋Ｇ72）／２
【００６５】
また画像形状が右下がり方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43，Ｒ44，Ｂ53，Ｇ54は、それぞれ次に示すような信号レベルＧ43，Ｒ44，Ｂ53，Ｇ54で補間される。
Ｇ43＝（Ｇ21＋Ｇ65）／２
Ｒ44＝（Ｒ22＋Ｒ66）／２
Ｂ53＝（Ｂ31＋Ｂ75）／２
Ｇ54＝（Ｇ32＋Ｇ76）／２
【００６６】
上記各実施の形態の説明においては、撮像手段で得られた撮像信号に対して直ちに本発明による欠陥画素補償処理を適用するようにしているが、撮像手段によって得られた撮像信号に対しては、従来の４点補間法等の処理速度の速い簡易欠陥補償処理を行い圧縮して、メモリ等の記録媒体に記録し、再生時（伸長時）に本発明に係る欠陥補償処理を施すようにすることもできる。このような欠陥補償処理を行うことにより、記録時の処理時間を短縮することができ、しかも再生時には高精度で欠陥補償された画像を得ることができる。
【００６７】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１記載の発明によれば、欠陥画素の周辺領域の画像形状を検出し、その画像形状に基づいて欠陥画素を補間し補償するようにしているので、輝度が急峻に変換する領域に欠陥がある場合でも、高精度で欠陥画素を補償することが可能となり、特に、画像形状検出のための領域を大きくせずに、画像形状を斜め方向を含めて高精度で検出することができる。請求項２記載の発明によれば、周辺領域の画像形状の方向検出が誤った場合でも、画素欠陥を目立たないように補償することができる。また請求項３記載の発明によれば、カラー画像の輝度が急峻に変化する領域に画素欠陥がある場合でも、高精度で補償することができ、特に、画像形状検出のための領域を大きくせずに、カラー画像における欠陥画素周辺領域の画像形状を、斜め方向を含めて高精度で検出することができる。請求項４記載の発明によれば、周辺領域の画像形状の方向検出が誤った場合でも、カラー画像の画素欠陥を目立たないように補償することができる。
【図面の簡単な説明】
【図１】 本発明に係る撮像装置の実施の形態の全体構成を示すブロック図である。
【図２】 図１に示した実施の形態の概略動作シーケンスを説明するためのタイミングチャートである。
【図３】 本発明における欠陥画素の検出処理を説明するためのタイミングチャートである。
【図４】 本発明における欠陥画素補償処理の概略を説明するためのフローチャートである。
【図５】 図４に示したフローチャートにおける画像形状検出処理に関し、本発明に関連する第１の参照例を詳細に説明するためのフローチャートである。
【図６】 欠陥画素と信号レベルを検出する周囲画素の配置態様を示す図である。
【図７】 相対信号レベルのパターンを分類して示す図である。
【図８】 周辺領域の画像形状のパターン例を示す図である。
【図９】 方向検出が不能な周辺領域の画像形状のパターン例を示す図である。
【図10】 画像形状検出処理に関し、本発明に係る第１の実施の形態を説明するためのフローチャートである。
【図11】 図10のフローチャートに示した検出処理における欠陥画素の周囲にある基準画素のずらし態様を示す図である。
【図12】 画像形状検出処理に関し、本発明に係る第２の実施の形態を説明するためのフローチャートである。
【図13】 カラー画像に対する欠陥画素の補償処理態様を説明するためのフローチャートである。
【図14】 図13に示したフローチャートにおける画像形状の検出処理に関し、本発明に関連する態様を第２の参照例として詳細に説明するためのフローチャートである。
【図15】 ベイヤー配列のカラー画像における欠陥画素と信号レベルを検出する周囲画素の配置態様を示す図である。
【図16】 カラー画像における画像形状の検出処理に関し、本発明に係る態様を第３の実施の形態として説明するためのフローチャートである。
【図17】 カラー画像における欠陥画素と信号レベルを検出する周囲の基準画素の配置態様を示す図である。
【図18】 図17に示した基準画素を水平方向にずらした態様を示す図である。
【図19】 図17に示した基準画素を垂直方向にずらした態様を示す図である。
【図20】 図17に示した基準画素を右上がり方向にずらした態様を示す図である。
【図21】 図17に示した基準画素を右下がり方向にずらした態様を示す図である。
【図22】 カラー画像における画像形状の検出処理の更に他の態様を本発明の第４の実施の形態として説明するためのフローチャートである。
【図23】 図22に示した第４の実施の形態におけるカラー画像の欠陥画素と信号レベルを検出する周囲の基準画素の配置態様を示す図である。
【図24】 図23に示した基準画素を水平方向にずらした態様を示す図である。
【図25】 図23に示した基準画素を垂直方向にずらした態様を示す図である。
【図26】 図23に示した基準画素を右下がり方向にずらした態様を示す図である。
【図27】 従来の画素欠陥補償方式を説明するための図である。
【符号の説明】
１ レンズ
２ 絞り・シャッタ機構
３ 光学ＬＰＦ・赤外カットフィルタ
４ ＣＣＤ撮像素子
５ ＣＤＳ・ＡＧＣ回路
６ Ａ／Ｄ変換器
７ 画像メモリ
８ 画素欠陥補償処理部
９ 記録信号処理部
10 記録メディアＩ／Ｆ
11 記録メディア
12 欠陥情報記憶手段
13 タイミングジェネレータ
14 同期信号発生器
15 ＣＰＵ
16 ＣＣＤドライバ
17 モータドライバ
【発明の属する技術分野】
この発明は、撮像装置に関し、特に半導体撮像素子の欠陥画素を高精度に補間し補償できるようにした撮像装置に関する。
【０００２】
【従来の技術】
一般に、２次元状に画素を配列してなる半導体撮像素子を備えた撮像装置を用いて撮像を行ったとき、半導体撮像素子を構成する画素に欠陥がある場合、撮像信号に欠陥が入り見苦しい画像が出力されてしまう。従来、出力画像におけるこのような欠陥が目立たないようにするため、種々の画素欠陥補償手段が用いられており、その基本的な補償方式としては、欠陥画素の回りにある画素の信号を用いて、欠陥画素の信号に置き換えるという方式（４点補間方式）が知られている。
【０００３】
また、特公平５−２３５５１号公報には、正方格子状に配設された複数の撮像素子から出力される画素信号の中から、欠陥画素信号を垂直方向、水平方向及び斜め方向にそれぞれ挟む２つの画素信号間毎の差の絶対値を演算し、絶対値信号を出力する絶対値演算手段と、絶対値信号の中で最も小さい値を与える２つの画素信号を検出する最小差検出手段と、最小差検出手段により検出された２つの画素信号について平均値演算を行い、平均値信号を出力する平均値演算手段と、欠陥画素信号を平均値信号で置換する置換手段とを備え、補償誤差を小さくすることにより、より高精度に欠陥画素信号を補償できるようにした画像欠陥補償装置について開示がなされている。
【０００４】
【発明が解決しようとする課題】
ところで、上記周囲画素の４点補間による欠陥補償方式は、例えば図27の（Ａ）に示すように、２列の水平方向の黒線を出力する画素列中において白抜きで示した位置の画素101 が欠陥画素である場合、この欠陥画素101 の上下左右の矢印で示した画素の平均値で欠陥画素を置き換えるという方式である。この方式で図27の（Ａ）に示す欠陥画素101 の補間を行うと、補間に用いる３画素は黒で１画素は白なので、平均値をとって補間を行うと、図27の（Ｂ）に示すように、グレーレベルで補間されることになる。したがって、図27の（Ａ）に示す欠陥画素は本来黒で補間されるべきなのにグレーで補間され、欠陥が少し残ってしまい、このように画像中に輝度が急峻に変化する領域（例えば線やエッジ）に欠陥がある場合、補償誤差が大きくなり、有効に欠陥画素を補償できないという問題点がある。また、上記特公平５−２３５５１号公報開示の画像欠陥補償装置によれば、補償誤差が小さくなり、より高精度に欠陥画素を補償することが可能となるが、欠陥画素の垂直、水平及び斜め方向にそれぞれ挟む２つの画素のみを考慮するものであるため、欠陥画素の周辺領域の画素信号の態様を正確に考慮できず、やはり輝度が急峻に変化している領域では、高精度で欠陥画素を補償できないおそれが生じるという問題点がある。
【０００５】
本発明は、従来の撮像装置において用いられている欠陥画素補償方式における上記問題点を解消するためになされたもので、欠陥画素の周辺領域の画像形状を考慮して、高精度で欠陥画素を補償できるようにした撮像装置を提供することを目的とする。各請求項毎の目的を述べると次の通りである。
請求項１記載の発明は、出力画像中の輝度が急峻に変化する領域に欠陥がある場合でも、欠陥が目立たないように高精度で補償することが可能で、特に欠陥画素位置の周辺領域の画像形状を、領域を大きくせずに高精度で検出することができ、また斜め形状の周辺領域の画像形状も方向を含めて容易に検出でき、高精度に欠陥画素を補償できるようにした撮像装置を提供することを目的とする。請求項２記載の発明は、欠陥画素位置の周辺領域の画像形状の方向を間違って検出した場合でも、欠陥画素が目立たないように補償できる撮像装置を提供することを目的とする。
【０００６】
また請求項３記載の発明は、カラー出力画像中の輝度が急峻に変化する領域に欠陥がある場合でも、欠陥が目立たないように補償することが可能で、特に異なる色の画素でも比較して欠陥画素位置の周辺領域の画像形状を検出することができると共に、領域を大きくせずに欠陥画素位置の周辺領域の画像形状を、斜め形状であっても方向を含めて高精度に検出し、欠陥画素を高精度で補償できるようにした撮像装置を提供することを目的とする。請求項４記載の発明は、欠陥画素位置の周辺領域の画像形状の方向を間違って検出した場合でも、欠陥画素が目立たないように補償したカラー画像が得られる撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するため、請求項１記載の発明は、画素を２次元状に配置してなる半導体撮像素子を備え、被写体光を画像信号に変換する撮像手段と、前記半導体撮像素子の欠陥画素位置を検出する欠陥画素検出手段と、該欠陥画素検出手段で検出された欠陥画素位置情報を記憶する欠陥画素情報記憶手段と、前記撮像手段より得られる画像信号における、前記欠陥画素検出手段により検出された欠陥画素位置の周辺領域の画像形状を、欠陥画素周囲の画素情報から検出する周辺画像形状検出手段と、該周辺画像形状検出手段によって検出された周辺画像形状に基づいて、欠陥画素の周囲から画素を選択し、該選択された画素で欠陥画素を補間することによって画素欠陥補償を行う画素欠陥補償手段とを備え、前記周辺画像形状検出手段は、欠陥画素の周囲にある複数個の画素を基準画素とし、各基準画素の信号レベルを求める基準画素信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ水平方向に所定画素分ずらすことにより得られる第１の複数画素の各画素の信号レベルを検出する第１の信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ垂直方向に所定画素分ずらすことにより得られる第２の複数画素の各画素の信号レベルを検出する第２の信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ右上がり方向に所定画素分ずらすことにより得られる第３の複数画素の各画素の信号レベルを検出する第３の信号レベル 検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ右下がり方向に所定画素分ずらすことにより得られる第４の複数画素の各画素の信号レベルを検出する第４の信号レベル検出手段と、前記基準画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第１の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第２の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第３の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第４の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記基準画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第１の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第２の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第３の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第４の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記基準画素の信号レベル和の比と、第１，第２，第３及び第４の対応する各信号レベル和の比を比較し、基準画素の信号レベル和の比に最も近い値の信号レベル和の比を選択する手段と、該選択手段により第１の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は水平方向のエッジ又は線と判断し、第２の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は垂直方向のエッジ又は線と判断し、第３の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右上がり方向のエッジ又は線と判断し、第４の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右下がり方向のエッジ又は線と判断する手段とを備え、前記画素欠陥補償手段は、前記基準画素のうち、前記エッジ又は線と判断された周辺領域画像形状の方向と同じ方向に並ぶ基準画素を前記補間に用いる画素として選択するようにして撮像装置を構成するものである。
【０００８】
このように、周辺画像形状検出手段によって、画像中の欠陥画素の周辺領域の画像形状（線及びその方向、エッジ及びその方向、面）を検出し、その画像形状に基づいて欠陥画素を補間する画素を選択するようにしているので、出力画像中の輝度が急峻に変化する領域（例えば線やエッジ）に欠陥がある場合でも、欠陥が目立たないように高精度で補償することが可能であり、特に、欠陥画素周囲の画素と、該画素の水平、垂直、右上がり及び右下がり方向にずらした位置の画素を用いて欠陥画素の周辺領域の画像形状を検出することにより、画像形状検出のための領域を大きくせずに、高精度で周辺領域の画像形状を検出することができ、また、斜め方向の周辺領域の画像形状も方向を含めて容易に検出することができる。
【０００９】
請求項２記載の発明は、請求項１記載の撮像装置において、前記画素欠陥補償手段は、前記選択された基準画素の平均値で欠陥画素を補間するように構成されていることを特徴とするものである。このように構成することにより、仮に欠陥画素位置の周辺領域の画像形状の方向が間違って検出された場合でも、欠陥画素と周辺画素とがなだらかな変化となるため、欠陥画素が目立たないように補償することができる。
【００１０】
請求項３記載の発明は、画素を２次元状に配置してなる半導体撮像素子を備え、被写体光を少なくとも３種類以上の複数の色信号からなる画像信号に変換する撮像手段と、前記半導体撮像素子の欠陥画素位置を検出する欠陥画素検出手段と、該欠陥画素検出手段で検出された欠陥画素位置情報を記憶する欠陥画素情報記憶手段と、前記撮像手段より得られる画像信号における、前記欠陥画素検出手段により検出された欠陥画素位置の周辺領域の画像形状を、欠陥画素周囲の欠陥画素と同色の画素情報から検出する周辺画像形状検出手段と、該周辺画像形状検出手段によって検出された周辺画像形状に基づいて、欠陥画素の周囲から欠陥画素と同色の画素を選択し、該選択画素で欠陥画素を補間することによって画素欠陥補償を行う画素欠陥補償手段とを備え、前記周辺画像形状検出手段は、欠陥画素の周囲にある同色の複数個の画素を基準画素とし、各基準画素の信号レベルを求める基準画素信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ水平方向に所定画素分ずらすことにより得られ且つ全てが同色の、第１の複数画素の各画素の信号レベルを検出する第１の信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ垂直方向に所定画素分ずらすことにより得られ且つ全てが同色の、第２の複数画素の各画素の信号レベルを検出する第２の信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ右上がり方向に所定画素分ずらすことにより得られ且つ全てが同色の、第３の複数画素の各画素の信号レベルを検出する第３の信号レベル検出手段と、前記基準画素を前記欠陥画素に重ならないように、それぞれ右上がり方向に所定画素分ずらすことにより得られ且つ全てが同色の、第４の複数画素の各画素の信号レベルを検出する第４の信号レベル検出手段と、前記基準画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第１の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第２の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第３の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記第４の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、前記基準画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第１の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第２の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第３の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記第４の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、前記基準画素の信号レベル和の比と、第１，第２，第３及び第４の対応する各信号レベル和の比を比較し、基準画素の信号レベル和の比に最も近い値の信号レベル和の比を選択する手段と、該選択手段により第１の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は水平方向のエッジ又は線と判断し、第２の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は垂直方向のエッジ又は線と判断し、第３の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右上がり方向のエッジ又は線と判断し、第４の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右下がり方向のエッジ又は線と判断する手段とを備え、前記画素欠陥補償手段は、前記基準画素のうち、前記エッジ又は線と判断された周辺領域画像形状の方向と同じ方向に並ぶ基準画素を前記補間に用いる画素として選択するようにして撮像装置を構成するものである。
【００１１】
このように構成することにより、カラー出力画像中の輝度が急峻に変化する領域に欠陥がある場合でも、欠陥が目立たないように補償されたカラー画像を得ることが可能であり、特に、異なる色の画素でも相対的な明るさの変化（すなわちレベル比）の相関が強いことが多いので、該画素の水平、垂直、右上がり及び右下がり方向にずらした位置の全てが同色の画素を用いて欠陥画素の周辺領域の画像形状を検出することにより、形状検出のための領域を大きくせずに、高精度でカラー画像における欠陥画素周辺領域の画像形状を検出することができ、斜め方向の周辺領域の画像形状も方向を含めて容易に検出することができる。
【００１２】
請求項４記載の発明は、請求項３に記載の撮像装置において、前記画素欠陥補償手段は、前記選択された基準画素と同色の選択画素の平均値で欠陥画素を補間するように構成されていることを特徴とするものであり、このように構成することにより、仮に欠陥画素位置の周辺領域の画素形状の方向を間違って検出した場合でも、カラー画像における欠陥画素と周辺画素とがなだらかな変化となるため、カラー画像における欠陥画素を目立たないように補償することができる。
【００１３】
【発明の実施の形態】
次に、実施の形態について説明する。図１は本発明に係る撮像装置の実施の形態の全体構成を示すプロック構成図である。図１において、１はレンズで、該レンズ１で結像された光学像は、絞り・シャッタ機構２を通り、光学ＬＰＦ及び赤外カットフィルタ３を介して、２次元状に画素を配列してなるＣＣＤ撮像素子４へ入力される。撮像素子４で光電変換された撮像信号は、ＣＤＳ回路（相関二重サンプリング回路）・ＡＧＣ回路５でノイズキャンセル及び感度調整処理を受けた後、Ａ／Ｄ変換器６でＡ／Ｄ変換されて、画像メモリ７へ一時的に記憶される。
【００１４】
８は画素欠陥補償処理部で、一時的記憶された撮像信号（画像データ）を画像メモリ７から読み出して、欠陥に相当する画素の位置、数及び欠陥画素が２次元的に連続している場合、その並び方パターンを検出して、それらの欠陥情報を欠陥情報記憶手段12へ記憶させる。また、この画素欠陥補償処理部８では、欠陥情報記憶手段12より欠陥情報を読み出し、その欠陥情報に基づいて欠陥画素の周辺領域の画像形状を検出し、その検出された画像形状に基づいて、欠陥画素の周囲から画素を選択し、その選択画素で欠陥画素を補間し、画素欠陥補償処理を行うようになっている。画像メモリ７内に一時的に記憶されている撮像信号が、前記画素欠陥補償処理部８における処理により、欠陥が全て補償された後、記録信号処理部９において、圧縮などの処理が施されて記録に適した信号形態へ変換される。記録信号処理部９で処理された画像データは、記録メディアＩ／Ｆ10において記録メディアに適した信号レベル、レートに変換され、ＳＲＡＭ、フラッシュメモリ、磁気メモリ等の記録メディア11に記録されるようになっている。
【００１５】
また、図１において13はＣＣＤ撮像素子４の駆動タイミングを生成するタイミングジェネレータ、14はタイミングジェネレータ13へ同期信号を供給するための同期信号発生器、16はＣＣＤ撮像素子の駆動信号を電力増幅するＣＣＤドライバであり、17はレンズ１のピント合わせ及びズーミング、並びに絞り・シャッタ機構２の絞り駆動及びシャッタ駆動のためのモータドライバであり、15は以上の各部の動作の制御を行うＣＰＵである。
【００１６】
次に、このように構成されている撮像装置の動作シーケンスを説明すると、図２のタイミングチャートに示すように概略動作シーケンスとしては、シャッタボタン（図示せず）を押すことにより撮像素子４への電荷蓄積動作が開始し、電荷蓄積時間の開始からシャッタ閉までの期間が本露光となり、シャッタ閉期間において信号読み出しが行われる。撮像素子４から出力される撮像信号は、画像メモリ７へ一旦記憶される。そして画像メモリ７に記憶された撮像信号は、画素欠陥補償処理部８及び欠陥情報記憶手段12を介して欠陥補償処理が行われる。次いで、欠陥補償処理された撮像信号は記録信号処理部９で記録信号に処理された後、記録メディア11に記録される。なお、図２において、ＶＤは同期信号発生器14で発生している撮像素子の全ての情報を読み出す基本パルス（垂直同期信号）を示している。
【００１７】
次に、画素欠陥補償処理部８と欠陥情報記憶手段12において行われる欠陥画素の補償処理について詳細に説明する。まず、画素欠陥補償処理部８で行われる欠陥画素の検出処理について説明する。この検出処理には、暗黒画像を撮影して黒画像撮像時における欠陥画素の位置と欠陥画素の並び方を検出する第１の欠陥検出処理と、真っ白な画像を撮影して白画像撮像時における欠陥画素と欠陥画素の並び方を検出する第２の欠陥検出処理とを行う。すなわち、第１の欠陥検出処理においては、図３の（Ａ）のフローチャートに示すように、暗黒画像を撮像し（ステップ21−１）、次いで１画素毎に信号レベルを検出し（ステップ21−２）、各画素の信号レベルが所定の閾値１より小さいか大きいかの判定を行い（ステップ21−３）、閾値１より大きい場合、その画素は欠陥画素であると判定する（ステップ21−４）。次いで、欠陥画素が隣接、すなわち２次元的に連続している場合にはその並び方を調べ（ステップ21−５）、欠陥画素の位置と欠陥画素の並び方に関する欠陥情報を欠陥情報記憶手段12へ保存する（ステップ21−６）。
【００１８】
また、同様に第２の欠陥検出処理においては、図３の（Ｂ）のフローチャートに示すように、白画像を撮像し（ステップ22−１）、次いで１画素毎に信号レベルを検出し（ステップ22−２）、各画素の信号レベルが所定の閾値２より小さいか大きいかの判定を行い（ステップ22−３）、閾値２より小さい場合、その画素は欠陥画素であると判定する（ステップ22−４）。次いで、欠陥画素が隣接、すなわち２次元的に連続している場合にはその並び方を調べ（ステップ22−５）、欠陥画素の位置と欠陥画素の並び方に関する欠陥情報を欠陥情報記憶手段12へ保存する（ステップ22−６）。
【００１９】
なお、欠陥画素に関する欠陥情報は、撮影の都度上記のようにして検出して欠陥情報記憶手段12へ記憶させるようにしてもよいが、撮像装置に組み込まれたＣＣＤ撮像素子等の撮像素子においては、予め欠陥画素の位置等の欠陥情報は検出しておくことができるので、予め検出した欠陥情報を欠陥情報記憶手段へ記憶させておき、撮影時にこの欠陥情報を用いるようにしてもよい。
【００２０】
次に、画素欠陥補償処理の実施の形態について説明する。本発明による欠陥補償は、基本的には、欠陥画素が周辺領域のどのような画像形状の成分に属するかを判定（推定）して、補間するようにするもので、例えば図27の（Ａ）に示した例では、欠陥画素101 は周辺領域の画像形状からみて、横方向の黒線に属するものである蓋然性が極めて高いので、横方向の両側の画素の平均値で、すなわち黒レベルで補間してやるようにするものである。
【００２１】
この基本欠陥補償処理形態を、図４のフローチャートで説明すると、まず撮像素子の撮像動作で被写体画像を取り込み（ステップ31−１）、次いで撮像素子からの撮像信号における欠陥画素の位置、及び欠陥画素が２次元的に連続している場合その並び方を検出して記憶させ、記憶したこれらの欠陥情報を読み出して（ステップ31−２）、画像信号における欠陥画素周囲の画素情報に基づいて、欠陥画素位置の周辺領域の画像形状を検出する（ステップ31−３）。次いで検出された画像形状に基づいて、欠陥画素は周辺領域から、例えば縦、横、斜めのいずれかの方向の２画素を補間画素として選択し（ステップ31−４）、その補間画素の平均レベルで欠陥画素を補間することにより、欠陥補償を行う（ステップ31−５）。
【００２２】
次に、この欠陥補償処理における画像形状検出（ステップ31−３）に関し、まず本発明に関連する第１の参照例を、図５のフローチャートに基づいて説明する。まず最初に、欠陥画素の周囲にある複数個の画素の信号レベルを検出する（ステップ32−１）。例えば、図６において、欠陥画素（●印）35の周りの８個の画素（○印）の信号レベルを検出する。そして、欠陥画素の上方向に位置するＵ方向の３つの画素、下方向に位置するＤ方向の３つの画素、右方向に位置するＲ方向の３つの画素、左方向に位置するＬ方向の３つの画素を、それぞれ一組とし、それらの各組において、ある一画素を基準画素として、その基準画素の信号レベル（輝度）に対する他の画素の相対的な信号レベルを求める（ステップ32−２）。例えば、Ｕ，Ｄ，Ｒ，Ｌの各方向において、相対値は矢印の始点の方向から求めて行き、１番目の画素に対しての２番目の画素の相対値、２番目の画素に対しての３番目の画素の相対値という順に求める。相対値は高い、同じ、低いの３値とし、２つの画素の信号レベルの差が±12.5％以内のときは同じとする。但し、この相対値はＮ値化（Ｎは撮像素子の撮像信号の階調数以下の任意の整数）して表すことができる。
【００２３】
このようにして求めた相対値から、各方向における各組の相対値は、図７に示すようなパターン１〜パターン９の９つのパターン形式に分類することができる。なお、図７においてカッコ内に示すパターン形式は、相対値を矢印の逆方向に沿って求めた場合の逆パターン形式を示している。図７において、例えばパターン１は、１番目の画素（左端）に対して２番目の画素（中央）の相対値が高く、２番目の画素（中央）に対して３番目の画素（右端）の相対値が更に高い場合のパターンを示し、パターン２は、１番目の画素に対して２番目の画素の相対値が高く、２番目の画素に対して３番目の画素の相対値が同じ場合のパターンを示し、パターン３は、１番目の画素に対して２番目の画素の相対値が高く、２番目の画素に対して３番目の画素の相対値が低い場合のパターンを示しており、更にパターン５は、全ての画素が同じレベルのときのパターンを示している。
【００２４】
このような９つのパターン形式を用いて、Ｕ，Ｄ，Ｒ，Ｌの４方向の画素群の相対信号レベルを、画素位置と対応づけて表すことにより、４組のパターンで欠陥画素の周りの８画素の相対信号レベルをパターン化する（ステップ32−３）。次いで、このようにして得られた周辺領域の４組の画素群の相対信号レベルのパターンを、予め設定したパターンと比較する（ステップ32−４）。すなわち、予め考えられる全てのパターンを用意しておいて、その用意されたパターンと、周辺領域の画素群の相対信号レベルから得られたパターンとを比較するもので、例えば、図８の（Ａ）に示すような横エッジ形状の場合は、Ｕ又はＤ方向の画素群に必ずパターン５のパターンが存在し、Ｒ及びＬ方向の画素群にはパターン５が存在しない。したがって、比較されるパターンにおいて、このような条件を有する場合は、周辺領域の画像形状は横エッジ形状であると判定する。
【００２５】
また、図８の（Ｂ）に示すような縦エッジ形状の場合は、Ｒ又はＬ方向の画素群に必ずパターン５が存在し、Ｕ及びＤ方向の画素群にはパターン５は存在しない。したがって、比較されるパターンにおいて、このような条件を有する場合は、周辺領域の画像形状は縦エッジ形状であると判定する。また図８の（Ｃ）に示すような右下がりエッジ形状の場合は、Ｕ及びＲ方向、又はＬ及びＤ方向の画素群には必ずパターン５が存在し、他にもパターン５が存在してもよい。したがって、比較されるパターンにおいて、このような条件を有する場合は、周辺領域の画像形状は右下がりエッジ形状であると判定する。また図８の（Ｄ）に示すような右上がりエッジ形状の場合は、Ｄ及びＲ方向、又はＵ及びＬ方向の画素群には必ずパターン５が存在し、他にもパターン５が存在してもよい。したがって、比較されるパターンにおいて、このような条件を有する場合は、周辺領域の画像形状は右上がりエッジ形状であると判定する。
【００２６】
このようにして、周辺領域の画素群の相対信号レベルのパターンを予め用意されているパターンと比較して、一致するものがあるか否かの判定を行い（ステップ32−５）、一致するものがある場合には、その一致した予め用意されたパターンに対応する形状を、周辺領域の画像形状と決定する（ステップ32−６）。もし予め用意された複数のパターンと一致した場合は、例えば図８の（Ｅ）に示すような形状の２つのパターンは、９つのパターン形式の同じ組み合わせに、いずれも一致するものとして検出されてしまうので、このような場合には、それらの２つのパターンにおいて、補間画素として選択される画素間のレベル差が小さくなる方のパターンを、周辺領域の画像形状として選択する（ステップ32−７）。図８の（Ｅ）のパターンの場合は、縦横線と判定されているので、欠陥画素の上下の画素信号レベルの差が左右の画素信号レベルの差より大なるときは、横線もしくは横エッジと判定する。また逆に、上下の画素信号レベルの差が左右の画素信号レベルの差より小なるときは、縦線もしくは縦エッジと判定する。
【００２７】
また、一致するパターンがない場合には、予め用意してある、例えば図８の（Ｆ）に示す十字パターンをデフォルトパターンとして、これを周辺領域の画像形状とする（ステップ32−８）。
【００２８】
ところで、上記周辺領域の画像形状の検出処理方式において、例えば、図９に示すような画像形状が検出された場合、欠陥画素を補間すべき補間画素として、右下がり画素（白）及び右上がり画素（黒）のいずれを選択すべきかは、一義的には定められないという問題点がある。
【００２９】
次に、このような問題点を解消する本発明における画像形状検出方式の第１の実施の形態を、図10のフローチャートに基づいて説明する。まず、欠陥画素の周囲にある複数個の画素の信号レベルを求め、それらを基準画素信号レベルとする（ステップ33−１）。例えば、図11の（Ａ）に示すように、太枠で示す欠陥画素をＰ33とすると、この欠陥画素から１画素ずつ離れた周囲にある８個の画素Ｐ11，Ｐ13，Ｐ15，Ｐ31，Ｐ35，Ｐ51，Ｐ53，Ｐ55を基準画素とし、これらの信号レベルＰ11，Ｐ13，・・・・Ｐ53，Ｐ55を求める。
【００３０】
次に、上記基準画素を、欠陥画素Ｐ33に重ならないように、それぞれ水平方向に一様にずらした位置にある第１の複数画素、例えば図11の（Ｂ）に示す例においては、画素Ｐ12，Ｐ14，Ｐ16，Ｐ32，Ｐ36，Ｐ52，Ｐ54，Ｐ56の信号レベルＰ12，Ｐ14，・・・・Ｐ54，Ｐ56を求める（ステップ33−２）。次に、同様にして上記基準画素を、欠陥画素Ｐ33に重ならないように、それぞれ垂直方向に一様にずらした位置にある第２の複数画素、例えば図11の（Ｃ）に示す例においては、画素Ｐ21，Ｐ23，Ｐ25，Ｐ41，Ｐ45，Ｐ61，Ｐ63，Ｐ65の信号レベルＰ21，Ｐ23，・・・・Ｐ63，Ｐ65を求める（ステップ33−３）。また、同様にして上記基準画素を、欠陥画素Ｐ33に重ならないように、それぞれ右上がり方向に一様にずらした位置にある第３の複数画素、例えば図11の（Ｄ）に示す例においては、画素Ｐ02，Ｐ04，Ｐ06，Ｐ22，Ｐ26，Ｐ42，Ｐ44，Ｐ46の信号レベルＰ02，Ｐ04，・・・・Ｐ44，Ｐ46を求める（ステップ33−４）。更に同様にして上記基準画素を、欠陥画素Ｐ33に重ならないように、それぞれ右下がり方向に一様にずらした位置にある第４の複数画素、例えば図11の（Ｅ）に示す例においては、画素Ｐ22，Ｐ24，Ｐ26，Ｐ42，Ｐ46，Ｐ62，Ｐ64，Ｐ66の信号レベルＰ22，Ｐ24，・・・・Ｐ64，Ｐ66を求める（ステップ33−５）。
【００３１】
次に、基準画素において、同一垂直ライン上の画素群の信号レベルの和α0 ，β0 ，γ0 を求める（ステップ33−６）。図11の（Ａ）に示した例においては、次のように表される。
α0 ＝Ｐ11＋Ｐ31＋Ｐ51
β0 ＝Ｐ13＋Ｐ53
γ0 ＝Ｐ15＋Ｐ35＋Ｐ55
【００３２】
また、第１の複数画素において、同一垂直ライン上の画素群の信号レベルの和α1 ，β1 ，γ1 を求める（ステップ33−６）。図11の（Ｂ）に示した例においては、次のように表される。
α1 ＝Ｐ12＋Ｐ32＋Ｐ52
β1 ＝Ｐ14＋Ｐ54
γ1 ＝Ｐ16＋Ｐ36＋Ｐ56
【００３３】
また、第２の複数画素において、同一垂直ライン上の画素群の信号レベルの和α2 ，β2 ，γ2 を求める（ステップ33−６）。図11の（Ｃ）に示した例においては、次のように表される。
α2 ＝Ｐ21＋Ｐ41＋Ｐ61
β2 ＝Ｐ23＋Ｐ63
γ2 ＝Ｐ25＋Ｐ45＋Ｐ65
また、第３の複数画素において、同一垂直ライン上の画素群の信号レベルの和α3 ，β3 ，γ3 を求める（ステップ33−６）。図11の（Ｄ）に示した例においては、次のように表される。
α3 ＝Ｐ02＋Ｐ22＋Ｐ42
β3 ＝Ｐ04＋Ｐ44
γ3 ＝Ｐ06＋Ｐ26＋Ｐ46
【００３４】
また、第４の複数画素において、同一垂直ライン上の画素群の信号レベルの和α4 ，β4 ，γ4 を求める（ステップ33−６）。図11の（Ｃ）に示した例においては、次のように表される。
α4 ＝Ｐ22＋Ｐ42＋Ｐ62
β4 ＝Ｐ24＋Ｐ64
γ4 ＝Ｐ26＋Ｐ46＋Ｐ66
【００３５】
次に、基準画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα0 に対する他の全ての垂直ライン上の画素群の信号レベル和β0 ，γ0 の比α0 ／β0 ，α0 ／γ0 を求める。同様に、第１の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα1 に対する他の全ての垂直ライン上の画素群の信号レベル和β1 ，γ1 の比α1 ／β1 ，α1 ／γ1 を求め、また第２の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα2 に対する他の全ての垂直ライン上の画素群の信号レベル和β2 ，γ2 の比α2 ／β2 ，α2 ／γ2 を求め、また第３の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα3 に対する他の全ての垂直ライン上の画素群の信号レベル和β3 ，γ3 の比α3 ／β3 ，α3 ／γ3 を求め、更に第４の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα4 に対する他の全ての垂直ライン上の画素群の信号レベル和β4 ，γ4 の比α4 ／β4 ，α4 ／γ4 を求める（ステップ33−７）。
【００３６】
次に、基準画６の信号レベル和の比α0 ／β0 ，α0 ／γ0 と、第１〜第４の複数画素の信号レベル和の比α1 ／β1 ，α1 ／γ1 ，α2 ／β2 ，α2 ／γ2 ，α3 ／β3 ，α3 ／γ3 α4 ／β4 ，α4 ／γ4 とを比較し、基準画素の信号レベル和の比に最も近い値の信号レベル和の比を選択する（ステップ33−８）。そして、上記信号レベル和の比の比較選択において、第１の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を水平方向のエッジ又は線と決定し、また第２の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を垂直方向のエッジ又は線と決定し、また第３の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を右上がり方向のエッジ又は線と決定し、また第４の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を右下がり方向のエッジ又は線と決定する（ステップ33−９）。
【００３７】
以上のようにして周辺領域における画像形状が検出された後は、検出された画像形状に基づいて補間画素が選択され、欠陥画素が補間補償されるが、図11の（Ａ）〜（Ｅ）に示した図示例では、水平方向のエッジ又は線と決定された場合には、欠陥画素Ｐ33は（Ｐ31＋Ｐ35）／２の信号レベルで補間される。画像形状が垂直方向のエッジ又は線と決定された場合には、欠陥画素Ｐ33は（Ｐ13＋Ｐ53）／２の信号レベルで補間され、画像形状が右上がり方向のエッジ又は線と決定された場合には、欠陥画素Ｐ33は（Ｐ15＋Ｐ51）／２の信号レベルで補間され、画像形状が右下がり方向のエッジ又は線と決定された場合には、欠陥画素Ｐ33は（Ｐ11＋Ｐ55）／２の信号レベルで補間される。
【００３８】
以上のように周辺領域における画像形状を、先に述べた本発明に関連する第１の参照例で検出する場合には、斜め画像形状の検出はできるけれども、斜め方向、すなわち右下がりか右上がりかの検出はできない場合が生じるという問題があったが、本発明に係る第１の実施の形態によれば、検出領域は若干大きくなるが斜め方向を検出することが可能となる。
【００３９】
次に、欠陥画素の周辺領域における画像形状の検出方式の本発明に係る第２の実施の形態を図12のフローチャートに基づいて説明する。この実施の形態は、図５のフローチャートに示した本発明に関連する第１の参照例と図10のフローチャートに示した本発明に係る第１の実施の形態とを組み合わせたものである。すなわち、周辺領域の画素群の相対信号レベルのパターンを予め用意したパターンと比較して一致するものがあるか否かの判定を行い、一致するものがある場合、その一致した予め用意したパターンに対応する形状を、周辺領域の画像形状と仮決定し、また一致するものが複数ある場合には、補間画素として選択される画素間のレベル差が小さくなる方のパターンを、画像形状として仮決定し、また一致するパターンがない場合には、予め用意したデフォルトパターンを画像形状として仮決定するステップ41−１からステップ41−６までは、図５に示した第１の参照例と同一のステップで画像形状検出処理を行い、次いで、この仮決定された画像形状は斜めエッジ又は線でないかどうかの判定を行う（ステップ41−９）。そして、仮決定された画像形状が斜めエッジ又は線でない場合には、仮決定された画像形状を欠陥画素の周辺領域の画像形状として決定し（ステップ41−10）、仮決定された画像形状が斜めエッジ又は線である場合には、図10に示した第１の実施の形態による画像形状検出処理を行い（ステップ41−11）、斜め方向を含む画像形状を決定する。
【００４０】
このように本実施の形態に係る画像形状検出処理方式を用いることにより、斜めエッジ又は線を含む場合でも、効率よく欠陥画素の周辺領域の画像形状を検出することができる。
【００４１】
次に、カラー撮像装置における欠陥画素の補償方式について説明する。カラー画像における欠陥画素の補償処理も、基本的には先に示した白黒画像の欠陥補償処理と同じである。すなわち、図13のフローチャートに示すように、まず撮像動作において、単板カラー撮像素子等のカラー撮像素子で被写体像を取り込み（ステップ51−１）、撮像信号を３種類以上の色信号に変換する（ステップ51−２）。次いで、色信号における欠陥画素の位置、及び欠陥画素が２次元的に連続している場合その並び方情報を検出して記憶させ、その記憶した欠陥情報を読み出して（ステップ51−３）、色信号における欠陥画素周囲の欠陥画素と同色の画素情報に基づいて、欠陥画素位置の周辺領域の欠陥画素と同色の画像形状を検出する（ステップ51−４）。次いで、検出された画像形状に基づいて、欠陥画素の周辺領域から欠陥画素と同色の補間画素を選択し（ステップ51−５）、その補間画素の平均レベルで欠陥画素を補間することにより、欠陥補償を行う（ステップ51−６）。
【００４２】
次に、このカラー画像の欠陥補償処理における画像形状検出ステップ51−４の詳細について、まず本発明に関連する第２の参照例として図14のフローチャートに基づいて説明する。まず最初に、欠陥画素の周囲にある欠陥画素と同色の複数個の画素の信号レベルを検出する（ステップ52−１）。例えば図15のベイヤー配列のカラー画像において、中央の○印のＲ色の欠陥画素の周囲の、欠陥画素と同色の８個のＲ画素（白抜き画素）の信号レベルを検出する。以下、図５に示した白黒画像における画像検出処理と同等の処理ステップ52−２〜52−８を行い、欠陥画素の周辺領域の欠陥画素と同色の画像形状を検出する。
【００４３】
次に、カラー画像における欠陥画素の周辺領域の画像形状検出の本発明に係る手法を、第３の実施の形態として図16のフローチャートに基づいて説明する。この実施の形態は、図10のフローチャートに示した白黒画像における画像形状の検出処理（第１の実施の形態）に対応するものである。まず、欠陥画素の周囲にある欠陥画素と同色の複数個の画素の信号レベルを求め、それらを基準画素信号レベルとする（ステップ53−１）。例えば図17に示すように、欠陥画素を画素Ｇ43とすると、該欠陥画素Ｇ43に関して、まず１画素ずつ離れた周囲にある同色の８個の画素Ｇ21，Ｇ23，Ｇ25，Ｇ41，Ｇ45，Ｇ61，Ｇ63，Ｇ65を基準画素とし、これらの信号レベルＧ21，Ｇ23，・・・・Ｇ63，Ｇ65を求める。
【００４４】
次に、これらの基準画素を欠陥画素Ｇ43に重ならないように、それぞれ水平方向に一様にずらした位置にある全てが同色の第１の複数画素、例えば図18に示す例においては、画素Ｒ22，Ｒ24，Ｒ26，Ｒ42，Ｒ46，Ｒ62，Ｒ64，Ｒ66の信号レベルＲ22，Ｒ24，・・・・Ｒ64，Ｒ66を求める（ステップ53−２）。次に、同様にして基準画素を欠陥画素Ｇ43に重ならないように、それぞれ垂直方向に一様にずらした位置にある全て同色の第２の複数画素、例えば図19に示す例においては、画素Ｂ31，Ｂ33，Ｂ35，Ｂ51，Ｂ55，Ｂ71，Ｂ73，Ｂ75の信号レベルＢ31，Ｂ33，・・・・Ｂ73，Ｂ75を求める（ステップ53−３）。また同様に基準画素を、欠陥画素Ｇ43に重ならないように、それぞれ右上がり方向に一様にずらした位置にある全て同色の第３の複数画素、例えば図20に示す例においては、画素Ｇ12，Ｇ14，Ｇ16，Ｇ32，Ｇ36，Ｇ52，Ｇ54，Ｇ56の信号レベルＧ12，Ｇ14，・・・・Ｇ54，Ｇ56を求める（ステップ53−４）。更に同様にして基準画素を、欠陥画素Ｇ43に重ならないように、それぞれ右下がり方向に一様にずらした位置にある全て同色の第４の複数画素、例えば図21に示す例においては、画素Ｇ32，Ｇ34，Ｇ36，Ｇ52，Ｇ56，Ｇ72，Ｇ74，Ｇ76の信号レベルＧ32，Ｇ34，・・・・Ｇ74，Ｇ76を求める（ステップ53−５）。
【００４５】
次に、基準画素において、同一垂直ライン上の画素群の信号レベルの和α00，β00，γ00を求める（ステップ53−６）。図17に示した例においては、次のように表される。
α00＝Ｇ21＋Ｇ41＋Ｇ61
β00＝Ｇ23＋Ｇ63
γ00＝Ｇ25＋Ｇ45＋Ｇ65
【００４６】
また、第１の複数画素において、同一垂直ライン上の画素群の信号レベルの和α11，β11，γ11を求める（ステップ53−６）。図18に示した例においては、次のように表される。
α11＝Ｒ22＋Ｒ42＋Ｒ62
β11＝Ｒ24＋Ｒ64
γ11＝Ｒ26＋Ｒ46＋Ｒ66
【００４７】
また、第２の複数画素において、同一垂直ライン上の画素群の信号レベルの和α22，β22，γ22を求める（ステップ53−６）。図19に示した例においては、次のように表される。
α22＝Ｂ31＋Ｂ51＋Ｂ71
β22＝Ｂ33＋Ｂ73
γ22＝Ｂ35＋Ｂ55＋Ｂ75
【００４８】
また、第３の複数画素において、同一垂直ライン上の画素群の信号レベルの和α33，β33，γ33を求める（ステップ53−６）。図20に示した例においては、次のように表される。
α33＝Ｇ12＋Ｇ32＋Ｇ52
β33＝Ｇ14＋Ｇ54
γ33＝Ｇ16＋Ｇ36＋Ｇ56
【００４９】
また、第４の複数画素において、同一垂直ライン上の画素群の信号レベルの和α44，β44，γ44を求める（ステップ53−６）。図21に示した例においては、次のように表される。
α44＝Ｇ32＋Ｇ52＋Ｇ72
β44＝Ｇ34＋Ｇ74
γ44＝Ｇ36＋Ｇ56＋Ｇ76
【００５０】
次に、基準画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα00に対する他の全ての垂直ライン上の画素群の信号レベル和β00，γ00の比α00／β00，α00／γ00を求める。同様に、第１の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα11に対する他の全ての垂直ライン上の画素群の信号レベル和β11，γ11の比α11／β11，α11／γ11を求め、また第２の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα22に対する他の全ての垂直ライン上の画素群の信号レベル和β22，γ22の比α22／β22，α22／γ22を求め、また第３の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα33に対する他の全ての垂直ライン上の画素群の信号レベル和β33，γ33の比α33／β33，α33／γ33を求め、更に第４の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα44に対する他の全ての垂直ライン上の画素群の信号レベル和β44，γ44の比α44／β44，α44／γ44を求める（ステップ53−７）。
【００５１】
次に、基準画素の信号レベル和の比α00／β00，α00／γ00と、第１〜第４の複数画素の信号レベル和の比α11／β11，α11／γ11，α22／β22，α22／γ22，α33／β33，α33／γ33，α44／β44，α44／γ44とを比較し、基準画素の信号レベル和の比に最も近い値の信号レベル和の比を選択する（ステップ53−８）。そして、上記信号レベル和の比の比較選択において、第１の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を水平方向のエッジ又は線と決定し、また第２の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を垂直方向のエッジ又は線と決定し、また第３の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を右上がり方向のエッジ又は線と決定し、また第４の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を右下がり方向のエッジ又は線と決定する（ステップ53−９）。
【００５２】
以上のようにして周辺領域における画像形状が検出された後は、検出された画像形状に基づいて補間画素が選択され、欠陥画素が補間補償されるが、水平方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43は（Ｇ41＋Ｇ45）／２の信号レベルで補間される。また画像形状で垂直方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43はＧ43＝（Ｇ23＋Ｇ63）／２の信号レベルで補間され、また画像形状が右上がり方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43はＧ43＝（Ｇ25＋Ｇ61）／２の信号レベルで補間され、また画像形状が右下がり方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43はＧ43＝（Ｇ21＋Ｇ65）／２の信号レベルで補間される。
【００５３】
また、カラー画像の場合も、図12のフローチャートで示した白黒画像に関する欠陥画素周辺領域の画像形状の検出処理と同様に、図14に示した相対信号レベルに関するパターン比較による１回目の画像形状検出を行い、得られた画像形状が斜めエッジ又は線となった場合に、図16に示した基準画素のずらし方式による２回目の画像形状検出を行う処理方式を用いることができる。
【００５４】
また、カラー画像（ベイヤー配列）においては、同色画素は一つおきに配列されているので４つの画素を欠陥画素として取り扱い、この領域の画素は同様に補償できる。次に、このような場合におけるカラー画像における欠陥画素の周辺領域の画像形状検出の手法を、第４の実施の形態として図22のフローチャートに基づいて説明する。この実施の形態においても、まず、欠陥画素の周囲にある欠陥画素と同色の複数個の画素の信号レベルを求め、それらを基準画素信号レベルとする（ステップ55−１）。例えば図23に示すように、欠陥画素群を黒枠で囲んだＧ43，Ｒ44，Ｂ53，Ｇ54とする。このように、黒枠で囲んだ４画素を欠陥画素として考えた場合、その中の画素Ｇ43に関して、１画素ずつ離れた周囲にある同色の８個の画素Ｇ21，Ｇ23，Ｇ25，Ｇ41，Ｇ45，Ｇ61，Ｇ63，Ｇ65を基準画素とし、これらの信号レベルＧ21，Ｇ23，・・・・Ｇ63，Ｇ65を求める。
【００５５】
次に、これらの基準画素を当該欠陥画素群に重ならないように、それぞれ水平方向に一様にずらした位置にある全てが同色の第１の複数画素、例えば図24に示す例においては、画素Ｒ22，Ｒ24，Ｒ26，Ｒ42，Ｒ46，Ｒ62，Ｒ64，Ｒ66の信号レベルＲ22，Ｒ24，・・・・Ｒ64，Ｒ66を求める（ステップ55−２）。次に、同様にして基準画素を当該欠陥画素群に重ならないように、それぞれ垂直方向に一様にずらした位置にある全て同色の第２の複数画素、例えば図25に示す例においては、画素Ｂ31，Ｂ33，Ｂ35，Ｂ51，Ｂ55，Ｂ71，Ｂ73，Ｂ75の信号レベルＢ31，Ｂ33，・・・・Ｂ73，Ｂ75を求める（ステップ53−３）。また同様に第１の基準画素を、当該欠陥画素群に重ならないように、それぞれ右下がり方向に一様にずらした位置にある全て同色の第３の複数画素、例えば図26に示す例においては、画素Ｇ32，Ｇ34，Ｇ36，Ｇ52，Ｇ56，Ｇ72，Ｇ74，Ｇ76の信号レベルＧ32，Ｇ34，・・・・Ｇ74，Ｇ76を求める（ステップ55−４）。
【００５６】
次に、基準画素において、同一垂直ライン上の画素群の信号レベルの和α00′，β00′，γ00′を求める（ステップ55−５）。図23に示した例においては、次のように表される。
α00′＝Ｇ21＋Ｇ41＋Ｇ61
β00′＝Ｇ23＋Ｇ63
γ00′＝Ｇ25＋Ｇ45＋Ｇ65
【００５７】
また、第１の複数画素において、同一垂直ライン上の画素群の信号レベルの和α11′，β11′，γ11′を求める（ステップ55−５）。図24に示した例においては、次のように表される。
α11′＝Ｒ22＋Ｒ42＋Ｒ62
β11′＝Ｒ24＋Ｒ64
γ11′＝Ｒ26＋Ｒ46＋Ｒ66
【００５８】
また、第２の複数画素において、同一垂直ライン上の画素群の信号レベルの和α22′，β22′，γ22′を求める（ステップ55−５）。図25に示した例においては、次のように表される。
α22′＝Ｂ31＋Ｂ51＋Ｂ71
β22′＝Ｂ33＋Ｂ73
γ22′＝Ｂ35＋Ｂ55＋Ｂ75
【００５９】
また、第３の複数画素において、同一垂直ライン上の画素群の信号レベルの和α33′，β33′，γ33′を求める（ステップ55−５）。図26に示した例においては、次のように表される。
α33′＝Ｇ32＋Ｇ52＋Ｇ72
β33′＝Ｇ34＋Ｇ74
γ33′＝Ｇ36＋Ｇ56＋Ｇ76
【００６０】
次に、基準画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα00′に対する他の全ての垂直ライン上の画素群の信号レベル和β00′，γ00′の比α00′／β00′，α00′／γ00′を求める。同様に、第１の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα11′に対する他の全ての垂直ライン上の画素群の信号レベル和β11′，γ11′の比α11′／β11′，α11′／γ11′を求め、また第２の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα22′に対する他の全ての垂直ライン上の画素群の信号レベル和β22′，γ22′の比α22′／β22′，α22′／γ22′を求め、また第３の複数画素における、所定の垂直ライン上の画素群の信号レベル和、例えばα33′に対する他の全ての垂直ライン上の画素群の信号レベル和β33′，γ33′の比α33′／β33′，α33′／γ33′を求める（ステップ55−６）。
【００６１】
次に、基準画素の信号レベル和の比α00′／β00′，α00′／γ00′と、第１〜第３の複数画素の信号レベル和の比α11′／β11′，α11′／γ11′，α22′／β22′，α22′／γ22′，α33′／β33′，α33′／γ33′とを比較すると同時に、第１の複数画素の信号レベルの和の比と第２の複数画素の信号レベルの和の比とを比較し、差の最小となるものを選択する（ステップ55−７）。そして、上記信号レベル和の比の比較選択において、第１の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を水平方向のエッジ又は線と決定し、また第２の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を垂直方向のエッジ又は線と決定し、また第１，第２の複数画素に関する信号レベル和の比の差が最も小さい場合には、欠陥画素の周辺領域における画像形状を右上がり方向のエッジ又は線と決定し、また第３の複数画素に関する信号レベル和の比が選択された場合には、欠陥画素の周辺領域における画像形状を右下がり方向のエッジ又は線と決定する（ステップ55−８）。
【００６２】
以上のようにして周辺領域における画像形状が検出された後は、検出された画像形状に基づいて補間画素が選択され、欠陥画素が補間補償されるが、水平方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43は（Ｇ41＋Ｇ45）／２の信号レベルで補間される。カラー画像の場合は、黒枠で囲まれている４画素は同じ様に補間処理して差し支えないので、欠陥画素Ｒ44は（Ｒ42＋Ｒ46）／２の信号レベルで補間され、また欠陥画素Ｂ53は（Ｂ51＋Ｂ55）／２の信号レベルで補間され、また欠陥画素Ｇ54は（Ｇ52＋Ｇ56）／２の信号レベルで補間される。
【００６３】
また画像形状で垂直方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43，Ｒ44，Ｂ53，Ｇ54は、次に示すような信号レベルＧ43，Ｒ44，Ｂ53，Ｇ54で補間される。
Ｇ43＝（Ｇ23＋Ｇ63）／２
Ｒ44＝（Ｒ24＋Ｒ64）／２
Ｂ53＝（Ｂ33＋Ｂ73）／２
Ｇ54＝（Ｇ34＋Ｇ74）／２
【００６４】
また画像形状が右上がり方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43，Ｒ44，Ｂ53，Ｇ54は、それぞれ次に示すような信号レベルＧ43，Ｒ44，Ｂ53，Ｇ54で補間される。
Ｇ43＝（Ｇ25＋Ｇ61）／２
Ｒ44＝（Ｒ26＋Ｒ62）／２
Ｂ53＝（Ｂ35＋Ｂ71）／２
Ｇ54＝（Ｇ36＋Ｇ72）／２
【００６５】
また画像形状が右下がり方向のエッジ又は線と決定された場合には、欠陥画素Ｇ43，Ｒ44，Ｂ53，Ｇ54は、それぞれ次に示すような信号レベルＧ43，Ｒ44，Ｂ53，Ｇ54で補間される。
Ｇ43＝（Ｇ21＋Ｇ65）／２
Ｒ44＝（Ｒ22＋Ｒ66）／２
Ｂ53＝（Ｂ31＋Ｂ75）／２
Ｇ54＝（Ｇ32＋Ｇ76）／２
【００６６】
上記各実施の形態の説明においては、撮像手段で得られた撮像信号に対して直ちに本発明による欠陥画素補償処理を適用するようにしているが、撮像手段によって得られた撮像信号に対しては、従来の４点補間法等の処理速度の速い簡易欠陥補償処理を行い圧縮して、メモリ等の記録媒体に記録し、再生時（伸長時）に本発明に係る欠陥補償処理を施すようにすることもできる。このような欠陥補償処理を行うことにより、記録時の処理時間を短縮することができ、しかも再生時には高精度で欠陥補償された画像を得ることができる。
【００６７】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１記載の発明によれば、欠陥画素の周辺領域の画像形状を検出し、その画像形状に基づいて欠陥画素を補間し補償するようにしているので、輝度が急峻に変換する領域に欠陥がある場合でも、高精度で欠陥画素を補償することが可能となり、特に、画像形状検出のための領域を大きくせずに、画像形状を斜め方向を含めて高精度で検出することができる。請求項２記載の発明によれば、周辺領域の画像形状の方向検出が誤った場合でも、画素欠陥を目立たないように補償することができる。また請求項３記載の発明によれば、カラー画像の輝度が急峻に変化する領域に画素欠陥がある場合でも、高精度で補償することができ、特に、画像形状検出のための領域を大きくせずに、カラー画像における欠陥画素周辺領域の画像形状を、斜め方向を含めて高精度で検出することができる。請求項４記載の発明によれば、周辺領域の画像形状の方向検出が誤った場合でも、カラー画像の画素欠陥を目立たないように補償することができる。
【図面の簡単な説明】
【図１】 本発明に係る撮像装置の実施の形態の全体構成を示すブロック図である。
【図２】 図１に示した実施の形態の概略動作シーケンスを説明するためのタイミングチャートである。
【図３】 本発明における欠陥画素の検出処理を説明するためのタイミングチャートである。
【図４】 本発明における欠陥画素補償処理の概略を説明するためのフローチャートである。
【図５】 図４に示したフローチャートにおける画像形状検出処理に関し、本発明に関連する第１の参照例を詳細に説明するためのフローチャートである。
【図６】 欠陥画素と信号レベルを検出する周囲画素の配置態様を示す図である。
【図７】 相対信号レベルのパターンを分類して示す図である。
【図８】 周辺領域の画像形状のパターン例を示す図である。
【図９】 方向検出が不能な周辺領域の画像形状のパターン例を示す図である。
【図10】 画像形状検出処理に関し、本発明に係る第１の実施の形態を説明するためのフローチャートである。
【図11】 図10のフローチャートに示した検出処理における欠陥画素の周囲にある基準画素のずらし態様を示す図である。
【図12】 画像形状検出処理に関し、本発明に係る第２の実施の形態を説明するためのフローチャートである。
【図13】 カラー画像に対する欠陥画素の補償処理態様を説明するためのフローチャートである。
【図14】 図13に示したフローチャートにおける画像形状の検出処理に関し、本発明に関連する態様を第２の参照例として詳細に説明するためのフローチャートである。
【図15】 ベイヤー配列のカラー画像における欠陥画素と信号レベルを検出する周囲画素の配置態様を示す図である。
【図16】 カラー画像における画像形状の検出処理に関し、本発明に係る態様を第３の実施の形態として説明するためのフローチャートである。
【図17】 カラー画像における欠陥画素と信号レベルを検出する周囲の基準画素の配置態様を示す図である。
【図18】 図17に示した基準画素を水平方向にずらした態様を示す図である。
【図19】 図17に示した基準画素を垂直方向にずらした態様を示す図である。
【図20】 図17に示した基準画素を右上がり方向にずらした態様を示す図である。
【図21】 図17に示した基準画素を右下がり方向にずらした態様を示す図である。
【図22】 カラー画像における画像形状の検出処理の更に他の態様を本発明の第４の実施の形態として説明するためのフローチャートである。
【図23】 図22に示した第４の実施の形態におけるカラー画像の欠陥画素と信号レベルを検出する周囲の基準画素の配置態様を示す図である。
【図24】 図23に示した基準画素を水平方向にずらした態様を示す図である。
【図25】 図23に示した基準画素を垂直方向にずらした態様を示す図である。
【図26】 図23に示した基準画素を右下がり方向にずらした態様を示す図である。
【図27】 従来の画素欠陥補償方式を説明するための図である。
【符号の説明】
１ レンズ
２ 絞り・シャッタ機構
３ 光学ＬＰＦ・赤外カットフィルタ
４ ＣＣＤ撮像素子
５ ＣＤＳ・ＡＧＣ回路
６ Ａ／Ｄ変換器
７ 画像メモリ
８ 画素欠陥補償処理部
９ 記録信号処理部
10 記録メディアＩ／Ｆ
11 記録メディア
12 欠陥情報記憶手段
13 タイミングジェネレータ
14 同期信号発生器
15 ＣＰＵ
16 ＣＣＤドライバ
17 モータドライバ
Claims (4)
- 画素を２次元状に配置してなる半導体撮像素子を備え、被写体光を画像信号に変換する撮像手段と、
前記半導体撮像素子の欠陥画素位置を検出する欠陥画素検出手段と、
該欠陥画素検出手段で検出された欠陥画素位置情報を記憶する欠陥画素情報記憶手段と、
前記撮像手段より得られる画像信号における、前記欠陥画素検出手段により検出された欠陥画素位置の周辺領域の画像形状を、欠陥画素周囲の画素情報から検出する周辺画像形状検出手段と、
該周辺画像形状検出手段によって検出された周辺画像形状に基づいて、欠陥画素の周囲から画素を選択し、該選択された画素で欠陥画素を補間することによって画素欠陥補償を行う画素欠陥補償手段とを備え、
前記周辺画像形状検出手段は、
欠陥画素の周囲にある複数個の画素を基準画素とし、各基準画素の信号レベルを求める基準画素信号レベル検出手段と、
前記基準画素を前記欠陥画素に重ならないように、それぞれ水平方向に所定画素分ずらすことにより得られる第１の複数画素の各画素の信号レベルを検出する第１の信号レベル検出手段と、
前記基準画素を前記欠陥画素に重ならないように、それぞれ垂直方向に所定画素分ずらすことにより得られる第２の複数画素の各画素の信号レベルを検出する第２の信号レベル検出手段と、
前記基準画素を前記欠陥画素に重ならないように、それぞれ右上がり方向に所定画素分ずらすことにより得られる第３の複数画素の各画素の信号レベルを検出する第３の信号レベル検出手段と、
前記基準画素を前記欠陥画素に重ならないように、それぞれ右下がり方向に所定画素分ずらすことにより得られる第４の複数画素の各画素の信号レベルを検出する第４の信号レベル検出手段と、
前記基準画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、
前記第１の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、
前記第２の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、
前記第３の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、
前記第４の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、
前記基準画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、
前記第１の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、
前記第２の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、
前記第３の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、
前記第４の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、
前記基準画素の信号レベル和の比と、第１，第２，第３及び第４の対応する各信号レベ ル和の比を比較し、基準画素の信号レベル和の比に最も近い値の信号レベル和の比を選択する手段と、
該選択手段により第１の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は水平方向のエッジ又は線と判断し、第２の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は垂直方向のエッジ又は線と判断し、第３の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右上がり方向のエッジ又は線と判断し、第４の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右下がり方向のエッジ又は線と判断する手段とを備え、
前記画素欠陥補償手段は、前記基準画素のうち、前記エッジ又は線と判断された周辺領域画像形状の方向と同じ方向に並ぶ基準画素を前記補間に用いる画素として選択することを特徴とする撮像装置。 - 前記画素欠陥補償手段は、前記選択された基準画素の平均値で欠陥画素を補間するように構成されていることを特徴とする請求項１記載の撮像装置。
- 画素を２次元状に配置してなる半導体撮像素子を備え、被写体光を少なくとも３種類以上の複数の色信号からなる画像信号に変換する撮像手段と、
前記半導体撮像素子の欠陥画素位置を検出する欠陥画素検出手段と、
該欠陥画素検出手段で検出された欠陥画素位置情報を記憶する欠陥画素情報記憶手段と、
前記撮像手段より得られる画像信号における、前記欠陥画素検出手段により検出された欠陥画素位置の周辺領域の画像形状を、欠陥画素周囲の欠陥画素と同色の画素情報から検出する周辺画像形状検出手段と、
該周辺画像形状検出手段によって検出された周辺画像形状に基づいて、欠陥画素の周囲から欠陥画素と同色の画素を選択し、該選択画素で欠陥画素を補間することによって画素欠陥補償を行う画素欠陥補償手段とを備え、
前記周辺画像形状検出手段は、
欠陥画素の周囲にある同色の複数個の画素を基準画素とし、各基準画素の信号レベルを求める基準画素信号レベル検出手段と、
前記基準画素を前記欠陥画素に重ならないように、それぞれ水平方向に所定画素分ずらすことにより得られ且つ全てが同色の、第１の複数画素の各画素の信号レベルを検出する第１の信号レベル検出手段と、
前記基準画素を前記欠陥画素に重ならないように、それぞれ垂直方向に所定画素分ずらすことにより得られ且つ全てが同色の、第２の複数画素の各画素の信号レベルを検出する第２の信号レベル検出手段と、
前記基準画素を前記欠陥画素に重ならないように、それぞれ右上がり方向に所定画素分ずらすことにより得られ且つ全てが同色の、第３の複数画素の各画素の信号レベルを検出する第３の信号レベル検出手段と、
前記基準画素を前記欠陥画素に重ならないように、それぞれ右上がり方向に所定画素分ずらすことにより得られ且つ全てが同色の、第４の複数画素の各画素の信号レベルを検出する第４の信号レベル検出手段と、
前記基準画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、
前記第１の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、
前記第２の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、
前記第３の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、
前記第４の複数画素において、同一垂直ライン上にある画素の信号レベルの和を各垂直ライン毎に求める手段と、
前記基準画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての 垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、
前記第１の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、
前記第２の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、
前記第３の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、
前記第４の複数画素において、所定の垂直ライン上の画素の信号レベル和に対する他の全ての垂直ライン上の画素の信号レベル和の比をそれぞれ求める手段と、
前記基準画素の信号レベル和の比と、第１，第２，第３及び第４の対応する各信号レベル和の比を比較し、基準画素の信号レベル和の比に最も近い値の信号レベル和の比を選択する手段と、
該選択手段により第１の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は水平方向のエッジ又は線と判断し、第２の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は垂直方向のエッジ又は線と判断し、第３の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右上がり方向のエッジ又は線と判断し、第４の複数画素の信号レベル和の比が選択された場合、周辺領域画像形状は右下がり方向のエッジ又は線と判断する手段とを備え、
前記画素欠陥補償手段は、前記基準画素のうち、前記エッジ又は線と判断された周辺領域画像形状の方向と同じ方向に並ぶ基準画素を前記補間に用いる画素として選択することを特徴とする撮像装置。 - 前記画素欠陥補償手段は、前記選択された基準画素の平均値で欠陥画素を補間するように構成されていることを特徴とする請求項３記載の撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03357198A JP4115574B2 (ja) | 1998-02-02 | 1998-02-02 | 撮像装置 |
| US09/241,086 US6642960B1 (en) | 1998-02-02 | 1999-02-01 | Image pickup apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03357198A JP4115574B2 (ja) | 1998-02-02 | 1998-02-02 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11220661A JPH11220661A (ja) | 1999-08-10 |
| JP4115574B2 true JP4115574B2 (ja) | 2008-07-09 |
Family
ID=12390241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03357198A Expired - Fee Related JP4115574B2 (ja) | 1998-02-02 | 1998-02-02 | 撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6642960B1 (ja) |
| JP (1) | JP4115574B2 (ja) |
Families Citing this family (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3532781B2 (ja) * | 1999-02-12 | 2004-05-31 | 株式会社メガチップス | 画像入力装置の画像処理回路 |
| US7123299B1 (en) * | 1999-04-15 | 2006-10-17 | Olympus Optical Co., Ltd. | Color image pickup device and color image pickup apparatus including a randomized color coding array |
| US7009644B1 (en) * | 1999-12-15 | 2006-03-07 | Logitech Europe S.A. | Dynamic anomalous pixel detection and correction |
| GB9921331D0 (en) * | 1999-09-09 | 1999-11-10 | Pandora Int Ltd | Film restoration system |
| JP4317624B2 (ja) * | 1999-09-10 | 2009-08-19 | メディア・テック・ユーエスエイ・インコーポレーテッド | 画像処理装置 |
| JP3773773B2 (ja) * | 1999-10-27 | 2006-05-10 | 三洋電機株式会社 | 画像信号処理装置及び画素欠陥の検出方法 |
| US20020047907A1 (en) * | 2000-08-30 | 2002-04-25 | Nikon Corporation | Image processing apparatus and storage medium for storing image processing program |
| US6965395B1 (en) * | 2000-09-12 | 2005-11-15 | Dialog Semiconductor Gmbh | Methods and systems for detecting defective imaging pixels and pixel values |
| US6917381B2 (en) * | 2000-11-30 | 2005-07-12 | Intel Corporation | Color filter array and color interpolation algorithm |
| JP2002176586A (ja) * | 2000-12-07 | 2002-06-21 | Nikon Corp | 画素欠陥修正装置 |
| JP2003078821A (ja) | 2001-08-31 | 2003-03-14 | Hitachi Kokusai Electric Inc | 撮像装置 |
| JP2003348336A (ja) * | 2002-05-24 | 2003-12-05 | Canon Inc | 画像処理方法及び装置 |
| US7015961B2 (en) * | 2002-08-16 | 2006-03-21 | Ramakrishna Kakarala | Digital image system and method for combining demosaicing and bad pixel correction |
| US7283165B2 (en) * | 2002-11-15 | 2007-10-16 | Lockheed Martin Corporation | Method and apparatus for image processing using weighted defective pixel replacement |
| KR100535636B1 (ko) * | 2003-02-24 | 2005-12-08 | 매그나칩 반도체 유한회사 | 불량 화소 보상 기능을 갖는 이미지센서 |
| US7782377B2 (en) * | 2003-02-26 | 2010-08-24 | Canon Kabushiki Kaisha | Image sensing apparatus, control method therefor, storage medium, and program to create correction data |
| DE602004021985D1 (de) * | 2003-03-25 | 2009-08-27 | Panasonic Corp | Bildaufnahmevorrichtung, die Detailverlust schattiger Bereiche vermeidet |
| JP2005101829A (ja) * | 2003-09-24 | 2005-04-14 | Sanyo Electric Co Ltd | 信号処理装置 |
| US7525584B2 (en) * | 2004-01-05 | 2009-04-28 | Lifesize Communications, Inc. | Fast edge directed demosaicing |
| US7542082B2 (en) | 2004-03-30 | 2009-06-02 | Canon Kabushiki Kaisha | Method and apparatus for correcting a defective pixel |
| US7193696B2 (en) * | 2004-04-12 | 2007-03-20 | United Technologies Corporation | Systems and methods for using light to indicate defect locations on a composite structure |
| KR101087345B1 (ko) * | 2004-04-21 | 2011-11-25 | 인텔렉츄얼 벤처스 투 엘엘씨 | 컬러 보정 방법 |
| JP2006148441A (ja) * | 2004-11-18 | 2006-06-08 | Konica Minolta Photo Imaging Inc | 撮像装置 |
| JP4062300B2 (ja) * | 2004-11-18 | 2008-03-19 | コニカミノルタオプト株式会社 | 撮像装置 |
| KR100652408B1 (ko) | 2005-04-27 | 2006-12-01 | 삼성전자주식회사 | 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치 |
| JP4557795B2 (ja) * | 2005-05-18 | 2010-10-06 | 富士フイルム株式会社 | データ補正処理装置及びデータ補正処理方法 |
| US20060262210A1 (en) * | 2005-05-19 | 2006-11-23 | Micron Technology, Inc. | Method and apparatus for column-wise suppression of noise in an imager |
| WO2007023817A1 (ja) | 2005-08-23 | 2007-03-01 | Nikon Corporation | 画像処理システムおよび画像処理プログラム |
| JP4857877B2 (ja) * | 2006-04-11 | 2012-01-18 | 株式会社ニコン | 撮像装置およびカメラ |
| JP4440239B2 (ja) * | 2006-08-18 | 2010-03-24 | 富士フイルム株式会社 | 距離画像作成方法及び距離画像センサ、及び撮影装置 |
| US7649555B2 (en) * | 2006-10-02 | 2010-01-19 | Mtekvision Co., Ltd. | Apparatus for processing dead pixel |
| US7800661B2 (en) * | 2006-12-22 | 2010-09-21 | Qualcomm Incorporated | Programmable pattern matching device |
| US7830428B2 (en) * | 2007-04-12 | 2010-11-09 | Aptina Imaging Corporation | Method, apparatus and system providing green-green imbalance compensation |
| JP4703601B2 (ja) * | 2007-04-27 | 2011-06-15 | 株式会社東芝 | 撮像装置 |
| EP2015562A1 (en) * | 2007-07-10 | 2009-01-14 | Thomson Licensing S.A. | Processing device for correcting defect pixel values of an image sensor unit, image sensor unit with the processing device and method |
| JP5309940B2 (ja) * | 2007-12-28 | 2013-10-09 | 株式会社ニコン | 画像処理装置、および撮像装置 |
| US8559762B2 (en) | 2007-12-28 | 2013-10-15 | Nikon Corporation | Image processing method and apparatus for interpolating defective pixels |
| US8223236B2 (en) * | 2008-07-03 | 2012-07-17 | Sony Ericsson Mobile Communications Ab | Apparatus and method for image recording |
| JP2010145102A (ja) * | 2008-12-16 | 2010-07-01 | Shimadzu Corp | Ｘ線検査装置 |
| EP2242019B1 (en) * | 2009-04-15 | 2016-01-13 | Mitsubishi Electric R&D Centre Europe B.V. | Image region interpolation |
| JP4900435B2 (ja) * | 2009-08-10 | 2012-03-21 | 株式会社Ｊｖｃケンウッド | 欠陥画素出力信号補正方法 |
| KR101025988B1 (ko) | 2009-08-25 | 2011-03-30 | 삼성전기주식회사 | 이미지 센서의 픽셀 결함 보정 장치 및 방법 |
| JP5541718B2 (ja) * | 2010-08-19 | 2014-07-09 | キヤノン株式会社 | 撮像装置及びその欠陥画素検出方法 |
| US8842912B2 (en) | 2011-05-19 | 2014-09-23 | Foveon, Inc. | Method for processing highlights and saturated regions in a digital image |
| US9191556B2 (en) | 2011-05-19 | 2015-11-17 | Foveon, Inc. | Imaging array having photodiodes with different light sensitivities and associated image restoration methods |
| JP5818568B2 (ja) | 2011-08-09 | 2015-11-18 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JP5898428B2 (ja) | 2011-08-09 | 2016-04-06 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| DE102013209165A1 (de) | 2013-05-17 | 2014-11-20 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Pixelkorrekturverfahren |
| JP6271917B2 (ja) * | 2013-09-06 | 2018-01-31 | キヤノン株式会社 | 画像記録装置及び撮像装置 |
| JP5970012B2 (ja) | 2014-02-27 | 2016-08-17 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| JP6045523B2 (ja) | 2014-02-27 | 2016-12-14 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| JP2017055308A (ja) * | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2017055309A (ja) | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP7285058B2 (ja) | 2018-10-04 | 2023-06-01 | 株式会社ソニー・インタラクティブエンタテインメント | センサモジュール、電子機器、被写体の検出方法、プログラムおよび処理回路 |
| JP7023209B2 (ja) | 2018-10-04 | 2022-02-21 | 株式会社ソニー・インタラクティブエンタテインメント | 電子機器、アクチュエータの制御方法およびプログラム |
| JP7369517B2 (ja) * | 2018-10-04 | 2023-10-26 | 株式会社ソニー・インタラクティブエンタテインメント | センサモジュール、電子機器、被写体の検出方法およびプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5586058A (en) * | 1990-12-04 | 1996-12-17 | Orbot Instruments Ltd. | Apparatus and method for inspection of a patterned object by comparison thereof to a reference |
| EP0496573B1 (en) * | 1991-01-24 | 1995-12-20 | Matsushita Electric Industrial Co., Ltd. | Pixel defect removing circuit for solid-state image pickup device |
| US5392070A (en) * | 1991-11-26 | 1995-02-21 | Kabushiki Kaisha Toshiba | Apparatus for correcting faulty pixel signals by replacing the faulty pixel signals with normal pixel signals |
| KR960003298A (ko) * | 1994-06-02 | 1996-01-26 | 이헌조 | 캠코더의 촬상관 결점보상 방법 및 장치 |
| JP3125124B2 (ja) * | 1994-06-06 | 2001-01-15 | 松下電器産業株式会社 | 欠陥画素傷補正回路 |
| US5982946A (en) * | 1996-09-20 | 1999-11-09 | Dainippon Screen Mfg. Co., Ltd. | Method of identifying defective pixels in digital images, and method of correcting the defective pixels, and apparatus and recording media therefor |
| US6076465A (en) * | 1996-09-20 | 2000-06-20 | Kla-Tencor Corporation | System and method for determining reticle defect printability |
-
1998
- 1998-02-02 JP JP03357198A patent/JP4115574B2/ja not_active Expired - Fee Related
-
1999
- 1999-02-01 US US09/241,086 patent/US6642960B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11220661A (ja) | 1999-08-10 |
| US6642960B1 (en) | 2003-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4115574B2 (ja) | 撮像装置 | |
| JP2931520B2 (ja) | 単板式カラービデオカメラの色分離回路 | |
| US7479998B2 (en) | Image pickup and conversion apparatus | |
| US20080267526A1 (en) | Image processing apparatus | |
| JP5542243B2 (ja) | 画像処理装置、方法及びプログラム並びに撮像装置 | |
| JP2002354498A (ja) | 電子カメラ | |
| US20060050956A1 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
| US8131110B2 (en) | Reducing signal overshoots and undershoots in demosaicking | |
| US20140232901A1 (en) | Imaging apparatus | |
| KR100986203B1 (ko) | 촬상 장치 및 이에 이용하는 결함 화소 보정 방법 | |
| US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
| US20140307130A1 (en) | Imaging device | |
| JP4617870B2 (ja) | 撮像装置および方法、並びにプログラム | |
| JP2004320128A (ja) | 欠陥画素補正装置 | |
| JP2005012479A (ja) | データ処理装置、画像処理装置、カメラおよびデータ処理方法 | |
| JPH07288826A (ja) | フィルム画像再生装置 | |
| JP2001197512A (ja) | 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法 | |
| JP3865943B2 (ja) | シェーディング補正方法 | |
| US9749520B2 (en) | Imaging device and image processing method | |
| JP4057216B2 (ja) | 固体撮像装置および画素欠陥検出方法 | |
| JP4581633B2 (ja) | 色信号補正方法、装置及びプログラム | |
| JP5269954B2 (ja) | 撮像装置 | |
| JP2001211388A (ja) | 画像信号処理装置 | |
| JP2007228152A (ja) | 固体撮像装置および撮像方法 | |
| JP4298219B2 (ja) | 撮像装置及び撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080408 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080416 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120425 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130425 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140425 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |