JP4533124B2 - 画素欠陥補正装置 - Google Patents

画素欠陥補正装置 Download PDF

Info

Publication number
JP4533124B2
JP4533124B2 JP2004369737A JP2004369737A JP4533124B2 JP 4533124 B2 JP4533124 B2 JP 4533124B2 JP 2004369737 A JP2004369737 A JP 2004369737A JP 2004369737 A JP2004369737 A JP 2004369737A JP 4533124 B2 JP4533124 B2 JP 4533124B2
Authority
JP
Japan
Prior art keywords
pixel
defect
point
adjacent
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004369737A
Other languages
English (en)
Other versions
JP2006180099A (ja
Inventor
順三 桜井
Original Assignee
イーストマン コダック カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーストマン コダック カンパニー filed Critical イーストマン コダック カンパニー
Priority to JP2004369737A priority Critical patent/JP4533124B2/ja
Priority to US11/248,882 priority patent/US7593569B2/en
Publication of JP2006180099A publication Critical patent/JP2006180099A/ja
Application granted granted Critical
Publication of JP4533124B2 publication Critical patent/JP4533124B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は画素欠陥補正装置、特に、水平方向及び垂直方向に配列した2次元画素の点欠陥、水平方向欠陥、垂直方向欠陥の補正技術に関する。
デジタルカメラの撮像素子にはCCDやCMOSが用いられており、高画質化の要求に応えるべく画素サイズの縮小及び画素数の増大が図られている。画素サイズの縮小はフォトダイオードや垂直方向(V)転送路の縮小により達成されるが、フォトダイオードやV転送路のサイズ縮小はこれらの欠陥発生の確率を高める。フォトダイオードの局所的結晶欠陥は画素劣化を引き起こし、入射光量に応じた光電変換出力に常に一定のバイアス電圧が印加されてしまう欠陥はモニタ上に高輝度の白い点として現れるため白キズと称される欠陥を引き起こす。フォトダイオードの光感度が低くなる欠陥はモニタ上に黒い点として現れるため黒キズと称される欠陥を引き起こす。また、V転送路にゴミ等が付着する欠陥は電荷の転送を阻害してモニタ上に直線上のキズとして現れるため縦キズと称される欠陥を引き起こす。したがって、これらの点キズや縦キズを補正することが必要である。点キズや縦キズは、点欠陥やV転送路欠陥の生じていない周囲画素の画素値を用いて補正することで補正し得る。
下記に示す従来技術には、点キズや縦キズを補正する技術が開示されている。以下、この従来技術について説明する。
図49は、従来技術の全体処理フローチャートを示す。被写体像は、デジタルカメラのレンズやシャッタ、絞り等の光学系を介してCCDに結像する、CCDを構成する個々のフォトダイオードは被写体からの光をその光量に応じて電気信号に変換して画像信号として出力する。画像信号はA/Dでデジタル信号に変換された後、画像処理部に供給される。画像処理部はシステムLSIで構成され、デジタル画像信号を処理してR,G,B各画像信号を生成する。また、R、G、B各画像信号をD/Aでアナログ信号に変換し、デジタルカメラ背面の表示パネルに表示する。ユーザがデジタルカメラのシャッタボタンを押下操作すると、押下タイミングにおける撮影画像が画像処理部から出力され、メモリに記憶される。画像処理部は、シャッタボタンの押下操作タイミングにおける撮影画像内に、点キズあるいは縦キズが存在するか否かを判定する。そして、点キズあるいは縦キズの少なくともいずれかが存在する場合、まず、点キズ(ポイントキズ)を補正する(S101)。点キズを補正した後、次に縦キズの補正を行うが、縦キズの補正はG画素の縦キズ補正(S102)、R、B画素の縦キズ補正(S103)の順に行い、点キズあるいは縦キズを補正した後に通常の信号処理を行いメモリに記憶する(S104)。
図50は、G画素の点キズ補正の方法を示す。図において、G23画素に点欠陥が生じているものとする。G23画素の周囲の4画素G12、G14、G32、G34を用いて、
G23=(G12+G14+G32+G34)/4
によりG23画素の画素値を補間することで補正する。上式は、G23画素を周囲4画素の平均として補正することを意味する。
図51は、R画素の点キズ補正の方法を示す。図において、R22画素に点欠陥が生じているものとする。R22画素の周囲の4画素R02、R42、R20、R24を用いて、
R22=(R02+R42+R20+R24)/4
によりR22画素の画素値を補正する。B画素の配置はR画素と同様であるため、B画素の点欠陥もR画素の点欠陥と同様に補正し得る。
図52は、G画素の縦キズを示す。G23画素を含むV方向の転送路に欠陥が生じている場合であり、G23を含む縦のラインが黒くなっている。
図53は、図52に示す縦キズを補正するG用縦線キズ補正回路のブロック図である。補正回路10はデジタルカメラの画像処理部内に設けられ、補間パターン部12、縦線キズ検出パターン部14及び演算パターンセレクト部16を有する。補間パターン部12は、予め定められた複数の補正パターンの全てについて補正演算を実行する。縦線キズ検出パターン部14は、縦線キズがどのようなパターンであるかを演算により検出する。演算パターンセレクト部16は、縦線キズ検出パターン部14からの演算結果に基づいて、補正パターンのいずれかを選択し、選択した補正値をG画素の補正値として出力する。
図54は、縦線キズ検出パターン部14での演算の様子を示す。縦線キズ検出パターン部14は、図54に示す4つの演算を実行する。図54(a)は補正すべきG23の隣接右上画素G14と隣接左下画素G32の差分を演算するパターンであり、この方向の差分演算をSlaと略称すると
G(sla)=ABS(G14−G32)
である。ここに、ABSは絶対値を意味する。図54(b)は補正すべきG23の隣接左上画素G12と隣接右下画素G34の差分を演算するパターンであり、この方向の差分演算をBacと略称すると
G(Bac)=ABS(G12−G34)
である。図54(c)は補正すべきG23の左右の直近の水平方向画素G21、G25の差分を演算するパターンであり、この方向の差分演算をHorと略称すると
G(Hor)=ABS(G21−G25)
である。図54(d)は補正すべきG23の直近の垂直方向画素G12、G32、G14、G34の差分を演算するパターンであり、この方向の差分演算をG(Ver)と略称すると
G(ver)=ABS(G12+G14−G32−G34)
である。縦線キズ検出パターン部14は、これら4つの差分演算を実行し、その演算値を演算パターンセレクタ部16に供給する。
図55は、補間パターン部12での演算の様子を示す。図55(a)は、補正すべき画素G23の隣接右上、隣接右下、隣接左上、隣接左下の画素を用いて補正する演算であり、
G23=(G12+G14+G32+G34)/4
である。図55(b)は、補正すべき画素G23の水平方向の画素G21、G25を用いて補正する演算であり、
G23=(G21+G25)/2
である。図55(c)は、補正すべき画素G23の隣接右上及び隣接左下の画素G14、G32を用いて補正する演算であり、
G23=(G14+G32)/2
である。図55(d)は、補正すべき画素G23の隣接左上及び隣接右下の画素G12、G34を用いて補正する演算であり、
G23=(G12+G34)/2
である。補間パターン部12は、これら4つの補正パターンで補正した補正値を演算パターンセレクタ部16に供給する。演算パターンセレクタ部16は、縦線キズ検出パターン部14からの4つの差分演算値の大小比較に応じて、補間パターン部12からの4つの補正値のいずれかを選択して出力する。具体的には、演算パターンセレクタ部16は、差分演算値が小さい演算パターンを演算し、その演算パターンに対応する補正パターンを選択する。演算パターンセレクタ部16は、4つの差分演算値G(Sla)、G(Bac)、G(Hor)、G(Ver)において、
(1)G(Hor)<G(Sla)、かつ、G(Hor)<G(Bac)
を判定する。水平方向画素の差分が小さく、この条件式を満足する場合には、次に、
(2)G(Ver)<しきい値
を判定する。垂直方向の差分が小さく、この条件式も満足する場合には、水平方向及び垂直方向いずれも差分値が小さいことを意味するから、図55(a)の補正パターンを選択する。(1)式は満たすものの(2)式は満たさない場合には、垂直方向の差分値が大きいことを意味するから水平方向の画素のみで補正すべく、図55(b)の補正パターンを選択する。
一方、(1)式を満たさない場合には、
(3)G(Sla)<G(Bac)
を判定する。Sla方向の差分値が小さい場合には、図55(c)の補正パターンを選択する。(3)式を満たさない場合には、逆に図55(d)の補正パターンを選択する。要は、差分演算値が小さく、その画素値が大きく相違しない周囲画素から注目画素を補正するアルゴリズムである。
図56は、R用縦線キズ補正回路のブロック図である。補正回路18は、補間パターン部20、縦線キズ検出パターン部22及び演算パターンセレクタ部24を有する。各部の機能は補正回路10における補間パターン部12、縦線キズ検出パターン部14、演算パターンセレクタ部16とそれぞれ同様である。
図57は、縦線キズ検出パターン部22における演算の様子を示す。図57(a)は、補正すべき画素R22の周囲のG12、G21、G23、G32と、さらに右下及び左上にあるG01、G10、G34、G43を用いた差分演算であり、この方向の差分演算をSlaと略称すると
G’(Sla)=(G12+G21+G23+G32−G01−G10−G34−G43)/2
である。図57(b)は、補正すべき画素R22の周囲画素と、さらに右上及び左下にあるG03、G14、G30、G41を用いた差分演算であり、この方向の差分演算をBacと略称すると
G’(Bac)=(G12+G21+G23+G32−G03−G14−G30−G41)/2
である。図57(c)は、補正すべき画素R22の周囲画素と、さらに水平方向のG10、G30、G14、G34を用いた差分演算であり、この方向の差分演算をHorと略称すると
G’(Hor)=(G12+G21+G23+G32−G10−G30−G14−G34)/2
である。縦線キズ検出パターン部22は、これら3つの差分演算値を演算パターンセレクタ部24に供給する。
図58は、補間パターン部20での演算の様子を示す。図58(a)は、補正すべき画素R22の水平方向の画素R20、R24を用いて補正する演算であり
R22=(R20+R24+G’(Hor))/2
である。図58(b)は、補正すべき画素R22の左上及び右下の画素R00、R44を用いた補正演算であり、
R22=(R00+R44+G’(Sla))/2
である。図58(c)は、補正すべき画素R22の右上及び左下の画素R04、R40を用いた補正演算であり、
R22=(R04+R40+G’(Bac))/2
である。補間パターン部20は、これら3つの補正値を演算パターンセレクタ部24に供給する。演算パターンセレクタ部24は、縦線キズ検出パターン部22からの3つの差分演算値を大小比較する。そして、
(4)ABS(G’(Hor))<ABS(G’(Sla))、かつ、ABS(G’(Hor))<ABS(G’(Bac))
を判定する。水平方向の差分値が小さく、(4)式を満たす場合には、図58(a)の補正パターンを選択する。一方、(1)式を満たさない場合には、次に、
(5)ABS(G’(Sla))<ABS(G’(Bac))
を判定する。水平方向の差分が大きいものの、Slaの差分が小さく上記(5)式を満たす場合には、図58(b)の補正パターンを選択し、(5)式を満たさない場合には図58(c)の補正パターンを選択する。
米国特許6741754号
上記のように、点キズ及び縦キズを順次補正するのでは、それぞれの補正回路が必要になるとともに全ての欠陥を補正するまでに時間を要することとなるため、点キズと縦キズとを同時に処理できることが望ましい。ところが、上記従来技術で点キズと縦キズを同時に処理すると、点キズと縦キズが隣接して存在する場合には、補正の精度が劣化してしまう問題がある。
例えば、図52に示す縦キズに加え、縦キズの隣接画素であるG12とG14に点キズが存在するものとし、各画素の画素値が図59のようであるとする。すなわち、点キズのG12及びG14はともに0〜255の256階調における255で、G21は158、G25は217、G32は183、G34は212であるとする。この場合、図54に示す4つの差分演算値はそれぞれ、
G(Sla)=ABS(G14−G32)=72
G(Bac)=ABS(G12−G34)=43
G(Hor)=ABS(G21−G25)=59
G(Ver)=ABS(G12+G14−G32−G34)=115
であり、演算パターンセレクタ部16は、G(Bac)<G(Hor)であるため図55(d)の補正パターンを選択し、G12とG34とを用いてG23を補正することになる。しかしながら、G12は点キズが生じており、G12が正確な画素値でない限り、G23を補正することができない。
上記のような問題は、点キズと縦キズを同時に補正する場合だけでなく、G画素とR画素とB画素とを同時に補正する場合や、CMOSのゲートスイッチ欠陥により縦キズと横キズとが同時に発生し得る状況において縦キズと横キズとを同時に補正する場合にも生じ得る。
本発明の目的は、点キズと縦キズ、点キズと横キズ、点キズと縦キズと横キズ等を同時に補正する装置を提供することにある。
本発明は、水平方向及び垂直方向に配列した画素の点欠陥及び線欠陥を補正する画素欠陥補正回路であって、点欠陥及び線欠陥の存在及びその位置を検出する手段と、点欠陥画素に隣接する周囲画素の画素値から前記点欠陥画素の画素値を演算することで点欠陥画素を補正する手段と、線欠陥画素内の補正すべき注目画素に対し、隣接する右上画素及び左下画素の画素値の第1差分値、隣接する左上画素及び右下画素の画素値の第2差分値、左上画素及び左下画素の画素値の和と右上画素及び右下画素の画素値の和の第3差分値、左上画素及び右上画素の画素値の和と左下画素と右下画素の画素値の和の第4差分値をそれぞれ演算する手段と、第1差分値、第2差分値、第3差分値、及び第4差分値の大小関係に応じた補正パターンで右上画素、右下画素、左上画素、左下画素の少なくともいずれかの画素値から前記注目画素の画素値を演算することで線欠陥画素を補正する手段とを有することを特徴とする。
また、本発明は、水平方向及び垂直方向に配列した画素の点欠陥及び線欠陥を補正する画素欠陥補正回路であって、点欠陥及び線欠陥の存在及びその位置を検出する手段と、点欠陥画素に隣接する周囲画素の画素値から前記点欠陥画素の画素値を演算することで点欠陥画素を補正する手段と、線欠陥画素内の補正すべき注目画素は、ベイヤー配列におけるR画素あるいはB画素であり、前記ベイヤー配列におけるG画素をGij、R画素をRij、B画素をBij(i,jは0以上の整数)とした場合であって前記注目画素をR22としたときに、
第1差分値=G21×2+G23×2−G01−G10−G34−G43
第2差分値=G21×2+G23×2−G03−G14−G30−G41
第3差分値=G21×2+G23×2−G10−G30−G14−G34
を演算する演算手段と、第1差分値、第2差分値、及び第3差分値の大小関係に応じた補正パターンで前記注目画素の画素値を演算することで縦線欠陥画素を補正する手段とを有することを特徴とする。
また、本発明は、水平方向及び垂直方向に配列した画素の点欠陥及び線欠陥を補正する画素欠陥補正回路であって、点欠陥及び線欠陥の存在及びその位置を検出する手段と、点欠陥画素に隣接する周囲画素の画素値から前記点欠陥画素の画素値を演算することで点欠陥画素を補正する手段と、線欠陥画素内の補正すべき注目画素は、ベイヤー配列におけるR画素あるいはB画素であり、前記ベイヤー配列におけるG画素をGij、R画素をRij、B画素をBij(i,jは0以上の整数)とした場合であって前記注目画素をR22としたときに、前記演算する手段は、
第1差分値=G12×2+G32×2−G01−G10−G34−G43
第2差分値=G12×2+G32×2−G03−G14−G30−G41
第3差分値=G12×2+G32×2−G10−G30−G14−G34
を演算する演算手段と、第1差分値、第2差分値、及び第3差分値の大小関係に応じた補正パターンで前記注目画素の画素値を演算することで横線欠陥画素を補正する手段とを有することを特徴とする。
本発明によれば、点欠陥画素や線欠陥画素を確実に補正できる。また、点欠陥画素と線欠陥画素を同時並行して補正できる。
以下、図面に基づき本発明の実施形態について説明する。
<第1実施形態>
図1は、本実施形態の画素欠陥補正回路を組み込んだデジタルカメラの全体構成を示す。絞り50及びレンズ52を含む光学系は、被写体からの光をCCD54に導く。絞り50の前に遮光フィルタ51を配置してもよい。CCD54は、被写体からの光をその光量に応じて電気信号に変換し、CDS(相関2重サンプリング)56に供給する。CDS56は、画像信号をサンプリングし、アンプ(AMP)58を介してA/D60に供給する。アンプ(AMP)58は画像信号のゲインを調整し、A/D60はサンプリングされた画像信号をデジタル信号に変換してフレームメモリとしての画像メモリ62に供給する。CCD54、CDS56、A/D60の動作は、シグナルジェネレータ(SG)68及びタイミングジェネレータ(TG)66からのタイミング信号で制御され、画像メモリ62のデータの読み出し/書き込みは、メモリコントローラ70で制御される。タイミングジェネレータ66及びメモリコントローラ70の動作は、CPU72からの制御信号で制御される。CPU72は、操作部92からの操作信号やCCD54の温度を検出する温度センサ64からの温度信号に応じて制御信号を各部に供給する。画像メモリ62は、メモリコントローラ70からのコントロール信号に応じて画像データを欠陥検出回路74、欠陥補正回路76及び欠陥デコード回路78に供給する。欠陥検出回路74は、画像データから撮影画像内に存在する欠陥を検出し、検出結果をCPU72に供給する。CPU72は、欠陥が存在する場合にその欠陥画素のアドレスをEEPROM等の欠陥メモリ80に記憶する。欠陥メモリ80は、欠陥画素のアドレスデータを欠陥デコード回路78に供給する。欠陥デコード回路78は、欠陥画素のアドレスデータに基づいて画像メモリ62からの現信号に同期して欠陥情報を読み出して欠陥補正回路76に供給する。欠陥補正回路76は、画像メモリ62からの画像データと、欠陥デコード回路78からの欠陥情報から、欠陥を補正して画像信号処理回路82に供給する。
本実施形態における欠陥補正回路76は、欠陥の種別によらずこれらを同時に補正処理する。すなわち、欠陥画素がG画素かR画素かB画素かを判別し、まず優先的にG画素を補正してから次にR画素、B画素を補正する、等のアルゴリズムではなく、G画素とR画素とB画素とを同時に、つまり並行して処理する。画像信号処理回路82は、点キズ及び縦キズが補正された画像データに対してホワイトバランス処理やガンマ補正処理あるいはエッジ処理を行い、さらにR,G,B各画像データを生成しあるいはこれらから輝度Y信号とCb、Cr信号を生成してDRAM84及び圧縮伸長回路86を介してフラッシュメモリ等の記憶媒体90に記憶する。画像データは、圧縮伸長回路86で圧縮され記憶媒体90に記憶される。また、記憶媒体90から読み出された画像データは圧縮伸長回路86で伸長され、DRAM84を介してLCD88に表示される。欠陥補正回路76や欠陥デコード回路78は、CPU72からの、操作部92からのシャッタボタン操作信号に応じた制御信号により動作する。シャッタボタン押下前は画像メモリ62には順次画像データが上書きされ、シャッタボタンの押下によりそのときの画像データが欠陥補正されて記憶媒体90に記憶される。なお、LCD88に表示される画像の欠陥も補正すべく、シャッタボタン押下前であっても常に欠陥補正回路76で画像データの欠陥を補正してもよい。
図2は、CCD54のカラーフィルタ配列を示す。いわゆるBayer(ベイヤー)配列であり、水平方向及び垂直方向にR画素とG画素、B画素とG画素が交互に配列する。R00、R02、R04、R20、R22、R24、R40、R42、R44はR(赤)画素であり、B11、B13、B15、B31、B33、B35はB(青)画素であり、G01、G03、G05、G10、G12、G14、G21、G23、G25、G30、G32、G34、G41、G43、G45はG(緑)画素である。
図3は、本実施形態の全体処理フローチャートを示す。ユーザがシャッタボタンを押下操作すると、欠陥補正回路76は点キズを補正する(S201)。次に、G縦線キズとR,B縦線キズを同時に補正する(S202−1、S202−2)。ここに、同時に補正とは、上記のように補正すべき注目画素に対してまずG縦キズのみを優先的に補正する等のシーケンシャル処理ではなく、G縦キズの補正とR、B縦キズの補正をともに(並行処理で)実行することを意味する。G縦キズとR、B縦キズをともに補正した後、セレクタで切り替えて出力し(S203)、画像処理を順次行う(S204)。
図4は、図1における欠陥補正回路76の構成を示す。欠陥補正回路76は、G画素の点キズを補正するG用ポイント欠陥補正部76b、R画素及びB画素の点キズを補正するRB用ポイント欠陥補正部76c、G画素の縦キズを補正するG用縦線キズ補正部76f、R画素及びB画素の縦キズを補正するRB用縦線キズ補正部76gを有する。G用ポイント欠陥補正部76bとRB用ポイント欠陥補正部76cは互いに並列に設けられ、G用縦線キズ補正部76fとRB用縦線キズ補正部76gも互いに配列に設けられる。
4Hラインメモリと4クロックディレー回路76aは、フレームメモリとしての画像メモリ62からシーケンシャルに供給される画像データに対し、4H(4水平ライン)分の画像データをそれぞれ記憶するとともに、4Hの各水平ライン毎に4クロック(4ドット)ずつ遅延させる。4Hラインメモリと4クロックディレー回路76aのそれぞれの遅延素子から合計25画素のデータが出力される。
図5は、4Hラインメモリと4クロックディレー回路76aの構成及び特定タイミングにおける出力を示す。図中Hはラインメモリ、Dは遅延素子を示す。第1ラインに着目すると、第1ラインは4つの遅延素子を有し、第1の遅延素子の入力端からG01、第1の遅延素子の出力端からR02、第2の遅延素子の出力端からG03、第3の遅延素子の出力端からR04、第4の遅延素子の出力端からG05がそれぞれ出力される。第2ラインに着目すると、第2ラインも4つの遅延素子を有し、第1の遅延素子の入力端からB11、第1の遅延素子の出力端からG12、第2の遅延素子の出力端からB13、第3の遅延素子の出力端からG14、第4の遅延素子の出力端からB15がそれぞれ出力される。第3ラインに着目すると、第1の遅延素子の入力端からG21、出力端からR22、第2の遅延素子の出力端からG23、第3の遅延素子の出力端からR24、第4の遅延素子の出力端からG25がそれぞれ出力される。第4ラインに着目すると、第1の遅延素子の入力端からB31、出力端からG32、第2の遅延素子の出力端からB33、第3の遅延素子の出力端からG34、第4の遅延素子の出力端からB35が出力される。第5ラインに着目すると、第1の遅延素子の入力端からG41、出力端からR42、第2の遅延素子の出力端からG43、第3の遅延素子の出力端からR44、第4の遅延素子の出力端からG45が出力される。これら25画素の中央に位置する画素、すなわち第3ラインの第2遅延素子の出力端から出力されるG23が処理対象の画素であり補正対象の画素である。図において、G23を「注目画素」として示している。4Hラインメモリと4クロックディレー回路76aは、G01〜G45の合計25画素分のデータを生成してG用ポイント欠陥補正部76bに供給する。
一方、図6は、4Hラインメモリと4クロックディレー回路76aの別のタイミングにおける出力を示す。第1ラインに着目すると、第1の遅延素子の入力端からR00、出力端からG01、第2の遅延素子の出力端からR02、第3の遅延素子の出力端からG03、第4の遅延素子の出力端からR04がそれぞれ出力される。第2ラインに着目すると、第1の遅延素子の入力端からG10、出力端からB11、第2の遅延素子の出力端からG12、第3の遅延素子の出力端からB13、第4の遅延素子の出力端からG14がそれぞれ出力される。第3ラインに着目すると、第1の遅延素子の入力端からR20、出力端からG21、第2の遅延素子の出力端からR22、第3の遅延素子の出力端からG23、第4の遅延素子の出力端からR24がそれぞれ出力される。第4ラインに着目すると、第1の遅延素子の入力端からG30、出力端からB31、第2の遅延素子の出力端からG32、第3の遅延素子の出力端からB33、第4の遅延素子の出力端からG34がそれぞれ出力される。第5ラインに着目すると、第1の遅延素子の入力端からR40、出力端からG41、第2の遅延素子の出力端からR42、第3の遅延素子の出力端からG43、第4の遅延素子の出力端からR44がそれぞれ出力される。中央の画素R22が処理対象の画素であり、補正対象の画素である。4Hラインメモリと4クロックディレー回路76aは、R00〜R44の合計25画素分のデータを生成してRB用ポイント欠陥補正部76bに供給する。
G用ポイント欠陥補正部76bは、25画素分の画素データを用いて、従来と同様に点キズを補正する。すなわち、図50に示すように、補正対象であるG23の周囲に存在するG12、G14、G32、G34のデータを用いて、
G23=(G12+G14+G32+G34)/4
によりG23を補間する。G23に点キズが存在することは、欠陥デコード回路78からの欠陥情報に基づく。G用ポイント欠陥補正部76bは、欠陥デコード回路78からのポイントキズ情報に基づき、G23のアドレスに欠陥が生じていること、及びこの欠陥が点キズであることを判定し、G23の画素データを採用せず、上式に従ってG23の画素データを補間し、補間値をG23の画素データとして出力する。
また、RB用ポイント欠陥補正部76cも、25画素分の画素データを用いて、従来と同様に点キズを補正する。すなわち、図51に示すように、補正対象であるR22の周囲に存在するR20、R02、R24、R42のデータを用いて、
R22=(R02+R42+R20+R24)/4
によりR22を補間する。B画素についても同様である。
再び図4に戻り、G用ポイント欠陥補正部76b及びRB用ポイント欠陥補正部76cは、以上のように点キズを補正した後、RB/Gセレクタに出力する。
RB/Gセレクタ76dは、CPU72からのRB/Gを識別するセレクタパルスに応じて出力を切替え、再びシーケンシャルに画像データを出力する。
4Hラインメモリと4クロックディレー回路76eは、4Hラインメモリと4クロックディレー回路76aと同様に、シーケンシャルな画像データから25画素分の画素データを出力し、G用縦線キズ補正部76fとRB用縦線キズ補正部76gに供給する。なお、縦線キズが存在しない場合を考慮し、画素データをこれらの補正部に出力せず、直接RB/G縦線キズセレクタ76hにも供給する。
図7は、図4におけるG用縦線キズ補正部76fの構成を示す。G用縦線キズ補正部76fは、図53に示す補正部10と同様に、補間パターン部76f1、縦線キズ検出パターン部76f2、演算パターンセレクタ部76f3を有する。各部の機能も補正部10の各部と同様であるが、縦線キズ検出パターン部76f2における差分演算のパターンが異なる。
図8は、縦線キズ検出パターン部76f2における差分演算の様子を示す。図54に示す従来の差分演算パターンに対応するものである。図8(a)、(b)、(d)の差分演算はそれぞれ図54(a)、(b)、(d)の差分演算と同一であるが、図8(c)の差分演算、すなわちG(Hor)は図54(c)の差分演算と異なる。縦線キズ検出パターン部76f2は、差分演算G(Hor)として、G23の上側に位置する水平画素G12、G14及び下側に位置する水平画素G32、G34を用いて
G(Hor)=ABS(G12+G32−G14−G34)
を演算する。G12、G14、G32、G34は、G23を含む縦ラインに隣接する画素であり、仮に縦キズに隣接して点キズが存在している場合に、この点キズの影響を受け得る画素である。
図9は、図7における補間パターン部76f1の演算の様子を示す。図55に示す従来の補間パターンに対応するものであり、図55に示す補間パターンと同一である。
このように、補間パターン部76f1の補間パターンは従来と同一であるものの、縦線キズ検出パターン部76f2におけるG(Hor)の差分演算が従来と異なる。したがって、仮にG23に縦線キズが存在し、かつ、この縦線キズに隣接して点キズが存在していても、G(Hor)の差分値は従来と異なり、従来と同一の選択アルゴリズムを採用していても異なる補間パターンを選択することになる。具体的に説明すると以下のようになる。図59に示すように、縦キズに隣接してG12、G14に点キズが生じている場合、本実施形態の差分演算では、
G(Sla)=72
G(Bac)=43
G(Hor)=29
G(Ver)=115
となり、G(Hor)の値が従来の値59よりも小さくなることに着目されたい。従って、差分演算値の大小を比較するアルゴリズムにおいて、G(Hor)<G(Sla)、かつ、G(Hor)<G(Bac)を満たすことになり、図9(a)または(b)のいずれかがG(Ver)としきい値との大小に応じて選択される。例えばしきい値との関係で115>しきい値であれば、図9(b)の補間パターンが選択される。図9(b)の補間パターンは、点キズの生じているG12あるいはG14を用いない補間パターンであって、点キズの影響を受けずに縦キズを補正し得る。
図10は、図4におけるRB用縦線キズ補正部76gの構成を示す。図56に示す従来の補正部18に対応する。補間パターン部76g1、縦線キズ検出パターン部76g2、演算パターンセレクタ部76g3の機能は図56の各部と同様である。
図11は、図10における縦線キズ検出パターン部76g2における差分演算パターンを示す。図57に示す従来の差分演算に対応するものである。G’(Sla)、G’(Bac)、G’(Hor)のいずれも従来の差分演算と異なる。すなわち、図11(a)はSla方向の差分演算であり
G’(Sla)=(G21×2+G23×2−G01−G10−G34−G43)/2
である。図11(b)はBac方向の差分演算であり
G’(Bac)=(G21×2+G23×2−G03−G04−G30−G40)/2
である。図11(c)はHor方向の差分演算であり
G’(Hor)=(G21×2+G23×2−G10−G30−G14−G34)/2
である。いずれの差分演算も、従来と比較してG12及びG32を用いず、G21及びG23を重複して用いる点が異なる。
図12は、図10における補間パターン部76g1の補間パターンを示す。図58に示す従来の補間パターンと同一である。
このように、補間パターン部76g1における補間パターンは従来と同一であるものの、縦線キズ検出パターン部76g2における差分演算は従来と異なる。従って、従来と同一の選択アルゴリズムを用いた場合でも、従来と異なる補間パターンが選択される。具体的には、差分演算としてG12及びG32を用いないため、縦キズの影響を受けることなく補間パターンを選択し得る。選択アルゴリズムは、まずABS(G’(Hor))<ABS(G’(Sla))、かつ、ABS(G’(Hor))<ABS(G’(Bac))であるか否かを判定し、水平方向の差分が小さくこれを満たす場合には図12(a)の補間パターンを選択する。一方、上式を満たさない場合には、次にABS(G’Sla))<ABS(G’Bac))であるか否かを判定し、Slaの差分が小さくこの条件を満たす場合には図12(b)の補間パターンを選択し、満たさない場合には図12(c)の補間パターンを選択するアルゴリズムである。
以上のようにしてG用縦線キズ補正部76f、RB用縦線キズ補正部76gは、縦キズを補正してセレクタ76hに供給する。セレクタ76hは、欠陥デコード回路78からの欠陥情報に応じてこれらを切替出力する。すなわち、縦キズが存在するアドレスでは補正済みの画素データを出力し、縦キズが存在しないアドレスでは補正しない画素データを出力する。
<第2実施形態>
上記の第1実施形態では、G縦線キズとRB縦線キズとを同時に補正する例を説明したが、本実施形態では、縦キズのみならず横キズも同時に補正する場合について説明する。
図13は、本実施形態の処理フローチャートを示す。まず点キズについて補正し(S301)、その後に、G縦線キズ補正(S302−1)、RB縦線キズ補正(S302−2)、G横線キズ補正(S302−3)、RB横線キズ補正(S302−4)を同時に、つまり並行して処理する。キズ補正を行った後、セレクタで出力を切り替えて出力し(S303)、信号処理を施した後に記憶媒体90に記憶する(S304)。
図14は、本実施形態における欠陥補正回路76の構成を示す。図4に示す構成に対し、G用横線キズ補正部76i、RB用横線キズ補正部76j、RB交差キズ補正部76kが付加される。G用縦線キズ補正部76f〜RB交差キズ補正部76kは、互いに並列に設けられる。
図15は、図14におけるG用横線キズ補正部76iの構成を示す。補間パターン部76i1は所定の補間パターンの演算を行い、補間値を演算パターンセレクタ部76i3に供給する。横線キズ検出パターン部76i2は、差分演算を行い、差分値を演算パターンセレクタ部76i3に供給する。演算パターンセレクタ部76i3は、差分値の大小比較を行い、その結果に応じていずれかの補間値を選択して出力する。
図16は、横線キズ検出パターン部76i2における差分演算を示す。図16(a)はSla方向の差分演算であり、補正対象であるG23に隣接するG14、G23を用いて
G(Sla)=ABS(G14−G32)
を演算する。図16(b)はBac方向の差分演算であり、G12、G34を用いて
G(Bac)=ABS(G12−G34)
を演算する。図16(c)はVer方向の差分演算であり、G12、G14、G32、G34を用いて
G(Ver)=ABS(G12+G14−G32−G34)
を演算する。図16(d)はHor方向の差分演算であり、G12、G14、G32、G34を用いて
G(Hor)=ABS(G12+G32−G14−G34)
を演算する。通常、Ver方向の差分演算としては
G(Ver)=ABS(G03−G43)
を用いるが、本実施形態ではこれを用いず、G12、G14、G32、G34を用いて差分演算を実行する点に着目されたい。本実施形態のG(Ver)は、第1実施形態のG(Hor)に対応し、横キズに隣接して点キズが存在する場合を考慮したものである。なお、図16の差分演算は、縦キズの場合の差分演算を示す図8と同一である。図16(c)は図8(d)に対応し、図16(d)は図8(c)に対応する。
図17は、図15における補間パターン部76i1の補間パターンを示す。図17(a)は補正対象のG23に隣接する4つの画素G12、G14、G32、G34を用いて
G23=(G12+G14+G32+G34)/4
により補間する。図17(b)は、G03とG43を用いて
G23=(G03+G43)/2
により補間する。図17(c)はG14とG32を用いて
G23=(G14+G32)/2
により補間する。図17(d)はG12とG34を用いて
G23=(G12+G34)/2
により補間する。演算パターンセレクタ76i3は、図16に示す4個の差分値を大小比較し、まず、G(Ver)<G(Sla)、かつ、G(Ver)<G(Bac)であるか否かを判定する。垂直方向の差分値G(Ver)が小さく、上記の式を満足する場合には、さらにG(Hor)<しきい値であるか否かを判定する。水平方向の差分値G(Hor)も小さくしきい値より小さければ、図17(a)の補間パターンを選択し、そうでなければ図17(b)の補間パターンを選択する。一方、G(Ver)が大きい場合には、次にG(Sla)<G(Bac)であるか否かを判定し、これを満たす場合には図17(c)の補間パターンを選択し、満たさない場合には図17(d)の補間パターンを選択する。
このような選択アルゴリズムにおいて、横キズに隣接して例えばG12やG14に点キズが生じていると、G(Ver)が小さくなるため図17(b)の補間パターンが選択される可能性が高くなり、点キズの生じている画素を用いて補正する事態を抑制できる。
図18は、図14におけるRB用横線キズ補正部76jの構成を示す。補間パターン部76j1、横線キズ検出パターン部76j2、演算パターンセレクタ部76j3を有する。
図19は、図18における横線キズ検出パターン部76j2の差分演算パターンを示す。図11に示す縦キズの場合と異なり、上下に隣接するG12、G32を用いる。図19(a)はSla方向の差分演算であり、
G’(Sla)=(G12×2+G32×2−G01−G10−G34−G43)/2
である。図19(b)はBac方向の差分演算であり、
G’(Bac)=(G12×2+G32×2−G03−G14−G30−G41)/2
である。図19(c)はHor方向の差分演算であり、
G’(Hor)=(G12×2+G32×2−G01−G03−G41−G43)/2
である。
図20は、図18における補間パターン部76j1の補間パターンを示す。図20(a)は上下のR02、R42を用いた補間であって、
R22=(R02+R42+G’(Hor))/2
により補間する。図20(b)はR00、R44を用いた補間であって、
R22=(R00+R44+G’(Sla))/2
により補間する。図20(c)はR04、R40を用いた補間であって、
R22=(R04+R40+G’(Bac))/2
により補間する。演算パターンセレクタ部76j3は、差分値の大小を比較し、比較結果に応じていずれかの補間値を選択する。具体的には、まず、ABS(G’(Ver))<ABS(G’Sla))、かつ、ABS(G’(Ver))<ABS(G’(Bac))であるか否かを判定し、垂直方向の差分が小さく上式を満たす場合には図20(a)の補間パターンを選択する。一方、垂直方向の差分が大きくこれを満たさない場合には、次にABS(G’(Sla))<ABS(G’(Bac))であるか否かを判定する。Slaの差分値が小さくこれを満たす場合には図20(b)の補間パターンを選択し、満たさない場合には図20(c)の補間パターンを選択する。
図21は、図14におけるRB交差キズ補正部76kの構成を示す。RB交差キズ補正部76kは、補間パターン部76k1を有する。交差キズは、縦キズと横キズの交差部分に生じるキズであって、そのパターンは一つである。したがって、縦キズや横キズの場合のように複数の差分演算を行い、その大小比較に応じて補間パターンを選択する必要がない。このため、交差キズ補正部76kは、交差キズ検出パターン部や演算パターンセレクタ部を有する必要はない。
図22は、補間パターン部76kにおける補間パターンを示す。交差キズの生じている補正対象であるR22に対し、周囲の4つの画素R00、R04、R40、R44を用いて
R22=(R00+R04+R40+R44)/4
により補間する。なお、G画素の交差キズも存在し得るが、G画素の交差キズは点キズとして
G23=(G12+G14+G32+G34)/4
により補間できる。図14において、RB交差キズ補正部76kが存在し、G交差キズ補正部が存在しない所以である(G交差キズ補正部はG用ポイント欠陥補正部76bが兼用する)。
<第3実施形態>
上記の第2実施形態では、縦キズと横キズを同時に並行して処理する場合について説明した。本実施形態では、点キズと縦キズを同時に並行して処理する場合について説明する。
図23は、本実施形態の全体処理フローチャートを示す。まず、Gポイントキズの補正(S401−1)、RBポイントキズの補正(S401−2)、G縦線キズの補正(S401−3)、RB縦線キズの補正(S401−4)を同時に実行する。点キズを補正した後、セレクタでこれらを切替出力し(S402)、ガンマ補正等の信号処理を実行して記憶媒体90に記憶する(S403)。
図24は、本実施形態の欠陥補正回路76の構成を示す。図4に示す構成と異なる点は、G用縦線キズ補正部76f及びRB用縦線キズ補正部76gがG用ポイント欠陥補正部76b、RB用ポイント欠陥補正部76cと並列に設けられており、4Hラインメモリと4クロックディレー回路76e及びセレクタ76hが除去されている点である。すなわち、図4における4Hラインメモリと4クロックディレー回路76a、76eが共通化されて単一の回路76aとなり、構成が簡易化されている。
4Hラインメモリと4クロックディレー回路76aは、25画素分の画素データを各補正部76b〜76gに供給する。各補正部は、これらの画素データを用いてキズ補正を実行し、欠陥パターンセレクタ76mに供給する。一方、4Hラインメモリと4クロックディレー回路76aは、キズが存在しない場合に対応すべく補正しないデータを欠陥パターンセレクタ76mに供給する。欠陥パターンセレクタ76mは、欠陥デコード回路78からの欠陥情報に基づいて出力を切り替える。すなわち、G画素の点キズが存在する場合には補正部76bからのデータを出力し、RB用縦キズが存在する場合には補正部76gからのデータを出力する。点キズ、縦キズいずれも存在しない部位では補正なしのデータを出力する。
図25は、G用ポイント欠陥補正部76bの構成を示す。G用ポイント欠陥補正部76bは、演算部76b1と、隣接欠陥パターン検出部76b2と、演算パターンセレクタ部76b3を有する。演算部76b1は、25画素分のデータから16通りの演算を実行し、その演算値を演算パターンセレクタ部76b3に供給する。16通りの演算は、補正対象の画素G23に対して点欠陥が存在する相対的位置に応じて定まる演算である。隣接欠陥パターン検出部76b2は、この相対的位置、すなわち欠陥パターンを検出してその結果を演算パターンセレクタ部76b3に供給する。演算パターンセレクタ部76b3は、検出された欠陥パターンに応じて16通りの演算からいずれかの演算値を選択して出力する。
図26は、演算部76b1で演算される16通りの演算を欠陥パターンと対応付けて示す。図26(a)は補正対象の画素G23に対して点キズが存在しない場合の演算であり、
G23=(G12+G14+G32+G34)/4
である。図26(b)はG23に対して隣接左上G12に点キズが存在する場合であり、
G23=(2×G14+G32+G34)/4
である。図中斜線はキズが生じていることを示す。図26(c)はG23に対して隣接右上G14に点キズが存在する場合であり、
G23=(2×G12+G32+G34)/4
である。図26(d)はG23に対して隣接左上G12と隣接右上G14に点キズが存在する場合であり、
G23=(2×G32+2×G34)/4
である。図26(e)はG23に対して隣接左下G32に点キズが存在する場合であり、
G23=(2×G34+G12+G14)/4
である。図26(f)はG23に対して隣接左上G12と隣接左下G32に点キズが存在する場合であり、
G23=(2×G14+2×G34)/4
である。図26(g)はG23に対して隣接右上G14と隣接左下G32に点キズが存在する場合であり、
G23=(2×G12+2×G34)/4
である。図26(h)はG23に対して隣接右上G14、隣接左上G12及び隣接左下G32に点キズが存在する場合であり、
G23=(4×G34)/4
である。図26(i)はG23に対して隣接右下G34に点キズが存在する場合であり、
G23=(2×G32+G12+G14)/4
である。図26(j)はG23に対して隣接左上G12と隣接右下G34に点キズが存在する場合であり、
G23=(2×G14+2×G32)/4
である。図26(k)はG23に対して隣接右上G14と隣接右下G34に点キズが存在する場合であり、
G23=(2×G12+2×G32)/4
である。図26(l)はG23に対して隣接左上G12、隣接右上G14及び隣接右下G34に点キズが存在する場合であり、
G23=(4×G32)/4
である。図26(m)はG23に対して隣接右下G34と隣接左下G32に点キズが存在する場合であり、
G23=(2×G14+2×G32)/4
である。図26(n)はG23に対して隣接左上G12、隣接左下G32及び隣接右下G34に点キズが存在する場合であり、
G23=(4×G14)/4
である。図26(o)はG23に対して隣接右上G14、隣接右下G34及び隣接左下G32に点キズが存在する場合であり、
G23=(4×G12)/4
である。図26(p)はG23に対して隣接左上G12、隣接左下G32、隣接右上G14、隣接右下G34の全てに点キズが存在する場合であり、
G23=G23
である。これは、周囲画素から補間できずそのまま出力することを意味する(補正しない場合と結果として同一)。
図27は、図25における隣接欠陥パターン検出部76b2の構成を示す。4Hラインメモリ及びクロックディレー回路から構成される。隣接欠陥パターン検出部76b2には、補正対象画素G23に対し、点キズの画素が隣接しているか否かを示す隣接フラグが欠陥デコード回路78から供給される。隣接フラグは1ビットであり、隣接していればフラグ=1、隣接していなければフラグ=0である。4Hラインメモリ及びクロックディレー回路の各素子からは、フラグが1あるいは0が出力される。したがって、各素子からのフラグの値により、補正対象画素G23に対し、どのような欠陥パターンであるかを検出できる。例えば、第2ラインの第1の遅延素子の出力はG12に対応し、このフラグの値が1で他が0であれば図26(b)の欠陥パターンであることがわかる。また、第4ラインの第3遅延素子の出力はG34に対応し、このフラグの値が1で他が0であれば図26(i)の欠陥パターンであることがわかる。演算パターンセレクタ部76b3は、G12、G14、G32、G34に対応するフラグの値が1であるか0であるかを判定することで、図26(a)〜(p)のいずれであるかを識別し、その欠陥パターンに対応した演算値を選択する。具体的には、隣接欠陥パターン検出部76b2は、G12、G14、G32、G34に対応するフラグの値を4ビットで出力し、
隣接欠陥パターン値=G12+G14×2+G32×4+G34×8
として出力する。隣接欠陥パターン値は0〜15のいずれかの値であり、これらの値はそれぞれ図26(a)〜(p)に対応する。図26(a)は隣接パターン値=0であり、図26(p)は隣接パターン値=15である。
図28は、RB用ポイント欠陥補正部76cの構成を示す。RB用ポイント欠陥補正部76cは、演算部76c1と、隣接欠陥パターン検出部76c2と、演算パターンセレクタ部76c3を有する。演算部76c1は、25画素分のデータから16通りの演算を実行し、その演算値を演算パターンセレクタ部76c3に供給する。16通りの演算は、補正対象の画素R22(補正対象がR画素の場合)に対して点欠陥が存在する相対的位置に応じて定まる演算である。隣接欠陥パターン検出部76c2は、この相対的位置、すなわち欠陥パターンを検出してその結果を演算パターンセレクタ部76c3に供給する。演算パターンセレクタ部76c3は、検出された欠陥パターンに応じて16通りの演算からいずれかの演算値を選択して出力する。
図29は、演算部76c1で演算される16通りの演算を欠陥パターンと対応付けて示す。図29(a)は補正対象の画素R22に対して点キズが存在しない場合の演算であり、
R22=(R02+R42+R20+R24)/4
である。図29(b)はR22に対して隣接上に点キズが存在する場合であり、
R22=(2×R42+R20+R24)/4
である。図中斜線はキズが生じていることを示す。図29(c)はR22に対して隣接下に点キズが存在する場合であり、
R22=(2×R02+R20+R24)/4
である。図29(d)はR22に対して隣接上と隣接下に点キズが存在する場合であり、
R22=(2×R20+2×R24)/4
である。図29(e)はR22に対して隣接左に点キズが存在する場合であり、
R22=(2×R24+R02+R42)/4
である。図29(f)はR22に対して隣接左と隣接上に点キズが存在する場合であり、
R22=(2×R42+2×R24)/4
である。図29(g)はR22に対して隣接左と隣接下に点キズが存在する場合であり、
R22=(2×R02+2×R24)/4
である。図29(h)はR22に対して隣接上、隣接左及び隣接下に点キズが存在する場合であり、
R22=(4×R24)/4
である。図29(i)はR22に対して隣接右の点キズが存在する場合であり、
R22=(2×R20+R02+R42)/4
である。図29(j)はR22に対して隣接上と隣接右に点キズが存在する場合であり、
R22=(2×R42+2×R20)/4
である。図29(k)はR22に対して隣接右と隣接下に点キズが存在する場合であり、
R22=(2×R02+2×R20)/4
である。図29(l)はR22に対して隣接上、隣接右及び隣接下に点キズが存在する場合であり、
R22=(4×R20)/4
である。図29(m)はR22に対して隣接右と隣接左に点キズが存在する場合であり、
R22=(2×R42+2×R20)/4
である。図29(n)はR22に対して隣接左、隣接上及び隣接右に点キズが存在する場合であり、
R22=(4×R42)/4
である。図29(o)はR22に対して隣接左、隣接下及び隣接右に点キズが存在する場合であり、
R22=(4×R02)/4
である。図29(p)はR22に対して隣接左、隣接下、隣接右、隣接上の全てに点キズが存在する場合であり、
R22=R22
である。これは、周囲画素から補間できずそのまま出力することを意味する(補正しない場合と結果として同一)。
図30は、図28における隣接欠陥パターン検出部76c2の構成を示す。4Hラインメモリ及びクロックディレー回路から構成される。隣接欠陥パターン検出部76c2には、補正対象画素R22に対し、点キズの画素が隣接しているか否かを示す隣接フラグが欠陥デコード回路78から供給される。隣接フラグは1ビットであり、隣接していればフラグ=1、隣接していなければフラグ=0である。4Hラインメモリ及びクロックディレー回路の各素子からは、フラグが1あるいは0が出力される。したがって、各素子からのフラグの値により、補正対象画素R22に対し、どのような欠陥パターンであるかを検出できる。例えば、第1ラインの第2の遅延素子の出力はR02に対応し、このフラグの値が1で他が0であれば図29(b)の欠陥パターンであることがわかる。また、第3ラインの第4遅延素子の出力はR24に対応し、このフラグの値が1で他が0であれば図29(i)の欠陥パターンであることがわかる。演算パターンセレクタ部76c3は、R02、R20、R24、R42に対応するフラグの値が1であるか0であるかを判定することで、図29(a)〜(p)のいずれであるかを識別し、その欠陥パターンに対応した演算値を選択する。具体的には、隣接欠陥パターン検出部76c2は、R02、R24、R42に対応するフラグの値を4ビットで出力し、
隣接欠陥パターン値=R02+R42×2+R20×4+R24×8
として出力する。隣接欠陥パターン値は0〜15のいずれかの値であり、これらの値はそれぞれ図29(a)〜(p)に対応する。図29(a)は隣接パターン値=0であり、図29(p)は隣接パターン値=15である。
図31は、図24におけるG用縦線キズ補正部76fの構成を示す。G用縦線キズ補正部76fは、補間パターン部76f1と、演算部76f4と、縦線キズ検出パターン部76f2と、演算パターンセレクタ部76f3と、隣接欠陥パターン検出部76f5を有する。補間パターン部76f1及び縦線キズ検出パターン部76f2は、図7に示す補間パターン部76f1及び縦線キズ検出パターン部76f2と同一機能を有する。演算部76f4は、16通りの補間演算を行い、その結果を演算パターンセレクタ部76f3に供給する。隣接欠陥パターン部76f5は、隣接欠陥のパターン、すなわち点キズが縦キズに隣接して存在する場合のパターンを検出して演算パターンセレクタ76f3に供給する。演算パターンセレクタ部76f3は、図7に示すセレクタ部76f3と同様に補間パターン部76f1及び縦線キズ検出パターン部76f2に基づいて補正するか、あるいは演算部76f4と隣接欠陥パターン検出部76f5に基づいて補正するかを決定して出力する。演算パターンセレクタ部76f3は、フレーム毎に両者を切り替えてもよく、同一フレームであっても補正すべき画素のフレーム内に応じて切り替えてもよい。点キズと縦キズとが隣接する場合にのみ演算部76f4と隣接欠陥パターン検出部76f5に基づいて補正してもよい。すなわち、点キズと縦キズが隣接して存在しない場合には第1実施形態のように縦キズを補正し、点キズと縦キズが隣接して存在する場合に下記のように特定のパターンを用いて補正してもよい。以下、演算部76f4と隣接欠陥パターン検出部76f5に基づいて補正する場合について説明する。
図32は、演算部76f4で演算される16通りの演算を隣接欠陥パターンと対応付けて示す。図32(a)は補正対象の画素G23に対して縦キズのみが存在し、隣接する点キズが存在しない場合の演算であり、
G23=(G12+G14+G32+G34)/4
である。図32(b)はG23に対して縦キズの隣接左上G12に点キズが存在する場合であり、
G23=(2×G14+G32+G34)/4
である。図32(c)はG23に対して縦キズの隣接右上G14に点キズが存在する場合であり、
G23=(2×G12+G32+G34)/4
である。図32(d)はG23に対して縦キズの隣接左上G12と隣接右上G14に点キズが存在する場合であり、
G23=(2×G32+2×G34)/4
である。図32(e)はG23に対して縦キズの隣接左下G32に点キズが存在する場合であり、
G23=(2×G34+G12+G14)/4
である。図32(f)はG23に対して縦キズの隣接左上G12と隣接左下G32に点キズが存在する場合であり、
G23=(2×G14+2×G34)/4
である。図32(g)はG23に対して縦キズの隣接右上G14と隣接左下G32に点キズが存在する場合であり、
G23=(2×G12+2×G34)/4
である。図32(h)はG23に対して縦キズの隣接右上G14、隣接左上G12及び隣接左下G32に点キズが存在する場合であり、
G23=(4×G34)/4
である。図32(i)はG23に対して縦キズの隣接右下G34に点キズが存在する場合であり、
G23=(2×G32+G12+G14)/4
である。図32(j)はG23に対して縦キズの隣接左上G12と隣接右下G34に点キズが存在する場合であり、
G23=(2×G14+2×G32)/4
である。図32(k)はG23に対して縦キズの隣接右上G14と隣接右下G34に点キズが存在する場合であり、
G23=(2×G12+2×G32)/4
である。図32(l)はG23に対して縦キズの隣接左上G12、隣接右上G14及び隣接右下G34に点キズが存在する場合であり、
G23=(4×G32)/4
である。図32(m)はG23に対して縦キズの隣接右下G32と隣接左下G34に点キズが存在する場合であり、
G23=(2×G14+2×G32)/4
である。図32(n)はG23に対して縦キズの隣接左上G12、隣接左下G32及び隣接右下G34に点キズが存在する場合であり、
G23=(4×G14)/4
である。図32(o)はG23に対して縦キズの隣接右上G14、隣接右下G34及び隣接左下G32に点キズが存在する場合であり、
G23=(4×G12)/4
である。図32(p)はG23に対して縦キズの隣接左上G12、隣接左下G32、隣接右上G14、隣接右下G34の全てに点キズが存在する場合であり、
G23=(2×G21+2×G25)/4
である。
図33は、図31における隣接欠陥パターン検出部76f5の構成を示す。4Hラインメモリ及びクロックディレー回路から構成される。隣接欠陥パターン検出部76f5には、補正対象画素G23に対し、点キズの画素が縦キズに隣接しているか否かを示す隣接フラグが欠陥デコード回路78から供給される。隣接フラグは1ビットであり、隣接していればフラグ=1、隣接していなければフラグ=0である。4Hラインメモリ及びクロックディレー回路の各素子からは、フラグが1あるいは0が出力される。したがって、各素子からのフラグの値により、補正対象画素G23に対し、どのような欠陥パターンであるかを検出できる。例えば、第2ラインの第1の遅延素子の出力はG12に対応し、このフラグの値が1で他が0であれば図32(b)の欠陥パターンであることがわかる。また、第4ラインの第3遅延素子の出力はG34に対応し、このフラグの値が1で他が0であれば図32(i)の欠陥パターンであることがわかる。演算パターンセレクタ部76f3は、G12、G14、G32、G34に対応するフラグの値が1であるか0であるかを判定することで、図32(a)〜(p)のいずれであるかを識別し、その欠陥パターンに対応した演算値を選択する。具体的には、隣接欠陥パターン検出部76f5は、G12、G14、G32、G34に対応するフラグの値を4ビットで出力し、
隣接欠陥パターン値=G12+G14×2+G32×4+G34×8
として出力する。隣接欠陥パターン値は0〜15のいずれかの値であり、これらの値はそれぞれ図32(a)〜(p)に対応する。図32(a)は隣接パターン値=0であり、図32(p)は隣接パターン値=15である。
図34は、図24におけるRB用縦線キズ補正部76gの構成を示す。RB用縦線キズ補正部76gは、補間パターン部76g1と、演算部76g4と、縦線キズ検出パターン部76g2と、演算パターンセレクタ部76g3と、隣接欠陥パターン検出部76g5を有する。補間パターン部76g1及び縦線キズ検出パターン部76g2は、図10に示す補間パターン部76g1及び縦線キズ検出パターン部76g2と同一機能を有する。演算部76g4は、16通りの補間演算を行い、その結果を演算パターンセレクタ部76g3に供給する。隣接欠陥パターン部76g5は、隣接欠陥のパターン、すなわち点キズが縦キズに隣接して存在する場合のパターンを検出して演算パターンセレクタ76g3に供給する。演算パターンセレクタ部76g3は、図10に示すセレクタ部76g3と同様に補間パターン部76g1及び縦線キズ検出パターン部76g2に基づいて補正するか、あるいは演算部76g4と隣接欠陥パターン検出部76g5に基づいて補正するかを決定して出力する。演算パターンセレクタ部76g3は、フレーム毎に両者を切り替えてもよく、同一フレームであっても補正すべき画素のフレーム内に応じて切り替えてもよい。点キズと縦キズとが隣接する場合にのみ演算部76g4と隣接欠陥パターン検出部76g5に基づいて補正してもよい。すなわち、点キズと縦キズが隣接して存在しない場合には第1実施形態のように縦キズを補正し、点キズと縦キズが隣接して存在する場合に下記のように特定のパターンを用いて補正してもよい。以下、演算部76g4と隣接欠陥パターン検出部76g5に基づいて補正する場合について説明する。
図35は、演算部76g4で演算される16通りの演算を欠陥パターンと対応付けて示す。図35(a)は補正対象の画素R22に対してR20とR24に点キズが存在する場合の演算であり、
R22=(R00+R04+R40+R44)/4
である。図35(b)はR22に対してR20、R24及びR00に点キズが存在する場合であり、
R22=(2×R04+R40+R44)/4
である。図35(c)はR22に対してR20、R24及びR04に点キズが存在する場合であり、
R22=(2×R00+R40+R44)/4
である。図35(d)はR22に対してR20、R24、R00及びR04に点キズが存在する場合であり、
R22=(2×R40+2×R44)/4
である。図35(e)はR22に対してR20、R24及びR40に点キズが存在する場合であり、
R22=(2×R44+R00+R04)/4
である。図35(f)はR22に対してR20、R24、R00及びR40に点キズが存在する場合であり、
R22=(2×R04+2×R44)/4
である。図35(g)はR22に対してR20、R24、R04及びR40に点キズが存在する場合であり、
R22=(2×R00+2×R44)/4
である。図35(h)はR22に対してR20、R24、R00、R04及びR40に点キズが存在する場合であり、
R22=(4×R44)/4
である。図35(i)はR22に対してR20、R24及びR44に点キズが存在する場合であり、
R22=(2×R40+R00+R04)/4
である。図35(j)はR22に対してR20、R24、R00及びR44に点キズが存在する場合であり、
R22=(2×R04+2×R40)/4
である。図35(k)はR22に対してR20、R24、R04及びR44に点キズが存在する場合であり、
R22=(2×R00+2×R40)/4
である。図35(l)はR22に対してR20、R24、R00、R04及びR44に点キズが存在する場合であり、
R22=(4×R40)/4
である。図35(m)はR22に対してR20、R24、R40、及びR44に点キズが存在する場合であり、
R22=(2×R04+2×R40)/4
である。図35(n)はR22に対してR20、R24、R00、R40及びR44に点キズが存在する場合であり、
R22=(4×R04)/4
である。図35(o)はR22に対してR20、R24、R04、R40及びR44に点キズが存在する場合であり、
R22=(4×R00)/4
である。図35(p)はR22に対してR20、R24、R00、R04、R40及びR44に点キズが存在する場合であり、
R22=R22(補正しない)
である。
なお、図35はR20とR24に共に点キズが存在する場合であるが、R20とR24に共に点キズが存在しない場合には、図35(q)のように
R22=(2×R20+2×R24)/4
を演算し、R24に点キズが存在しR20に点キズが存在しない場合には、図35(r)のように
R22=(4×R20)/4
を演算し、R20に点キズが存在しR24に点キズが存在しない場合には、図35(s)のように
R22=(4×R24)/4
を演算する。演算部76g4は、これら16通り+3通りの演算を実行する。
図36は、図34における隣接欠陥パターン検出部76g5の構成を示す。4Hラインメモリ及びクロックディレー回路から構成される。隣接欠陥パターン検出部76g5には、補正対象画素R22に対し、点キズの画素が縦キズに隣接しているか否かを示す隣接フラグが欠陥デコード回路78から供給される。隣接フラグは1ビットであり、隣接していればフラグ=1、隣接していなければフラグ=0である。4Hラインメモリ及びクロックディレー回路の各素子からは、フラグが1あるいは0が出力される。したがって、各素子からのフラグの値により、補正対象画素R22に対し、どのような欠陥パターンであるかを検出できる。隣接パターン検出部76g5は、R00、R04、R40、R44、R20、R24に対応するフラグ値を6ビットで出力し、R20&R24=0ならば図35(q)、(R24=1)&(R20=0)ならば図35(r)、(R20=1)&(R24=0)ならば図35(s)、R20&R24=1ならば隣接欠陥パターン値=R02+R42×2+R20×4+R24×8として出力する。隣接欠陥パターン値は0〜15のいずれかの値であり、これらの値はそれぞれ図35(a)〜(p)に対応する。
<第4実施形態>
上記の第3実施形態では、点キズと縦キズを同時に並行して処理する場合について説明した。本実施形態では、点キズ、縦キズ、横キズ及び交差キズを同時に並行して処理する場合について説明する。
図37は、本実施形態の全体処理フローチャートを示す。まず、Gポイントキズの補正(S501−1)、RBポイントキズの補正(S501−2)、G縦線キズの補正(S501−3)、RB縦線キズの補正(S501−4)、G横線キズの補正(S501−5)、RB横線キズの補正(S501−6)、RB交差キズの補正(S501−7)を同時に実行する。各キズを補正した後、セレクタでこれらを切替出力し(S502)、ガンマ補正等の信号処理を実行して記憶媒体90に記憶する(S503)。
図38は、本実施形態における欠陥補正回路76の構成を示す。G用ポイント欠陥補正部76b、RB用ポイント欠陥補正部76c、G用縦線キズ補正部76f、RB用縦線キズ補正部76g、G用横線キズ補正部76i、RB用横線キズ補正部76j、RB用交差キズ補正部76kが並列に設けられる。欠陥パターンセレクタ76nは、各補正部からの補正済みの画素信号を選択して出力する。
図39は、図38におけるG用横線キズ補正部76iの構成を示す。G用横線キズ補正部76iは、補間パターン部76i1、横線キズ検出パターン部76i2、演算パターンセレクタ部76i3、演算部76i4及び隣接欠陥パターン検出部76i5を有する。
図40は、演算部76i4での演算の様子を示す。図中斜線は、横キズが生じていることを示す。演算部76i4は、隣接画素の欠陥パターンに応じて16通りの演算を実行する。図40(a)は、隣接画素に点キズがない場合であり、
G23=(G12+G14+G32+G34)/4
である。図40(b)は隣接左上G12に点キズが存在する場合であり、
G23=(2×G14+G32+G34)/4
である。図40(c)は隣接右上G14に点キズが存在する場合であり、
G23=(2×G12+G32+G34)/4
である。図40(d)は隣接左上G12、隣接右上G14に点キズが存在する場合であり、
G23=(2×G32+2×G34)/4
である。図40(e)は隣接左下G32に点キズが存在する場合であり、
G23=(2×G34+G12+G14)/4
である。図40(f)は隣接左上G14、隣接左下G32に点キズが存在する場合であり、
G23=(2×G14+2×G34)/4
である。図40(g)は隣接右上G14、隣接左下G32に点キズが存在する場合であり、
G23=(2×G12+2×G34)/4
である。図40(h)は隣接左上G12、隣接左下G32、隣接右上G14に点キズが存在する場合であり、
G23=(4×G34)/4
である。図40(i)は隣接右下G34に点キズが存在する場合であり、
G23=(2×G32+G12+G14)/4
である。図40(j)は隣接左上G12、隣接右下G34に点キズが存在する場合であり、
G23=(2×G14+2×G32)/4
である。図40(k)は隣接右上G14、隣接右下G34に点キズが存在する場合であり、
G23=(2×G12+2×G32)/4
である。図40(l)は隣接左上G12、隣接右上G14、隣接右下G34に点キズが存在する場合であり、
G23=(4×G32)/4
である。図40(m)は隣接左下G32、隣接右下G34に点キズが存在する場合であり、
G23=(2×G14+2×G32)/4
である。図40(n)は隣接左上G12、隣接左下G32、隣接右下G34に点キズが存在する場合であり、
G23=(4×G14)/4
である。図40(o)は隣接右上G14、隣接右下G34、隣接左下G32に点キズが存在する場合であり、
G23=(4×G12)/4
である。図40(p)は隣接左上G12、隣接左下G32、隣接右上G14、隣接右下G34に点キズが存在する場合であり、
G23=(2×G03+2×G43)/4
である。
図41は、隣接欠陥パターン検出部76i5の構成を示す。4Hラインメモリ及びクロックディレー回路から構成される。隣接欠陥パターン検出部76i5には、補正対象画素G23に対し、点キズの画素が横キズに隣接しているか否かを示す隣接フラグが欠陥デコード回路78から供給される。隣接フラグは1ビットであり、隣接していればフラグ=1、隣接していなければフラグ=0である。4Hラインメモリ及びクロックディレー回路の各素子からは、フラグが1あるいは0が出力される。したがって、各素子からのフラグの値により、補正対象画素G23に対し、どのような欠陥パターンであるかを検出できる。隣接欠陥パターン検出部76i5は、G12、G14、G32、G34に対応するフラグの値を4ビットで出力し、
隣接欠陥パターン値=G12+G14×2+G32×4+G34×8
として出力する。隣接欠陥パターン値は0〜15のいずれかの値であり、これらの値はそれぞれ図40(a)〜(p)に対応する。なお、隣接画素に点キズが存在しない場合には、補間パターン部76i1、横線キズ検出パターン部76i2及び演算パターンセレクタ部76i3により上記の実施形態と同様に補正すればよい。
図42は、図38におけるRB用横線キズ補正部76jの構成を示す。RB用横線キズ補正部76jは、補間パターン部76j1、横線キズ検出パターン部76j2、演算パターンセレクタ部76j3、演算部76j4及び隣接欠陥パターン検出部76j5を有する。演算部76j4は、横キズに対する点キズの存在部位に応じて16通り+3通りの演算を実行する。
図43は、演算部76j4の演算を示す。図43(a)〜(p)は、補正対象画素のR22に対し隣接するR02及びR42に点キズが存在する場合である。図43(a)はR02、R42に点キズが存在する場合であり、
R22=(R00+R04+R40+R44)/4
である。図43(b)はR00、R02、R42に点キズが存在する場合であり、
R22=(2×R04+R40+R44)/4
である。図43(c)はR02、R04、R42に点キズが存在する場合であり、
R22=(2×R00+R40+R44)/4
である。図43(d)はR00、R02、R04、R42に点キズが存在する場合であり、 R22=(2×R40+2×R44)/4
である。図43(e)はR02、R40、R42に点キズが存在する場合であり、
R22=(2×R44+R00+R04)/4
である。図43(f)はR00、R02、R40、R42に点キズが存在する場合であり、 R22=(2×R04+2×R44)/4
である。図43(g)はR02、R04、R40、R42に点キズが存在する場合であり、 R22=(2×R00+2×R44)/4
である。図43(h)はR00、R02、R04、R40、R42に点キズが存在する場合であり、
R22=(4×R44)/4
である。図43(i)はR02、R42、R44に点キズが存在する場合であり、
R22=(2×R40+R00+R04)/4
である。図43(j)はR00、R02、R42、R44に点キズが存在する場合であり、 R22=(2×R04+2×R40)/4
である。図43(k)はR02、R04、R42、R44に点キズが存在する場合であり、 R22=(2×R00+2×R40)/4
である。図43(l)はR00、R02、R04、R42、R44に点キズが存在する場合であり、
R22=(4×R40)/4
である。図43(m)はR02、R40、R42、R44に点キズが存在する場合であり、 R22=(2×R04+2×R40)/4
である。図43(n)はR00、R02、R40、R42、R44に点キズが存在する場合であり、
R22=(4×R04)/4
である。図43(o)はR02、R04、R40、R42、R44に点キズが存在する場合であり、
R22=(4×R00)/4
である。図43(p)はR00、R02、R04、R40、R42、R44に点キズが存在する場合であり、
R22=R22
である。一方、図43(q)はR02とR42に点キズが存在しない場合であり、
R22=(2×R02+2×R42)/4
である。図43(r)はR02に点キズがなく、R42のみに点キズが存在する場合であり、
R22=(4×R02)/4
である。図43(s)はR02に点キズが存在し、R42に点キズが存在しない場合であり、
R22=(4×R42)/4
である。
図44は、図42における隣接欠陥パターン検出部76j5の構成を示す。4Hラインメモリ及びクロックディレー回路から構成される。隣接欠陥パターン検出部76j5には、補正対象画素R22に対し、点キズの画素が横キズに隣接しているか否かを示す隣接フラグが欠陥デコード回路78から供給される。隣接フラグは1ビットであり、隣接していればフラグ=1、隣接していなければフラグ=0である。4Hラインメモリ及びクロックディレー回路の各素子からは、フラグが1あるいは0が出力される。したがって、各素子からのフラグの値により、補正対象画素R22に対し、どのような欠陥パターンであるかを検出できる。隣接パターン検出部76j5は、R00、R04、R40、R44、R02、R42に対応するフラグ値を6ビットで出力し、R02&R42=0ならば図43(q)、(R42=1)&(R02=0)ならばず43(r)、(R02=1)&(R42=0)ならば図43(s)、R02&R42=1ならば隣接欠陥パターン=R00+R04×2+R40×4+R44×8として出力する。隣接欠陥パターン値は0〜15のいずれかの値であり、これらの値はそれぞれ図43(a)〜(p)に対応する。
図45は、図38におけるRB用交差キズ補正部76kの構成を示す。RB用交差キズ補正部76kは、演算部76k2、隣接欠陥パターン検出部76k3及び演算パターンセレクタ部76k4を有する。
図46は、演算部76k2における演算を示す。図46(a)は交差キズの画素R22に隣接して点キズが存在しない場合であり、
R22=(R00+R04+R40+R44)/4
である。図46(b)はR00に点キズが存在する場合であり、
R22=(2×R04+R40+R44)/4
である。図46(c)はR04に点キズが存在する場合であり、
R22=(2×R00+R40+R44)/4
である。図46(d)はR00、R04に点キズが存在する場合であり、
R22=(2×R40+2×R44)/4
である。図46(e)はR40に点キズが存在する場合であり、
R22=(2×R44+R00+R04)/4
である。図46(f)はR00、R40に点キズが存在する場合であり、
R22=(2×R04+2×R44)/4
である。図46(g)はR04、R40に点キズが存在する場合であり、
R22=(2×R00+2×R44)/4
である。図46(h)はR00、R04、R40に点キズが存在する場合であり、
R22=(4×R44)/4
である。図46(i)はR44に点キズが存在する場合であり、
R22=(2×R40+R00+R04)/4
である。図46(j)はR00、R44に点キズが存在する場合であり、
R22=(2×R04+2×R40)/4
である。図46(k)はR04、R44に点キズが存在する場合であり、
R22=(2×R00+2×R40)/4
である。図46(l)はR00、R04、R44に点キズが存在する場合であり、
R22=(4×R40)/4
である。図46(m)はR40、R44に点キズが存在する場合であり、
R22=(2×R04+2×R00)/4
である。図46(n)はR00、R40、R44に点キズが存在する場合であり、
R22=(4×R04)/4
である。図46(o)はR04、R40、R44に点キズが存在する場合であり、
R22=(4×R00)/4
である。図46(p)はR00、R04、R40、R44に点キズが存在する場合であり、 R22=R22
である。
図47は、隣接欠陥パターン検出部76k3の構成を示す。隣接欠陥パターン検出部76k3は4Hラインメモリ及びクロックディレー回路から構成される。隣接欠陥パターン検出部76k3には、補正対象画素R22に対し、交差キズに隣接して点キズが存在しているか否かを示す隣接フラグが欠陥デコード回路78から供給される。隣接フラグは1ビットであり、隣接していればフラグ=1、隣接していなければフラグ=0である。4Hラインメモリ及びクロックディレー回路の各素子からは、フラグが1あるいは0が出力される。したがって、各素子からのフラグの値により、補正対象画素R22に対し、どのような欠陥パターンであるかを検出できる。隣接欠陥パターン検出部76g5は、R00、R04、R40、R44に対応するフラグの値を4ビットで出力し、
隣接欠陥パターン値=R02+R42×2+R20×4+R24×8
として出力する。隣接欠陥パターン値は0〜15のいずれかの値であり、これらの値はそれぞれ図46(a)〜(p)に対応する。演算パターンセレクタ部76k4は、欠陥パターンに応じて16通りの演算のいずれかを選択してその演算値、すなわち補正値を出力する。なお、G用交差キズはG用ポイント欠陥補正として補正すればよい。
このように、本実施形態では、点キズと縦キズと横キズを同時に並行して処理することができるので、ラインメモリとクロックディレー回路を重複して設ける必要がない。また、処理を高速で行うことができる。さらに、縦キズあるいは横キズに隣接して点キズが存在していても、これを確実に補正することができる。
以上、本発明の実施形態について、デジタルカメラの画像処理を例に説明したが、本発明はこれに限定されず種々の変更が可能である。
例えば、第1実施形態ではG縦キズとRB縦キズを同時に補正し、第2実施形態ではG縦キズ、RB縦キズ、G横キズ、RB横キズを同時に補正し、第3実施形態ではG点キズ、RB点キズ、G縦キズ、RB縦キズを同時に補正し、第4実施形態ではG点キズ、RB点キズ、G縦キズ、RB縦キズ、G横キズ、RB横キズ、RB交差キズ(及びG交差キズ)を同時に補正しているが、G点キズ、RB点キズ、G横キズ、RB横キズを同時に補正することもできる。図48は、この場合の処理フローチャートを示す。
実施形態の構成ブロック図である。 カラーフィルタのバイヤー配列を示す説明図である。 第1実施形態の処理フローチャートである。 第1実施形態の欠陥補正回路の構成ブロック図である。 第1実施形態の4Hラインメモリとクロックディレー回路の構成図である。 第1実施形態の4Hラインメモリとクロックディレー回路の構成図である。 第1実施形態のG用縦線キズ補正部の構成ブロック図である。 第1実施形態のG用縦線キズ検出パターン部での演算を示す説明図である。 第1実施形態のG用補間パターン部での補間パターンを示す説明図である。 第1実施形態のRB用縦線キズ補正部の構成ブロック図である。 第1実施形態のRB用縦線キズ検出パターン部での演算を示す説明図である。 第1実施形態のRB用補間パターン部での補間パターンを示す説明図である。 第2実施形態の処理フローチャートである。 第2実施形態の欠陥補正回路の構成ブロック図である。 第2実施形態のG用横線キズ補正部の構成ブロック図である。 第2実施形態のG用横線キズ検出パターン部での演算を示す説明図である。 第2実施形態のG用補間パターン部での補間パターンを示す説明図である。 第2実施形態のRB用横線キズ補正部の構成ブロック図である。 第2実施形態のRB用横線キズ検出パターン部での演算を示す説明図である。 第2実施形態のRB用補間パターン部での補間パターンを示す説明図である。 第2実施形態のRB交差キズ補正部の構成ブロック図である。 交差キズの説明図である。 第3実施形態の処理フローチャートである。 第3実施形態の欠陥補正回路の構成ブロック図である。 第3実施形態のG用ポイント欠陥補正部の構成ブロック図である。 第3実施形態のG用演算部での演算を示す説明図である。 第3実施形態のG用隣接欠陥パターン検出部の構成図である。 第3実施形態のRB用ポイント欠陥補正部の構成ブロック図である。 第3実施形態のRB用演算部での演算を示す説明図である。 第3実施形態のRB用隣接欠陥パターン検出部の構成図である。 第3実施形態のG用縦線キズ補正部の構成ブロック図である。 第3実施形態のG用演算部での演算を示す説明図である。 第3実施形態のG用隣接欠陥パターン検出部の構成図である。 第3実施形態のRB用縦線キズ補正部の構成ブロック図である。 第3実施形態のRB用演算部での演算を示す説明図である。 第3実施形態のRB用隣接欠陥パターン検出部の構成図である。 第4実施形態の処理フローチャートである。 第4実施形態の欠陥補正回路の構成ブロック図である。 第4実施形態のG用横線キズ補正部の構成ブロック図である。 第4実施形態のG用演算部での演算を示す説明図である。 第4実施形態のG用隣接欠陥パターン検出部の構成図である。 第4実施形態のRB用横線キズ補正部の構成ブロック図である。 第4実施形態のRB用演算部での演算を示す説明図である。 第4実施形態のRB用隣接欠陥パターン検出部の構成図である。 第4実施形態のRB交差キズ補正部の構成ブロック図である。 第4実施形態のRB用交差キズ演算部での演算を示す説明図である。 第4実施形態のRB用交差キズ隣接欠陥パターン検出部の構成図である。 他の実施形態の処理フローチャートである。 従来装置の処理フローチャートである。 従来のG用点キズの補正説明図である。 従来のRB用点キズの補正説明図である。 G画素縦キズの説明図である。 従来装置のG縦線キズ補正部の構成ブロック図である。 従来装置のG縦線キズ検出パターン部の演算を示す説明図である。 従来装置のG縦線キズ補間パターン部での補間パターンを示す説明図である。 従来装置のRB縦線キズ補正部の構成ブロック図である。 従来装置のRB用縦線キズ検出パターン部での演算を示す説明図である。 従来装置のRB用縦線キズ補間パターン部での補間パターンを示す説明図である。 縦キズに隣接して点キズが存在する場合の説明図である。
符号の説明
50 絞り、52 レンズ、54 CCD、56 CDS(相関2重サンプリング回路)、58 アンプ、60 A/D、62 画像メモリ、64 温度センサ、66 タイミングジェネレータ(TG)、68 シグナルジェネレータ(SG)、70 メモリコントローラ、72 CPU、74 欠陥検出回路、76 欠陥補正回路、78 欠陥デコード回路、80 欠陥メモリ、82 画像信号処理回路、84 DRAM、86 圧縮伸長回路、88 LCD、90 記録媒体、92 操作部。

Claims (5)

  1. 水平方向及び垂直方向に配列した画素の点欠陥及び線欠陥を補正する画素欠陥補正回路であって、
    点欠陥及び線欠陥の存在及びその位置を検出する手段と、
    点欠陥画素に隣接する周囲画素の画素値から前記点欠陥画素の画素値を演算することで点欠陥画素を補正する手段と、
    線欠陥画素内の補正すべき注目画素に対し、隣接する右上画素及び左下画素の画素値の第1差分値、隣接する左上画素及び右下画素の画素値の第2差分値、左上画素及び左下画素の画素値の和と右上画素及び右下画素の画素値の和の第3差分値、左上画素及び右上画素の画素値の和と左下画素と右下画素の画素値の和の第4差分値をそれぞれ演算する手段と、
    第1差分値、第2差分値、第3差分値、及び第4差分値の大小関係に応じた補正パターンで右上画素、右下画素、左上画素、左下画素の少なくともいずれかの画素値から前記注目画素の画素値を演算することで線欠陥画素を補正する手段と、
    を有することを特徴とする画素欠陥補正回路。
  2. 請求項1記載の回路において、
    前記注目画素は、ベイヤー配列におけるG画素であることを特徴とする画素欠陥補正回路。
  3. 請求項2記載の回路において、
    前記ベイヤー配列におけるG画素をGij、R画素をRij、B画素をBij(i,jは0以上の整数)とした場合であって前記注目画素をG23としたときに、前記演算する手段は、
    第1差分値=G14−G32
    第2差分値=G12−G34
    第3差分値=G12+G32−G14−G34
    第4差分値=G12+G14−G32−G34
    を演算することを特徴とする画素欠陥補正回路。
  4. 水平方向及び垂直方向に配列した画素の点欠陥及び線欠陥を補正する画素欠陥補正回路であって、
    点欠陥及び線欠陥の存在及びその位置を検出する手段と、
    点欠陥画素に隣接する周囲画素の画素値から前記点欠陥画素の画素値を演算することで点欠陥画素を補正する手段と、
    線欠陥画素内の補正すべき注目画素は、ベイヤー配列におけるR画素あるいはB画素であり、前記ベイヤー配列におけるG画素をGij、R画素をRij、B画素をBij(i,jは0以上の整数)とした場合であって前記注目画素をR22としたときに、
    第1差分値=G21×2+G23×2−G01−G10−G34−G43
    第2差分値=G21×2+G23×2−G03−G14−G30−G41
    第3差分値=G21×2+G23×2−G10−G30−G14−G34
    を演算する演算手段と、
    第1差分値、第2差分値、及び第3差分値の大小関係に応じた補正パターンで前記注目画素の画素値を演算することで縦線欠陥画素を補正する手段と、
    を有することを特徴とする画素欠陥補正回路。
  5. 水平方向及び垂直方向に配列した画素の点欠陥及び線欠陥を補正する画素欠陥補正回路であって、
    点欠陥及び線欠陥の存在及びその位置を検出する手段と、
    点欠陥画素に隣接する周囲画素の画素値から前記点欠陥画素の画素値を演算することで点欠陥画素を補正する手段と、
    線欠陥画素内の補正すべき注目画素は、ベイヤー配列におけるR画素あるいはB画素であり、前記ベイヤー配列におけるG画素をGij、R画素をRij、B画素をBij(i,jは0以上の整数)とした場合であって前記注目画素をR22としたときに、前記演算する手段は、
    第1差分値=G12×2+G32×2−G01−G10−G34−G43
    第2差分値=G12×2+G32×2−G03−G14−G30−G41
    第3差分値=G12×2+G32×2−G10−G30−G14−G34
    を演算する演算手段と、
    第1差分値、第2差分値、及び第3差分値の大小関係に応じた補正パターンで前記注目画素の画素値を演算することで横線欠陥画素を補正する手段と、
    を有することを特徴とする画素欠陥補正回路。
JP2004369737A 2004-12-21 2004-12-21 画素欠陥補正装置 Expired - Fee Related JP4533124B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004369737A JP4533124B2 (ja) 2004-12-21 2004-12-21 画素欠陥補正装置
US11/248,882 US7593569B2 (en) 2004-12-21 2005-10-12 Pixel defect correction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004369737A JP4533124B2 (ja) 2004-12-21 2004-12-21 画素欠陥補正装置

Publications (2)

Publication Number Publication Date
JP2006180099A JP2006180099A (ja) 2006-07-06
JP4533124B2 true JP4533124B2 (ja) 2010-09-01

Family

ID=36595166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004369737A Expired - Fee Related JP4533124B2 (ja) 2004-12-21 2004-12-21 画素欠陥補正装置

Country Status (2)

Country Link
US (1) US7593569B2 (ja)
JP (1) JP4533124B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7170447B2 (en) 2003-02-14 2007-01-30 Qualcomm Incorporated Method and apparatus for processing navigation data in position determination
JP4695871B2 (ja) * 2004-12-27 2011-06-08 キヤノン株式会社 画像処理装置および画像処理方法
US20070257866A1 (en) * 2006-05-08 2007-11-08 Eastman Kodak Company Method and apparatus for defect correction in a display
JP5049547B2 (ja) * 2006-10-20 2012-10-17 株式会社東芝 半導体検出器の補間装置及びその方法
US7800661B2 (en) * 2006-12-22 2010-09-21 Qualcomm Incorporated Programmable pattern matching device
JP4998069B2 (ja) * 2007-04-25 2012-08-15 ソニー株式会社 補間処理装置、撮像装置、及び、補間処理方法
JP5029274B2 (ja) * 2007-10-10 2012-09-19 株式会社ニコン 撮像装置
KR101435807B1 (ko) 2007-11-12 2014-08-29 엘지전자 주식회사 데이터 이미지 보정방법과 기록매체 재생 방법 및 기록매체재생 장치
TWI437878B (zh) * 2007-11-20 2014-05-11 Quanta Comp Inc 用以校正影像訊號中壞點之方法及電路
JP4604078B2 (ja) * 2007-11-22 2010-12-22 アキュートロジック株式会社 欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置
US8559762B2 (en) * 2007-12-28 2013-10-15 Nikon Corporation Image processing method and apparatus for interpolating defective pixels
JP5361267B2 (ja) * 2008-07-18 2013-12-04 富士フイルム株式会社 信号ライン補正方法および装置
US20100135580A1 (en) * 2008-11-28 2010-06-03 Inventec Appliances Corp. Method for adjusting video frame
JP5169994B2 (ja) * 2009-05-27 2013-03-27 ソニー株式会社 画像処理装置、撮像装置及び画像処理方法
JP5455798B2 (ja) * 2009-07-16 2014-03-26 キヤノン株式会社 画像処理装置
JP5229195B2 (ja) * 2009-11-27 2013-07-03 パナソニック株式会社 欠陥補正装置
KR101195388B1 (ko) * 2010-10-29 2012-10-29 에스케이하이닉스 주식회사 데드 픽셀 보상 테스트 장치
JP2012105023A (ja) * 2010-11-09 2012-05-31 Canon Inc 画像処理装置、撮像装置、及び画像処理方法
EP3119080B1 (en) * 2014-03-12 2020-11-11 SZ DJI Technology Co., Ltd. Method and system for dead pixel correction of digital image
JP2017038294A (ja) * 2015-08-12 2017-02-16 株式会社東芝 画像補正回路および固体撮像装置
US9787922B2 (en) 2015-08-31 2017-10-10 Apple Inc. Pixel defect preprocessing in an image signal processor
US10440299B2 (en) 2015-09-04 2019-10-08 Apple Inc. Correcting pixel defects based on defect history in an image processing pipeline

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244823A (ja) * 1999-02-24 2000-09-08 Fuji Photo Film Co Ltd 撮像素子の欠陥画素補正装置
JP2003116060A (ja) * 2001-10-03 2003-04-18 Olympus Optical Co Ltd 欠陥画素補正装置
JP2003259381A (ja) * 2002-03-06 2003-09-12 Olympus Optical Co Ltd 欠陥画素補正装置
JP2004112802A (ja) * 2002-09-18 2004-04-08 Agilent Technol Inc 欠陥ピクセルの検出可能なディジタル・イメージ・センサおよび方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3601908B2 (ja) * 1996-07-30 2004-12-15 東芝医用システムエンジニアリング株式会社 撮像素子の欠陥画素補正処理装置、x線診断装置
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
US6741754B2 (en) * 2001-02-19 2004-05-25 Eastman Kodak Company Correcting for defects in a digital image taken by an image sensor caused by pre-existing defects in two pixels in adjacent columns of an image sensor
US7209168B2 (en) * 2001-04-11 2007-04-24 Micron Technology, Inc. Defective pixel correction method and system
US7015961B2 (en) * 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244823A (ja) * 1999-02-24 2000-09-08 Fuji Photo Film Co Ltd 撮像素子の欠陥画素補正装置
JP2003116060A (ja) * 2001-10-03 2003-04-18 Olympus Optical Co Ltd 欠陥画素補正装置
JP2003259381A (ja) * 2002-03-06 2003-09-12 Olympus Optical Co Ltd 欠陥画素補正装置
JP2004112802A (ja) * 2002-09-18 2004-04-08 Agilent Technol Inc 欠陥ピクセルの検出可能なディジタル・イメージ・センサおよび方法

Also Published As

Publication number Publication date
US20060132626A1 (en) 2006-06-22
JP2006180099A (ja) 2006-07-06
US7593569B2 (en) 2009-09-22

Similar Documents

Publication Publication Date Title
JP4533124B2 (ja) 画素欠陥補正装置
JP4754939B2 (ja) 画像処理装置
CN101304484B (zh) 成像装置、缺陷像素校正装置、和装置中的处理方法
JP4709084B2 (ja) 画像処理装置及び画像処理方法
JP4610930B2 (ja) 画像処理装置、画像処理プログラム
CN102265600B (zh) 图像处理设备和车载照相机设备
JP4194336B2 (ja) 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ
US20130229550A1 (en) Defective pixel correction apparatus, method for controlling the apparatus, and program for causing computer to perform the method
EP2088773A1 (en) Progressive-to-interlace conversion method, image processing apparatus, imaging apparatus
EP2320665A2 (en) Image processing apparatus for chromatic aberration correction and control method therefor
JP5056501B2 (ja) 撮像装置及びこれに用いる欠陥画素補正方法
JP2008311874A (ja) 画像処理装置、画像処理プログラム、画像処理方法
JP2005328421A (ja) 撮像装置および撮像方法
JP2000059799A (ja) 画素欠陥補正装置及び画素欠陥補正方法
JP2010039759A (ja) 撮像装置
JP5359553B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2010068329A (ja) 撮像装置
JP2001054127A (ja) 固体撮像装置および画素欠陥補償方法
KR100733010B1 (ko) 이미지 센서의 결함픽셀 보간 방법 및 장치
JP2022165682A (ja) 信号処理装置、光電変換装置、撮像システム及び信号処理装置の制御方法
JP5228929B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2010056817A (ja) 撮像装置
JP4998069B2 (ja) 補間処理装置、撮像装置、及び、補間処理方法
JP2008148115A (ja) 方向検出を用いた撮像デバイスの画像欠陥補正システム
JPH1042201A (ja) 画像欠陥補正回路

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100518

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100611

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees