JP4054184B2 - 欠陥画素補正装置 - Google Patents
欠陥画素補正装置 Download PDFInfo
- Publication number
- JP4054184B2 JP4054184B2 JP2001307367A JP2001307367A JP4054184B2 JP 4054184 B2 JP4054184 B2 JP 4054184B2 JP 2001307367 A JP2001307367 A JP 2001307367A JP 2001307367 A JP2001307367 A JP 2001307367A JP 4054184 B2 JP4054184 B2 JP 4054184B2
- Authority
- JP
- Japan
- Prior art keywords
- calculating
- pixels
- pixel
- defective pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002950 deficient Effects 0.000 title claims description 204
- 238000012937 correction Methods 0.000 title claims description 172
- 238000004364 calculation method Methods 0.000 claims description 206
- 230000007547 defect Effects 0.000 claims description 66
- 230000002093 peripheral effect Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 15
- 230000002596 correlated effect Effects 0.000 claims description 14
- 238000012935 Averaging Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims 3
- 238000000605 extraction Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 22
- FTGYKWAHGPIJIT-UHFFFAOYSA-N hydron;1-[2-[(2-hydroxy-3-phenoxypropyl)-methylamino]ethyl-methylamino]-3-phenoxypropan-2-ol;dichloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CN(C)CCN(C)CC(O)COC1=CC=CC=C1 FTGYKWAHGPIJIT-UHFFFAOYSA-N 0.000 description 21
- 238000000034 method Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 206010027146 Melanoderma Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 229960001948 caffeine Drugs 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- RYYVLZVUVIJVGH-UHFFFAOYSA-N trimethylxanthine Natural products CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Input (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、固体撮像素子に存在する欠陥画素の補正装置に関し、特に欠陥画素が連続する場合でも高品位な補正を可能とする欠陥画素補正装置に関する。
【０００２】
【従来の技術】
近年、ディジタルカメラなど固体撮像素子を用いた撮像装置が様々な用途に使用されている。使用される固体撮像素子の画素数は、年々増大する傾向にあり、これに伴い欠陥画素の発生も増大することになる。このような問題に対して、従来は製造時の検査により欠陥画素の位置をあらかじめ記録しておき、その記録された画素を隣接する画素と置き換える手法や、周囲画素の中央値や平均値で補間するなどの手法がとられてきた。しかし、これらの手法では、欠陥画素近傍に濃淡の境界が存在する場合やコントラストが急激に変化している場合などでは、補正跡が不連続となってしまうことがあった。
【０００３】
この問題を解決するため、従来特許公報第２８０８８１３号に示すような手法が提案されている。この手法は、欠陥画素の１画素前と後ろに隣接する画素と、欠陥画素の１ライン前で隣接する３画素の合計５画素について、それぞれ隣接する２画素間の信号レベルの差分の絶対値を算出して、この差の大小関係を比較して欠陥画素周囲をパターン分類し、分類結果に応じた欠陥画素の補正を行うものである。また、表示画像に悪影響を及ぼさずに高品質の画像を表示するために、特開平８−９３９４号公報に示すように、欠陥画素周囲の各色画素の強度平均値を計算し、注目色画素の強度平均値と他の色画素の強度平均値との比を求め、この比演算値を原画像信号に乗算してメディアンフィルタをかけることで、傷信号が除去された信号を得るという方法がとられてきた。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記特許公報第２８０８８１３号に示される補正回路では、欠陥画素に隣接する前後の画素と１ライン前で隣接する３画素のレベル差のみでパターンを識別しているため、このパターン認識を誤る可能性がある。例えば、図12の（Ａ）に示すように、欠陥画素（？マーク付き画素）に隣接する前の画素，左上の画素，上の画素の輝度レベル差が小さいような場合、パターンは垂直方向であると判定される。このため、欠陥画素の位置は上に隣接する画素の値で補間されるが、実際には図12の（Ｂ）に示すように右上がりのパターンである場合も考えられ、正確なパターン分類を行うことができない。また、欠陥画素が連続して発生しているような場合では、参照する隣接画素に欠陥画素が含まれてしまうため、パターン識別ができないという問題もある。
【０００５】
本発明はこの点に着目し、欠陥画素の周辺に複雑なエッジ構造がある場合や、欠陥画素が連続して発生している場合においても、正確な補正を可能とする欠陥画素補正装置を提供することを目的とする。
【０００６】
また、欠陥画素には、入射光のレベルにかかわりなく、白レベル又は黒レベルの信号を出力する白傷や黒点欠陥などがある。上記特開平８−９３９４号に示される補正方法においては、欠陥画素は入射光のレベルに応じて出力値が増大すると仮定して欠陥補正を行っているため、白傷や黒点欠陥などの欠陥画素は補正することができない。また、Bayer 型などの出現頻度が異なる色フィルタを前面に配置した撮像素子の場合、出現頻度の多い色の画素の欠陥に対しても同色の離れた画素信号の平均値を用いて補正するため、画素に含まれる高周波成分が失われてしまうという問題があった。更に、欠陥画素周囲中に別の欠陥画素が含まれている場合、欠陥画素を含む平均値を求めてしまうため、精度の高い補正を行うことができないという問題があった。
【０００７】
本発明はこの点に着目し、白傷や黒点欠陥の欠陥画素に対しても補正が可能な欠陥画素補正装置を提供することを目的とする。
【０００８】
更に、本発明は、出現頻度が異なる色フィルタの撮像素子において高周波成分を失うことなく高精度な補正を可能とし、欠陥画素周囲に別の欠陥画素が存在する場合においても誤動作することのない欠陥画素補正装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき欠陥画素の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素から前記欠陥画素の補正値を算出する補正値算出手段とを備え、前記指標値算出手段は、所定方向に属する周囲画素から所定距離にある２つの画素の組合せを複数抽出する抽出手段と、該抽出手段で抽出された前記複数の組合せに対する画素間の絶対値差を算出する絶対値差算出手段と、該絶対値差算出手段で算出された前記複数の絶対値差を 複数の所定方向毎に加算して前記指標値を算出する加算手段とを備えていることを特徴とするものである。
【００１０】
この請求項１に係る発明に関する実施の形態には、図１〜図８に示す第１及び第２の実施の形態が対応する。そして、請求項１における構成要件の欠陥記憶手段、画素取り込み手段、指標値算出手段、方向算出手段、補正値算出手段、抽出手段、絶対値差算出手段、加算手段には、第１及び第２の実施の形態における欠陥位置記録ＲＯＭ205 ，入出力制御部200 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 ，指標値算出部 202 における抽出位置記録ＲＯＭ 300 ，絶対値差算出部 301 ，加算部 302 が、それぞれ対応している。
【００１１】
この発明を適用した図１及び図８に示した第１及び第２の実施の形態においては、ＣＣＤ102 にて撮影された画像信号をＡ／Ｄ変換器103 にてデジタル化して画像用バッファ104 上に記録し、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき、所定サイズの周囲画素を入出力制御部200 にてラインバッファ201 に取り込み、指標値算出部202 にて所定方向における複数の指標値から統合された指標値を求め、方向算出部203 にて相関が最大となる方向を求め、補正値算出部204 にて前記相関のある方向に属する周囲画素を用いて欠陥画素の補正値が算出される。また、指標値算出部 202 内で、抽出位置記録ＲＯＭ 300 に記録された位置情報に基づき欠陥画素の周囲画素から特定方向に属する２つの画素の組を複数抽出し、絶対値差算出部 301 で上記組に関して絶対値差を求め、加算部 302 にて絶対値差を加算することで所定方向の指標値とする。
【００１２】
このように、欠陥画素の周囲画素から相関性の高い方向を求め、この方向に属する周囲画素を用いて補正値を算出し、その際、所定方向に関して複数の指標値を求め、これを統合することで、この方向の指標値としているので、得られる指標値の精度が高く方向検出が高性能となり、エッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となる。また、一つの方向の指標値を複数の指標値の加算にて算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い補正が可能となる。
【００１３】
請求項２に係る発明は、色フィルタを前面に配置した固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき、固体撮像素子の前面に配置された色フィルタの各色のうち欠陥画素と同色の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素から前記欠陥画素の補正値を算出する補正値算出手段とを備え、前記指標値算出手段は、所定方向に属する周囲画素から所定距離にある２つの画素の組合せを複数抽出する抽出手段と、該抽出手段で抽出された前記複数の組合せに対する画素間の絶対値差を算出する絶対値差算出手段と、該絶対値差算出手段で算出された前記複数の絶対値差を複数の所定方向毎に加算して前記指標値を算出する加算手段とを備えていることを特徴とするものである。
【００１４】
この請求項２に係る発明に関する実施の形態には、図１〜図８に示す第１及び第２の実施の形態が対応する。そして、請求項２における構成要件の欠陥記憶手段、画素取り込み手段、指標値算出手段、方向算出手段、補正値算出手段、抽出手段、絶対値差算出手段、加算手段には、第１の実施の形態における欠陥位置記録ＲＯＭ205 ，入出力制御部200 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 ，指標値算出部 202 における抽出位置記録ＲＯＭ 300 ，絶対値差算出部 301 ，加算部 302 が、それぞれ対応している。
【００１５】
この発明を適用した図１及び図８に示した第１及び第２の実施の形態においては、色フィルタを前面に配置されたＣＣＤ102 にて撮影された画像信号をＡ／Ｄ変換器103 にてデジタル化して画像用バッファ104 上に記録し、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき、所定サイズの欠陥画素と同色の周囲画素を入出力制御部200 にてラインバッファ201 に取り込み、指標値算出部202 にて所定方向における複数の指標値から統合された指標値を求め、方向算出部203 にて相関が最大となる方向を求め、補正値算出部204 にて前記相関のある方向に属する周囲画素を用いて欠陥画素の補正値が算出される。また、指標値算出部 202 内で、抽出位置記録ＲＯＭ 300 に記録された位置情報に基づき欠陥画素の周囲画素から特定方向に属する２つの画素の組を複数抽出し、絶対値差算出部 301 で上記組に関して絶対値差を求め、加算部 302 にて絶対値差を加算することで所定方向の指標値とする。
【００１６】
このように、欠陥画素と同色の周囲画素から相関性の高い方向を求め、この方向に属する周囲画素を用いて補正値を算出し、その際、所定方向に関して複数の指標値を求め、これを統合することで、この方向の指標値としているので、得られる指標値の精度が高く方向検出が高性能となり、エッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となる。また、一つの方向の指標値を複数の指標値の加算にて算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い補正が可能となる。
【００１７】
請求項３に係る発明は、出現頻度が不均一な色フィルタを前面に配置した固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき欠陥画素の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において出現頻度が多い色の画素の指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき出現頻度が多い色の画素の相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素中の出現頻度が多い色の画素から前記欠陥画素の補正値を算出する第１の補正値算出手段と、前記欠陥画素周囲の画素中の出現頻度が多い色の画素と出現頻度が少ない色の画素から色比率を算出する色比率算出手段と、前記欠陥画素周囲の画素中の出現頻度が多い色の画素から算出した補間値、及び前記色比率算出手段で算出された色比率に基づき前記欠陥画素の補正値を算出する第２の補正値算出手段と、前記欠陥画素の色に基づき前記第１の補正値算出手段と前記第２の補正値算出手段を切り換える切換手段とを備え、前記指標値算出手段は、所定方向に属する周囲画素から所定距離にある２つの画素の組合せを複数抽出する抽出手段と、該抽出手段で抽出された前記複数の組合せに対する画素間の絶対値差を算出する絶対値差算出手段と、該絶対値差算出手段で算出された前記複数の絶対値差を複数の所定方向毎に加算して前記指標値を算出する加算手段とを備えていることを特徴とするものである。
【００１８】
この請求項３に係る発明に関する実施の形態には、図８〜図11に示される第２の実施の形態が対応する。そして、請求項３における構成要件の欠陥記憶手段、画素取り込み手段、指標値算出手段、方向算出手段、第１の補正値算出手段、色比率算出手段、第２の補正値算出手段、切換手段、抽出手段、絶対値差算出手段、加算手段には、第２の実施の形態における欠陥位置記憶ＲＯＭ205 ，入出力制御部200 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 ，色比率算出部207 ，第２補正値算出部208 ，制御部108 ，指標値算出部 202 における抽出位置記録ＲＯＭ 300 ，絶対値差算出部 301 ，加算部 302 が、それぞれ対応している。
【００１９】
この発明を適用した図８に示した第２の実施の形態においては、色フィルタ109 を前面に配置したＣＣＤ102 にて撮影された画像信号をＡ／Ｄ変換器103 にてデジタル化して画像用バッファ104 上に記録し、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき、所定サイズの周囲画素を入出力制御部200 にてラインバッファ201 に取り込み、欠陥画素が出現頻度の多い色の画素の場合は、指標値算出部202 にて所定方向における複数の指標値から統合された指標値を求め、方向算出部203 にて相関が最大となる方向を求め、補正値算出部204 にて前記相関のある方向に属する周囲画素を用いて欠陥画素の補正値を算出し、欠陥画素が出現頻度の少ない色の画素の場合は、色比率算出部207 にて欠陥画素周囲における出現頻度の少ない色の画素と出現頻度の多い色の画素間の色比率を求め、第２補正値算出部208 にて出現頻度の多い色の画素から求めた補間値と上記色比率を乗算することで、欠陥画素の補正値が算出される。
【００２０】
このように、欠陥画素が出現頻度の多い色の画素の場合、その色の画素のみを用いて相関性の高い方向を求め、この方向に属する周囲画素を用いて補正値を算出し、一方、出現頻度の少ない色の画素の場合、欠陥画素の周囲画素を用いて出現頻度の多い色の画素と少ない色の画素間で色比率を求め、更に欠陥画素位置における出現頻度の多い色の画素値を補間により求め、両者を乗算することで補正値を算出するようにしている。また、指標値算出部 202 内で、抽出位置記録ＲＯＭ 300 に記録された位置情報に基づき欠陥画素の周囲画素から特定方向に属する２つの画素の組を複数抽出し、絶対値差算出部 301 で上記組に関して絶対値差を求め、加算部 302 にて絶対値差を加算することで所定方向の指標値とする。
【００２１】
これにより、出現頻度の多い色の画素の場合、その色の画素のみを用いて補正値を算出するため、出現頻度の少ない色の影響を受けずに高周波成分を維持した高精度な補正が可能となり、また出現頻度の少ない色の画素の場合、多い色の画素との色比率に基づき補正値を算出するため、出現頻度の多い色の画素の情報を利用してより精度の高い補正が可能となる。また、一つの方向の指標値を複数の指標値の加算にて算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い補正が可能となる。
【００２２】
請求項４に係る発明は、請求項１〜３のいずれか１項に係る欠陥画素補正装置において、前記画素取り込み手段は、前記欠陥画素の位置情報に基づき周囲画素中に欠陥画素が含まれている場合に該欠陥画素を除去する除去手段を備えていることを特徴とするものである。この発明に関する実施の形態には、第１及び第２の実施の形態が対応し、そして請求項10における構成要件の除去手段には、第１及び第２の実施の形態における周囲欠陥除去部206 が対応する。
【００２３】
この発明を適用した図１及び図８に示した第１及び第２の実施の形態においては、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき入出力制御部200 にて所定サイズの周囲画素を取り込み、周囲欠陥除去部206 にてこの周囲画素中から欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき欠陥画素を除去する。そして、欠陥画素の周囲画素に存在する欠陥画素を除去した後に補正値を求める。これにより、欠陥画素が連続する場合でも、その影響を除去し、精度の高い補正が可能となる。
【００２４】
請求項５に係る発明は、請求項１〜３のいずれか１項に係る欠陥画素補正装置において、前記方向算出手段は、算出された前記複数の所定方向における指標値の各方向別の割合を求める割合算出手段と、該割合算出手段で求められた前記複数の所定方向における指標値の割合を各方向毎にそれぞれ比較する比較手段と、該比較手段の比較結果から最も相関性の高い方向を出力する出力手段とを備えていることを特徴とするものである。
【００２５】
この発明に関する実施の形態には、第１及び第２の実施の形態が対応し、そして請求項５における構成要件の割合算出手段、比較手段及び出力手段には、第１及び第２の実施の形態の方向算出部203 における割合算出部400 ，比較部401 及び出力部402 が、それぞれ対応している。
【００２６】
この発明を適用した図１及び図８に示した第１及び第２の実施の形態においては、方向算出部203 内で、指標値算出部202 にて算出された各方向の指標値から割合算出部400 にて方向別の割合を求め、比較部401 にて方向別の割合比を比較し、出力部402 にて比較結果に基づき相関性の高い方向もしくは特定の方向には相関性がないという情報を出力する。
【００２７】
以上のように、方向毎の指標値からそれぞれの割合を求め、その比を比較することで相関性のある方向、又は相関性がないという情報を出力する。このように、各方向の指標値の比の値を比較するため、画像の階調幅などに依存せず、閾値設定などの調整が不要で、且つノイズなどに影響されにくく、相関性の高い方向を高精度に検出することが可能となる。
【００２８】
請求項６に係る発明は、請求項１又は２に係る欠陥画素補正装置において、前記補正値算出手段は、前記所定方向に属する周囲画素から補間により補正値を算出する補間算出手段と、前記周囲画素から平均により補正値を算出する平均算出手段と、前記方向に基づき前記補間算出手段と前記平均算出手段を選択する選択手段とを備えていることを特徴とするものである。
【００２９】
この発明に関する実施の形態には、第１及び第２の実施の形態が対応し、そして請求項６における構成要件の補間算出手段、平均算出手段及び選択手段には、第１の実施の形態の補正値算出部204 における補間算出部501 ，平均算出部502 及び選択部500 が、それぞれ対応する。
【００３０】
この発明を適用した図１に示した第１の実施の形態においては、補正値算出部204 内で、方向算出部203 からの情報に基づきに選択部500 にて補間算出部501 又は平均算出部502 を選択する。このように、相関性の有無に基づき特定方向の周囲画素を用いた補間又は全ての周囲画素を用いた平均を切り換える。そしてエッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いるため、入力画像に対し最適な補正が可能となる。
【００３１】
請求項７に係る発明は、請求項３に係る欠陥画素補正装置において、前記第１の補正値算出手段は、前記所定方向に属する周囲画素から補間により補正値を算出する補間算出手段と、前記周囲画素から平均により補正値を算出する平均算出手段と、前記方向に基づき前記補間算出手段と前記平均算出手段を選択する選択手段とを備えていることを特徴とするものであり、この発明に係る実施の形態には、第２の実施の形態が対応し、請求項６に係る欠陥画素補正装置と同等の作用効果が得られる。
【００３２】
請求項８に係る発明は、請求項３に係る欠陥画素補正装置において、前記色比率算出手段は、前記欠陥画素周囲の画素において出現頻度が多い色の画素の平均値及び出現頻度が少ない色の画素の平均値との比を算出する比算出手段を備えていることを特徴とするものである。この発明に関する実施の形態には、第２の実施の形態が対応し、そして請求項８における構成要件の比算出手段には、第２の実施の形態の色比率算出部207 における比算出部 602が対応する。
【００３３】
この発明を適用した図８に示す第２の実施の形態においては、色比率算出部207 内で、方向算出部203 からの情報に基づき第１平均算出部600 にて出現頻度の多い色の画素の平均を算出し、方向算出部 203からの情報に基づき第２平均算出部601 にて出現頻度の少ない色の画素の平均を算出し、比算出部 602にて両者の平均値の比を算出する。このように、相関性の高い方向に属する周囲画素から出現頻度の多い色の画素と少ない色の画素の色比率を算出する。したがって、エッジ領域などの複雑な画像においても高精度な色比率の算出が可能となる。
【００３４】
請求項９に係る発明は、請求項３に係る欠陥画素補正装置において、前記第２の補正値算出手段は、前記所定方向に属する周囲画素中の出現頻度が多い色の画素から補間により補間値を算出する補間算出手段と、前記周囲画素中の出現頻度が多い色の画素から平均により補間値を算出する平均算出手段と、相関のある方向を調べ、前記補間算出手段と前記平均算出手段を選択する選択手段と、前記補間値と前記色比率を乗算する乗算手段とを備えていることを特徴とするものである。この発明に関する実施の形態には、第２の実施の形態が対応し、そして請求項９における構成要件の補間算出手段、平均算出手段、選択手段及び乗算手段には、第２の実施の形態の第２補正値算出部208 における補間算出部701 ，平均算出部702 ，選択部700 及び乗算部703 が、それぞれ対応する。
【００３５】
この発明を適用した図８に示す第２の実施の形態においては、第２補正値算出部208 内で、選択部700 にて補間算出部701 又は平均算出部702 を選択し出現頻度の多い色の画素の補間値を求め、色比率算出部 207からの色比率と乗算する。このように、相関性の高い方向に属する周囲画素から出現頻度の多い色の画素の補間値を求め色比率と乗算する。したがって、エッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いて出現頻度の多い色の画素の補間値を求め、これに基づき出現頻度の少ない色の画素の補正値を求めるため、出現頻度の多い色の画素の情報を最大限利用した最適な補正が可能となる。
【００３６】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る欠陥画素補正装置の第１の実施の形態を示すブロック構成図である。図１において、100 はレンズ系、101 はローパスフィルタ、102 はＣＣＤで、該ＣＣＤ102 を介して撮影された映像は、Ａ／Ｄ変換器103 にてデジタル信号へ変換される。そして、Ａ／Ｄ変換器103 からの映像信号は、画像用バッファ104 を介して欠陥画素補正部105 へ転送され、補正後の信号が再度画像用バッファ104 へ送られるようになっている。画像用バッファ104 からの信号は、信号処理部106 を介してメモリカードやディスクなどの記録部107 へ入力接続されている。
【００３７】
欠陥画素補正部105 は、画像用バッファ104 に接続している入出力制御部200 を介して接続されているラインバッファ201 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 を備えており、補正値算出部204 の出力は入出力制御部200 を介して画像用バッファ104 へ接続されている。また、欠陥位置記録ＲＯＭ205 は入出力制御部200 と周囲欠陥除去部206 へ接続され、周囲欠陥除去部206 はラインバッファ 201へ接続され、更にラインバッファ201 は補正値算出部204 へ接続されている。また、マイクロコンピュータなどからなる制御部108 は、信号処理部106 ，記録部107 ，入出力制御部200 に相互に接続されている。
【００３８】
次に、図１に示した第１の実施の形態の概略動作を信号の流れに基づいて説明する。なお、図１において太線は映像信号、細線は制御信号、点線はその他のデータをそれぞれ示している。また、以下の各ブロック図においても、同様の信号を示している。まず、図示しないシャッターボタンを押すことで撮像モードに入る。レンズ系100 ，ローパスフィルタ101 ，ＣＣＤ102 を介して撮影された映像は、Ａ／Ｄ変換器103 にてデジタル信号へ変換されて画像用バッファ104 へ転送される。本実施の形態では、デジタル化された映像信号の階調幅を、例えば10bit とする。画像用バッファ104 内の映像信号は、制御部108 の制御に基づき、欠陥画素補正部105 へ転送され、欠陥画素の補正が行われ、この補正結果は画像用バッファ104 へ転送される。全欠陥画素の補正が完了すると、制御部108 の制御に基づき、画像用バッファ104 内の映像信号は信号処理部106 へ転送され、エッジ強調処理やγ補正などの公知の信号処理が行われ、記録部107 へ転送され記録される。
【００３９】
次に、本実施の形態における欠陥画素補正について説明する。図２は、本実施の形態で用いられているＣＣＤ102 における欠陥画素の一例を示す図である。なお、この図示例では、色フィルタのない白黒用ＣＣＤを用いている。図２の（Ａ）は、欠陥画素Ｗ0 と隣接する３×３画素サイズの周囲画素Ｗij（ｉ＝１〜３，ｊ＝１〜３）を示す。この図示例では、注目する欠陥画素Ｗ0 に隣接するＷ32も欠陥画素であり、ハッチングを付して示している。欠陥画素補正部105 内の欠陥位置記録ＲＯＭ205 には、事前の検査により入手された欠陥画素の位置情報が記録されている。入出力制御部200 は、制御部108 の制御に基づき、欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を順次読みとり、欠陥画素を中心とする所定サイズの周囲画素、この例では３×３画素をラインバッファ201 へ転送する。また、周囲欠陥除去部206 は欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を読みとり、周囲画素に欠陥画素が存在する場合は、この周囲画素の値を特定の識別値に置き換える。識別値は、Ａ／Ｄ変換器103 が出力する値以外であれば任意であり、本例では例えば−１を用いる。その後、指標値算出部202 は、ラインバッファ201 上の欠陥画素及び周囲画素を読みとり、所定の方向に関する指標値を算出する。
【００４０】
図３は、指標値算出部202 の構成の一例を示すブロック図で、抽出位置記録ＲＯＭ300 ，絶対値差算出部301 ，加算平均部302 ，指標値記録バッファ303 からなる。ラインバッファ201 からの信号は、絶対値差算出部301 ，加算部302 ，指標値記録バッファ303 を介して方向算出部203 へ接続されている。また、抽出位置記録ＲＯＭ300 は絶対値差算出部301 へ接続されている。ラインバッファ201 内の欠陥画素及び周囲画素は、絶対値差算出部301 に取り込まれ、抽出位置記録ＲＯＭ300 に記録される位置情報に基づき特定方向毎に絶対値差に基づく指標値が算出される。
【００４１】
図４は、抽出位置記録ＲＯＭ300 に記録される位置情報の一例を示すもので、水平と垂直方向、及び斜め45度方向の位置情報が記録されている。位置情報は、注目する欠陥画素の座標を原点とした場合の相対座標で記載されている。絶対値差算出部301 は、まず抽出位置記録ＲＯＭ300 から水平方向の位置情報を読み込み、絶対値差を算出する。図２の（Ｂ）は、本例における水平方向の４組の指標値算出画素を示す。上記絶対値差は加算部302 にて加算され、指標値記録バッファ303 上に記録される。水平方向の指標値ｒh は、（１）式で示される。
ｒh ＝ (｜Ｗ11−Ｗ21｜＋｜Ｗ21−Ｗ31｜＋｜Ｗ13−Ｗ23｜
＋｜Ｗ23−Ｗ33｜）／４ ・・・・・・・・・・・・・・・・（１）
【００４２】
次に、絶対値差算出部301 は、抽出位置記録ＲＯＭ300 から垂直方向の位置情報を読み込み、絶対値差を算出する。なお、本例では欠陥画素Ｗ0 に隣接するＷ32も欠陥画素であり、周囲欠陥除去部206 により識別値、−１が代入されている。絶対値差算出部301 は、上記識別値が代入された画素が検出された場合、絶対値差の算出を中止し、別の組へ移行する。図２の（Ｃ）は、本例における垂直方向の２組の指標値算出画素を示す。この後、水平方法と同様に指標値が算出され指標値記録バッファ303 上に記録される。垂直方向の指標値ｒv は、（２）式で示される。
ｒv ＝（｜Ｗ11−Ｗ12｜＋｜Ｗ12−Ｗ13｜）／２ ・・・・・・・・（２）
【００４３】
指標値記録バッファ303 上の方向別の指標値は、方向算出部203 へ転送される。同様に絶対値差算出部301 は、抽出位置記録ＲＯＭ300 から斜め45度方向の位置情報を読み込み、絶対値差を算出する。本例では、欠陥画素Ｗ0 に隣接するＷ32も欠陥画素であるため、絶対値差の算出を中止し、別の組へ移行する。図２の（Ｄ）及び（Ｅ）が、本例における斜め45度方向の２組の指標値算出画素を示す。この後、算出された指標値が記録バッファ303 上に記録される。斜め45度方向の指標値ｒu ，ｒd は、（３），（４）式で示される。
ｒu ＝｜Ｗ21−Ｗ12｜ ・・・・・・・・・・・（３）
ｒd ＝｜Ｗ12−Ｗ23｜ ・・・・・・・・・・・（４）
【００４４】
図５は、方向算出部203 の構成の一例を示すブロック図で、割合算出部400 ，比較部401 ，出力部402 で構成されている。指標値算出部202 からの指標値は、割合算出部400 ，比較部401 ，出力部402 を介して補正値算出部204 へ接続されている。指標値算出部202 からの方向別の指標値は、割合算出部400 にて複数の所定の方向に関する指標値の割合が算出され、比較部401 へ転送される。比較部401 では、所定方向に関する指標値の割合を各方向毎に比較する。この結果は出力部402 へ転送される。出力部402 は、最も相関性の高い方向を出力する。比較の結果、どの方向に関しても相関性があまり高くない場合には、特定の方向に関して相関性がないという情報を補正値算出部204 へ出力する。
【００４５】
図６は、補正値算出部204 の構成の一例を示すブロック図で、選択部500 ，補間算出部501 ，平均算出部502 で構成されている。ラインバッファ201 からの信号は、選択部500 を介して補間算出部501 又は平均算出部502 へ接続されており、補間算出部501 ，平均算出部502 はラインバッファ201 へ接続されている。また、方向算出部203 の方向情報は、選択部500 及び補間算出部501 へ接続されている。選択部500 は、方向算出部203 の方向情報に基づき、特定方向が指定された場合は、その方向の周囲画素を選択し、これを補間算出部501 へ転送する。一方、方向算出部が特定の方向を出力しなかった場合には、全周囲画素を選択し、これを平均算出部502 へ転送する。補間算出部501 は公知の線形補間などを用いて、また平均算出部502 は加算平均、あるいは周囲画素の中央値、最頻値などにより欠陥画素の補正値を算出する。なお、周囲画素に周囲欠陥除去部206 により識別値が代入されていた場合は、この周囲画素は利用されない。
【００４６】
欠陥画素の補正値ｖは、
ｖ＝Ｗ12 水平方向 ・・・・・・・・・・・・・（５）
ｖ＝（Ｗ21＋Ｗ23）／２ 垂直方向 ・・・・・・・（６）
ｖ＝（Ｗ31＋Ｗ13）／２ ＋45度方向 ・・・・・・（７）
ｖ＝（Ｗ11＋Ｗ33）／２ −45度方向 ・・・・・・（８）
ｖ＝（Ｗ11＋Ｗ21＋Ｗ31＋Ｗ12＋Ｗ13＋Ｗ23＋Ｗ33）／７
平坦( 平均値) ・・・・（９）
のいずれかとなる。また(9) 式は(10)式と置き換えられる場合もある。
ｖ＝median〔Ｗ11，Ｗ21，Ｗ31，Ｗ12，Ｗ13，Ｗ23，Ｗ33〕
平坦( 中央値) ・・・・（10）
【００４７】
補正値は、入出力制御部200 を介して画像用バッファ104 へ転送される。制御部108 は、上記過程を欠陥位置記録ROM205上の全欠陥画素に対して繰り返すよう制御を行う。上記構成により、欠陥画素が連続するような場合でも、指標値に基づく特定方向の周囲画素から補正値を求めることが可能となり、高品位な欠陥画素の補正が可能になる。
【００４８】
また、相関性があまりない場合には、平坦であるとみなして全周囲画素から補正値を求めるため、画像に適用した最適な補正が可能となり、ノイズによる誤動作を低減することもできる。
【００４９】
なお、本実施の形態では白黒ＣＣＤの場合を想定して説明したが、これに限定される必要はない。例えば、図７の（Ａ）に示すように、ＣＣＤ前面にシアン（Ｃ），マゼンタ（Ｍ），イエロー（Ｙ），グリーン（Ｇ）の色フィルタを配置した補色単板ＣＣＤにおいても適用できる。図７の（Ａ）においては、注目する欠陥画素Ｃ0 と、Ｃ51及びＧ42が欠陥画素となっている。この例では、入出力制御部200 は周囲画素として５×５画素サイズを取り込んでいるものとする。図７の（Ｂ），（Ｃ）は、指標値算出部202 における方向別の指標値を算出する際の組の位置情報を示す。各方向の指標値ｒh ，ｒv ，ｒu ，ｒd は、
ｒh ＝（｜Ｃ11−Ｃ31｜＋｜Ｃ15−Ｃ35｜＋｜Ｃ35−Ｃ55｜）／３
水平方向 ・・・・・・・（11）
ｒv ＝（｜Ｃ11−Ｃ13｜＋｜Ｃ13−Ｃ15｜＋｜Ｃ53−Ｃ55｜）／３
垂直方向 ・・・・・・・（12）
ｒu ＝（｜Ｃ31−Ｃ13｜＋｜Ｃ53−Ｃ35｜）／２
＋45度方向 ・・・・・・（13）
ｒd ＝（｜Ｃ31−Ｃ53｜＋｜Ｃ13−Ｃ35｜）／２
−45度方向 ・・・・・・（14）
となる。これらの座標情報は色フィルタの配置に基づき抽出位置記録ＲＯＭ300 に記録しておく。
【００５０】
また、欠陥画素の補正値ｖは、
ｖ＝（Ｃ13＋Ｃ53）／２ 水平方向 ・・・・・・・（15）
ｖ＝（Ｃ31＋Ｃ35）／２ 垂直方向 ・・・・・・・（16）
ｖ＝Ｃ15 ＋45度方向 ・・・・・・（17）
ｖ＝（Ｃ11＋Ｃ55）／２ −45度方向 ・・・・・・ (18)
ｖ＝（Ｃ11＋Ｃ31＋Ｃ13＋Ｃ53＋Ｃ15＋Ｃ35＋Ｃ55）／７
平坦( 平均値) ・・・・・ (19)
のいずれかとなる。また、(19)式は(20)式と置き換えられる場合もある。
ｖ＝median〔Ｃ11，Ｃ31，Ｃ13，Ｃ53，Ｃ15，Ｃ35，Ｃ55〕
平坦( 中央値) ・・・・・ (20)
【００５１】
上記のように、色フィルタが前面に配置された撮像素子に対しても適用可能である。なお、本実施の形態においては、指標値を求めるのに２画素の絶対値差を用いたがこれに限定される必要はない。２画素の比を用いるなどの他の方法も利用できる。また、各指標値を統合するに加算平均を用いたが、これに限定される必要はない。注目する欠陥画素からの距離に応じて重み付けをするなどの他の方法も利用できる。
【００５２】
次に、本発明の第２の実施の形態を図８のブロック構成図に基づいて説明する。本実施の形態は、第１の実施の形態におけるＣＣＤ102 に対して色フィルタ109 を付加し、欠陥画素補正部105 において色比率算出部207 及び第２補正値算出部208 を付加した構成になっている。基本構成は、第１の実施の形態と同等であり、同一の構成要素には同一の符号と名称を付して示している。
【００５３】
以下、第１の実施の形態と異なる部分の構成を主に説明する。ローパスフィルタ101 とＣＣＤ102 間に、色フィルタ109 が配置されている。欠陥画素補正部105 においては、画像用バッファ104 に接続している入出力制御部200 を介してラインバッファ201 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 が接続されており、補正値算出部204 の出力は入出力制御部200 を介して画像用バッファ104 へ接続されている。更にラインバッファ201 から色比率算出部207 ，第２補正値算出部208 が接続されており、第２補正値算出部208 の出力は入出力制御部200 を介して画像用バッファ104 へ接続されている。ラインバッファ201 は、補正値算出部204 及び第２補正値算出部208 へも接続している。また、欠陥位置記録ＲＯＭ205 は入出力制御部200 と周囲欠陥除去部206 へ接続しており、周囲欠陥除去部206 はラインバッファ201 へ接続している。
【００５４】
次に、このように構成されている第２の実施の形態の動作について説明する。本実施の形態の動作は、基本的には第１の実施の形態と同等であり、異なる部分を主に説明する。図８において、図示しないシャッターボタンを押すことで撮像モードに入る。レンズ系100, ローパスフィルタ101, 色フィルタ109 ，ＣＣＤ102 を介して撮影された映像は、Ａ／Ｄ変換器103 にてデジタル信号へ変換されて、画像用バッファ104 へ転送される。画像用バッファ104 内の映像信号は、制御部108 の制御に基づき、欠陥画素補正部105 へ転送され、欠陥画素の補正が行われ、この補正結果は画像用バッファ104 へ転送される。全欠陥画素の補正が完了すると、制御部108 の制御に基づき、画像用バッファ104 内の映像信号は信号処理部106 へ転送され、補間、ホワイトバランス、エッジ色強調処理、γ補正などの公知の信号処置が行われ、記録部107 へ転送され記録される。
【００５５】
図９は、本実施の形態において用いられているＣＣＤ102 における欠陥画素の一例を示す図である。なお本例では、レッド（Ｒ），グリーン（Ｇ），ブルー（Ｂ）からなるＢayer型の原色ＣＣＤを用いている。Ｂayer型のＣＣＤは、Ｇ画素の出現頻度がＲ，Ｂ画素の２倍という不均一な出現頻度を有する。図９の（Ａ）は、欠陥画素Ｒ0 ，Ｇ43，Ｂ42を含むその近傍６×５画素サイズの周囲画素を示す。まず、出現頻度が高い信号が欠陥である場合の補正について説明する。本例では、図９の（Ａ）欠陥画素Ｇ43を補正する場合を考える。欠陥画素補正部105 内の欠陥位置記録ＲＯＭ205 には、事前の検査により入手された欠陥画素の位置情報が、出現頻度の多い色の画素であるＧと少ない色の画素であるＲ，Ｂと区別され記録されている。
【００５６】
入出力制御部200 は、制御部108 の制御に基づき、欠陥位置記録ＲＯＭ205 からＧ画素に関する欠陥画素の位置情報を順次読みとり、欠陥画素を中心とする所定サイズの周囲画素、本例では５×５画素サイズ中のＧ画素のみをラインバッファ201 へ転送する。また、周囲欠陥除去部206 は欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を読みとり、Ｇ画素の周囲画素に欠陥画素が存在する場合は、この周囲画素の値を特定の識別値に置き換える。図９の（Ｂ），（Ｃ）は水平、垂直、＋45度、−45度の４方向で指標値を算出する際の組の画素位置情報を示す。その後、補正値算出部204 にて方向算出部203 の出力する方向の画素を用いて、あるいは方向算出部が特定の方向を出力しなかった場合には、欠陥画素に隣接する全ての画素（本例では、Ｇ32，Ｇ52，Ｇ34，Ｇ54）を用いて欠陥画素の補正値が算出され、入出力制御部200 を介して画像用バッファ104 へ転送される。制御部108 は、上記過程を欠陥位置記録ＲＯＭ205 上のＧ画素の全欠陥画素に対して繰り返すように制御を行う。
【００５７】
次に、出現頻度の少ない色の画素であるＲ，Ｂ画素の欠陥画素の補正について説明する。以下ではＲ画素に関して説明するが、Ｂ画素に関しても同様に適用できる。図９の（Ａ）のＲ0 を補正する場合を例にとる。入出力制御部200 は、制御部108 の制御に基づき、欠陥位置記録ＲＯＭ205 からＲ，及びＧ画素に関する欠陥画素の位置情報を順次読みとり、欠陥画素を中心とする所定サイズの周囲画素、本例では５×５画素中のＲ画素及びＧ画素をラインバッファ201 へ転送する。また、周囲欠陥除去部206 は、欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を読みとり、周囲画素に欠陥画素が存在する場合は、この周囲画素の値を特定の識別値に置き換える。取り込まれたラインバッファ201 上の５×５画素サイズの画素で、色比率算出部207 において、出現頻度の低いＲ画素の加算値と出現頻度の多いＧ画素の加算値から、ＲとＧの色比率を算出する。第２補正値算出部208 では、補正する欠陥に隣接する出現頻度の高い信号から、欠陥画素のある位置における出現頻度の高い信号の補間値を求め、色比率算出部207 が出力する色比率と乗算することで、欠陥画素の補正値を求める。但し、使用する画素に欠陥画素が含まれる場合には、その画素は使用しない。
【００５８】
図10は、色比率算出部207 の構成の一例を示すブロック図で、第１平均算出部600 ，第２平均算出部601 ，比算出部602 で構成されている。ラインバッファ201 からの信号は、第１平均算出部600 ，第２平均算出部601 を介し比算出部602 へ接続しており、比算出部602 は第2 補正値算出部208 へ接続している。ラインバッファ201 内の周囲画素中のＧ画素は第１平均算出部600 へ取り込まれ、欠陥と隣接しないＧ画素から平均値が算出される。同様に、ラインバッファ201 内の周囲画素中のＲ画素は第２平均算出部601 へ取り込まれ、欠陥と隣接しないＲ画素から平均値が算出される。第１平均算出部600 及び第２平均算出部601 からの平均値は、比算出部602 にて除算されて色比率が算出され、第２補正値算出部208 へ転送される。図９の（Ｄ）は、上記色比率を求める際に使用されるＲ，Ｇ画素を示す。本例では色比率ｒC は、
ｒC ＝｛（Ｒ11＋Ｒ31＋Ｒ51＋Ｒ13＋Ｒ53＋Ｒ15＋Ｒ35＋Ｒ55）／８｝
／｛（Ｇ21＋Ｇ41＋Ｇ12＋Ｇ52＋Ｇ14＋Ｇ54＋Ｇ25＋Ｇ45）／８｝
・・・・・・・・・(21)
となる。但し、(21)式で使用する画素に欠陥画素が含まれる場合には、その画素は使用しない。
【００５９】
図11は、第２補正値算出部208 の構成の一例を示すブロック図で、選択部700 ，補間算出部701 ，平均算出部702 ，乗算部703 で構成されている。ラインバッファ201 からの信号は、選択部700 を介して補間算出部701 ，平均算出部702 へ接続されており、補間算出部701 ，平均算出部702 は乗算部703 へ接続している。乗算部703 はラインバッファ201 へ接続されている。また、色比率算出部207 の信号は、乗算部703 へ接続している。ラインバッファ201 内の周囲画素中のＧ画素は、選択部700 を介して補間算出部701 又は平均算出部702 へ取り込まれる。選択部700 では、欠陥を挟む２画素の画素差を比較し、水平方向又は垂直方向に相関性が認められた場合には、その方向に属する欠陥画素に隣接するＧ画素を補間算出部701 へ、特定の方向に相関性がない場合は、欠陥画素に隣接する全Ｇ画素を平均算出部702 へ転送する。補間算出部701 では公知の線形補間などで補間値が算出され、平均算出部702 では平均値が算出され、乗算部703 へ転送される。図９の（Ｅ）は、出現頻度の高いＧ画素の欠陥位置における補間値を求める際に使用する画素を示している。本例ではＧ43が欠陥画素であるため、垂直方向に相関がある場合にはＧ32，Ｇ34を使用し、水平方向に相関がある場合にはＧ23を使用し、特定方向に相関がない場合はＧ32，Ｇ34，Ｇ23を使用する。
【００６０】
乗算部703 では、補間算出部701 又は平均算出部702 からの信号と、色比率算出部207 からの色比率を乗算する事で、欠陥画素の補正値を求める。本例の場合、補正値ｖは
ｖ＝ｒC ×Ｇ23 水平方向 ・・・（22）
ｖ＝ｒC ×（Ｇ32＋Ｇ34）／２ 垂直方向 ・・・ (23)
ｖ＝ｒC ×（Ｇ32＋Ｇ23＋Ｇ34）／３ 平均 ・・・・・ (24)
のいずれかとなる。なお、(24)式では隣接する画素の平均値を使用したが、隣接する画素の中央値、最頻値などが使用される場合もある。制御部108 は、上記過程を欠陥位置記録ＲＯＭ205 上のＲ，Ｂ画素の全欠陥画素に対して繰り返すように制御を行う。
【００６１】
上記構成により、出現頻度が不均一な色フィルタが前面に配置された撮像素子に対し、出現頻度の高い色の画素は、その画素のみを用いてエッジ強度の指標値に基づく特定方向の周囲画素から補正値を求めることが可能となり、出現頻度の少ない色の画素の影響を受けず高品位な欠陥画素の補正が可能になる。出現頻度の少ない色の画素は、出現頻度の高い色の画素との色比率に基づき、その情報を利用することで、より精度の高い補正値を求めることが可能となる。
【００６２】
なお、上記各実施の形態ではハードウェアにより処理を行うようにしたものを示したが、これに限定される必要はない。例えば、撮像素子からの信号をそのままの形態で出力する rawフォーマットで画像を出力し、計算機上でソフトウェア的に処理を行う形態にも、本発明を適用することが可能である。
【００６３】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１及び４に係る発明によれば、欠陥画素の周囲画素から相関性の高い方向を求め、その方向に属する周囲画素を用いて補正値を算出する際に、所定方向に関して複数の指標値を求め統合してその方向の指標値としているので、方向検出が高性能となり、エッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となり、また一つの方向の指標値を複数の指標値の加算で算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い欠陥補正が可能となる。また請求項２に係る発明によれば、色フィルタを前面に配置した固体撮像素子の欠陥画素の補正に関しても、欠陥画素と同色の周囲画素から相関性の高い方向を求めるようにしているので、同様にエッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となり、また一つの方向の指標値を複数の指標値の加算で算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い欠陥補正が可能となる。また請求項３に係る発明によれば、出現頻度が不均一な色フィルタを前面に配置した固体撮像素子の欠陥画素の補正に関しても、出現頻度の多い画素の場合は、その色の画素のみを用いて補正値を算出するようにしているので出現頻度の少ない色の影響を受けずに高周波成分を維持した高精度の補正が可能となり、また出現頻度の少ない色の画素の場合は、多い色の画素との色比率に基づいて補正値を算出するようにしているので、出現頻度の多い色の画素の情報を利用してより高精度の欠陥補正が可能となり、更に一つの方向の指標値を複数の指標値の加算で算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い欠陥補正が可能となる。
【００６４】
また請求項４に係る発明によれば、欠陥画素の周囲画素に存在する欠陥画素を除去して補正値を求めるようにしているので、欠陥画素が連続する場合でも、その影響を除去し精度の高い欠陥補正が可能となる。また請求項５に係る発明によれば、各方向の指標値の比の値を比較するようにしているので、画像の階調幅などに依存せず、閾値設定などの調整が不要で、且つノイズなどに影響されにくく、相関性の高い方向を高精度で検出することが可能となる。また請求項６及び７に係る発明によれば、エッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いるようにしているので、入力画像に対して最適な欠陥補正が可能となる。また、請求項８に係る発明によれば、エッジ領域などの複雑な画像においても精度の高い色比率の算出が行われ、高精度の欠陥補正が可能となる。また請求項９に係る発明によれば、エッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いて出現頻度の多い色の画素の補間値を求め、これに基づき出現頻度の少ない色の画素の補正値を求めるようにしているので、出現頻度の多い色の画素の情報を最大限利用した最適な補正が可能となる。
【図面の簡単な説明】
【図１】 本発明に係る欠陥画素補正装置の第１の実施の形態を示すブロック構成図である。
【図２】 図１に示した第１の実施の形態における白黒ＣＣＤの欠陥画素の配置例及び各方向の指標値算出画素を示す図である。
【図３】 図１に示した第１の実施の形態における指標値算出部の構成例を示すブロック図である。
【図４】 図３に示した指標値算出部における抽出位置記録ＲＯＭに記録される位置情報の一例を示す図である。
【図５】 図１に示した第１の実施の形態における方向算出部の構成例を示すブロック図である。
【図６】 図１に示した第１の実施の形態における補正値算出部の構成例を示すブロック図である。
【図７】 補色ＣＣＤにおける欠陥画素の配置例及び各方向の指標値算出画素を示す図である。
【図８】 本発明の第２の実施の形態を示すブロック構成図である。
【図９】 原色ＣＣＤにおける欠陥画素の配置例及び指標値算出画素並びに欠陥位置のＧの補間値を示す図である。
【図10】 図８に示した第２の実施の形態における色比率算出部の構成例を示すブロック図である。
【図11】 図８に示した第２の実施の形態における第２補正値算出部の構成例を示すブロック図である。
【図12】 従来手法によるパターン認識で対応できないパターン例を示す図である。
【符号の説明】
100 レンズ系
101 ローパスフィルタ
102 ＣＣＤ
103 Ａ／Ｄ変換器
104 画像用バッファ
105 欠陥画素補正部
106 信号処理部
107 記録部
108 制御部
109 色フィルタ
200 入出力制御部
201 ラインバッファ
202 指標値算出部
203 方向算出部
204 補正値算出部
205 欠陥位置記録ＲＯＭ
206 周囲欠陥除去部
207 色比率算出部
208 第２補正値算出部
300 抽出位置記録ＲＯＭ
301 絶対値差算出部
302 加算平均部
303 指標値記録バッファ
400 割合算出部
401 比較部
402 出力部
500 選択部
501 補間算出部
502 平均算出部
600 第１平均算出部
601 第２平均算出部
602 比算出部
700 選択部
701 補間算出部
702 平均算出部
703 乗算部
【発明の属する技術分野】
この発明は、固体撮像素子に存在する欠陥画素の補正装置に関し、特に欠陥画素が連続する場合でも高品位な補正を可能とする欠陥画素補正装置に関する。
【０００２】
【従来の技術】
近年、ディジタルカメラなど固体撮像素子を用いた撮像装置が様々な用途に使用されている。使用される固体撮像素子の画素数は、年々増大する傾向にあり、これに伴い欠陥画素の発生も増大することになる。このような問題に対して、従来は製造時の検査により欠陥画素の位置をあらかじめ記録しておき、その記録された画素を隣接する画素と置き換える手法や、周囲画素の中央値や平均値で補間するなどの手法がとられてきた。しかし、これらの手法では、欠陥画素近傍に濃淡の境界が存在する場合やコントラストが急激に変化している場合などでは、補正跡が不連続となってしまうことがあった。
【０００３】
この問題を解決するため、従来特許公報第２８０８８１３号に示すような手法が提案されている。この手法は、欠陥画素の１画素前と後ろに隣接する画素と、欠陥画素の１ライン前で隣接する３画素の合計５画素について、それぞれ隣接する２画素間の信号レベルの差分の絶対値を算出して、この差の大小関係を比較して欠陥画素周囲をパターン分類し、分類結果に応じた欠陥画素の補正を行うものである。また、表示画像に悪影響を及ぼさずに高品質の画像を表示するために、特開平８−９３９４号公報に示すように、欠陥画素周囲の各色画素の強度平均値を計算し、注目色画素の強度平均値と他の色画素の強度平均値との比を求め、この比演算値を原画像信号に乗算してメディアンフィルタをかけることで、傷信号が除去された信号を得るという方法がとられてきた。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記特許公報第２８０８８１３号に示される補正回路では、欠陥画素に隣接する前後の画素と１ライン前で隣接する３画素のレベル差のみでパターンを識別しているため、このパターン認識を誤る可能性がある。例えば、図12の（Ａ）に示すように、欠陥画素（？マーク付き画素）に隣接する前の画素，左上の画素，上の画素の輝度レベル差が小さいような場合、パターンは垂直方向であると判定される。このため、欠陥画素の位置は上に隣接する画素の値で補間されるが、実際には図12の（Ｂ）に示すように右上がりのパターンである場合も考えられ、正確なパターン分類を行うことができない。また、欠陥画素が連続して発生しているような場合では、参照する隣接画素に欠陥画素が含まれてしまうため、パターン識別ができないという問題もある。
【０００５】
本発明はこの点に着目し、欠陥画素の周辺に複雑なエッジ構造がある場合や、欠陥画素が連続して発生している場合においても、正確な補正を可能とする欠陥画素補正装置を提供することを目的とする。
【０００６】
また、欠陥画素には、入射光のレベルにかかわりなく、白レベル又は黒レベルの信号を出力する白傷や黒点欠陥などがある。上記特開平８−９３９４号に示される補正方法においては、欠陥画素は入射光のレベルに応じて出力値が増大すると仮定して欠陥補正を行っているため、白傷や黒点欠陥などの欠陥画素は補正することができない。また、Bayer 型などの出現頻度が異なる色フィルタを前面に配置した撮像素子の場合、出現頻度の多い色の画素の欠陥に対しても同色の離れた画素信号の平均値を用いて補正するため、画素に含まれる高周波成分が失われてしまうという問題があった。更に、欠陥画素周囲中に別の欠陥画素が含まれている場合、欠陥画素を含む平均値を求めてしまうため、精度の高い補正を行うことができないという問題があった。
【０００７】
本発明はこの点に着目し、白傷や黒点欠陥の欠陥画素に対しても補正が可能な欠陥画素補正装置を提供することを目的とする。
【０００８】
更に、本発明は、出現頻度が異なる色フィルタの撮像素子において高周波成分を失うことなく高精度な補正を可能とし、欠陥画素周囲に別の欠陥画素が存在する場合においても誤動作することのない欠陥画素補正装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき欠陥画素の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素から前記欠陥画素の補正値を算出する補正値算出手段とを備え、前記指標値算出手段は、所定方向に属する周囲画素から所定距離にある２つの画素の組合せを複数抽出する抽出手段と、該抽出手段で抽出された前記複数の組合せに対する画素間の絶対値差を算出する絶対値差算出手段と、該絶対値差算出手段で算出された前記複数の絶対値差を 複数の所定方向毎に加算して前記指標値を算出する加算手段とを備えていることを特徴とするものである。
【００１０】
この請求項１に係る発明に関する実施の形態には、図１〜図８に示す第１及び第２の実施の形態が対応する。そして、請求項１における構成要件の欠陥記憶手段、画素取り込み手段、指標値算出手段、方向算出手段、補正値算出手段、抽出手段、絶対値差算出手段、加算手段には、第１及び第２の実施の形態における欠陥位置記録ＲＯＭ205 ，入出力制御部200 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 ，指標値算出部 202 における抽出位置記録ＲＯＭ 300 ，絶対値差算出部 301 ，加算部 302 が、それぞれ対応している。
【００１１】
この発明を適用した図１及び図８に示した第１及び第２の実施の形態においては、ＣＣＤ102 にて撮影された画像信号をＡ／Ｄ変換器103 にてデジタル化して画像用バッファ104 上に記録し、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき、所定サイズの周囲画素を入出力制御部200 にてラインバッファ201 に取り込み、指標値算出部202 にて所定方向における複数の指標値から統合された指標値を求め、方向算出部203 にて相関が最大となる方向を求め、補正値算出部204 にて前記相関のある方向に属する周囲画素を用いて欠陥画素の補正値が算出される。また、指標値算出部 202 内で、抽出位置記録ＲＯＭ 300 に記録された位置情報に基づき欠陥画素の周囲画素から特定方向に属する２つの画素の組を複数抽出し、絶対値差算出部 301 で上記組に関して絶対値差を求め、加算部 302 にて絶対値差を加算することで所定方向の指標値とする。
【００１２】
このように、欠陥画素の周囲画素から相関性の高い方向を求め、この方向に属する周囲画素を用いて補正値を算出し、その際、所定方向に関して複数の指標値を求め、これを統合することで、この方向の指標値としているので、得られる指標値の精度が高く方向検出が高性能となり、エッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となる。また、一つの方向の指標値を複数の指標値の加算にて算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い補正が可能となる。
【００１３】
請求項２に係る発明は、色フィルタを前面に配置した固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき、固体撮像素子の前面に配置された色フィルタの各色のうち欠陥画素と同色の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素から前記欠陥画素の補正値を算出する補正値算出手段とを備え、前記指標値算出手段は、所定方向に属する周囲画素から所定距離にある２つの画素の組合せを複数抽出する抽出手段と、該抽出手段で抽出された前記複数の組合せに対する画素間の絶対値差を算出する絶対値差算出手段と、該絶対値差算出手段で算出された前記複数の絶対値差を複数の所定方向毎に加算して前記指標値を算出する加算手段とを備えていることを特徴とするものである。
【００１４】
この請求項２に係る発明に関する実施の形態には、図１〜図８に示す第１及び第２の実施の形態が対応する。そして、請求項２における構成要件の欠陥記憶手段、画素取り込み手段、指標値算出手段、方向算出手段、補正値算出手段、抽出手段、絶対値差算出手段、加算手段には、第１の実施の形態における欠陥位置記録ＲＯＭ205 ，入出力制御部200 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 ，指標値算出部 202 における抽出位置記録ＲＯＭ 300 ，絶対値差算出部 301 ，加算部 302 が、それぞれ対応している。
【００１５】
この発明を適用した図１及び図８に示した第１及び第２の実施の形態においては、色フィルタを前面に配置されたＣＣＤ102 にて撮影された画像信号をＡ／Ｄ変換器103 にてデジタル化して画像用バッファ104 上に記録し、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき、所定サイズの欠陥画素と同色の周囲画素を入出力制御部200 にてラインバッファ201 に取り込み、指標値算出部202 にて所定方向における複数の指標値から統合された指標値を求め、方向算出部203 にて相関が最大となる方向を求め、補正値算出部204 にて前記相関のある方向に属する周囲画素を用いて欠陥画素の補正値が算出される。また、指標値算出部 202 内で、抽出位置記録ＲＯＭ 300 に記録された位置情報に基づき欠陥画素の周囲画素から特定方向に属する２つの画素の組を複数抽出し、絶対値差算出部 301 で上記組に関して絶対値差を求め、加算部 302 にて絶対値差を加算することで所定方向の指標値とする。
【００１６】
このように、欠陥画素と同色の周囲画素から相関性の高い方向を求め、この方向に属する周囲画素を用いて補正値を算出し、その際、所定方向に関して複数の指標値を求め、これを統合することで、この方向の指標値としているので、得られる指標値の精度が高く方向検出が高性能となり、エッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となる。また、一つの方向の指標値を複数の指標値の加算にて算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い補正が可能となる。
【００１７】
請求項３に係る発明は、出現頻度が不均一な色フィルタを前面に配置した固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、前記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記憶されている前記位置情報に基づき欠陥画素の周囲画素を取り込む画素取り込み手段と、該画素取り込み手段で取り込まれた前記周囲画素において出現頻度が多い色の画素の指標値を算出する指標値算出手段と、該指標値算出手段で算出された前記指標値に基づき出現頻度が多い色の画素の相関が最大となる方向を算出する方向算出手段と、該方向算出手段で算出された前記方向に基づき選択された周囲画素中の出現頻度が多い色の画素から前記欠陥画素の補正値を算出する第１の補正値算出手段と、前記欠陥画素周囲の画素中の出現頻度が多い色の画素と出現頻度が少ない色の画素から色比率を算出する色比率算出手段と、前記欠陥画素周囲の画素中の出現頻度が多い色の画素から算出した補間値、及び前記色比率算出手段で算出された色比率に基づき前記欠陥画素の補正値を算出する第２の補正値算出手段と、前記欠陥画素の色に基づき前記第１の補正値算出手段と前記第２の補正値算出手段を切り換える切換手段とを備え、前記指標値算出手段は、所定方向に属する周囲画素から所定距離にある２つの画素の組合せを複数抽出する抽出手段と、該抽出手段で抽出された前記複数の組合せに対する画素間の絶対値差を算出する絶対値差算出手段と、該絶対値差算出手段で算出された前記複数の絶対値差を複数の所定方向毎に加算して前記指標値を算出する加算手段とを備えていることを特徴とするものである。
【００１８】
この請求項３に係る発明に関する実施の形態には、図８〜図11に示される第２の実施の形態が対応する。そして、請求項３における構成要件の欠陥記憶手段、画素取り込み手段、指標値算出手段、方向算出手段、第１の補正値算出手段、色比率算出手段、第２の補正値算出手段、切換手段、抽出手段、絶対値差算出手段、加算手段には、第２の実施の形態における欠陥位置記憶ＲＯＭ205 ，入出力制御部200 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 ，色比率算出部207 ，第２補正値算出部208 ，制御部108 ，指標値算出部 202 における抽出位置記録ＲＯＭ 300 ，絶対値差算出部 301 ，加算部 302 が、それぞれ対応している。
【００１９】
この発明を適用した図８に示した第２の実施の形態においては、色フィルタ109 を前面に配置したＣＣＤ102 にて撮影された画像信号をＡ／Ｄ変換器103 にてデジタル化して画像用バッファ104 上に記録し、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき、所定サイズの周囲画素を入出力制御部200 にてラインバッファ201 に取り込み、欠陥画素が出現頻度の多い色の画素の場合は、指標値算出部202 にて所定方向における複数の指標値から統合された指標値を求め、方向算出部203 にて相関が最大となる方向を求め、補正値算出部204 にて前記相関のある方向に属する周囲画素を用いて欠陥画素の補正値を算出し、欠陥画素が出現頻度の少ない色の画素の場合は、色比率算出部207 にて欠陥画素周囲における出現頻度の少ない色の画素と出現頻度の多い色の画素間の色比率を求め、第２補正値算出部208 にて出現頻度の多い色の画素から求めた補間値と上記色比率を乗算することで、欠陥画素の補正値が算出される。
【００２０】
このように、欠陥画素が出現頻度の多い色の画素の場合、その色の画素のみを用いて相関性の高い方向を求め、この方向に属する周囲画素を用いて補正値を算出し、一方、出現頻度の少ない色の画素の場合、欠陥画素の周囲画素を用いて出現頻度の多い色の画素と少ない色の画素間で色比率を求め、更に欠陥画素位置における出現頻度の多い色の画素値を補間により求め、両者を乗算することで補正値を算出するようにしている。また、指標値算出部 202 内で、抽出位置記録ＲＯＭ 300 に記録された位置情報に基づき欠陥画素の周囲画素から特定方向に属する２つの画素の組を複数抽出し、絶対値差算出部 301 で上記組に関して絶対値差を求め、加算部 302 にて絶対値差を加算することで所定方向の指標値とする。
【００２１】
これにより、出現頻度の多い色の画素の場合、その色の画素のみを用いて補正値を算出するため、出現頻度の少ない色の影響を受けずに高周波成分を維持した高精度な補正が可能となり、また出現頻度の少ない色の画素の場合、多い色の画素との色比率に基づき補正値を算出するため、出現頻度の多い色の画素の情報を利用してより精度の高い補正が可能となる。また、一つの方向の指標値を複数の指標値の加算にて算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い補正が可能となる。
【００２２】
請求項４に係る発明は、請求項１〜３のいずれか１項に係る欠陥画素補正装置において、前記画素取り込み手段は、前記欠陥画素の位置情報に基づき周囲画素中に欠陥画素が含まれている場合に該欠陥画素を除去する除去手段を備えていることを特徴とするものである。この発明に関する実施の形態には、第１及び第２の実施の形態が対応し、そして請求項10における構成要件の除去手段には、第１及び第２の実施の形態における周囲欠陥除去部206 が対応する。
【００２３】
この発明を適用した図１及び図８に示した第１及び第２の実施の形態においては、欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき入出力制御部200 にて所定サイズの周囲画素を取り込み、周囲欠陥除去部206 にてこの周囲画素中から欠陥位置記録ＲＯＭ205 上に記録された欠陥画素の位置情報に基づき欠陥画素を除去する。そして、欠陥画素の周囲画素に存在する欠陥画素を除去した後に補正値を求める。これにより、欠陥画素が連続する場合でも、その影響を除去し、精度の高い補正が可能となる。
【００２４】
請求項５に係る発明は、請求項１〜３のいずれか１項に係る欠陥画素補正装置において、前記方向算出手段は、算出された前記複数の所定方向における指標値の各方向別の割合を求める割合算出手段と、該割合算出手段で求められた前記複数の所定方向における指標値の割合を各方向毎にそれぞれ比較する比較手段と、該比較手段の比較結果から最も相関性の高い方向を出力する出力手段とを備えていることを特徴とするものである。
【００２５】
この発明に関する実施の形態には、第１及び第２の実施の形態が対応し、そして請求項５における構成要件の割合算出手段、比較手段及び出力手段には、第１及び第２の実施の形態の方向算出部203 における割合算出部400 ，比較部401 及び出力部402 が、それぞれ対応している。
【００２６】
この発明を適用した図１及び図８に示した第１及び第２の実施の形態においては、方向算出部203 内で、指標値算出部202 にて算出された各方向の指標値から割合算出部400 にて方向別の割合を求め、比較部401 にて方向別の割合比を比較し、出力部402 にて比較結果に基づき相関性の高い方向もしくは特定の方向には相関性がないという情報を出力する。
【００２７】
以上のように、方向毎の指標値からそれぞれの割合を求め、その比を比較することで相関性のある方向、又は相関性がないという情報を出力する。このように、各方向の指標値の比の値を比較するため、画像の階調幅などに依存せず、閾値設定などの調整が不要で、且つノイズなどに影響されにくく、相関性の高い方向を高精度に検出することが可能となる。
【００２８】
請求項６に係る発明は、請求項１又は２に係る欠陥画素補正装置において、前記補正値算出手段は、前記所定方向に属する周囲画素から補間により補正値を算出する補間算出手段と、前記周囲画素から平均により補正値を算出する平均算出手段と、前記方向に基づき前記補間算出手段と前記平均算出手段を選択する選択手段とを備えていることを特徴とするものである。
【００２９】
この発明に関する実施の形態には、第１及び第２の実施の形態が対応し、そして請求項６における構成要件の補間算出手段、平均算出手段及び選択手段には、第１の実施の形態の補正値算出部204 における補間算出部501 ，平均算出部502 及び選択部500 が、それぞれ対応する。
【００３０】
この発明を適用した図１に示した第１の実施の形態においては、補正値算出部204 内で、方向算出部203 からの情報に基づきに選択部500 にて補間算出部501 又は平均算出部502 を選択する。このように、相関性の有無に基づき特定方向の周囲画素を用いた補間又は全ての周囲画素を用いた平均を切り換える。そしてエッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いるため、入力画像に対し最適な補正が可能となる。
【００３１】
請求項７に係る発明は、請求項３に係る欠陥画素補正装置において、前記第１の補正値算出手段は、前記所定方向に属する周囲画素から補間により補正値を算出する補間算出手段と、前記周囲画素から平均により補正値を算出する平均算出手段と、前記方向に基づき前記補間算出手段と前記平均算出手段を選択する選択手段とを備えていることを特徴とするものであり、この発明に係る実施の形態には、第２の実施の形態が対応し、請求項６に係る欠陥画素補正装置と同等の作用効果が得られる。
【００３２】
請求項８に係る発明は、請求項３に係る欠陥画素補正装置において、前記色比率算出手段は、前記欠陥画素周囲の画素において出現頻度が多い色の画素の平均値及び出現頻度が少ない色の画素の平均値との比を算出する比算出手段を備えていることを特徴とするものである。この発明に関する実施の形態には、第２の実施の形態が対応し、そして請求項８における構成要件の比算出手段には、第２の実施の形態の色比率算出部207 における比算出部 602が対応する。
【００３３】
この発明を適用した図８に示す第２の実施の形態においては、色比率算出部207 内で、方向算出部203 からの情報に基づき第１平均算出部600 にて出現頻度の多い色の画素の平均を算出し、方向算出部 203からの情報に基づき第２平均算出部601 にて出現頻度の少ない色の画素の平均を算出し、比算出部 602にて両者の平均値の比を算出する。このように、相関性の高い方向に属する周囲画素から出現頻度の多い色の画素と少ない色の画素の色比率を算出する。したがって、エッジ領域などの複雑な画像においても高精度な色比率の算出が可能となる。
【００３４】
請求項９に係る発明は、請求項３に係る欠陥画素補正装置において、前記第２の補正値算出手段は、前記所定方向に属する周囲画素中の出現頻度が多い色の画素から補間により補間値を算出する補間算出手段と、前記周囲画素中の出現頻度が多い色の画素から平均により補間値を算出する平均算出手段と、相関のある方向を調べ、前記補間算出手段と前記平均算出手段を選択する選択手段と、前記補間値と前記色比率を乗算する乗算手段とを備えていることを特徴とするものである。この発明に関する実施の形態には、第２の実施の形態が対応し、そして請求項９における構成要件の補間算出手段、平均算出手段、選択手段及び乗算手段には、第２の実施の形態の第２補正値算出部208 における補間算出部701 ，平均算出部702 ，選択部700 及び乗算部703 が、それぞれ対応する。
【００３５】
この発明を適用した図８に示す第２の実施の形態においては、第２補正値算出部208 内で、選択部700 にて補間算出部701 又は平均算出部702 を選択し出現頻度の多い色の画素の補間値を求め、色比率算出部 207からの色比率と乗算する。このように、相関性の高い方向に属する周囲画素から出現頻度の多い色の画素の補間値を求め色比率と乗算する。したがって、エッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いて出現頻度の多い色の画素の補間値を求め、これに基づき出現頻度の少ない色の画素の補正値を求めるため、出現頻度の多い色の画素の情報を最大限利用した最適な補正が可能となる。
【００３６】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る欠陥画素補正装置の第１の実施の形態を示すブロック構成図である。図１において、100 はレンズ系、101 はローパスフィルタ、102 はＣＣＤで、該ＣＣＤ102 を介して撮影された映像は、Ａ／Ｄ変換器103 にてデジタル信号へ変換される。そして、Ａ／Ｄ変換器103 からの映像信号は、画像用バッファ104 を介して欠陥画素補正部105 へ転送され、補正後の信号が再度画像用バッファ104 へ送られるようになっている。画像用バッファ104 からの信号は、信号処理部106 を介してメモリカードやディスクなどの記録部107 へ入力接続されている。
【００３７】
欠陥画素補正部105 は、画像用バッファ104 に接続している入出力制御部200 を介して接続されているラインバッファ201 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 を備えており、補正値算出部204 の出力は入出力制御部200 を介して画像用バッファ104 へ接続されている。また、欠陥位置記録ＲＯＭ205 は入出力制御部200 と周囲欠陥除去部206 へ接続され、周囲欠陥除去部206 はラインバッファ 201へ接続され、更にラインバッファ201 は補正値算出部204 へ接続されている。また、マイクロコンピュータなどからなる制御部108 は、信号処理部106 ，記録部107 ，入出力制御部200 に相互に接続されている。
【００３８】
次に、図１に示した第１の実施の形態の概略動作を信号の流れに基づいて説明する。なお、図１において太線は映像信号、細線は制御信号、点線はその他のデータをそれぞれ示している。また、以下の各ブロック図においても、同様の信号を示している。まず、図示しないシャッターボタンを押すことで撮像モードに入る。レンズ系100 ，ローパスフィルタ101 ，ＣＣＤ102 を介して撮影された映像は、Ａ／Ｄ変換器103 にてデジタル信号へ変換されて画像用バッファ104 へ転送される。本実施の形態では、デジタル化された映像信号の階調幅を、例えば10bit とする。画像用バッファ104 内の映像信号は、制御部108 の制御に基づき、欠陥画素補正部105 へ転送され、欠陥画素の補正が行われ、この補正結果は画像用バッファ104 へ転送される。全欠陥画素の補正が完了すると、制御部108 の制御に基づき、画像用バッファ104 内の映像信号は信号処理部106 へ転送され、エッジ強調処理やγ補正などの公知の信号処理が行われ、記録部107 へ転送され記録される。
【００３９】
次に、本実施の形態における欠陥画素補正について説明する。図２は、本実施の形態で用いられているＣＣＤ102 における欠陥画素の一例を示す図である。なお、この図示例では、色フィルタのない白黒用ＣＣＤを用いている。図２の（Ａ）は、欠陥画素Ｗ0 と隣接する３×３画素サイズの周囲画素Ｗij（ｉ＝１〜３，ｊ＝１〜３）を示す。この図示例では、注目する欠陥画素Ｗ0 に隣接するＷ32も欠陥画素であり、ハッチングを付して示している。欠陥画素補正部105 内の欠陥位置記録ＲＯＭ205 には、事前の検査により入手された欠陥画素の位置情報が記録されている。入出力制御部200 は、制御部108 の制御に基づき、欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を順次読みとり、欠陥画素を中心とする所定サイズの周囲画素、この例では３×３画素をラインバッファ201 へ転送する。また、周囲欠陥除去部206 は欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を読みとり、周囲画素に欠陥画素が存在する場合は、この周囲画素の値を特定の識別値に置き換える。識別値は、Ａ／Ｄ変換器103 が出力する値以外であれば任意であり、本例では例えば−１を用いる。その後、指標値算出部202 は、ラインバッファ201 上の欠陥画素及び周囲画素を読みとり、所定の方向に関する指標値を算出する。
【００４０】
図３は、指標値算出部202 の構成の一例を示すブロック図で、抽出位置記録ＲＯＭ300 ，絶対値差算出部301 ，加算平均部302 ，指標値記録バッファ303 からなる。ラインバッファ201 からの信号は、絶対値差算出部301 ，加算部302 ，指標値記録バッファ303 を介して方向算出部203 へ接続されている。また、抽出位置記録ＲＯＭ300 は絶対値差算出部301 へ接続されている。ラインバッファ201 内の欠陥画素及び周囲画素は、絶対値差算出部301 に取り込まれ、抽出位置記録ＲＯＭ300 に記録される位置情報に基づき特定方向毎に絶対値差に基づく指標値が算出される。
【００４１】
図４は、抽出位置記録ＲＯＭ300 に記録される位置情報の一例を示すもので、水平と垂直方向、及び斜め45度方向の位置情報が記録されている。位置情報は、注目する欠陥画素の座標を原点とした場合の相対座標で記載されている。絶対値差算出部301 は、まず抽出位置記録ＲＯＭ300 から水平方向の位置情報を読み込み、絶対値差を算出する。図２の（Ｂ）は、本例における水平方向の４組の指標値算出画素を示す。上記絶対値差は加算部302 にて加算され、指標値記録バッファ303 上に記録される。水平方向の指標値ｒh は、（１）式で示される。
ｒh ＝ (｜Ｗ11−Ｗ21｜＋｜Ｗ21−Ｗ31｜＋｜Ｗ13−Ｗ23｜
＋｜Ｗ23−Ｗ33｜）／４ ・・・・・・・・・・・・・・・・（１）
【００４２】
次に、絶対値差算出部301 は、抽出位置記録ＲＯＭ300 から垂直方向の位置情報を読み込み、絶対値差を算出する。なお、本例では欠陥画素Ｗ0 に隣接するＷ32も欠陥画素であり、周囲欠陥除去部206 により識別値、−１が代入されている。絶対値差算出部301 は、上記識別値が代入された画素が検出された場合、絶対値差の算出を中止し、別の組へ移行する。図２の（Ｃ）は、本例における垂直方向の２組の指標値算出画素を示す。この後、水平方法と同様に指標値が算出され指標値記録バッファ303 上に記録される。垂直方向の指標値ｒv は、（２）式で示される。
ｒv ＝（｜Ｗ11−Ｗ12｜＋｜Ｗ12−Ｗ13｜）／２ ・・・・・・・・（２）
【００４３】
指標値記録バッファ303 上の方向別の指標値は、方向算出部203 へ転送される。同様に絶対値差算出部301 は、抽出位置記録ＲＯＭ300 から斜め45度方向の位置情報を読み込み、絶対値差を算出する。本例では、欠陥画素Ｗ0 に隣接するＷ32も欠陥画素であるため、絶対値差の算出を中止し、別の組へ移行する。図２の（Ｄ）及び（Ｅ）が、本例における斜め45度方向の２組の指標値算出画素を示す。この後、算出された指標値が記録バッファ303 上に記録される。斜め45度方向の指標値ｒu ，ｒd は、（３），（４）式で示される。
ｒu ＝｜Ｗ21−Ｗ12｜ ・・・・・・・・・・・（３）
ｒd ＝｜Ｗ12−Ｗ23｜ ・・・・・・・・・・・（４）
【００４４】
図５は、方向算出部203 の構成の一例を示すブロック図で、割合算出部400 ，比較部401 ，出力部402 で構成されている。指標値算出部202 からの指標値は、割合算出部400 ，比較部401 ，出力部402 を介して補正値算出部204 へ接続されている。指標値算出部202 からの方向別の指標値は、割合算出部400 にて複数の所定の方向に関する指標値の割合が算出され、比較部401 へ転送される。比較部401 では、所定方向に関する指標値の割合を各方向毎に比較する。この結果は出力部402 へ転送される。出力部402 は、最も相関性の高い方向を出力する。比較の結果、どの方向に関しても相関性があまり高くない場合には、特定の方向に関して相関性がないという情報を補正値算出部204 へ出力する。
【００４５】
図６は、補正値算出部204 の構成の一例を示すブロック図で、選択部500 ，補間算出部501 ，平均算出部502 で構成されている。ラインバッファ201 からの信号は、選択部500 を介して補間算出部501 又は平均算出部502 へ接続されており、補間算出部501 ，平均算出部502 はラインバッファ201 へ接続されている。また、方向算出部203 の方向情報は、選択部500 及び補間算出部501 へ接続されている。選択部500 は、方向算出部203 の方向情報に基づき、特定方向が指定された場合は、その方向の周囲画素を選択し、これを補間算出部501 へ転送する。一方、方向算出部が特定の方向を出力しなかった場合には、全周囲画素を選択し、これを平均算出部502 へ転送する。補間算出部501 は公知の線形補間などを用いて、また平均算出部502 は加算平均、あるいは周囲画素の中央値、最頻値などにより欠陥画素の補正値を算出する。なお、周囲画素に周囲欠陥除去部206 により識別値が代入されていた場合は、この周囲画素は利用されない。
【００４６】
欠陥画素の補正値ｖは、
ｖ＝Ｗ12 水平方向 ・・・・・・・・・・・・・（５）
ｖ＝（Ｗ21＋Ｗ23）／２ 垂直方向 ・・・・・・・（６）
ｖ＝（Ｗ31＋Ｗ13）／２ ＋45度方向 ・・・・・・（７）
ｖ＝（Ｗ11＋Ｗ33）／２ −45度方向 ・・・・・・（８）
ｖ＝（Ｗ11＋Ｗ21＋Ｗ31＋Ｗ12＋Ｗ13＋Ｗ23＋Ｗ33）／７
平坦( 平均値) ・・・・（９）
のいずれかとなる。また(9) 式は(10)式と置き換えられる場合もある。
ｖ＝median〔Ｗ11，Ｗ21，Ｗ31，Ｗ12，Ｗ13，Ｗ23，Ｗ33〕
平坦( 中央値) ・・・・（10）
【００４７】
補正値は、入出力制御部200 を介して画像用バッファ104 へ転送される。制御部108 は、上記過程を欠陥位置記録ROM205上の全欠陥画素に対して繰り返すよう制御を行う。上記構成により、欠陥画素が連続するような場合でも、指標値に基づく特定方向の周囲画素から補正値を求めることが可能となり、高品位な欠陥画素の補正が可能になる。
【００４８】
また、相関性があまりない場合には、平坦であるとみなして全周囲画素から補正値を求めるため、画像に適用した最適な補正が可能となり、ノイズによる誤動作を低減することもできる。
【００４９】
なお、本実施の形態では白黒ＣＣＤの場合を想定して説明したが、これに限定される必要はない。例えば、図７の（Ａ）に示すように、ＣＣＤ前面にシアン（Ｃ），マゼンタ（Ｍ），イエロー（Ｙ），グリーン（Ｇ）の色フィルタを配置した補色単板ＣＣＤにおいても適用できる。図７の（Ａ）においては、注目する欠陥画素Ｃ0 と、Ｃ51及びＧ42が欠陥画素となっている。この例では、入出力制御部200 は周囲画素として５×５画素サイズを取り込んでいるものとする。図７の（Ｂ），（Ｃ）は、指標値算出部202 における方向別の指標値を算出する際の組の位置情報を示す。各方向の指標値ｒh ，ｒv ，ｒu ，ｒd は、
ｒh ＝（｜Ｃ11−Ｃ31｜＋｜Ｃ15−Ｃ35｜＋｜Ｃ35−Ｃ55｜）／３
水平方向 ・・・・・・・（11）
ｒv ＝（｜Ｃ11−Ｃ13｜＋｜Ｃ13−Ｃ15｜＋｜Ｃ53−Ｃ55｜）／３
垂直方向 ・・・・・・・（12）
ｒu ＝（｜Ｃ31−Ｃ13｜＋｜Ｃ53−Ｃ35｜）／２
＋45度方向 ・・・・・・（13）
ｒd ＝（｜Ｃ31−Ｃ53｜＋｜Ｃ13−Ｃ35｜）／２
−45度方向 ・・・・・・（14）
となる。これらの座標情報は色フィルタの配置に基づき抽出位置記録ＲＯＭ300 に記録しておく。
【００５０】
また、欠陥画素の補正値ｖは、
ｖ＝（Ｃ13＋Ｃ53）／２ 水平方向 ・・・・・・・（15）
ｖ＝（Ｃ31＋Ｃ35）／２ 垂直方向 ・・・・・・・（16）
ｖ＝Ｃ15 ＋45度方向 ・・・・・・（17）
ｖ＝（Ｃ11＋Ｃ55）／２ −45度方向 ・・・・・・ (18)
ｖ＝（Ｃ11＋Ｃ31＋Ｃ13＋Ｃ53＋Ｃ15＋Ｃ35＋Ｃ55）／７
平坦( 平均値) ・・・・・ (19)
のいずれかとなる。また、(19)式は(20)式と置き換えられる場合もある。
ｖ＝median〔Ｃ11，Ｃ31，Ｃ13，Ｃ53，Ｃ15，Ｃ35，Ｃ55〕
平坦( 中央値) ・・・・・ (20)
【００５１】
上記のように、色フィルタが前面に配置された撮像素子に対しても適用可能である。なお、本実施の形態においては、指標値を求めるのに２画素の絶対値差を用いたがこれに限定される必要はない。２画素の比を用いるなどの他の方法も利用できる。また、各指標値を統合するに加算平均を用いたが、これに限定される必要はない。注目する欠陥画素からの距離に応じて重み付けをするなどの他の方法も利用できる。
【００５２】
次に、本発明の第２の実施の形態を図８のブロック構成図に基づいて説明する。本実施の形態は、第１の実施の形態におけるＣＣＤ102 に対して色フィルタ109 を付加し、欠陥画素補正部105 において色比率算出部207 及び第２補正値算出部208 を付加した構成になっている。基本構成は、第１の実施の形態と同等であり、同一の構成要素には同一の符号と名称を付して示している。
【００５３】
以下、第１の実施の形態と異なる部分の構成を主に説明する。ローパスフィルタ101 とＣＣＤ102 間に、色フィルタ109 が配置されている。欠陥画素補正部105 においては、画像用バッファ104 に接続している入出力制御部200 を介してラインバッファ201 ，指標値算出部202 ，方向算出部203 ，補正値算出部204 が接続されており、補正値算出部204 の出力は入出力制御部200 を介して画像用バッファ104 へ接続されている。更にラインバッファ201 から色比率算出部207 ，第２補正値算出部208 が接続されており、第２補正値算出部208 の出力は入出力制御部200 を介して画像用バッファ104 へ接続されている。ラインバッファ201 は、補正値算出部204 及び第２補正値算出部208 へも接続している。また、欠陥位置記録ＲＯＭ205 は入出力制御部200 と周囲欠陥除去部206 へ接続しており、周囲欠陥除去部206 はラインバッファ201 へ接続している。
【００５４】
次に、このように構成されている第２の実施の形態の動作について説明する。本実施の形態の動作は、基本的には第１の実施の形態と同等であり、異なる部分を主に説明する。図８において、図示しないシャッターボタンを押すことで撮像モードに入る。レンズ系100, ローパスフィルタ101, 色フィルタ109 ，ＣＣＤ102 を介して撮影された映像は、Ａ／Ｄ変換器103 にてデジタル信号へ変換されて、画像用バッファ104 へ転送される。画像用バッファ104 内の映像信号は、制御部108 の制御に基づき、欠陥画素補正部105 へ転送され、欠陥画素の補正が行われ、この補正結果は画像用バッファ104 へ転送される。全欠陥画素の補正が完了すると、制御部108 の制御に基づき、画像用バッファ104 内の映像信号は信号処理部106 へ転送され、補間、ホワイトバランス、エッジ色強調処理、γ補正などの公知の信号処置が行われ、記録部107 へ転送され記録される。
【００５５】
図９は、本実施の形態において用いられているＣＣＤ102 における欠陥画素の一例を示す図である。なお本例では、レッド（Ｒ），グリーン（Ｇ），ブルー（Ｂ）からなるＢayer型の原色ＣＣＤを用いている。Ｂayer型のＣＣＤは、Ｇ画素の出現頻度がＲ，Ｂ画素の２倍という不均一な出現頻度を有する。図９の（Ａ）は、欠陥画素Ｒ0 ，Ｇ43，Ｂ42を含むその近傍６×５画素サイズの周囲画素を示す。まず、出現頻度が高い信号が欠陥である場合の補正について説明する。本例では、図９の（Ａ）欠陥画素Ｇ43を補正する場合を考える。欠陥画素補正部105 内の欠陥位置記録ＲＯＭ205 には、事前の検査により入手された欠陥画素の位置情報が、出現頻度の多い色の画素であるＧと少ない色の画素であるＲ，Ｂと区別され記録されている。
【００５６】
入出力制御部200 は、制御部108 の制御に基づき、欠陥位置記録ＲＯＭ205 からＧ画素に関する欠陥画素の位置情報を順次読みとり、欠陥画素を中心とする所定サイズの周囲画素、本例では５×５画素サイズ中のＧ画素のみをラインバッファ201 へ転送する。また、周囲欠陥除去部206 は欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を読みとり、Ｇ画素の周囲画素に欠陥画素が存在する場合は、この周囲画素の値を特定の識別値に置き換える。図９の（Ｂ），（Ｃ）は水平、垂直、＋45度、−45度の４方向で指標値を算出する際の組の画素位置情報を示す。その後、補正値算出部204 にて方向算出部203 の出力する方向の画素を用いて、あるいは方向算出部が特定の方向を出力しなかった場合には、欠陥画素に隣接する全ての画素（本例では、Ｇ32，Ｇ52，Ｇ34，Ｇ54）を用いて欠陥画素の補正値が算出され、入出力制御部200 を介して画像用バッファ104 へ転送される。制御部108 は、上記過程を欠陥位置記録ＲＯＭ205 上のＧ画素の全欠陥画素に対して繰り返すように制御を行う。
【００５７】
次に、出現頻度の少ない色の画素であるＲ，Ｂ画素の欠陥画素の補正について説明する。以下ではＲ画素に関して説明するが、Ｂ画素に関しても同様に適用できる。図９の（Ａ）のＲ0 を補正する場合を例にとる。入出力制御部200 は、制御部108 の制御に基づき、欠陥位置記録ＲＯＭ205 からＲ，及びＧ画素に関する欠陥画素の位置情報を順次読みとり、欠陥画素を中心とする所定サイズの周囲画素、本例では５×５画素中のＲ画素及びＧ画素をラインバッファ201 へ転送する。また、周囲欠陥除去部206 は、欠陥位置記録ＲＯＭ205 から欠陥画素の位置情報を読みとり、周囲画素に欠陥画素が存在する場合は、この周囲画素の値を特定の識別値に置き換える。取り込まれたラインバッファ201 上の５×５画素サイズの画素で、色比率算出部207 において、出現頻度の低いＲ画素の加算値と出現頻度の多いＧ画素の加算値から、ＲとＧの色比率を算出する。第２補正値算出部208 では、補正する欠陥に隣接する出現頻度の高い信号から、欠陥画素のある位置における出現頻度の高い信号の補間値を求め、色比率算出部207 が出力する色比率と乗算することで、欠陥画素の補正値を求める。但し、使用する画素に欠陥画素が含まれる場合には、その画素は使用しない。
【００５８】
図10は、色比率算出部207 の構成の一例を示すブロック図で、第１平均算出部600 ，第２平均算出部601 ，比算出部602 で構成されている。ラインバッファ201 からの信号は、第１平均算出部600 ，第２平均算出部601 を介し比算出部602 へ接続しており、比算出部602 は第2 補正値算出部208 へ接続している。ラインバッファ201 内の周囲画素中のＧ画素は第１平均算出部600 へ取り込まれ、欠陥と隣接しないＧ画素から平均値が算出される。同様に、ラインバッファ201 内の周囲画素中のＲ画素は第２平均算出部601 へ取り込まれ、欠陥と隣接しないＲ画素から平均値が算出される。第１平均算出部600 及び第２平均算出部601 からの平均値は、比算出部602 にて除算されて色比率が算出され、第２補正値算出部208 へ転送される。図９の（Ｄ）は、上記色比率を求める際に使用されるＲ，Ｇ画素を示す。本例では色比率ｒC は、
ｒC ＝｛（Ｒ11＋Ｒ31＋Ｒ51＋Ｒ13＋Ｒ53＋Ｒ15＋Ｒ35＋Ｒ55）／８｝
／｛（Ｇ21＋Ｇ41＋Ｇ12＋Ｇ52＋Ｇ14＋Ｇ54＋Ｇ25＋Ｇ45）／８｝
・・・・・・・・・(21)
となる。但し、(21)式で使用する画素に欠陥画素が含まれる場合には、その画素は使用しない。
【００５９】
図11は、第２補正値算出部208 の構成の一例を示すブロック図で、選択部700 ，補間算出部701 ，平均算出部702 ，乗算部703 で構成されている。ラインバッファ201 からの信号は、選択部700 を介して補間算出部701 ，平均算出部702 へ接続されており、補間算出部701 ，平均算出部702 は乗算部703 へ接続している。乗算部703 はラインバッファ201 へ接続されている。また、色比率算出部207 の信号は、乗算部703 へ接続している。ラインバッファ201 内の周囲画素中のＧ画素は、選択部700 を介して補間算出部701 又は平均算出部702 へ取り込まれる。選択部700 では、欠陥を挟む２画素の画素差を比較し、水平方向又は垂直方向に相関性が認められた場合には、その方向に属する欠陥画素に隣接するＧ画素を補間算出部701 へ、特定の方向に相関性がない場合は、欠陥画素に隣接する全Ｇ画素を平均算出部702 へ転送する。補間算出部701 では公知の線形補間などで補間値が算出され、平均算出部702 では平均値が算出され、乗算部703 へ転送される。図９の（Ｅ）は、出現頻度の高いＧ画素の欠陥位置における補間値を求める際に使用する画素を示している。本例ではＧ43が欠陥画素であるため、垂直方向に相関がある場合にはＧ32，Ｇ34を使用し、水平方向に相関がある場合にはＧ23を使用し、特定方向に相関がない場合はＧ32，Ｇ34，Ｇ23を使用する。
【００６０】
乗算部703 では、補間算出部701 又は平均算出部702 からの信号と、色比率算出部207 からの色比率を乗算する事で、欠陥画素の補正値を求める。本例の場合、補正値ｖは
ｖ＝ｒC ×Ｇ23 水平方向 ・・・（22）
ｖ＝ｒC ×（Ｇ32＋Ｇ34）／２ 垂直方向 ・・・ (23)
ｖ＝ｒC ×（Ｇ32＋Ｇ23＋Ｇ34）／３ 平均 ・・・・・ (24)
のいずれかとなる。なお、(24)式では隣接する画素の平均値を使用したが、隣接する画素の中央値、最頻値などが使用される場合もある。制御部108 は、上記過程を欠陥位置記録ＲＯＭ205 上のＲ，Ｂ画素の全欠陥画素に対して繰り返すように制御を行う。
【００６１】
上記構成により、出現頻度が不均一な色フィルタが前面に配置された撮像素子に対し、出現頻度の高い色の画素は、その画素のみを用いてエッジ強度の指標値に基づく特定方向の周囲画素から補正値を求めることが可能となり、出現頻度の少ない色の画素の影響を受けず高品位な欠陥画素の補正が可能になる。出現頻度の少ない色の画素は、出現頻度の高い色の画素との色比率に基づき、その情報を利用することで、より精度の高い補正値を求めることが可能となる。
【００６２】
なお、上記各実施の形態ではハードウェアにより処理を行うようにしたものを示したが、これに限定される必要はない。例えば、撮像素子からの信号をそのままの形態で出力する rawフォーマットで画像を出力し、計算機上でソフトウェア的に処理を行う形態にも、本発明を適用することが可能である。
【００６３】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１及び４に係る発明によれば、欠陥画素の周囲画素から相関性の高い方向を求め、その方向に属する周囲画素を用いて補正値を算出する際に、所定方向に関して複数の指標値を求め統合してその方向の指標値としているので、方向検出が高性能となり、エッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となり、また一つの方向の指標値を複数の指標値の加算で算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い欠陥補正が可能となる。また請求項２に係る発明によれば、色フィルタを前面に配置した固体撮像素子の欠陥画素の補正に関しても、欠陥画素と同色の周囲画素から相関性の高い方向を求めるようにしているので、同様にエッジ領域などの複雑な画像においても高精度の欠陥画素の補正が可能となり、また一つの方向の指標値を複数の指標値の加算で算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い欠陥補正が可能となる。また請求項３に係る発明によれば、出現頻度が不均一な色フィルタを前面に配置した固体撮像素子の欠陥画素の補正に関しても、出現頻度の多い画素の場合は、その色の画素のみを用いて補正値を算出するようにしているので出現頻度の少ない色の影響を受けずに高周波成分を維持した高精度の補正が可能となり、また出現頻度の少ない色の画素の場合は、多い色の画素との色比率に基づいて補正値を算出するようにしているので、出現頻度の多い色の画素の情報を利用してより高精度の欠陥補正が可能となり、更に一つの方向の指標値を複数の指標値の加算で算出するようにしているので、欠陥画素が連続する場合でも指標値の算出が可能となり、相関性の高い方向を利用した精度の高い欠陥補正が可能となる。
【００６４】
また請求項４に係る発明によれば、欠陥画素の周囲画素に存在する欠陥画素を除去して補正値を求めるようにしているので、欠陥画素が連続する場合でも、その影響を除去し精度の高い欠陥補正が可能となる。また請求項５に係る発明によれば、各方向の指標値の比の値を比較するようにしているので、画像の階調幅などに依存せず、閾値設定などの調整が不要で、且つノイズなどに影響されにくく、相関性の高い方向を高精度で検出することが可能となる。また請求項６及び７に係る発明によれば、エッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いるようにしているので、入力画像に対して最適な欠陥補正が可能となる。また、請求項８に係る発明によれば、エッジ領域などの複雑な画像においても精度の高い色比率の算出が行われ、高精度の欠陥補正が可能となる。また請求項９に係る発明によれば、エッジなどの特定方向に相関性が高い場合はその方向の周囲画素を用い、平坦な場合は全周囲画素を用いて出現頻度の多い色の画素の補間値を求め、これに基づき出現頻度の少ない色の画素の補正値を求めるようにしているので、出現頻度の多い色の画素の情報を最大限利用した最適な補正が可能となる。
【図面の簡単な説明】
【図１】 本発明に係る欠陥画素補正装置の第１の実施の形態を示すブロック構成図である。
【図２】 図１に示した第１の実施の形態における白黒ＣＣＤの欠陥画素の配置例及び各方向の指標値算出画素を示す図である。
【図３】 図１に示した第１の実施の形態における指標値算出部の構成例を示すブロック図である。
【図４】 図３に示した指標値算出部における抽出位置記録ＲＯＭに記録される位置情報の一例を示す図である。
【図５】 図１に示した第１の実施の形態における方向算出部の構成例を示すブロック図である。
【図６】 図１に示した第１の実施の形態における補正値算出部の構成例を示すブロック図である。
【図７】 補色ＣＣＤにおける欠陥画素の配置例及び各方向の指標値算出画素を示す図である。
【図８】 本発明の第２の実施の形態を示すブロック構成図である。
【図９】 原色ＣＣＤにおける欠陥画素の配置例及び指標値算出画素並びに欠陥位置のＧの補間値を示す図である。
【図10】 図８に示した第２の実施の形態における色比率算出部の構成例を示すブロック図である。
【図11】 図８に示した第２の実施の形態における第２補正値算出部の構成例を示すブロック図である。
【図12】 従来手法によるパターン認識で対応できないパターン例を示す図である。
【符号の説明】
100 レンズ系
101 ローパスフィルタ
102 ＣＣＤ
103 Ａ／Ｄ変換器
104 画像用バッファ
105 欠陥画素補正部
106 信号処理部
107 記録部
108 制御部
109 色フィルタ
200 入出力制御部
201 ラインバッファ
202 指標値算出部
203 方向算出部
204 補正値算出部
205 欠陥位置記録ＲＯＭ
206 周囲欠陥除去部
207 色比率算出部
208 第２補正値算出部
300 抽出位置記録ＲＯＭ
301 絶対値差算出部
302 加算平均部
303 指標値記録バッファ
400 割合算出部
401 比較部
402 出力部
500 選択部
501 補間算出部
502 平均算出部
600 第１平均算出部
601 第２平均算出部
602 比算出部
700 選択部
701 補間算出部
702 平均算出部
703 乗算部
Claims (9)
- 固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、
前記欠陥画素の位置情報を記憶する欠陥記憶手段と、
該欠陥記憶手段に記憶されている前記位置情報に基づき欠陥画素の周囲画素を取り込む画素取り込み手段と、
該画素取り込み手段で取り込まれた前記周囲画素において指標値を算出する指標値算出手段と、
該指標値算出手段で算出された前記指標値に基づき相関が最大となる方向を算出する方向算出手段と、
該方向算出手段で算出された前記方向に基づき選択された周囲画素から前記欠陥画素の補正値を算出する補正値算出手段と、を備え、
前記指標値算出手段は、所定方向に属する周囲画素から所定距離にある２つの画素の組合せを複数抽出する抽出手段と、該抽出手段で抽出された前記複数の組合せに対する画素間の絶対値差を算出する絶対値差算出手段と、該絶対値差算出手段で算出された前記複数の絶対値差を複数の所定方向毎に加算して前記指標値を算出する加算手段とを備えていることを特徴とする欠陥画素補正装置。 - 色フィルタを前面に配置した固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、
前記欠陥画素の位置情報を記憶する欠陥記憶手段と、
該欠陥記憶手段に記憶されている前記位置情報に基づき、固体撮像素子の前面に配置された色フィルタの各色のうち欠陥画素と同色の周囲画素を取り込む画素取り込み手段と、 該画素取り込み手段で取り込まれた前記周囲画素において指標値を算出する指標値算出手段と、
該指標値算出手段で算出された前記指標値に基づき相関が最大となる方向を算出する方向算出手段と、
該方向算出手段で算出された前記方向に基づき選択された周囲画素から前記欠陥画素の補正値を算出する補正値算出手段と、を備え、
前記指標値算出手段は、所定方向に属する周囲画素から所定距離にある２つの画素の組合せを複数抽出する抽出手段と、該抽出手段で抽出された前記複数の組合せに対する画素間の絶対値差を算出する絶対値差算出手段と、該絶対値差算出手段で算出された前記複数の絶対値差を複数の所定方向毎に加算して前記指標値を算出する加算手段とを備えていることを特徴とする欠陥画素補正装置。 - 出現頻度が不均一な色フィルタを前面に配置した固体撮像素子の欠陥画素を補正する欠陥画素補正装置において、
前記欠陥画素の位置情報を記憶する欠陥記憶手段と、
該欠陥記憶手段に記憶されている前記位置情報に基づき欠陥画素の周囲画素を取り込む画素取り込み手段と、
該画素取り込み手段で取り込まれた前記周囲画素において出現頻度が多い色の画素の指標値を算出する指標値算出手段と、
該指標値算出手段で算出された前記指標値に基づき出現頻度が多い色の画素の相関が最大となる方向を算出する方向算出手段と、
該方向算出手段で算出された前記方向に基づき選択された周囲画素中の出現頻度が多い色の画素から前記欠陥画素の補正値を算出する第１の補正値算出手段と、
前記欠陥画素周囲の画素中の出現頻度が多い色の画素と出現頻度が少ない色の画素から色比率を算出する色比率算出手段と、
前記欠陥画素周囲の画素中の出現頻度が多い色の画素から算出した補間値、及び前記色比率算出手段で算出された色比率に基づき前記欠陥画素の補正値を算出する第２の補正値算出手段と、
前記欠陥画素の色に基づき前記第１の補正値算出手段と前記第２の補正値算出手段を切り換える切換手段と、を備え、
前記指標値算出手段は、所定方向に属する周囲画素から所定距離にある２つの画素の組合せを複数抽出する抽出手段と、該抽出手段で抽出された前記複数の組合せに対する画素間の絶対値差を算出する絶対値差算出手段と、該絶対値差算出手段で算出された前記複数の絶対値差を複数の所定方向毎に加算して前記指標値を算出する加算手段とを備えていることを特徴とする欠陥画素補正装置。 - 前記画素取り込み手段は、前記欠陥画素の位置情報に基づき周囲画素中に欠陥画素が含まれている場合に該欠陥画素を除去する除去手段を備えていることを特徴とする請求項１〜３のいずれか１項に係る欠陥画素補正装置。
- 前記方向算出手段は、算出された前記複数の所定方向における指標値の各方向別の割合を求める割合算出手段と、該割合算出手段で求められた前記複数の所定方向における指標値の割合を各方向毎にそれぞれ比較する比較手段と、該比較手段の比較結果から最も相関性の高い方向を出力する出力手段とを備えていることを特徴とする請求項１〜３のいずれか１項に係る欠陥画素補正装置。
- 前記補正値算出手段は、前記所定方向に属する周囲画素から補間により補正値を算出する補間算出手段と、前記周囲画素から平均により補正値を算出する平均算出手段と、前記方向に基づき前記補間算出手段と前記平均算出手段を選択する選択手段とを備えていることを特徴とする請求項１又は２に係る欠陥画素補正装置。
- 前記第１の補正値算出手段は、前記所定方向に属する周囲画素から補間により補正値を算出する補間算出手段と、前記周囲画素から平均により補正値を算出する平均算出手段と、前記方向に基づき前記補間算出手段と前記平均算出手段を選択する選択手段とを備えていることを特徴とする請求項３に係る欠陥画素補正装置。
- 前記色比率算出手段は、前記欠陥画素周囲の画素において出現頻度が多い色の画素の平均値及び出現頻度が少ない色の画素の平均値との比を算出する比算出手段を備えていることを特徴とする請求項３に係る欠陥画素補正装置。
- 前記第２の補正値算出手段は、前記所定方向に属する周囲画素中の出現頻度が多い色の画素から補間により補間値を算出する補間算出手段と、前記周囲画素中の出現頻度が多い色の画素から平均により補間値を算出する平均算出手段と、相関のある方向を調べ、前記補間算出手段と前記平均算出手段を選択する選択手段と、前記補間値と前記色比率を乗算する乗算手段とを備えていることを特徴とする請求項３に係る欠陥画素補正装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001307367A JP4054184B2 (ja) | 2001-10-03 | 2001-10-03 | 欠陥画素補正装置 |
| US10/262,093 US20030063203A1 (en) | 2001-10-03 | 2002-10-01 | Fault pixel correcting apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001307367A JP4054184B2 (ja) | 2001-10-03 | 2001-10-03 | 欠陥画素補正装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003116060A JP2003116060A (ja) | 2003-04-18 |
| JP2003116060A5 JP2003116060A5 (ja) | 2005-06-23 |
| JP4054184B2 true JP4054184B2 (ja) | 2008-02-27 |
Family
ID=19126839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001307367A Expired - Fee Related JP4054184B2 (ja) | 2001-10-03 | 2001-10-03 | 欠陥画素補正装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030063203A1 (ja) |
| JP (1) | JP4054184B2 (ja) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004501575A (ja) * | 2000-06-23 | 2004-01-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像感知器信号欠陥修正 |
| CN101778203B (zh) * | 2002-12-27 | 2012-06-06 | 株式会社尼康 | 图像处理装置 |
| US7499599B2 (en) | 2003-06-12 | 2009-03-03 | General Electric Company | Method of real-time correction of non-functioning pixels in digital radiography |
| JP3960965B2 (ja) * | 2003-12-08 | 2007-08-15 | オリンパス株式会社 | 画像補間装置及び画像補間方法 |
| US7542082B2 (en) | 2004-03-30 | 2009-06-02 | Canon Kabushiki Kaisha | Method and apparatus for correcting a defective pixel |
| JP2006023981A (ja) * | 2004-07-08 | 2006-01-26 | Megachips Lsi Solutions Inc | ノイズリダクション装置 |
| JP4533124B2 (ja) * | 2004-12-21 | 2010-09-01 | イーストマン コダック カンパニー | 画素欠陥補正装置 |
| JP4695871B2 (ja) * | 2004-12-27 | 2011-06-08 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| KR100652408B1 (ko) | 2005-04-27 | 2006-12-01 | 삼성전자주식회사 | 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치 |
| US7613363B2 (en) * | 2005-06-23 | 2009-11-03 | Microsoft Corp. | Image superresolution through edge extraction and contrast enhancement |
| WO2007023817A1 (ja) | 2005-08-23 | 2007-03-01 | Nikon Corporation | 画像処理システムおよび画像処理プログラム |
| US7667747B2 (en) * | 2006-03-15 | 2010-02-23 | Qualcomm Incorporated | Processing of sensor values in imaging systems |
| JP2007251698A (ja) * | 2006-03-16 | 2007-09-27 | Sharp Corp | 欠陥画素補正方法、及び欠陥画素補正回路 |
| US20080215261A1 (en) * | 2006-10-27 | 2008-09-04 | International Business Machines Corporation | Design structure for enhancing yield and performance of cmos imaging sensors |
| US20080100725A1 (en) * | 2006-10-27 | 2008-05-01 | Abadeer Wagdi W | Circuits for enhancing yield and performance of cmos imaging sensors |
| JP5038005B2 (ja) * | 2007-04-13 | 2012-10-03 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
| JP4703601B2 (ja) * | 2007-04-27 | 2011-06-15 | 株式会社東芝 | 撮像装置 |
| EP2026563A1 (en) * | 2007-08-14 | 2009-02-18 | Deutsche Thomson OHG | System and method for detecting defective pixels |
| JP5311916B2 (ja) * | 2008-07-31 | 2013-10-09 | 株式会社エルモ社 | 撮像装置 |
| JP5175670B2 (ja) * | 2008-09-25 | 2013-04-03 | 株式会社東芝 | エッジ検出装置及びその方法 |
| US8908954B2 (en) * | 2009-07-02 | 2014-12-09 | Scint-X Ab | Reduction of noise caused by absorption of x-ray photons in pixelated image sensors |
| JP5625286B2 (ja) * | 2009-08-19 | 2014-11-19 | 株式会社ニコン | 撮像装置 |
| JP5060535B2 (ja) | 2009-09-24 | 2012-10-31 | 株式会社東芝 | 画像処理装置 |
| JP5655355B2 (ja) * | 2009-11-02 | 2015-01-21 | ソニー株式会社 | 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム |
| JP5541718B2 (ja) * | 2010-08-19 | 2014-07-09 | キヤノン株式会社 | 撮像装置及びその欠陥画素検出方法 |
| US8351696B2 (en) | 2010-09-17 | 2013-01-08 | Foveon, Inc. | Correcting defective pixels in digital color images |
| JP5709472B2 (ja) * | 2010-11-04 | 2015-04-30 | キヤノン株式会社 | 信号処理装置 |
| KR101243363B1 (ko) * | 2010-11-12 | 2013-03-13 | 에스케이하이닉스 주식회사 | 불량픽셀 제거 장치 및 방법 |
| JP5954964B2 (ja) | 2011-02-18 | 2016-07-20 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| JP2012209709A (ja) * | 2011-03-29 | 2012-10-25 | Sony Corp | 画像処理装置および方法、記録媒体並びにプログラム |
| JP5898428B2 (ja) * | 2011-08-09 | 2016-04-06 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JP6046927B2 (ja) * | 2011-08-09 | 2016-12-21 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JP5818568B2 (ja) * | 2011-08-09 | 2015-11-18 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| TWI492621B (zh) * | 2012-02-10 | 2015-07-11 | Novatek Microelectronics Corp | 適應性影像處理方法及其相關裝置 |
| WO2013154105A1 (ja) | 2012-04-10 | 2013-10-17 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
| JP6326961B2 (ja) * | 2014-05-21 | 2018-05-23 | 株式会社ソシオネクスト | 欠陥画素補正方法及び画像処理装置 |
| JP6525522B2 (ja) * | 2014-07-10 | 2019-06-05 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP2016048815A (ja) * | 2014-08-27 | 2016-04-07 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、画像処理システム |
| EP3276937A4 (en) * | 2015-03-25 | 2018-09-05 | Olympus Corporation | Image processing device, image processing method, and program |
| JP2019134387A (ja) * | 2018-02-02 | 2019-08-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US10923516B2 (en) * | 2018-03-22 | 2021-02-16 | Ricoh Company, Ltd. | Image capturing device, image capturing method, image processing device, image processing method, and storage medium |
| JP7499695B2 (ja) | 2020-12-24 | 2024-06-14 | ゼタテクノロジーズ株式会社 | 固体撮像装置、固体撮像装置の信号処理方法、および電子機器 |
| CN113038092B (zh) * | 2021-03-24 | 2023-06-02 | 成都国科微电子有限公司 | 一种去马赛克方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3125124B2 (ja) * | 1994-06-06 | 2001-01-15 | 松下電器産業株式会社 | 欠陥画素傷補正回路 |
| US6900836B2 (en) * | 2001-02-19 | 2005-05-31 | Eastman Kodak Company | Correcting defects in a digital image caused by a pre-existing defect in a pixel of an image sensor |
-
2001
- 2001-10-03 JP JP2001307367A patent/JP4054184B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-01 US US10/262,093 patent/US20030063203A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003116060A (ja) | 2003-04-18 |
| US20030063203A1 (en) | 2003-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| US6724945B1 (en) | Correcting defect pixels in a digital image | |
| JP4374488B2 (ja) | デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法 | |
| US7916937B2 (en) | Image processing device having color shift correcting function, image processing program and electronic camera | |
| JP4465002B2 (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 | |
| JP4547223B2 (ja) | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム | |
| JP4668185B2 (ja) | 画像処理方法 | |
| US8212899B2 (en) | Imaging apparatus capable of highly accurate defective pixel correction processing | |
| US8854511B2 (en) | Apparatus and method for image processing and storage medium, and image pickup apparatus | |
| WO2005117455A1 (ja) | Ｒａｗデ－タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
| JPWO2004112401A1 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| US20090245683A1 (en) | Defective pixel correction device | |
| US9030579B2 (en) | Image processing apparatus and control method that corrects a signal level of a defective pixel | |
| WO2006004151A1 (ja) | 信号処理システム及び信号処理プログラム | |
| JP2000023174A (ja) | 画像処理装置及び画像処理方法 | |
| US8189077B2 (en) | Method for reducing smear effect of dynamic image | |
| US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
| JP2010016812A (ja) | 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体 | |
| US20100231740A1 (en) | Image processing apparatus, image processing method, and computer program | |
| JP3633561B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2001307079A (ja) | 画像処理装置、画像処理方法および記録媒体 | |
| JP4166974B2 (ja) | 画素キズ検出・補正装置 | |
| KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| JP2011155365A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040929 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071207 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4054184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131214 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |