JP3747909B2

JP3747909B2 - 画素欠陥検出補正装置及び画素欠陥検出補正方法

Info

Publication number: JP3747909B2
Application number: JP2002372873A
Authority: JP
Inventors: 豊米田; 学小磯
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-12-24
Filing date: 2002-12-24
Publication date: 2006-02-22
Anticipated expiration: 2022-12-24
Also published as: CN1732693A; EP1578138A4; KR101001431B1; KR20050089847A; TWI236851B; WO2004059988A1; JP2004207896A; US7564491B2; US20060012694A1; EP1578138A1; CN100474935C; TW200427337A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、画素欠陥検出補正装置及び画素欠陥検出補正方法に関するものである。
【０００２】
【従来の技術】
固体撮像素子の画素欠陥は、正常信号に対し常に一定量の電荷が加算される（ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ) の結晶欠陥等に由来する）白欠陥と、正常信号に対し一定の比率で信号レベルが低下（ＣＣＤのオンチップレンズの傷等に起因する）もしくは、常に０以下の信号レベルが出力される（ＣＣＤのフォトダイオードのオープンに起因する）黒欠陥が挙げられる。これらの画素欠陥は、撮像時に点状の傷となり画質劣化を引き起こすため、欠陥検出や補正を信号処理によって実現する手段が各種提案されている。
【０００３】
従来開示されている撮像素子の画素欠陥検出及び補正装置では、画素欠陥を調整時に検出し、その位置をレジスタ等の記憶装置に格納しておき、撮像時にその位置を参照し、対象となる画素の近傍画素のデータから、補間値を算出し、この補間値と欠陥画素データを置換して補間を行うものが一般的である。
【０００４】
例えば、特許文献１には、段落番号〔００１８〕に撮像中に画素欠陥の補正を行うと共に欠陥検出を行い、撮像素子について補正すべき欠陥の個数が予め定められた設定範囲内に収まるように、欠陥画素の個数に応じて欠陥検出に係るレベル比較の閾値を可変設定すると共に、欠陥画素の位置情報と、欠陥画素が現フレームよりも前のフレームにおいても欠陥画素として検出された場合の検出フレームの数と、欠陥画素について直前のフレームにおける補正の有無を示す情報とを、１つの記憶手段に記憶させる点が開示されている。
【０００５】
また、特許文献２には、要約書の
〔構成〕に固体撮像素子の第１画素よりの第１画素信号とこの第１画素の周辺の第２画素よりの第２画素信号とのレベル差を検出するレベル差を検出するレベル差検出回路と、このレベル差検出回路の出力信号と所定の閾値とを比較するコンパレータと、このコンパレータの比較結果を複数フィールド分記憶するメモリとを有し、このメモリの記憶情報により欠陥画素を断定する点が開示されている。
【０００６】
また、特許文献３には、要約書の
〔構成〕にＣＣＤ素子の出力信号に基づいて、ＣＣＤ素子の各画素のうち、特異なレベルの信号を出力する欠陥画素を検出するシステムコントローラ、スイッチ、検出前処理回路、検出回路とこれらによって検出された欠陥画素の位置データを記憶するレジスタとを有し、レジスタに記憶された位置データを消去する点が開示されている。
【０００７】
また、特許文献４には、要約書の
〔構成〕に欠陥検査を行う際に、ＣＣＤ固体撮像素子の撮像出力レベルをコンパレータにて所定の検出レベルと比較することによって欠陥画素を検出し、この検出した欠陥画素数をカウンタでカウントし、その検出数が記憶許容数を超えたとき、検出レベル設定回路にてコンパレータの検出レベルをそれまでよりも高く設定することによって欠陥検出感度を下げ、再検査を欠陥画素数が許容内に収まるまで繰り返す点が開示されている。
【０００８】
【特許文献１】
特開２００２−５１２６６号公報
【特許文献２】
特開平６−２８４３４６号公報
【特許文献３】
特開平５−２６０３８５号公報
【特許文献４】
特開平６−３１５１１２号公報
【０００９】
【発明が解決しようとする課題】
しかし、上述した従来の欠陥画素補正方法では、補正可能な欠陥画素数は記録装置の容量に制限され、補正可能な画素数を増やすためには記憶装置の容量を増やす必要があり、検出回路のゲート規模の増大を招くという不都合があった。
また、動作温度の変動等により調整時に検出できなかった後発の欠陥については、従来の方法では十分な検出及び補正が出来なかったという不都合があった。
【００１０】
また、特許文献１では、欠陥画素の位置情報と、欠陥画素が現フレームよりも前のフレームにおいても欠陥画素として検出された場合の検出フレームの数と、欠陥画素について直前のフレームにおける補正の有無を示す情報とを、１つの記憶手段に記憶させるため、補正可能な欠陥画素数は記録手段の容量に制限され、補正可能な画素数を増やすためには記憶手段の容量を増やす必要があるという不都合があった。
【００１１】
また、特許文献２では、撮像素子の１画素とその周辺の第２画素について両者のレベル差を検出して、これを閾値と比較することで欠陥画素の判断を行った結果を予めメモリに記憶させておくため、補正可能な欠陥画素数はメモリの容量に制限され、補正可能な画素数を増やすためにはメモリの容量を増やす必要があるという不都合があった。
【００１２】
また、特許文献３では、欠陥画素検出手段により記憶手段に記憶された位置データに対応する画素が、所定回数以上にわたって連続して欠陥画素と検出されなかった場合に位置データを記憶手段から消去するため、温度等を含む検出時の条件による影響を排除するものの、補正可能な欠陥画素数は記録手段の容量に制限され、補正可能な画素数を増やすためには記憶手段の容量を増やす必要があるという不都合があった。
【００１３】
また、特許文献４では、欠陥画素の数をカウントして、そのカウント数が記憶許容数を超えたときには、欠陥検出手段におけるレベル比較の閾値を上げることで検出感度を上げるため、限られた記憶手段の容量を有効に用いるものの、補正可能な欠陥画素数は記録手段の容量に制限され、補正可能な画素数を増やすためには記憶手段の容量を増やす必要があるという不都合があった。
【００１４】
そこで、本発明は、かかる点に鑑みてなされたものであり、補正可能な欠陥画素数が記録装置の容量に制限されず、かつ、動作温度の変動等により調整時に検出できなかった後発の欠陥についても、十分な検出及び補正が出来る画素欠陥検出補正装置及び画素欠陥検出補正方法を提供することを課題とする。
【００１５】
【課題を解決するための手段】
本発明の画素欠陥検出補正装置は、欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差の絶対値、色差及び輝度データ及び補間値算出対象画素に対するデータを算出する色差及び輝度算出手段と、各種データの最大値と最小値を、色差及び輝度算出手段で算出した値から検出する各種データ最大値及び最小値検出手段と、補間値算出対象画素に対して、欠陥判別対象画素の色差補間値を得る色差補間値算出手段と、補間値算出対象画素に対して、欠陥判別対象画素の輝度補間値を得る輝度補間値算出手段と、各種データ最大値及び最小値検出手段、色差補間値算出手段、輝度補間値算出手段からのデータを元に、複数の欠陥検出方法を用いて、各欠陥検出方法に対し、同時に欠陥判別対象画素の欠陥判別を行い、画素が欠陥であると判断した場合には、欠陥検出方法に応じた補間値と画素の従来のデータを置換して補間処理を実行する欠陥判別及び補間処理手段と、欠陥判別及び補間処理手段で得られた、欠陥として判別された画素の最終出力値を選択する使用補間値選択手段とを備え、撮像中に常時、画素欠陥の検出及び補正を行い、複数の欠陥検出方法、補間方法の最適な組合せにより、画像データの画素欠陥の検出及び補正を行うものである。
【００１６】
従って本発明によれば、以下の作用をする。
色差及び輝度算出手段は欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差の絶対値、色差及び輝度データ及び補間値算出対象画素に対するデータを算出する。各種データ最大値及び最小値検出手段は各種データの最大値と最小値を、色差及び輝度算出手段で算出した値から検出する。色差補間値算出手段は補間値算出対象画素に対して、欠陥判別対象画素の色差補間値を得る。輝度補間値算出手段は補間値算出対象画素に対して、欠陥判別対象画素の輝度補間値を得る。欠陥判別及び補間処理手段は各種データ最大値及び最小値検出手段、色差補間値算出手段、輝度補間値算出手段からのデータを元に、複数の欠陥検出方法を用いて、各欠陥検出方法に対し、同時に欠陥判別対象画素の欠陥判別を行い、画素が欠陥であると判断した場合には、欠陥検出方法に応じた補間値と画素の従来のデータを置換して補間処理を実行する。使用補間値選択手段は欠陥判別及び補間処理手段で得られた、欠陥として判別された画素の最終出力値を選択する。本発明によれば、撮像中に常時、画素欠陥の検出及び補正を行い、複数の欠陥検出方法、補間方法の最適な組合せにより、画像データの画素欠陥の検出及び補正を行う。
【００１７】
本発明の画素欠陥検出補正方法は、欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差の絶対値、色差及び輝度データ及び補間値算出対象画素に対するデータを算出する色差及び輝度算出ステップと、各種データの最大値と最小値を、色差及び輝度算出ステップで算出した値から検出する各種データ最大値及び最小値検出ステップと、補間値算出対象画素に対して、欠陥判別対象画素の色差補間値を得る色差補間値算出ステップと、補間値算出対象画素に対して、欠陥判別対象画素の輝度補間値を得る輝度補間値算出ステップと、各種データ最大値及び最小値検出ステップ、色差補間値算出ステップ、輝度補間値算出ステップからのデータを元に、複数の欠陥検出方法を用いて、各欠陥検出方法に対し、同時に欠陥判別対象画素の欠陥判別を行い、画素が欠陥であると判断した場合には、欠陥検出方法に応じた補間値と画素の従来のデータを置換して補間処理を実行する欠陥判別及び補間処理ステップと、欠陥判別及び補間処理ステップで得られた、欠陥として判別された画素の最終出力値を優先度に基づいて選択する使用補間値選択ステップとを備え、撮像中に常時、画素欠陥の検出及び補正を行い、複数の欠陥検出方法、補間方法の最適な組合せにより、画像データの画素欠陥の検出及び補正を行うものである。
【００１８】
従って本発明によれば、以下の作用をする。
色差及び輝度算出ステップは欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差の絶対値、色差及び輝度データ及び補間値算出対象画素に対するデータを算出する。各種データ最大値及び最小値検出ステップは各種データの最大値と最小値を、色差及び輝度算出ステップで算出した値から検出する。色差補間値算出ステップは補間値算出対象画素に対して、欠陥判別対象画素の色差補間値を得る。輝度補間値算出ステップは補間値算出対象画素に対して、欠陥判別対象画素の輝度補間値を得る。欠陥判別及び補間処理ステップは各種データ最大値及び最小値検出ステップ、色差補間値算出ステップ、輝度補間値算出ステップからのデータを元に、複数の欠陥検出方法を用いて、各欠陥検出方法に対し、同時に欠陥判別対象画素の欠陥判別を行い、画素が欠陥であると判断した場合には、欠陥検出方法に応じた補間値と画素の従来のデータを置換して補間処理を実行する。使用補間値選択ステップは欠陥判別及び補間処理ステップで得られた、欠陥として判別された画素の最終出力値を優先度に基づいて選択する。本発明によれば、撮像中に常時、画素欠陥の検出及び補正を行い、複数の欠陥検出方法、補間方法の最適な組合せにより、画像データの画素欠陥の検出及び補正を行う。
【００１９】
【発明の実施の形態】
以下に、本発明の実施の形態について適宜図面を参照しながら説明する。
【００２０】
図1 は本発明の実施の形態に適用される欠陥検出及び補正制御ブロックの基本構成の概略を簡単に示したものである。
【００２１】
まず、本発明の実施の形態に適用される欠陥検出及び補正制御ブロック１の構成を説明する。本発明の実施の形態の中心をなす画素欠陥検出及び補間制御ブロック１は、入力端子４を介して画素欠陥を含む画像入力信号Ｉを供給するＣＣＤ２などを有する撮像ブロックと、出力端子５を介して補正されたデータを含む画像出力信号Ｏを供給する輝度信号や色信号生成を行うカメラ信号処理ブロックの間に位置する。
【００２２】
本発明の実施の形態に適用される欠陥検出及び補正制御ブロック１は、欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差の絶対値、色差及び輝度データ及び補間値算出対象画素に対するデータを算出する色差及び輝度算出ブロック（１−２）を有して構成される。
【００２３】
また、欠陥検出及び補正制御ブロック１は、各種データの最大値と最小値を、色差及び輝度算出手段で算出した値から検出する各種データ最大値及び最小値検出ブロック（１−３）を有して構成される。
【００２４】
また、欠陥検出及び補正制御ブロック１は、補間値算出対象画素に対して、欠陥判別対象画素の色差補間値を得る色差補間値算出ブロック（１−４）を有して構成される。
【００２５】
また、欠陥検出及び補正制御ブロック１は、補間値算出対象画素に対して、欠陥判別対象画素の輝度補間値を得る輝度補間値算出ブロック（１−５）を有して構成される。
【００２６】
また、欠陥検出及び補正制御ブロック１は、各種データ最大値及び最小値検出ブロック（１−３）、色差補間値算出ブロック（１−４）、輝度補間値算出ブロック（１−５）からのデータを元に、複数の欠陥検出方法を用いて、各欠陥検出方法に対し、同時に欠陥判別対象画素の欠陥判別を行い、画素が欠陥であると判断した場合には、欠陥検出方法に応じた補間値と画素の従来のデータを置換して補間処理を実行する欠陥判別及び補間処理ブロック（１−６）を有して構成される。
【００２７】
また、欠陥検出及び補正制御ブロック１は、欠陥判別及び補間処理ブロック（１−６）で得られた、欠陥として判別された画素の最終出力値を選択する使用補間値選択ブロック（１−７）とを有して構成される。
【００２８】
また、欠陥検出及び補正制御ブロック１は、撮像中に常時、画素欠陥の検出及び補正を行い、複数の欠陥検出方法、補間方法の最適な組合せにより、画像データの画素欠陥の検出及び補正を行うように構成されるものである。
【００２９】
なお、欠陥検出及び補正制御ブロック１は、後段の各ブロックにおける各画素ごとの処理のために画像入力信号にディレイ処理を施すディレイ生成ブロック（１−１）を有して構成される。
【００３０】
このように構成される本発明の実施の形態に適用される欠陥検出及び補正制御ブロック１は、以下のような動作をする。
色差及び輝度算出ブロック（１−２）及び色差補間値算出ブロック（１−４）、輝度補間値算出ブロック（１−５）の演算方法を最適化することで、補色信号処理系、原色信号処理系の何れにも適用でき、単板式や多板式等のＣＣＤによる撮像形態にも依存しないようにすることができる。以降、単板の補色信号処理系への適応例について述べる。
【００３１】
本発明の実施の形態に適用される欠陥検出及び補正制御ブロック１において、色差及び輝度算出ブロック（１−２）、各種データ最大値及び最小値検出ブロック（１−３) 、色差補間値算出ブロック（１−４）、輝度補間値算出ブロック（１−５）、欠陥判別及び補間処理ブロック（１−６) 、使用補間値選択ブロック（１−７）は、以下のような動作をする。
【００３２】
色差及び輝度算出ブロック（１−２）では、欠陥検出に必要な隣接８画素及び欠陥判別対象画素の色差の絶対値として、図２Ａに示す隣接８画素色差絶対値比較における欠陥検出比較対象画素に対して、｜Ａ−Ａ’｜、｜Ｂ−Ｂ' ｜、｜Ｃ−Ｃ' ｜、｜Ｄ−Ｄ’｜、｜Ｆ−Ｆ' ｜、｜Ｇ−Ｇ' ｜、｜Ｈ−Ｈ’｜、｜Ｉ−Ｉ' ｜及び｜Ｅ−Ｅ' ｜を算出している。
【００３３】
また、色差補間値算出ブロック（１−４）及び輝度補間値算出ブロック（１−５）で使用する色差及び輝度データを、図３に示す補間値算出対象画素に対して、Ｂ−Ｂ’、Ｄ−Ｄ' 、Ｅ−Ｅ’、Ｆ−Ｆ' 、Ｈ−Ｈ' 、及びＢ＋Ｂ’、Ｄ＋Ｄ' 、Ｅ＋Ｅ’、Ｆ＋Ｆ' 、Ｈ＋Ｈ' として算出している。
【００３４】
各種データ最大値及び最小値検出ブロック（１−３）では、欠陥判別及び補間処理ブロック（１−６）で使用する各種データの最大値と最小値を、色差及び輝度算出ブロック（１−２）で算出した値から検出する。
【００３５】
欠陥検出方式別に、図２Ａに示す隣接８画素間色差絶対値比較による欠陥画素検出では、｜Ａ−Ａ’｜、｜Ｂ−Ｂ' ｜、｜Ｃ−Ｃ' ｜、｜Ｄ−Ｄ' ｜、｜Ｆ−Ｆ' ｜、｜Ｇ−Ｇ' ｜、｜Ｈ−Ｈ' ｜、｜Ｉ−Ｉ' ｜の中から最大値を、図２Ｂに示す隣接８画素間比較による欠陥画素検出では、Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｉの中から最大値と最小値を、図２Ｃに示す最近接8 画素間比較による欠陥画素検出では、Ａ”、Ｂ“、Ｃ”、Ｄ" 、Ｆ”、Ｇ" 、Ｈ”、Ｉ" の中から最大値と最小値を検出している。
【００３６】
色差補間値算出ブロック（１−４）では次の様に補間値を算出している。まず、図３に示す補間値算出対象画素に対して、縦方向の色差の相関係数Ｋｃ＿ｖ＝|（Ｂ−Ｂ’）−（Ｈ−Ｈ’）|／２と横方向の色差間の相関係数Ｋｃ＿ｈ＝|（Ｄ−Ｄ’）−（Ｆ−Ｆ’）|／２を求め、次いで縦／横の色差の相関係数Ｋｃ＿ｈｖ＝Ｋｃ＿ｈ／（Ｋｃ＿ｈ＋Ｋｃ＿ｖ）を算出する。但し、Ｋｃ＿ｈ＋Ｋｃ＿ｖ＝０の時には、Ｋｃ＿ｈｖ＝０．５とする。更に、縦方向の補間値ｃ＿ｖ＝（（（Ｂ−Ｂ’）+（Ｈ−Ｈ’））/２）ｘＫｃ＿ｈｖ及び横方向の補間値ｃ＿ｈ＝（（（Ｄ−Ｄ）+（Ｆ−Ｆ’））／２）Ｘ（１−Ｋｃ＿ｈｖ）を求め、欠陥判別対象画素Ｅの色差補間値Ｅ＿ｃ＿ｈｖ＝Ｅ’+（ｃ＿ｖ＋ｃ＿ｈ）を得る。
【００３７】
輝度補間値算出ブロック（１−５）では次の様に補間値を算出している。まず、図３に示す補間値算出対象画素に対して、縦方向の輝度の相関係数Ｋｙ＿ｖ＝|（Ｂ＋Ｂ’）−（Ｈ＋Ｈ’）|／２と横方向の色差間の相関係数Ｋｙ＿ｈ＝|（Ｄ＋Ｄ’）−（Ｆ＋Ｆ’）|／２を求め、次いで縦/横の色差の相関係数Ｋｙ＿ｈｖ＝Ｋｙ＿ｈ/（Ｋｙ＿ｈ＋Ｋy＿ｖ）を算出する。更に、縦方向の補間値ｙ＿ｖ＝（（（Ｂ＋Ｂ’）＋（Ｈ＋Ｈ’））/２）ｘＫｙ＿ｈｖ及び横方向の補間値ｙ＿ｈ＝（（（Ｄ＋Ｄ）+（Ｆ＋Ｆ’））／２）Ｘ（１−Ｋｙ＿ｈｖ）を求め、欠陥判別対象画素Eの輝度補間値Ｅ＿ｙ＿ｈｖ＝Ｅ’−（ｙ＿ｖ＋ｙ＿ｈ）を得る。
【００３８】
欠陥判別及び補間処理ブロック（１−６) では、各種データ最大値及び最小値検出ブロック（１−３) 、色差補間値算出ブロック（１−４）、輝度補間値算出ブロック（１−５）からのデータを元に、３つの欠陥検出方法を用いて、各欠陥検出方法に対し、同時に欠陥判別対象画素Ｅの欠陥判別を行い、画素Ｅが欠陥であると判断した場合には、欠陥検出方法に応じた補間値と画素Ｅの従来のデータを置換して補間処理を実行する。
【００３９】
第１の欠陥検出方法１は、図２Ａに示す隣接８画素間色差絶対値比較による欠陥画素検出である。
欠陥判別対象画素をＥとした場合、各種データ最大値及び最小値検出ブロック（１−３) で求めた隣接8 画素間色差絶対値の最大値に対し、欠陥判別及び補間処理ブロック（１−６) は、外部の通信設定部３からの通信設定により外部から任意に設定できる係数α1 を掛けた値を閾値Ｔ１として求める。
【００４０】
また、欠陥判別及び補間処理ブロック（１−６) は、色差補間値算出ブロック（１−４）、輝度補間値算出ブロック（１−５）で算出した欠陥判別対象画素Ｅの色差補間値Ｅ＿ｃ＿ｈｖと輝度補間値Ｅ＿ｙ＿ｈｖの差分の絶対値｜Ｅ＿ｙ＿ｈｖ−Ｅ＿ｃ＿ｈｖ｜を算出する。
【００４１】
加えて欠陥判別対象画素Ｅの絶対値に対し、欠陥判別及び補間処理ブロック（１−６) は、外部の通信設定部３からの通信設定により外部から任意に設定できる係数β1 を掛けた値を制限値L として求める。これらの演算結果の比較により、次の数１式の関係が満たされた場合に、欠陥判別対象画素Ｅを欠陥として判別する。
【００４２】
【数１】
｜Ｅ−Ｅ' ｜ > T1 （条件１−１）かつ｜Ｅ＿ｙ＿ｈｖ−Ｅ＿ｃ＿ｈｖ｜＜Ｌ（条件１−２）
【００４３】
本欠陥検出方法は、隣接画素間の差分である色差を用いることで、欠陥がより強調され、他の２つの欠陥検出方法に比べ、多様な画像に対して誤検出を抑えて適応することができる。色差の絶対値をとることで、画像の境界領域など、信号レベルの変化の激しい所での誤検出を抑制できる。また、条件１−２の制限は、画像の正常部分では満たされない場合が多く、逆に欠陥部分では満たされることが多いため、正常画素の誤検出を抑制できる。また、本制限は欠陥直前の画素の誤検出抑制にも効果がある。
【００４４】
本検出方法では最適な補間値として輝度補間値を採用している。正常画素を誤検出して補間処理を行った場合でも画質劣に対する影響を最小限に抑えることができる。
【００４５】
第２の欠陥検出方法２は、図２Ｂに示す隣接８画素間比較による欠陥画素検出である。
欠陥判別対象画素をＥとした場合、各種データ最大値及び最小値検出ブロック（１−３) で求めた隣接８画素の最大値に対し、欠陥判別及び補間処理ブロック（１−６) は、外部の通信設定部３からの通信設定により外部から任意に設定できる係数α２を掛けた値を閾値Ｔ２＿ｍａｘとして算出する。
【００４６】
同様に、隣接８画素の最小値に対し、欠陥判別及び補間処理ブロック（１−６）は、外部の通信設定部３からの通信設定により外部から任意に設定できる係数γ２を掛けた値を閾値Ｔ２＿ｍｉｎとして求める。これらの演算結果の比較により、次の数２式の関係が満たされた場合に、欠陥判別対象画素Ｅを欠陥として判別する。
【００４７】
【数２】
Ｅ >Ｔ２＿ｍａｘ（条件２−１）またはＥ＜Ｔ２＿ｍｉｎ（条件２−２）
【００４８】
本検出方法は、他の２つの欠陥検出方法に比べ、白黒の縞模様等コントラストの激しい画像に対して、誤検出を抑制しながら高い検出効率を得ることができる。本検出方法では最適な補間値として色差補間値を採用している。
【００４９】
第３の欠陥検出方法３は、図２Ｃに示す最近接８画素間比較による欠陥画素検出である。
欠陥判別対象画素をＥとした場合、各種データ最大値及び最小値検出ブロック（１−３) で得た最近接８画素の最大値に対し、欠陥判別及び補間処理ブロック（１−６) は、外部の通信設定部３からの通信設定により外部から任意に設定できる係数α３を掛けた値を閾値Ｔ３＿ｍａｘとして算出する。
【００５０】
同様に、最近接８画素の最小値に対し、欠陥判別及び補間処理ブロック（１−６) は、外部の通信設定部３からの通信設定により外部から任意に設定できる係数γ3 を掛けた値を閾値Ｔ３＿ｍｉｎとして求める。これらの演算結果の比較により、次の数３式の関係が満たされた場合に、欠陥判別対象画素Ｅを欠陥として判別する。
【００５１】
【数３】
Ｅ＞Ｔ３＿ｍａｘ（条件３−１）またはＥ＜Ｔ３＿ｍｉｎ（条件３−２）
【００５２】
他の２つの欠陥検出方法で誤検出されやすい、明るい画像（光の反射部やランプ等）では、色フィルターの異なる最近接画素でも信号レベルが似ていることが多い。これに対して欠陥の場合には、色フィルターの異なる最近接画素と信号レベルに差がある場合が多い。よって、本検出方法により、他の２つの欠陥検出方法で、検出の難しい、明るい画像部分での欠陥検出感度の向上が期待できる。本検出方法では最適な補間値として輝度補間値を採用している。
【００５３】
使用補間値選択ブロック（１−７）では、欠陥判別及び補間処理ブロック（１−６) で得られた、欠陥として判別された画素Ｅの最終出力値を選択する。前述の様に、欠陥判別及び補間処理ブロック（１−６) では、３つの欠陥検出方法と各々に最適化した補間処理を行っていたが、３つの欠陥検出方法毎に、誤検出を抑制し、最大限の欠陥検出効率を維持するのに適した画像が異なる。そこで、各欠陥検出方法の特徴から次の様に画素Ｅの最終出力値を選択している。
【００５４】
図４は、使用補間値選択ブロック（１−７）の動作を示すフローチャートである。
図４において、ステップＳ１で、第１の欠陥検出方法1 で欠陥画素と判別したか否かを判断する。ステップＳ１で第１の欠陥検出方法1 で欠陥画素と判別した場合、ステップＳ２で、他の検出方法の判別結果によらず、第１の欠陥検出方法1 の補間値を出力する。
【００５５】
ステップＳ１で第１の欠陥検出方法1 で欠陥画素でない判別した場合、ステップＳ３で、第２の欠陥検出方法２で欠陥画素と判別したか否かを判断する。第２の欠陥検出方法２で欠陥画素と判別した場合、ステップＳ４で、第１の欠陥検出方法1 で欠陥と判別されていなければ、欠陥検出方法３の判別結果に依らず、第２の欠陥検出方法２の補間値を出力する。
【００５６】
ステップＳ３で第２の欠陥検出方法２で欠陥画素でない判別した場合、ステップＳ５で、第３の欠陥検出方法３で欠陥画素と判別したか否かを判断する。第３の欠陥検出方法３で欠陥画素と判別した場合、ステップＳ６で、他の２つの欠陥検出方法で欠陥と判別されていない場合のみ、第３の欠陥方法３の補間値を出力する。
【００５７】
何れの欠陥検出方法でも、欠陥と判別されなかった場合には、ステップＳ７で、画素Ｅの値をそのまま出力する。
【００５８】
上述した本実施の形態によれば、第１に、画素欠陥検出直後に補間処理を行うため、欠陥画素の位置を記憶するための記憶装置を必要せず、欠陥検出と補正を行う領域に制限を受けないようにすることができる。
【００５９】
第２に、欠陥画素に位置を記憶するための記憶装置を必要としないため、低コストで全画素に対する欠陥補正が実現できる。
【００６０】
第３に、撮像時に常時欠陥検出と補間を行うため、撮像素子の温度変化等に由来する、後発的に発生した欠陥の検出及び補正を行うことができる。
【００６１】
第４に、複数の欠陥検出とそれに適した補間処理を同時に行い、欠陥検出方法の特徴に基づいて、最終的な補間出力値を決定することで、補間後の正常画素の誤検出を最小限に抑制できる。
【００６２】
第５に、欠陥検出方法ごとに、欠陥検出を行う際の閾値を通信設定することで、正常画素の誤検出を最小限に抑え、欠陥画素の検出効率を最大限にすることができる。
【００６３】
第６に、欠陥検出方法と補間方法の組合せを最適化することで、正常画素を誤検出して補間処理を行った場合でも画質劣化に対する影響を最小限に抑えることができる。
【００６４】
第７に、欠陥検出時に、輝度及び色差から算出した補間値の信号レベルと検出対象画素の信号レベルの関係から検出の制限を設けることにより、誤検出されやすい画像の状態を検知し、誤検出を抑制できる。
【００６５】
上述した本実施の形態に限らず、本発明の特許請求の範囲を逸脱しない限り、適宜他の構成をとりうることは言うまでもない。
【００６６】
【発明の効果】
この発明の画素欠陥検出補正装置は、撮像手段により撮像された画像データの画素欠陥の検出及び補正を行う画素欠陥検出補正装置において、欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差の絶対値、色差及び輝度データ及び補間値算出対象画素に対するデータを算出する色差及び輝度算出手段と、各種データの最大値と最小値を、色差及び輝度算出手段で算出した値から検出する各種データ最大値及び最小値検出手段と、補間値算出対象画素に対して、欠陥判別対象画素の色差補間値を得る色差補間値算出手段と、補間値算出対象画素に対して、欠陥判別対象画素の輝度補間値を得る輝度補間値算出手段と、上記各種データ最大値及び最小値検出手段、上記色差補間値算出手段、上記輝度補間値算出手段からのデータを元に、複数の欠陥検出方法を用いて、各欠陥検出方法に対し、同時に欠陥判別対象画素の欠陥判別を行い、画素が欠陥であると判断した場合には、欠陥検出方法に応じた補間値と画素の従来のデータを置換して補間処理を実行する欠陥判別及び補間処理手段と、上記欠陥判別及び補間処理手段で得られた、欠陥として判別された画素の最終出力値を選択する使用補間値選択手段とを備え、撮像中に常時、画素欠陥の検出及び補正を行い、複数の欠陥検出方法、補間方法の最適な組合せにより、画像データの画素欠陥の検出及び補正を行うので、画素欠陥検出直後に補間処理を行うため、欠陥画素の位置を記憶するための記憶装置を必要せず、欠陥検出と補正を行う領域に制限を受けないようにすることができ、また、撮像時に常時欠陥検出と補間を行うため、撮像素子の温度変化等に由来する、後発的に発生した欠陥の検出及び補正を行うことができるという効果を奏する。
【００６７】
また、この発明の画素欠陥検出補正装置は、上述において、上記欠陥判別及び補間処理手段における欠陥判別で、欠陥判別対象画素に対する色差補間値および輝度補間値を用いて、欠陥判別に制限を与えるので、欠陥検出時に、輝度及び色差から算出した補間値の信号レベルと検出対象画素の信号レベルの関係から検出の制限を設けることになり、誤検出されやすい画像の状態を検知し、誤検出を抑制することができるという効果を奏する。
【００６８】
また、この発明の画素欠陥検出補正装置は、上述において、上記欠陥判別及び補間処理手段における欠陥判別及び補間処理で、複数の欠陥検出方法と、誤検出をした際にも画質劣化を最小限に抑制できるように其々の欠陥検出方法に最適化した補間方法を用いて、同時に各欠陥検出と補間処理を行い、上記使用補間値選択手段で、欠陥検出方法の特徴に基づいて、最終的な補間出力値を決定することで、最終的な補間出力値の選択を行うので、複数の欠陥検出とそれに適した補間処理を同時に行い、欠陥検出方法の特徴に基づいて、最終的な補間出力値を決定することで、補間後の正常画素の誤検出を最小限に抑制でき、また、欠陥検出方法と補間方法の組合せを最適化することで、正常画素を誤検出して補間処理を行った場合でも画質劣化に対する影響を最小限に抑えることができるという効果を奏する。
【００６９】
また、この発明の画素欠陥検出補正装置は、上述において、上記制限は外部から任意に設定可能であるので、欠陥検出方法ごとに、欠陥検出を行う際の閾値を通信設定することで、正常画素の誤検出を最小限に抑え、欠陥画素の検出効率を最大限にすることができるという効果を奏する。
【００７０】
また、この発明の画素欠陥検出補正方法は、撮像手段により撮像された画像データの画素欠陥の検出及び補正を行う画素欠陥検出補正方法において、欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差の絶対値、色差及び輝度データ及び補間値算出対象画素に対するデータを算出する色差信号及び輝度信号算出ステップと、各種データの最大値と最小値を、色差及び輝度算出ステップで算出した値から検出する各種データ最大値及び最小値検出ステップと、補間値算出対象画素に対して、欠陥判別対象画素の色差補間値を得る色差補間値算出ステップと、補間値算出対象画素に対して、欠陥判別対象画素の輝度補間値を得る輝度補間値算出ステップと、上記各種データ最大値及び最小値検出ステップ、上記色差補間値算出ステップ、上記輝度補間値算出ステップからのデータを元に、複数の欠陥検出方法を用いて、各欠陥検出方法に対し、同時に欠陥判別対象画素の欠陥判別を行い、画素が欠陥であると判断した場合には、欠陥検出方法に応じた補間値と画素の従来のデータを置換して補間処理を実行する欠陥判別及び補間処理ステップと、上記欠陥判別及び補間処理ステップで得られた、欠陥として判別された画素の最終出力値を優先度に基づいて選択する使用補間値選択ステップとを備え、撮像中に常時、画素欠陥の検出及び補正を行い、複数の欠陥検出方法、補間方法の最適な組合せにより、画像データの画素欠陥の検出及び補正を行うので、画素欠陥検出直後に補間処理を行うため、欠陥画素の位置を記憶するための記憶装置を必要せず、欠陥検出と補正を行う領域に制限を受けないようにすることができ、また、撮像時に常時欠陥検出と補間を行うため、撮像素子の温度変化等に由来する、後発的に発生した欠陥の検出及び補正を行うことができ、また、優先順位に基づいて欠陥検出の補間値を出力することができるという効果を奏する。
【００７１】
また、この発明の画素欠陥検出補正方法は、上述において、上記使用補間値選択ステップにおける優先度は、隣接８画素色差絶対値比較、隣接８画素比較、および最近接８画素比較の順であるので、隣接８画素色差絶対値比較、隣接８画素比較、および最近接８画素比較の順で欠陥検出の補間値を出力することができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に適用される欠陥検出及び補正制御ブロックの構成を示す図である。
【図２】欠陥検出方法と検出対象画素であり、図２Ａは隣接８画素間色差絶対値比較、図２Ｂは隣接８画素間比較、図２Ｃは最近接８画素間比較である。
【図３】補間値算出対象画素を示す図である。
【図４】使用補間値選択ブロックの動作を示すフローチャートである。
【符号の説明】
１……欠陥検出及び補正制御ブロック、１−１……ディレイ生成ブロック、１−２……色差及び輝度算出ブロック、１−３……各種データ最大値及び最小値検出ブロック、１−４……色差補間値算出ブロック、１−５……輝度補間値算出ブロック、１−６……欠陥判別及び補間処理ブロック、１−７……使用補間値選択ブロック、２……ＣＣＤ、３……通信設定部、４……入力端子、５……出力端子、Ｉ……画素欠陥を含む画素入力信号、Ｏ……補正されたデータを含む画像出力信号

Claims

撮像手段により撮像された画像データの画素欠陥の検出及び補正を行う画素欠陥検出補正装置において、
欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差の絶対値、色差及び輝度データ及び補間値算出対象画素に対するデータを算出する色差及び輝度算出手段と、
各種データの最大値と最小値を、色差及び輝度算出手段で算出した値から検出する各種データ最大値及び最小値検出手段と、
補間値算出対象画素に対して、欠陥判別対象画素の色差補間値を得る色差補間値算出手段と、
補間値算出対象画素に対して、欠陥判別対象画素の輝度補間値を得る輝度補間値算出手段と、
上記各種データ最大値及び最小値検出手段、上記色差補間値算出手段、上記輝度補間値算出手段からのデータを元に、複数の欠陥検出方法を用いて、各欠陥検出方法に対し、同時に欠陥判別対象画素の欠陥判別を行い、画素が欠陥であると判断した場合には、欠陥検出方法に応じた補間値と画素の従来のデータを置換して補間処理を実行する欠陥判別及び補間処理手段と、
上記欠陥判別及び補間処理手段で得られた、欠陥として判別された画素の最終出力値を選択する使用補間値選択手段と、
を備え、撮像中に常時、画素欠陥の検出及び補正を行い、複数の欠陥検出方法、補間方法の最適な組合せにより、画像データの画素欠陥の検出及び補正を行うことを特徴とする画素欠陥検出補正装置。
請求項１に記載した画素欠陥検出補正装置において、
上記欠陥判別及び補間処理手段における欠陥判別で、欠陥判別対象画素に対する色差補間値および輝度補間値を用いて、欠陥判別に制限を与えることを特徴とする画素欠陥検出補正装置。
請求項１に記載した画素欠陥検出補正装置において、
上記欠陥判別及び補間処理手段における欠陥判別及び補間処理で、複数の欠陥検出方法と、誤検出をした際にも画質劣化を最小限に抑制できるように其々の欠陥検出方法に最適化した補間方法を用いて、同時に各欠陥検出と補間処理を行い、
上記使用補間値選択手段で、欠陥検出方法の特徴に基づいて、最終的な補間出力値を決定することで、最終的な補間出力値の選択を行う
ことを特徴とする画素欠陥検出補正装置。
請求項２に記載した画素欠陥検出補正装置において、
上記制限は外部から任意に設定可能であることを特徴とする画素欠陥検出補正装置。
撮像手段により撮像された画像データの画素欠陥の検出及び補正を行う画素欠陥検出補正方法において、
欠陥検出に必要な隣接画素及び欠陥判別対象画素の色差の絶対値、色差及び輝度データ及び補間値算出対象画素に対するデータを算出する色差及び輝度算出ステップと、
各種データの最大値と最小値を、色差及び輝度算出ステップで算出した値から検出する各種データ最大値及び最小値検出ステップと、
補間値算出対象画素に対して、欠陥判別対象画素の色差補間値を得る色差補間値算出ステップと、
補間値算出対象画素に対して、欠陥判別対象画素の輝度補間値を得る輝度補間値算出ステップと、
上記各種データ最大値及び最小値検出ステップ、上記色差補間値算出ステップ、上記輝度補間値算出ステップからのデータを元に、複数の欠陥検出方法を用いて、各欠陥検出方法に対し、同時に欠陥判別対象画素の欠陥判別を行い、画素が欠陥であると判断した場合には、欠陥検出方法に応じた補間値と画素の従来のデータを置換して補間処理を実行する欠陥判別及び補間処理ステップと、
上記欠陥判別及び補間処理ステップで得られた、欠陥として判別された画素の最終出力値を優先度に基づいて選択する使用補間値選択ステップと、
を備え、撮像中に常時、画素欠陥の検出及び補正を行い、複数の欠陥検出方法、補間方法の最適な組合せにより、画像データの画素欠陥の検出及び補正を行うことを特徴とする画素欠陥検出補正方法。
請求項５記載の画素欠陥検出補正方法において、
上記使用補間値選択ステップにおける優先度は、隣接８画素色差絶対値比較、隣接８画素比較、および最近接８画素比較の順であることを特徴とする画素欠陥検出補正方法。