JP5631325B2 - 撮像装置の欠陥検出方法及び撮像装置 - Google Patents

Description

本発明は、撮像素子の欠陥画素の補正技術に関するものである。

ＣＣＤやＣＭＯＳ等の撮像素子は、製造過程もしくは製造後において半導体の局部的な感度不良が生ずる場合があることが知られている。このような感度不良が生じると、その画素からは入射光量に応じた電荷出力が得られなくなるため、撮像画面上に被写体とは無関係な白点や黒点となって現れる。このような被写体とは無関係な白点や黒点を出力する画素は、いわゆる欠陥画素である。こうした欠陥画素に起因する画質劣化を信号処理によって補正するために、あらかじめ欠陥画素を検出することが行われている。まず、半導体工場で撮像素子を製造する段階で、製造した撮像素子に含まれる欠陥画素を検出して、検出された欠陥画素の位置データを不揮発性メモリに記憶させる。

また、撮像素子を撮像装置に組み込んだ後でも、撮像素子に含まれる欠陥画素を検出している。まず、撮像装置のメカニカルシャッターを遮光状態にしたときに、撮像素子からの出力レベルが所定レベルを超える画素（白点欠陥画素）を検出する。あるいは、シャッターを開いて入射光量を所定量にしたときに、出力レベルが所定レベルに達しない画素（黒点欠陥画素）を検出する。そして、検出された白点欠陥画素や黒点欠陥画素の位置データを不揮発性メモリに記憶させる。通常の撮像を行う場合には、不揮発性メモリに記憶されている位置データに基づいて欠陥画素を特定し、被写体を撮像することで得られる画像信号を信号処理によって補正している。

ところで、近年、撮像素子の画素数が増大し、欠陥画素の発生確率は増加傾向にある。さらに、撮像素子の多画素化に伴う画素微細化により、従来は見逃されてきた現象が新たに見出されるようになっている。すなわち、撮像素子から画素信号を繰り返し読み出した場合に、読み出される信号レベルが極端に増減する画素が存在するという現象である。このような現象を起こす画素を「点滅欠陥画素」と称する。点滅欠陥画素は、温度や蓄積時間に依存するものと、温度や蓄積時間に依存しないものとがあり、その発生メカニズムは様々である。

点滅欠陥画素は、ある時は正常画素、ある時は白点欠陥画素というように、あたかも点滅する白点欠陥画素の如く振舞う。そのため、撮像素子の製造工程、撮像装置の自己測定機能のいずれにおいても、欠陥画素の検出を各１回ずつ行っただけでは、全ての点滅欠陥画素を検出できない。そして、被写体を撮影した画像を記録する本撮像時に欠陥画素が点灯状態となって、点滅欠陥画素が顕在化して撮影画像が劣化するという問題があった。

こうした状況に対して、特開２００３−３７７８１号公報には、同一条件下で得られた複数の画像信号に基づいて撮像素子の欠陥画素アドレスを検出し、欠陥があると判定された回数が所定回数以上である画素アドレスを最終的な欠陥画素アドレスとして検出する技術が開示されている。

特開２００３−３７７８１号

しかしながら、上記した従来技術においては、本撮像時に点滅欠陥画素が点灯状態とならずに正常な画素信号が出力されている場合であっても欠陥画素として補正されてしまい、撮像した画像の画質がかえって劣化するという問題がある。

本発明は、点滅欠陥画素から欠陥画素とみなされる画素信号が出力されている場合には欠陥画素として検出し、点滅欠陥画素から正常な画素信号が出力されている場合には正常画素として検出することができる欠陥画素検出装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、被写体からの入射光を光電変換する撮像素子と、前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正手段と、前記点滅欠陥画素の出力信号値が異常値となる頻度に関する情報を記憶する記憶手段と、前記頻度に関する情報に応じて所定の閾値を算出する閾値算出手段と、前記点滅欠陥画素の出力信号値と周辺画素の出力信号値に対して平滑化処理を行い、前記点滅欠陥画素の出力信号値と前記平滑化処理結果の差分の絶対値を前記点滅欠陥画素の欠陥の度合いを示す値として算出し、前記欠陥の度合いを示す値を前記所定の閾値と比較することで、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定する判定手段と、前記判定手段により前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正するように制御し、前記判定手段により前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正しないように制御する制御手段と、を有することを特徴とする。
また、本発明の欠陥画素補正方法は、被写体からの入射光を光電変換する撮像素子を備えた撮像装置の欠陥画素補正方法であって、前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正ステップと、前記点滅欠陥画素の出力信号値と周辺画素の出力信号値に対して平滑化処理を行い、前記点滅欠陥画素の出力信号値と前記平滑化処理結果の差分の絶対値を前記点滅欠陥画素の欠陥の度合いを示す値として算出し、前記欠陥の度合いを示す値を所定の閾値と比較することで、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定し、前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正するように制御し、前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正しないように制御する制御ステップとを有し、前記点滅欠陥画素の出力信号値が異常値となる頻度に関する情報に応じて前記所定の閾値を算出することを特徴とする。
さらに、本発明の撮像装置は、被写体からの入射光を光電変換する撮像素子と、前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正手段と、前記点滅欠陥画素の出力信号値が異常値となる頻度に関する情報を記憶する記憶手段と、前記頻度に関する情報に応じて所定の閾値を算出する閾値算出手段と、前記点滅欠陥画素の欠陥の度合いを示す値を前記所定の閾値と比較することで、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定する判定手段と、前記判定手段により前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正するように制御し、前記判定手段により前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正しないように制御する制御手段と、を有することを特徴とする。
また、本発明の欠陥画素補正方法は、被写体からの入射光を光電変換する撮像素子を備えた撮像装置の欠陥画素補正方法であって、前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正ステップと、前記点滅欠陥画素の欠陥の度合いを示す値を所定の閾値と比較することで、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定し、前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正するように制御し、前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正しないように制御する制御ステップとを有し、前記点滅欠陥画素の出力信号値が異常値となる頻度に関する情報に応じて前記所定の閾値を算出することを特徴とする。

本発明によれば、点滅欠陥画素の出力信号に対する過剰な補正処理による弊害を軽減することができる。

撮像装置を説明するためのブロック図である。 実施例１における点滅欠陥画素の検出処理について説明するためのフローチャートである。 撮像素子の画素配列と出力信号の一例を示す図である。 実施例２における点滅欠陥画素の検出処理について説明するためのフローチャートである。 実施例３における欠陥画素検出部を説明するためのブロック図である。 実施例３におけるフィルタリング処理の方法を説明するための図である。 実施例３における閾値判定回路を説明するためのブロック図である。 実施例３における閾値判定回路内の傷レベル変換回路を説明するための図である。 実施例３における相関判定回路を説明するためのブロック図である。 実施例３における相関判定回路内の傷レベル変換回路を説明するための図である。 実施例３における欠陥画素補正部を説明するためのブロック図である。 実施例４における閾値算出部を説明するためのブロック図である。

（実施例１）
図１は、本発明の実施例１における欠陥画素補正装置を搭載した撮像装置のブロック図である。図１において、レンズや絞りからなる光学系２０１及びメカニカルシャッター２０２を介して入射した被写体像は、ＣＣＤやＣＭＯＳ等の撮像素子２０３により光電変換される。撮像素子２０３から出力されたアナログ信号は、ＣＤＳ回路２０４により低周波ノイズが除去され、Ａ／Ｄ変換器２０５によりデジタル信号に変換される。

光学系２０１、メカニカルシャッター２０２及び撮像素子３は、駆動回路２０７により駆動される。タイミング信号発生回路２０６は、ＣＤＳ回路２０３及びＡ／Ｄ変換器２０４を動作させるためのタイミング信号を発生する。Ａ／Ｄ変換器２０５により変換されたデジタル信号は、欠陥画素検出補正部２０８に入力される。欠陥画素検出補正部２０８は、欠陥画素の検出を行う欠陥画素検出部２０８１（判定手段）、欠陥画素から出力される信号値をその欠陥画素の周辺画素から出力される信号値を用いて補間することで欠陥画素補正処理を行う欠陥画素補正部２０８２（補正手段）を含む。

欠陥画素検出補正部２０８から出力された画像信号は、信号処理回路２０９に入力される。信号処理回路２０９は、入力された画像信号に対し、色分離、アパーチャ補正、ガンマ補正、ホワイトバランス等の撮像系の信号処理を行う。ここで、信号処理回路２０９による信号処理中のデジタル画像信号は、画像メモリ２１０に一時的に記憶される。

信号処理回路２０９により信号処理された画像データは、記録回路２１２により記録媒体２１１に記録される。記録媒体２１１は、撮像装置に着脱自在に取り付けられるメモリカード等である。また、信号処理回路２０９により信号処理された画像データは、表示回路２１４によって画像表示装置２１３に表示される。

ＣＰＵ等で構成されるシステム制御部２１５（制御手段）は、撮像装置全体を制御する。ＲＯＭ２１６は、システム制御部２１５で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、通常欠陥画素（非点滅欠陥画素）及び点滅欠陥画素のアドレス等を記憶する。ＲＯＭ２１６（記憶手段）に記憶されたプログラム、制御データ、通常欠陥画素及び点滅欠陥画素のアドレスデータ等は、ＲＡＭ２１７（記憶手段）に転送して一時的に記憶させておくことができる。

なお、本実施例では、ＲＯＭ２１６に記憶される通常欠陥画素及び点滅欠陥画素のアドレスデータは、撮像素子３の製造工程においてチェックされた個々の撮像素子に対応したアドレスであるが、これに限定されるものではない。例えば、撮像素子３を撮像装置に組み込んだ後に、欠陥画素検出部２０８１によって新たに欠陥画素に関する情報を作成してＲＯＭ２１６に格納してもよい。

次に、図２のフローチャートを用いて、本実施例における欠陥検出補正部２０８における処理の流れを説明する。なお、図２のフローは、システム制御部２１５が、ＲＯＭ２１６からＲＡＭ２１７に転送して一時的に記憶された制御プログラム、制御データ、通常欠陥画素及び点滅欠陥画素のアドレスデータ等を参照して各部を制御することで実行する。

ステップＳ１０１では、欠陥画素検出補正部２０８の欠陥画素検出部２０８１がＲＡＭ２１７に一時的に記憶されている通常欠陥画素のアドレス情報を参照し、Ａ／Ｄ変換器２０５から入力されたデジタル信号の各画素が通常欠陥画素であるか否かを判定する。

ステップＳ１０１において、入力されたデジタル信号の対象画素が通常欠陥画素であると判定された場合には、ステップＳ１０５に処理を移行し、欠陥画素補正部２０８２により欠陥画素補正処理を行い、処理された画像データを信号処理回路２０９に出力する。また、ステップＳ１０１において、入力されたデジタル信号の対象画素が通常欠陥画素ではないと判定された場合には、ステップＳ１０２に処理を移行する。

ステップＳ１０２では、欠陥画素検出部２０８１がＲＡＭ１７に一時的に記憶されている点滅欠陥画素のアドレス情報を参照し、入力されたデジタル信号の対象画素が点滅欠陥画素であるか否かを判定する。ステップＳ１０２において、入力されたデジタル信号の対象画素が点滅欠陥画素であると判定された場合には、ステップＳ１０３に処理を移行する。ステップＳ１０２において、入力されたデジタル信号の対象画素が点滅欠陥画素ではないと判定された場合には、欠陥画素補正部２０８２による欠陥画素補正処理を行わず、入力された画素の値をそのまま信号処理回路２０９に出力して処理を終了する。

ステップＳ１０３では、欠陥画素検出部２０８１による欠陥画素検出処理が行われて欠陥の度合いを示す値が算出され、ステップＳ１０４に処理を移行する。ステップＳ１０４では、ステップＳ１０３における欠陥画素検出処理によって得られる欠陥の度合いを示す値と、任意の値に設定される閾値と比較することで、入力された画素信号の値が異常な値であるか否かを判定する。なお、閾値に関しては後述する。

ステップＳ１０４において、入力された画素信号の値が異常な値であると判定された場合には、欠陥画素として振舞っているものとして、ステップＳ１０５に処理を移行する。ステップＳ１０５では、欠陥画素補正部２０８２により欠陥画素補正処理を行い、処理された画像データを信号処理回路２０９に出力して処理を終了する。ステップＳ１０４において、入力された画素信号の値が異常な値ではないと判定された場合には、正常な画素信号を出力しているものとして、欠陥画素補正部２０８２による欠陥画素補正処理を行わない。そして、入力された画素の値をそのまま信号処理回路２０９に出力して処理を終了する。

次に、図３（ａ）を参照して、図２のステップＳ１０３における欠陥画素検出部２０８１による欠陥画素検出処理（欠陥の度合いを示す値の算出処理）について説明する。ここでは、一例としてメディアンフィルタを用いた欠陥画素検出方法を示すが、これに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

まず、図２のステップＳ１０２において、入力されたデジタル信号の対象画素が点滅欠陥画素であると判定された場合には、入力された対象画素のデータとその周囲の画素のデータに対してメディアンフィルタ処理を実行する。ここで実行するメディアンフィルタ処理は、入力された対象画素（例えば、Ｒ（ｘ＋２、ｙ＋２））に対して縦横５×５画素の範囲における同色画像データの中央値を抽出し、対象画素の値を抽出された中央値に置換する処理を行う。なお、対象画素が撮像素子３の四隅などに位置し、縦横５×５画素の範囲がとれない場合は、対象画素を中心とする最大範囲（例えば、縦横３×３画素範囲など）に対してメディアンフィルタ処理が行われる。

また、ＲＡＭ２１７に一時的に記憶されている通常欠陥画素アドレスデータを参照することにより、メディアンフィルタ処理が行われる範囲内に通常欠陥画素が存在するかどうかを判断する。処理範囲内に通常欠陥画素が存在すると判断されると、通常欠陥画素を演算対象外として、通常欠陥画素以外の画素データを用いてメディアンフィルタ処理が行われる。例えば、図３（ａ）において、対象画素がＲ（ｘ＋２、ｙ＋２）である場合、左上のＲ（ｘ、ｙ）から右下のＲ（ｘ＋４、ｙ＋４）までの縦横５×５画素の範囲内で受光するＲ画素の中央値を求めることになる。このとき、例えばＲ（ｘ＋４、ｙ）が欠陥画素として抽出されていると、Ｒ（ｘ＋４、ｙ）を除いた画素データを用いてメディアンフィルタ処理が行われる。また、Ｇ、Ｂを受光する画素のそれぞれについても、Ｒ画素と同様に、縦横５×５画素の範囲内でメディアンフィルタ処理が行われる。

次に、メディアンフィルタ処理された画素データを元の画素データから減算する処理を行い、この減算処理により得られる値を欠陥の度合いを示す値として出力する。ここで、メディアンフィルタ処理された値は、欠陥画素の影響をなくして高周波成分を除いて平滑化された画像データである。従って、平滑化された画素データと元の画素データとの差分の絶対値を求める処理を行うことにより、点滅欠陥画素による突出した値と高周波成分が得られることになる。

欠陥画素検出処理では、この差分の絶対値と前記閾値を比較し、欠陥画素であるか否かを判定する。ここで図３（ｂ）、（ｃ）を用いて、点滅欠陥画素が欠陥画素として振舞っている場合と、点滅欠陥画素上に高周波成分が存在する場合の一例を示す。図３（ｂ）は、点滅欠陥画素が欠陥画素として振舞っている場合の入力データであり、中央のＲ（ｘ＋２、ｙ＋２）画素が点滅欠陥画素である。ここで、括弧内の値（２５５）は、出力信号レベルである。このＲ（ｘ＋２、ｙ＋２）画素に対してメディアンフィルタ処理を行うことで、左上のＲ（ｘ、ｙ）から右下のＲ（ｘ＋４、ｙ＋４）までの縦横５×５画素の範囲内における画像データの中央値が算出される。

ｍｅｄｉａｎ（Ｒ（ｘ、ｙ）〜Ｒ（ｘ＋４、ｙ＋４））＝４０・・・（式１）
次に、元の画素データとメディアンフィルタ処理された画素データの差分の絶対値を求める処理を行うことで、欠陥の度合いを示す値が算出される。

ａｂｓ（Ｒ（ｘ＋２、ｙ＋２）−ｍｅｄｉａｎ（Ｒ（ｘ、ｙ）〜Ｒ（ｘ＋４、ｙ＋４）））
＝ａｂｓ（２５５−４０）＝２１５・・・（式２）
式２の算出結果が、点滅欠陥画素が欠陥画素として振舞っている場合に、図２のステップＳ１０３における欠陥画素検出部２０８１により得られる出力である。

図３（ｃ）は、点滅欠陥画素上に高周波成分が存在する場合の入力データであり、中心のＲ（ｘ＋２、ｙ＋２）画素が点滅欠陥画素である。このＲ（ｘ＋２、ｙ＋２）画素に対してメディアンフィルタ処理を行うことで、左上のＲ（ｘ、ｙ）から右下のＲ（ｘ＋４、ｙ＋４）までの縦横５×５画素の範囲内における画像データの中央値が算出される。

ｍｅｄｉａｎ（Ｒ（ｘ、ｙ）〜Ｒ（ｘ＋４、ｙ＋４））＝１００・・・（式３）
次に、元の画素データとメディアンフィルタ処理された画素データの差分の絶対値を求める処理を行うことで、欠陥の度合いを示す値が算出される。

ａｂｓ（Ｒ（ｘ＋２、ｙ＋２）−ｍｅｄｉａｎ（Ｒ（ｘ、ｙ）〜Ｒ（ｘ＋４、ｙ＋４）））
＝ａｂｓ（２００−１００）＝１００・・・（式４）
式４の算出結果が、点滅欠陥画素上に高周波成分が存在する場合に、図２のステップＳ１０３における欠陥画素検出部２０８１により得られる出力である。

図２のステップＳ１０４で用いられる閾値は、この差分の絶対値処理後の出力値に含まれる点滅欠陥画素による成分（式２の出力値）と、高周波成分による成分（式３の出力値）を鑑みて任意に設定する。図３（ｂ）、（ｃ）に示す例であれば、図３（ｂ）の欠陥による出力を欠陥とみなし、図３（ｃ）の高周波成分による出力は欠陥とみなさないような値（例えば、式２、式４より、１００以上２１５未満の値）とする。

なお、本実施例で示したメディアンフィルタを用いた欠陥画素検出方法とは異なる欠陥画素検出方法を用いても、欠陥による出力と高周波成分による出力を完全に分離することは困難である。そのため、前記閾値としては、点滅欠陥画素より比較的振幅の小さいエッジなどの高周波成分に対して欠陥として検出されないレベルに設定する必要がある。

このように、本実施例では、事前に点滅欠陥画素であると判定された画素に対しては、その都度、出力値が異常値であるか否かの判定を行う。そして、点滅欠陥画素であっても、その出力値が異常値ではない場合には、元の正常な出力値を残すことで、画像の再現性を向上させることができる。

（実施例２）
実施例１では、撮像素子の製造工程で検出された点滅欠陥画素に対して欠陥の検出を行う例を説明したが、点滅欠陥画素の中には撮像素子の製造工程で検出を行った後に点滅欠陥画素となるものや、点滅の周期が長いために製造工程では検出されない点滅欠陥画素も存在する。そこで、実施例２では、製造工程において通常欠陥画素や点滅欠陥画素として検出されていない未検出欠陥画素に対しても、撮影毎に撮像素子から出力される信号に対して欠陥画素であるか否かの検出を行う。なお、実施例１と同様に、撮像素子の製造工程で検出された点滅欠陥画素に対しても再度欠陥画素であるか検出を行う。この検出処理では、製造工程で検出された点滅欠陥画素と、通常欠陥画素や点滅欠陥画素として検出されていない画素に対して欠陥画素の検出に用いる閾値をそれぞれ用意する。ここでは、点滅欠陥画素に対する欠陥画素の検出に用いる閾値を第一の閾値、未検出欠陥画素に対する欠陥画素の検出に用いる閾値を第二の閾値とする。

図４のフローチャートを用いて、実施例２における欠陥検出補正部８での処理の流れを説明する。なお、図４のフローチャートは、システム制御部２１５が、ＲＯＭ２１６からＲＡＭ２１７に転送して一時的に記憶された制御プログラム、制御データ、通常欠陥画素及び点滅欠陥画素のアドレスデータ等を参照して各部を制御することで実行する。

ステップＳ４０１では、欠陥画素検出補正部２０８の欠陥画素検出部２０８１がＲＡＭ２１７に一時的に記憶されている通常欠陥画素のアドレス情報を参照し、Ａ／Ｄ変換器２０５から入力されたデジタル信号の各画素が通常欠陥画素であるか否かを判定する。

ステップＳ４０１において、入力されたデジタル信号の対象画素が通常欠陥画素であると判定された場合には、ステップＳ４０６に処理を移行し、欠陥画素補正部２０８２により欠陥画素補正処理を行い、処理された画像データを信号処理回路２０９に出力する。また、ステップＳ４０１において、入力されたデジタル信号の対象画素が通常欠陥画素でないと判定された場合には、ステップＳ４０２に処理を移行する。

ステップＳ４０２では、入力されたデジタル信号の対象画素に対する欠陥画素検出部２０８１による欠陥画素検出処理が行われて欠陥の度合いを示す値が算出され、ステップＳ４０３に処理を移行する。ステップＳ４０２における欠陥画素検出結果（欠陥の度合いを示す値の算出結果）はＲＡＭ２１７に一時的に記憶され、後段の処理で参照される。

ステップＳ４０３では、欠陥画素検出部２０８１がＲＡＭ２１７に一時的に記憶されている点滅欠陥画素のアドレス情報を参照し、入力されたデジタル信号の対象画素が点滅欠陥画素であるか否かを判定する。ステップＳ４０３において、入力されたデジタル信号の対象画素が点滅欠陥画素であると判定された場合には、ステップＳ４０４に処理を移行する。ステップＳ４０３において、入力されたデジタル信号の対象画素が点滅欠陥画素でないと判定された場合には、ステップＳ４０５に処理を移行する。

ステップＳ４０４では、ステップＳ４０３において点滅欠陥画素であると判定された対象画素について、ステップＳ４０２において算出された欠陥の度合いを示す値が第一の閾値以上であるか否かを判定する。すなわち、点滅欠陥画素が欠陥画素として振舞っているか否かを判定する。ステップＳ４０４において、対象画素の欠陥の度合いを示す値が第一の閾値以上であると判定された場合には、欠陥画素として振舞っているものとして、ステップＳ４０６に処理を移行する。ステップＳ４０６では、欠陥画素補正部２０８２により欠陥画素補正処理を行い、処理された画像データを信号処理回路２０９に出力して処理を終了する。ステップＳ４０４において、対象画素の欠陥の度合いを示す値が第一の閾値未満であると判定された場合には、正常な画素信号を出力しているものとして、欠陥画素補正部２０８２による欠陥画素補正処理を行わない。そして、入力された画素の値をそのまま信号処理回路２０９に出力して処理を終了する。

ステップＳ４０５では、ステップＳ４０３において点滅欠陥画素ではないと判定された対象画素について、ステップＳ４０２において算出された欠陥の度合いを示す値が第二の閾値以上であるか否かを判定する。ステップＳ４０５において、対象画素の欠陥の度合いを示す値が第二の閾値以上であると判定された場合には、未検出欠陥画素であるものとしてステップＳ４０６に処理を移行する。ステップＳ４０６では、して欠陥画素補正部２０８２により欠陥画素補正処理を行い、処理された画像データを信号処理回路２０９に出力して処理を終了する。ステップＳ４０５において、対象画素の欠陥の度合いを示す値が第二の閾値未満であると判定された場合には、正常な画素信号を出力しているものとして、欠陥画素補正部２０８２による欠陥画素補正処理を行わない。そして、入力された画素の値をそのまま信号処理回路２０９に出力して処理を終了する。

ここで、第一の閾値は、実施例１で用いた閾値と同様に、点滅欠陥画素より比較的振幅の小さいエッジなどの高周波成分による出力が欠陥として検出されないレベルに設定する必要がある。また、未検出欠陥画素の欠陥画素検出に用いる第二の閾値は、第一の閾値と比較して相対的に欠陥画素であると判定され難い値に設定する必要がある。これは、撮像素子の画素数に対して支配的な数をもつ製造工程で欠陥が検出されていない画素は、製造工程で予め点滅欠陥画素として検出されている画素に対して、欠陥の誤検出による画質への弊害が大きいためである。

そこで、第二の閾値としては、例えば夜景を撮影した際に被写体となる星や建物の明かりなど、点光源のような点滅欠陥画素と類似した被写体を欠陥画素と判定しない値とする。図３（ｄ）を用いて点滅欠陥画素と類似した点光源状の被写体が存在する場合のメディアンフィルタを用いた欠陥画素検出の一例を示す。

図３（ｄ）は、点滅欠陥画素と類似した点光源状の被写体が存在する場合の入力データであり、中央のＲ（ｘ＋２、ｙ＋２）画素が検出対象画素である。括弧内の値（２００）は、出力信号レベルである。このＲ（ｘ＋２、ｙ＋２）画素に対してメディアンフィルタ処理を行うことで、左上のＲ（ｘ、ｙ）から右下のＲ（ｘ＋４、ｙ＋４）までの縦横５×５画素の範囲内における画像データの中央値が算出される。

ｍｅｄｉａｎ（Ｒ（ｘ、ｙ）〜Ｒ（ｘ＋４、ｙ＋４））＝６０・・・（式５）
次に、元の画素データとメディアンフィルタ処理された画素データの差分の絶対値を求める処理を行うことで、欠陥の度合いを示す値が算出される。

ａｂｓ（Ｒ（ｘ＋２、ｙ＋２）−ｍｅｄｉａｎ（Ｒ（ｘ、ｙ）〜Ｒ（ｘ＋４、ｙ＋４）））
＝ａｂｓ（２００−６０）＝１４０・・・（式６）
式６の算出結果が、点滅欠陥画素と類似した点光源状の被写体が存在する場合に、図４のステップＳ４０２における欠陥画素検出部２０８１により得られる出力値である。点光源状の被写体が存在する場合の式６の算出結果は、高周波成分が存在する場合の式４の算出結果と比較して値が大きく、欠陥画素であると誤判定されやすい値であることが分かる。

そこで、第二の閾値としては、先の図３（ｂ）、（ｄ）に示す例であれば、図３（ｂ）の欠陥画素による出力は欠陥とみなし、図３（ｄ）の点滅欠陥画素と類似した点光源などの被写体による成分は欠陥とみなさないような値とする。さらに、第二の閾値は、第一の閾値よりも相対的に大きい値（式２、式６より１４０以上２１５未満であり、第一の閾値とは異なり、第一の閾値よりも大きい値）とする。

このように、欠陥画素と類似した被写体を鑑みて第二の閾値を決めることで誤検出による悪影響を極力抑え、なおかつ画質に多大な悪影響を与える振幅の大きい欠陥画素を検出することが可能である。さらに、前記第二の閾値としては、欠陥画素補正部２０８２による欠陥画素補正方法の補正精度を鑑みて、検出したい欠陥画素の振幅と、誤検出された画素に対しての欠陥画素補正による信号劣化の度合いにより、画質に対する悪影響を最も軽減できる任意の値に設定する。このように設定することで最適な出力画像を得ることができる。

なお、本実施例では、検出対象が点滅欠陥画素であるか、あるいは未検出欠陥画素であるのかによって欠陥画素検出に用いる閾値を変えているが、これに限定されるものではない。例えば、欠陥画素検出部２０８１によって出力される値に対して未検出欠陥画素の場合には、点滅欠陥画素に対して相対的に欠陥と判断されやすくするように、１以上のゲインをかけるなどしても良い。

本実施例では、実施例１と同様に、事前に点滅欠陥画素であると判定された画素に対しては、その都度、対象画素の出力値が異常であるか否かの判定を行う。このようにすることにより、対象画素の出力値が異常値ではない場合には、なるべくもとの正常な出力値を残すことができる。さらに、製造工程で欠陥画素の検出を行った後に欠陥画素となってしまった画素に対しても欠陥画素検出を行うことで、新たに発生した欠陥画素の検出も行うことができる。さらに、製造工程で検出された点滅欠陥画素に対して再度欠陥の検出を行う場合と、製造工程で検出された後に生じた欠陥画素に対して再度欠陥の検出を行う場合とで、検出のための閾値を変更することにより、撮影画像に与える弊害を軽減した処理を実施することが可能である。

（実施例３）
実施例３では、実施例２とは異なる欠陥画素検出方法を用いる例を説明する。本実施例では、欠陥画素検出回路２０８１の構成が異なるが、それ以外は、基本的に前述した実施例２と同様の構成を有している。本実施例の欠陥画素検出方法は、所望の空間周波数帯域の信号を抽出することにより、エッジやノイズと欠陥画素を区別することを特徴とする。図５は、実施例３における欠陥画素検出回路２０８１の構成図である。以下、図５を用いて詳細に説明する。なお、本実施例においては、Ｇ画素に発生した点滅欠陥を検出する場合を例にとって説明する。

図５において、Ａ／Ｄ変換回路２０５からデジタル画像データが欠陥画素検出回路２０８１に入力される。まず、ゼロ挿入回路５０１において、図６（ａ）に示すように入力された画像データのＧ画素以外にゼロ値を挿入する。

次に、垂直方向低域通過フィルタ（ローパスフィルタ、以下、ＬＰＦと記す）回路５０２において、画像データの垂直方向に対する（１，２，１）などのフィルタ係数を持つＬＰＦ処理を行う。垂直方向のＬＰＦ処理により、図６（ｂ）に示すように、ゼロ値の画素が垂直方向の画素から補間され、欠陥画素の上下の画素は欠陥画素のデータを用いて補間される。同様にして、水平方向ＬＰＦ回路５０３において、画像データの水平方向に対するＬＰＦ処理を行う。水平方向のＬＰＦ処理により、図６（ｃ）に示すように、ゼロ値の画素が水平方向の画素から補間され、欠陥画素の左右の画素は欠陥画素のデータを用いて補間される。

また、１３５度方向ＬＰＦ回路５０４において、画像データの１３５度方向に対するＬＰＦ処理を行う。１３５度方向ＬＰＦ処理により、図６（ｄ）に示すように、ゼロ値の画素が１３５度方向の画素から補間され、欠陥画素の１３５度方向の隣接画素は欠陥画素のデータを用いて補間される。さらに、４５度方向ＬＰＦ回路５０５において、画像データの４５度方向に対するＬＰＦ処理を行う。４５度方向ＬＰＦ処理により、図６（ｅ）に示すように、ゼロ値の画素が４５度方向の画素から補間され、欠陥画素の４５度方向の隣接画素は欠陥画素のデータを用いて補間される。

続いて、直流成分をカットする水平方向帯域通過フィルタ（バンドパスフィルタ、以下、ＢＰＦと記す）回路５０６において、垂直方向ＬＰＦ回路５０２の出力データの水平方向に対する（−１，０，２，０，−１）などのフィルタ係数を持つＢＰＦ処理を行う。図６（ｆ）に示すように、ＬＰＦ処理と直交した方向にＢＰＦ処理を行うため、欠陥画素のデータを用いて補間された画素を参照することはない。同様にして、直流成分をカットする垂直方向ＢＰＦ回路５０７において、水平方向ＬＰＦ回路５０３の出力データの垂直方向に対するＢＰＦ処理を行う。図６（ｇ）にＢＰＦ処理の方向を図示している。

また、４５度方向ＢＰＦ回路５０８において、１３５度方向ＬＰＦ回路５０４の出力データの４５度方向に対するＢＰＦ処理を行う。図６（ｈ）にＢＰＦ処理の方向を図示している。さらに、１３５度方向ＢＰＦ回路５０９において、４５度方向ＬＰＦ回路５０５の出力データの１３５度方向に対するＢＰＦ処理を行う。図６（ｉ）にＢＰＦ処理の方向を図示している。

ＡＢＳ（絶対値）回路５１０は、水平方向ＢＰＦ回路５０６の出力データの絶対値を出力する。ＡＢＳ回路５１１は、垂直方向ＢＰＦ回路５０７の出力データの絶対値を出力する。ＡＢＳ回路５１２は、４５度方向ＢＰＦ回路５０８の出力データの絶対値を出力する。ＡＢＳ回路５１３は、１３５度方向ＢＰＦ回路５０９の出力データの絶対値を出力する。
また、Ａ／Ｄ変換回路２０５から出力されたデジタル画像データは、輝度信号生成回路５１４に入力される。輝度信号生成回路５１４は、下記の式７に基づき、Ｒ，Ｇ，Ｂのベイヤー配列からなる画像データから輝度信号Ｙを生成する。

Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ・・・（式７）
水平方向ＢＰＦ回路５０６、垂直方向ＢＰＦ回路５０７、４５度方向ＢＰＦ回路５０８及び１３５度方向ＢＰＦ回路５０９の出力は、白傷黒傷判定回路５１８に入力される。白傷黒傷判定回路５１８は、正または負を示す符号を参照して、傷であるか否かを示す傷フラグ５１９（１ｂｉｔ）と、白傷（白点欠陥画素）であるのか黒傷（黒点欠陥画素）であるのかを区別するための白黒フラグ５２０（１ｂｉｔ）を出力する。

傷フラグ５１９は、すべてのＢＰＦ処理結果が同じ符号であれば１になり、符号が１つでも異なれば０になる。傷フラグ５１９が０のときは対象画素が欠陥画素ではないことを示し、１のときは対象画素が欠陥画素であることを示す。また、白傷黒傷判定回路５１８は、傷フラグ５１９をセレクタ５２１に供給する。セレクタ５２１は、供給された傷フラグ５１９を選択信号として動作する。

白黒フラグ５２０は、すべてのＢＰＦ処理結果が正の符号であれば、対象画素が白傷であることを示す１になり、すべてのＢＰＦ処理結果が負の符号であれば、黒傷であることを示す０になる。白傷黒傷判定回路５１８は、白黒フラグ５２０を閾値判定回路５１５に供給する。閾値判定回路５１５では、ＡＢＳ回路５１０〜５１３から入力される４方向のＢＰＦ処理結果の絶対値と、任意に設定した閾値（前記第一の閾値、第二の閾値）とを比較することにより、対象画素が欠陥画素であるか否かを判定する。

ここで、図７を用いて閾値判定回路５１５について説明する。傷レベル変換回路７０１において、ＡＢＳ回路５１０から入力される水平方向のＢＰＦ処理結果の絶対値を参照して、傷レベル（欠陥レベル）を算出する。また、傷レベル変換回路７０２においては、ＡＢＳ回路５１１から入力される垂直方向のＢＰＦ処理結果の絶対値を参照し、同様に傷レベルを算出する。傷レベル変換回路７０３においては、ＡＢＳ回路５１２から入力される４５度方向のＢＰＦ処理結果の絶対値を参照し、同様に傷レベルを算出する。傷レベル変換回路７０４においては、ＡＢＳ回路５１３から入力される１３５度方向のＢＰＦ処理結果の絶対値を参照し、同様に傷レベルを算出する。

図８は、傷レベル変換回路７０１〜７０４の処理を説明する図である。図８の横軸は、ＡＢＳ回路５１０〜５１３から傷レベル変換回路７０１〜７０４に入力されるＢＰＦ処理後の絶対値（すなわち、欠陥の度合いを示す値）を示す。また、図８の縦軸は、傷レベル変換回路７０１〜７０４の出力（８ｂｉｔとする）であり、欠陥画素の欠陥レベル（傷レベル）を示す。傷レベルが０であるときに欠陥画素でないことを表し、２５５であるときに欠陥画素であることを表す。傷レベルが０より大きく２５５より小さい値は、正常な画素と欠陥画素の区別がつきにくいような程度の画素であることを意味する。

図８（ａ）及び（ｂ）に示す閾値８０１、８０２は、ＲＡＭ２１７に読み込まれた点滅欠陥画素のアドレスデータを参照し、処理中の画素が点滅欠陥画素であると判断するための閾値である。白傷黒傷判定回路５１８から入力される白黒フラグ５２０を参照し、白傷である場合と黒傷である場合とで閾値を別々に設定できるようにする。これは、後述する輝度信号による閾値の変動処理によって白傷と黒傷で特性が異なる為である。

また、図８（ｃ）及び（ｄ）に示す閾値８０３、８０４は、ＲＡＭ２１７に読み込まれた点滅欠陥画素のアドレスデータを参照し、処理中の画素が未検出欠陥画素であると判断するための閾値である。同様に、白傷である場合と黒傷である場合とで閾値を別々に設定できるようにする。図８（ａ）、（ｂ）に示す入出力関係を点滅欠陥画素の場合に適用し、閾値８０１を白傷の場合の前記第一の閾値、閾値８０２を黒傷の場合の前記第一の閾値とする。また、図８（ｃ）、（ｄ）に示す入出力関係を未検出欠陥画素の場合に適用し、閾値８０３を白傷の場合の前記第二の閾値、閾値８０４を黒傷の場合の前記第二の閾値とする。

また、閾値８０１〜８０４は、撮像装置の動作モード等によって決定される任意の設定値と、輝度信号生成回路５１４から入力される輝度信号Ｙとを乗算した値とする。輝度信号Ｙにより閾値を変動させる理由は、輝度が高いほどノイズが大きくなることに対する対策のためである。ノイズ量によって閾値を変え、輝度が高いほど閾値を大きくすることにより、ノイズを傷であると誤判定をすることを抑制する。

また、傾き８０５〜８０８についても、撮像装置の動作モード等によって決定される任意の設定値と、輝度信号生成回路５１４から入力される輝度信号Ｙとを乗算した値とする。このとき閾値８０１、８０２は、前記ＬＰＦ、ＢＰＦのフィルタ特性を鑑みて、残留するエッジ成分を検出しない値に設定する。また、閾値８０３、８０４は、欠陥画素の特性に類似する点光源などの被写体の出力信号レベルと検出したい欠陥画素のレベルから、欠陥画素補正部８１の欠陥画素補正方法の補正精度を考慮し、出力される画質に与える弊害を最小とする値に設定する。図７における乗算器７０５〜７０７において、傷レベル変換回路７０１〜７０４の出力をすべて乗算した結果を、対象画素について閾値判定による傷レベルとして出力する。

図５における相関判定回路５１６には、ＡＢＳ回路５１０〜５１３から４方向のＢＰＦ処理結果の絶対値が入力される。相関判定回路５１６では、入力される４方向のＢＰＦ処理結果の絶対値を大小比較し、欠陥画素であるか否かを判定する。図９を用いて相関判定回路５１６について説明する。

最大値選択回路９０１は、ＡＢＳ回路５１０から入力される水平方向のＢＰＦ処理結果の絶対値と、ＡＢＳ回路５１１から入力される垂直方向のＢＰＦ処理結果の絶対値とを比較し、大きい方の値を出力する。最小値選択回路９０２は、ＡＢＳ回路５１０から入力される水平方向のＢＰＦ処理結果の絶対値と、ＡＢＳ回路５１１から入力される垂直方向のＢＰＦ処理結果の絶対値とを比較し、小さい方の値を出力する。

最大値選択回路９０３は、ＡＢＳ回路５１２から入力される４５度方向のＢＰＦ処理結果の絶対値と、ＡＢＳ回路５１３から入力される１３５度方向のＢＰＦ処理結果の絶対値とを比較し、大きい方の値を出力する。最小値選択回路９０４は、ＡＢＳ回路５１２から入力される４５度方向のＢＰＦ処理結果の絶対値と、ＡＢＳ回路５１３から入力さえる１３５度方向のＢＰＦ処理結果の絶対値とを比較し、小さい方の値を出力する。

最大値選択回路９０５は、最大値選択回路９０１の出力と、最大値選択回路９０３の出力とを比較し、大きい方の値を出力する。この出力は、４方向すべてのＢＰＦ処理結果の最大値を示す。最小値選択回路９０６は、最小値選択回路９０２の出力と、最小値選択回路９０４の出力とを比較し、小さい方の値を出力する。この出力は、４方向すべてのＢＰＦ処理結果の最小値を示す。

減算器９０７において、最大値選択回路９０５の出力から最小値選択回路９０６の出力を減算する。この減算結果は、４方向のＢＰＦ処理結果の最大の差分を示し、絶対値の最大値から絶対値の最小値を減算したものであるため、必ず０以上の正の値になる。傷レベル変換回路９０８は、減算器９０７の出力である４方向のＢＰＦ処理結果の最大値と最小値の差分を傷レベルに変換して出力する。

図１０は、傷レベル変換回路９０８の処理を説明する図である。図１０の横軸は、傷レベル変換回路９０８の入力データである。また、図１０の縦軸は、傷レベル変換回路９０８の出力データ（８ｂｉｔとする）であり、これが傷レベルとなる。傷レベルが、０であるときに欠陥画素でないことを表し、２５５であるときに欠陥画素であることを表す。入力される４方向のＢＰＦ処理結果の最大値と最小値の差分が閾値１００１よりも小さい場合に、傷レベル２５５を出力する。傷レベルが０より大きく２５５より小さい値は、正常な画素と欠陥画素の区別がつきにくいような程度の画素であることを意味する。

閾値１００１は、撮像装置の動作モード等によって決定される任意の設定値と、輝度信号生成回路５１４から入力される輝度信号Ｙとを乗算した値とする。また、傾き１００２についても、撮像装置の動作モード等によって決定される任意の設定値と、輝度信号生成回路５１４から入力される輝度信号Ｙとを乗算した値とする。相関判定回路５１６は、傷レベル変換回路９０８の処理結果を対象画素についての相関判定による傷レベルとして出力する。なお、閾値判定回路５１５及び相関判定回路５１６の傷レベルをいずれも８ｂｉｔで表すように記載したが、これに限らず双方のビット幅が異なっても良い。

図５の乗算器５１７において、閾値判定回路５１５から出力される傷レベルと、相関判定回路５１６から出力される傷レベルを乗算する。ここで、閾値判定回路５１５は、ノイズが大きい場合に、ノイズを傷（欠陥画素）として誤判定してしまう可能性がある。一方、相関判定回路５１６は、対象画素と、その上下左右斜め方向の周辺画素との差分のばらつきを見ている。そのため、ノイズが大きい場合には、上記した差分がばらつき、傷（欠陥画素）ではないと判定することができる。すなわち、閾値判定回路５１５による誤判定を防ぐ役割を果たしている。

また逆に、相関判定回路５１６から出力される傷レベルは、対象画素が欠陥画素でない場合に、４方向のＢＰＦ処理結果が０に近い値となり、それらの最大値と最小値の差分も０に近くなるために、欠陥画素であると誤判定してしまう可能性がある。そのような誤判定を防ぐために、閾値判定回路５１５において、対象画素が、その上下左右斜め方向の周辺画素と比較してある程度のレベル差がある場合に欠陥画素であると判定することが必要となる。

図５におけるセレクタ５２１は、白傷黒傷判定回路５１８から出力される傷フラグ５１９が１である（すなわち、対象画素が欠陥画素である）場合に、乗算器５１７の演算結果を傷レベルＫとして出力する。また、傷フラグ５１９が０である（すなわち、対象画素が欠陥画素ではない）場合に、正常な画素であることを示す０を傷レベルＫとして出力する。傷レベルＫは、セレクタ５２１から欠陥画素補正回路２０８２に出力される。

次に、図１１を用いて欠陥画素補正回路２０８２について説明する。欠陥画素補正回路２０８２には、Ａ／Ｄ変換回路２０５から欠陥画素を含む画像データが入力され、欠陥画素検出回路２０８１から傷レベルＫが入力される。補正値算出回路１１０１において、Ａ／Ｄ変換回路２０５から入力される欠陥画素を含む画像データＯＲＧに対し、例えば（１，０，１）など、対象画素を参照しないような係数のフィルタをかけることで補正値ＣＯＲを算出する。または、画像データＯＲＧからエッジの方向判別を行い、エッジの方向に沿った画素を参照して補正値ＣＯＲを求めても良いし、前値補間を行っても良い。

次に、加重加算回路１１０２において、欠陥画素検出回路２０８１において求めた傷レベルＫの値にしたがって、Ａ／Ｄ変換回路２０５から入力される画像データＯＲＧと、補正値算出回路１１０１において算出された補正値ＣＯＲとを加重加算する。例えば、下記のような式に基づいて加重加算を実施する。

ＯＵＴ＝ＣＯＲ×Ｋ＋ＯＲＧ×（２５５−Ｋ）・・・（式８）
傷レベルＫは、０〜２５５までの値であり、対象画素が正常な画素である場合にはＫが０に近くなるため、信号ＯＲＧの値が出力される。また、対象画素が欠陥画素である場合にはＫが２５５に近くなるため、信号ＣＯＲの値が出力される。このようにして、欠陥画素のデータが補正値ＣＯＲに置き換わることになる。

ここまでＧ画素に欠陥画素がある場合について述べたが、Ｒ画素およびＢ画素に欠陥画素がある場合についても、同様にして実現可能である。すなわち、Ｒ画素以外にゼロを挿入、または、Ｂ画素以外にゼロを挿入して、フィルタリング処理を各方向について実行すれば良い。

本実施例によれば、所望の空間周波数帯域の信号を抽出することにより、事前に点滅欠陥画素であると判定された画素に対しては、エッジやノイズと欠陥画素とを区別することができる。また、事前に欠陥画素であると判定されていない欠陥画素についても、閾値を変えることで撮影画像に与える弊害を軽減した欠陥画素補正処理を実現することが可能である。

（実施例４）
実施例４は、点滅欠陥画素が点灯状態になる頻度、すなわち、その出力信号値が異常値となる頻度に応じて、欠陥検出に用いる閾値を変更する閾値算出部を持つことを特徴とする。閾値算出部の出力は、欠陥画素検出部２０８１で欠陥画素の検出に用いられる閾値（実施例２、実施例３では第一の閾値）となる。

図１２を用いて、実施例４における閾値算出部１２０１（閾値算出手段）について説明する。ＲＡＭ２１７には、ＲＯＭ２１６に予め記憶されている点滅欠陥画素の点滅周期情報１２０５、閾値の調整を行うための閾値調整値１２０６、閾値の基準となる基準閾値１２０７が転送されて一時的に記憶されており、それぞれ閾値算出部１２０１に出力される。ここで、点滅周期情報１２０５は、点滅欠陥画素が点灯状態になる頻度、すなわち、その出力信号値が異常値となる頻度に関する情報を表している。

閾値算出部１２０１に入力された点滅周期情報１２０５は、点滅率演算回路１２０２において点滅率信号１２０８に変換される。点滅率信号１２０８は、点滅欠陥画素が欠陥画素となる割合を示す信号であり、例えば点灯頻度が４回に１回であれば１／４が出力される。点滅率演算回路１２０２から出力された点滅率信号は、乗算器１２０３に入力され、閾値調整値１２０６と乗算される。次に、乗算器１２０３の出力は減算器１２０４に入力され、基準閾値１２０７から減算される。減算器１２０４の出力は欠陥画素検出部２０８２に入力され、欠陥画素検出部２０８２における点滅欠陥画素の欠陥画素検出に用いる閾値となる。

ここで、基準閾値１２０７は、図３（ｂ）のように点滅欠陥画素が比較的振幅の大きい欠陥画素として振舞っている場合に、欠陥画素検出部２０８１において欠陥として検出される値とする。また、閾値調整値１２０６は、図３の（ｃ）のように点滅欠陥画素上に高周波成分が存在する場合に、欠陥画素検出部２０８１による欠陥検出処理Ｓ１０３の出力値を基準閾値１２０７から減算したものである。この場合、式２及び式４より、２１５−１００＝１１５となる。

点滅率信号１２０８が１／４である場合、閾値調整値１２０６に乗算され、さらに基準閾値１２０７から減算することで
２１５−（１１５×（１／４））＝１８７・・・（式９）
が出力され、欠陥画素検出部２０８１における欠陥画素検出の閾値となる。

このように、本実施例では、点滅欠陥画素の点灯頻度に応じて欠陥画素の検出に用いる閾値を変えることで、頻繁に欠陥画素として振舞う点滅欠陥画素を欠陥として検出されやすくなり、点滅欠陥画素による画質劣化を軽減できる。また、点滅欠陥画素は常時欠陥とはならず、点滅率信号は常に１より小さい値となるため、閾値調整値１２０６を点滅欠陥画素による成分と高周波成分による成分の差分値とすることで、点滅の周期が非常に短い点滅欠陥画素に対しても、高周波成分による誤検出を軽減できる。

なお、本発明は、前記実施例１乃至４に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０３ 撮像素子
２０８ 欠陥画素検出補正部
２０８１ 欠陥画素検出部
２０８２ 欠陥画素補正部
２１５ システム制御部
２１６ ＲＯＭ
２１７ ＲＡＭ
１２０１ 閾値算出部

Claims (8)

1. 被写体からの入射光を光電変換する撮像素子と、
   前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正手段と、
   前記点滅欠陥画素の出力信号値が異常値となる頻度に関する情報を記憶する記憶手段と、
   前記頻度に関する情報に応じて所定の閾値を算出する閾値算出手段と、
   前記点滅欠陥画素の出力信号値と周辺画素の出力信号値に対して平滑化処理を行い、前記点滅欠陥画素の出力信号値と前記平滑化処理結果の差分の絶対値を前記点滅欠陥画素の欠陥の度合いを示す値として算出し、前記欠陥の度合いを示す値を前記所定の閾値と比較することで、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定する判定手段と、
   前記判定手段により前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正するように制御し、前記判定手段により前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正しないように制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 定常的に異常値の信号を出力する定常欠陥画素と前記点滅欠陥画素を予め記憶する記憶手段を有し、前記判定手段は、前記点滅欠陥画素の欠陥の度合いを示す値と第一の閾値とを比較することで前記点滅欠陥画素の出力信号値が異常値であるか否かを判定し、前記記憶手段に前記定常欠陥画素および前記点滅欠陥画素として記憶されていない画素の欠陥の度合いを示す値を第二の閾値と比較することで該画素の出力信号値が異常値であるか否かを判定することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記点滅欠陥画素における少なくとも２方向について直流成分をカットするフィルタ手段を備え、前記フィルタ手段の出力データの絶対値を前記欠陥の度合いを示す値として算出することを特徴とする請求項１または２に記載の撮像装置。
4. 被写体からの入射光を光電変換する撮像素子を備えた撮像装置の欠陥画素補正方法であって、
   前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正ステップと、
   前記点滅欠陥画素の出力信号値と周辺画素の出力信号値に対して平滑化処理を行い、前記点滅欠陥画素の出力信号値と前記平滑化処理結果の差分の絶対値を前記点滅欠陥画素の欠陥の度合いを示す値として算出し、前記欠陥の度合いを示す値を所定の閾値と比較することで、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定し、前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正するように制御し、前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正しないように制御する制御ステップとを有し、
   前記点滅欠陥画素の出力信号値が異常値となる頻度に関する情報に応じて前記所定の閾値を算出することを特徴とする欠陥画素補正方法。
5. 定常的に異常値の信号を出力する定常欠陥画素と前記点滅欠陥画素が予め記憶され、前記制御ステップでは、前記点滅欠陥画素の欠陥の度合いを示す値と第一の閾値とを比較することで前記点滅欠陥画素の出力信号値が異常値であるか否かを判定し、前記定常欠陥画素および前記点滅欠陥画素として記憶されていない画素の欠陥の度合いを示す値を第二の閾値と比較することで該画素の出力信号値が異常値であるか否かを判定することを特徴とする請求項４に記載の欠陥画素補正方法。
6. 前記制御ステップでは、前記点滅欠陥画素における少なくとも２方向について直流成分をカットするフィルタ処理を実行し、前記フィルタ処理の出力データの絶対値を前記欠陥の度合いを示す値として算出することを特徴とする請求項４または５に記載の欠陥画素補正方法。
7. 被写体からの入射光を光電変換する撮像素子と、
   前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正手段と、
   前記点滅欠陥画素の出力信号値が異常値となる頻度に関する情報を記憶する記憶手段と、
   前記頻度に関する情報に応じて所定の閾値を算出する閾値算出手段と、
   前記点滅欠陥画素の欠陥の度合いを示す値を前記所定の閾値と比較することで、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定する判定手段と、
   前記判定手段により前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正するように制御し、前記判定手段により前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正手段が補正しないように制御する制御手段と、
   を有することを特徴とする撮像装置。
8. 被写体からの入射光を光電変換する撮像素子を備えた撮像装置の欠陥画素補正方法であって、
   前記撮像素子において非定常的に異常値の信号を出力する点滅欠陥画素の出力信号値を周辺画素の出力信号値を用いて補正する補正ステップと、
   前記点滅欠陥画素の欠陥の度合いを示す値を所定の閾値と比較することで、前記点滅欠陥画素の出力信号値が異常値であるか否かを判定し、前記点滅欠陥画素の出力信号値が異常値であると判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正するように制御し、前記点滅欠陥画素の出力信号値が異常値ではないと判定された場合に前記点滅欠陥画素の出力信号値を前記補正ステップにおいて補正しないように制御する制御ステップとを有し、
   前記点滅欠陥画素の出力信号値が異常値となる頻度に関する情報に応じて前記所定の閾値を算出することを特徴とする欠陥画素補正方法。

Images