JP4895107B2 - 電子機器、情報処理方法、およびプログラム - Google Patents

Description

本発明は電子機器、情報処理方法、およびプログラムに関し、特に、欠陥画素を検出できるようにした電子機器、情報処理方法、およびプログラムに関する。

従来、例えば、CCD（Charge Coupled Devices）イメージセンサまたはCMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等よりなる撮像素子には、画素欠陥が生じることがある。従って、この画素欠陥を検出し、補正する処理が必要とされる。

図１は、従来の画素欠陥を補正する撮像装置のハードウェアの構成を示すブロック図である。撮像装置は、CMOSイメージセンサ１１、カメラ信号処理回路１２、および不揮発性メモリ１３から構成されている。

CMOSイメージセンサ１１は、多数の撮像画素をマトリクス状に配置したエリアセンサである。CMOSイメージセンサ１１には、各撮像画素毎に、受光素子としてのフォトダイオードと、その信号読み出しを行う複数のMOSトランジスタより構成されたゲート回路とが設けられている。CMOSイメージセンサ１１には、さらに各撮像画素のゲート回路を選択的に走査して画素信号の読み出し動作やシャッタ動作を行う水平スキャナ、垂直スキャナ、シャッタスキャナ等の走査回路が設けられている。

カメラ信号処理回路１２は、マイクロコンピュータ２１、欠陥補正回路２２、信号処理部２３、ROM（Read Only Memory）２４から構成されている。

マイクロコンピュータ２１は、欠陥補正回路２２に対して欠陥補正指示を行ったり、信号処理部２３の動作を制御する。

欠陥補正回路２２は、画像出力時に、CMOSイメージセンサ１１から出力される画素信号に対して欠陥画素の補正処理を実行し、補正処理された画素信号を信号処理部２３に出力する。

RAM３１は、欠陥補正回路２２が、欠陥画素の補正を行う場合、不揮発性メモリ１３から読み出された欠陥画素アドレス等の情報を格納する。

信号処理部２３は、欠陥補正回路２２から出力された画像信号のノイズ除去やゲインコントロール等を行う。

ROM２４は、マイクロコンピュータ２１が各種制御を行うためのプログラムを格納する。

不揮発性メモリ１３は、電源オフ時にも保存しておくべき設定値等のデータを格納したものであり、例えば、EEPROM（Electrically Erasable Programmable Read Only Memory）等より構成される。不揮発性メモリ１３には、CMOSイメージセンサ１１の欠陥補正の対象画素のアドレスを記憶する。

一般に、欠陥検出補正は次のように行われる。

まず、工場出荷時に、CMOSイメージセンサ１１上の白欠陥または黒欠陥が検査され、これらに関するデータが不揮発性メモリ１３に予め格納される。欠陥に関するデータは、例えば、欠陥の種類、欠陥レベル、または欠陥座標などである。

撮影時、マイクロコンピュータ２１は、不揮発性メモリ１３に格納されている欠陥データを読み出し、欠陥補正回路２２のRAM３１に記憶させる。欠陥補正回路２２は、欠陥データ中の欠陥座標とCMOSイメージセンサ１１から出力される画像信号に同期したカウンタ値を比較する。欠陥補正回路２２は、比較の結果に基づいて、欠陥座標と一致する画素を検出し、その出力信号に対して、その信号レベルに応じた係数を乗算若しくは減算したり、または、周辺の画素からの補間を行うことで、欠陥画素の信号レベル値を補正する。

このようにして、欠陥補正が行われる。

また、特許文献１には、欠陥画素の座標を不揮発性メモリに予め書き込んでおき、補正をするときに予め想定した補正処理数の最大値を超えた欠陥画素を有する場合に処理が破綻しないよう欠陥レベルの大きい画素を優先して選択的に処理し、欠陥レベルの小さい画素についてはそのまま補正せずに出力することにより、低コストで画質劣化を抑制することが開示されている。

さらに、特許文献２には、周辺画素信号との相関関係を検出する相関検出手段を備えた固体撮像装置が開示されている。この固体撮像装置は、相関関係を検出することで欠陥画素を検出し、この検出された欠陥画素に基づいて欠陥補正を行っている。

特開２００３−１９８９４６号公報

特許第３３６０３４６号

しかしながら、出荷段階で予め不揮発性メモリに記憶保持した欠陥データを用いて欠陥補正が行われる場合、欠陥画素の座標を書き込むメモリが必要となり、部品点数が増加し、コスト高となるばかりでなく、半導体の局所的な結晶欠陥等に伴う画素欠陥には対応できるが、経時変化に伴う欠陥を補正することはできなかった。

また、相関検出手段を用いて欠陥補正を行う場合、経時変化に伴う欠陥変化には対応できるが、相関検出手段を実現する回路が必要となり、低コストで実現することができなかった。

本発明は、このような状況に鑑みてなされたものであり、低コストで、簡単かつ確実に欠陥画素を検出することができるようにするものである。

本発明の側面は、欠陥画素の検出の対象となる対象画素と、前記対象画素と同色である同色画素であって、前記対象画素の近傍の予め定められている比較画素との差分を演算する差分演算手段と、前記差分の大きさを演算する大きさ演算手段と、前記差分の大きさと第１の閾値の大きさを判定する大きさ判定手段と、前記差分の大きさが前記第１の閾値以上である前記比較画素の個数を検出する個数検出手段と、演算された前記差分の符号のうちの正の符号または負の符号の数である符号数を、演算された前記差分の正の符号を１とし、負の符号を−１として、両者を加算することで算出する符号数算出手段と、算出された前記符号数が、第２の閾値より小さいか、または第３の閾値より大きいかを判定することで、算出された前記符号数が、予め設定されている所定の範囲を超えているかを判定する符号数判定手段と、前記差分の大きさが前記第１の閾値以上である前記比較画素の個数が第４の閾値以上である場合、さらに、前記符号数が、予め設定されている前記所定の範囲を超えているとき、前記対象画素を欠陥画素と判定する欠陥画素判定手段とを備える電子機器である。

前記符号数判定手段には、前記所定の範囲を、画像を撮影するときの撮影条件または撮影した画像の特徴に応じて変更させることができる。

前記撮影条件は、ISO感度とすることができる。

前記画像の特徴は、画像の周波数成分で表される特徴であるとすることができる。

本発明の側面は、欠陥画素の検出の対象となる対象画素と、前記対象画素と同色である同色画素であって、前記対象画素の近傍の予め定められている比較画素との差分を演算し、前記差分の大きさを演算し、前記差分の大きさと第１の閾値の大きさを判定し、前記差分の大きさが前記第１の閾値以上である前記比較画素の個数を検出し、演算された前記差分の符号のうちの正の符号または負の符号の数である符号数を、演算された前記差分の正の符号を１とし、負の符号を−１として、両者を加算することで算出し、算出された前記符号数が、第２の閾値より小さいか、または第３の閾値より大きいかを判定することで、算出された前記符号数が、予め設定されている所定の範囲を超えているかを判定し、前記差分の大きさが前記第１の閾値以上である前記比較画素の個数が第４の閾値以上である場合、さらに、前記符号数が、予め設定されている前記所定の範囲を超えているとき、前記対象画素を欠陥画素と判定するステップを備える情報処理方法である。

本発明の側面は、欠陥画素の検出の対象となる対象画素と、前記対象画素と同色である同色画素であって、前記対象画素の近傍の予め定められている比較画素との差分を演算し、前記差分の大きさを演算し、前記差分の大きさと第１の閾値の大きさを判定し、前記差分の大きさが前記第１の閾値以上である前記比較画素の個数を検出し、演算された前記差分の符号のうちの正の符号または負の符号の数である符号数を、演算された前記差分の正の符号を１とし、負の符号を−１として、両者を加算することで算出し、算出された前記符号数が、第２の閾値より小さいか、または第３の閾値より大きいかを判定することで、算出された前記符号数が、予め設定されている所定の範囲を超えているかを判定し、前記差分の大きさが前記第１の閾値以上である前記比較画素の個数が第４の閾値以上である場合、さらに、前記符号数が、予め設定されている前記所定の範囲を超えているとき、前記対象画素を欠陥画素と判定する処理をコンピュータに実行させるプログラムである。

本発明の側面においては、欠陥画素の検出の対象となる対象画素と、前記対象画素と同色である同色画素であって、前記対象画素の近傍の予め定められている比較画素との差分が演算され、前記差分の大きさが演算され、前記差分の大きさと第１の閾値の大きさが判定され、前記差分の大きさが前記第１の閾値以上である前記比較画素の個数が検出され、演算された前記差分の符号のうちの正の符号または負の符号の数である符号数が、演算された前記差分の正の符号を１とし、負の符号を−１として、両者を加算することで算出され、算出された前記符号数が、第２の閾値より小さいか、または第３の閾値より大きいかを判定することで、算出された前記符号数が、予め設定されている所定の範囲を超えているかが判定され、前記差分の大きさが前記第１の閾値以上である前記比較画素の個数が第４の閾値以上である場合、さらに、前記符号数が、予め設定されている前記所定の範囲を超えているとき、前記対象画素が欠陥画素と判定される。

以上のように、本発明の側面によれば、欠陥画素を検出することができる。

また、本発明の側面によれば、低コストで、簡単かつ確実に欠陥画素を検出することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図２は、本発明の実施の形態のデジタルスチルカメラ４１の構成を示すブロック図である。デジタルスチルカメラ４１は、マイクロコンピュータ６１、レンズ６２、絞り６３、シャッタ６４、画像センサ６５、タイミングジェネレータ（TG：Timing Generator）６６、フロントエンド６７、カメラシステムLSI（Large Scale Integrated Circuit）６８、画像メモリ６９、画像モニタ７０、および外部記憶媒体７１により構成される。

マイクロコンピュータ６１は、所定の制御プログラムに従って全体の動作を制御する。例えば、マイクロコンピュータ６１は、絞り６３による露光制御、シャッタ６４の開閉制御、タイミングジェネレータ６６の電子シャッタの制御、フロントエンド６７でのゲインコントロール、カメラシステムLSI６８のモード制御、パラメータ制御等を行う。

レンズ６２は、被写体からの光を集光し、画像センサ６５に導く。絞り６３は、レンズ６２により集光された光の通過（絞り）を調整し、画像センサ６５により取り込まれる光量を制御する。シャッタ６４は、マイクロコンピュータ６１の指示に基づいて、レンズ６２により集光された光の通過を制御することにより露光を制御する。

画像センサ６５は、CCDやCMOS等よりなる撮像素子を有し、その撮像素子の各画素の前面に形成されているＲ（赤）、Ｇ（緑）、またはＢ（青）の色フィルタを介して入射された光を電気信号に変換し、色信号をフロントエンド６７に出力する。

タイミングジェネレータ６６は、画像センサ６５を水平および垂直方向に駆動して色信号（画像信号）を読み出す他、高速または低速電子シャッタ等の露光制御も行う。

フロントエンド６７は、画像センサ６５から供給されてきた色信号に対して、ノイズ成分を除去するための相関二重サンプリング処理、ゲインコントロール処理、およびデジタル変換処理（A/D（Analog to Digital）コンバート）等を施す。フロントエンド６７により各種の処理が施され、得られた画像データは、カメラシステムLSI６８に出力される。

カメラシステムLSI６８は、後述するように、フロントエンド６７から供給されてきた画像データに対して各種の処理を行い、例えば、輝度信号および色信号を生成して画像モニタ７０に出力し、信号に対応する画像を表示させる。またカメラシステムLSI６８は、例えば、JPEG（Joint Photographic Expert Group）フォーマットで画像データの圧縮を行う。

画像メモリ６９は、例えば、DRAM（Dynamic Random Access Memory）やSDRAM（Synchronous Dynamic Random Access Memory）などにより構成され、カメラシステムLSI６８が各種の処理を行う際に適宜利用される。半導体メモリ、ディスク等により構成される外部記録媒体７１は、例えば、デジタルスチルカメラ４１に対して着脱可能に構成され、カメラシステムLSI６８によりJPEGフォーマットで圧縮された画像データが記憶される。

画像モニタ７０は、例えば、LCD（Liquid Crystal Display）などにより構成され、撮影された画像や各種のメニュー画面等を表示する。

図３は、図２のカメラシステムLSI６８の構成を示すブロック図である。カメラシステムLSI６８は、カメラ信号処理部８１、画像検波部８２、マイクロコンピュータインタフェース（I/F）８３、メモリインタフェース（I/F）８４、メモリコントローラ８５、画像圧縮解凍部８６、モニタインタフェース（I/F）８７、および外部記憶媒体インタフェース（I/F）８８により構成される。カメラシステムLSI６８を構成する各ブロックは、マイクロコンピュータインタフェース（I/F）８３を介して、図２のマイクロコンピュータ６１により制御される。

カメラ信号処理部８１は、フロントエンド６７から供給されてきた色情報に対して、補間処理、フィルタリング処理、マトリクス演算処理、輝度信号生成処理、色差信号生成処理等の各種の処理を行い、例えば、輝度信号と色差信号からなる画像信号を生成し、生成した画像信号をモニタインタフェース（I/F）８７を介して画像モニタ７０に出力する。

画像検波部８２は、フロントエンド６７の出力に基づいて、オートフォーカス（AF）、オートエキスポージャ（AE）、オートホワイトバランス（AWB）等の各種カメラ制御の基準となるカメラ撮影画像の検波処理を行い、その結果を、適宜、マイクロコンピュータインタフェース８３を介してマイクロコンピュータ６１に出力する。

メモリコントローラ８５は、処理ブロック間同士のデータの送受信、または、所定の処理ブロックと画像メモリ６９との間のデータの送受信を制御し、例えば、カメラ信号処理部８１から供給されてきた画像データをメモリインタフェース８４を介して画像メモリ６９に出力し、記憶させる。

画像圧縮解凍部８６は、例えば、カメラ信号処理部８１から供給されてきた画像データをJPEGフォーマットで圧縮し、得られたデータを外部記憶媒体インタフェース８８を介して外部記憶媒体７１に出力し、記憶させる。また、画像圧縮解凍部８６は、外部記憶媒体７１から読み出された圧縮データを解凍（伸張）し、モニタインタフェース８７を介して画像モニタ７０に出力する。

モニタインタフェース８７は、画像データを画像モニタ７０に表示するために各種表示フォーマットに変換する。例えば、画像モニタ７０がNTSC（National Television Standards Committee）モニタである場合、NTSCエンコーダ等で構成される。

次に、図４のフローチャートを参照して、所定の被写体を撮像し、その静止画像の画像データを外部記憶媒体７１に記憶させる処理について説明する。ステップＳ１１において、画像センサ６５は、レンズ６２により絞り６３とシャッタ６４を介して集光された被写体からの光を光電変換し、出力する。

ステップＳ１２において、フロントエンド６７は、フロントエンドの処理を行う。すなわち、フロントエンド６７は、画像センサ６５より入力された色信号を、ノイズ成分を除去すべく相関二重サンプリングし、そのゲインをコントロールし、さらにA/D変換して出力する。ステップＳ１３において、マイクロコンピュータ６１は、欠陥検出の処理を実行する。その詳細は、図７および図１４のフローチャートを参照して後述するが、これにより、欠陥検出が行われる。

ステップＳ１４において、マイクロコンピュータ６１は、欠陥が検出されたかを判定する。欠陥が検出された場合、ステップＳ１５において、マイクロコンピュータ６１は、欠陥を補正する。例えば、欠陥画素の画素値が補正される。欠陥が検出されない場合、ステップＳ１５の処理はスキップされ、処理はステップＳ１６に進む。

ステップＳ１６において、カメラシステムLSI６８は、画像信号処理を実行する。その詳細は、図５のフローチャートを参照して後述するが、これにより、オートフォーカス、オートエキスポージャ、オートホワイトバランス調整、ガンマ補正、画作りのための補正処理、色空間変換処理などが行われる。

ステップＳ１７において、画像モニタ７０は、カメラシステムLSI６８より出力された画像信号に対応する画像を表示する。これによりユーザは、被写体の画像を確認することができる。

ステップＳ１８において、マイクロコンピュータ６１は、ユーザよりシャッタの動作が指令されたかを判定する。まだシャッタの動作が指令されていない場合、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。

シャッタの動作が指令された場合、ステップＳ１９において、マイクロコンピュータ６１は、シャッタ６４を閉じさせ、画像センサ６５に、その直前の画像信号が読み出されるまでの間、それ以降の光が入射しないように制御する。画像圧縮解凍部８６は、被写体の静止画の画像データをJPEG方式でエンコードする。外部記憶媒体７１は、この画像データを記憶する。ステップＳ２０において、マイクロコンピュータ６１は、ユーザより撮影動作の終了が指令されたかを判定する。まだ撮影動作の終了が指令されていない場合、処理はステップＳ１１に戻り、それ以降の処理が繰り返し実行される。撮影動作の終了が指令された場合、処理は終了される。

次に、図５のフローチャートを参照して、図４のステップＳ１６の画像信号処理の詳細について説明する。

ステップＳ３１において、画像検波部８２は、オートフォーカス、オートエキスポージャ、およびオートホワイトバランスの処理を実行する。具体的には、撮像画像が鮮明になるように、レンズ６２のフォーカス位置が図示せぬモータにより移動調整される。また、画像が最適な明るさになるように、絞り６３の開口が図示せぬモータにより制御調整される。さらにR，G，Bの各色信号のそれぞれのレベルが適正な白を表現できるレベルになるように調整される。

ステップＳ３２において、カメラ信号処理部８１は、入力された画像信号の値をガンマ曲線に従って補正する。ステップＳ３３において、カメラ信号処理部８１は、画作りのための補正処理を行う。例えば、エッジ強調などの画像を視覚的に良く見せるために必要な補正処理が行われる。ステップＳ３４において、カメラ信号処理部８１は、色空間を変換する処理を実行する。例えば、カメラ信号処理部８１は、RGB信号をそのまま出力するか、あるいは、予め用意されている所定の変換マトリクスを乗算し、YUVなどの信号にフォーマット変換し、出力する。モニタインタフェース８７は、この信号をNTSC方式の信号に変換して出力する。

次に、図４のステップＳ１３における欠陥検出の処理について説明する。この処理を行うために、マイクロコンピュータ６１は、図６に示される機能的構成を有している。この実施の形態においては、差分演算部１０１、絶対値演算部１０２、絶対値判定部１０３、個数検出部１０４、および欠陥画素判定部１０５が設けられている。

差分演算部１０１は、欠陥画素の検出の対象となる対象画素と、対象画素と同色である同色画素で、対象画素の近傍の予め定められている任意の数の比較画素との差分を演算する。例えば、差分演算部１０１は、対象画素の輝度値と比較画素の輝度値との差分を演算する。

絶対値演算部１０２は、差分演算部１０１で演算された対象画素と比較画素との差分の絶対値を演算する。この実施の形態の場合、絶対値演算部１０２は、対象画素と比較画素との差分の絶対値を演算するが、この他、差分の２乗値を演算するようにしてもよい。要は、両者の差分の極性に拘わらない大きさが演算されればよい。

絶対値判定部１０３は、演算された絶対値と、任意に設定可能な閾値（以下、第１の閾値と称する）との大きさを判定する。

対象画素が正常画素である場合、比較画素は対象画素の近傍の同色画素であるから、両者の画素値の差は比較的小さいことが予想される。第１の閾値は、この差の大きさが、それ以上ある場合には画素の異常であると予想される値に設定される。従って、この第１の閾値は、対象画素と比較画素の距離が大きくなる程、大きい値になるように設定することができる。

個数検出部１０４は、差分の大きさが第１の閾値以上である比較画素の個数（絶対値の個数でもある）を検出する。

欠陥画素判定部１０５は、対象画素が欠陥画素であるかを判定する。具体的には、差分の大きさが第１の閾値以上である比較画素の個数が予め設定されている所定の数（以下、第２の閾値と称する）以上である場合、対象画素が欠陥画素と判定される。

次に、図７のフローチャートを参照して、図４のステップＳ１３における欠陥検出の処理の詳細について説明する。デジタルスチルカメラ４１は、この処理によって、欠陥検出補正の際に欠陥画素の座標データをどこにも格納せずに、リアルタイムに欠陥画素を検出し、補正処理を行う。

ステップＳ４１において、差分演算部１０１は、対象画素と近傍の同色画素であって、予め定められている比較画素のうちの１つの画素との差分を演算する。

図８と図９は、対象画素に対する比較画素の位置を表している。この実施の形態では、対象画素ｅを中心として、その近傍のｎ×ｎ個（この実施の形態の場合ｎ＝５）の範囲のブロックを構成する画素であって、対象画素ｅと同色の画素が比較画素とされる。この実施の形態では、画像センサ６５が、ベイヤー配列の画素で構成されている。そこで、対象画素ｅが、赤または青である場合、図８に示されるように、対象画素ｅの２行上の画素ｂと、その１個おいて左右の画素ａ，ｃ、対象画素ｅと同じ行上の１個おいて左右の画素ｄ，ｆ、並びに、対象画素ｅの２行下の画素ｈと、その１個おいて左右の画素ｇ，ｉの、合計８個の画素が、比較画素とされる。

同様に、対象画素ｅが、緑である場合、図９に示されるように、対象画素ｅの２行上の画素ａと、その１個おいて左右の画素ｊ，ｋ、対象画素ｅの１行上の左上と右上の画素ｂ，ｃ、対象画素ｅと同じ行上の１個おいて左右の画素ｄ，ｆ、対象画素ｅの１行下の左下と右下の画素ｇ，ｉ、並びに、対象画素ｅの２行下の画素ｈと、その１個おいて左右の画素ｌ，ｍの、合計１２個の画素が、比較画素とされる。あるいは、比較画素の数を合わせるために、図９においても、画素ａ乃至画素ｉの８個の画素を比較画素としてもよい。

また、比較画素の個数は、画像の周波数帯域やISO（International Organization for Standardization）感度に応じて変更することができる。画像の周波数帯域は、被写体を撮影する際のピントを合わせるときに定まり、図３に示される画像検波部８２が取得する。ISO感度はユーザにより設定された値が、図２に示されるマイクロコンピュータ６１により取得される。

ステップＳ４２において、差分演算部１０１は、比較画素全てに対して差分を演算したかを判定する。ステップＳ４２において、まだ比較画素全てに対して差分を演算していないと判定された場合、処理はステップＳ４１に戻り、上述した処理が繰り返される。

ステップＳ４２において、比較画素全てに対して差分を演算したと判定された場合、ステップＳ４３において、絶対値演算部１０２は、ステップＳ４１で演算された差分の絶対値（すなわち、大きさ）を演算する。

ステップＳ４４において、絶対値判定部１０３は、Ｎ＝０とする。すなわち、変数Ｎが０に初期設定される。変数Ｎは、差分の絶対値が第１の閾値を超えた比較画素の数をカウントするためのものである。

ステップＳ４５において、絶対値判定部１０３は、演算した差分の絶対値は第１の閾値以上であるかを判定する。なお、第１の閾値は、ユーザが任意の値に自由に設定することができるようにしてもよい。

ステップＳ４５において、演算した差分の絶対値が閾値以上であると判定された場合、ステップＳ４６において、絶対値判定部１０３は、変数Ｎの値を１だけインクリメントする。すなわち、絶対値判定部１０３は、差分の絶対値が第１の閾値を超えている比較画素の数をカウントする。その後、処理はステップＳ４７に進む。

ステップＳ４５において、演算した差分の絶対値が第１の閾値以上ではないと判定された場合、ステップＳ４６の処理はスキップされ、処理はステップＳ４７に進む。

ステップＳ４７において、絶対値判定部１０３は、演算した全ての差分の絶対値の大きさを判定したかを判定する。まだ、演算した全ての差分の絶対値の大きさが判定されていない場合、処理はステップＳ４５に戻り、上述した処理が繰り返される。

ステップＳ４７において、演算した全ての差分の絶対値の大きさが判定されたと判定された場合、処理はステップＳ４８に進む。

ステップＳ４８において、個数検出部１０４は、変数Ｎが所定の数以上かを判定する。すなわち、個数検出部１０４は、差分の絶対値の大きさが第１の閾値を超えている比較画素の数が第２の閾値以上かを判定する。なお、第２の閾値はユーザが任意の値に自由に設定できるようにしてもよい。上述したように、個数検出部１０４は、第２の閾値を、画像の周波数帯域やISO感度に応じて変更することができる。

ステップＳ４８において、差分の絶対値の大きさが第１の閾値を超えている比較画素の数が第２の閾値以上であると判定された場合、ステップＳ４９において、欠陥画素判定部１０５は、対象画素を欠陥画素とし、処理は終了する。

ステップＳ４８において、差分の絶対値の大きさが第１の閾値を超えている比較画素の数が第２の閾値以上ではないと判定された場合、ステップＳ４９の処理はスキップされ、処理は終了する。この場合、実質的に対象画素は欠陥画素ではなく正常画素であると判定されたことになる。

図１０乃至図１２は、対象画素と比較画素の画素値の関係を表している。これらの図において、横軸は、画素の位置を示し、縦軸は、画素の輝度のレベルを示す。白の丸印は比較画素を示し、黒の丸印は対象画素を示す。閾値１３１および閾値１３２は、それぞれ第１の閾値に対応する正の閾値と負の閾値を表す。

例えば、図１０で示されるパターン１２１の例において、絶対値判定部１０３は、対象画素レベルを基準として、比較画素と対象画素との輝度の差分が、点線で示される閾値１３１以上であるか、または点線で示される閾値１３２以下であるかを判定する。すなわち、差分の絶対値が第１の閾値以上であるかが判定される。

対象画素に対して、差分の絶対値が閾値以上の比較画素は、１つだけであり、他の７個の比較画素は、差分の絶対値は第１の閾値以上ではない。従って、この場合、変数Ｎ＝１となるから、第２の閾値が例えば８である場合、図１０のパターン１２１において、対象画素は欠陥ではないと判定される。

図１１のパターン１２２では、Ｎ＝８となる。従って、第２の閾値が８である場合、すなわち、比較画素の全てについて、対象画素との差分が第１の閾値以上である場合に対象画素を欠陥画素と判定するという基準が設定されたときは、対象画素は、欠陥画素であると判定される。

しかしこのような基準を設定すると、対象画素が欠陥画素として検出されるためには、比較画素全てに対してある閾値以上の差分がある必要があり、低ISO感度時などS/N（Signal to Noise ratio）の良い画像の場合には、ノイズが少ないため、欠陥画素を検出できるが、高ISO感度時など非常にS/Nの悪い画像の場合には、ノイズが多いため、欠陥画素が検出される確率が低くなる。

そこで第２の閾値を設け、その値を全比較画素の数より小さい値に設定できるようにすることで、ノイズが多く、周辺にも特異な画素が存在している可能性が高いS/Nの悪い画像の場合でも、画像の特徴に合わせて欠陥画素を検出することが可能となる。

例えば、図１２のパターン１２３では、Ｎ＝６であるため、第２の閾値を、８より小さい６に設定することで、対象画素を欠陥画素として検出することができる。

図１３は、図４のステップＳ１３の欠陥検出の処理を実行するための、マイクロコンピュータ６１の他の実施の形態の機能的構成を示すブロック図である。この実施の形態においては、図６の実施の形態の差分演算部１０１、絶対値演算部１０２、絶対値判定部１０３、個数検出部１０４、および欠陥画素判定部１０５以外に、符号数算出部１５１、および符号数判定部１５２が設けられている。

差分演算部１０１、絶対値演算部１０２、絶対値判定部１０３、個数検出部１０４、および欠陥画素判定部１０５の機能は、図６と同様であるので、その説明は省略する。

符号数算出部１５１は、差分演算部１０１により演算された差分の符号のうちの正の符号または負の符号の数である符号数を算出する。例えば、符号数算出部１５１は、演算された差分の符号が負を示す比較画素の個数の合計である符号和を符号数として算出する。

符号数判定部１５２は、算出された符号数が、予め設定されている所定の範囲を超えているかを判定する。すなわち、符号数判定部１５２は、符号和が第３の閾値より小さいか、または符号和が第４の閾値より大きいかを判定する。

次に、図１４のフローチャートを参照して、マイクロコンピュータ６１が図１３に示される機能的構成を有する場合における図４のステップＳ１３の欠陥検出の処理の詳細について説明する。デジタルスチルカメラ４１は、この処理によって、欠陥検出補正の際に欠陥画素の座標データをどこにも格納せずに、リアルタイムに欠陥画素を検出し、補正処理を行う。

図１４のステップＳ６１からステップＳ６８の処理は、図７のステップＳ４１からステップＳ４８の処理と同様であるので、その説明は省略する。

ステップＳ６８において、変数Ｎの値が第２の閾値以上であると判定された場合、ステップＳ６９において、符号数算出部１５１は、初期設定として、符号和＝０とし、最小閾値、最大閾値を各々決定する。これにより、第３の閾値が最小閾値として、第４の閾値が最大閾値として、それぞれ設定される。符号和は、ステップＳ６１で演算された差分の符号が負である比較画素の数をカウントする変数である。

ステップＳ７０において、符号数算出部１５１は、ステップＳ６１で演算された差分の最上位ビットを抽出する。すなわち、２進数の正負を示す符号は、最上位ビットの１ビットで表されるため、符号数算出部１５１は、特別な演算を行うことなく最上位ビットを抽出するだけで簡単に２進数の正負を識別することができる。

ステップＳ７１において、符号数算出部１５１は、抽出した最上位ビットは負を示しているかを判定する。

ステップＳ７１において、抽出した最上位ビットは負を示していると判定された場合、ステップＳ７２において、符号数算出部１５１は、符号和を１だけインクリメントする。いまの場合、演算した差分の符号が負であれば、符号和として１が設定される。その後、処理は、ステップＳ７３に進む。

ステップＳ７１において、抽出した最上位ビットが負を示していないと判定された場合、ステップＳ７２の処理はスキップされる。すなわち、演算した差分の符号が正である場合、符号和はインクリメントされない。その後、処理は、ステップＳ７３に進む。

ステップＳ７３において、符号数算出部１５１は、演算した差分の最上位ビットを全て確認したかを判定する。ステップＳ７３において、まだ演算した差分の最上位ビットが全て確認されていないと判定された場合、処理はステップＳ７０に戻り、上述した処理が繰り返される。

ステップＳ７３において、演算した差分の最上位ビットを全て確認したと判定された場合、処理はステップＳ７４に進む。

ステップＳ７４において、符号数判定部１５２は、符号和が最小閾値より小さいかを判定する。ステップＳ７４において、符号和が最小閾値より小さいと判定された場合、処理はステップＳ７６に進む。

ステップＳ７４において、符号和が最小閾値と等しいか、またはそれより大きいと判定された場合、処理はステップＳ７５に進み、符号数判定部１５２は、符号和が最大閾値より大きいかを判定する。ステップＳ７５において、符号和が最大閾値と等しいか、またはそれより小さいと判定された場合、処理は終了する。この場合、実質的に対象画素は欠陥画素ではなく、正常画素であると判定されたことになる。

ステップＳ７５において、符号和が最大閾値より大きいと判定された場合、ステップＳ７４において符号和が最小閾値より小さいと判定された場合と同様に、処理はステップＳ７６に進む。ステップＳ７６において、欠陥画素判定部１０５は、対象画素を欠陥画素とし、処理は終了する。すなわち、符号和が最小閾値（第３の閾値）と最大閾値（第４の閾値）とで規定される範囲を超えているとき、対象画素は欠陥画素と判定される。

図１５のパターン１６１と図１６のパターン１６２のいずれにおいても、差分の絶対値が第１の閾値以上である比較画素は６個であるから、ステップＳ６６で、Ｎ＝６が設定される。従って、いずれの場合も、図７の実施の形態では、第２の閾値を６に設定したとき、対象画素は、欠陥画素として検出されてしまう。

しかしながら、図１５に示されるパターン１６１と図１６に示されるパターン１６２は、エッジに代表される急峻な高周波成分を含む画像や、特定領域のダイナミックレンジが広い画像が表現されている場合のパターンであって、対象画素は欠陥画素ではない。

この点、図１４の実施の形態では、符号和を用いて対象画素が欠陥画素であるかが判定されるので誤検出を防ぐことができる。

すなわち図１５に示されるパターン１６１と図１６に示されるパターン１６２の例において、差分の符号が負となる比較画素の数を意味する符号和はいずれの場合も４となる。そこで、最小閾値としての第３の閾値を３とし、最大閾値としての第４の閾値を５とすれば、符号和は４であるので、符号和は最小閾値より小さくはなく、また最大閾値より大きくもない。従って対象画素は欠陥画素と判定されない。

このようにエッジや、高周波で特定領域のダイナミックレンジが広い画像に対して誤検出を防ぐことができる。

なお、以上においては、符号和を数えるのに、負の符号の数をカウントするようにしたが、正の符号の数をカウントするようにしてもよい。

また、演算された差分の正の符号を１とし、負の符号を−１として、両者を加算することで符号数を算出してもよい。符号が負の場合に１とカウントし、正の場合に０とカウントしたときには、比較画素の画素数によって正負の符号の数が同一である場合におけるカウント値である中間値が変わるのに対して、符号が負の場合に−１とカウントし、正の場合に＋１とカウントする場合、比較画素の画素数に関わらず中間値が０となるため、設定を簡単にすることができる。

この場合、図１４のステップＳ７１の処理およびステップＳ７２の処理に対応する処理として、１または−１を加算して符号数を算出する処理が行われる。すなわち、符号数算出部１５１は、抽出した最上位ビットは負を示しているか否かを判定する。そして、最上位ビットが負を示していると判定された場合、符号数算出部１５１は、記憶している符合数に−１を加算し、最上位ビットが負を示していないと判定された場合、符号数算出部１５１は、記憶している符合数に１を加算して符号数を算出する。また、この場合、ステップＳ６９において決定される最小閾値および最大閾値は、例えば互いに符号が異なり、絶対値の同じ値とされる。

このように符号和を条件判定に用いることで、対象画素の誤検出を防ぐことができる。

符号和の最小閾値としての第３の閾値と最大閾値としての第４の閾値は、ISO感度、画像の周波数、または比較画素数に応じて変更することができる。図１７は、この場合の例を表している。

図１７に示される符号和範囲テーブル１７１の実施の形態においては、ISO感度を１００，２００，８００または１６００に設定した場合における例が示されている。ただし、比較画素数は、ISO感度に拘わらず、２４個で一定とされている。周波数の低または高は、オートフォーカスの検波結果などを用いて検出された周波数が、任意に設定可能な特定の基準値より下または上である場合を意味する。なお、周波数は、画サイズ、検波領域によって、大きく変わるので定量的な数値では示されていない。

ISO感度が１００である場合、周波数が低であれば、最小閾値は１１、最大閾値は１３とされ、周波数が高であれば、最小閾値は５、最大閾値は２０とされている。ISO感度が２００である場合、周波数が低であれば、最小閾値は１１、最大閾値は１３とされ、周波数が高であれば、最小閾値は５、最大閾値は２０とされている。すなわち、ISO感度が１００または２００である場合における最小閾値と最大閾値は、同一の値とされている。

ISO感度が８００である場合、周波数が低であれば、最小閾値は１０、最大閾値は１４とされ、周波数が高であれば、最小閾値は４、最大閾値は２１とされている。ISO感度が１６００である場合、周波数が低であれば、最小閾値は９、最大閾値は１５とされ、周波数が高であれば、最小閾値は３、最大閾値は２２とされている。

符号和の差分、すなわち最小閾値と最大閾値との差が大きければ大きいほど、欠陥画素は検出し難くなる。そこで、高周波の場合、誤検出が増える傾向があるので、これを抑制するため、上述したように、低周波の場合に較べて符号和の差分が大きくなるように設定されている。また、ISO感度が高い場合、誤検出が増える傾向があるので、これを抑制するために上述したように、ISO感度が低い場合に較べて符号和の差分が大きくなるように設定されている。

このようにISO感度および周波数に応じて、符号和の差分を変化させることで、誤検出を抑制することができる。また、欠陥画素の検出の誤検出を防ぐために差分の極性を表す符号を用いるので、非常に簡単かつ回路規模の小さい装置で高い精度で欠陥画素の検出をすることができる。さらに、リアルタイムに欠陥画素を検出することができるので、座標の点数の上限を考慮せず、回路規模の削減をすることができる。

このように、欠陥画素の検出の対象となる対象画素と、対象画素と同色である同色画素であって、対象画素の近傍の予め定められた比較画素との差分を演算するようにすることで、欠陥画素を検出することができる。また、対象画素と比較画素との差分を演算し、差分の大きさを演算し、演算された大きさと第１の閾値との大きさを判定し、差分の大きさが第１の閾値以上である比較画素の数を検出し、その数が第２の閾値以上である場合、対象画素を欠陥画素と判定するようにした場合には、低コストで、簡単かつ確実に欠陥画素を検出することができる。

本発明はデジタルスチルカメラ４１に限らず、カメラ付携帯電話機、ビデオカメラ、その他の画像を撮像する機能を有する各種の電子機器に適用することができる。

図１８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。

CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。

入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。

入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来の画素欠陥を補正する撮像装置のハードウェアの構成を示すブロック図である。 本発明の実施の形態のデジタルスチルカメラの構成を示すブロック図である。 カメラシステムLSIの構成を示すブロック図である。 デジタルスチルカメラの撮影処理を説明するフローチャートである。 画像信号処理を説明するフローチャートである。 プログラムを実行するマイクロコンピュータによって実現される機能的構成を示すブロック図である。 デジタルスチルカメラによる欠陥検出の処理を説明するフローチャートである。 対象画素と比較画素の位置関係の例を示す図である。 対象画素と比較画素の位置関係の例を示す図である。 欠陥画素検出のパターンの例を示す図である。 欠陥画素検出のパターンの例を示す図である。 欠陥画素検出のパターンの例を示す図である。 プログラムを実行するマイクロコンピュータによって実現される機能的構成を示すブロック図である。 デジタルスチルカメラによる欠陥検出の処理を説明するフローチャートである。 欠陥画素検出のパターンの例を示す図である。 欠陥画素検出のパターンの例を示す図である。 ISO感度および周波数に応じて変更される符号和範囲テーブルの例を示す図である。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

４１ デジタルスチルカメラ， ６１ マイクロコンピュータ， ６８ カメラシステムLSI， ６９ 画像メモリ， ７１ 外部記憶媒体， ８１ カメラ信号処理部， ８２ 画像検波部， １０１ 差分演算部， １０２ 絶対値演算部， １０３ 絶対値判定部， １０４ 個数検出部， １０５ 欠陥画素判定部， １５１ 符号数算出部， １５２ 符号数判定部

Claims (6)

1. 欠陥画素の検出の対象となる対象画素と、前記対象画素と同色である同色画素であって、前記対象画素の近傍の予め定められている比較画素との差分を演算する差分演算手段と、
   前記差分の大きさを演算する大きさ演算手段と、
   前記差分の大きさと第１の閾値の大きさを判定する大きさ判定手段と、
   前記差分の大きさが前記第１の閾値以上である前記比較画素の個数を検出する個数検出手段と、
   演算された前記差分の符号のうちの正の符号または負の符号の数である符号数を、演算された前記差分の正の符号を１とし、負の符号を−１として、両者を加算することで算出する符号数算出手段と、
   算出された前記符号数が、第２の閾値より小さいか、または第３の閾値より大きいかを判定することで、算出された前記符号数が、予め設定されている所定の範囲を超えているかを判定する符号数判定手段と、
   前記差分の大きさが前記第１の閾値以上である前記比較画素の個数が第４の閾値以上である場合、さらに、前記符号数が、予め設定されている前記所定の範囲を超えているとき、前記対象画素を欠陥画素と判定する欠陥画素判定手段と
   を備える電子機器。
2. 前記符号数判定手段は、前記所定の範囲を、画像を撮影するときの撮影条件または撮影した画像の特徴に応じて変更する
   請求項１に記載の電子機器。
3. 前記撮影条件は、ISO感度である
   請求項２に記載の電子機器。
4. 前記画像の特徴は、画像の周波数成分で表される特徴である
   請求項２に記載の電子機器。
5. 欠陥画素の検出の対象となる対象画素と、前記対象画素と同色である同色画素であって、前記対象画素の近傍の予め定められている比較画素との差分を演算し、
   前記差分の大きさを演算し、
   前記差分の大きさと第１の閾値の大きさを判定し、
   前記差分の大きさが前記第１の閾値以上である前記比較画素の個数を検出し、
   演算された前記差分の符号のうちの正の符号または負の符号の数である符号数を、演算された前記差分の正の符号を１とし、負の符号を−１として、両者を加算することで算出し、
   算出された前記符号数が、第２の閾値より小さいか、または第３の閾値より大きいかを判定することで、算出された前記符号数が、予め設定されている所定の範囲を超えているかを判定し、
   前記差分の大きさが前記第１の閾値以上である前記比較画素の個数が第４の閾値以上である場合、さらに、前記符号数が、予め設定されている前記所定の範囲を超えているとき、前記対象画素を欠陥画素と判定する
   ステップを備える情報処理方法。
6. 欠陥画素の検出の対象となる対象画素と、前記対象画素と同色である同色画素であって、前記対象画素の近傍の予め定められている比較画素との差分を演算し、
   前記差分の大きさを演算し、
   前記差分の大きさと第１の閾値の大きさを判定し、
   前記差分の大きさが前記第１の閾値以上である前記比較画素の個数を検出し、
   演算された前記差分の符号のうちの正の符号または負の符号の数である符号数を、演算された前記差分の正の符号を１とし、負の符号を−１として、両者を加算することで算出し、
   算出された前記符号数が、第２の閾値より小さいか、または第３の閾値より大きいかを判定することで、算出された前記符号数が、予め設定されている所定の範囲を超えているかを判定し、
   前記差分の大きさが前記第１の閾値以上である前記比較画素の個数が第４の閾値以上である場合、さらに、前記符号数が、予め設定されている前記所定の範囲を超えているとき、前記対象画素を欠陥画素と判定する
   処理をコンピュータに実行させるプログラム。

Images