JP5038005B2 - 撮像装置及び画像処理方法 - Google Patents

Description

本発明は、固体撮像素子を有する撮像装置及びそれにより撮像された画像の画像処理方法に関し、特に、固体撮像素子における欠陥画素からの出力信号の補正処理技術に関する。

従来、デジタルカメラやビデオカメラ等の撮像装置において、ＣＣＤエリアセンサやＣＭＯＳエリアセンサ等の固体撮像素子が一般的に使用されている。固体撮像素子は、製造過程において発生する欠陥画素が存在することがあり、欠陥画素が画質の低下や製造上の歩留まりを下げる要因の一つとなっていることが知られている。

固体撮像素子における欠陥画素は、完全に取り去ることが困難である。そのため、欠陥画素からの出力信号を、欠陥画素の周囲画素の出力信号を用いて置換処理して補正することにより画質向上を図る方法が提案されている（例えば、特許文献１参照。）。

この方法によれば、欠陥画素を挟んで隣接する左右、上下、斜め方向で同方向となる画素の組において、それぞれ２画素間の出力データを演算し、その画素間の出力差が最小となる組から得られる平均値を欠陥画素の出力信号として置換処理する。これにより、高精度な補正処理が行えるとしている。

また、欠陥画素に近接して配置され、欠陥画素と同色の光を受光する画素を用いて、欠陥画素を挟む同方向かつ同色の画素の組の中で、画素間の出力差が最小となる組の平均値で置換処理する補正方法も提案されている（例えば、特許文献２参照。）。

特公平５−２３５５１号公報 特開２００１−３０７０７９号

しかしながら、特許文献１に記載された技術では、撮影画像によっては補正後の画像が違和感のある画像になってしまう場合があった。
例えば、図４に示すように画素が２次元配列された固体撮像素子において、欠陥画素Ａ（２，２）が存在するとする。また、撮影画像は、図５に示すような欠陥画素Ａ（２，２）を含むＡ（０，２）〜Ａ（５，２）までの左右方向の一ラインが出力レベルの高い明部で、他が出力レベルの低い暗部であるとする。

この場合、欠陥画素Ａ（２，２）の出力として置換される値は、画素間の出力差が小さくなる暗部にある画素Ａ（２，１）と画素Ａ（２，３）、画素Ａ（１，１）と画素Ａ（３，３）、画素Ａ（３，１）と画素Ａ（１，３）の組のいずれかの平均値となる。そのため、補正処理後の画像は、一ライン上に出力レベルの異なった暗部の画素部分が存在する違和感のある画像になってしまう。

これは、固体撮像素子における光ショットノイズの影響により、信号出力レベルの大きい明部の組の方が画素間の出力差が大きくなり、結果的に暗部の組の方が画素間の出力差が小さくなってしまうためである。ここで、固体撮像素子において発生するノイズとして、ランダムノイズと光ショットノイズがある。

固体撮像素子にて発生するランダムノイズは、信号出力レベルに依存せず画素毎にある一定量存在する。一方、光ショットノイズは、そのレベルが信号出力レベルに依存し、出力信号レベルの平方根に比例する。そのため、信号出力レベルが大きいほど光ショットノイズのレベルは大きくなり、光ショットノイズが支配的となるために画素間のレベル差も大きくなる。

したがって、特許文献１に記載の技術では、図５に示した一方向に出力レベルの明暗の差がついたストライプのようなパターンや暗闇での花火等、明部に欠陥画素が存在するような場合には、適合性が損なわれた補正となってしまうことになる。
また、特許文献２に記載の技術においても、置換処理するための値を欠陥画素と同色の組から選択するだけであるため、同様に適合性が損なわれた補正となってしまう。

本発明は、このような事情に鑑みてなされたものであり、欠陥画素からの出力信号を適切に補正処理し、良好な画像を得られるようにすることを目的とする。

本発明の撮像装置は、複数の特定色が規則的に配列された色フィルタを備えた撮像素子を有する撮像装置であって、前記撮像素子における欠陥画素を挟むようにして、左右、上下、斜め方向について同方向に配置されている画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出手段と、前記出力比算出手段により算出された各組の出力比に基づいて、左右、上下、斜め方向の何れかの方向に前記欠陥画素を挟むようにして前記欠陥画素の近傍に配置されている前記欠陥画素と同色画素の少なくとも２画素の出力信号の平均値を算出する平均値算出手段と、前記平均値算出手段により算出された平均値で前記欠陥画素からの信号を置換する補正手段とを備えることを特徴とする。
本発明の撮像装置は、複数の特定色が規則的に配列された色フィルタを備えた撮像素子を有する撮像装置であって、前記撮像素子における欠陥画素の近傍に配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる同色画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出手段と、前記出力比算出手段から得られた出力比が最小となる組を抽出する抽出手段と、前記抽出手段により抽出された組の複数の画素の出力信号の平均値を算出する平均値算出手段と、前記平均値算出手段により算出された平均値で前記欠陥画素からの信号を置換する補正手段とを備えることを特徴とする。
本発明の撮像装置は、複数の特定色が規則的に配列された色フィルタを備えた撮像素子を有する撮像装置であって、前記撮像素子における欠陥画素に隣接して配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出手段と、前記出力比算出手段から得られた出力比が最小となる組を抽出する抽出手段と、前記抽出手段により抽出された組と同方向となる少なくとも２画素を１組として、前記欠陥画素を挟む形で前記欠陥画素の近傍に配置された前記欠陥画素と同色画素の組の出力信号の平均値を算出する平均値算出手段と、前記平均値算出手段により算出された平均値で前記欠陥画素からの信号を置換する補正手段とを備えることを特徴とする。
本発明の撮像装置は、複数の特定色が規則的に配列された色フィルタを備えた撮像素子を有する撮像装置であって、前記撮像素子の欠陥画素を基準にした左右、上下、斜め方向のうちの複数の方向について、当該欠陥画素を挟むように配置された複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出手段と、前記欠陥画素を基準にした左右、上下、斜め方向のうち、前記出力比算出手段により算出された出力比に基づいて決定された方向における、当該欠陥画素を挟むように当該欠陥画素の近傍に配置された当該欠陥画素と同色の複数の画素の出力信号に基づく信号を、当該欠陥画素の信号とする処理手段とを備えることを特徴とする。
本発明の画像処理方法は、複数の特定色が規則的に配列された色フィルタを備えた撮像素子から得られる画像信号に対する画像処理方法であって、前記撮像素子における欠陥画素を挟むようにして、左右、上下、斜め方向について同方向に配置されている画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出工程と、前記出力比算出工程で算出された各組の出力比に基づいて、左右、上下、斜め方向の何れかの方向に前記欠陥画素を挟むようにして前記欠陥画素の近傍に配置されている前記欠陥画素と同色画素の少なくとも２画素の出力信号の平均値を算出する平均値算出工程と、前記平均値算出工程で算出された平均値で前記欠陥画素からの信号を置換する補正工程とを有することを特徴とする。
本発明の画像処理方法は、複数の特定色が規則的に配列された色フィルタを備えた撮像素子から得られる画像信号に対する画像処理方法であって、前記撮像素子における欠陥画素の近傍に配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる同色画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出工程と、前記出力比算出工程で算出された出力比が最小となる組を抽出する抽出工程と、前記抽出工程で抽出された組の複数の画素の出力信号の平均値を算出する平均値算出工程と、前記平均値算出工程で算出された平均値で前記欠陥画素からの信号を置換する補正工程とを有することを特徴とする。
本発明の画像処理方法は、複数の特定色が規則的に配列された色フィルタを備えた撮像素子から得られる画像信号に対する画像処理方法であって、前記撮像素子における欠陥画素に隣接して配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出工程と、前記出力比算出工程で算出された出力比が最小となる組を抽出する抽出工程と、前記抽出工程で抽出された組と同方向となる少なくとも２画素を１組として、前記欠陥画素を挟む形で前記欠陥画素の近傍に配置された前記欠陥画素と同色画素の組の出力信号の平均値を算出する平均値算出工程と、前記平均値算出工程で算出された平均値で前記欠陥画素からの信号を置換する補正工程とを有することを特徴とする。
本発明の画像処理方法は、複数の特定色が規則的に配列された色フィルタを備えた撮像素子から得られる画像信号に対する画像処理方法であって、前記撮像素子の欠陥画素を基準にした左右、上下、斜め方向のうちの複数の方向について、当該欠陥画素を挟む位置に配置された複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出工程と、前記欠陥画素を基準にした左右、上下、斜め方向のうち、前記出力比算出工程で算出された出力比に基づいて決定された方向における、当該欠陥画素を挟むように当該欠陥画素の近傍に配置された当該欠陥画素と同色の複数の画素の出力信号に基づく信号を、当該欠陥画素の信号とする処理工程とを有することを特徴とする。

本発明によれば、欠陥画素に対するより適合性の高い補正処理を行うことができ、良好な画像を得ることが可能となる。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置の構成例を示すブロック図である。
図１において、１はレンズ及び絞りからなる光学系であり、２はメカニカルシャッタ（メカシャッタと図示している）である。

３は光学像を固体撮像素子（以下、単に「撮像素子」ともいう。）であり、本実施形態では撮像素子３はベイヤ配列のＣＭＯＳエリアセンサとする。なお、撮像素子３は、図２に示すように画素が２次元配列（ｘ、ｙ）されている。図２においては、画素が受光する色を、「Ｒ」（赤）、「Ｂ」（青）、「Ｇ」（緑）で示している。また、撮像素子３は、欠陥画素としてＲ（２、２）を有するものとする。

４はアナログ信号処理を行うＣＤＳ（相関二重サンプリング）回路であり、５はアナログ信号をデジタル信号に変換するＡ／Ｄ（アナログ−デジタル）変換器である。６は、撮像素子３、ＣＤＳ回路４及びＡ／Ｄ変換器５をそれぞれ動作させる信号を発生するタイミング信号発生回路である。７は、光学系１、メカニカルシャッタ２及び撮像素子３の駆動回路である。

８は撮影して得られる画像データに必要な信号処理を行う信号処理回路である。本実施形態での欠陥画素に対する補正の置換処理は、信号処理回路８で行われる。信号処理回路８は、本発明における出力比算出手段、平均値算出手段、補正手段、抽出手段を構成する。９は信号処理回路８で信号処理された画像データを記憶する画像メモリである。１０は撮像装置から取り外し可能な画像記録媒体であり、１１は信号処理回路８で信号処理された画像データを画像記録媒体１０に記録する記録回路である。１２は画像を表示する画像表示装置であり、１３は信号処理回路８で信号処理された画像データに係る画像を画像表示装置１２に表示させる表示回路である。

１４は撮像装置全体を制御するシステム制御部である。１５はシステム制御部１４で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び欠陥画素のアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。

また、本実施形態では、補正データのうち、欠陥画素の補正データ（欠陥画素データ）は、ＣＭＯＳエリアセンサの製造工場においてチェックされ、センサ個々に対応した欠陥画素データが不揮発性メモリ１５に格納されているとする。しかし、これに限定されるものではなく、撮像装置に組み込んだ後に新たに欠陥画素に関する情報を作り出し格納させるようにしても良い。

１６は不揮発性メモリ１５に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部１４が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。

以下、図１に示した撮像装置における撮影動作について説明する。
撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１４の動作開始時に、不揮発性メモリ１５から必要なプログラム、制御データ及び欠陥画素データを含む補正データが揮発性メモリ１６に転送され記憶されるものとする。また、プログラムやデータは、システム制御部１４が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ１５から揮発性メモリ１６に転送したりする。また、システム制御部１４が直接不揮発性メモリ１５内のデータを読み出して使用しても良い。

まず、光学系１は、システム制御部１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子３上に結像させる。次に、メカニカルシャッタ２は、システム制御部１４からの制御信号により、必要な露光時間となるように撮像素子３の動作に合わせて撮像素子３を遮光するように駆動される。このとき、撮像素子３が電子シャッタ機能を有する場合は、メカニカルシャッタ２と併用して、必要な露光時間を確保してもよい。

撮像素子３は、システム制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子３から出力されたアナログ画像信号は、システム制御部１４により制御されるタイミング信号発生回路６が発生する動作パルスにより、ＣＤＳ回路４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器５でデジタル画像信号に変換される。

次に、システム制御部１４により制御される信号処理回路８が、デジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。また、更には不揮発性メモリ１５に記憶された欠陥画素データに基づき、欠陥画素に関する補正処理も行う。なお、欠陥画素の補正処理に関しては後述する。

画像メモリ９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。信号処理回路８で信号処理された画像データや画像メモリ９に記憶されている画像データは、記録回路１１において画像記録媒体１０に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換されて画像記録媒体１０に記録される。また、信号処理回路８で解像度変換処理を実施された後、表示回路１３において画像表示装置１２に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１２に表示されたりする。

信号処理回路８は、システム制御部１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１４に出力する。この情報には、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報がある。また、記録回路１１は、システム制御部１４から要求があった場合に、画像記録媒体１０の種類や空き容量等の情報をシステム制御部１４に出力する。

画像記録媒体１０に画像データが記録されている場合の再生動作について説明する。
システム制御部１４からの制御信号により記録回路１１は、画像記録媒体１０から画像データを読み出し、同じくシステム制御部１４からの制御信号により信号処理回路８は、画像データが圧縮画像であった場合に、画像伸長処理を行い画像メモリ９に記憶する。画像メモリ９に記憶されている画像データは、信号処理回路８で解像度変換処理を実施された後、表示回路１３において画像表示装置１２に適した信号に変換されて画像表示装置１２に表示される。

次に、第１の実施形態における欠陥画素の補正処理について詳細に説明する。
欠陥画素の補正処理は、信号処理回路８にて行われる。なお、以下の説明では、図２に示したように撮像素子上のＲ（２、２）が欠陥画素であるとする。

信号処理回路８は、揮発性メモリ１６に記憶された欠陥画素データから、欠陥画素のアドレスとして欠陥画素であるＲ（２、２）の座標データを読み出す。そして、信号処理回路８は、読み出した欠陥画素の座標データをもとに、欠陥画素に近接する同色の画素の座標データとして画素Ｒ（２、０）、Ｒ（２、４）、Ｒ（０、２）、Ｒ（４、２）、Ｒ（０、０）、Ｒ（４、４）、Ｒ（４、０）、Ｒ（０、４）を特定する。

次に、信号処理回路８は、撮影された画像データであるデジタル画像信号から、特定された座標データに照らし合わされて欠陥画素に近接する同色の画素データ（出力信号）を読み出す。

次に、信号処理回路８は、欠陥画素を挟んで左右方向ｘで同方向となるＲ（０、２）とＲ（４、２）の組、上下方向ｙで同方向となるＲ（２、０）とＲ（２、４）の組により、各組の画素間の平均値に対する画素間での差の絶対値を出力比として算出する。また、信号処理回路８は、斜めａ方向で同方向となるＲ（０、０）とＲ（４、４）の組、及び別の斜めｂ方向で同方向となるＲ（４、０）とＲ（０、４）の組により、各組の画素間の平均値に対する画素間での差の絶対値を出力比として算出する。

なお、図３は、各方向を図２に示した撮像素子上に解りやすく示した図である。
左右方向での出力比をαｘ、上下方向での出力比をαｙ、斜め方向での出力比をそれぞれαａ、αｂとすると、下式で求められる。

出力比αｘはαｘ＝|R(0,2)-R(4,2)|/((R(0,2)+R(4,2))/2))である。
出力比αｙはαｙ＝|R(2,0)-R(2,4)|/((R(2,0)+R(2,4))/2))である。
出力比αａはαａ＝|R(0,0)-R(4,4)|/((R(0,0)+R(4,4))/2))である。
出力比αｂはαｂ＝|R(4,0)-R(0,4)|/((R(4,0)+R(0,4))/2))である。

次に、信号処理回路８は、各組の出力比のうち、最も出力比として値が小さい組、つまり画素間の平均値に対する画素間の差が小さい組のものを選択し（抽出し）、選択した組のその平均値で欠陥画素の出力信号を置換する。これにより、欠陥画素からの出力信号の補正処理が行われる。
この一連の補正処理に係る動作が、欠陥画素すべてに行われることで欠陥画素からの出力信号の補正処理は完了する。

このように単に画素間の出力差が小さいものでなく、出力値の大きさを考慮して、置換処理する値を選出する画素の組を決定しているので、より画像への適合性が高い補正処理を行うことができる。

なお、本実施形態では欠陥画素の出力信号の置換処理として、近接する同色の画素をすべて演算の対象としているが、近接する同色の画素が欠陥画素である場合には、正確な出力値を示すものではなくなるため、その画素を含む組は演算の対象外としても良い。

また、出力比の演算については、単純に各組間での画素出力レベルの大きいものに対する小さいレベルの比を求めるようにし、その比の値が最も大ききな組（より１に近い値となる組）を選出し、その選出された組の平均値により置換処理を行うようにしても良い。

例えば、左右方向での出力比をβｘ、上下方向での出力比をβｙ、斜め方向での出力比をそれぞれβａ、βｂとする。また、各組での出力値の大小関係が、Ｒ（０、２）＜Ｒ（４、２）、Ｒ（２、０）＜Ｒ（２、４）、Ｒ（０、０）＜Ｒ（４、４）、Ｒ（４、０）＜Ｒ（０、４）であったとする。

この場合、出力比βｘ＝Ｒ（０、２）／Ｒ（４、２）、出力比βｙ＝Ｒ（２、０）／Ｒ（２、４）、出力比βａ＝Ｒ（０、０）／Ｒ（０、４）、出力比βｂ＝Ｒ（４、０）／Ｒ（０、４）により求められる。
また、その出力比の値の大小関係がβｘ＞βｙ＞βａ＞βｂであったとすると、出力比βｘの組であるＲ（０、２）とＲ（４、２）の平均値（Ｒ（０、２）＋Ｒ（４、２））／２により置換処理され、欠陥画素の出力への補正処理が行われることとなる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第２の実施形態における撮像装置の構成及び撮影動作は、上述した第１の実施形態と同様であるのでその説明は省略し、欠陥画素の補正処理についてのみ説明する。第１の実施形態と同様に、図２中のＲ（２、２）が欠陥画素であるとする。
第２の実施形態では、欠陥画素に隣接する画素の出力信号を用いて、置換処理させるための欠陥画素と近傍する同色となる組を決定する。
信号処理回路８は、揮発性メモリ１６に記憶された欠陥画素データから、欠陥画素のアドレスとして欠陥画素であるＲ（２、２）の座標データを読み出す。そして、信号処理回路８は、読み出した欠陥画素の座標データをもとに、欠陥画素に隣接する画素の座標データとして画素Ｇ（２、１）、Ｇ（２、３）、Ｇ（１、２）、Ｇ（３、２）、Ｂ（１、１）、Ｂ（３、３）、Ｂ（３、１）、Ｂ（１、３）を特定する。
次に、信号処理回路８は、撮影された画像データであるデジタル画像信号から、特定された座標データに照らし合わされて欠陥画素に隣接する画素データ（出力信号）を読み出す。
続いて、信号処理回路８は、欠陥画素を挟んで隣接する左右方向にあるＧ（１、２）とＧ（３、２）の組、上下方向に同方向となるＧ（２、１）とＧ（２、３）の組により、各組の画素間の平均値に対する画素間での差の絶対値を出力比として求められる。また、信号処理回路８は、斜め方向で同方向となるＢ（１、１）とＢ（３、３）の組、斜め方向でのＢ（３、１）とＲ（１、３）の組により、各組の画素間の平均値に対する画素間での差の絶対値を出力比として求める。
なお、出力比の演算としては第１の実施形態と同様の演算がされる。すなわち、左右方向ｘ、上下方向ｙ、斜め方向ａ，ｂの出力比をそれぞれαｘ’、αｙ’、αａ’、αｂ’、とすると、下式で求められる。
出力比αｘ’はαｘ’＝|G(1,2)-G(3,2)|/((G(1,2)+G(3,2))/2))である。
出力比αｙ’はαｙ’＝|G(2,1)-G(2,3)|/((G(2,1)+G(2,3))/2))である。
出力比αａ’はαａ’＝|B(1,1)-B(3,3)|/((B(1,1)+B(3,3))/2))である。
出力比αｂ’はαｂ’＝|B(3,1)-B(1,3)|/((B(3,1)+B(1,3))/2))である。
次に、信号処理回路８は、各組の出力比のうち、最も出力比として値が小さい組、つまり画素間の平均値に対する画素間の差が小さい組のものを選択し（抽出し）、その方向と同方向となる欠陥画素の近傍の同色の組から平均値を算出する。そして、その平均値で欠陥画素からの出力信号を置換し補正処理がなされる。
例えば、各出力比の値がαｘ’＜αｙ’＜αａ’＜αｂ’であった場合、最も画素間の平均値に対する画素間の差が小さい組であるαｘ’と同方向となるＲ（０、２）とＲ（４、２）の平均値（Ｒ（０、２）＋Ｒ（４、２））／２により置換処理されることとなる。
また、出力比の演算については、単純に各組間での画素出力レベルの大きいものに対する小さいレベルの比を求めるようにし、その比の値が最も大ききな組（より１に近い値となる組）を選出し、その選出された組の平均値により置換処理を行うようにしても良い。
この場合、左右方向での出力比をβｘ’、上下方向での出力比をβｙ’、斜め方向での出力比をそれぞれβａ’、βｂ’とする。また、各組での出力値の大小関係が、Ｇ（１、２）＜Ｇ（３、２）、Ｇ（２、１）＜Ｇ（２、３）、Ｂ（１、１）＜Ｂ（３、３）、Ｂ（３、１）＜Ｂ（１、３）であるとする。
この場合、出力比βｘ’＝Ｇ（１、２）／Ｇ（３、２）、出力比βｙ’＝Ｇ（２、１）／Ｇ（２、３）、出力比βａ’＝Ｂ（１、１）／Ｂ（３、３）、出力比βｂ’＝Ｂ（３、１）／Ｂ（１、３）により求められる。
また、その出力比の値の大小関係がβｘ’＞βｙ’＞βａ’＞βｂ’であったとすると、出力比βｘ’の組と同方向で、欠陥画素と同色となるＲ（０、２）とＲ（４、２）の平均値（Ｒ（０、２）＋Ｒ（４、２））／２により置換処理される。
なお、欠陥画素の場合では全て隣接する画素は欠陥画素とは異なる色であり、また上下、左右の組と、斜め方向の組でも異なった色となっているが、各組内においては同色の組み合わせであり、その出力の比により画素間の差を比較している。したがって、組による出力差があったとしても画素間の比をとっているため、置換処理とする同色の画素の組み合わせの方向を決定する上では問題はない。
なお、上述した実施形態では全てＣＭＯＳ型エリアセンサを例にとって説明しているが、ＣＣＤ型エリアセンサ等どのようなエリアセンサであってもかまわない。
以上、欠陥画素を挟んで近接する欠陥画素と同色となる画素の組での出力比から、画素間の差が最も小さい組による平均値による置換処理や、又は欠陥画素を挟んで隣接する同色画素の組での出力比から画素間の差が最も小さい組を選出する。その選出された組と同方向となる欠陥画素と近接する同色画素の平均値で欠陥画素からの出力信号を置換する。これにより、出力の大きさよらず、より適合性の高い補正処理を行うことができ、良好な画像を得ることが可能となる。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置又はシステム内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給する。そして、そのシステム又は装置のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。また、そのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
供給されたプログラムコードがコンピュータにおいて稼働しているオペレーティングシステム又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムコードがコンピュータに係る機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボード等に備わるＣＰＵ等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態における撮像装置の構成例を示す図である。 欠陥画素を有する固体撮像装置の画素配置の一例を示す図である。 本実施形態における補正処理での画素の選択方法を説明するための図である。 欠陥画素を有する固体撮像装置の画素配置の一例を示す図である。 欠陥画素を有する撮像素子の画素配置に対する撮影画像の一例を示す図である。

符号の説明

３ 固体撮像素子
８ 信号処理回路
１４ システム制御部
１５ 不揮発性メモリ
１６ 揮発性メモリ

Claims (11)

1. 複数の特定色が規則的に配列された色フィルタを備えた撮像素子を有する撮像装置であって、
   前記撮像素子における欠陥画素を挟むようにして、左右、上下、斜め方向について同方向に配置されている画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出手段と、
   前記出力比算出手段により算出された各組の出力比に基づいて、左右、上下、斜め方向の何れかの方向に前記欠陥画素を挟むようにして前記欠陥画素の近傍に配置されている前記欠陥画素と同色画素の少なくとも２画素の出力信号の平均値を算出する平均値算出手段と、
   前記平均値算出手段により算出された平均値で前記欠陥画素からの信号を置換する補正手段とを備えることを特徴とする撮像装置。
2. 前記出力比算出手段は、前記欠陥画素の近傍に当該欠陥画素を挟むようにして、左右、上下、斜め方向について同方向に配置されている同色画素の少なくとも２画素を１組として、各組の出力比を算出することを特徴とする請求項１記載の撮像装置。
3. 前記出力比算出手段は、前記欠陥画素を挟むようにして、左右、上下、斜め方向について同方向に前記欠陥画素に隣接して配置されている画素の少なくとも２画素を１組として、各組の出力比を算出することを特徴とする請求項１記載の撮像装置。
4. 前記平均値算出手段は、前記出力比算出手段により算出された前記出力比が最小となる組と同方向の画素を選択することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 複数の特定色が規則的に配列された色フィルタを備えた撮像素子を有する撮像装置であって、
   前記撮像素子における欠陥画素の近傍に配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる同色画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出手段と、
   前記出力比算出手段から得られた出力比が最小となる組を抽出する抽出手段と、
   前記抽出手段により抽出された組の複数の画素の出力信号の平均値を算出する平均値算出手段と、
   前記平均値算出手段により算出された平均値で前記欠陥画素からの信号を置換する補正手段とを備えることを特徴とする撮像装置。
6. 複数の特定色が規則的に配列された色フィルタを備えた撮像素子を有する撮像装置であって、
   前記撮像素子における欠陥画素に隣接して配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出手段と、
   前記出力比算出手段から得られた出力比が最小となる組を抽出する抽出手段と、
   前記抽出手段により抽出された組と同方向となる少なくとも２画素を１組として、前記欠陥画素を挟む形で前記欠陥画素の近傍に配置された前記欠陥画素と同色画素の組の出力信号の平均値を算出する平均値算出手段と、
   前記平均値算出手段により算出された平均値で前記欠陥画素からの信号を置換する補正手段とを備えることを特徴とする撮像装置。
7. 複数の特定色が規則的に配列された色フィルタを備えた撮像素子を有する撮像装置であって、
   前記撮像素子の欠陥画素を基準にした左右、上下、斜め方向のうちの複数の方向について、当該欠陥画素を挟むように配置された複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出手段と、
   前記欠陥画素を基準にした左右、上下、斜め方向のうち、前記出力比算出手段により算出された出力比に基づいて決定された方向における、当該欠陥画素を挟むように当該欠陥画素の近傍に配置された当該欠陥画素と同色の複数の画素の出力信号に基づく信号を、当該欠陥画素の信号とする処理手段とを備えることを特徴とする撮像装置。
8. 複数の特定色が規則的に配列された色フィルタを備えた撮像素子から得られる画像信号に対する画像処理方法であって、
   前記撮像素子における欠陥画素を挟むようにして、左右、上下、斜め方向について同方向に配置されている画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出工程と、
   前記出力比算出工程で算出された各組の出力比に基づいて、左右、上下、斜め方向の何れかの方向に前記欠陥画素を挟むようにして前記欠陥画素の近傍に配置されている前記欠陥画素と同色画素の少なくとも２画素の出力信号の平均値を算出する平均値算出工程と、
   前記平均値算出工程で算出された平均値で前記欠陥画素からの信号を置換する補正工程とを有することを特徴とする画像処理方法。
9. 複数の特定色が規則的に配列された色フィルタを備えた撮像素子から得られる画像信号に対する画像処理方法であって、
   前記撮像素子における欠陥画素の近傍に配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる同色画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出工程と、
   前記出力比算出工程で算出された出力比が最小となる組を抽出する抽出工程と、
   前記抽出工程で抽出された組の複数の画素の出力信号の平均値を算出する平均値算出工程と、
   前記平均値算出工程で算出された平均値で前記欠陥画素からの信号を置換する補正工程とを有することを特徴とする画像処理方法。
10. 複数の特定色が規則的に配列された色フィルタを備えた撮像素子から得られる画像信号に対する画像処理方法であって、
    前記撮像素子における欠陥画素に隣接して配置され、当該欠陥画素を挟む形で、左右、上下、斜め方向となる画素の少なくとも２画素を１組として、各組における複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出工程と、
    前記出力比算出工程で算出された出力比が最小となる組を抽出する抽出工程と、
    前記抽出工程で抽出された組と同方向となる少なくとも２画素を１組として、前記欠陥画素を挟む形で前記欠陥画素の近傍に配置された前記欠陥画素と同色画素の組の出力信号の平均値を算出する平均値算出工程と、
    前記平均値算出工程で算出された平均値で前記欠陥画素からの信号を置換する補正工程とを有することを特徴とする画像処理方法。
11. 複数の特定色が規則的に配列された色フィルタを備えた撮像素子から得られる画像信号に対する画像処理方法であって、
    前記撮像素子の欠陥画素を基準にした左右、上下、斜め方向のうちの複数の方向について、当該欠陥画素を挟む位置に配置された複数の画素の出力信号の絶対値の差と当該複数の画素の出力信号の平均値との比である出力比を算出する出力比算出工程と、
    前記欠陥画素を基準にした左右、上下、斜め方向のうち、前記出力比算出工程で算出された出力比に基づいて決定された方向における、当該欠陥画素を挟むように当該欠陥画素の近傍に配置された当該欠陥画素と同色の複数の画素の出力信号に基づく信号を、当該欠陥画素の信号とする処理工程とを有することを特徴とする画像処理方法。

Images