JP3636046B2 - 固体撮像素子の画素欠陥検出方法およびその方法を用いた撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビジョンカメラに用いられる固体撮像素子において発生した画素欠陥を検出する方法に関し、特に、複数の撮像素子で撮像光の同じ撮像位置の分光光をそれぞれ撮像する場合に、それら同じ撮像位置の撮像素子で撮像され出力された映像信号どうしを比較することによって、いずれの撮像素子において画素欠陥が発生しているか否かを実時間で検出できるようにした検出方法に関する。
【０００２】
【従来の技術】
従来のテレビジョンカメラの固体撮像素子の画素欠陥の検出方法としては、例えば、特開平10-98651号公報に記載されたように、固体撮像素子の光電変換面に対して被写体からの光学像を第１の周期毎に照射するための光学手段と、前記固体撮像素子を駆動して、前記第１の周期より短い周期の第２の周期毎に前記固体撮像素子の信号電荷を読み出す読み出し手段と、前記第１と第２の周期の違いにより、前記光学像が前記固体撮像素子の光電変換面に照射されなかったときの前記固体撮像素子の出力信号電荷を基準信号として保持するための記憶手段と、前記光学像が前記固体撮像素子の光電変換面に照射されたときの前記固体撮像素子の出力信号電荷を撮像信号とし、この撮像信号を前記基準信号により補正する手段とを具備したものがある。
【０００３】
この従来の技術によれば、回転シャッタ円板や電子シャッタを用いて映像信号の間に黒の基準信号が挿入されるごとくに、それら信号を固体撮像素子から出力することができる。そして、前記公報に記載のように、画素欠陥補正回路において、基準信号期間には、対応するフィールドの基準画像としてデジタル化された信号をフレームメモリに書き込み、また、基準信号期間を除く他の期間では、デジタル化されたフィールド信号から、フレームメモリに記憶されている、対応するフィールド画像を減算して出力するようにすることで、固定パターン雑音を実時間で検出しながら補正をかけるようにし、製造時の画素欠陥データの作成作業を不要として、画素欠陥等が使用中で変化しても自動的に補正処理された画像が得られることで、画質の向上ができるとされている。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような構成によっては、画素欠陥補正回路の出力信号には休止期間が生じてしまう。そのため、実時間で動画像を見る場合には、例えば、時間軸伸張回路を通すことにより、連続した時間間隔の映像信号を得ることが必要となるが、この時間軸伸張回路によりタイミングを調節するためには、相当規模の大きな回路構成を必要としなければならず、それによりコストが増大してしまう。
また、上述の休止期間に相当する映像信号は撮像されていないため、映像の内容がその前後で必要以上にとぎれてしまい、その内容のとぎれに係わらず時間軸伸張して時間間隔は連続させたとしても、その映像内容が要求されるよりも不連続になり、問題となってしまう可能性がある。
【０００５】
本発明の目的は、上述の従来技術のように映像信号期間とは別に基準信号期間を設ける必要を無くし、かつ、画素欠陥補正回路のような規模の大きな回路を用いることなく、映像信号期間に撮影された映像信号によって実時間に画素欠陥を検出できるようにすることである。
また、検出された画素欠陥の欠陥信号レベルに応じて画素欠陥毎に補正をするか否かの制御を外部より制御できるようにし、また、画像状況（蓄積の有無、蓄積時間、映像利得の度合等）に応じ、画素欠陥の欠陥信号レベルや画素欠陥補正用の補正係数を変化させるようにした画素欠陥補正方法を可能とすることを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、上記の課題を解決するため、撮像光を分光して得られた複数分光光をそれぞれ撮像して映像信号を出力する固体撮像素子の画素欠陥検出方法において、前記分光光毎に同一撮像位置もしくは近傍撮像位置で撮像し出力した映像信号どうしを比較した結果に応じて、前記分光光のうちいずれの分光光を撮像した撮像素子で画素欠陥が発生しているか否かを検出するものである。
本発明はさらに、前記映像信号が前記撮像素子から出力される毎に前記画素欠陥が発生しているか否かを検出するものである。
【０００７】
また、本発明は上記の課題を解決するため、撮像光を分光して得られた複数分光光をそれぞれ撮像して映像信号を出力する固体撮像素子の画素欠陥検出方法において、前記分光光ごとに、前記撮像光の所定撮像位置に応じた第１画素からの映像信号レベルと、該第１画素に隣接または近接している第２画素から得られる映像信号レベルとの差分を求め、前記分光光ごとに求めた前記差分どうしを比較することで、前記所定撮像位置に応じた前記第１画素、特に、前記比較し合った差分のうちより特徴的な差分に対応する分光光に係わる前記所定撮像位置に応じた前記第１画素を、欠陥画素として検出するものである。
【０００８】
さらに前記検出する処理では、前記分光光ごとに求めた前記差分のうち、それら差分の平均値に対し最も偏差が大きいとする差分であって、かつ、当該最大偏差の値が所定の値よりも大きいとする差分に対する分光光に係わる、前記所定撮像位置に応じた前記第１画素を、欠陥画素として検出するとしてもよい。
また、前記分光光ごとに求めた前記差分毎に、該差分を除いた差分を平均して得た値を、当該偏差を求めるための前記平均値として用いるとしてもよい。
さらに、前記撮像光の複数撮像位置それぞれに応じた前記第１画素からの映像信号が出力される毎に、前記検出する処理を繰り返し実行してもよい。
また、本発明は、撮像光を分光して得られた複数分光光をそれぞれ撮像して映像信号を出力する固体撮像素子を有する撮像装置において、前記分光光毎に同一撮像位置もしくは近傍撮像位置で撮像し出力した映像信号どうしを比較する手段、前記比較結果に応じ前記分光光のうちいずれの分光光を撮像した撮像素子で画素欠陥が発生しているか否かを検出する手段とを有するものである。
【０００９】
また、本発明は、撮像光を分光して得られた複数分光光をそれぞれ撮像して映像信号を出力する固体撮像素子を有する撮像装置において、前記分光光ごとに、前記撮像光の所定撮像位置に応じた第１画素からの映像信号レベルと、該第１画素に隣接または近接している第２画素から得られる映像信号レベルとの差分を求める手段、前記分光光ごとに求めた前記差分どうしを比較することで、該比較し合った差分のうち、より特徴的な差分に対応する分光光に係わる、前記所定撮像位置に応じた前記第１画素を欠陥画素として検出する手段とを有するものである。
さらに、前記検出手段からの出力に応じて前記画素欠陥の欠陥信号レベルを補正する手段を有し、該欠陥信号レベルが補正された映像信号を出力するとしてもよい。
【００１０】
【発明の実施の形態】
以下、本発明の実施例について、図を用いて説明する。図２は本発明に関わるテレビジョンカメラのブロック構成例を示す図である。この図において、１は被写体から入射された撮像光を集光するレンズ、２はレンズ１を通った撮像光を複数の分光光、例えば、赤、緑、青（以後それぞれＲ、Ｇ、Ｂと記載）の各波長の光に分光するプリズム、３，４，５はプリズム２からの分光光をそれぞれ受光し、画素毎に受光した分光光の光量に応じて光電変換し該変換により得られた電荷をそれぞれ蓄積する受光素子を複数備えた固体撮像素子（ＣＣＤ）である。
【００１１】
６，７，８は、撮像素子３，４，５でそれぞれ蓄積された電荷が順次受光素子から読み出されることで生成された映像信号を入力し、その入力された映像信号に存する雑音成分を除去して、信号成分だけをサンプルホールドすることで、雑音成分が除去された映像信号を出力する相関二重サンプリング（ＣＤＳ）回路である。９，１０，１１は、ＣＤＳ回路６，７，８からそれぞれ出力される映像信号に対し利得補正、ガンマ補正等の映像信号処理を行なうプリアンプ回路、１２，１３，１４はプリアンプ回路９，１０，１１からそれぞれ出力される映像信号処理された映像信号をデジタル信号に変換するＡ／Ｄ変換器である。
１５はＡ／Ｄ変換器１２，１３，１４からそれぞれ出力される各色のデジタル映像信号を基に、画素欠陥を画素毎に検出し、その検出画素位置と検出された画素欠陥の欠陥信号レベルを示す信号を出力する画素欠陥検出回路、１６は、画素欠陥検出回路１５で検出され出力された画素欠陥の検出画素位置と欠陥信号レベルを示す信号に応じて、Ａ／Ｄ変換器１２，１３，１４からそれぞれ出力されたデジタル映像信号の画素欠陥の補正を行ない、その画素欠陥補正された映像信号を映像信号処理回路１７へ出力する画素欠陥補正回路である。映像信号処理回路１７では、映像信号フォーマットなどの変換処理等が適宜行われ、それら処理された映像信号を後段（図示せず）へ出力する。
１８は、撮像素子３，４，５及び上述した各回路が所定のタイミングで動作するようにするための、また、この撮像装置と外部機器（図示せず）との外部制御を確立するためのＣＰＵ回路である。
【００１２】
次に、画素欠陥検出回路１５及び画素欠陥補正回路１６の動作について図１を用いて説明する。画素欠陥により映像に白キズが発生する場合を例として説明する。
ここで白キズとなる欠陥画素の欠陥信号レベルは、その周囲の画素の映像信号よりも信号レベルの高いピーク成分として現れるため、その白キズの画素の映像信号（欠陥信号）レベルの値は、周辺画素の映像信号レベルの平均値よりも比較的大きな値となり、その欠陥信号レベルの値から該平均値を減じて得られた差の値（差分）も、同様に大きな値となる。
一方、画素欠陥でない正常な画素については、殆どすべての撮影状況において、例えば、通常撮像装置で人間の一般的な視野感覚と同程度の視野でもって撮影されるような状況においては、その正常画素の映像信号レベルは、その周囲の画素の映像信号レベルと同じ程度になる場合が圧倒的に多い。そのため、その正常画素の映像信号レベルの値は、周辺画素の映像信号レベルの平均値と同程度の値となり、正常な画素の映像信号レベルの値から該平均値を減じて得られた差の値は、比較的小さな値となる。
さらに、例えば、Ｒチャネルのある所定画素が白キズ欠陥画素であるとした場合、その所定画素の対応する撮像光の所定撮像位置に、同様に対応するＧチャネルの画素とＢチャネルの画素のいずれかまたは両方が、Ｒチャネルの画素と同様に欠陥画素である可能性は極めて小さい。すなわち、撮像光の所定撮像位置に対応するＲ、Ｇ、Ｂチャネルの画素のうち、たかだか一画素が画素欠陥であるとしてよい。
【００１３】
従って、撮像光の所定撮像位置に対応するＲチャネルの所定画素が白キズ欠陥画素であるとした例では、このＲチャネルの所定画素の信号レベルとその周囲画素の信号レベルの平均値との差の値は上述したように比較的大きな値となると同時に、その所定位置に対応する、Ｇチャネルの画素の信号レベルとその周囲画素の信号レベルの平均値との差の値、および、Ｂチャネルの画素の信号レベルとその周囲画素の信号レベルの平均値との差の値は、ＧチャネルとＢチャネルのどちらにおいても比較的小さな値になるといえる。
そのため、撮像光の所定撮像位置に対応する画素の、上述したＲチャネル、Ｇチャネル、Ｂチャネルそれぞれの差の値どうしを比較することで、それらＲチャネル、Ｇチャネル、Ｂチャネルのうちいずれのチャネルの撮像素子で画素欠陥が発生しているか否かを検出することが可能である。
【００１４】
以下、本発明の画素欠陥検出方法について説明する。まず、本発明に係わる撮像装置のレンズ１を通った撮像光が、プリズム２で分光され、Ｒ、Ｇ、Ｂの各チャネルの分光光が得られる。それら分光光は、各チャネル毎に固体撮像素子３，４，５で受光される。各固体撮像素子では、画素毎に受光した分光光の光量に応じて光電変換されることで電荷が得られ、その電荷は蓄積され、さらに、映像信号として順次出力されることで各チャネル毎の映像信号が生成される。これら映像信号はＣＤＳ回路６，７，８、プリアンプ回路９，１０，１１、Ａ／Ｄ変換器１２，１３，１４を経て画素欠陥検出回路１５へ入力される。
【００１５】
この画素欠陥検出回路１５では、図１に示すような手順の信号処理を用いることで、入力された映像信号の画素欠陥となった欠陥信号部分を検出する。
その検出手順としては、まず、撮像光の注目する撮像位置、例えば、固体撮像素子上にマトリクス配列された複数受光素子のうちｎ番目の受光素子に対応した撮像位置Ａｎに対応する各チャネルの画素（以下、各チャネル毎に第１画素と称す）毎の映像信号レベル値を、各チャネル毎にそれぞれＲｎ、Ｇｎ、Ｂｎとする。さらに、各チャネル毎に、第１画素に隣接または近接している画素（以下、各チャネル毎に第２画素と称す）を適宜選択し、該選択された第２画素の映像信号レベルの平均値をそれぞれ求め、求められた平均値をそれぞれＲｎ＿ａｖ、Ｇｎ＿ａｖ、Ｂｎ＿ａｖとする（図１の１０１）。
【００１６】
次に、各チャネル毎に、第１画素の映像信号レベルから上記求められた第２画素の映像信号レベルの平均値を減じて得られた差の値（差分）を下式１，２，３のようにそれぞれＲｗ、Ｇｗ、Ｂｗとする（図１の１０２）。
Ｒｗ ＝ Ｒｎ − Ｒｎ＿ａｖ ・・・ （式１）
Ｇｗ ＝ Ｇｎ − Ｇｎ＿ａｖ ・・・ （式２）
Ｂｗ ＝ Ｂｎ − Ｂｎ＿ａｖ ・・・ （式３）
【００１７】
次に、上記求められた差分Ｒｗ，Ｇｗ，Ｂｗどうしを比較するために、各チャネルの差分からそのチャネル以外のチャネルの差分の平均値を減じることで各チャネル毎の偏差を求め、それら求められた各チャネルの偏差のうち最大のチャネルの偏差の値をＷｍａｘとする。各チャネルの偏差の算式は、図１に示した例では下式４、５、６とする（図１の１０３）。
Ｒチャネル・・・｜Ｒｗ − （ Ｇｗ ＋ Ｂｗ ）／ ２｜ ・・・ （式４）
Ｇチャネル・・・｜Ｇｗ − （ Ｂｗ ＋ Ｒｗ ）／ ２｜ ・・・ （式５）
Ｂチャネル・・・｜Ｂｗ − （ Ｒｗ ＋ Ｇｗ ）／ ２｜ ・・・ （式６）
なお、図示していないが、各チャネルの偏差の別の算式としては、Ｒ、Ｇ、Ｂの３チャネルの差分の平均値を用いて、下式７、８、９とし、それらの式により求められた値の中から最大の値Ｗｍａｘを求めるようにしてもよい。
Ｒチャネル・・・｜Ｒｗ − （ Ｒｗ ＋ Ｇｗ ＋ Ｂｗ ）／ ３｜ ・・・ （式７）
Ｇチャネル・・・｜Ｇｗ − （ Ｒｗ ＋ Ｇｗ ＋ Ｂｗ ）／ ３｜ ・・・ （式８）
Ｂチャネル・・・｜Ｂｗ − （ Ｒｗ ＋ Ｇｗ ＋ Ｂｗ ）／ ３｜ ・・・ （式９）
【００１８】
以上のようにＷｍａｘを求めたところで、この最大値Ｗｍａｘが所定のしきい値Ｗｔｈよりも大きいか否かを判定する（図１の１０４）。
この判定によって、最大値Ｗｍａｘが画素欠陥に係わる画素の映像信号レベルに基づいた値であるか否かが判断されることで、もし、最大値Ｗｍａｘが所定のしきい値Ｗｔｈよりも大きい場合には、Ｗｍａｘとした偏差に係わるチャネルの第１画素が、上記所定撮像位置に対応する画素欠陥の発生した欠陥画素であるとして検出される。一方、最大値Ｗｍａｘが所定のしきい値Ｗｔｈよりも小さい場合には、上記所定撮像位置に対応する画素欠陥の発生した画素はないとされる。
【００１９】
以上説明した本発明の画素欠陥検出手順を実施することにより、画素欠陥が検出された場合は、画素欠陥検出回路１５から、その検出結果に応じた欠陥画素の位置を示す信号（欠陥画素位置信号）が出力され画素欠陥補正回路１６へ入力される。
【００２０】
画素欠陥補正回路１６では、入力された欠陥画素位置信号と、Ａ／Ｄ変換器１２，１３，１４のいずれかから出力された欠陥画素の周辺の画素の映像信号を用いて補正信号を生成する。
ここで、図３は補正信号生成方法の一例を説明するための図である。この図３に示す例では、Ｒｎが画素欠陥の欠陥信号レベルであるとした場合、その補正信号のレベルＲｎ’は、隣接する４つの画素の映像信号レベルＲｎ−２，Ｒｎ−１，Ｒｎ＋１，Ｒｎ＋２からそれらの平均値を求めることで生成される。ここで、この補正信号レベルと、上述の差分を求めるときの説明における第２画素の映像信号レベルの平均値とを、同じ算式で求めるとしてもよく、この場合、下式１０、１１、１２によりそれらが算出される。
Ｒｎ＿ａｖ＝（Ｒｎ−２ ＋Ｒｎ−１ ＋Ｒｎ＋１ ＋Ｒｎ＋２）／４ ・・・（式１０）
Ｇｎ＿ａｖ＝（Ｇｎ−２ ＋Ｇｎ−１ ＋Ｇｎ＋１ ＋Ｇｎ＋２）／４ ・・・（式１１）
Ｂｎ＿ａｖ＝（Ｂｎ−２ ＋Ｂｎ−１ ＋Ｂｎ＋１ ＋Ｂｎ＋２）／４ ・・・（式１２）
なお、上述の補正信号レベルと平均値とは、必ずしも同じ値でなくてよく、また、それらの計算方法としては、様々な計算方法や信号の組み合わせが用いられることは言うまでもない。
【００２１】
以上のようにＲｎが画素欠陥の欠陥信号レベルであるとした場合、図１の１０５に例示するように、欠陥画素位置信号に応じて生成された補正信号レベルＲｎ’、この例では、Ｒｎ＿ａｖが欠陥信号レベルＲｎの代わりに欠陥画素（第１画素）の映像信号レベルとされ、それによって画素欠陥が補正される。
【００２２】
なお、以上の説明はある注目画素に関する撮像光の所定撮像位置ついての画素欠陥検出および画素欠陥補正の処理手順について説明したものであるが、これら手順は、固体撮像素子からの映像信号の出力動作に応じて、画素ごとの映像信号が出力される度に注目画素を順次切り換えながら逐次処理を繰り返し行うことで、画素単位でリアルタイムに画素欠陥検出あるいは画素欠陥補正を行うことができる。
【００２３】
また本発明では、操作者が撮像装置の図示していないメニュー画面を用いて操作することにより、あるいは、外部制御機能を用いて生成された外部コントロール信号により、その画素欠陥補正を設定するための信号がＣＰＵ回路１８に送信され、それによりＣＰＵ回路１８から画素欠陥検出回路１５及び画素欠陥補正回路１６へそれら回路を制御するための信号が送信されるようにする。そうすることで、画素欠陥毎に補正をするか否かの制御を外部より制御できるようにしたり、画像状況（蓄積の有無、蓄積時間、映像利得の度合等）に応じ、画素欠陥の欠陥信号レベルや画素欠陥補正用の補正係数を変化させるようにすることができる。
【００２４】
【発明の効果】
以上説明したように本発明によれば、映像信号期間とは別に基準信号期間を設ける必要を無くし、かつ、画素欠陥補正回路のような規模の大きな回路を用いることなく、画素ごとの映像信号が出力される度に注目画素を順次切り換えながら逐次処理を繰り返し行うようにして、画素単位でリアルタイムに画素欠陥検出あるいは画素欠陥補正を行うことができ、予め画素欠陥位置を検出する必要を省き、従来技術での画素欠陥の個数が増えた場合であっても再度画素欠陥位置を検出してメモリ等に書き込む手間を省くことができる。
また、検出された画素欠陥の欠陥信号レベルに応じて画素欠陥毎に補正をするか否かの制御を外部より制御できるようにし、また、画像状況（蓄積の有無、蓄積時間、映像利得の度合等）に応じ、画素欠陥の欠陥信号レベルや画素欠陥補正用の補正係数を変化させることができ、例えば蓄積時の、蓄積時間の変化による白キズの増減を適切に補正できるよう白キズ検出レベル（Ｗ）を蓄積時間に応じて変える等、撮像画像の状況により適応した補正が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例の動作を説明するためのフローチャート。
【図２】本発明に関わるテレビジョンカメラのブロック構成例を示す図。
【図３】補正信号生成方法の一例を説明するための図。
【符号の説明】
１：レンズ、 ２：プリズム、 ３，４，５：撮像素子（ＣＣＤ）、 ６，７，８：ＣＤＳ回路、 ９，１０，１１：プリアンプ回路、 １２，１３，１４：Ａ／Ｄ変換器、 １５：画素欠陥検出回路、 １６：画素欠陥補正回路、 １７：映像信号処理回路、１８：ＣＰＵ回路。

Claims (7)

1. 撮像光を分光して得られた複数分光光をそれぞれ撮像して映像信号を出力する固体撮像素子の画素欠陥検出方法において、前記分光光毎に同一撮像位置もしくは近傍撮像位置で撮像し出力した映像信号の偏差を求め、該偏差の値と所定の値を比較し、比較した結果に応じて、前記分光光のうちいずれの分光光を撮像した撮像素子で画素欠陥が発生しているか否かを検出することを特徴とした画素欠陥検出方法。
2. 撮像光を分光して得られた複数分光光をそれぞれ画素毎に受光し光電変換して映像信号を出力する固体撮像素子の画素欠陥検出方法において、前記画素毎に受光した分光光毎に、前記撮像光の所定画素位置に応じた第１の画素からの映像信号レベルと、該第１の画素に隣接または近接している第２の画素から得られる映像信号レベルとの差分を求め、前記差分のうち、差分の平均値に対し最も偏差が大きいとする差分であって、かつ、当該最大偏差の値が所定の値よりも大きいとする差分に対する分光光に係わる前記所定画素位置に応じた前記第１の画素を欠陥画素として検出することを特徴とする画素欠陥検出方法。
3. 請求項２に記載の画素欠陥検出方法において、前記分光光ごとに求めた前記差分毎に、該差分を除いた差分を平均して得た値を、当該偏差を求めるための前記平均値として用いることを特徴とする画素欠陥検出方法。
4. 請求項２または３に記載の画素欠陥検出方法において、前記撮像光の複数撮像位置それぞれに応じた前記第１の画素からの映像信号が出力される毎に、前記検出する処理を繰り返し実行することを特徴とする画素欠陥検出方法。
5. 撮像光を分光して得られた複数分光光をそれぞれ撮像して映像信号を出力する固体撮像素子を有する撮像装置において、前記分光光毎に同一撮像位置もしくは近傍撮像位置で撮像し出力した映像信号の偏差を求め手段、該手段で得られた偏差の値と所定の値を比較する手段、前記比較結果に応じ前記分光光のうちいずれの分光光を撮像した撮像素子で画素欠陥が発生しているか否かを検出する手段とを有することを特徴とした撮像装置。
6. 撮像光を分光して得られた複数分光光をそれぞれ画素毎に受光し光電変換して映像信号を出力する固体撮像素子を有する撮像装置において、前記画素毎に受光した分光光ごとに、前記撮像光の所定画素位置に応じた第１の画素からの映像信号レベルと、該第１の画素に隣接または近接している第２の画素から得られる映像信号レベルとの差分を求める手段と、前記分光光ごとに求めた前記差分の平均値に対し最も偏差が大きいとする差分であって、かつ、当該最大偏差の値が所定の値よりも大きいとする差分を求める手段と、該手段から得られた結果から前記所定画素位置に応じた前記第１の画素を、欠陥画素として検出する手段とを有することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、さらに、前記検出手段からの出力に応じて前記画素欠陥の欠陥信号レベルを補正する手段を有し、該欠陥信号レベルが補正された映像信号を出力することを特徴とする撮像装置。

Images