JP3909918B2 - 画素欠陥補正装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子から出力される画素信号に含まれる画素欠陥を検出して補正する画素欠陥補正装置に関する。
【０００２】
【従来の技術】
固体撮像素子を用いて被写体を撮像する固体撮像カメラが従来より知られている。このうち、画素数の多い固体撮像素子を用いる高精細カメラでは不良画素の発生頻度が高くなり、入力画像中の画素欠陥を補正する技術が必要になる。そこで、撮像素子の後段に設けられたディジタル画像処理手段により欠陥を検出し、補正することができれば、カメラの歩留まりを向上させることができる上に、出荷時に発生予測が困難な欠陥にも対応できる。
【０００３】
特開平０６−２０５３０２号公報は、画像処理により固体撮像カメラにおける画素欠陥を検出して補正する技術を開示している。この公報では、注目画素とその近傍の連続する４画素を用い、注目画素信号が周辺画素信号に対して一定値以上突き出しており、かつ、隣接する前後の画素信号が一定のレベル以上であるときに当該注目画素は欠陥画素であると判定してこれを補正している。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記した特開平０６−２０５３０２号公報は、注目画素を中心とする連続５画素を対象としたアルゴリズムを提案しており、これを実現するハードウェア構成は最低５画素に対応したものでなければならない。また、特開平０６−２０５３０２号公報は画素欠陥を点光源から区別する判定手法を開示しているが、周辺画素列が変化している中に画素欠陥が含まれるような場合には対応することができない。さらに、特開平０６−２０５３０２号公報は欠陥があると判定された画素の補正方法については具体的に記載していない。
【０００５】
本発明の画素欠陥補正装置はこのような課題に着目してなされたものであり、その目的とするところは、画素欠陥を判定するために最小限必要な画素数によるアルゴリズムを提案し、それを実現するより簡便なハードウェア構成による画素欠陥補正装置を提供することにある。
【０００６】
また、本発明の他の目的は、周辺画素列が変化している中に画素欠陥が含まれるような場合を含む、より広い適用対象に対して有効に画素欠陥の判定を行うことができる画素欠陥補正装置を提供することにある。
また、本発明の他の目的は、補正後の画像に違和感のない滑らかな補正を行うことができる画素欠陥補正装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明に係る画素欠陥補正装置は、固体撮像素子から出力される４つの連続する画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 のうち、前記画素信号ｘ_j-2 およびｘ_j-1 に基づいて予測される第１の予測画素信号ｘ^* _j を算出する第１の予測手段と、前記画素信号ｘ_j と前記第１の予測画素信号ｘ^* _j との差異を評価する第１の評価手段と、前記第１の予測手段における算出値を基に第２の予測画素信号ｘ^* _j+1 を算出する第２の予測手段と、前記画素信号ｘ_j+1 と前記第２の予測画素信号ｘ^* _j+1 との差異を評価する第２の評価手段と、前記第１の評価手段において前記画素信号ｘ_j と前記第１の予測画素信号ｘ^* _j との差異が大きいと判定され、かつ前記第２の評価手段において前記画素信号ｘ_j+1 と前記第２の予測画素信号ｘ^* _j+1 との差異が小さいと判定された場合に、前記画素信号ｘ_j を前記第１の予測画素信号ｘ^* _j に置き換えて補正する補正手段とを具備する。
【０００８】
また、第２の発明に係る画素欠陥補正装置は、第１の発明に係る画素欠陥補正装置において、前記第１および第２の予測手段は、線形予測に基づいて予測画素信号の計算を行う。
【０００９】
また、第３の発明に係る画素欠陥補正装置は、固体撮像素子から出力される５つの連続する画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 ，ｘ_j+2 のうち、少なくとも３つの画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j を用いて前記画素信号ｘ_j が欠陥信号であるかどうかを評価すると共に、前記画素信号ｘ_j の第１の予測画素信号ｘ^* _jを算出する第１の欠陥判定手段と、少なくとも３つの画素信号ｘ_j ，ｘ_j+1 ，ｘ_j+2 を用いて前記画素信号ｘ_j が欠陥信号であるかどうかを評価すると共に、前記画素信号ｘ_j の第２の予測画素信号ｘ^{* ’} _j を算出する第２の欠陥判定手段と、前記第１および第２の欠陥判定手段の出力から前記画素信号ｘ_j が欠陥信号であると判定された場合に、前記第１および第２の予測画素信号ｘ^* _jおよびｘ^{* ’} _j に基づいて補正画素信号ｘ^c _jを算出し、前記画素信号ｘ_j をこの補正画素信号ｘ^c _jに置き換えて補正する補正手段とを具備する。
また、第４の発明に係る画素欠陥補正装置は、第３の発明に係る画素欠陥補正装置において、更に所定のパラメータを記録する記録手段を有し、かつ前記第１の欠陥判定手段は、注目画素信号ｘ _j の近傍画素信号による第１の線形予測画素信号ｘ ^* _j と実測信号ｘ _j との差を計算する第１の差信号算出手段と、前記パラメータと前記第１の差信号算出手段の算出結果との大小関係を判定する第１の比較手段とを有し、前記第２の欠陥判定手段は、注目画素信号ｘ _j の近傍画素信号による第２の線形予測画素信号ｘ ^{* ’} _j と実測信号ｘ _j との差を算出する第２の差信号算出手段と、前記パラメータと前記第２の差信号算出手段の算出結果との大小関係を判定する第２の比較手段とを有する。
【００１０】
すなわち、第１の発明に係る画素欠陥補正装置においては、まず、固体撮像素子から出力される４つの連続する画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 のうち、前記画素信号ｘ_j-2 およびｘ_j-1 に基づいて予測される第１の予測画素信号ｘ^* _j を第１の予測手段によって算出する。次に、前記画素信号ｘ_j と前記第１の予測画素信号ｘ^* _j との差異を第１の評価手段によって評価するとともに、前記第１の予測手段における算出値を基に第２の予測画素信号ｘ^* _j+1 を第２の予測手段によって算出する。次に、前記画素信号ｘ_j+1 と前記第２の予測画素信号ｘ^* _j+1 との差異を第２の評価手段によって評価する。そして、前記第１の評価手段において前記画素信号ｘ_j と前記第１の予測画素信号ｘ^* _j との差異が大きいと判定され、かつ前記第２の評価手段において前記画素信号ｘ_j+1 と前記第２の予測画素信号ｘ^* _j+1 との差異が小さいと判定された場合に、補正手段によって前記画素信号ｘ_j を前記第１の予測画素信号ｘ^* _j に置き換えて補正する。
【００１１】
また、第２の発明に係る画素欠陥補正装置においては、前記第１および第２の予測手段が予測画素信号の計算を行う場合に、線形予測を用いる。
また、第３の発明に係る画素欠陥補正装置においては、まず、第１の欠陥判定手段によって、固体撮像素子から出力される５つの連続する画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 ，ｘ_j+2 のうち、少なくとも３つの画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j を用いて前記画素信号ｘ_j が欠陥信号であるかどうかを評価すると共に、前記画素信号ｘ_j の第１の予測画素信号ｘ^* _jを算出する。次に、第２の欠陥判定手段によって、少なくとも３つの画素信号ｘ_j ，ｘ_j+1 ，ｘ_j+2 を用いて前記画素信号ｘ_j が欠陥信号であるかどうかを評価すると共に、前記画素信号ｘ_j の第２の予測画素信号ｘ^{* ’} _j を算出する。そして、前記第１および第２の欠陥判定手段の出力から前記画素信号ｘ_j が欠陥信号であると判定された場合に、補正手段によって前記第１および第２の予測画素信号ｘ^* _jおよびｘ^{* ’} _j に基づいて補正画素信号ｘ^c _jを算出し、前記画素信号ｘ_j をこの補正画素信号ｘ^c _jに置き換えて補正する。
また、第４の発明に係る画素欠陥補正装置によれば、第３の発明に係る画素欠陥補正装置において、更に所定のパラメータを記録手段により記録し、かつ前記第１の欠陥判定手段は、第１の差信号算出手段を用いて注目画素信号ｘ _j の近傍画素信号による第１の線形予測画素信号ｘ ^* _j と実測信号ｘ _j との差を計算するとともに、第１の比較手段を用いて前記パラメータと前記第１の差信号算出手段の算出結果との大小関係を判定し、前記第２の欠陥判定手段は、第２の差信号算出手段を用いて注目画素信号ｘ _j の近傍画素信号による第２の線形予測画素信号ｘ ^{* ’} _j と実測信号ｘ _j との差を算出するとともに、第２の比較手段を用いて前記パラメータと前記第２の差信号算出手段の算出結果との大小関係を判定する。
【００１２】
【発明の実施の形態】
まず、図面を参照して本発明の実施形態を詳細に説明する。図１は、本発明が適用される第１実施形態の撮像装置の全体構成を示す図であり、固体撮像素子１００と、Ａ／Ｄ変換器２００と、画素欠陥補正回路３００と、パラメータ供給回路４００とから構成される。
【００１３】
固体撮像素子１００は、ＣＣＤ（Charge Coupled Device）あるいはＣＭＤ（Charge Modulation Device）などの半導体エリアセンサを用いて構成され、受光面上に結像された物体の像である光強度分布を電荷に変換し、電気的時系列信号として出力する。その出力信号はＡ／Ｄ変換器２００により所定のディジタル信号に変換され、画素欠陥補正回路３００により欠陥画素の検出・補正処理が行われて、画像メモリや画像表示装置などへ送られる。また、パラメータ供給回路４００には画素欠陥補正回路３００における検出・補正処理に必要なパラメータが記録されている。
【００１４】
図２は、上記した画素欠陥補正回路３００の詳細な構成を示す図である。Ａ／Ｄ変換器２００から転送される注目画素信号ｘ_j を中心とする連続する３つの画素信号ｘ_j-1 ，ｘ_j ，ｘ_j+1 はフリップフロップ（ＦＦ）３０１−１〜３０３−３に各々記録される。ここで、連続する画素信号とは画素欠陥補正回路３００に連続して入力される画素信号を意味し、固体撮像素子１００の連続して配置された画素からの信号のみならず、固体撮像素子１００の離れた位置に配置された画素からの信号を連続して受ける場合も含む。
【００１５】
上記した３つの画素信号ｘ_j-1 ，ｘ_j ，ｘ_j+1 に連続する次の画素信号ｘ_j-2 と、ＦＦ３０１−１に記録されている画素信号ｘ_j-1 は減算器３０２に入力され、ここで減算（ｘ_j-1 −ｘ_j-2 ）が実行される。その算出結果である差Ｓは、加算器３０３によってＦＦ３０１−１に記録されている画素信号ｘ_j-1 と加算され、注目画素信号ｘ_j の線形予測画素信号（第１の予測画素信号）ｘ^* _j ＝ｘ_j-1 ＋Ｓが算出される。上記したＦＦ３０１−１、減算器３０２、加算器３０３は第１の予測手段を構成する。
【００１６】
線形予測画素信号ｘ^* _j と実際に入力された注目画素信号ｘ_j とは差の絶対値を演算する演算器３０４に入力され、ここで差の絶対値ｄ_j ＝｜ｘ^* _j −ｘ_j ｜が算出される。この差の絶対値ｄ_j は比較器３０８−１によって、パラメータ供給回路４００にあらかじめ記録されているパラメータｔｈｒ１と大小が比較され、ｄ_j ＞ｔｈｒ１の場合に比較器３０８−１からは信号“１”が出力される。そうでない場合は比較器３０８−１からの出力信号は“０”のままである。上記した演算器３０４と比較器３０８−１とパラメータ供給回路４００とは第１の評価手段を構成する。
【００１７】
一方、減算器３０２の出力である差Ｓと加算器３０３からの出力である線形予測画素信号ｘ^* _j とは第２の予測手段としての加算器３０５において加算され、ここで画素信号ｘ_j+1 の線形予測画素信号（第２の予測画素信号）ｘ^* _j+1 ＝ｘ^* _j ＋Ｓが算出される。その線形予測画素信号ｘ^* _j+1 と実際に入力された画素信号ｘ_j+1 とは差の絶対値を演算する演算器３０６に入力され、差の絶対値ｄ_j+1 ＝｜ｘ^* _j+1 −ｘ_j+1 ｜が算出される。この差の絶対値ｄ_j+1 は比較器３０８−２において、パラメータ供給回路４００にあらかじめ記録されているパラメータｔｈｒ２と大小が比較され、ｄ_j ＜ｔｈｒ２の場合に比較器３０８−２からは信号“１”が出力される。また、そうでない場合には“０”が出力される。上記した演算器３０６と比較器３０８−２とパラメータ供給回路４００とは第２の評価手段を構成する。
【００１８】
比較器３０８−１と比較器３０８−２の出力信号は論理積演算器３０９に入力され、両信号が“１”のときのみ出力信号“１”が、そうでない場合は出力信号“０”がセレクタ３１０に入力される。セレクタ３１０にはこの他に、実際に入力された注目画素信号ｘ_j と加算器３０３からの出力である注目画素の線形予測画素信号ｘ^* _j とが入力され、論理積演算器３０９からの出力信号が“１”の場合には線形予測画素信号ｘ^* _j を、そうでない場合には入力画素信号ｘ_j を注目画素の画素信号として選択・出力する。上記した論理積演算器３０９、セレクタ３１０とは補正手段を構成する。
【００１９】
以下に、上記した構成の作用についてさらに説明する。まず、注目画素ｘ_j を含む４つの連続する画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 に対して以下の３条件が成り立つと仮定する。
【００２０】
（ａ）４画素近傍における画素信号列はその信号レベルがほぼ線形に変化する。
（ｂ）ノイズ成分は欠陥画素信号と周辺画素信号とのギャップに比べて十分小さい。
【００２１】
（ｃ）４連続画素中において、画素欠陥は注目画素以外には存在しない。
図３は、上記した３条件を満たす画素列の概念図である。上記仮定において、本実施形態では以下のようなアルゴリズムが実行される。
【００２２】
( ｉ) 画素信号ｘ_j-2 とｘ_j-1 の差Ｓ＝ｘ_j-2 −ｘ_j-1 を計算する。
(ii) 注目画素信号ｘ_j の線形予測画素信号ｘ^* _j ＝ｘ_j-1 ＋Ｓを求める。
(iii) 注目画素の実測画素信号ｘ_j とその線形予測画素信号ｘ^* _j との差の絶対値ｄ_j ＝｜ｘ_j −ｘ^* _j ｜を求める。
【００２３】
(iv ） 差の絶対値ｄ_j とあらかじめ設定されているパラメータｔｈｒ１との大小を比較する。
（ｖ）画素信号ｘ_j+1 の線形予測画素信号ｘ^* _j+1 ＝ｘ^* _j ＋Ｓを求める。
（vi）実測画素信号ｘ_j+1 とその線形予測画素信号ｘ^* _j+1 との差の絶対値ｄ_j+1 ＝｜ｘ_j+1 −ｘ^* _j+1 ｜を求める。
【００２４】
(vii） 差の絶対値ｄ_j+1 とあらかじめ設定されているパラメータｔｈｒ２との大小を比較する。
(viii) ｄ_j ＞ｔｈｒ１かつｄ_j+1 ＜ｔｈｒ２の場合に注目画素信号ｘ_j を画素欠陥のある信号であると判定し、その線形画素信号ｘ^* _j に置き換える。
【００２５】
上記したアルゴリズムは、注目画素信号をその近傍の連続画素信号による線形予測値と比較することにより画素欠陥があるかどうかを判定し、補正する手法を具現化するものである。つまり、画素信号列が滑らかに推移している中に突出した欠陥画素信号が存在する場合にそれを検出し、線形予測画素信号で置換えることにより、画素信号列の滑らかを維持し、違和感の少ない補正画像を提供することを意図している。
【００２６】
しかも、最少の参照画素数で画素欠陥を検出するアルゴリズムであるのでハードウェア構成を簡便にできる。また、上記アルゴリズムの(iii) においてｘ_j −ｘ^* _j ＜０の場合は輝度値の小さい欠陥信号、いわば黒点を対象とし、逆にｘ_j −ｘ^* _j ＞０の場合は輝度値の大きい欠陥信号、いわば白点を対象とすることができるので、ｄ_j ＝｜ｘ_j −ｘ^* _j ｜を評価することにより両者を同時に扱うことができる。さらに、本アルゴリズムでは（iv）と(vii) の２つの条件を同時に満足する場合にはじめて画素欠陥が存在すると判定するようにしたので、画像中の凹凸やエッジなどの影響により対象画素列が急激な変化をするような場合において、注目画素を欠陥のある画素として誤認識することを防止することができる。
【００２７】
以下に本発明の第２実施形態を説明する。第２実施形態では、第１実施形態におけるパラメータ供給回路４００の代わりに、複数のパラメータを記憶する記憶回路と、この複数のパラメータから任意のパラメータを選択するための選択回路とを備えたパラメータ供給回路５００を用いる。それ以外の構成は第１実施形態と同様である。
【００２８】
図４は本発明の第２実施形態に係るパラメータ供給回路５００の構成を示す図である。パラメータ供給回路５００の内部には第１実施形態で使用したパラメータｔｈｒ１の候補として、ｎ（ｎ≧２）個のパラメータｔｈｒ１₁ ，ｔｈｒ１₂ ，…，ｔｈｒ１_n を各々記録するＲＯＭ５０１−１，５０１−２，…，５０１−ｎが設けられている。同様に第１実施形態で使用したパラメータｔｈｒ２の候補として、ｍ（ｍ≧２）個のパラメータｔｈｒ２₁ ，ｔｈｒ２₂ ，…，ｔｈｒ２_m を各々記録するＲＯＭ５０２−１，５０２−２，…，５０２−ｍが設けられている。セレクタ５０３−１は、ＲＯＭ５０１−１，５０１−２，…，５０１−ｎに記録されているｎ個のパラメータから一つを選択し、画素欠陥補正回路３００に送る。同様にセレクタ５０３−２はＲＯＭ５０１−１，５０２−２，…，５０２−ｍに記録されているｍ個のパラメータから一つを選択し、画素欠陥補正回路３００に送る。
【００２９】
セレクタ５０３−１，５０３−２がどのパラメータを選択するかは、パラメータ選択器５０４の指令信号に基づく。つまり、パラメータ選択器５０４はＲＯＭなどで構成され、画素欠陥補正回路３００に入力された画素信号列ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 の信号レベル（平均や中間値、あるいは画素信号ｘ_j-2 の値など）に応じて適当な選択指令信号をセレクタ５０３−１，５０３−２に送るようにする。
【００３０】
なお、パラメータ供給回路５００の構成は、ｎ（ｎ≧２）個のパラメータｔｈｒ１₁ ，ｔｈｒ１₂ ，…，ｔｈｒ１_n を１個のＲＯＭに記録し、パラメータ選択器５０４は所定のパラメータが記録されているＲＯＭのアドレスを出力するようにすることにより同様な処理を行わせるようにしても良い。その場合、セレクタは不要になる。
【００３１】
以下に、上記した構成の作用についてさらに説明する。画素欠陥を検出し、補正するアルゴリズムは第１実施形態と同様であるが、第２実施形態はパラメータｔｈｒ１，ｔｈｒ２を連続する画素信号列のレベルに応じて適応的に選択する機能を有する。このような機能によって、固体撮像素子１００が信号に依存したノイズ特性を有するような場合に対して、パラメータを適当に調整することにより画素欠陥の検出精度を良い状態に保つことができる。
【００３２】
すなわち、本実施形態のアルゴリズムでは注目画素値の線形予測を行うため、ノイズは検出精度に敏感に影響する。ノイズによる画素欠陥の誤検出は、パラメータｔｈｒ１，ｔｈｒ２の調整で防ぐことができるが、それらを最適な値に設定するにはノイズの定量的な推定が必要である。そこで、本実施形態では連続する画素信号列の信号レベルを基にノイズを予測し、パラメータの最適化を行うようにする。
【００３３】
以下に本発明の第３実施形態を説明する。本発明の第３実施形態は、第２実施形態の構成に標準偏差算出器（第１、第２の評価手段に含まれる）を加え、注目画素の近傍領域における画素信号の標準偏差を参照することにより最適なパラメータを選択する機能を付加している。図５は、本発明が適用される第３実施形態の撮像装置の全体構成を示す図である。図５において、固体撮像素子１００からの出力信号をＡ／Ｄ変換器２００によりディジタル画像信号に変換する。このＡ／Ｄ変換器２００からの連続画素信号列は画素欠陥補正回路３００と共に標準偏差算出器６００に入力される。標準偏差算出器６００は累積加算器、２乗計算器、減算器、平方根算出器などで構成され（図示せず）、注目画素近傍の連続画素列について画素信号の標準偏差を算出する。パラメータ供給回路５００は第２実施形態における構成と同様であるが、本実施形態においては、標準偏差算出器６００からの出力値に基づいて最適なパラメータが選択されるように構成される。それ以外の構成は、第２実施形態と同様である。
【００３４】
すなわち、本実施形態では、注目画素近傍の連続画素列における画素信号の標準偏差を参照して最適なパラメータを設定することでノイズに対して適応的な処理を行わせる。つまり、画像が滑らかに推移する局所領域では標準偏差を算出することによりノイズの大きさを定量評価できるので、それを基に最適なパラメータｔｈｒ１，ｔｈｒ２を選択することができる。
【００３５】
以下に本発明の第４実施形態を説明する。本発明の第４実施形態は、最適なパラメータｔｈｒ１，ｔｈｒ２を注目画素の線形予測の際に算出される隣接画素間の勾配を基に算出するものである。
【００３６】
図６は第４実施形態に係るパラメータ供給回路７００の構成を示す図である。このパラメータ供給回路７００内には、ＲＯＭ７０１−１，７０１−２が設けられ、それぞれ所定の係数α，βが記録されている。画素欠陥補正回路３００内では第１実施形態と同様に、画素信号列ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 に対する画素欠陥検出処理の過程で画素信号ｘ_j-2 とｘ_j-1 の差Ｓ＝ｘ_j-2 −ｘ_j-1 が算出されるが、この差Ｓはパラメータ供給回路７００内に導かれ、積算器７０２−１，７０２−２においてそれぞれ係数α，βと積算される。その算出結果がそれぞれパラメータｔｈｒ１，ｔｈｒ２として画素欠陥補正回路３００にフィードバックされる。
【００３７】
以下に上記した構成の作用をさらに説明する。本実施形態では、注目画素近傍の勾配を参照してパラメータｔｈｒ１，ｔｈｒ２を算出する作用を有する。本実施形態のアルゴリズムによれば、注目画素の線形予測に基づいて画素欠陥の判定を行うので注目画素近傍の画素信号がどの程度の勾配で推移しているかを考慮しながら最適なパラメータを設定することは欠陥検出精度にとって重要である。そこで、本実施形態では画素欠陥補正回路３００内で算出される差Ｓを参照してパラメータを算出する。その際に、パラメータｔｈｒ１，ｔｈｒ２を次式のような単純な計算により設定するようにモデル化している。
【００３８】
ｔｈｒ１＝α×Ｓ， ｔｈｒ２＝β×Ｓ
係数α，βはあらかじめ実験的に最適な値を調べておけばよい。このような構成により、パラメータの設定自由度を広げ、適用範囲を拡大することができる。しかも、単純な計算によりパラメータをその場で算出することができるので、ハードウェア構成を簡便にすることができる。
【００３９】
なお、本実施形態では差Ｓを参照してパラメータを算出するように構成したが第２実施形態と同様に参照する値は注目画素近傍の画素信号自身でも良い。また第３実施形態の構成において、パラメータ供給回路５００を本実施形態のパラメータ供給回路７００に置き換えることにより、注目画素近傍の画素信号列における標準偏差を参照してパラメータを算出するように構成しても良い。
【００４０】
以下に本発明の第５実施形態を説明する。本発明の第５実施形態は、画像メモリに記録された画像信号に対して画素欠陥補正の処理を効率良く行う装置に関する。
【００４１】
図７は本発明が適用される第５実施形態の撮像装置の全体構成を示す図である。固体撮像素子１００で撮像され、Ａ／Ｄ変換器２００でディジタル信号に変換された画像データは画像メモリ８００に一旦記録される。画素欠陥補正回路９００は画像メモリ８００に記録されている画像信号に対して所定の処理を実行し、補正処理を施した画素信号を画像メモリ８００に再び書き込む。
【００４２】
図８は上記した画素欠陥補正回路９００の内部構成を示す図である。画像メモリ８００から転送される連続画素信号列ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 はバッファメモリ（ＢＭ）９０１−１〜９０１−４に記録される。これらの画素信号に対して、セレクタ９０２−１，９０２−２、加減算器９０３、バッファメモリ（ＢＭ）９０４，９０５、絶対値演算器９０６、比較器９０７により後述するアルゴリズムに従った画素欠陥検出処理が行われ、回路全体の制御に必要な中間処理データおよび最終結果はＣＰＵ９０８に送られる。
【００４３】
ＣＰＵ９０８は前記アルゴリズムを実行するために必要なセレクタ及び加減算器などの制御を行う。また、最終的に注目画素ｘ_j が欠陥であると判定された場合にはＣＰＵ９０８からゲート９０９を制御することによりバッファメモリ（ＢＭ）９０５に記録されている予測信号ｘ^* _j を画像メモリ８００に送り、画素信号ｘ_j を予測信号ｘ^* _j に書き換えることにより画素欠陥の補正を行う。
【００４４】
上記した構成において、第１の予測手段はセレクタ９０１−１、９０２−２、加減算器９０３、ＢＭ９０４、９０５、ＣＰＵ９０８より構成され、第１の評価手段はセレクタ９０１−１、９０２−２、加減算器９０３、ＢＭ９０４、絶対値演算器９０６、比較器９０７、ＣＰＵ９０８、パラメータ供給回路４００より構成され、第２の予測手段は、セレクタ９０１−１、９０２−２、加減算器９０３、ＢＭ９０４、９０５、ＣＰＵ９０８より構成され、第２の評価手段は、セレクタ９０１−１、９０２−２、加減算器９０３、ＢＭ９０４、９０５、絶対値演算器９０６、比較器９０７、ＣＰＵ９０８、パラメータ供給回路４００より構成され、補正手段はＢＭ９０５とＣＰＵ９０８とから構成される。
【００４５】
以下に上記した構成の作用をさらに説明する。本実施形態では、以下に示すようなアルゴリズムに従った画素欠陥検出・補正処理が行われる。このアルゴリズムは第１実施形態に示したものとほぼ同様であるが、画像メモリに記録された画像信号に対して非同期に処理を行うことを想定した変形例である。
( ｉ）画素信号ｘ_j-2 とｘ_j-1 の差Ｓ＝ｘ_j-2 −ｘ_j-1 を計算する。
(ii ）注目画素信号ｘ_j の線形予測画素信号ｘ^* _j ＝ｘ_j-1 ＋Ｓを求める。
(iii） 注目画素の実測信号ｘ_j とその線形予測画素信号ｘ^* _j との差の絶対値ｄ_j ＝｜ｘ_j −ｘ^* _j ｜を求める。
(iv ）差の絶対値ｄ_j とあらかじめ設定されているパラメータｔｈｒ１との大小を比較し、ｄ_j ＞ｔｈｒ１の場合には（ｖ）に進む。
( ｖ）画素信号ｘ_j+1 の線形予測画素信号ｘ^* _j+1 ＝ｘ^* _j ＋Ｓを求める。
(vi ） 実測画素信号ｘ_j+1 とその線形予測画素信号ｘ^* _j+1 との差の絶対値ｄ_j+1 ＝｜ｘ_j+1 −ｘ^* _j+1 ｜を求める。
(vii） 差の絶対値ｄ_j+1 とあらかじめ設定されているパラメータｔｈｒ２との大小を比較し、ｄ_j+1 ＜ｔｈｒ２の場合に注目画素信号ｘ_j を画素欠陥のある信号である判定しその線形画素信号ｘ^* _j に置き換える。
【００４６】
上記アルゴリズム２段階の条件分岐で構成され、（iv）の分岐において補正処理を必要としない多くの場合を除外することにより、処理の高速化を実現できる。また、加減算器を１個だけ用いるなどハードウェア構成を簡便にすることができる。
【００４７】
以下に本発明の第６実施形態を説明する。本発明の第６実施形態は、注目画素の近傍５画素を利用して画素欠陥の判定および補正を行う画素欠陥補正装置に関する。本発明が適用される第６実施形態の撮像装置の全体構成は画素欠陥補正回路以外は図１に示す第１実施形態と同様である。
【００４８】
図９は、本発明の第６実施形態における画素欠陥補正回路１０００の詳細な内部構成を示す図である。画素欠陥補正回路１０００に入力される連続画素信号ｘ_j-1 ，ｘ_j ，ｘ_j+1 ，ｘ_j+2 は内部のＦＦ１００１−１〜１００１−４にそれぞれ格納される。これらの連続画素信号のうち、画素信号ｘ_j-1 ，ｘ_j および新たに入力される画素信号ｘ_j-2 は第１の欠陥判定手段としての欠陥判定回路１００２−１に入力され、画素信号ｘ_j-2 ，ｘ_j-1 から算出される画素信号ｘ_j の予測画素信号（第１の予測画素信号）ｘ^* _j と、実際に観測された画素信号ｘ_j との比較が行われ、その比較結果と予測画素信号ｘ^* _j が欠陥判定／補正回路１００３に転送される。
【００４９】
同様に、画素信号ｘ_j ，ｘ_j+1 ，ｘ_j+2 は第２の欠陥判定手段としての欠陥判定回路１００２−２に入力され、画素信号ｘ_j+2 ，ｘ_j+1 から算出される画素信号ｘ_j の予測画素信号（第２の予測画素信号）ｘ^* ′ _jと実際に観測された実測画素信号ｘ_j との比較が行われ、その比較結果と予測画素信号ｘ^* ′ _jが欠陥判定／補正回路１００３に転送される。なお、欠陥判定回路１００２−１，１００２−２は共に第１実施形態における画素欠陥補正回路３００と類似した構成を有し、２つの画素信号ｘ_j+2 ，ｘ_j-1 （またはｘ_j+2 ，ｘ_j+1 ）の線形予測から予測画素信号ｘ^* _j （またはｘ^* ′ _j）を算出し、実測画素信号ｘ_j と予測画素信号ｘ^* _j （またはｘ^* ′ _j）の差とパラメータ供給回路４００に格納されているパラメータｔｈｒ１との大小を比較する動作を行う。パラメータ供給回路４００は、第１及び第２の欠陥判定手段に各々含まれる。
【００５０】
欠陥判定／補正回路１００３では、欠陥判定回路１００２−１，１００２−２による比較結果を総合的に評価することにより注目画素信号ｘ_j が画素欠陥のある信号であるかどうかを判定し、画素欠陥のある信号であると判定された場合は予測画素信号ｘ^* _j ，ｘ^* ′ _jから新たな補正画素信号ｘ^c _j を算出する。欠陥判定／補正回路１００３による判定結果と補正画素信号ｘ^c _j はセレクタ１００４に送られ、欠陥と判定された場合は補正画素信号ｘ^c _j を、そうでない場合は実測画素信号ｘ_j が選択される。上記した欠陥判定／補正回路１００３とセレクタ１００４とは補正手段を構成する。
【００５１】
以下に上記した構成の作用をさらに説明する。本実施形態では、以下に示すようなアルゴリズムに従った画素欠陥検出・補正処理が行われる。このアルゴリズムは第１実施形態に示したものを、近傍５画素を対象とするように変更した変形例である。
( ｉ) 画素信号ｘ_j-2 とｘ_j-1 の差Ｓ＝ｘ_j-2 −ｘ_j-1 を計算する。
(ii) 注目画素信号ｘ_j の線形予測画素信号ｘ^* _j ＝ｘ _j-1＋Ｓを求める。
(iii) 注目画素の実測画素信号ｘ_j とその線形予測画素信号ｘ^* _j との差の絶対値ｄ_j ＝｜ｘ_j −ｘ^* _j ｜を求める。
(iv ） 差の絶対値ｄ_j とあらかじめ設定されているパラメータｔｈｒ１との大小を比較する。
( ｖ）画素信号ｘ_j+2 とｘ_j+1 の差Ｓ′＝ｘ_j+2 −ｘ_j+1 を計算する。
(vi ）注目画素信号ｘ_j の線形予測画素信号ｘ^* ′ _j＝ｘ_j+1 ＋Ｓ′を求める。
(vii） 注目画素の実測画素信号ｘ_j とその線形予測画素信号ｘ^* ′ _jとの差の絶対値ｄ′ _j＝｜ｘ_j −ｘ^* ′ _j｜を求める。
(viii) 差の絶対値ｄ′ _jとあらかじめ設定されているパラメータｔｈｒ１との大小を比較する。
(ix ）ｄ_j ，ｄ′ _jとｔｈｒ１の大小関係を評価することにより画素欠陥を判定し、必要に応じて注目画素信号ｘ_j を線形予測画素信号ｘ^* _j ，ｘ^* ′ _jから新たに算出される補正画素信号ｘ^c _j に置き換える。
【００５２】
本実施形態では上記したアルゴリズムを採用することにより、注目画素信号の予測性を１８０°異なる向きから評価して欠陥判定精度を向上させている。
なお、上記アルゴリズムの（ix）に相当する欠陥判定／補正回路１００３にお
ける総合的な判定基準および補正画素信号ｘ^c _j の算出法としては、具体的に次のような場合がある。
【００５３】
（１）２つの欠陥判定回路１００２−１，１００２−２による比較結果が共に欠陥であると判定されるものである場合に、注目画素を欠陥と判定する。補正画素信号ｘ^c _j は各予測画素信号ｘ^* _j ，ｘ^* ′ _jの平均値とする。
【００５４】
（２）２つの欠陥判定回路１００２−１，１００２−２による比較結果の内の少なくともどちらか一方が欠陥を有すると判定される場合には注目画素を欠陥画素であると判定する。補正画素信号ｘ^c _j は欠陥判定回路１００２−２による比較結果のみが欠陥を有すると判定される場合には予測画素信号ｘ^* ′ _jを採用し、それ以外の場合は予測信号ｘ^* _j を採用する。
【００５５】
実際は、固体撮像素子や対象物の特性、あるいは入力画像の用途・目的に応じて、上述したような条件の中から最も適切なものを選択すれば良い。
また、本実施形態に次のような機能を付加しても良い。つまり、上記アルゴリズムのステップ(iii) ，(vii) において差の絶対値ｄ_j ＝｜ｘ_j −ｘ^* _j ｜（あるいはｄ′_j ＝｜ｘ_j −ｘ^* ′_j ｜）を求めると同時に差の正負情報を記録しておく。そして、欠陥判定回路１００２−１，１００２−２における差の正負が逆転している場合、例えばｘ_j ＜ｘ^* _j かつｘ_j ＞ｘ^* ′_j の場合は自動的に欠陥がないと判定する。このような機能を設けることにより、注目画素を中心にちょうど両側が不連続に接続されている場合に、注目画素が欠陥を有するものとして誤判定されることを防ぐことができる。これは、回路的にはわずかな改良で実現できるので、図示は省略する。
【００５６】
なお、本実施形態では欠陥判定回路１００２−１，１００２−２に３つの連続画素信号列ｘ_j-2 ，ｘ_j-1 ，ｘ_j （またはｘ_j+2 ，ｘ_j+1 ，ｘ_j ）を入力することにより近傍２画素信号列ｘ_j-2 ，ｘ_j-1 （またはｘ_j+2 ，ｘ_j+1 ）から注目画素信号ｘ_j の予測性を評価したが、各々４つの連続画素信号列ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 （またはｘ_j+2 ，ｘ_j+1 ，ｘ_j ，ｘ_j-1 ）を入力することにより近傍の３画素信号列ｘ_j-2 ，ｘ_j-1 ，ｘ_j+1 （またはｘ_j+2 ，ｘ_j+1 ，ｘ_j-1 ）から注目画素信号ｘ_j の予測性を評価するようにしても良い。つまり、第１実施形態で述べた手法を１８０°異なる向きから２回行うことにより、欠陥検出精度と補正信号の適正さを向上させる例である。この場合、２つの欠陥判定回路１００２−１，１００２−２はそれぞれ第１実施形態における画素欠陥補正回路３００の演算部と同様に構成すれば良い。
【００５７】
なお、上記した実施形態には以下のような構成の発明が含まれている。
１．
固体撮像素子から出力される４つの連続する画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 のうち、前記画素信号ｘ_j-2 およびｘ_j-1 に基づいて予測される第１の予測画素信号ｘ^* _j を算出する第１の予測手段と、
前記画素信号ｘ_j と前記第１の予測画素信号ｘ^* _j との差異を評価する第１の評価手段と、
前記第１の予測手段における算出値を基に第２の予測画素信号ｘ^* _j+1 を算出する第２の予測手段と、
前記画素信号ｘ_j+1 と前記第２の予測画素信号ｘ^* _j+1 との差異を評価する第２の評価手段と、
前記第１の評価手段において前記画素信号ｘ_j と前記第１の予測画素信号ｘ^* _j との差異が大きいと判定され、かつ前記第２の評価手段において前記画素信号ｘ_j+1 と前記第２の予測画素信号ｘ^* _j+1 との差異が小さいと判定された場合に、前記画素信号ｘ_j を前記第１の予測画素信号ｘ^* _j に置き換えて補正する補正手段と、
を具備することを特徴とする画素欠陥補正装置。
（上記した実施形態との対応関係）
構成１には少なくとも第１実施形態が対応する。
（効果）
最少の参照画素数で画素欠陥を検出する方式であるのでハードウェア構成を簡便にでき、しかも画像中でエッジや凹凸など変化の大きい領域においてもそれらを欠陥であると誤認識することがない。また、欠陥画素値を近傍からの予測値に変換することにより、滑らかに補正を施すことができる。
１−１．
構成１の画素欠陥補正装置において、
前記第１および第２の予測手段は、線形予測に基づいて予測画素信号の計算を行うことを特徴とする。
（上記した実施形態との対応関係）
構成２には少なくとも第１実施形態が対応する。
（効果）
予測演算を線形予測即ち加減算で実現できるため、簡便なハードウェア構成で高速に処理を実行できる。
１−２．
構成１及び１−１の画素欠陥補正装置において、
前記第１の評価手段は、
前記画素信号ｘ_j と前記第１の予測画素信号ｘ^* _j との差信号ｄ_j を計算する第１の差分回路と、
所定の第１のパラメータｔｈｒ１をあらかじめ記録しておく第１の記録手段と、
前記差信号ｄ_j と前記第１のパラメータｔｈｒ１とを比較する第１の比較回路とを有し、
前記第２の評価手段は、
前記画素信号ｘ_j+1 と前記第２の予測画素信号ｘ^* _j+1 との差信号ｄ_j+1 を計算する第２の差分回路と、
所定の第２のパラメータｔｈｒ２をあらかじめ記録しておく第２の記録手段と、
前記差信号ｄ_j+1 と前記第２のパラメータｔｈｒ２とを比較する第２の比較回路と、
を有することを特徴とする。
（効果）
画素信号ｘ_j と予測画素信号ｘ^* _j との差異の評価を、差分演算を行う差分回路と、この差分演算結果とパラメータとの大小比較を行う比較回路とを用いて行うことにより、簡便なハードウェア構成で高速に処理を実行できる。また、差分値をパラメータと比較するように構成すれば、パラメータを調整することによりノイズに強い方式にするなど用途に応じて最適なシステムを簡単に構成できる。さらに、パラメータを記録しておく手段を設けることにより処理を高速に行える。
１−２−１．
構成１−２の画素欠陥補正装置において、
前記第１および第２の差分回路は、
入力された画素信号間の差分を計算すると共にその絶対値を算出する
ことを特徴とする。
（効果）
差分回路の出力が正の場合は輝度値の小さい欠陥信号、すなわち黒点が、また負の場合は輝度値の大きい欠陥信号、すなわち白点を対象とすることができるので、絶対値を評価することにより同一回路で両方の欠陥に対応できる。
１−２−２．
構成１−２及び１−２−１の画素欠陥補正装置において、
前記第１の記録手段は、前記第１パラメータの候補として複数のパラメータｔｈｒ１₁ ，ｔｈｒ１₂ ，…，ｔｈｒ１_n （ｎ≧２）を記録し、かつ、前記第２の記録手段は、前記第２のパラメータの候補として複数のパラメータｔｈｒ２₁ ，ｔｈｒ２₂ ，…，ｔｈｒ２_n （ｎ≧２）を記録すると共に、前記第１及び第２の評価手段はそれらの候補パラメータからそれぞれ１つを選択するパラメータ選択手段を有する
ことを特徴とする。
（上記した実施形態との対応関係）
構成１−２−２には少なくとも第２実施形態が対応する。
（効果）
画像の明るさ、変化の起伏、Ｓ／Ｎなど画像の性質に応じてパラメータを選択することにより、最適な処理を実現できる。
１−２−２−１．
構成１−２−２の画素欠陥補正装置において、
前記パラメータ選択手段は、画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 を含むそれらの近傍領域における画素値を参照することにより前記複数のパラメータからそれぞれ１つを選択する
ことを特徴とする。
（上記した実施形態との対応関係）
構成１−２−２−１には少なくとも第２実施形態が対応する。
（効果）
注目画素の近傍画素信号の大小に応じて変化する画像の特性を考慮した最適な処理が行える。
１−２−２−２．
構成１−２−２の画素欠陥補正装置において、
前記第１および第２の評価手段は、画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 を含む近傍領域における画素値の標準偏差を参照することにより、記録された複数のパラメータｔｈｒ１₁ ，ｔｈｒ１₂ …，ｔｈｒ１_n （またはｔｈｒ２₁ ，ｔｈｒ２₂ ，…，ｔｈｒ２_n ）（ｎ≧２）から１つを選択する選択手段を有する
ことを特徴とする。
（上記した実施形態との対応関係）
構成１−２−２−２には少なくとも第３実施形態が対応する。
（効果）
注目画素の近傍画素信号のノイズ成分を考慮した最適な処理が行える。
１−３．
構成１及び１−１の画素欠陥補正装置において、
前記第１の評価手段は、
前記画素信号ｘ_j と前記第１の予測画素信号ｘ^* _j との差信号ｄ_j を計算する第１の差分回路と、
第１のパラメータｔｈｒ１を算出する第１のパラメータ算出手段と、
前記差信号ｄ_j と前記第１のパラメータｔｈｒ１とを比較する第１の比較回路と、
を有し、
前記第２の評価手段は、
前記画素信号ｘ_j+1 と前記第２の予測画素信号ｘ^* _j+1 との差信号ｄ_j+1 を計算する第２の差分回路と、
第２のパラメータｔｈｒ２を算出する第２のパラメータ算出手段と、
前記差信号ｄ_j+1 と前記第２のパラメータｔｈｒ２とを比較する第２の比較回路と、
を有することを特徴とする。
（上記した実施形態との対応関係）
構成１−３には少なくとも第４実施形態が対応する。
（効果）
パラメータをリアルタイムで算出することにより、画像の性質に応じた最適な処理を実現できる。
１−３−１．
構成１−３の画素欠陥補正装置において、
前記第１および第２のパラメータ算出手段は、
前記画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 を対象としたそれぞれ前記第１及び第２の差分回路における算出値を参照することによりパラメータを算出する
ことを特徴とする。
（上記した実施形態との対応関係）
構成１−３−１には少なくとも第４実施形態が対応する。
（効果）
パラメータをリアルタイムで算出することにより、パラメータをあらかじめＲＯＭに書き込んでおくための構成と手間を省くことができる。また、差分回路における算出値を参照することにより画素信号列の変化に対応したパラメータを算出できる。
１−３−２．
構成１−３の画素欠陥補正装置において、
前記第１および第２のパラメータ算出手段は、
それぞれ前記画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 を含むそれらの近傍領域における画素値を参照することによりパラメータを算出する
ことを特徴とする。
（上記した実施形態との対応関係）
構成１−３−２には少なくとも第４実施形態が対応する。
（効果）
パラメータをリアルタイムで算出することにより、あらかじめパラメータをＲＯＭに書き込んでおくための構成と手間を省くことができる。また、注目画素の近傍画素信号を参照することにより画素信号の大小による画像の特性に応じたパラメータを算出できる。
１−３−３．
構成１−３の画素欠陥補正装置において、
前記第１および第２のパラメータ算出手段は、
それぞれ前記画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 を含むそれらの近傍領域における画素値の標準偏差を参照することによりパラメータを算出する
ことを特徴とする。
（上記した実施形態との対応関係）
構成１−３−３には少なくとも第４実施形態が対応する。
（効果）
パラメータをリアルタイムで算出することにより、あらかじめパラメータをＲＯＭに書き込んでおくための構成と手間を省くことができる。また、注目画素の近傍画素信号の標準偏差を参照することによりノイズに応じたパラメータを算出することができる。
１−４．
構成１乃至１−３の画素欠陥補正装置において、
前記第１の評価手段において前記画素信号ｘ_j と前記第１の予測画素信号ｘ^* _j との差異が大きいと判定された場合にのみ前記第２の評価手段を動作させ、そうでない場合には補正処理を続行しないように判断する判断手段を有する
ことを特徴とする画素欠陥補正装置。
（上記した実施形態との対応関係）
構成１−４には少なくとも第５実施形態が対応する。
（効果）
第１の評価手段で判定される補正処理を必要としない多くの場合を除外することにより、処理の高速化を実現できる。また、加減算器の数を減らせるなどハードウェア構成を簡便にすることができる。
２．
固体撮像素子から出力される５つの連続する画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 ，ｘ_j+2 のうち、少なくとも３つの画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j を用いて前記画素信号ｘj が欠陥信号であるかどうかを評価すると共に、前記画素信号ｘ_j の第１の予測画素信号ｘ^* _j を算出する第１の欠陥判定手段と、
少なくとも３つの画素信号ｘ_j ，ｘ_j+1 ，ｘ_j+2 を用いて前記画素信号ｘ_j が欠陥信号であるかどうかを評価すると共に、前記画素信号ｘ_j の第２の予測画素信号ｘ^* ′_j を算出する第２の欠陥判定手段と、
前記第１および第２の欠陥判定手段の出力から前記画素信号ｘ_j が欠陥信号であると判定された場合に、前記第１及び第２の予測画素信号ｘ^* _j およびｘ^* ′_j に基づいて補正画素信号ｘ^c _j を算出し、前記画素信号ｘ_j をこの補正画素信号ｘ^c _j に置き換えて補正する補正手段と、
を具備することを特徴とする画素欠陥補正装置。
（上記した実施形態との対応関係）
構成２には少なくとも第６実施形態が対応する。
（効果）
簡便なハードウェア構成でありながら、注目画素に対して欠陥判定処理を１８０°異なる向きから計２回行うことにより検出の正確さを向上させることができる。
２−１．
構成２に記載の画素欠陥補正装置において、
更に所定のパラメータを記録する記録手段を有し、
かつ前記第１の欠陥判定手段は、
注目画素信号ｘ_j の近傍画素信号による第１の線形予測画素信号ｘ^* _j と実測信号ｘ_j との差を算出する第１の差信号算出手段と、前記パラメータと前記第１の差信号算出手段の算出結果との大小関係を判定する第１の比較手段とを有し、
前記第２の欠陥判定手段は、
注目画素信号ｘ_j の近傍画素信号による第２の線形予測画素信号ｘ^* ′_j と実測信号ｘ_j との差を算出する第２の差信号算出手段と、前記パラメータと前記第２の差信号算出手段の算出結果との大小関係を判定する第２の比較手段とを有する
ことを特徴とする。
（上記した実施形態との対応関係）
構成２−１には少なくとも第６実施形態が対応する。
（効果）
予測演算を加減算で実現できるため、簡便なハードウェア構成で高速に処理を実行できる。
２−１−１．
構成２−１の画素欠陥補正装置において、
前記補正手段は、
前記第１および第２の欠陥判定手段により判定された大小関係が異なる場合には前記画素信号ｘ_j が欠陥を有するとの判定を行わない
ことを特徴とする。
（上記した実施形態との対応関係）
構成２−１−１には少なくとも第６実施形態が対応する。
（効果）
画素信号列が注目画素信号ｘ_j を中心に不連続に推移している場合においても欠陥画素であると誤認識することがない。
２−２．
構成２及び２−１の画素欠陥補正装置において、
前記補正手段は、
前記第１および第２の欠陥判定手段のうち少なくともどちらか一方において前記画素信号ｘ_j が欠陥を有すると判定された場合に、前記画素信号ｘ_j を前記補正画素信号ｘ^c _j に置き換える
ことを特徴とする。
（上記した実施形態との対応関係）
構成２−２には少なくとも第６実施形態が対応する。
（効果）
画素欠陥を見逃す確率を低減することができる。
２−２−１．
構成２−２の画素欠陥補正装置において、
前記補正手段は、
前記第１および第２の欠陥判定手段のうちの一方において前記画素信号ｘ_j が欠陥を有すると判定された場合に前記補正画素信号ｘ^c _j を当該欠陥判定手段で算出された前記予測画素信号とする
ことを特徴とする。
（上記した実施形態との対応関係）
構成２−２−１には少なくとも第６実施形態が対応する。
（効果）
画素欠陥を見逃す確率を低減し、かつ適切に補正することができる。
２−３．
構成２及び２−１の画素欠陥補正装置において、
前記補正手段は、
前記第１および第２の欠陥判定手段の両方において前記画素信号ｘ_j が欠陥信号であると判定された場合に前記画素信号ｘ_j を前記補正画素信号ｘ^c _j に置き換えることを特徴とする。
（上記した実施形態との対応関係）
構成２−３には少なくとも第６実施形態が対応する。
（効果）
画素欠陥の誤検出を低減することができる。
２−４．
構成２，２−１，２−２，２−２−１，２−３の画素欠陥補正装置において、
前記補正手段は、
前記第１および第２の欠陥判定手段において算出される前記第１及び第２の予測画素信号ｘ^* _j 及びｘ^* ′_j の平均値を前記補正画素信号ｘ^c _j とすることを特徴とする。
（上記した実施形態との対応関係）
構成２−４には少なくとも第６実施形態が対応する。
（効果）
補正後の画像をより滑らかに連続させることができる。
【００５８】
【発明の効果】
請求項１に記載の発明によれば、画素欠陥を判定するために最小限必要な画素数によるアルゴリズムを提案し、それを実現するより簡便なハードウェア構成による画素欠陥補正装置を提供することができる。また、周辺画素列が変化している中に画素欠陥が含まれるような場合を含む、より広い適用対象に対して有効に画素欠陥の判定を行うことができる。さらに、補正後の画像に違和感のない滑らかな補正を行うことができる。
【００５９】
また、請求項２に記載の発明によれば、請求項１に記載の発明の効果に加えて、簡単なハードウェア構成で高速に処理を実行できる。
また、請求項３に記載の発明によれば、簡便なハードウェア構成でありながら、注目画素に対して欠陥判定処理を１８０°異なる向きから計２回行うことにより検出の正確さを向上させることができる。
【図面の簡単な説明】
【図１】本発明が適用される第１実施形態の撮像装置の全体構成を示す図である。
【図２】図１に示す画素欠陥補正回路の詳細な構成を示す図である。
【図３】注目画素ｘ_j を含む４つの連続する画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 に対して３条件を満たす画素列の概念図である。
【図４】本発明の第２実施形態に係るパラメータ供給回路の構成を示す図である。
【図５】本発明が適用される第３実施形態の撮像装置の全体構成を示す図である。
【図６】本発明の第４実施形態に係るパラメータ供給回路の構成を示す図である。
【図７】本発明が適用される第５実施形態の撮像装置の全体構成を示す図である。
【図８】図７に示す画素欠陥補正回路の内部構成を示す図である。
【図９】本発明の第６実施形態における画素欠陥補正回路の詳細な内部構成を示す図である。
【符号の説明】
１００…固体撮像素子、
２００…Ａ／Ｄ変換器、
３００…画素欠陥補正回路、
３０１−１乃至３０１−３…フリップフロップ（ＦＦ）、
３０２…減算器、
３０３、３０５…加算器、
３０４、３０６…差の絶対値を演算する演算器、
３０８−１、３０８−２…比較器、
３０９…論理積演算器、
３１０…セレクタ、
４００…パラメータ供給回路。

Claims (4)

1. 固体撮像素子から出力される４つの連続する画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 のうち、前記画素信号ｘ_j-2 およびｘ_j-1 に基づいて予測される第１の予測画素信号ｘ^* _jを算出する第１の予測手段と、
   前記画素信号ｘ_j と前記第１の予測画素信号ｘ^* _jとの差異を評価する第１の評価手段と、
   前記第１の予測手段における算出値を基に第２の予測画素信号ｘ^* _j+1を算出する第２の予測手段と、
   前記画素信号ｘ_j+1 と前記第２の予測画素信号ｘ^* _j+1との差異を評価する第２の評価手段と、
   前記第１の評価手段において前記画素信号ｘ_j と前記第１の予測画素信号ｘ^* _jとの差異が大きいと判定され、かつ前記第２の評価手段において前記画素信号ｘ_j+1 と前記第２の予測画素信号ｘ^* _j+1との差異が小さいと判定された場合に、前記画素信号ｘ_j を前記第１の予測画素信号ｘ^* _jに置き換えて補正する補正手段と、
   を具備することを特徴とする画素欠陥補正装置。
2. 前記第１および第２の予測手段は、線形予測に基づいて予測画素信号の計算を行うことを特徴とする請求項１記載の画素欠陥補正装置。
3. 固体撮像素子から出力される５つの連続する画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j ，ｘ_j+1 ，ｘ_j+2 のうち、少なくとも３つの画素信号ｘ_j-2 ，ｘ_j-1 ，ｘ_j を用いて前記画素信号ｘ_j が欠陥信号であるかどうかを評価すると共に、前記画素信号ｘ_j の第１の予測画素信号ｘ^* _jを算出する第１の欠陥判定手段と、少なくとも３つの画素信号ｘ_j ，ｘ_j+1 ，ｘ_j+2 を用いて前記画素信号ｘ_j が欠陥信号であるかどうかを評価すると共に、前記画素信号ｘ_j の第２の予測画素信号ｘ^{* ’} _j を算出する第２の欠陥判定手段と、
   前記第１および第２の欠陥判定手段の出力から前記画素信号ｘ_j が欠陥信号であると判定された場合に、前記第１および第２の予測画素信号ｘ^* _jおよびｘ^{* ’} _j に基づいて補正画素信号ｘ^c _jを算出し、前記画素信号ｘ_j をこの補正画素信号ｘ^c _jに置き換えて補正する補正手段と、
   を具備することを特徴とする画素欠陥補正装置。
4. 更に所定のパラメータを記録する記録手段を有し、かつ前記第１の欠陥判定手段は、
   注目画素信号ｘ _j の近傍画素信号による第１の線形予測画素信号ｘ ^* _j と実測信号ｘ _j との差を計算する第１の差信号算出手段と、前記パラメータと前記第１の差信号算出手段の算出結果との大小関係を判定する第１の比較手段とを有し、
   前記第２の欠陥判定手段は、
   注目画素信号ｘ _j の近傍画素信号による第２の線形予測画素信号ｘ ^{* ’} _j と実測信号ｘ _j との差を算出する第２の差信号算出手段と、前記パラメータと前記第２の差信号算出手段の算出結果との大小関係を判定する第２の比較手段とを有する
   ことを特徴とする請求項３記載の画素欠陥補正装置。

Images