JP4059686B2 - 白点故障補完回路及びこの白点故障補完回路を用いたイメージセンサ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は白点故障補完回路及びこの白点故障補完回路を用いたイメージセンサに関し、特に固体撮像素子が配置されて成る画素部に発生した白点故障を補完する白点故障補完回路及びこの白点故障補完回路を用いたイメージセンサに関する。
【０００２】
【従来の技術】
現在、デジタルカメラやデジタルビデオカメラ等に用いられる固体撮像素子として、ＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが用いられている。
【０００３】
このようなＣＣＤやＣＭＯＳイメージセンサでは、画面上の特定位置の画素がフォトダイオードの特性やセンサのばらつき等により一定レベル以上の出力になることで、常に固定された色になることがある。このような現象は、白点故障や白点汚れと呼ばれており、現在の製造工程で完全に除去することは困難である。白点故障のあるイメージセンサで暗い映像を写すと、白点故障した箇所が明るい色のデータとして出力されるため非常に目立つ。このため、従来は故障箇所の周辺の画素データを用いて補完処理していた。
【０００４】
従来の白点故障を補完する白点故障補完回路について説明する。図１９は、従来の白点故障補完回路とその周辺回路の構成図である。
白点故障の発生箇所はイメージセンサ個々に固有であるため、予め発生箇所を白点故障箇所格納用記憶装置９１０に保持しておく。一致比較器９２０は、画素の位置を特定する位置情報（ＰＯＳ）と白点故障箇所格納用記憶装置９１０に保持されている白点故障の位置とが一致するかどうかをチェックし、結果を白点故障補完回路９３０に通知する。白点故障補完回路９３０では、画素データ（ＤＡＴＡ）を入力した画素が白点故障を発生している画素であることが通知された場合、周辺画素の画素データを用いて白点故障箇所の補完処理を行なう。白点故障補完処理が行なわれたデータは、ＲＧＢ変換回路９４０においてＲＧＢデータに変換されて出力される。
【０００５】
【発明が解決しようとする課題】
しかし、従来の白点故障補完回路では、白点故障の発生箇所を保持するための記憶装置が必要であるため、回路が冗長となるという問題がある。また、白点故障箇所の検出のための検査が必要となるという問題もある。
【０００６】
上記の説明のように、従来の白点故障補完回路では、予め検出しておいた白点故障の発生箇所を保持するために、レジスタやＲＯＭ等の記憶装置を設けなければならなかった。このような記憶装置の記憶容量は、白点故障箇所に対する補正の許容数分必要となる。このため、記憶装置の容量はイメージセンサの総画素数に応じて増大し、かつ冗長な回路となり、回路規模が大きくなってしまうという問題がある。一方、補正の許容数を超える白点故障箇所が発生したイメージセンサは不良品としてはじかれるため、補正の許容数を少なくして記憶容量を小さくしようとすると不良品が増大するという問題が生じる。近年、総画素数は増加する方向にあり、このように記憶装置を用いて白点故障を補完する手法は限界にきている。
【０００７】
また、従来行なわれている白点補完手法は、予め検知された白点故障発生画素について、予め決められている係数等を用いて補完処理を施す。このように、補完処理は白点故障発生箇所ごとに独立して行なわれるため、不自然な画像となることがある。
【０００８】
また、白点故障の除去方法として冗長な記憶装置を使用しないメディアンフィルタ等があるが、これには映像の解像度が低下するという欠点がある。
さらに、白点故障の発生箇所を予め保持しておくために、イメージセンサのチップ毎に白点故障箇所の検出のための検査が必要となるという問題がある。このため、製造工程において白点故障箇所検出のための検査と発生の箇所の登録という工程を経なければならず、製造工程も冗長なものとなる。
【０００９】
このように、従来の記憶装置を用いた冗長な白点故障補完回路は、イメージセンサを使用したシステムやイメージセンサをＬＳＩとして小型化・集積化する際の問題となる。また、イメージセンサの解像度の低下は、携帯電話等で使用されるような総画素数の少ない場合に、ぼやけた映像となるという問題が生じる。
【００１０】
本発明はこのような点に鑑みてなされたものであり、白点故障の発生箇所を保持するための記憶装置を必要としない白点故障補完回路及びこの白点故障補完回路を用いたイメージセンサ並びに白点故障補完方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明では上記課題を解決するために、固体撮像素子が配置されて成る画素部に発生した白点故障を補完する白点故障補完回路において、画素部を構成する所定の対象画素とその周辺の周辺画素の画素データを保持する周辺画素データ保持部と、対象画素と周辺画素との明度を比較し、比較結果に基づいて対象画素が周辺画素と比較して予め決められた所定の値以上の明度を有する白点故障であるか否かを判定する比較判定部と、比較判定部により対象画素が白点故障であると判定された場合に、対象画素の近傍で検出された映像の明度レベルに応じて対象画素及び周辺画素の画素データの使用比率を調整する重み付けを行ない、重み付けによる加重平均を算出して対象画素の補完を行なう補完演算部と、を具備したことを特徴とする白点故障補完回路、が提供される。
【００１２】
このような構成の白点故障補完回路では、画素部２００を構成する画素についての白点故障補完処理を順次行なう。周辺画素データ保持部１１０は、画素部２００が検知した画素データを読み出し回路３００より取得し、所定の対象画素とその画素の周辺にある周辺画素についての画素データを保持する。比較判定部１２０は、周辺画素データ保持部１１０の保持する対象画素とその周辺画素との明度を比較し、その比較結果に基づいて、対象画素が周辺画素と比較して予め決められた所定の値以上の明度を有する白点故障であるか否かを判定する。白点故障であるか否かは、周辺画素の明度との関係に応じて決まる。例えば、映像が明るく周辺画素の明度も高いため対象画素との明度の差があまりない場合には補完の必要な白点故障と見なされないが、暗い映像で周辺画素の明度が低い場合には白点故障と見なされることがある。補完演算部１３０では、比較判定部１２０により対象画素が白点故障であると判定された場合、対象画素の近傍で検出された映像の明度レベルに応じて対象画素及び周辺画素の画素データの使用比率を調整する重み付けを行ない、重み付けによる加重平均を算出して対象画素の補完を行ない、補完データを生成する。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明の一実施の形態である白点故障補完回路を具備したイメージセンサの構成図である。
【００１４】
本発明に係るイメージセンサは、白点故障を補完する白点故障補完回路１００、画素がマトリクス状に配列された画素部２００、画素部２００を走査して画素データを順次読み出す読み出し回路３００及び補完された後の画素データをＲＧＢデータに変換するＲＧＢ変換回路４００から構成される。
【００１５】
画素部２００は、画素がマトリクス状に配列されており、画素が取得した映像信号を出力する。読み出し回路３００は、画素部２００を順次走査して映像信号を読み出し、雑音成分の除去等の信号処理を行なう。画素部２００と読み出し回路３００の詳細は、後述する。
【００１６】
白点故障補完回路１００は、読み出し回路３００より読み出された対象の画素データをその周辺画素データを保持する周辺画素データ保持部１１０、対象画素と周辺画素との明度を比較し、比較結果に応じて対象画素が白点故障かどうかを判定する比較判定部１２０、白点故障と判定された場合に補完演算を行なう補完演算部１３０及び補完演算に用いる補完係数を記憶する補完係数記憶部１４０から構成される。
【００１７】
周辺画素データ保持部１１０は、読み出し回路３００から順次出力される所定の対象画素とその周辺の周辺画素の画素データを保持する。画素データは、対象画素と対象画素と明度を比較するための１以上の周辺が外し、その数は特定しない。また、画素データの保持は、フリップフロップ回路あるいは記憶装置等によって行なう。
【００１８】
比較判定部１２０は、周辺画素データ保持部１１０で保持されている対象画素と周辺画素との明度を比較し、対象画素が周辺画素より所定の値以上の高い明度であるかどうか、すなわち白点故障であるかどうかを判定する。白点故障であるか否かは、周辺画素の明度との関係に応じて決まる。例えば、映像が明るく周辺画素の明度も高いため対象画素との明度の差があまりない場合には補完の必要な白点故障と見なされないが、暗い映像で周辺画素の明度が低い場合には白点故障と見なされることがある。判定結果、すなわち、白点故障と見なせるかどうかは、補完演算部１３０に送られる。また、対象画素は、周辺画素データ保持部１１０に保持されているデータのうちの真ん中として順次処理してもよい。あるいは、保持されている画素データのうち最も明度の高いもの、すなわち白点故障の可能性が高い画素を選択し、これを対象画素とすることもできる。さらに、周辺画素データ保持部１１０が、複数の色成分の画素データを保持している場合、明度の比較は同色の画素データで行なう。
【００１９】
補完演算部１３０は、周辺画素データ保持部１１０より対象画素と周辺画素の画素データを入力し、比較判定部１２０より明度比較による白点故障の判定結果を取得する。また、読み出し回路３００より明度レベルを取得する。明度レベルは、対象画素の近傍で検出された映像の明るさをいくつかのレベルに分類したものであって、例えば読み出し回路３００が画素部２００からの出力信号を映像の明度に応じて増幅する際の増幅率等から生成される。補完演算部１３０では、白点故障であると見なされた対象画素を、周辺画素を用いて補完する。白点故障と見なされた画素に対する補完は、明度レベルに応じて周辺画素の使用比率を調整する加重平均を行なって算出される。これらの比率を表す補完係数は、明度レベルに応じて演算時に算出することもできるし、予め補完係数記憶部１４０に記憶しておくこともできる。また、明度レベルに応じて補完を行なうか否かを決めることもできる。例えば、明度レベルが高い明るい画面では白点故障は目立たないため補完を行なわず、明度レベルが低い暗い画面では白点故障が目立つため補完を行なう。補完された補完データは、ＲＧＢ回路４００に送られる。
【００２０】
補完係数記憶部１４０は、明度レベルに応じて決定された最適な補完係数を予め記憶しておくメモリ等の記憶装置である。
ＲＧＢ回路４００は、白点故障補完回路１００により白点故障が補完された後の画素データをＲＧＢデータに変換する。
【００２１】
このような構成の白点故障補完回路１００を含むイメージセンサの動作について説明する。
読み出し回路３００は、画素部２００からの出力信号から雑音成分を除く等の処理を行い、読み出した画素データを位置情報（ＰＯＳ）とともに順次出力する。白点故障補完回路１００では、順次入力する画素データに対して、白点故障の検出とその補完処理を施し、補完後の画素データをＲＧＢ回路４００へ出力する。周辺画素データ保持部１１０に、出力される画素データを一時保存しておく。比較判定部１２０は、一時保存されている対象画素とその周辺画素の明度を比較し、対象画素が周辺画素と比較して所定の値以上の明度を有するか否か、すなわち、白点故障であるか否かを判定する。判定結果は、補完演算部１３０へ送られる。補完演算部１３０は、画素データと映像の明度レベルを取得し、比較判定部１２０の判定結果により白点故障であると見なされた場合に、補完係数記憶部１４０に記憶された明度レベルに応じた補完係数を用いて補完演算を行なう。白点故障と見なされた画素に対する補完は、明度レベルに応じて周辺画素の使用比率を調整する加重平均を行なって算出される。
【００２２】
このように、周辺画素と明度を比較することにより、記憶装置を使用することなく白点故障を検出して補正を行なうことが可能となる。また、回路規模は総画素数に依存しないため、記憶装置を使用した従来の方法と同等の機能を小さく簡易な回路構成で実現できる。さらに、白点故障に対して明度レベルに応じた動的な補完制御を行なうことで、明時映像に対する解像度の低下を緩和することができる。
【００２３】
次に、本発明の白点故障補完回路及びこの白点故障補完回路を備えたイメージセンサについて実施の形態に基づいて説明する。
まず、イメージセンサの画素部２００について説明する。図２は、イメージセンサの画素部における有効画素とその拡大図である。画素部２００は、固体撮像素子と固体撮像素子が検出した信号を取り出す素子とから構成される画素がマトリクス状に配置されている。それぞれの画素は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色成分を透過するフィルタを経由して入力する光の明度を検出し、信号として出力している。拡大された部分は、このようなフィルタを経由して経由して検出される色の配列であり、ベイヤー配列と呼ばれる。ベイヤー配列は、一般的にイメージセンサのカラーフィルタに使用されている配列である。以下、本発明の白点故障補完回路及びこの白点故障補完回路を備えたイメージセンサについて、図２に示した配列の場合を例に説明する。
【００２４】
次に、読み出し回路３００について説明する。図３は、本発明の一実施の形態であるイメージセンサの画素部と読み出し回路の構成図である。
ＣＤＳ回路３０１は、画素部２００から出力された信号から雑音成分の信号を除いた信号成分を取り出す回路である。アンプ回路３０２は、ＣＤＳ回路３０１から出力された信号を増幅する。増幅率（ゲイン）は、ＡＧＣ制御回路３０３によって制御される。ＡＧＣ制御回路３０３は、画素部２００の明るさ成分に応じてアンプ回路３０２の増幅率を計算する。ｃｌａｍｐ回路３０４は、信号成分のオフセットを調整する。ＡＤＣ回路３０５は、オフセット調整された信号成分を８ビットのデジタルデータに変換し、画素データとして次段の白点故障補完回路１００に出力する。ＴＧ回路３０６は、ＣＤＳ回路３０１、画素部２００上の映像信号取り出しの操作タイミングを生成する回路である。次段の白点故障補完回路１００に対して画素の位置情報（ＰＯＳ）を出力する。デコード回路３０７は、ＡＧＣ制御回路３０３で生成された増幅率を所定の明るさレベルにデコードする回路である。
【００２５】
デコード回路３０７により生成される明るさレベルについて説明する。上記の説明のようにＡＧＣ制御回路３０３は、画素部２００上の一部（特定ラインや短形領域）の明るさ成分を積算し、アンプ回路３０２の増幅率を計算してアンプ回路３０２の増幅率を制御している。デコード回路３０７では、増幅率をいくつかのレベルに分類し、それぞれのレベルに対応した信号線の出力をオンにする。ＡＧＣ制御回路３０３では、増幅率算出時に暗時映像ほど増幅率を上げるため、デコード回路３０７の出力信号は、映像の明るさのレベルに対応する。例えば、デコード回路３０７では、明るさのレベルを４レベルに分類し、それぞれのレベルに対応する出力信号Ｓ１−Ｓ４を出力する。Ｓ１−Ｓ４は論理信号として‘１’または‘０’の値をとり、必ずいずれかが‘１’となり他は‘０’となるものとする。
【００２６】
このように、読み出し回路３００によってＰＯＳ、画素データ及び明るさレベルが生成され、次段の白点故障補完回路１００に出力される。
次に、本発明に係る白点故障補完回路１００について具体例で説明する。
【００２７】
まず、第１の実施の形態として、画素部のライン上の連続する５画素分の画素データに基づいて白点故障の補完を行なう回路について説明する。図４は、第１の実施の形態における白点故障補完回路の回路図である。
【００２８】
第１の実施の形態の白点故障補完回路は、周辺画素データを保持する周辺画素データ保持部であるフリップフロップ回路５０１、５０２、５０３、５０４、５０５、画素データの明度を比較し白点故障であるかどうかを判定する比較判定部である判定回路５０８と判定結果に応じて出力信号を選択するセレクタ回路５０６、及び補完演算を行なう補完演算部である白点補完回路５０７から構成される。
【００２９】
フリップフロップ回路（以下、ＦＦとする）５０１、５０２、５０３、５０４、５０５は、上記の説明の読み出し回路のＡＤＣ回路３０５から出力された８ビットの画素データを連続５画素分保持している。保持される画素データの組み合わせについて図５を用いて説明する。保持された５画素分の画素データは、（１）Ｒ２を対象画素としたＲ成分の場合、（２）Ｇ２を対象画素としたＧ成分の場合、（３）Ｂ２を対象画素としたＢ成分の場合、の３通りの組み合わせがある。このように、第１の実施の形態の場合、対象画素を中心の第３番目の画素として、同色の周辺画素は第１番目と第５番目に存在する。
【００３０】
図４に戻って説明する。上記の説明のような画素データの組み合わせが、ＦＦ５０１、５０２、５０３、５０４、５０５に保持されている。ここで、便宜的に、ＦＦ５０１の出力をＰ１、ＦＦ５０３の出力をＰ３及びＦＦ５０５の出力をＰ３とする。判定回路５０８及び白点補完回路５０７には、対象画素の画素データを保持するＦＦ５０３、及び対象画素と同色の周辺画素の画素データを保持するＦＦ５０１とＦＦ５０５の出力が接続されている。
【００３１】
判定回路５０８は、上記の説明のような対象画素（Ｐ２）と、対象画素と同色の周辺画素（Ｐ１とＰ３）を入力し、明度の比較を行ない、対象画素（Ｐ２）が同色の周辺画素（Ｐ１とＰ３）に比べて予め決められた所定の値以上に明度が高いか否か、すなわち白点故障であるか否かを判定する。判定結果はセレクタ５０６に出力される。セレクタ５０６は、白点故障である場合には、白点補完回路５０７によって補完された補完データを出力し、それ以外の場合は対象画素（Ｐ２）の画素データをそのまま出力する。
【００３２】
ここで比較条件と、比較条件に応じた判定回路５０８の動作について説明する。以下、Ｒ成分の場合で説明する。図６は、第１の実施の形態における比較条件とその判定を示したものである。（１）条件には、２つの比較条件が設定されている。条件１は、「対象画素Ｒ２のが画素データの明度が周辺画素Ｒ１とＲ３の明度の間にあるか」である。また、条件２は、「対象画素Ｒ２の画素データの明度が、周辺画素Ｒ１とＲ３の明度の平均より大きいか」である。
【００３３】
（２）判定は、条件１と条件２の成立／不成立の組み合わせに応じて決定される補完処理を行なうか否かの判定を示している。Ｒ２は、判定結果に応じたＲ２の値を示している。
【００３４】
条件１が成立する場合は、対象画素Ｒ２の明度は周辺画素Ｒ１とＲ２の明度の間にあることから、白点故障ではない。このため、セレクタ５０６は対象画素Ｒ２の画素データをそのまま出力する（補完処理は行なわない）。条件１が不成立の場合、対象画素Ｒ２の明度は、周辺画素Ｒ１とＲ２の明度範囲にはないことになる。そこで、条件２により明度の差をチェックする。条件２が不成立の場合、対象画素Ｒ２は、周辺画素の平均明度より明度が低いことから白点故障ではない。このため、セレクタ５０６は、対象画素Ｒ２の画素データをそのまま出力する（補完処理は行なわない）。条件２が成立する場合、対象画素Ｒ２は、周辺画素の平均明度より明度が高いことから白点故障の可能性が高いと判定される。このため、Ｒ２には白点補完回路５０７において、次式のように周辺画素Ｒ１、Ｒ２に基づく補完処理が施される。ここで、ｍ、ｎは、任意の補完係数とする。
【００３５】
【数１】
Ｒ２＝（ｍＲ１＋２ｎＲ２＋ｍＲ３）／（２ｍ＋２ｎ） ・・（１）セレクタ５０６は、白点補完回路５０７により補完処理が施されたＲ２を選択して出力する。
【００３６】
ここでは、Ｒ成分のみについて説明したが、Ｇ、Ｂも同様の処理を行なう。
次に、白点補完回路５０７について説明する。図７は、第１の実施の形態における白点補完回路の回路図である。図４と同じものには同じ番号を付し、説明は省略する。白点補完回路は、デコード回路の生成した明度レベル（Ｓ１−Ｓ４）に応じて１／０の論理積を生成するＡＮＤ１、ＡＮＤ２、ＡＮＤ３、ＡＮＤ４と、周辺画素（Ｐ１とＰ３）とを加算平均するＡＤＤ１、ＡＤＤ１の出力に対象画素（Ｐ２）を加算平均するＡＤＤ２、さらにＳＥＬ１とＳＥＬ２の出力を加算平均するＡＤＤ３、ＡＮＤ１の出力信号に応じてＡＤＤ２出力またはＰ２を選択するＳＥＬ１、ＡＮＤ２の出力信号に応じてＡＤＤ１の出力またはＰ２を選択するＳＥＬ２、ＡＮＤ３の出力信号に応じてＡＤＤ１の出力またはＡＤＤ３の出力を選択するＳＥＬ３、及びＡＮＤ４の出力に応じてＰ１またはＳＥＬ３の出力を選択するＳＥＬ４とから構成される。
【００３７】
ＡＮＤ１は、明度レベルがＳ２（Ｓ２のみ１）の場合に１を出力し、ＳＥＬ１にＡＤＤ２の出力を選択させる。ＡＮＤ２は、明度レベルがＳ３（Ｓ３のみ１）の場合に１を出力し、ＳＥＬ２にＡＤＤ１の出力を選択させる。ＡＮＤ３は、明度レベルがＳ４（Ｓ４のみ１）の場合に１を出力し、ＳＥＬ３にＡＤＤ１の出力を選択させる。ＡＮＤ４は、明度レベルがＳ１（Ｓ１のみ１）の場合に１を出力し、ＳＥＬ４にＰ２を選択させる。
【００３８】
明度レベル（Ｓ１―Ｓ３）とセレクタＳＥＬ１、ＳＥＬ２、ＳＥＬ３、ＳＥＬ４の動作について図８で説明する。図８は、第１の実施の形態における明度レベルとセレクタの動作及び補完係数の関係図である。セレクタ選択は、ＡＧＣデコード出力によってＳＥＬ１、ＳＥＬ２、ＳＥＬ３、ＳＥＬ４がどちらを選択するかを表している。例えば、Ｓ１＝１の場合は、ＳＥＬ３が１側を選択し、その他のセレクタは０側を選択する。また、明度レベル（Ｓ１−Ｓ４）に応じて、補完を行なう際の補完係数を算出するか、予め記憶部に記憶しておいた補完係数を抽出して補完を行なう。備考は、補完係数の例である。
【００３９】
例えば明度レベルＳ１＝１の場合、論理積回路のうちＡＮＤ３の出力のみが１となり、ＳＥＬ３が１側、すなわちＡＤＤ１の出力を選択する。他のＳＥＬ１はＰ２を、ＳＥＬ２はＰ２を、ＳＥＬ４はＳＥＬ３の出力をそのまま出力する。従って、明度レベルＳ１＝１の場合、周辺画素（Ｐ１とＰ３）を用いて補完演算を行ない、算出された補完データをＳＥＬ４から出力する。明度レベルＳ４＝１の場合、ＡＮＤ４が１となり、ＳＥＬ４からＰ２の値がそのまま出力される。同様に、明度レベルＳ２＝１、Ｓ３＝１の場合も、明度レベルに応じた適切な補完係数により補完処理が行なわれ、ＳＥＬ４より出力される。
【００４０】
このように、明度レベルに応じて予め決められた最適な補完係数により補完演算を行なうことにより、白点故障に対する補完制御を動的に行なうことが可能となる。
【００４１】
次に、第２の実施の形態について説明する。第２の実施の形態は、隣接する３×３画素のデータを用いて白点故障補完を行なう回路の例である。図９は、第２の実施の形態における白点故障補完回路の構成図である。さらに、ここでは、白点補完回路をＲＧＢ変換回路に組み込んでいる。
【００４２】
第２の実施の形態の白点故障補完回路は、対象画素及び周辺画素の画素データを保持する周辺画素データ保持部であるフリップフロップ回路、ＦＦ７０３、ＦＦ７０４、ＦＦ７０５、ＦＦ７０６、ＦＦ７０７、ＦＦ７０８、ＦＦ７０９、ＦＦ７１０及びＦＦ７１１とＲＧＢ変換用ラインメモリ７１２、及び白点故障補完とＲＧＢ変換を行なう白点故障補完回路＋ＲＧＢ変換回路７１４から構成される。
【００４３】
ＲＧＢ変換用ラインメモリ７１２は、ＲＧＢ変換用の画素データを保持している。フリップフロップ回路、ＦＦ７０３、ＦＦ７０４、ＦＦ７０５、ＦＦ７０６、ＦＦ７０７、ＦＦ７０８、ＦＦ７０９、ＦＦ７１０及びＦＦ７１１は、ＲＧＢ変換用ラインメモリ７１２に保持されたＲＧＢ変換用の画素データ及びＡＤＣ回路からの出力信号３×３画素分を保持する周辺画素データ保持部を構成する。フリップフロップ回路ＦＦ７０３、ＦＦ７０４、ＦＦ７０５は、ＡＤＣ回路から出力信号に接続し、ＡＤＣ変換された後の画素データを順次３画素分保持する。ＦＦ７０６、ＦＦ７０７、ＦＦ７０８、ＦＦ７０９、ＦＦ７１０及びＦＦ７１１は、ＲＧＢ変換用ラインメモリ７１２に保存された画素データを読み出して保持する。以下、便宜上、ＦＦ７０３に保持された画素データをＰ１、ＦＦ７０４に保持された画素データをＰ２、ＦＦ７０５に保持された画素データをＰ３、ＦＦ７０６に保持された画素データをＰ４、ＦＦ７０７に保持された画素データをＰ５、ＦＦ７０８に保持された画素データをＰ６、ＦＦ７０９に保持された画素データをＰ７、ＦＦ７１０に保持された画素データをＰ８、及びＦＦ７１１に保持された画素データをＰ９とする。
【００４４】
このような構成の周辺画素データ保持部における画素データの組み合わせについて説明する。図１０は、第２の実施の形態において保持される画素データの組み合わせである。一般的なイメージセンサで行なわれる処理のひとつにＲＧＢ変換がある。ＲＧＢ変換では、３×３画素以上のデータと記憶領域を最低必要とする。ここでは、ＲＧＢ変換のための記憶領域（ＲＧＢ変換用ラインメモリ７１２）に記憶された周辺画素の画素データを用いて白点故障の判定と白点故障の補完処理を行なう。周辺画素の画素データが多いほど補完箇所に対するデータの精度が高くなる。しかしながら、処理のための記憶領域は増加する。このため、ここではＲＧＢ変換用に記憶されている画素データを使用している。３×３画素における、各色成分ごとの組み合わせは、各色ごとに４通りの計１２通りになる。このうち、Ｒ成分とＢ成分については、３×３画素に含まれる同色の画素数ｈの最大は４であるので、同一の判定回路が構成される。Ｇ成分は、３×３画素に含まれる同色の画素数ｈの最大は５であるので別な回路構成となる。
【００４５】
それぞれの判定回路と白点補完回路について説明する。図１１は、第２の実施の形態におけるＲ成分とＢ成分の判定回路と白点補完回路の回路図である。ここでは、簡単のため、ゲインに応じた明度レベルを３段階とした。
【００４６】
Ｒ成分とＢ成分用の判定回路及び白点補完回路は、画素の位置情報（ＰＯＳ）をデコードするデコーダ８１０、デコーダ８１０の出力信号に応じて入力信号（Ｐ１、Ｐ２、・・・、Ｐ９）を選択するセレクタ８２０、比較器８３１、８３２、８３３、８３４より構成される比較判定部８３０、及び加算器８４１、８４２、８４３、８４４と、セレクタ８４５、８４６、８４７、８４８とから構成される白点補完部８４０から成る。
【００４７】
デコーダ８１０は、画素の位置情報（ＰＯＳ）をデコードし、入力信号を選択するセレクタ８２０と、加算器８４２による加算値を選択するセレクタ８４７に供給する。
【００４８】
セレクタ８２０は、デコーダ８１０のデコード出力に応じて、保持されている９画素の入力信号（Ｐ１、Ｐ２、・・・、Ｐ９）のうち同色の画素となる入力信号を選択する。すなわち、図１０に示したパターンのいずれかを選択する。例えば、Ｒ成分のｈ＝４に相当するデコード信号が入力した場合、９画素の入力信号（Ｐ１、Ｐ２、・・・、Ｐ９）から、図１０のＲ成分のｈ＝４に示したようなＲ１、Ｒ２、Ｒ３、Ｒ４に相当する画素データを選択してＳＬ１、ＳＬ２、ＳＬ３、ＳＬ４に出力する。
【００４９】
比較判定部８３０は、ＳＬ１とＳＬ２を比較して大きい方を比較器８３３へ小さいほうを加算器８４１へ出力する比較器８３１、ＳＬ３とＳＬ４を比較して大きい方を比較器８３３へ小さい方を加算器８４１へ出力する比較器８３２、比較器８３１と比較器８３２の出力を比較して大きい方を比較器８３４へ小さいほうを加算器８４１へ出力する比較器８３３、及び加算器８４１によって算出される最も明度の高い画素データを除く画素データの平均値とを比較する比較器８３４から構成される。
【００５０】
比較器８３３の出力は、セレクタ８２０に選択された画素のうち、最も高い明度の画素の画素データであり、加算器８４１の出力は、比較器８３３により選択されなかった３画素の画素データの平均値になる。従って、比較器８３４では、比較器８３３により選択された最も明度の高い画素と、その他の３画素の平均の明度が比較される。
【００５１】
白点補完部８４０は、比較器８３１、８３２、８３３が選択した画素データを加算する加算器８４１、セレクタ８２０の選択したＳＬ１、ＳＬ２、ＳＬ３、ＳＬ４の出力信号を加算する加算器８４２、加算器８４１の出力を１／２及び１／４の係数で乗算した値を加算する加算器８４３、セレクタ８４５とセレクタ８４６の出力を加算する加算器８４４、比較器８３４の出力信号に応じて比較器８３３の出力信号あるいは０を選択するセレクタ８４５、比較器８３４の出力信号に応じて加算器８４１の出力信号あるいは加算器８４３の出力信号を選択するセレクタ８４６、加算器８４２の出力に１／４、１／２、１／１の係数を乗算した出力信号をデコーダ出力信号に応じて選択するセレクタ８４８、及び比較器８３４の出力信号に応じて加算器８４４の出力信号あるいはセレクタ８４８の出力信号を選択するセレクタ８４７から構成される。
【００５２】
加算器８４２は、セレクタ８２０により選択された画素データを加算し、セレクタ８４７に出力する。このとき、ａ端子には加算値を１／４にしたデータが、ｂ端子には加算値を１／２にしたデータが、ｃ端子には加算値を１／１にしたデータが出力される。セレクタ８４７は、デコーダ８１０の出力に応じて、ａ、ｂ、ｃ端子のいずれかを選択し、セレクタ８４８へ出力する。デコーダ８１０の出力信号は、選択された画素数と見なすことができるので、セレクタ８４７の出力は、選択された画素データの平均値となる。
【００５３】
加算器８４１、８４３、８４４及びセレクタ８４５、８４６とから構成される部分では、画像の明度レベル（ここではＳ１−Ｓ３）に応じた補完係数を用いて補完演算処理を行なう。補完演算処理については、後述する。加算器８４４は、補完演算が施された画素データをセレクタ８４８へ出力する。
【００５４】
セレクタ８４８は、補完演算が行なわれた加算器８４４の出力信号と、補完演算が施されていないセレクタ８４７の出力信号と、を比較器８３４の出力に応じて選択する。すなわち、比較判定部８３０により、白点故障と見なされた場合には補完処理が行なわれた加算器８４４の出力信号が選択され、白点故障と見なされなかった場合には補完処理されていないセレクタ８４７の出力信号が選択される。
【００５５】
次に、このような構成の判定回路及び白点補完回路の動作について説明する。まず、デコーダ８１０は、ＰＯＳ信号に応じたデコード信号を生成し、セレクタ８２０と加算器８４２に供給する。図１２は、第２の実施の形態におけるデコーダの出力を示している。デコーダ８１０は、Ｘ方向及びＹ方向のＰＯＳ入力信号のＬＳＢを参照し、色成分に応じたデコード信号を出力する。例えば、Ｙ（ＬＳＢ）が０、Ｘ（ＬＳＢ）も０の場合、Ｒ成分のデコード出力は４、Ｇ成分のデコード出力は４、Ｂ成分のデコード出力は１になる。デコード出力は、３×３の画素データ保持部に存在する色成分のパターンを表している。例えば、Ｒ成分の出コート出力４は、図１０のＲ成分のｈ＝１のパターンを示している。
【００５６】
セレクタ８２０は、デコーダ８１０のデコード出力に応じて、画素データの選択を行なう。図１３は、第２の実施の形態におけるセレクタの制御論理を示している。（１）は、Ｒ成分とＢ成分の場合のセレクタ選択の表であり、（２）は後述するＧ成分の場合のセレクタ選択の表である。また、（３）は、画素の配置図である。ここでは、セレクタ８２０とともに、セレクタ８４７の動作について説明する。デコード出力が１の場合、セレクタ８２０の出力端子ＳＬ１には、Ｐ５、すなわち（３）の配置図を参照して真中の画素データが出力される。これは、図１０のＲ成分のｈ＝１のパターンが選択されたことに相当する。このとき、セレクタ８４７の出力端子は、ｃ端子（１／１）が選択される。すなわち、Ｐ５がそのまま出力される。また、デコード出力が２の場合、セレクタ８２０の出力端子ＳＬ１にはＰ４、ＳＬ２にはＰ６が出力される。これは、図１０のＲ成分のｈ＝２の左側のパターンに相当する。セレクタ８４７は、ｂ端子（１／２）が選択され、セレクタ８４７は、Ｐ４とＰ６の平均値を出力する。
【００５７】
比較判定部８３０は、比較器８３３において、比較器８３１、８３２により選択されたＳＬ１、ＳＬ２、ＳＬ３、ＳＬ４のうち最も明度の高い画素の画素データを選択する。さらに、比較器８３４において、最も明度の高い画素の画素データと、加算器８４１で算出される最も明度の高い画素データを除くＳＬ１、ＳＬ２、ＳＬ３、ＳＬ４の平均値とを比較する。これにより、最も明度の高い画素がその他の画素の平均より高い明度を有する白点故障であるか否かを判定する。
【００５８】
白点補完部８４０は、加算器８４２とセレクタ８４７とによって補完なしの出力信号を算出し、加算器８４１、８４３、８４４とセレクタ８４５、８４６によって補完処理が施された出力信号を算出する。最終段のセレクタ８４８は、比較判定部８３０の出力信号に応じていずれかを選択して出力する。図１４は、第２の実施の形態における判定条件と補完処理を示している。条件１は、「最も明度の高い画素（ｍａｘ（Ｇ１、Ｇ２、・・・、Ｇｈ））を除く画素データの平均よりも、最も明度の高い画素（ｍａｘ（Ｇ１、Ｇ２、・・・、Ｇｈ））の明度の方が高い」という条件である。この条件が成立した場合、最も明度の高い画素（ｍａｘ（Ｇ１、Ｇ２、・・・、Ｇｈ））は、白点故障であると見なされる。
【００５９】
表は、条件１が成立した場合（白点故障と見なされる場合）と、不成立の場合（白点故障と見なされない場合）の補完処理を示している。不成立の場合は、比較器８３４の出力は０、成立する場合は１が出力される。Ｇの値は、このとき、算出される画素データである。条件１が成立する場合、Ｇは、所定の補完係数ｋ、ｊを用いて算出される。ｋとｊは、ＡＧＣデコード回路の出力する映像の明度レベルに応じて決定される。図１５は、第２の実施の形態におけるＡＧＣデコード出力と選択される補完関数の一例を示している。このように、明度レベルに応じて適切な補完係数を選択することにより、白点故障に対して動的な補完制御を行なうことができる。
【００６０】
次に、Ｇ成分の判定回路について説明する。図１６は、第２の実施の形態におけるＧ成分の判定回路と白点補完回路の回路図である。図１１と同じものには同じ番号を付し、説明は省略する。
【００６１】
Ｇ成分用の判定回路及び白点補完回路は、画素の位置情報（ＰＯＳ）をデコードするデコーダ８１０、デコーダ８１０の出力信号に応じて入力信号（Ｐ１、Ｐ２、・・・、Ｐ９）を選択するセレクタ８２０、比較器８５１、８５２、８５３、８５４、８５５より構成される比較判定部８５０、及び加算器８６１、８６２、８６３、８６４と、セレクタ８６５、８６６、８６７、８６８とから構成される白点補完部８６０から成る。
【００６２】
比較判定部８５０は、ＳＬ１とＳＬ２を比較して大きい方を比較器８５３へ小さいほうを加算器８６１へ出力する比較器８５１、ＳＬ３とＳＬ４を比較して大きい方を比較器８５３へ小さいほうを加算器８６１へ出力する比較器８５２、比較器８５１と比較器８５２の出力を比較して大きい方を比較器８５４へ小さいほうを加算器８６１へ出力する比較器８５３、比較器８５３の出力とＳＬ５を比較して大きい方を比較器８５５へ小さい方を加算器８６１出力する比較器８５４、及び比較器８５４により得られる最も明度の高い画素の画素データと加算器８６１によって算出される他の画素データの平均値とを比較する比較器８５５から構成される。比較器８５４の出力は、最も高い明度の画素の画素データであり、加算器８６１の出力は比較器８５４の出力画素を除く４画素の平均の画素データになる。これにより、最も明度の高い画素の明度と、他の４画素の平均の明度が比較される。
【００６３】
白点補完部８６０は、比較器８５４、８５３、８５１、８５２が選択した画素データを加算する加算器８６１、セレクタ８２０の選択したＳＬ１、ＳＬ２、ＳＬ３、ＳＬ４、ＳＬ５出力を加算する加算器８６２、加算器８６１の出力を１／２及び１／４の係数で乗算した値を加算する加算器８６３、セレクタ８６５とセレクタ８６６の出力を加算する加算器８６４、比較器８５５の出力信号に応じて比較器８５４の出力信号あるいは０を選択するセレクタ８６５、比較器８５５の出力信号に応じて加算器８６１の出力信号あるいは加算器８６３の出力信号を選択するセレクタ８６６、加算器８６２の出力に１／４、１／１の係数を乗算した出力信号をデコーダ出力信号に応じて選択するセレクタ８６７、及び比較器８５５の出力信号に応じて加算器８６４の出力信号あるいはセレクタ８６７の出力信号を選択するセレクタ８６８から構成される。
【００６４】
上記の説明のＲ成分とＢ成分の白点補完部８６０と同様に、セレクタ８６７より補完演算が行なわれない出力信号が供給され、加算器８６４より補完演算が行なわれた出力信号が供給される。セレクタ８６８は、比較器８５５の出力信号に応じて、出力信号を選択する。すなわち、比較判定部８５０により、白点故障と見なされた場合には補完処理が行なわれた加算器８６４の出力信号が選択され、白点故障と見なされなかった場合には補完処理されていないセレクタ８６７の出力信号が選択される。
【００６５】
このように、Ｇ成分の場合は、選択される信号が５画素データとなるだけで、Ｒ成分及びＢ成分と同様の処理が行なわれる。
上記の説明では補完に使用する画素を５×１と、３×３としたが、本発明では使用画素数はこれに限定されない。また、明度レベルのレベル数も、ゲインの調整レベルに応じて決定される。
【００６６】
上記の説明の本発明に係る白点故障回路を有するイメージセンサの構成について説明する。白点故障回路部は、イメージセンサ内部に組み込むことも出来るし、イメージセンサの外部に接続することもできる。
【００６７】
図１７は、内蔵型の構成図である。内蔵型は、イメージセンサの共通基板１０に、図３で示した画素部２００と読み出し部３００とから成るイメージセンサ共通部１１と、ＲＧＢ変換を行なうＲＧＢ変換処理部１２ａと白点補完処理部１２ｂとを有するカラープロセッサ１２とを配置する構成である。
【００６８】
図１８は、外部接続の構成図である。外部接続型は、図３で示した画素部２００と読み出し部３００とから成るイメージセンサ共通部２０の基板と、ＲＧＢ変換を行なうＲＧＢ変換処理部３１と白点補完処理部３２とを有するカラープロセッサ３０の基板とを別に設け、信号線で接続する構成である。
【００６９】
【発明の効果】
以上説明したように本発明では、対象画素とその周辺にある周辺画素との明度を比較し、対象画素が周辺画素と比較して予め決められた所定の値以上の明度を有する場合、この対象画素と周辺画素の画素データを用いて対象画素の補完処理を行なう。
【００７０】
このように、周辺画素と比較することによって対象画素に白点故障が発生しているか否かを検出するため、白点故障発生箇所を予め検出して記憶装置に保持しておく必要がなくなる。この結果、記憶装置を使用した場合より回路構成を小さくすることができる。また、記憶装置を用いた回路とは異なり、回路規模は総画素数に依存することはない。さらに、自動的に白点故障を認識して補完するため、出荷試験の検査等で予め白点故障箇所を検出しておく必要がない。
【図面の簡単な説明】
【図１】本発明の一実施の形態である白点故障補完回路を具備したイメージセンサの構成図である。
【図２】イメージセンサの画素部における有効画素とその拡大図である。
【図３】本発明の一実施の形態であるイメージセンサの画素部と読み出し回路の構成図である。
【図４】第１の実施の形態における白点故障補完回路の回路図である。
【図５】第１の実施の形態において保持される画素データの組み合わせである。
【図６】第１の実施の形態における比較条件とその判定を示したものである。
【図７】第１の実施の形態における白点補完回路の回路図である。
【図８】第１の実施の形態における明度レベルとセレクタの動作及び補完係数の関係図である。
【図９】第２の実施の形態における白点故障補完回路の構成図である。
【図１０】第２の実施の形態において保持される画素データの組み合わせである。
【図１１】第２の実施の形態におけるＲ成分とＢ成分の判定回路と白点補完回路の回路図である。
【図１２】第２の実施の形態におけるデコーダの出力を示している。
【図１３】第２の実施の形態におけるセレクタの制御論理を示している。
【図１４】第２の実施の形態における判定条件と補完処理を示している。
【図１５】第２の実施の形態におけるＡＧＣデコード出力と選択される補完関数の一例を示している。
【図１６】第２の実施の形態におけるＧ成分の判定回路と白点補完回路の回路図である。
【図１７】内蔵型の構成図である。
【図１８】外部接続の構成図である。
【図１９】従来の白点故障補完回路とその周辺回路の構成図である。
【符号の説明】
１００ 白点故障補完回路
１１０ 周辺画素データ保持部
１２０ 比較判定部
１３０ 補完演算部
１４０ 補完係数記憶部
２００ 画素部
３００ 読み出し回路
４００ ＲＧＢ回路

Claims (9)

1. 固体撮像素子が配置されて成る画素部に発生した白点故障を補完する白点故障補完回路において、
   画素部を構成する所定の対象画素とその周辺の周辺画素の画素データを保持する周辺画素データ保持部と、
   前記対象画素と前記周辺画素との明度を比較する周辺画素明度比較部と、
   前記周辺画素明度比較部による比較結果に基づいて前記対象画素が前記周辺画素と比較して予め決められた所定の値以上の明度を有する白点故障であるか否かを判定する比較判定部と、
   前記比較判定部により前記対象画素が白点故障であると判定された場合に、前記対象画素の近傍で検出された映像の明度レベルに応じて前記対象画素及び前記周辺画素の画素データの使用比率を調整する重み付けを行ない、前記重み付けによる加重平均を算出して前記対象画素の補完を行なう補完演算部と、
   を具備したことを特徴とする白点故障補完回路。
2. 前記白点故障補完回路は、さらに、前記明度レベルごとに前記対象画素及び前記周辺画素の画素データに対して所定の重み付けがなされた補完係数を記憶する補完係数記憶部を有し、
   前記補完演算部は、前記明度レベルに応じた補完係数を前記補完係数記憶部より取得し、前記補完係数を用いて前記対象画素及び前記周辺画素の画素データの加重平均を算出することを特徴とする請求項１記載の白点故障補完回路。
3. 前記補完演算部は、さらに、前記映像の明度レベルが予め決められたレベル以上である場合には、前記補完演算を行なわないことを特徴とする請求項１記載の白点故障補完回路。
4. 前記映像の明度レベルは、前記画素部からの出力信号の信号処理を行なう際に前記画素部の所定の領域における明度に応じて前記画素部からの出力信号を増幅する増幅器の増幅率を調整する制御回路の設定する増幅率に基づいて算出することを特徴とする請求項１記載の白点故障補完回路。
5. 前記周辺画素明度比較部は、前記対象画素の明度が前記周辺画素の明度より高いかどうかを比較するとともに、前記対象画素の明度が前記周辺画素の平均の明度より高いかどうかを比較し、
   前記比較判定部は、前記周辺画素明度比較部によって前記対象画素の明度が前記周辺画素のうち最も明度の高いものよりも高く、かつ、前記周辺画素の平均の明度より高い場合に白点故障であると判定することを特徴とする請求項１記載の白点故障補完回路。
6. 前記周辺画素データ保持部は、前記画素部からの出力信号を入力する直列に配置されたフリップフロップ回路より成ることを特徴とする請求項１記載の白点故障補完回路。
7. 前記周辺画素データ保持部は、予め決められた所定の数の近接する画素データを保持し、
   前記比較判定部は、前記画素データの明度を比較して最も明度の高い画素を前記対象画素とし、残りの画素を前記周辺画素として明度の比較と判定を行なうことを特徴とする請求項１記載の白点故障補完回路。
8. 前記周辺画素データ保持部は、ＲＧＢ変換用のデータ保持部であることを特徴とする請求項７記載の白点故障補完回路。
9. 固体撮像素子が配置されて成る画素部に発生した白点故障を補完する白点故障補完回路を有するイメージセンサにおいて、
   白点故障補完回路が、
   画素部を構成する所定の対象画素とその周辺の周辺画素の画素データを保持する周辺画素データ保持部と、
   前記対象画素と前記周辺画素との明度を比較する周辺画素明度比較部と、
   前記周辺画素明度比較部による比較結果に基づいて前記対象画素が前記周辺画素と比較 して予め決められた所定の値以上の明度を有する白点故障であるか否かを判定する比較判定部と、
   前記比較判定部により前記対象画素が白点故障であると判定された場合に、前記対象画素の近傍で検出された映像の明度レベルに応じて前記対象画素及び前記周辺画素の画素データの使用比率を調整する重み付けを行ない、前記重み付けによる加重平均を算出して前記対象画素の補完を行なう補完演算部と、
   を具備したことを特徴とするイメージセンサ。

Images