JP3941698B2

JP3941698B2 - 画素補正回路及び画素補正方法

Info

Publication number: JP3941698B2
Application number: JP2003014331A
Authority: JP
Inventors: 学原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-01-23
Filing date: 2003-01-23
Publication date: 2007-07-04
Anticipated expiration: 2023-01-23
Also published as: US20040150731A1; JP2004228931A; US7443433B2

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号上の欠陥画素を補正する画素補正回路及び画素補正方法に関する。
【０００２】
【従来の技術】
デジタルカメラやビデオカメラには、固体撮像素子としてＣＣＤ（Charge-Coupled Devices）イメージセンサや、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられている。
【０００３】
このようなイメージセンサ上には、正常に動作しない欠陥画素が発生する場合がある。例えば、製造したイメージセンサを航空機などで搬送する際、高エネルギーの宇宙線が通過し、特定の画素が破壊される問題があった。組み立ての段階では、そのような欠陥画素を有するイメージセンサを廃棄していた。
【０００４】
しかし、この場合コストがかかるため、欠陥画素を補正する様々な方法が考えられている。例えば、欠陥画素の直前（左隣）の値を保持して欠陥画素の値として採用する方法（サンプリングホールド法）、欠陥前後の画素の値の平均値を採用する方法（前後平均法）などがある。また、欠陥画素の色情報と、欠陥画素に隣接する隣接画素の色情報の差分を取ってエッジを検出し、その影響が少ないと思われる画素から補正を行う方法（エッジ検出法）などがある（例えば、特許文献１参照）。
【０００５】
【特許文献１】
特開平６−１５３０８７号公報（図３）
【０００６】
【発明が解決しようとする課題】
しかし、サンプリングホールド法や前後平均法では、欠陥画素上に急峻なエッジが重なった場合に大きく誤った補正を行う可能性が高く、十分な補正結果を望めないという問題がある。特に、２画素以上連続する欠陥の場合には一様に補正を行うため、その画素がかえって目立ってしまう恐れがある。その観点からはエッジ検出法は、優れた補正方法といえるが、１つの色情報のみに着目して補正を行うため、誤って補正を行った場合にはその画素は周辺と異なる色がついてしまうという問題があった。
【０００７】
本発明はこのような点に鑑みてなされたものであり、欠陥画素を効果的に補正する画素補正回路を提供することを目的とする。
また、本発明の他の目的は、欠陥画素を効果的に補正する画素補正方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明では上記課題を解決するために、映像信号上の欠陥画素を補正する画素補正回路において、それぞれ複数の色で構成される前記欠陥画素と前記欠陥画素に隣接する隣接画素の、複数の色情報を保持する色情報保持部と、前記色情報保持部で保持された前記色情報を参照して、前記欠陥画素の前記色情報のうち欠陥のない色の前記色情報である無欠陥色情報と、前記無欠陥色情報に対応した色の前記隣接画素の前記色情報との差分を色ごとに算出する差分算出部と、算出した前記差分をもとに、前記隣接画素のうち、前記無欠陥色情報に最も類似した前記色情報を有する参照画素を決定する参照画素決定部と、前記参照画素と前記欠陥画素との色ごとに算出した複数の前記差分の平均値を算出し、前記平均値を用いて前記欠陥画素の欠陥のある欠陥色情報を補正する補正部とを有することを特徴とする画素補正回路が提供される。
【０００９】
上記の構成によれば、欠陥画素と最も類似した参照画素を決定し、欠陥画素と参照画素との差分の平均値を用いて欠陥色情報が補正される。
また、映像信号上の欠陥画素を補正する画素補正方法において、それぞれ複数の色で構成される前記欠陥画素と前記欠陥画素に隣接する隣接画素の、複数の色情報を保持し、保持された前記色情報を参照して、前記欠陥画素の前記色情報のうち欠陥のない色の前記色情報である無欠陥色情報と、前記無欠陥色情報に対応した色の前記隣接画素の前記色情報との差分を色ごとに算出し、算出した前記差分をもとに、前記隣接画素のうち、前記無欠陥色情報に最も類似した前記色情報を有する参照画素を決定し、前記参照画素と前記欠陥画素との色ごとに算出した複数の前記差分の平均値を算出して前記平均値を用い前記欠陥画素の欠陥のある欠陥色情報を補正することを特徴とする画素補正方法が提供される。
【００１０】
上記の方法によれば、欠陥画素と最も類似した参照画素を決定し、欠陥画素と参照画素との差分の平均値を用いて欠陥色情報が補正される。
【００１１】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は、本発明の画素補正回路の原理を示す機能ブロック図である。
【００１２】
本発明の画素補正回路１０は、色情報保持部１１と、差分算出部１２と、参照画素決定部１３と、補正部１４とから構成される。
色情報保持部１１は、欠陥情報保持部２０に保持された欠陥画素の位置や、欠陥が存在する色などの欠陥情報を参照して、欠陥画素と、それに隣接する欠陥のない隣接画素の、複数の種類の色情報を保持する。具体的には、図１のように、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）などの複数の色ごとに設けられたイメージセンサ２１ａ、２１ｂ、２１ｃからの出力を、画素ごとに複数の種類の色情報として保持する。
【００１３】
図２は、保持された色情報の例を示す図である。
ここでは、簡単のため、色Ｇ０に欠陥のある欠陥画素０の左右（前後）・上方に隣接する隣接画素のみ示した。欠陥画素０と、欠陥画素に隣接する画素１、２、３、４、５の色情報であるＲＧＢの値を保持する。例えば、欠陥画素０については、色Ｒ０の値は“５９”、色Ｇ０は“２５０”、色Ｂ０は“４８”という値を、色ごとに保持する。他の画素１〜５についても同様に、色Ｒ１〜Ｒ５、色Ｇ１〜Ｇ５、色Ｂ１〜Ｂ５の値を色情報として保持する。
【００１４】
差分算出部１２は、欠陥画素の色情報のうち欠陥のない色情報と、隣接画素の色情報との差分を算出する。例えば図２のような場合、欠陥画素０のうち欠陥がない色Ｒ０、Ｂ０の値と、隣接画素の色Ｒ１〜５、Ｂ１〜５の値との差分をそれぞれの色ごとに算出する。
【００１５】
参照画素決定部１３は、隣接画素のうち、差分算出部１２で算出した差分の絶対値の和が最小となる隣接画素を、補正のために参照する画素（参照画素）として決定する。
【００１６】
補正部１４は、参照画素の差分の平均値を算出し、平均値をもとに欠陥画素の欠陥色情報を補正する。
以下、図１、図２を参照して画素補正回路１０の動作を説明する。
【００１７】
外部のイメージセンサ２１ａ、２１ｂ、２１ｃを介して色情報が入力されると、色情報保持部１１により、図２で示したように、欠陥情報保持部２０に保持された欠陥情報を参照して、欠陥画素０と、欠陥画素０に隣接する欠陥のない画素１〜５ごとにＲＧＢの値が保持される。次に、差分算出部１２で、欠陥画素０のうち欠陥のない色Ｒ０、Ｂ０の値と、画素１〜５の色Ｒ１〜Ｒ５、Ｂ１〜Ｂ５の値との差分を算出する。さらに、参照画素決定部１３で、差分の絶対値の和が最小となる画素を選択する。
【００１８】
図３は、差分の絶対値の和を算出する様子を示す図である。
ここで、ｄｒは隣接する画素１〜５の色Ｒ１〜Ｒ５の値と、欠陥画素０の色Ｒ０の値との差であり、ｄｂは隣接する画素１〜５の色Ｂ１〜Ｂ５の値と、欠陥画素０の色Ｂ０の値との差である。また、差分の絶対値の和は｜ｄｒ｜＋｜ｄｂ｜で示した。図３から分かるように、画素１の差分の絶対値の和が“３４”となり、他の画素２〜５の中で最小になっている。このことより、画素１が欠陥画素０に最も類似した色情報を持つ画素であると判断して、画素１を補正のための参照画素として決定する。
【００１９】
次に、補正部１４で、参照画素と欠陥画素０について、色Ｒ、Ｂについての差分の平均値と、色Ｇの差分を一致させるように、画素１の色Ｇ１の値から、色Ｒ、Ｂについての差分の平均値を差し引く。具体的には、図３のように、画素１の差分の絶対値の和は“３４”であるので、差分の平均値は“１７”となる。これを画素１の色Ｇ１の値である“６３”より差し引くことで、“４６”という欠陥画素０の欠陥色Ｇ０の補正値が得られる。
【００２０】
このように、欠陥画素０のうち欠陥が存在しない色情報（色Ｒ０、Ｂ０またはどちらか一方でもよい）を用いて、隣接画素の色情報との差分の絶対値の和より、欠陥画素０に最も類似する参照画素を決定し、その差分の平均値と一致するように、欠陥色（色Ｇ０）を補正することで、１つの色に着目して補正する場合に比べ、欠陥画素０を効果的に補正することができる。
【００２１】
なお、上記では省略したが、差分算出部１２と、参照画素決定部１３との間に、欠陥画素０と着目した隣接画素との距離に応じて、差分に係数をかける重み付け部を有するようにしてもよい。具体的な説明は後述する。
【００２２】
次に本発明の実施の形態の画素補正回路の詳細を説明する。
以下では、本発明の実施の形態の画素補正回路を、ＣＣＤまたはＣＭＯＳ等のイメージセンサを持つカラー撮像装置（以下撮像装置と略す）に適用した場合について説明する。
【００２３】
図４は、撮像装置の一例の構成図である。
撮像装置１００は、像を入力するレンズ光学系（以下レンズと略す）１０１と、色Ｒ、Ｇ、Ｂに色情報を分離する色分離光学系（以下プリズムと呼ぶ）１０２と、ＲＧＢそれぞれの色に対応して設けられたイメージセンサ１０３ａ、１０３ｂ、１０３ｃと、ノイズを除去するＣＤＳ（Correlated Double Sampling）回路１０４、出力信号の値を調節するＡＧＣ（Automatic Gain Control）回路１０５、余分な信号を除去するＬＰＦ（Low Path Filter）回路１０６、ホワイトバランスを調節するＷＢ／Ａｍｐ（White Balance/Amplifier）回路１０７、ＡＤ（Analog-Digital）変換を行うＡＤ変換回路１０８、画素補正回路１０９、欠陥情報を保持するＥＰＲＯＭ（Erasable Programmable Read-Only Memory）１１０、補正された色情報を処理するＤＳＰ（Digital Signal Processor）１１１から構成される。
【００２４】
レンズ１０１より入射した光はプリズム１０２においてＲＧＢに分離され、それぞれのイメージセンサ１０３ａ、１０３ｂ、１０３ｃに照射される。イメージセンサ１０３ａ、１０３ｂ、１０３ｃによって光は電気的に変換され、ＣＤＳ回路１０４やＡＧＣ回路１０５、ＬＰＦ回路１０６、ＷＢ／Ａｍｐ回路１０７を通過し、ＡＤ変換回路１０８においてデジタル量に変換される。このＡＤ変換回路１０８の出力が、本発明の画素補正回路１０９に入力される。画素補正回路１０９は、ＥＰＲＯＭ１１０に記録された欠陥位置、欠陥長、欠陥が存在する色などの欠陥情報に基づき、適切に欠陥画素の補正を行う。以下にその動作を説明するとともに、本発明の画素補正方法について説明する。
【００２５】
図５は、本発明の実施の形態の画素補正方法を示すフローチャートである。
Ｓ１：欠陥画素と、欠陥のない隣接画素のＲＧＢを保持する。
ここでは、ＥＰＲＯＭ１１０に記録された欠陥情報に基づき、欠陥画素と、それに隣接する画素のＲＧＢの値を保持する。
【００２６】
図６は、画素ごとに保持された色情報の例を示す図である。
図のように欠陥画素０と、これに隣接する画素１〜８のＲＧＢの値を保持する。
【００２７】
例えば、欠陥画素０については、色Ｒ０、Ｇ０、Ｂ０を保持し、画素１では、色Ｒ１、Ｇ１、Ｂ１を保持する。以下、画素８まで同様に、それぞれＲＧＢの値を保持する。
【００２８】
なお、ここでは、隣接する画素に欠陥はないものと仮定している（欠陥画素が隣接して存在する場合については後述する）。
Ｓ２：欠陥画素の欠陥のない色情報と、隣接画素の色情報との差分を算出する。
【００２９】
例えば、図６において欠陥画素０の色Ｒ０に欠陥が存在する場合に、欠陥画素０と隣接する画素１〜８の色Ｂ１〜８、Ｇ１〜８と、欠陥画素０の色Ｂ０、Ｇ０との差分を算出する。
【００３０】
Ｓ３：差分の絶対値の和が最小となる参照画素を決定する。
ここではまず、ステップＳ２で算出した色ごとの差分の絶対値の和を以下のようにして求める。
【００３１】
【数１】
Δｘ＝｜Ｂｘ−Ｂ０｜＋｜Ｇｘ−Ｇ０｜，（ｘは１〜８）
上式で算出した画素１〜８に対応する差分の絶対値の和Δ１〜Δ８が、最も小さい画素を、欠陥画素０に最も類似した色情報（ＲＧＢ）を持つ画素であると判断し、補正に用いる参照画素とする。
【００３２】
Ｓ４：参照画素の差分の平均値をもとに欠陥画素の欠陥色情報を補正する。
ステップＳ３で、画素１〜８のうち、差分の絶対値の和Δ１〜Δ８が最小のものを参照画素ｘとすると、色Ｇ、Ｂの差分の平均値と色Ｒの差分を一致させるような値を、欠陥画素０の色Ｒ０とするように補正する。具体的には以下の式で算出される。
【００３３】
【数２】
（｜Ｇｘ−Ｇ０｜＋｜Ｂｘ−Ｂ０｜）／２＝Ｒｘ−Ｒ０
Ｒ０＝Ｒｘ−（｜Ｇｘ−Ｇ０｜＋｜Ｂｘ−Ｂ０｜）／２
なお、Ｒｘ、Ｇｘ、Ｂｘは参照画素ｘの色情報である。
【００３４】
このようにして、欠陥画素０の欠陥色Ｒ０の補正ができる。
なお、本補正方法は絶え間なく動作させることにより、自動的に常に最適な周辺の画素により補正を行うことが可能である。
【００３５】
また、画素１〜８のいずれかの色Ｇ１〜８にも欠陥がある場合は、従来の前後平均法などや、色Ｂの差分のみと色Ｒの差分を一致させる方法（色Ｇを除外）、該画素を除外して演算する方法を用いて補正を行うことができる。
【００３６】
また、まれなケースだが、欠陥画素０の色Ｇ０にも欠陥が存在する場合は、上記の前後平均法や、色Ｇを除外して上記の画素補正方法を適用することで補正することができる。
【００３７】
本発明は、欠陥ごとに、欠陥画素とこれに隣接する画素の色情報などのデータを保持する必要がある。
図７は、演算に使用する画素数を削減した例を示す図である。
【００３８】
このように、色情報などのデータを保持する容量を少なくする必要がある場合は、欠陥画素０に隣接する全ての画素を用いず、例えば、図７のように欠陥画素０の前後画素・上方画素を用いて演算すればよい。
【００３９】
次に欠陥の長さが２画素以上の場合について説明する。
欠陥の長さが２画素以上の場合は、欠陥の１画素ごとに本発明の画素補正方法を適用すればよい。
【００４０】
図８は、欠陥が３画素連続した場合を示した図である。
欠陥画素０ａ、０ｂ、０ｃと３画素連続して欠陥が存在する場合は、これに隣接する画素１〜１２までの色情報を保持する。補正の際は、以下のように１画素ごとに演算に用いる隣接画素を決めて補正すればよい。
【００４１】
図９は、３画素連続した欠陥を補正する際に演算に使用する隣接画素を示す図であり、（Ａ）が左画素の補正、（Ｂ）が中央画素の補正、（Ｃ）が右画素の補正を行う際に使用する隣接画素を示す。
【００４２】
左側の欠陥画素０ａを補正する場合、図９（Ａ）のように画素１、２、３、６、８、９、１０の色情報と、欠陥画素０ａの欠陥色情報以外の色情報との差分を求めるようにして、図５で示した欠陥補正方法を実行して欠陥画素０ａの欠陥色情報を補正することができる。
【００４３】
また、中央の欠陥画素０ｂを補正する場合、図９（Ｂ）のように画素２、３、４、６、７、９、１０、１１の色情報を用いて、右側の欠陥画素０ｃを補正する場合は、図９（Ｃ）のように画素３、４、５、７、１０、１１、１２の色情報を用いて、補正することができる。
【００４４】
なお、図９（Ｂ）の場合、画素６、７は、他の画素２、３、４、９、１０、１１よりも欠陥画素０ｂとの距離が離れている。よって、画素６、７よりも画素２、３、４、９、１０、１１のほうが欠陥画素０ｂとの相関が高いと考えられる。したがって、補正の際には、欠陥画素０ｂの色情報と画素６、７の色情報との差分は２倍して計算を行う。
【００４５】
また、ＣＣＤを飛び越し走査を使って駆動すると、欠陥の上下のデータは正確には１画素間に挟んだ状態となる。テレビのインターレース方式と同様である。奇数フィールドは１、３、５、…ライン目の画素を用い、偶数フィールドは２、４、６、…ライン目の画素を用いる。このような場合、欠陥の上下の画素よりも左右の画素のほうが高いと考えられるので、欠陥画素０ｂの色情報と画素６、７の色情報との差分はそのまま用いて計算するようにしてもよい。
【００４６】
このように、２画素以上連続する欠陥に対しても、精度の良い補正を行うことができる。
なお、上記では、色情報としてＲＧＢを用いて説明したが、これに限定されず、シアン、マゼンタ、黄などを用いてもよいし、３色以上であってもよい。
【００４７】
【発明の効果】
以上説明したように本発明では、欠陥画素と最も類似した参照画素を決定し、欠陥画素と参照画素との差分の平均値を用いて欠陥色情報を補正することにより、欠陥を目立たなく補正することができる。また、サンプリングホールド法や前後平均法などの従来の方法に比べて精度よく補正できる。さらに、誤った補正を行ったとしても、周辺の画素に類似した色となるため、目立つことがない。
【００４８】
また、２画素以上連続する欠陥に対しても、１画素ごとに補正するので、精度のよい補正を行うことができる。
【図面の簡単な説明】
【図１】本発明の画素補正回路の原理を示す機能ブロック図である。
【図２】保持された色情報の例を示す図である。
【図３】差分の絶対値の和を算出する様子を示す図である。
【図４】撮像装置の一例の構成図である。
【図５】本発明の実施の形態の画素補正方法を示すフローチャートである。
【図６】画素ごとに保持された色情報の例を示す図である。
【図７】演算に使用する画素数を削減した例を示す図である。
【図８】欠陥が３画素連続した場合を示した図である。
【図９】３画素連続した欠陥を補正する際に演算に使用する隣接画素を示す図であり、（Ａ）が左画素の補正、（Ｂ）が中央画素の補正、（Ｃ）が右画素の補正を行う際に使用する隣接画素を示す図である。
【符号の説明】
１０……画素補正回路、１１……色情報保持部、１２……差分算出部、１３……参照画素決定部、１４……補正部、２０……欠陥情報保持部、２１ａ、２１ｂ、２１ｃ……イメージセンサ

Claims

映像信号上の欠陥画素を補正する画素補正回路において、
それぞれ複数の色で構成される前記欠陥画素と前記欠陥画素に隣接する隣接画素の、複数の色情報を保持する色情報保持部と、
前記色情報保持部で保持された前記色情報を参照して、前記欠陥画素の前記色情報のうち欠陥のない色の前記色情報である無欠陥色情報と、前記無欠陥色情報に対応した色の前記隣接画素の前記色情報との差分を色ごとに算出する差分算出部と、
算出した前記差分をもとに、前記隣接画素のうち、前記無欠陥色情報に最も類似した前記色情報を有する参照画素を決定する参照画素決定部と、
前記参照画素と前記欠陥画素との色ごとに算出した複数の前記差分の平均値を算出し、前記平均値を用いて前記欠陥画素の欠陥のある欠陥色情報を補正する補正部と、
を有することを特徴とする画素補正回路。
前記参照画素決定部は、前記差分の絶対値の和が最小となるように参照画素を決定することを特徴とする請求項１記載の画素補正回路。
前記隣接画素に欠陥が存在する場合、欠陥のある前記隣接画素または、前記隣接画素の欠陥色情報を除外することを特徴とする請求項１記載の画素補正回路。
前記欠陥画素が２画素以上に連続する場合、１画素ごとに、補正することを特徴とする請求項１記載の画素補正回路。
前記隣接画素に欠陥が存在する前記欠陥画素の補正の際、欠陥のある前記隣接画素を除外して、欠陥のある前記隣接画素の直近の欠陥のない画素を前記欠陥画素に対する前記隣接画素の１つとして用い、前記欠陥画素と着目した前記隣接画素との距離に応じて、前記差分に係数をかける重み付け部を有することを特徴とする請求項１記載の画素補正回路。
前記映像信号は、固体撮像素子より出力されたものであることを特徴とする請求項１記載の画素補正回路。
映像信号上の欠陥画素を補正する画素補正方法において、
それぞれ複数の色で構成される前記欠陥画素と前記欠陥画素に隣接する隣接画素の、複数の色情報を保持し、
保持された前記色情報を参照して、前記欠陥画素の前記色情報のうち欠陥のない色の前記色情報である無欠陥色情報と、前記無欠陥色情報に対応した色の前記隣接画素の前記色情報との差分を色ごとに算出し、
算出した前記差分をもとに、前記隣接画素のうち、前記無欠陥色情報に最も類似した前記色情報を有する参照画素を決定し、
前記参照画素と前記欠陥画素との色ごとに算出した複数の前記差分の平均値を算出して前記平均値を用い前記欠陥画素の欠陥のある欠陥色情報を補正することを特徴とする画素補正方法。
前記差分の絶対値の和が最小となるように参照画素を決定することを特徴とする請求項７記載の画素補正方法。
前記隣接画素に欠陥が存在する場合、欠陥のある前記隣接画素または、前記隣接画素の欠陥色情報を除外することを特徴とする請求項７記載の画素補正方法。
前記欠陥画素が２画素以上に連続する場合、１画素ごとに、補正することを特徴とする請求項７記載の画素補正方法。
前記隣接画素に欠陥が存在する前記欠陥画素の補正の際、欠陥のある前記隣接画素を除外して、欠陥のある前記隣接画素の直近の欠陥のない画素を前記欠陥画素に対する前記隣接画素の１つとして用い、前記欠陥画素と着目した前記隣接画素との距離に応じて、前記差分に係数をかけることを特徴とする請求項７記載の画素補正方法。
前記映像信号は、固体撮像素子より出力されたものであることを特徴とする請求項７記載の画素補正方法。