JP3125124B2 - 欠陥画素傷補正回路 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＣＣＤ等の固体撮像素
子における欠陥画素に対する傷補正を行う欠陥画素傷補
正回路に関する。

【０００２】

【従来の技術】従来より、ＣＣＤ等における欠陥画素の
傷補正処理は、欠陥画素の位置情報をあらかじめ記憶し
ておき、この情報に基づいて欠陥をその隣の画素から得
られる情報に単純に置き換える、いわゆる０次ホールド
補間により行ってきた。しかし、この補正方法では、図
９に示すように、例えば傷の直前に画像の濃淡の境界が
あった場合に、欠陥補正処理を施した場所×が目立って
しまうという問題を有していた。

【０００３】係る問題を解決するため、特開平３−2963
74号公報に示されるように、欠陥画素近傍の複数の画素
から出力される映像信号のレベルを比較し、この比較結
果に基づいて補間に用いる画素の映像情報を選択し、当
該欠陥画素の位置における映像情報を補間することによ
る補正方法が提案されており、前記公報中には以下のよ
うな手段が開示されている。

【０００４】すなわち、図10に示すように、まず欠陥画
素Ｘの１画素前と１画素後に隣接する画素ＤとＥ、その
１水平ライン前の３画素Ａ，Ｂ、およびＣの計５画素に
ついて、それぞれ隣接する画素間(境界Ｉ，境界II，境
界III，境界IV)の信号レベル差の絶対値を算出する。

【０００５】次に、当該絶対値データより、境界Ｉ−I
I，境界Ｉ−III，境界IV−II，境界IV−IIIのそれぞれ
について、隣接画素間の出力信号レベル差の絶対値の大
小比較を行い、４組の境界の大小関係から(表１)に従っ
て決定される４種類の制御信号ａ〜ｄを出力する。

【０００６】

【表１】

【０００７】前記制御信号ａ〜ｄは、図11に示すよう
に、水平(a)，右上がり(b)，左上がり(c)，垂直(d)の４
種類のストライプパターンに対応している。この制御信
号に基づき、水平パターン(a)のときには画素Ｄと画素
Ｅの出力データの平均，右上がりパターン(b)のときに
は画素Ｅ，左上がりパターン(c)のときには画素Ｄ，垂
直パターン(d)のときには画素Ｂの出力データと置き換
えることにより、欠陥画素の傷補正を行っている。

【０００８】

【発明が解決しようとする課題】しかしながら、上述し
た特開平３−296374号公報において提案される補間回路
では、欠陥画素の左右の画素と１ライン前の３画素の計
５画素から出力される映像信号のレベルから、画素間の
レベル差の絶対値を算出した上で、当該絶対値のデータ
の大小比較を行うことにより、欠陥画素近傍における被
写体のパターンを識別しているためにパターンの識別を
誤ることがある。

【０００９】例えば、図12(a)において、周辺画素から
の出力がＡ＝100，Ｂ＝120，Ｃ＝200，Ｄ＝110，Ｅ＝21
5の場合、 境界Ｉ ＝｜Ａ−Ｄ｜＝ 10 境界II ＝｜Ｂ−Ａ｜＝ 20 境界III ＝｜Ｃ−Ｂ｜＝ 80 境界IV ＝｜Ｅ−Ｃ｜＝ 15 となるため、(表１)の番号14に該当して制御信号ｄが選
択される。しかしながら、図12(a)は右上がりであるた
め、図11(b)右上がりと識別され制御信号ｂが選択され
なければならない。また、図12(b)において、周辺画素
からの出力がＡ＝100，Ｂ＝110，Ｃ＝200，Ｄ＝120，Ｅ
＝205の場合、 境界Ｉ ＝｜Ａ−Ｄ｜＝ 20 境界II ＝｜Ｂ−Ａ｜＝ 10 境界III ＝｜Ｃ−Ｂ｜＝ 90 境界IV ＝｜Ｅ−Ｃ｜＝ ５ となるため、(表１)の番号７に該当して制御信号ａが選
択される。しかしながら、図12(b)のパターンは垂直で
あるため、図11における垂直(d)と識別され制御信号ｄ
が選択されなければならない。

【００１０】以上の２例から明らかなように、前記補間
回路では、欠陥画素近傍における境界のパターンを的確
に識別することができないという問題を有している。ま
た，識別されうる被写体のパターンが水平，左上がり，
右上がり，垂直のストライプパターン４種類に限定され
ているため、十分かつ細やかな補正ができないという問
題も生ずる。

【００１１】本発明の目的は、このような従来の問題を
解決し、欠陥画素近傍の被写体に複雑な境界が存在する
場合にも、適切な傷補正を行いうる優れた欠陥画素傷補
正回路を提供することにある。

【００１２】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、ディジタル画像の入力から欠陥画素の近
傍の画素から出力される信号を取り込む画素取込回路
と、取り込まれた画素から出力される信号により隣接す
る周辺画素間の境界の大きさを求める境界検出回路と、
検出された境界の大きさの大小を比較して順位付けを行
う境界順位付け回路と、境界順位付け回路からの入力に
基づき補間方法を決定する補間方決定回路と、補間法決
定回路により決定された補間方法に従って補間出力を生
成する補間回路とを備えた欠陥画素傷補正回路である。

【００１３】

【作用】前記構成により、本発明によれば、周辺画素間
の境界の大きさを互いに比較し、境界の大きさを順位付
けすることにより、欠陥画素近傍に複雑な境界が存在し
ている場合であっても境界のパターンを識別することが
可能となる。また、補間法決定回路において、識別され
たパターンごとに最適な補間方法をあらかじめ決定して
おくことにより、境界のパターンごとに適切な傷補正を
行うことが可能となる。

【００１４】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。

【００１５】図１は本発明の一実施例の構成を示すブロ
ック図であり、10はＣＣＤ等からのディジタル画像の入
力より３×３のウィンドウに相当する９画素の信号を取
り込む画素取込回路、11は画素取込回路10で取り込まれ
た周辺８画素から隣接する画素間の境界の大きさを求め
る境界検出回路、12は境界検出回路11で求めた境界の大
きさに基づき各境界の順位付けを行う境界順位付け回
路、13は境界順位付け回路12の出力に基づき補間方法を
決定する補間法決定回路、14は補間法決定回路13により
決定された補間方法に従って画像取込回路10で取り込ま
れた周辺８画素からの信号を用いて補間を行う補間回路
である。

【００１６】15は欠陥画素の位置を記憶しておくメモ
リ、16は画素取込回路10で取り込んだ中心画素の位置が
メモリ15に記憶されているか否かを判断して切替回路17
を制御するシステムコントローラ、17は、システムコン
トローラ16からの制御信号に従って、画素取込回路10で
取り込まれた中心画素の信号と補間回路14からの補間出
力を切り替える切替回路である。

【００１７】次に前記実施例における動作について説明
する。

【００１８】まず、画像の取込方法について説明する。
画像取込回路10では、３×３のウィンドウに相当する９
画素の信号を取り込んで出力する。すなわち、図２に示
すように中心画素に相当するＸ１１から信号ｘ１１、お
よび周辺画素に相当する Ｘ００〜Ｘ０２，Ｘ１０，Ｘ１２，Ｘ２０〜Ｘ２２から
信号ｘ００〜ｘ０２，ｘ１０，ｘ１２，ｘ２０〜ｘ２２
がそれぞれ出力される。ただし、飛び越し走査された信
号、すなわちインターレース信号の場合には、フィール
ド内での補間を行うため、フィールドにおける３×３の
ウィンドウとする。つまり、インターレースの場合に
は、フレームの画面においては図３に示すように、２ラ
イン前と２ライン後の画素を取り込む。

【００１９】次に、周辺画素間の境界の大きさを求める
方法について説明する。境界検出回路11では、図４に示
すように画素取込回路10で取り込まれた周辺８画素の隣
接する画素からの信号の差の絶対値を求める。ただし、
垂直に隣接した画素間の場合には係数ｋを乗じた値を境
界の大きさとする。すなわち、境界の大きさｄ１〜ｄ８
を下記の(数１)により求める。

【００２０】

【数１】 ｄ１＝ｋ・｜ｘ１０−ｘ００｜ ｄ２＝ ｜ｘ００−ｘ０１｜ ｄ３＝ ｜ｘ０１−ｘ０２｜ ｄ４＝ｋ・｜ｘ０２−ｘ１２｜ ｄ５＝ｋ・｜ｘ１２−ｘ２２｜ ｄ６＝ ｜ｘ２２−ｘ２１｜ ｄ７＝ ｜ｘ２１−ｘ２０｜ ｄ８＝ｋ・｜ｘ２０−ｘ１０｜ ここで、係数ｋは正の実数であり、画素の縦横比やイン
ターレースにより信号の差をとる画素間の距離が、水平
方向と垂直方向で異なるために生じる水平方向と垂直方
向の画素間の相関の強弱を補正するものである。

【００２１】次に、境界の大小を比較する方法について
説明する。境界順位付け回路12は、境界の大きさｄ１〜
ｄ８について、ｄ１とｄ２，ｄ１とｄ３，……，ｄ７と
ｄ８等の56組のすべての組み合わせについて大小を比較
し、ｄ１の境界の大きさの順位をＤ１に、ｄ２の順位を
Ｄ２に、ｄ３〜ｄ８の境界の大きさの順位をそれぞれＤ
３〜Ｄ８に出力する。このＤ１〜Ｄ８の組み合わせを境
界順位パターンと呼ぶ。なお、大小比較において比較結
果が等しい場合には、次の規則に従って大小関係をつけ
る。

【００２２】規則１)垂直方向と水平方向の境界の大き
さの比較結果が等しい場合、水平方向に隣接する画素間
の相関と垂直方向に隣接する画素間の相関の小さい方を
境界の大きさが大きいことにする。なお、インターレー
ス信号では、一般に垂直方向よりも水平方向の画素間の
方が相関が高いので、垂直方向と水平方向の境界の大き
さ比較結果が等しい場合には垂直方向の境界を大とす
る。

【００２３】規則２)同方向の画素間の場合、位置関係
が対称なため、いろいろな規則が考えられるが、本実施
例では添字の小さい方の境界を大とする。

【００２４】前記規則１)，規則２)を合わせると、下記
の(数２)の関係が成り立つので、比較結果が等しいとき
には(数２)に示した順位付けを行う。

【００２５】

【数２】 ｄ１＞ｄ４＞ｄ５＞ｄ８＞ｄ２＞ｄ３＞ｄ６＞ｄ７ 以上の動作を具体例で説明する。ｄ１からｄ８の関係が
下記の(数３)の場合の境界順位パターンを求める。

【００２６】

【数３】 ｄ３＞ｄ５＞ｄ１＞ｄ６＞ｄ８＞ｄ２＝ｄ７＞ｄ４ すなわち、ｄ１は３位なのでｄ１の順位Ｄ１は３とな
る。またｄ２とｄ７は共に６位であるが、ｄ２とｄ７は
前記の規則からｄ２＞ｄ７と判断するため、ｄ２が６
位、ｄ７が７位となる。したがって、Ｄ１〜Ｄ８は下記
の(数４)のようになる。

【００２７】

【数４】Ｄ１＝３，Ｄ２＝６，Ｄ３＝１，Ｄ４＝８，Ｄ
５＝２，Ｄ６＝４，Ｄ７＝７，Ｄ８＝５ 次に、比較結果から補間方法を決定する方法について説
明する。境界順位付け回路12から出力される境界順位パ
ターンは、８個の境界の大きさの順位の組み合わせを表
しているので、そのパターンの種類は８の階乗、すなわ
ち８！＝40320通りある。補間法決定回路13では境界順
位付け回路12から出力された境界順位パターンごとに固
有の番号を付ける。この番号を境界順位パターン番号と
呼ぶ。境界順位パターン番号は、境界順位付け回路12か
ら出力される境界順位パターンＤ１〜Ｄ８から下記の
(数５)によって算出する。

【００２８】

【数５】ＰＮ＝Ｄ１+８(Ｄ２+８(Ｄ３+８(Ｄ４+８(Ｄ５
+８(Ｄ６+８(Ｄ７+８・Ｄ８)))))) ここで、Ｄ１からＤ８は同じ値にならないため、パター
ン番号ＰＮは連続した値とならない。

【００２９】このように分類された境界順位パターンに
対する補間方法の決定は、補間法決定回路13において、
各々のパターンに対して出力すべき補間方法をあらかじ
め一義的に設定しておく。以下に境界比較結果の境界大
きさの順位と補間方法の関係について具体的に説明す
る。

【００３０】境界順位付け回路12により出力された境界
順位パターンＤ１〜Ｄ８が、下記の(数６)に示すようで
あって、境界の大きさの順位が図５に示すように、

【００３１】

【数６】Ｄ１＝７，Ｄ２＝８，Ｄ３＝１，Ｄ４＝５，Ｄ
５＝４，Ｄ６＝３，Ｄ７＝６，Ｄ８＝２ になっている場合、図５の境界から推定されうる現実の
周辺画像の境界としては、図６(a)，図６(b)などが考え
られる。このように周辺画像のパターンが異なれば最適
な補間方法も異なり、図６(a)の周辺画像のパターンの
ときには図７(a)の補間方法が最適と考えられ、図６(b)
のパターンでは図７(b)が最適と考えられる。

【００３２】しかしながら、境界順位付け回路12によっ
て、図５のような境界順位パターンが得られたときに直
観的な判断により、最適な補間方法を図７(a)または図
７(b)等多数の候補の中から一義的に決定することは困
難である。そこで、あらかじめ以下の方法によってシミ
ュレーションを行い、境界順位パターンごとに最適な補
間方法を決定する。

【００３３】シミュレーションには、欠陥画素の存在し
ないディジタル画像を用いる。

【００３４】まず、前記画像から座標(ｘ,ｙ)を中心と
する３×３のウィンドウに相当する９画素を取り込む。
座標(ｘ,ｙ)を中心とする３×３のウィンドウに対する
処理であることを明示するため、中心画素の値はｘ１１
(ｘ,ｙ)のように(ｘ,ｙ)という添字を付加する。なお、
インターレース信号の場合には、画像取込回路10と同様
に、フィールド画像に対して３×３のウィンドウの画素
を取り込む。

【００３５】取り込んだ９画素に対して、前記境界検出
回路11と境界順位付け回路12と同様の処理を行い、境界
順位パターンＤ１(ｘ,ｙ)〜Ｄ８(ｘ,ｙ)を求め、前記
(数５)に従って、境界順位パターン番号ＰＮ(ｘ,ｙ)を
求める。

【００３６】次に、取り込んだ周辺８画素から、図８の
12種類の補間法で補間した補間出力を求め、補間法１に
よる補間出力をｙ1(ｘ,ｙ)、補間法２による補間出力を
ｙ2(ｘ,ｙ)、補間法３〜補間法12による補間出力をそれ
ぞれｙ3(ｘ,ｙ)〜ｙ12(ｘ,ｙ)とする。なお、図８には
単純な補間方法として12種類の補間法を示したが、この
他にも複数の画素の平均や加重平均による補間方法など
が考えられ、一般的には、補間出力ｙnは下記の(数７)
で表現できる。

【００３７】

【数７】 ｙn＝α1・ｘ００+α2・ｘ０１+α3・ｘ０２+α4・ｘ１
２+α5・ｘ２２+α6・ｘ２１+α7・ｘ２０+α8・ｘ１０ ただし、α1〜α8は実数の係数 一方、このシミュレーションのおいては欠陥画素のない
画像から画像を取り込んでいるので、３×３のウィンド
ウの中心画素Ｘ１１(ｘ,ｙ)から出力される信号ｘ１１
(ｘ,ｙ)を傷補正の目標値と考えることができる。した
がって、それぞれの補間法の補間誤差を求めることがで
きる。補間法ｉの補間誤差ERRｉ(ｘ,ｙ)は下記の(数８)
となる。

【００３８】

【数８】ERRi(ｘ,ｙ)＝｜ｙi(ｘ,ｙ)−x１１(ｘ,ｙ)｜ ただし、ｉ=1，2，……，12 この補間誤差ERRｉ(ｘ,ｙ)を画像全体に対して求め、境
界パターン番号ごとに誤差の２乗平均を求める。すなわ
ち、境界順位パターン番号ｊにおいて、補間法ｉを採用
したときの補間誤差の２乗平均TOTALERR(ｉ,ｊ)は下記
の(数９)となる。

【００３９】

【数９】TOTALERR(ｉ,ｊ)＝ΣＨｊ(ｘ,ｙ)・ERRｉ(ｘ,
ｙ)・ERRｉ(ｘ,ｙ) (ｘ,ｙ)∈すべての画素 ただし、Ｈj(ｘ,ｙ)＝１：(ｊ＝ＰＮ(ｘ,ｙ)のとき) Ｈj(ｘ,ｙ)＝０：(ｊ≠ＰＮ(ｘ,ｙ)のとき) この12種類の補間法による補間誤差の２乗平均TOTALERR
(１,ｊ)，TOTALERR(２,ｊ)，……，TOTALERR(12,ｊ)の
うち、最小の補間方法を選択することにより、境界順位
パターン番号ｊに対する最適な補間法を一義的に決定す
ることができる。以上の操作をすべての境界順位パター
ン番号に対して行う。

【００４０】周辺画素からのみ得られる境界のパターン
に対して、そのパターンに適切な補間法を直観的な判断
により一義的に決定するのが困難な場合についても、こ
のようなシミュレーションをさまざまな条件の画像デー
タに対して行うことにより、それぞれの境界のパターン
に適した補間方法を決定することができる。

【００４１】次に、補間方法について説明する。補間回
路14では、周辺８画素から出力される信号に対して、図
８に示した12種類の補間法(下記の(数10))で演算を行
い、補間信号ｙ１〜ｙ12を生成する。この12種類の補間
信号の中から、補間法決定回路13で決定された補間法の
補間信号を選択して出力する。なお、選択する補間法は
図８で示した12種類の補間法以外に、前記(数７)で表現
される補間法を追加することもできる。

【００４２】

【数１０】補間法１) ｙ１＝ｘ１０ 補間法２) ｙ２＝ｘ１２ 補間法３) ｙ３＝ｘ０１ 補間法４) ｙ４＝ｘ２１ 補間法５) ｙ５＝(ｘ１０＋ｘ１２)／２ 補間法６) ｙ６＝(ｘ０１＋ｘ２１)／２ 補間法７) ｙ７＝(ｘ００＋ｘ２２)／２ 補間法８) ｙ８＝(ｘ０２＋ｘ２０)／２ 補間法９) ｙ９＝ｘ００ 補間法10)ｙ１０＝ｘ０２ 補間法11)ｙ１１＝ｘ２２ 補間法12)ｙ１２＝ｘ２０ 最後に、メモリ15，システムコントローラ16，切替回路
17について説明する。

【００４３】メモリ15には、ＣＣＤ等の固体撮像素子に
含まれている複数の欠陥画素の位置を示すデータが記憶
されている。システムコントローラ16はメモリ15から欠
陥画素の位置データを読み出し、画素取込回路10で取り
込んだ３×３のウィンドウの中心画素の位置が、メモリ
15に記憶されている欠陥画素の位置と一致するときには
補間出力を出力し、一致しないときには中心画素ｘ１１
を出力するように切替回路17を制御する。

【００４４】

【発明の効果】以上説明したように、本発明の欠陥画素
傷補正回路によれば、周辺画素間の境界の大きさを順位
付けすることにより欠陥画素近傍の境界パターンを識別
し、そのパターンに適した補間方法を選択して補間を行
うため、たとえ欠陥画素近傍に複雑な境界が存在する場
合であっても、その境界が識別できて、きめ細かく適正
な傷補正を行うことができる。

【図面の簡単な説明】

【図１】本発明の欠陥画素傷補正回路の一実施例の構成
を示すブロック図である。

【図２】画素取込回路により取り込まれた画素のウィン
ドウを示す図である。

【図３】インターレース信号時のフレーム画像における
画素取込回路により取り込まれた画素のウィンドウを示
す図である。

【図４】境界の位置を示す図である。

【図５】境界検出の具体例を示す図である。

【図６】検出された境界から推定される実際の境界の具
体例を示す図である。

【図７】境界パターンに適した補間方法の具体例を示す
図である。

【図８】12種類の補間法を示す図である。

【図９】従来の０次ホールド補間による傷補正処理を示
す図である。

【図１０】従来例における欠陥画素近傍の画素配置状態
を示す図である。

【図１１】従来例により識別されるストライプパターン
を示す図である。

【図１２】従来例では識別不可能なパターンを示す図で
ある。

【符号の説明】

10…画素取込回路、 11…境界検出回路、 12…境界順
位付け回路、 13…補間法決定回路、 14…補間回路、
15…メモリ、 16…システムコントローラ、17…切替
回路。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/335

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 撮像素子における欠陥画素の周辺画素か
   ら出力される信号を取り込む画素取込回路と、前記取り
   込まれた周辺画素のうち隣接する画素間の境界の大きさ
   を検出する境界検出回路と、前記境界検出回路の出力を
   用いて各境界の順位付けを行う境界順位付け回路と、前
   記境界順位付け回路の出力に基づき補間方法を決定する
   補間法決定回路と、前記決定された補間方法により補間
   信号を生成する補間回路を備えたことを特徴とする欠陥
   画素傷補正回路。