JP2924250B2

JP2924250B2 - 画像雑音除去装置

Info

Publication number: JP2924250B2
Application number: JP3068255A
Authority: JP
Inventors: 紀雄鈴木; 匡幸米山
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1991-04-01
Filing date: 1991-04-01
Publication date: 1999-07-26
Anticipated expiration: 2014-07-26
Also published as: JPH04304091A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、光・電気変換手段を有
するビデオカメラ等の画像雑音除去装置に関する。

【０００２】

【従来の技術】近年ビデオカメラ等の撮像装置において
は、光・電気変換手段として固体撮像素子を用いること
が多くなっている。固体撮像素子の出力信号をモニター
装置に表示し画像信号を観測すると、画像中に白点（白
キズ）、黒点（黒キズ）と呼ばれる画像欠陥が観測され
ることがある。このような画像欠陥は小さなものでも非
常に目立ち、画像欠陥のある撮像素子は製品として使用
することができないために歩留りの低下を招くことにな
る上、製品出荷後にも画像欠陥が生ずることがある。こ
れらの問題は固体撮像素子特有の欠点であり、固体撮像
素子を使用する上での大きな障害となっている。

【０００３】従来、前記問題点を解決する手段として、
特開昭６１−２６１９７４号公報に示されるように、注
目画素と隣接する画素群との単純な比較により注目画素
の画素欠陥を検出し除去する手法が知られている。

【０００４】

【発明が解決しようとする課題】従来の技術において、
注目画素とその近傍画素群との比較により画像欠陥を取
り除くことが可能であるのは、第１の前提条件として、
注目画素とその近傍画素群は同種の信号であり（例えば
輝度信号であれば輝度信号同士の比較）、第２前提の条
件として、画素欠陥は単発的に発生し欠陥画素と近傍画
素間の相関性は低いという前提に基づいている。ところ
が単板色差カラー化方式に基づく色フィルター配列に関
する考察がなされていなかった。単板色差カラー化方式
においては、固体撮像素子の出力を直接従来技術による
装置に入力しても近傍画素間には別種の色差情報が含ま
れており、前記第１の前提条件が成立せず、ノイズを除
去することは困難であるため、固体撮像素子の出力から
輝度信号あるいは色差信号をあらかじめ抽出しておく必
要がある。輝度信号あるいは色差信号を得るためにはフ
ィルター処理を施す必要があるが、フィルターを通すこ
とで欠陥画素の持つノイズ成分は隣接画素に拡散してし
まい、前記第２の前提条件が成立せず従来の技術ではノ
イズを除去することは困難であった。

【０００５】本発明はかかる点に鑑み、有意な画像情報
を損なうことなく、フィルター処理により複数の画素に
拡散されたものであっても、白キズ又は黒キズのように
パルシブな画像欠陥を良好に除去する装置の提供にあ
る。

【０００６】

【課題を解決するための手段】本発明によれば、数ライ
ンにわたる走査線の画素情報を一次的に保持する手段と
注目画素および注目画素の周囲に２次元的に近接する画
素値群を複数の出力端子より同時に出力する手段とを合
わせ持つ走査線メモリと、フィルターにより注目画素以
外の画素にも拡散されたノイズを重畳する画素値を含む
上記近傍画素値群のうちノイズが重畳されていることを
注目画素の前後に隣接する画素値の大小比較により推定
し推定された画素値を除き最大および最小の画素値を検
出し置換候補画素値群として出力する置換候補画素値検
出器と、置換候補画素値群のうち最大の画素値に対し注
目画素の画素値が所定の或値以上大であるかあるいは置
換候補画素値群のうち最小の画素値に対し注目画素の画
素値が所定の或値以上小であるかといった比較をするこ
とにより注目画素にノイズが含まれているか否かを判定
し判定結果を制御信号として出力するノイズ検出器と、
注目画素の画素値と置換候補画素値群のうち最大および
最小の画素値の３つの画素値から制御信号により何れか
一つの画素値を選択し出力する画素値選択器とを少なく
とも備えることを特徴とする。

【０００７】

【作用】画像欠陥を除去する際に、画像信号の中からど
の画素に画像欠陥が含まれているか判定する必要がある
が、除去すべき画像欠陥の判定基準をいたずらに広げて
しまうと、画像信号中のディテール成分など有意な画像
情報が失われてしまう可能性があるので、画像信号をモ
ニター装置に表示した際、目に付き易い性質を持つ画像
欠陥のみを選択的に除去する必要がある。このような性
質を持つ画像欠陥として、周囲の画素に対し際だって明
るい（暗い）画素値を持つ白（黒）キズが挙げられ、本
発明はフィルターにより周囲の画素に拡散された白
（黒）キズを選択的に除去する作用を持つことを特徴と
する。

【０００８】白キズまたは黒キズは前記性質より、キズ
の周囲の画素の画素値に対し際だって明るいか又は暗い
かで判定できる。ところが、一例として、完全色差線順
次単板カラー化方式に基づく色フィルター配列を持つ固
体撮像素子の出力から輝度信号を生成するためには一般
的に（１＋Ｚ^-1）の特性を持つディジタルフィルターを
施すことで生成し、色差信号を生成するためには（１−
Ｚ^-1）の特性を持つディジタルフィルターを施すことで
生成するため、キズ成分も走査線方向に拡散される。前
記フィルターにより拡散される画素の範囲は走査線方向
に隣接する１画素のみであるので、注目画素の１画素前
後のうちキズを含む隣接画素を除いた近傍画素群を元に
判定する必要がある。キズを含む隣接画素を除くために
は、注目画素が白（黒）キズのとき、前後１画素のうち
画素値の大きな（小さな）ものを除くことで実現でき
る。言い換えると、前後１画素のうち画素値の小さな
（大きな）画素とそれ以外の近傍画素群を注目画素と比
較する。

【０００９】次に、ある画素がキズと判定されたなら
ば、その画素値を周囲の画素値と置き換えるよう作用す
ることで、キズを消し去ることができる。但しここで、
周囲の画素間に相関性が認められる場合には、相関性を
保った上でキズを消し去る必要がある。ここで相関性に
関しては、走査線に対し水平方向のみでなく、鉛直方向
あるいは斜方向も考慮する必要がある。これを実現する
には、注目画素が白（黒）キズと判定されたならば、注
目画素の画素値を２次元的な近傍画素値群の中からキズ
を含む画素値を除いた画素置群のうち最大（小）の画素
値を持つものと置き換えるよう作用することにより達成
される。

【００１０】

【実施例】以下に本発明の一実施例について図面を参照
しながら説明する。（図１）は、本発明における画像雑
音除去装置の概略ブロック図である。（図１）において
入力端子１には、一例として、完全色差線順次単板カラ
ー化方式に基づく色フィルター配列を持つ固体撮像素子
の出力にディジタルフィルターを施し、輝度信号あるい
は色差信号としたものを入力する。

【００１１】（図１）において走査線メモリは、入力端
子１より入力される画像信号ａを取り込み、注目画素の
画素値ｂおよび、注目画素を中心に走査線方向にＮ画
素、走査線に直交する方向にＭライン分の２次元的に近
接する画素群から注目画素を除いたＮ×Ｍ−１画素の画
素値よりなる近傍画素値群ｃを出力する。

【００１２】（図２）は走査線メモリの詳細な構成例で
ある。（図２）に於ては上記走査線メモリの動作説明の
中で、Ｍ＝Ｎ＝３としたときの構成例を示しており、２
台のライン遅延器と６台の画素遅延器により構成され
る。画素遅延器は入力信号を一画素分の走査時間だけ遅
延させた信号を出力するものであり、ライン遅延器は入
力信号を一水平走査時間だけ遅延させた信号を出力する
ものである。また、（図６）は走査線上の注目画素と近
傍画素群の配置例を示しており、１〜８の数字を付して
ある画素は近傍画素群を構成し注目画素は近傍画素群の
中央に位置する。尚、ここで注目画素にキズが含まれて
いたとすると、近傍画素値ｃ４またはｃ５にもキズが含
まれていることになる。

【００１３】（図２）の入力端子２より入力される画像
信号ａは、画素遅延器１に接続され、画素遅延器１の出
力は画素遅延器２に接続される。画素遅延器１の入力端
と画素遅延器１の出力端と画素遅延器２の出力端の３箇
所より信号を取り出せば、それぞれ（図６）の近傍画素
８、７、６に相当する位置の画素値が得られる。又、
（図２）の入力端子２より入力される画像信号は、ライ
ン遅延器１にも接続され、ライン遅延器１の出力端に画
素遅延器３、４を直列に接続すれば、同様に（図６）の
近傍画素５、注目画素、近傍画素４に相当する位置の画
素値が得られる。さらに、（図２）のライン遅延器１の
出力端にはライン遅延器２が接続され、ライン遅延器２
の出力端に画素遅延器５、６を直列に接続すれば、同様
に（図６）の近傍画素３、２、１に相当する位置の画素
値が得られる。以上のような構成による走査線メモリで
あれば、注目画素の画素値ｂおよび近傍画素群の画素値
群ｃを複数の出力端子より同時に出力することができ
る。

【００１４】（図１）において置換候補画素値検出器
は、走査線メモリより同時に出力される近傍画素群の画
素値群ｃより、ｃ４とｃ５のうち画素値の小さなものと
残りの近傍画素値群との中から最大の画素値をＹｍａ
ｘ、さらに、ｃ４とｃ５のうち画素値の大きなものと残
りの近傍画素値群との中から最小の画素値をＹｍｉｎと
して出力する。このＹｍａｘとＹｍｉｎが置換候補画素
値群となる。

【００１５】（図３）は置換候補画素値検出器の詳細な
構成例である。（図３）に於ては前記走査線メモリの説
明に合わせ、近傍画素群が８画素で構成される場合の置
換候補画素値検出器の構成例を示しており、２個の入力
端子群を持つ最大値回路１および最小値回路１と、７個
の入力端子群を持つ最大値回路２および最大値回路２と
から構成される。最小値回路１は入力される近傍画素値
群ｃの中から注目画素の１画素前後に位置するｃ４およ
びｃ５のうち画素値の小さなものを出力し、最大値回路
２は、残りの近傍画素値群ｃ１、ｃ２、ｃ３、ｃ６、ｃ
７、ｃ８と最小値回路１の出力の中から最大の画素値
（Ｙｍａｘ）を抽出し出力する。最大値回路１は入力さ
れる近傍画素値群ｃの中から注目画素の１画素前後に位
置するｃ４およびｃ５のうち画素値の大きなものを出力
し、最小値回路２は、残りの近傍画素値群ｃ１、ｃ２、
ｃ３、ｃ６、ｃ７、ｃ８と最大値回路１の出力の中から
最小の画素値（Ｙｍｉｎ）を抽出し出力する。

【００１６】（図１）においてノイズ検出器は、走査線
メモリより出力される注目画素の画素値ｂと、置換候補
画素値検出器より出力されるＹｍａｘおよびＹｍｉｎと
から、注目画素にノイズが含まれているか否かを判定し
判定結果を制御信号として出力する。制御信号はＹｍａ
ｘを選択する信号であるＳＥＬｍａｘとＹｍｉｎを選択
する信号であるＳＥＬｍｉｎより構成される。

【００１７】（図４）はノイズ検出器の詳細な構成例で
あり、２台の減算器と、２台の比較器と、２台の或値設
定器から構成される。減算器１は注目画素の画素値から
Ｙｍａｘを減じ、その差（以下ＤＩＦｍａｘとする）を
生成する。比較器１はＤＩＦｍａｘと或値生成器１より
出力される或値（以下ＴＨｍａｘとする）とを比較し、
条件１としてＤＩＦｍａｘ＞ＴＨｍａｘであればＹｍａ
ｘを選択する信号ＳＥＬｍａｘをアクティブにし、条件
１が成立しない場合にはＳＥＬｍａｘをインアクティブ
にし出力する。また、減算器２はＹｍｉｎから注目画素
の画素値を減じ、その差（以下ＤＩＦｍｉｎとする）を
生成する。比較器２はＤＩＦｍｉｎと或値生成器２より
出力される或値（以下ＴＨｍｉｎとする）とを比較し、
条件２としてＤＩＦｍｉｎ＞ＴＨｍｉｎであればＹｍｉ
ｎを選択する信号ＳＥＬｍｉｎをアクティブにし、条件
２が成立しない場合にはＳＥＬｍｉｎをインアクティブ
にし出力する。

【００１８】一般的に、レンズ系および光電変換部の開
口率等による空間的ローパスフィルター効果により、光
電変換素子の出力である画像信号の高域成分（ディテー
ル）の振幅は小さくなるため、注目画素にパルスノイズ
が含まれていなければ、注目画素に対する近傍画素群の
差分も小さくなると言える。従って、ＴＨｍａｘおよび
ＴＨｍｉｎは、画素値の最大値に対して過剰に小さく設
定すると画像信号のディテール成分が失われる恐れがあ
り、過剰に大きく設定するとキズそのものが検出できな
くなるため、適切な値に設定する必要がある。

【００１９】（図１）において画素値選択器は、走査線
メモリより出力される注目画素および最大最小値検出器
より出力されるＹｍａｘおよびＹｍｉｎと、ノイズ検出
器より出力されるＳＥＬｍａｘ、ＳＥＬｍｉｎを入力
し、ＳＥＬｍａｘ、ＳＥＬｍｉｎを元に注目画素、Ｙｍ
ａｘ、Ｙｍｉｎのうち何れか一つの画素値を出力端子１
に出力する。

【００２０】（図５）は画素値選択器の詳細な構成例で
あり、１台のマルチプレクサから構成される。マルチプ
レクサは注目画素の画素値、Ｙｍａｘ、Ｙｍｉｎの３信
号を入力し、ＳＥＬｍａｘとＳＥＬｍｉｎが共にインア
クティブであれば注目画素の画素値を出力端子２に出力
し、ＳＥＬｍａｘがアクティブでＳＥＬｍｉｎがインア
クティブであればＹｍａｘを出力端子２に出力し、ＳＥ
ＬｍａｘがインアクティブでＳＥＬｍｉｎがアクティブ
であればＹｍｉｎを出力端子２に出力する。ここで、前
記ノイズ検出器の説明から解かるように、ＳＥＬｍａｘ
およびＳＥＬｍｉｎを出力する条件から、ＳＥＬｍａｘ
とＳＥＬｍｉｎが共にアクティブとなることは有り得な
い。

【００２１】次に、（図７（ａ）（ｂ）（ｃ））を用い
て本発明の動作を説明する。（図７（ａ）（ｂ）
（ｃ））は１フィールドの画像信号のうち一部を切り出
したものであり、水平方向および奥行き方向にそれぞれ
走査線および走査線に鉛直成分の軸を取り、垂直方向に
画素値を表すものでる。（図７（ａ））は一例として、
完全色差線順次単板カラー化方式に基づく色フィルター
配列を有する固体撮像素子より出力される信号である。
ここでは説明を簡単にするため、白黒画像を撮像したも
のとする。（図７（ｂ））は（図７（ａ））の信号に
（１＋Ｚ^-1）の特性を持つディジタルフィルターを施し
た後の信号であり、この信号を（図１）の入力端子１に
入力する。（図７（ｃ））は上記信号を入力した際、
（図１）の出力端子１より出力される信号である。

【００２２】（図７（ａ））において、Ｓ01、Ｓ11、Ｓ
21は走査線に鉛直方向に存在するシャープな線分を表現
しており、Ｓ14は白キズ、Ｓ16は黒キズをそれぞれ表現
し、またＳ18は原画像に含まれる細かなディテールを表
現している。ここでＳ01、Ｓ11、Ｓ21、Ｓ14の画素値は
全て２００、Ｓ16の画素値は０、Ｓ18の画素値は１４
０、残りの画素の画素値は全て１００であったとすれ
ば、（図７（ｂ））においては、ディジタルフィルター
によりＰ01、Ｐ02、Ｐ11、Ｐ12、Ｐ21、Ｐ22、Ｐ14、Ｐ
15の画素値は全て１５０、Ｐ16、Ｐ17の画素値は５０、
Ｐ18、Ｐ19の画素値は７０、残りの画素の画素値は全て
１００となる。

【００２３】また、ＴＨｍａｘおよびＴＨｍｉｎは３０
であったとする。今、注目画素がＰ11であるとすると、
最大最小値検出器より出力されるＹｍａｘは１５０、Ｙ
ｍｉｎは１００となり、ノイズ検出器においてＤＩＦｍ
ａｘは０、ＤＩＦｍｉｎは−５０となり、条件１、２が
共に成立せず、ＳＥＬｍａｘとＳＥＬｍｉｎは共にイン
アクティブとなり、画素値選択器において注目画素Ｐ11
の画素値を出力する。注目画素がＰ01、Ｐ02、Ｐ12、Ｐ
21、Ｐ22である場合も同様に、注目画素の画素値が出力
され、Ｐ01、Ｐ02、Ｐ11、Ｐ12、Ｐ21、Ｐ22より構成さ
れる走査線に鉛直方向の線分は保持される。尚、走査線
に対し斜方向および水平方向の線分に対しても同様の議
論が成り立つ。

【００２４】また、注目画素がＰ14またはＰ15であると
すると、Ｙｍａｘ、Ｙｍｉｎは共に１００となり、ＤＩ
Ｆｍａｘは５０、ＤＩＦｍｉｎは−５０となり、条件１
のみが成立し、ＳＥＬｍａｘがアクティブでＳＥＬｍｉ
ｎがインアクティブとなり、画素値選択器は画素値とし
て１００を出力するので、Ｐ14およびＰ15は周囲の画素
の画素値に対し平坦になるよう置き変わる。注目画素が
Ｐ16またはＰ17である場合には、Ｐ14またはＰ15であっ
た場合の動作とは逆に条件２のみが成立し、ＳＥＬｍａ
ｘがインアクティブでＳＥＬｍｉｎがアクティブとな
り、画素値選択器は画素値として１００を出力するの
で、Ｐ16およびＰ17も周囲の画素の画素値に対し平坦に
なるよう置き変わる。

【００２５】そして、注目画素がＰ18である場合には、
ＤＩＦｍａｘは２０、ＤＩＦｍｉｎは−２０となり、条
件１、２共に成立せず、画素値選択器はＰ18の画素値を
そのまま出力し、原画像信号に含まれるディテール成分
は保持される。

【００２６】最終的には（図７（ｃ））に示すような出
力が得られる。また、本発明においては、画像の２次元
的な相関性のみに着目して処理を行ない時間軸は関知し
ないため、被写体の動きによる影響を受けることはな
い。

【００２７】

【発明の効果】以上の説明から明らかなように、本発明
によれば、被写体の動きに無関係に、有意な画像情報を
損なうこと無く、従来の技術では困難であったフィルタ
ーにより拡散された画像欠陥を良好に除去することが可
能となり、その実用的効果は大きい。

【図面の簡単な説明】

【図１】本発明の実施例の概略ブロック図である。

【図２】本発明の実施例の走査線メモリの構成図であ
る。

【図３】本発明の実施例の置換候補画素値検出器の構成
図である。

【図４】本発明の実施例のノイズ検出器の構成図であ
る。

【図５】本発明の実施例の画素値選択器の構成図であ
る。

【図６】本発明の実施例の注目画素と近傍画素群の配置
例の説明図である。

【図７】本発明の実施例の動作説明図である。

【符号の説明】

１入力端子１２走査線メモリ３置換候補画素値検出器４ノイズ検出器５画素値選択器６出力端子１１０入力端子２１１画素遅延器１１２画素遅延器２１３画素遅延器３１４画素遅延器４１５画素遅延器５１６画素遅延器６１７ライン遅延器１１８ライン遅延器２１９注目画素値出力端子２０近傍画素値群出力端子２１近傍画素値群入力端子２２最小値回路１２３最大値回路１２４最大値回路２２５最小値回路２２６Ｙｍａｘ出力端子２７Ｙｍｉｎ出力端子３０注目画素値入力端子１３１Ｙｍａｘ入力端子１３２Ｙｍｉｎ入力端子１３３減算器１３４比較器１３５或値設定器１３６減算器２３７比較器２３８或値設定器２３９ＳＥＬｍａｘ出力端子４０ＳＥＬｍｉｎ出力端子４１注目画素値入力端子２４２Ｙｍａｘ入力端子２４３Ｙｍｉｎ入力端子２４４ＳＥＬｍａｘ入力端子４５ＳＥＬｍｉｎ入力端子４６出力端子２４７マルチプレクサ２０１走査線２０２注目画素２０３近傍画素群ａ入力信号ｂ注目画素値ｃ（ｃ１〜ｃ８）近傍画素値群ｄＹｍａｘｅＹｍｉｎｆＳＥＬｍａｘｇＳＥＬｍｉｎｈ出力信号ｉＤＩＦｍａｘｊＴＨｍａｘｋＤＩＦｍｉｎｌＴＨｍｉｎ

Claims

(57)【特許請求の範囲】

【請求項１】単板色差カラー化方式に基づく色フィル
ター配列を有する固体撮像素子より出力される信号に、
フィルターを施すことにより得られる輝度信号あるいは
色差信号といった画像信号に重畳される固体撮像素子に
おいて発生するパルス状ノイズを除去する画像雑音除去
装置であって、複数の走査線から構成される画像信号よ
り、数ラインにわたる走査線の画素情報を一次的に保持
する手段と注目画素および注目画素の周囲に２次元的に
近接する画素値群を複数の出力端子より同時に出力する
手段とを合わせ持つ走査線メモリと、フィルターにより
注目画素以外の画素にも拡散されたノイズを重畳する画
素値を含む上記近傍画素値群のうちノイズが重畳されて
いることを注目画素の前後に隣接する画素値の大小比較
により推定し推定された画素値を除き最大および最小の
画素値を検出し置換候補画素値群として出力する置換候
補画素値検出器と、置換候補画素値群のうち最大の画素
値に対し注目画素の画素値が所定の或値以上大であるか
あるいは置換候補画素値群のうち最小の画素値に対し注
目画素の画素値が所定の或値以上小であるかといった比
較をすることにより注目画素にノイズが含まれているか
否かを判定し判定結果を制御信号として出力するノイズ
検出器と、注目画素の画素値と置換候補画素値群のうち
最大および最小の画素値の３つの画素値から制御信号に
より何れか一つの画素値を選択し出力する画素値選択器
とを有することを特徴とする画像雑音除去装置。