JP4487477B2

JP4487477B2 - ノイズ抑圧装置

Info

Publication number: JP4487477B2
Application number: JP2002322290A
Authority: JP
Inventors: 信行松川
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2002-11-06
Filing date: 2002-11-06
Publication date: 2010-06-23
Anticipated expiration: 2022-11-06
Also published as: JP2004159055A

Description

【０００１】
【発明の属する技術分野】
本発明は、全画素読み出し方式の固体撮像素子を用いたとき、ノイズの発生した画素信号に対し、信号処理によってノイズを除去するノイズ抑圧装置に関する。
【０００２】
【従来の技術】
一般的に用いられているインターライン方式固体撮像素子は、構造的に垂直方向の２画素を混合するＣＣＤ方式である。また、輝度信号を生成するには垂直混合されたＣＣＤ信号をさらに水平方向に２画素ずつ混合する。
【０００３】
通常、固体撮像素子の各画素毎の特性のバラツキによる固定パターンノイズ成分等には画素間の相関が無いため、インターライン方式固体撮像素子（以下、ＩＴ−ＣＣＤと記す）においては、２画素を混合することである程度のノイズの抑圧が可能になっている。
【０００４】
また、同じくＣＣＤ固有の固定パターンノイズを抑圧する技術として、例えば特開平７−１５６３２号公報には、フレームメモリに各画素毎にノイズ成分を蓄積し、ＣＣＤの各画素から得られた画像情報からその画素に対応するノイズ成分を減算して画像信号を得るようにした固定パターンノイズ除去回路が開示されている。
【０００５】
具体的には、例えば図６に示すように、フレームメモリを用いた巡回型のフィルタ構成とすることでノイズ成分を抽出し、ノイズを抑圧している。図６に示すノイズリデューサ回路では、入力端子１を介して入力された画像信号ｘが減算器３，４に被減数信号として与えられる。このうち減算器３に与えられた画像信号ｘは帰還係数回路５からの信号Ｋεによって減算され、出力端子２から信号ｙとして出力されると共に、フレームメモリ６に保存される。また、減算器４に与えられた画像信号ｘはフレームメモリ６からの信号ｘ′により減算されて信号εとなり、帰還係数回路５に入力する。この帰還係数回路５は、差分の小さい信号εに対しては帰還係数が大きくなり、逆に、差分の大きい信号εに対しては帰還係数が小さくなるような入出力特性を有している。
【０００６】
公開されている技術文献としては特許文献１、２等がある。
【０００７】
【特許文献１】
特開２０００−５９７９９
【０００８】
【特許文献２】
特開平５−１１５０４５
【０００９】
【発明が解決しようとする課題】
ところが、ＣＣＤ等の固体撮像素子を使用した最近のビデオカメラでは、更なる高画質化が進められると共に、偶数フィールドと奇数フィールドよりなる動画像信号よりもぶれの無い１枚の静止画像信号を得ようというニーズが高まりつつある。このようなビデオカメラでは、インターラインで画素信号が読み出されるＩＴ−ＣＣＤではなく、全画素読み出し方式のプログレッシブスキャンＣＣＤ（以下ＰＳ−ＣＣＤと記す）が用いられることが望まれている。
【００１０】
しかしながら、ＰＳ−ＣＣＤにおいて、前述のＩＴ−ＣＣＤのように、垂直２画素を信号処理によって混合して平均化を行えば、ノイズ成分の抑制効果は得られるが、同時に画像のもつ細かい情報も失われるという課題があった。
【００１１】
つまり、平均化でノイズ抑圧を行った場合、解像度の低下を招いてしまい、全画素を読み出すことによる高解像度であるＰＳ−ＣＣＤ本来の特性を生かすことが出来なくなってしまう。
【００１２】
また、ＩＴ−ＣＣＤでは、ＣＣＤ読み出し方式の構造上、混合読み出しが行われ、結果としてノイズ抑圧が行なわれるが、また全画素読み出し方式のＰＳ−ＣＣＤでは、ＩＴ−ＣＣＤのようにノイズ抑圧のために信号処理で混合すると解像度の高い信号が得られなくなるという課題があった。
【００１３】
また、混合することにより動きのある画像に関しては尾を引く現象（色の滲み）等が起こり、画質が低下するという課題があった。
【００１４】
また、フレームメモリ等を用いる回路においては、抽出したノイズ成分を保持するためだけにメモリが必要となるため、コストの増加が避けられないという課題があった。
【００１５】
本発明は以上の課題を解決するためになされたもので、ＰＳ−ＣＣＤを用いても低コストでノイズ成分のみを抑制できるノイズ抑圧装置を得ることを目的とする。
【００１６】
【課題を解決するための手段】
本発明のノイズ抑圧装置は、入射された光を光電変換して全画素の画素情報を読み出す固体撮像素子と、前記固体撮像素子からの画素情報を複数ライン分蓄積し、１画素の情報が複数の色成分のうちいずれか１つの色成分を示してなる画素信号列から、水平方向に複数画素、垂直方向に複数画素を含む所定範囲にわたる、複数の色成分を含む複数の画素情報よりなる注目画素の画素情報と、前記注目画素に隣接する複数の色成分を含む複数の画素情報よりなる近傍画素の画素情報とを抽出する画素情報抽出手段と、前記画素情報抽出手段にて抽出した前記注目画素の画素情報におけるそれぞれの色成分に対して、前記近傍画素の画素情報内の、前記注目画素の画素情報の色成分と同一色成分の画素情報の信号レベルの平均値を求め、前記注目画素それぞれの色成分の画素情報の信号レベルから前記近傍画素の前記同一色成分の画素情報の平均値を減算し、求めた差分をノイズ成分として抽出するノイズ抽出手段と、前記ノイズ抽出手段にて抽出した前記ノイズ成分と閾値とを比較し、前記ノイズ成分が前記閾値以下である場合は前記ノイズ抽出手段にて抽出した前記ノイズ成分をそのまま出力し、前記ノイズ成分が前記閾値より大きい場合は、前記ノイズ成分の出力を停止する判定手段と、前記判定手段より出力されたノイズ成分及び前記画素情報抽出手段にて抽出した注目画素の画素情報が入力され、前記注目画素の画素情報から前記ノイズ成分を減算して減算値を後段に出力するノイズ除去手段とを有することを特徴とする。
【００１７】
【発明の実施の形態】
（第１の実施形態）
図１は本発明第１の実施形態に係るノイズ抑圧装置の信号処理を説明するためのブロック図である。図２はＰＳ−ＣＣＤにおけるＣＣＤフィルタ（色成分透過フィルタ）配列を示す説明図である。図３は注目画素と近傍画素とを説明する説明図である。
【００１８】
本発明第１の実施の形態のノイズ抑圧装置は、図１に示すように、全画素読み出し撮像素子であるＰＳ−ＣＣＤ１０と、ＣＤＳ／ＡＧＣとＡ／Ｄでノイズの除去、ゲイン調整を行ったＣＣＤデータを得る前処理部１２と、前処理部１２でディジタル信号に変換されたＰＳ−ＣＣＤからのＣＣＤ信号を蓄積し、ノイズ抽出範囲の注目画素値信号と近傍画素値信号とに分けるラインメモリ部１３とを備えている。
【００１９】
また、ノイズ抑圧装置は、補正回路１１と減算器１４とを備えている。この補正回路１１は、ラインメモリ部１３からの近傍画素値信号の平均値を求めることで、近傍画素値信号を使ったノイズ成分信号を出力し、このノイズ成分信号と閾値を比較し、閾値が大きい場合はノイズ成分を減算器１４に出力し、閾値の方が小さければ「０」を減算器１４に出力する。
【００２０】
減算器１４は、ラインメモリ１３からの注目画素信号（ノイズ成分を含む）から補正回路１１からの出力信号を減算した画素信号を信号処理部１５に出力する。
【００２１】
つまり、閾値が大きい場合は注目画素信号のノイズ成分が除去されて信号処理部に入力する。
【００２２】
前述の補正回路１１は、図１に示すように、補間平均化処理部１６と、判定部１８等を備えている。
【００２３】
補間平均化処理部１６は、ラインメモリ部１３からの近傍画素値信号の合計値を足した数で除して平均値を求めて近傍画素値信号を使ったノイズ成分信号を出力する。
【００２４】
判定部１８は、補間平均化処理部１６からのノイズ成分信号と閾値を比較し、閾値が大きい場合はノイズ成分の画素値信号を減算器１４に出力し、閾値の方が小さければ「０」を減算器１４に出力する。
【００２５】
信号処理部１５はノイズ抑圧が完了した信号に対して輝度、色処理を行う。
【００２６】
上記のように構成されたノイズ抑圧装置について以下に動作を説明する。
【００２７】
ＰＳ−ＣＣＤ１０は、１フィールド期間内に全画素の信号電荷を独立に読み出し、混合せずに出力する。つまり、ＰＳ−ＣＣＤ１０は、動きの速い被写体であっても、高い垂直および水平解像度が得られる、いわゆる全画素読み出し方式である。
【００２８】
このＰＳ−ＣＣＤ１０は、図２に示すような色成分透過フィルタ配列を構成しており、Ａ、Ｂ，Ｃ，Ｄはそれぞれホワイト、グリーン、シアン、イエローの各色成分を意味している。
【００２９】
なお、色成分透過フィルタの配列はこれに限ったものではなく、これ以外でも可である。また、図２に示すように色成分Ａのための色成分透過フィルタと色成分Ｂのための色成分透過フィルタとが配置されるラインでは、垂直方向１ラインおきにそれぞれの色成分透過フィルタの位置が逆になるように配置されている。このＡ，Ｂ，Ｃ，Ｄの水平２画素、垂直２画素の４画素を基本単位とする
次に、前処理部１２は、ＰＳ−ＣＣＤ１０からのＣＣＤ信号（１フィールド期間内の全画素）を入力し、ＣＤＳ（相関二重サンプリング回路）で、ランダム雑音（信号と暗電流のショット雑音）を除去し（相関二重サンプリング処理）、ＡＧＣ（自動利得制御回路）で、ＣＤＳを通ったＰＳ−ＣＣＤ１０からのＣＣＤ信号を所定のレベルに調整する。そして、Ａ／Ｄでディジタル信号に変換して、ラインメモリ部１３に出力する。
【００３０】
前述の調整は、後段のＡ／Ｄにおける量子化を効果的にするために適正なレベルのＣＣＤ信号を送るためである。ＣＤＳ／ＡＧＣを通ったＰＳ−ＣＣＤからのＣＣＤ信号はＡ／Ｄでディジタル信号に入力される。Ａ／Ｄは入力されたＣＣＤ信号をサンプルホールドして、所定のサンプリング周波数でサンプリングし、量子化を行ってＣＣＤ信号をディジタルのＣＣＤ信号に変換する。
【００３１】
Ａ／Ｄでディジタル信号に変換されたＣＣＤ信号はラインメモリ部１３に蓄積される。ラインメモリ部１３では図３に示す如く、水平３画素、垂直５画素のマトリクスよりなる合計１５画素のＣＣＤ信号を用いて、中央の水平ラインの画素Ｂ０、画素Ｄ０、画素Ａ２、画素Ｃ２、画素Ｂ３を抽出する。この抽出された中央のラインの画素が注目画素信号となり、中央のラインの両側の２つの垂直ラインの画素が近傍画素となる。例えば、Ｂ０に対しては、Ｂ１、Ｂ２が近傍画素となる。
【００３２】
なお、この補正範囲は垂直５ラインの信号処理フィルタ構成を利用したもので、垂直ｎライン構成時はｎ×３の範囲でもよい。また必要に応じて任意の補正範囲でもよい。
【００３３】
次に、画素Ｂ０のノイズ抑圧について説明する。注目画素となる画素Ｂ０の近傍に存在し、画素Ｂ０と同じ色成分である画素Ｂ１、画素Ｂ２を近傍画素として抽出したとすると、この近傍画素が補正回路１１の補間平均化処理部１６によって読み出される。
【００３４】
次に、補間平均化処理部１６は、近傍画素信号の画素Ｂ１と画素Ｂ２の信号レベルを加算し、「２」で除算することによって、画素Ｂ１と画素Ｂ２の信号レベルの平均値を算出する。この処理は図１の補間平均化処理部１６で行われる。次いで注目画素Ｂ０の信号レベルから、算出した画素Ｂ１と画素Ｂ２の信号レベルの平均値を減算し、求めた差分を画素Ｂ０のノイズ成分ＮＢ０とする。つまり、計算式は数１で表現される。
【００３５】
【数１】

しかしながら、画素間で信号レベルの差が大きい場合（画像のエッジ部分など）は、近傍画素の信号レベルの平均値が、注目画素の信号レベルと大幅に異なるため、誤動作を起こす。このため、求めたノイズ成分ＮＢ０がある一定値（閾値Ｎｓ）よりも大きい場合には、ノイズ抑圧を行わないようにする必要がある。
【００３６】
そこで、閾値Ｎｓを設定し、求めたノイズ成分ＮＢ０と閾値Ｎｓを比較して出力を制御する補正回路１１を設けている。すなわち、求めたノイズ成分ＮＢ０が閾値Ｎｓよりも大きい場合には０を出力し、ノイズ成分ＮＢ０が閾値Ｎｓ以下の場合には、求めたノイズ成分ＮＢ０を出力する。この処理は図１の判定部１８で実現される。
【００３７】
このようにすることによって、画像のエッジ部分などの画素間で信号レベルの差が大きい場合では補正を行わないようにすることができ、誤作動を起こすことが無い。
【００３８】
最終的に注目画素Ｂ０の信号レベルから、上述した判定手段からの出力（ノイズ成分ＮＢ０）の信号レベルを減算（減算器１４）して、ノイズ抑圧処理を完了したＣＣＤ信号Ｂ０’を得て、後段の信号処理部１５へ出力する。つまり、数３に示すように、ノイズ成分を含んだ注目画素（Ｂ０、Ｄ０、Ａ２、Ｃ２、Ｂ３）からノイズ成分（ＮＢ０、ＮＤ０、ＮＡ２、ＮＣ２、ＮＢ３）が除かれるので鮮明な画素信号が信号処理部に出力されることになる。
【００３９】
ここまで画素Ｂ０のノイズ抑圧処理を説明したが、画素Ｄ０、画素Ｃ２、画素Ｂ３についても同様にして処理する。
【００４０】
つまり、注目画素Ｄ０に対して近傍画素となるは画素Ｄ１と画素Ｄ２であり、注目画素Ｃ２に対して近傍画素となるは画素Ｃ０と画素Ｃ１であり、注目画素Ｂ３に対して近傍画素となるは画素Ｂ１と画素Ｂ２であるから、それぞれ近傍画素の信号レベルの平均値を求め、それを注目画素の信号レベルから減算してノイズ成分を求め、それを閾値処理でノイズかどうか判定し、注目画素の信号レベルから減算して出力するという、一連のノイズ抑圧処理を行えばよい。
【００４１】
次に、画素Ａ２のノイズ抑圧処理について説明する。注目画素となる画素Ａ２の近傍に存在し、画素Ａ２と同じ色成分である画素は、画素Ａ０、画素Ａ１、画素Ａ３、画素Ａ４の４つである。よって画素Ａ０、画素Ａ１、画素Ａ３、画素Ａ４の４つの信号レベルの平均値を求めて、ノイズ成分を算出する。すなわち、数２に示すように、画素Ａ０、画素Ａ１、画素Ａ３、画素Ａ４の４つの信号レベルを全て加算し、「４」で除算することで画素Ａ０、画素Ａ１、画素Ａ３、画素Ａ４の４つの信号レベルの平均値を求め、注目画素である画素Ａ２の信号レベルより減算することで、画素Ａ２のノイズ成分ＮＡ２を得る。
【００４２】
【数２】

次に、求めたノイズ成分ＮＡ２を判定部１８で閾値Ｎｓと比較して、求めたノイズ成分ＮＡ２が閾値Ｎｓよりも大きい場合には０を出力し、ノイズ成分ＮＡ２が閾値Ｎｓ以下であれば求めたノイズ成分ＮＡ２を出力する。
【００４３】
そして注目画素Ａ２の信号レベルから、上述した判定手段からの出力（ノイズ成分ＮＡ２）の信号レベルを減算して、ノイズ抑圧処理を完了したＣＣＤ信号Ａ２’を得て、後段の信号処理部へ出力する。
【００４４】
【数３】

これらのノイズ抑圧処理は、通常の被写体においては、隣接する画素の輝度等が急激に連続して変化することが少なく、隣接する画素間には相関がある（注目画素の信号レベルは近傍画素の信号レベルの平均値に近い）という知見に基づいているものである。
【００４５】
なお、以上に示す実施の形態では、５つの注目画素、画素Ｂ０、画素Ｄ０、画素Ｃ２、画素Ａ２、画素Ｂ３それぞれについて別々にノイズ成分を求めているが、ノイズ成分を抽出する画素を画素Ａ２のみとし、他の４つの画素も画素Ａ２のノイズ成分ＮＡ２にて減算し、ノイズ抑圧を行ってもよい。画素Ａ２のノイズ成分の算出には４つの画素を用いるので、このような構成にした場合には、計算負荷を大幅に減少させることができ、ノイズ抑圧回路も一つで済む。
【００４６】
（第２の実施の形態）
図４は本発明第２の実施の形態に係るノイズ抑制装置の信号処理を説明するためのブロック図である。図において、１０〜１８は上記実施の形態１と同様なものである。
【００４７】
以下、図面を参照しながら、本発明の第２の実施の形態を説明する。
【００４８】
第２の実施の形態は、補正回路（本実施の形態では補正回路２０という）に閾値設定手段１９を設けた点において異なる。この第２の実施の形態では、閾値Ｎｓの設定において、低照明時などのＡＧＣゲインを上げる場合と連動して、ＡＧＣゲインが上がるときには閾値を高く、それ以外は低くしてフレキシブルに閾値Ｎｓを設定する。
【００４９】
つまり、閾値設定手段１９が前処理部１２の状況を監視し、ＡＧＣゲインのレベルを検出する。そして、ＡＧＣゲインが上がったときには閾値を高くさせる命令を判定部１８に出力し、それ以外は低くする命令を判定部１８に出力する。
【００５０】
このような構成をとるのは、ＡＧＣのゲインが上がったときは、ＣＣＤ信号は増幅されるが、同時にノイズも増幅されてしまい、注目画素に対して算出されたノイズ成分が大きな値になるためである。
【００５１】
例えば、閾値Ｎｓが固定して設定してあると、判定部１８においてノイズ成分と判断されず、ノイズ抑圧を行わずに出力されてしまう可能性があるからである。このような誤作動を防ぐために、ＡＧＣゲインを監視し、ＡＧＣゲインが上がった場合には閾値Ｎｓを大きくすることでノイズ成分を見逃さないようにし、それ以外の場合には閾値を低くして、画像のエッジ部分などの画素間で信号レベルの差が大きい場合では補正を行わないようにする。このようにＡＧＣゲインに連動して閾値Ｎｓを設定することでフレキシブルなノイズ抑圧処理が行えることとなる。このようにＡＧＣゲインと連動して、閾値を調整する機能を持たせた閾値設定手段１９を負荷する。
【００５２】
（第３の実施の形態）
図５は本発明第２の実施の形態に係るノイズ抑圧回路の信号処理を説明するためのブロック図である。以下、図面を参照しながら、本発明の第３の実施の形態を説明する。
【００５３】
第３の実施の形態は、補正回路（本実施の形態では補正回路２１という）に、ノイズ成分ゲイン手段２２を設けた点において異なる。
【００５４】
つまり、ノイズ成分ゲイン手段２２が前処理部１２の状況を監視し、ＡＧＣゲインのレベルを検出する。そして、ノイズ成分ゲイン手段２２が算出した注目画素に対するノイズ成分にゲインをかける事でノイズ抑圧精度を調節するようにする。このときのゲインの調節は、ＡＧＣゲインと連動して行うことが望ましい。これは、ＡＧＣゲインが上がると、ノイズ成分ゲインも上がり、それ以外のときはノイズ成分ゲインを小さくするような構成である（また、このときノイズ成分ゲインは０．０から２．０までの間の値を取る。）。むろん。ノイズ成分のゲインは０．０〜１．０若しくは０．０〜２．０等の値をとってもよい。
【００５５】
このような構成では、ＡＧＣゲインが小さいときに、大きなノイズ成分が抽出された場合は、ＡＧＣゲインが小さいのでノイズ成分ゲインも小さく、ノイズ成分は弱められて出力されるので、画像のエッジ部分などの画素間で信号レベルの差が大きい場合では補正を行わないようにすることができる。また、ＡＧＣゲインが大きいときは、ノイズ成分ゲインも大きくなり、抽出されたノイズ成分は弱められずに出力されるので、ＡＧＣのゲインが上がったときに、ＣＣＤ信号と同時にノイズも増幅されてしまい、注目画素に対して算出されたノイズ成分が大きな値になる場合にも、効果的にノイズを抑圧することができる。
【００５６】
また、ノイズ成分にゲインをかけることは、判定手段のように出力が０かノイズ成分か、つまりオンかオフか、というような２値的な出力ではなく、その中間の値もとることができるので、非常にきめ細かくフレキシブルなノイズ抑圧ができることとなる。
【００５７】
【発明の効果】
以上説明したように、本発明によれば、全画素取込方式の個体撮像素子を用いても、注目画素の近傍の近傍画素のノイズ成分を抽出し、このノイズ成分と閾値との比較で注目画素からノイズ成分を除去するので、元信号を損なうことなくノイズ抑圧が可能であり、被写体に動きのあるものに関してもぼけるような現象もないという効果を奏する。
【００５８】
また、信号処理における前段処理部で用いられるラインメモリを活用しており、従来よく使用されるフィールドメモリを必要としないのでコストを低減できるという効果が得られている。
【００５９】
さらに、輝度、色処理の前段階でノイズ抑圧をするため、輝度と色に同時にノイズ抑圧の効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のノイズ抑圧装置のブロック図である。
【図２】ＰＳ−ＣＣＤのＣＣＤフィルタ（色成分透過フィルタ）の配列を示す説明図である。
【図３】注目画素と近傍画素とを説明する説明図である。
【図４】本発明の第２の実施の形態のノイズ抑圧装置のブロック図である。
【図５】本発明の第３の実施の形態のノイズ抑圧装置のブロック図である。
【図６】従来のノイズ抑制の概略構成図である。
【符号の説明】
１０ＰＳ−ＣＣＤ
１１補正回路
１２前処理部
１３ラインメモリ部
１４減算器
１６補間平均化処理部
１８判定部

Claims

入射された光を光電変換して全画素の画素情報を読み出す固体撮像素子と、
前記固体撮像素子からの画素情報を複数ライン分蓄積し、１画素の情報が複数の色成分のうちいずれか１つの色成分を示してなる画素信号列から、水平方向に複数画素、垂直方向に複数画素を含む所定範囲にわたる、複数の色成分を含む複数の画素情報よりなる注目画素の画素情報と、前記注目画素に隣接する複数の色成分を含む複数の画素情報よりなる近傍画素の画素情報とを抽出する画素情報抽出手段と、
前記画素情報抽出手段にて抽出した前記注目画素の画素情報におけるそれぞれの色成分に対して、前記近傍画素の画素情報内の、前記注目画素の画素情報の色成分と同一色成分の画素情報の信号レベルの平均値を求め、前記注目画素それぞれの色成分の画素情報の信号レベルから前記近傍画素の前記同一色成分の画素情報の平均値を減算し、求めた差分をノイズ成分として抽出するノイズ抽出手段と、
前記ノイズ抽出手段にて抽出した前記ノイズ成分と閾値とを比較し、前記ノイズ成分が前記閾値以下である場合は前記ノイズ抽出手段にて抽出した前記ノイズ成分をそのまま出力し、前記ノイズ成分が前記閾値より大きい場合は、前記ノイズ成分の出力を停止する判定手段と、
前記判定手段より出力されたノイズ成分及び前記画素情報抽出手段にて抽出した注目画素の画素情報が入力され、前記注目画素の画素情報から前記ノイズ成分を減算して減算値を後段に出力するノイズ除去手段と
を有することを特徴とするノイズ抑圧装置。
前記閾値を、前記固体撮像素子からの画素情報の信号レベルを自動調整する自動利得制御回路の利得と連動して調整する閾値設定手段を有することを特徴とする請求項１に記載のノイズ抑圧装置。