JP4407015B2

JP4407015B2 - ノイズ除去装置およびノイズ除去方法

Info

Publication number: JP4407015B2
Application number: JP2000179341A
Authority: JP
Inventors: 哲二郎近藤; 寿一白木; 泰史野出; 克尚神明
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-06-15
Filing date: 2000-06-15
Publication date: 2010-02-03
Anticipated expiration: 2020-06-15
Also published as: JP2002223374A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像信号のノイズを除去するノイズ除去装置およびノイズ除去方法に関する。
【０００２】
【従来の技術】
画像信号からノイズを除去するために、従来から動き適応型リカーシブフィルタが用いられている。この動き適応型リカーシブフィルタの構成の一例を図７に示す。
【０００３】
入力画像信号は画素ごとに、振幅調整を行うアンプ１を通じて加算回路２に供給される。フレームメモリ２には、現時点のフレーム（出力画像信号についての現時点のフレーム（以下、現フレームという））よりも１つ前のフレーム（以下、前フレームという）の出力画像信号が記憶されている。このフレームメモリ２に記憶されている画像信号は、入力画像信号の各画素位置に対応して画素ごとに順次に読み出されて、振幅調整を行うアンプ４を通じて加算回路２に供給される。
【０００４】
加算回路２は、アンプ２およびアンプ４を通じた現フレームと前フレームの画素を加算し、その加算出力を出力画像信号として出力すると共に、フレームメモリ３に供給する。フレームメモリ３では、その記憶画像信号が、この加算出力の出力画像信号に書き換えられる。
【０００５】
現フレームの入力画像信号は、また、画素ごとに減算回路５に供給される。また、フレームメモリ３に記憶されている前フレームの画像信号が、入力画像信号の各画素位置に対応して画素ごとに順次に読み出されて減算回路５に供給される。したがって、減算回路５からは、画像上の同じ画素位置の現フレームの画素値と、前フレームの画素値との差分が得られる。
【０００６】
この減算回路５からの差分出力は、絶対値化回路６に供給されて絶対値に変換されたのち、しきい値処理回路７に供給される。しきい値処理回路７では、これに供給される画素差分の絶対値と予め定めたしきい値とを比較して、画素毎に動き部分か、静止部分かの静動判定を行う。すなわち、しきい値処理回路７では、画素差分の絶対値がしきい値よりも小さいときには、入力画素は静止部分と判定し、画素差分の絶対値がしきい値よりも大きいときには、入力画素は動き部分と判定する。
【０００７】
しきい値処理回路７での静動判定結果は、重み係数発生回路８に供給される。重み係数発生回路８は、しきい値処理回路７での静動判定結果に応じて、重み係数ｋ（０≦ｋ≦１）の値を設定し、係数ｋをアンプ１に供給すると共に、係数１−ｋをアンプ４に供給する。アンプ１は、その入力信号をｋ倍し、アンプ４は、その入力信号を１−ｋ倍する。
【０００８】
この場合、しきい値処理回路７で、現フレームの画素が静止と判定されるときには、係数ｋの値としてｋ＝０〜０．５の間の固定値が設定される。したがって、加算回路２の出力は、現フレームの画素値と、フレームメモリ３からの前フレームの画素値とが重み付け加算された値とされる。
【０００９】
一方、しきい値処理回路７で、現フレームの画素が動き部分と判定されるときには、係数ｋの値としてｋ＝１が設定される。したがって、加算回路２からは現フレームの画素値（入力画像信号の画素値）がそのまま出力される。
【００１０】
加算回路２からの出力画像信号により、フレームメモリ３の記憶信号は、毎フレーム、書き換えられるので、フレームメモリ３に記憶される画像信号中の静止部分は、複数フレームの画素値が積算されたものになる。したがって、ノイズがフレーム毎にランダムな変化をするものとすれば、重み付け加算により、ノイズは徐々に小さくなって除去され、フレームメモリ３に記憶される画像信号（出力画像信号と同じ）の静止部分は、ノイズ除去が行われたものとなる。
【００１１】
【発明が解決しようとする課題】
しかしながら、上述の動き適応型リカーシブフィルタによるノイズ除去では、１．例えば、ノイズレベルが大きい場合など、動き部分を静止部分と誤ってしまうことがあり、その場合には、ぼけなどの画質劣化が見られる場合がある。
２．動き部分はノイズ除去ができない。
という問題がある。
【００１２】
この発明は、上述の動き適応型リカーシブフィルタの静止部分についてのノイズ除去能力の利点を生かしながら、上述の問題点を克服できるノイズ除去装置および方法を提供することを目的とするものである。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、この発明によるノイズ除去装置は、
画像信号を記憶するフレームメモリを有し、前記フレームメモリに記憶されている画像信号と、入力画像信号とを、前記入力画像信号による画像の静、動に応じた重み付けを行って加算し、その加算出力により前記フレームメモリの画像信号を書き換えることで、前記加算出力としてノイズの除去された第１の出力画像信号を生成する第１のノイズ除去部と、
複数フレーム間で、画像上の対応する画素を抽出し、それらの画素のフレーム間の変化に基づいて前記画素のノイズ成分をクラス分類し、分類されたクラスに対応して予め設定されている演算処理により、前記入力画像信号からノイズ成分の除去された第２の出力画像信号を生成する第２のノイズ除去部と、
前記第１の出力画像信号と前記第２の出力画像信号との互いに対応する画像位置の所定数の画素単位で、画像の静動を判定し、その判定結果に応じて、前記所定数の画素単位で、前記第１の出力画像信号と前記第２の出力画像信号との一方の出力画像信号を選択して出力する出力選択部と
を備えることを特徴とする。
【００１４】
上述の構成のこの発明によれば、第１のノイズ除去部では、前述した動き適応型リカーシブフィルタと同様に、現フレームと前フレームとの重み付け加算により、静止部分の画素については、良好にノイズ除去が行われる。
【００１５】
一方、第２のノイズ除去部では、複数フレーム間で同じ位置にある各フレームの画素を抽出し、それらの画素のフレーム間の変化に基づいて前記画素のノイズ成分をクラス分類し、分類されたクラスに対応して予め設定されている演算処理により、前記入力画像信号からノイズ成分の除去するので、動き部分と静止部分とに関係なく、ノイズ除去が行われる。ただし、完全な静止部分に関しては、長いフレームの情報を蓄積することができる第１のノイズ除去部の方が、第２のノイズ除去部ではノイズ除去効果が大きい。
【００１６】
出力選択部では、所定数の画素単位で、画像の静動を判定し、その判定結果に応じて、前記所定数の画素単位で、静止部分では、第１のノイズ除去部からの第１の出力画像信号を選択し、動き部分では、第２のノイズ除去部からの第２の出力画像信号を選択することにより、静止部分および動き部分で、ともに良好なノイズ除去が行われた出力画像信号が得られる。
【００１７】
【発明の実施の形態】
以下、この発明によるノイズ除去装置の実施の形態を、図を参照しながら説明する。
【００１８】
図１は、この実施の形態のノイズ除去装置の構成を示すブロック図である。図１に示すように、入力画像信号は画素ごとに、第１のノイズ除去部の例を構成する動き適応型リカーシブフィルタ１１に供給されるとともに、第２のノイズ除去部の例を構成するクラス分類適応ノイズ除去回路１２に供給される。
【００１９】
動き適応型リカーシブフィルタ１１の構成は、上述した図７の例と全く同様である。この動き適応型リカーシブフィルタ１１からの出力画像信号は、出力選択回路１３に供給される。
【００２０】
また、クラス分類適応ノイズ除去回路１２は、複数フレーム間で同じ位置にある各フレームの画素を抽出し、それらの画素のフレーム間の変化に基づいて前記画素のノイズ成分をクラス分類し、分類されたクラスに対応して予め設定されている演算処理により、前記入力画像信号からノイズ成分の除去された出力画像信号を生成するもので、その詳細な構成については後述する。このクラス分類適応ノイズ除去回路１２からの出力画像信号も、出力選択回路１３に供給される。
【００２１】
出力選択回路１３は、静動判定回路１４と、タイミング調整用の遅延回路１５と、選択回路１６とからなり、動き適応型リカーシブフィルタ１１からの出力画像信号は、遅延回路１５を通じて選択回路１６に供給され、クラス分類適応ノイズ除去回路１２からの出力画像信号は、そのまま選択回路１６に供給される。
【００２２】
また、動き適応型リカーシブフィルタ１１からの出力画像信号と、クラス分類適応ノイズ除去回路１２からの出力画像信号とは、静動判定回路１４に供給される。静動判定回路１４では、それら２つの出力画像信号から、この例では、各画素ごとに、静止部分か動き部分かを判定し、その判定出力を選択制御信号として、選択回路１６に供給する。
【００２３】
動き適応型リカーシブフィルタ１１からの出力画像信号では、前述したように、画像の静止部分の画素はノイズ除去されるが、画像の動き部分の画素は、ノイズ除去されずに、そのまま出力される。一方、クラス分類適応ノイズ除去回路１２からの出力画像信号では、画像の静止部分、動き部分に関係なく、ノイズ除去が施される。
【００２４】
このため、動き適応型リカーシブフィルタ１１からの出力画像信号と、クラス分類適応ノイズ除去回路１２からの出力画像信号とを比較した場合、静止部分は、ともにノイズ除去されているので両者の画素値はほぼ等しくなるが、動き部分では、動き適応型リカーシブフィルタ１１の出力画像信号にはノイズが残留しているのに対して、クラス分類適応ノイズ除去回路１２からの出力画像信号ではノイズが除去されているため、両者の画素値がノイズ分だけ異なることになる。
【００２５】
静動判定回路１４は、以上の性質を利用して、この例では、各画素毎に、画像の静止部分であるか、画像の動き部分であるかを判定する。すなわち、静動判定回路１４は、動き適応型リカーシブフィルタ１１からの出力画像信号の画素値と、クラス分類適応ノイズ除去回路１２からの出力画像信号の画素値との差分を算出する差分値算出回路１４１と、差分値算出回路１４１からの差分値を絶対値化する絶対値化回路１４２と、比較判定回路１４３とからなる。
【００２６】
比較判定回路１４３では、絶対値化回路１４２からの差分値の絶対値が、予め定めた値よりも大きいときには、動き部分と判定し、絶対値化回路１４２からの差分値の絶対値が、予め定めた値よりも小さいときには、静止部分と判定する。そして、画像の静止部分であると判定した画素については、動き適応型リカーシブフィルタ１１からの出力画像信号を選択するように選択回路１６を制御し、画像の動き部分であると判定した画素については、クラス分類適応ノイズ除去回路１２からの出力画像信号を選択するように選択回路１６を制御する。
【００２７】
したがって、選択回路１６からは、すなわち、出力選択回路１３からは、静止部分については、長いフレームの情報を蓄積することできて、良好にノイズ除去される動き適応型リカーシブフィルタからの出力画像信号が出力され、動き部分については、ノイズ除去されない動き適応型リカーシブフィルタからの出力画像信号の代わって、クラス分類適応ノイズ除去回路１２からの出力画像信号が出力される。したがって、出力選択回路１３からは、静止部分および動き部分のすべてに渡って、ノイズ除去された出力画像信号が得られる。
【００２８】
［クラス分類適応ノイズ除去回路の説明］
次に、この実施の形態に用いられるクラス分類適応ノイズ除去回路について詳細に説明する。以下に説明する例では、クラス分類適応処理として、入力画像信号の信号レベルの３次元（時空間）分布に応じてクラス分類を行い、クラス毎に予め学習によって獲得された予測係数をメモリに格納し、かかる予測係数を使用した重み付け加算式に従う演算処理によって最適な推定値（すなわち、ノイズ除去後の画素値）を出力する処理を採用している。
【００２９】
また、この例は、画像の動きを考慮してクラス分類適応処理を行うことによってノイズ除去を行うものである。すなわち、入力画像信号から推定される動きに応じて、ノイズ成分を検出するために参照されるべき画素領域と、ノイズを除去するための演算処理に使用されるべき画素領域とが切り出され、これらに基づいくクラス分類適応処理によってノイズが除去された画像を出力するようにしたものである。
【００３０】
図２は、この実施の形態に用いられるクラス分類適応ノイズ除去回路の全体的構成を示すものである。
【００３１】
処理されるべき入力画像信号はフレームメモリ２１に供給される。フレームメモリ２１は、供給される現在フレームの画像を記憶すると共に、１フレーム前の画像をフレームメモリ２２に供給する。フレームメモリ２２は、供給される１フレームの画像を記憶すると共に、その１フレーム前の画像をフレームメモリ２３に供給する。このようにして、フレームメモリ２１、２２、２３には、この順に、より新しいフレームの画像が記憶される。
【００３２】
以下の説明は、フレームメモリ２２が現フレームを記憶し、また、フレームメモリ２１および２３がそれぞれ、現フレームの後および前のフレームを記憶する場合を例として行う。
【００３３】
なお、フレームメモリ２１、２２、２３の記憶内容は、これに限定されるものではない。例えば時間的に２フレーム間隔の画像を記憶しても良い。また、連続する３フレームに限らず、５個のフレームメモリを設け、連続する５フレームの画像を記憶するようにしてもよい。さらに、フレームメモリに代えてフィールドメモリを使用することも可能である。
【００３４】
フレームメモリ２１、２２、２３にそれぞれ記憶されている後フレーム、現フレーム、前フレームの画像データは、動きベクトル検出部２４、動きベクトル検出部２５、第１領域切り出し部２６および第２領域切り出し部２７に供給される。
【００３５】
動きベクトル検出部２４は、フレームメモリ２２に記憶された現フレームの画像と、フレームメモリ２３に記憶された前フレームの画像との間の注目画素についての動きベクトルを検出する。また、動きベクトル検出部２５は、フレームメモリ２２に記憶された現フレームの画像と、フレームメモリ２１に記億された後フレームの画像との間の注目画素についての動きベクトルを検出する。
【００３６】
動きベクトル検出部２４および２５のそれぞれで検出された注目画素に関する動きベクトル（動き方向および動き量）は、第１領域切り出し部２６および第２領域切り出し部２７に供給される。動きベクトルを検出する方法としては、ブロックマッチング法、相関係数による推定、勾配法等を使用することができる。
【００３７】
第１領域切り出し部２４は、これに供給される各フレームの画像データから、動きベクトル検出部２４、２５で検出された動きベクトルを参照しながら、後述するような位置の画素を抽出し、抽出した画素値をノイズ成分検出部２８に供給する。
【００３８】
ノイズ成分検出部２８は、第１領域切り出し部２４の出力に基づいて、後述するように、ノイズ成分に係る情報を表現するクラスコードを発生し、発生したクラスコードを係数ＲＯＭ２９に供給する。このように、第１領域切り出し部２４が抽出する画素は、クラスコードの発生のために使用されるので、クラスタップと称される。
【００３９】
係数ＲＯＭ２９は、後述するような学習によって決定される予測係数をクラス毎に、より具体的にはクラスコードに関連するアドレスに沿って、予め記憶している。そして、係数ＲＯＭ２９は、ノイズ成分検出部２８から供給されるクラスコードをアドレスとして受け、それに対応する予測係数を出力する。
【００４０】
一方、第２領域切り出し部２７は、フレームメモリ２１、２２、２３がそれぞれ記憶している連続する３フレームの画像のデータから予測用の画素を抽出し、抽出した画素の値を推定演算部３０に供給する。推定演算部３０は、第２領域切り出し部２７の出力と、係数ＲＯＭ２９から読み出される予測係数とに基づいて、以下の式（１）に示すような重み付け演算を行って、ノイズが除去された予測画像信号を生成する。このように、第２領域切り出し部２７が抽出する画素値は、予測画像信号を生成するための重み付け加算において使用されるのて、予測タップと称される。
【００４１】
ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋・・・・＋ｗ_n×ｘ_n （１）
ここで、ｘ₁，‥‥，ｘ_nが各予測タップであり、ｗ₁，‥‥，ｗ_nが各予測係数である。
【００４２】
次に、図３を参照して、第１領域切り出し部２６が行う処理について、より詳細に説明する。第１領域切り出し部２６は、図３に示すようなタップ構造によって指定される画素位置の画素を抽出する。ここでは、黒四角で示される画素がクラスタップとして抽出される。すなわち、現フレームｆｒ０から注目画素のみがクラスタップとして抽出され、前フレームｆｒ−１と、後フレームｆｒ１からは、注目画素に対応する１画素がそれぞれクラスタップとして抽出される。
【００４３】
すなわち、この例においては、前フレームｆｒ−１，現フレームｆｒ０、後フレームｆｒｌのそれぞれにおいて、１画素のみが抽出されるタップ構造である。第１領域切り出し部２６においては、動きベクトル検出部２４および２５によって検出された注目画素の動きベクトルが充分小さく、静止部分と判定される場合には、前フレームｆｒ−１，現フレームｆｒ０、後フレームｆｒｌの各フレームにおける同一画素位置の画素がノイズ検出のためのクラスタップとして抽出する。したがって、処理対象の各フレーム内のクラスタップの画素位置は一定であり、タップ構造に変動は無い。
【００４４】
一方、注目画素の動きがある程度以上大きく、動き部分であると判定される場合には、第１領域切り出し部２６においては、前フレームｆｒ−１，現フレームｆｒ０、後フレームｆｒｌの各フレームから、画像上において対応する位置の画素をクラスタップとして抽出するために、動きベクトルに対応して抽出される画素位置の補正が行われる。後フレームｆｒ１の画像データから抽出する画素の位置は、動きベクトル検出部２４で検出された動きベクトルによって補正され、前フレームｆｒ−１の画像データから抽出する画素の位置は、動きベクトル検出部２５で検出された動きベクトルによって補正される。
【００４５】
第２領域切り出し部２７で切り出される予測タップについても、この例では、上述のクラスタップと同様のタップ構造が用いられる。そして、第２領域切り出し部２７において、予測タップとして抽出される画素に対する動き補正も、上述と同様になされる。
【００４６】
このような動き補正の結果、第１領域切り出し部２６によって抽出されるクラスタップは、複数フレーム間における画像上の対応画素となる。第２領域切り出し部２７によって抽出される予測タップも、動き補正によって、複数フレーム間における画像上の対応画素となる。
【００４７】
なお、フレームメモリ数を増やし、３個に代わって例えば５個とし、例えば現フレームおよびその前後の２個ずつのフレームを記億して、現フレームから注目画素のみを抽出し、前／後の２個ずつのフレームから注目画素に対応する画素を抽出するようなクラスタップ構造を使用しても良い。そのようにした場合には、抽出される画素領域が時間的に拡張されるので、より効果的なノイズ除去が可能となる。
【００４８】
ノイズ成分検出部２８は、後述もするように、第１領域切り出し部２６でクラスタップとして切り出された３フレームの画素の画素値の変動から、注目画素についてのノイズ成分のレベル変動を検出し、そのノイズ成分のレベル変動に応じたクラスコードを係数ＲＯＭ２９に出力する。つまり、ノイズ成分検出部２８は、注目画素のノイズ成分を、複数フレームについての注目画素の対応画素のレベル変動によってクラス分類し、その分類分けしたクラスのいずれであるかを示すクラスコードを出力する。
【００４９】
この実施の形態においては、ノイズ成分検出部２８は、第１領域切り出し部２６の出力について、ＡＤＲＣ（ＡｄａｐｔｉｖｅＤｙｎａｍｉｃＲａｎｇｅＣｏｄｌｎｇ）を行い、複数フレームに渡る注目画素の対応画素のレベル変動をＡＤＲＣ出力からなるクラスコードを発生する。
【００５０】
図４は、ノイズ成分検出部２８の一例を示す。図４は、１ビットＡＤＲＣによって、クラスコードを発生するものである。
【００５１】
ダイナミックレンジ検出回路２８１には、前述したように、フレームメモリ２１，２２，２３のそれぞれから、現フレームの注目画素と、現フレームの前後のフレームの前記注目画素に対応する２個の画素との合計３個の画素が供給される。各画素の値は、例えば８ビットで表現されている。ダイナミックレンジ検出回路２８１は、３個の画素の中の最大値ＭＡＸと、最小値ＭＩＮとを検出し、ＭＡＸ−ＭＩＮ＝ＤＲなる演算によって、ダイナミックレンジＤＲを算出する。
【００５２】
そして、ダイナミックレンジ検出回路２８１は、その出力として、算出したダイナミックレンジＤＲと、最小値ＭＩＮと、入力された３個の画素のそれぞれの画素値Ｐｘを、それぞれ出力する。
【００５３】
ダイナミックレンジ検出回路２８１からの３個の画素の画素値Ｐｘは、減算回路２８２に順に供給され、各画素値Ｐｘから最小値ＭＩＮが減算される。各画素値Ｐｘから最小値ＭＩＮが除去されることで、正規化された画素値が比較回路２８３に供給される。
【００５４】
比較回路２８３には、ダイナミックレンジＤＲを１／２にするビットシフト回路２８４の出力（ＤＲ／２）が供給され、画素値ＰｘとＤＲ／２との大小関係が検出される。画素値ＰｘがＤＲ／２より大きい時には、比較回路２８３の１ビットの比較出力が“１”とされ、そうでないときは、前記比較出力が“０”とされる。そして、比較回路２８３は、順次得られる３画素の比較出力を並列化して３ビットのＡＤＲＣ出力を発生する。
【００５５】
また、ダイナミックレンジＤＲがビット数変換回路２８５に供給され、量子化によってビット数が８ビットから例えば５ビットに変換される。そして、このビット数変換されたダイナミックレンジと、３ビットのＡＤＲＣ出力とが、クラスコードとして、係数ＲＯＭ２９に供給される。
【００５６】
上述したようなクラスタップ構造の下では、現フレームの注目画素と、その前後のフレームの対応画素との間では、画素値の変動が生じない、あるいは小さいはずである。したがって、画素値の変動が検出される場合には、それはノイズに起因すると判定できる。
【００５７】
一例を説明すると、図５に示す例の場合には、時間的に連続したｔ−１，ｔ，ｔ＋１の各フレームから抽出されたクラスタップの画素値が１ビットＡＤＲＣの処理を受けることによって、３ビット［０１０］のＡＤＲＣ出力が発生する。そして、ダイナミックレンジＤＲが５ビットに変換されたものが出力される。３ビットのＡＤＲＣ出力によって、注目画素についてのノイズレベルの変動が表現される。
【００５８】
この場合、１ビットではなく、多ビットＡＤＲＣを行うようにすれば、ノイズレベル変動をより的確に表現することが可能となる。また、ダイナミックレンジＤＲを５ビットに変換したコードによって、ノイズレベルの大きさが表現される。８ビットを５ビットに変換するのは、クラス数があまり多くならないようにクリップするためである。
【００５９】
このように、ノイズ成分検出部２８が生成するクラスコードは、この例の場合にはＡＤＲＣの結果として得られる時間方向のノイズレベル変動に係る例えば３ビットからなるコードと、ダイナミックレンジＤＲの結果として得られるノイズレベルに係る例えば５ビットからなるコードとを含むものとされる。ダイナミックレンジＤＲをクラス分類に用いることにより、動きとノイズとを区別でき、また、ノイズレベルの違いを区別できる。
【００６０】
次に、学習、すなわち、係数ＲＯＭ２９に格納する予測係数を得る処理について、図６を参照して説明する。ここで、図２中の構成要素と同様な構成要素には、同一の参照符号を付した。
【００６１】
学習を行うために用いられる、ノイズを含まない入力画像信号（教師信号と称する）が、ノイズ付加部３１、および正規方程式加算部３２に供給される。ノイズ付加部３１は、入力画像信号にノイズ成分を付加してノイズ付加画像（生徒信号と称する）を生成し、生成した生徒信号をフレームメモリ２１に供給する。図２を参照して説明したように、フレームメモリ２１、２２、２３には、時間的に連続する３フレームの生徒信号の画像がそれぞれ記憶される。
【００６２】
以下の説明は、フレームメモリ２２が現フレームの画像を記憶し、また、フレームメモリ２１および２３がそれぞれ、現フレームの後および前のフレームの画像を記億する場合を例として行う。但し、前述したように、フレームメモリ２１、２２、２３の記憶内容は、これに限定されるものではない。
【００６３】
フレームメモリ２１、２２、２３の後段においては、図２を参照して上述した処理とほぼ同様な処理がなされる。但し、ノイズ成分検出部２８が発生するクラスコードおよび第２領域切り出し部２７が抽出する予測タップは、正規方程式加算部３２に供給される。正規方程式加算部３２には、さらに、教師信号が供給される。正規方程式加算部３２は、これら３種類の入力に基づいて正規方程式を解くための計算処理を行い、予測係数決定部３３は、その計算処理結果からクラスコード毎の予測係数を決定する。そして、予測係数決定部３３は、決定した予測係数をメモリ３４に供給する。メモリ３４は、供給される予測係数を記憶する。メモリ３４に記憶される予測係数と、係数ＲＯＭ２９（図２）に記憶される予測係数とは、同一のものである。
【００６４】
次に、正規方程式について説明する。上述の式（１）において、学習前は予測係数ｗ₁，・・・・，ｗ_nが未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号のクラス毎の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００６５】
ｙ_k＝ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋・・・・＋ｗ_n×ｘ_kn （２）
（ｋ＝１、２、…、ｍ）
ｍ＞ｎの場合、予測係数ｗ₁，‥‥，ｗ_nは一意に決まらないので、誤差ベクトルｅの要素ｅ_kを、以下の式（３）で定義する。
【００６６】
ｅ_k＝ｙ_k−｛ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋・・・・＋ｗ_n×ｘ_kn｝（３）
（ｋ＝１、２、…、ｍ）
そして、以下の式（４）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００６７】
【数１】

【００６８】
式（４）のｅ²を最小とする予測係数を求めるための実際的な計算方法としては、ｅ²を予測係数ｗ_i（ｉ＝１，２‥‥）で偏微分し（以下の式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗ_iを定めれば良い。
【００６９】
【数２】

【００７０】
式（５）から各予測係数ｗ_iを定める具体的な手順について説明する。式（６）、（７）のようにＸ_ji，Ｙ_iを定義すると、式（５）は、以下の式（８）の行列式の形に書くことができる。
【００７１】
【数３】

【００７２】
式（８）が一般に正規方程式と呼ばれるものである。予測係数決定部３３は、上述した３種類の入力に基づいて、正規方程式（８）中の各パラメータを算出し、さらに、掃き出し法等の一般的な行列解法に従って正規方程式（８）を解くための計算処理を行って予測係数ｗ_iを算出する。
【００７３】
次に、ノイズ付加部３１におけるノイズ付加を行うためには、例えば以下の▲１▼〜▲４▼のような方法を用いることができる。
【００７４】
▲１▼コンピュータシミュレーションと同様にランダムノイズを発生させて入力画像信号に付加する。
【００７５】
▲２▼入力する画像信号に対しＲＦ系を介してノイズを付加する。
【００７６】
▲３▼レベル変化が少ない平坦な画像信号と、かかる画像信号にＲＦ系を介した処理を行うことによって得られる信号との間の差としてノイズ成分を抽出し、抽出したノイズ成分を入力画像信号に付加する。
【００７７】
▲４▼平坦な画像信号にＲＦ系を用いた処理を行うことによって得られる信号と、かかる信号をフレーム加算することによってノイズが除去されてなる画像信号成分との差としてノイズ成分を抽出し、抽出したノイズ成分を入力画像信号に付加する。
【００７８】
上述したクラス分類適応処理を用いたノイズ除去回路１２は、画像信号からノイズを除去するためクラス分類適応処理を行うに際し、例えば注目画素および注目画素に対応する画素等をクラスタップとして抽出し、クラスタップのデータに基づいてフレーム間でのノイズレベルの変動を検出し、検出したノイズレベルの変動に対応してクラスコードを生成するようにしたものである。
【００７９】
そして、フレームの間の動きを推定し、推定した動きを補正するように、ノイズ成分の検出処理に使用すべき画素（クラスタップ）と予測演算処理に使用すべき画素（予測タップ）を抽出する。そして、ノイズ成分を反映したクラス情報毎に、予測タップと予測係数との線形１次結合によって、ノイズ除去された画像信号を算出する。
【００８０】
したがって、ノイズ成分のフレーム間変動に的確に対応する予測係数を選択することができるので、そのような予測係数を使用して推定演算を行うことにより、ノイズ成分の除去を良好に行うことができる。
【００８１】
そして、動きがある場合にもノイズレベルが正しく検出でき、ノイズ除去が可能となる。特に、図７を参照して説明した動き適応リカーシブフィルタのように動き部分を静止部分であると誤判定することが要因となって画像にボケが生じること、を回避することができる。
【００８２】
さらに、フレーム内において空間的な広がりがないクラスタップ構造、例えば現フレームから注目画素のみが抽出され、現フレームに対して時間的に前／後にあるフレームから注目画素に対応する画素が抽出されるようなタップ構造をクラスタップおよび／または予測タップとして用いる場合には、空間方向のぼけ要因が処理に影響を与えることを回避することができる。すなわち、例えばエッジ等の影響により、出力画像信号中にぼけが生じることを回避できる。
【００８３】
このように、クラス分類適応ノイズ除去回路１２では、画像の静止、動きに依存せずに、ノイズ除去が行われるが、完全な静止部分に関しては、長いフレームの情報を蓄積することができる動き適応リカーシブフィルタには劣る。
【００８４】
この発明においては、前述したように、静止部分では、動き適応リカーシブフィルタの出力を選択出力し、動き部分では、クラス分類適応ノイズ除去回路の出力を選択出力するので、画像の動き部分、静止部分のいずれにおいても、良好にノイズ除去がなされた画像信号出力が得られる。
【００８５】
なお、クラス分類適応除去回路の説明における第１領域切り出し部２６および第２領域切り出し部２７でのクラスタップおよび予測タップは、一例であって、これに限るものでないことは言うまでもない。また、上述の説明では、クラスタップと予測タップの構造は同じものとしたが、両者は、同じ構造としなくてもよい。
【００８６】
また、ノイズ成分検出部２８は、上述の説明では、１ビットＡＤＲＣのエンコード回路を用いたが、上述したように多ビットＡＤＲＣのエンコード回路としてもよいし、また、ＡＤＲＣ以外の符号化回路を用いるようにしてもよい。
【００８７】
さらに、以上の説明においては、動き適応型リカーシブフィルタ１１の出力と、クラス分類適応ノイズ除去回路１２の出力との選択は、画素単位に行うように説明したが、画素単位ではなく、所定個数の画素からなる画素ブロックやオブジェクト単位、さらには、フレーム単位で、選択を行うようにしてもよい。それらの場合には、静動判定回路においては、選択単位で静動判定を行う。
【００８８】
また、以上の例では、一つの動き適応型リカーシブフィルタの出力と、一つのクラス分類適応除去回路の出力との２者択一の選択としたが、動き適応リカーシブフィルタおよび／またはクラス分類適応処理によるノイズ除去回路を複数個設け、それらから、出力画像信号を選択するようにすることもできる。
【００８９】
【発明の効果】
以上説明したように、この発明によれば、静止部分では、動き適応リカーシブフィルタなどの静止部分についてのノイズ除去効果が大きい第１のノイズ除去回路の出力を選択出力し、動き部分では、クラス分類適応ノイズ除去回路などの動き部分でのノイズ除去が可能な第２のノイズ除去回路の出力を選択出力するので、画像の動き部分、静止部分のいずれにおいても、良好にノイズ除去がなされた画像信号出力が得られる。
【図面の簡単な説明】
【図１】この発明によるノイズ除去装置の実施の形態を示すブロック図である。
【図２】実施の形態に用いられるクラス分類適応ノイズ除去回路の構成例を示す図である。
【図３】クラス分類適応ノイズ除去回路の説明のための図である。
【図４】クラス分類適応ノイズ除去回路の一部を構成するノイズ成分検出回路の構成例を示す図である。
【図５】図３のノイズ成分検出回路の構成例の説明のための図である。
【図６】クラス分類適応ノイズ除去回路に用いられる係数データの作成方法を説明するための図である。
【図７】動き適応リカーシブフィルタの構成例を示す図である。
【符号の説明】
１，４…振幅調整用のアンプ、２…加算回路、３…フレームメモリ、５…減算回路、６…絶対値化回路、７…しきい値処理回路、８…重み係数発生回路、１１…動き適応リカーシブフィルタ、１２…クラス分類適応ノイズ除去回路、１３…出力選択回路、１４…静動判定回路

Claims

画像信号を記憶するフレームメモリを有し、前記フレームメモリに記憶されている画像信号と、入力画像信号とを、前記入力画像信号による画像の静動に応じた重み付けを行って加算し、その加算出力により前記フレームメモリの画像信号を書き換えることで、前記加算出力としてノイズの除去された第１の出力画像信号を生成する第１のノイズ除去部と、
複数フレーム間で、画像上の対応する画素を抽出し、それらの画素のフレーム間の変化に基づいて前記画素のノイズ成分をクラス分類し、分類されたクラスに対応して予め設定されている演算処理により、前記入力画像信号からノイズ成分の除去された第２の出力画像信号を生成する第２のノイズ除去部と、
所定数の画素単位で、画像の静動を判定し、その判定結果に応じて、前記所定数の画素単位で、前記第１の出力画像信号と前記第２の出力画像信号との一方の出力画像信号を選択して出力する出力選択部と
を備えることを特徴とするノイズ除去装置。
前記出力選択部は、
前記所定数の画素が、画像の静止部分か動き部分かを判定する判定部と、
前記判定部の判定結果に基づいて、静止部分の画素については、前記第１の出力画像信号を選択して出力し、動き部分の画素については前記第２の出力画像信号を選択して出力する選択部と
を有することを特徴とする請求項１に記載のノイズ除去装置。
前記判定部は、
前記所定数の画素毎に、前記第１の出力画像信号と前記第２の出力画像信号との差分値を算出する差分値算出部と、
前記差分値の絶対値と予め設定されたしきい値との比較結果に基づいて、前記差分値の絶対値が前記しきい値以上の場合には、前記動き部分の画素であることを示す判定値を出力し、前記差分値の絶対値が前記しきい値より小さい場合には、静止部分の画素であることを示す判定値を出力する比較部と
を有することを特徴とする請求項２に記載のノイズ除去装置。
前記第１のノイズ除去部は、
前記入力画像信号による画像の静動判定を行なう動き判定部と、
前記動き判定部での静動判定に応じて、前記入力画像信号と前記フレームメモリに記憶されている画像信号とに重み付けを行なう重み付け部と、
前記重み付けされた入力画像信号と前記フレームメモリからの画像信号とを加算する加算部と
を有し、
前記フレームメモリの画像信号は、前記加算部からの画像信号に書き換えられることを特徴とする請求項１に記載のノイズ除去装置。
前記第２のノイズ除去部は、
前記入力画像信号による画像中の注目画素についての動き情報を導出する動き情報導出部と、
前記動き情報導出部で導出された前記動き情報を用いて、複数フレームについて、前記注目画素に対応した位置の複数の画素をクラスタップとして抽出するクラスタップ抽出部と、
前記クラスタップ抽出部で抽出された前記クラスタップの特徴に基づいて、前記注目画素についてのノイズ成分を、クラス分類するクラス分類部と、
前記クラス分類部によって分類されたクラスに基づいて、当該クラスに対応する演算処理を定め、その定めた演算処理によって、前記注目画素についてのノイズ成分を除去した画像信号を生成する演算処理部と、
を有することを特徴とする請求項１に記載のノイズ除去装置。
前記クラス分類部で用いる前記クラスタップの特徴は、前記クラスタップとしての前記複数の画素のノイズ成分分布であることを特徴とする請求項５に記載のノイズ除去装置。
前記演算処理部では、
前記注目画素に対応した位置の複数の画素の画素値と、前記クラス分類部において分類されたクラスに応じて予め設定されている前記複数の画素についての演算係数との演算を行うことにより、前記注目画素についてのノイズ成分を除去した画像信号を生成する
ことを特徴とする請求項５に記載のノイズ除去装置。
前記クラス分類部で分類分けされる複数のクラスのそれぞれに応じた、前記演算処理部で用いる前記演算係数は、
前記入力画像信号よりノイズが少ない教師画像データから注目画素を抽出する工程と、
前記入力画像信号と同等のノイズを有する生徒画像データから、前記注目画素についての動き情報を導出する工程と、
前記注目画素について導出された前記動き情報に応じて、複数フレームの前記生徒画像データから前記注目画素に対応した位置の複数の画素をクラスタップとして抽出する工程と、
前記クラスタップの特徴に基づいて、前記注目画素についてのノイズ成分をクラス分類する工程と、
前記クラス分類されたクラスに対応して、前記生徒画像データから予測タップとして抽出された、少なくともクラスタップとして抽出される前記注目画素に対応した位置の複数の画素を含む画素について、前記生徒画像データから前記教師画像データと同質の出力画像信号を生成するための予測係数を導出する工程と
によって、前記予測係数として算出することを特徴とする請求項７に記載のノイズ除去装置。
フレームメモリに記憶されている画像信号と、入力画像信号とを、前記入力画像信号による画像の静動に応じた重み付けを行って加算し、その加算出力により前記フレームメモリの画像信号を書き換えることで、前記加算出力としてノイズの除去された第１の出力画像信号を生成する第１のノイズ除去工程と、
前記第１のノイズ除去工程と並列の処理として、複数フレーム間で、画像上の対応する画素を抽出し、それらの画素のフレーム間の変化に基づいて前記画素のノイズ成分をクラス分類し、分類されたクラスに対応して予め設定されている演算処理により、前記入力画像信号からノイズ成分の除去された第２の出力画像信号を生成する第２のノイズ除去工程と、
所定数の画素単位で、画像の静動を判定し、その判定結果に応じて、前記所定数の画素単位で、前記第１の出力画像信号と前記第２の出力画像信号との一方の出力画像信号を選択して出力する出力選択工程と
を有することを特徴とするノイズ除去方法。
前記出力選択工程は、
前記所定数の画素が、画像の静止部分か動き部分かを判定する判定工程と、
前記判定工程での判定結果に基づいて、静止部分の画素については前記第１の出力画像信号を選択して出力し、動き部分の画素については前記第２の出力画像信号を選択して出力する選択工程と
を有することを特徴とする請求項９に記載のノイズ除去方法。
前記判定工程は、
前記所定数の画素毎に、前記第１の出力画像信号と前記第２の出力画像信号との差分値を算出する差分値算出工程と、
前記差分値算出工程で算出された前記差分値の絶対値と予め設定されたしきい値との比較結果に基づいて、前記差分値の絶対値が前記しきい値以上の場合には、前記動き部分の画素であることを示す判定値を出力し、前記差分値の絶対値が前記しきい値より小さい場合には、静止部分の画素であることを示す判定値を出力する比較工程と
を有することを特徴とする請求項９に記載のノイズ除去方法。
前記第１のノイズ除去工程は、
前記入力画像信号による画像の静動判定を行なう動き判定工程と、
前記動き判定工程での静動判定に応じて、前記入力画像信号と前記フレームメモリに記憶されている画像信号とに重み付けを行なう重み付け工程と、
前記重み付けされた入力画像信号と前記フレームメモリからの画像信号とを加算する加算工程と
を有し、
前記フレームメモリの画像信号は、前記加算工程からの画素信号に書き換えられることを特徴とする請求項９に記載のノイズ除去方法。
前記第２のノイズ除去工程は、
前記入力画像信号による画像中の注目画素についての動き情報を導出する動き情報導出工程と、
前記動き情報導出工程で導出された前記動き情報を用いて、複数フレームについて、前記注目画素に対応した位置の複数の画素をクラスタップとして抽出するクラスタップ抽出工程と、
前記クラスタップ抽出工程で抽出された前記クラスタップの特徴に基づいて、前記注目画素についてのノイズ成分を、クラス分類するクラス分類工程と、
前記クラス分類工程によって分類されたクラスに基づいて、当該クラスに対応する演算処理を定め、その定めた演算処理によって、前記注目画素についてのノイズ成分を除去した画像信号を生成する演算処理工程と、
を有することを特徴とする請求項９に記載のノイズ除去方法。
前記クラス分類工程で用いる前記クラスタップの特徴は、前記クラスタップとしての前記複数の画素のノイズ成分分布であることを特徴とする請求項１３に記載のノイズ除去方法。
前記演算処理工程では、
前記注目画素に対応した位置の複数の画素の画素値と、前記クラス分類工程で分類されたクラスに応じて予め設定されている前記複数の画素についての演算係数との演算を行うことにより、前記注目画素についてのノイズ成分を除去した画像信号を生成する
ことを特徴とする請求項１３に記載のノイズ除去方法。
前記クラス分類工程で分類分けされる複数のクラスのそれぞれに応じた前記演算係数は、
前記入力画像信号よりノイズが少ない教師画像データから注目画素を抽出する工程と、
前記入力画像信号と同等のノイズを有する生徒画像データから、前記注目画素についての動き情報を導出する工程と、
前記注目画素について導出された前記動き情報に応じて、複数フレームの前記生徒画像データから前記注目画素に対応した位置の複数の画素をクラスタップとして抽出する工程と、
前記クラスタップの特徴に基づいて、前記注目画素についてのノイズ成分をクラス分類する工程と、
前記クラス分類されたクラスの対応して、前記生徒画像データから予測タップとして抽出された、少なくともクラスタップとして抽出される前記注目画素に対応した位置の複数の画素を含む画素について、前記生徒画像データから前記教師画像データと同質の出力画像信号を生成するための予測係数を導出する工程と
によって、前記予測係数として算出する
ことを特徴とする請求項１５に記載のノイズ除去方法。