JPH05346956A

JPH05346956A - 画像信号の処理装置

Info

Publication number: JPH05346956A
Application number: JP4147032A
Authority: JP
Inventors: Kenji Okajima; 健治岡島
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1992-06-08
Filing date: 1992-06-08
Publication date: 1993-12-27
Anticipated expiration: 2014-03-17
Also published as: JP2870299B2

Abstract

(57)【要約】【目的】信号のぼけを引き起こすことなくノイズ除去を
行なう。【構成】フーリエ変換計算部１２が画像を小領域に分割
し各領域ごとにフーリエ変換とフーリエ振幅を計算す
る。雑音除去部１３がフーリエ振幅に対してノイズ除去
処理を行なう。雑音除去部はフーリエ振幅に対してノイ
ズ除去処理を行なうため、多くのノイズ除去処理に伴う
平均化処理を行なっても画像信号の高周波成分が減衰す
ることがなくぼけが生じない。画像復元部１４はノイズ
が除去されたフーリエ振幅とフーリエ変換計算部で計算
されたフーリエ変換の位相からノイズが除去された画像
を復元する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像信号の処理装置に関
し、特にノイズ除去やエッジ強調を行なう画像信号の処
理装置に関する。

【０００２】

【従来の技術】画像中のノイズを除去することはさまざ
まな画像処理技術や画像認識技術などの最初のステップ
として重要な役割を担っている。

【０００３】ノイズを除去するアルゴリズムとしては従
来から多くの方法が知られている（テレビジョン学会
編、テレビジョン・画像情報工学ハンドブック、オーム
社、参照）。最も良く用いられている方法は各画素の値
を近傍の小領域中の画素の値の重み付き平均値に置き換
える方法である。このような平均化処理ではノイズ成分
は減衰させられるが同時に信号成分にもぼけが生じる。
ノイズ成分と信号成分それぞれの統計的性質に基づいて
画像復元を行なうアルゴリズムとして知られているウィ
ーナー・フィルターの方法はある意味では最適なノイズ
除去法であり優れた方法ではあるが、この方法も画像デ
ータそのものに適用すると単なる重み付き平均化処理に
帰着してしまい、やはり信号成分にぼけが生じる。メデ
ィアン・フィルターを用いる方法は平滑化に伴うぼけの
発生を抑えるためには有効であるが、逆に細い線などの
信号成分もノイズとして除去してしまう。

【０００４】物体の輪郭，エッジを検出することも画像
認識システム等で重要な処理である。エッジ検出のアル
ゴリズムとしては微分操作，２次微分操作，ソボル・オ
ペレータなどの方法が知られているが、これらは高周波
通過フィルターの一種と見なすことができるから高周波
のノイズに対して弱い。従ってこの技術においてもノイ
ズ除去の処理が必要であり、その際、どのようにして信
号成分のぼけを回避するのかという点が問題であった。

【０００５】

【発明が解決しようとする課題】この従来の各画素の値
を近傍の小領域中の画素の値の重み付き平均値に置き換
える方法およびウィーナー・フィルターの方法はいずれ
も信号成分にぼけが生じるという欠点があった。またメ
ディアン・フィルターを用いる方法は細い線などの信号
成分もノイズとして除去してしまい、信号のぼけの回避
方法としては問題がある。

【０００６】本発明の目的は、このような従来の欠点を
改善し、信号のぼけを引き起こさずにノイズ除去ができ
る画像信号の処理装置、あるいはエッジ部をぼかすこと
なく強調し、かつ高周波ノイズを除去することができる
画像信号の処理装置を提供することにある。

【０００７】

【課題を解決するための手段】第１の発明の画像信号の
処理装置は、入力画像信号を複数の画素を含む小領域に
重複を許して分割し前記各小領域ごとにフーリエ変換を
施してフーリエ振幅を算出する振幅算出手段と、この振
幅算出手段で算出された振幅から雑音成分を除去する雑
音除去手段と、この雑音除去手段で得られたフーリエ振
幅を用いてフーリエ逆変換を施し雑音成分の除去された
復元画像を算出する画像復元手段とを備えている。

【０００８】また、第２の発明の画像信号の処理装置
は、入力画像信号を複数の画素を含む小領域に重複を許
して分割し前記各小領域ごとに強調すべき画像信号に含
まれる明暗度の急激な変化部分であるエッジの緩やかさ
の程度に基づいてあらかじめ設定された臨界空間周波数
を超える成分のみを対象としてフーリエ変換を施してフ
ーリエ振幅を算出する振幅算出手段と、この振幅算出手
段で算出された振幅から雑音成分を除去する雑音除去手
段と、この雑音除去手段で得られたフーリエ振幅を用い
てフーリエ逆変換を施し雑音成分の除去されかつエッジ
部が強調された復元画像を算出する画像復元手段とを備
えている。

【０００９】そして、前記雑音除去手段として学習機能
を持つニューラルネットワークを用いてもよい。

【００１０】

【作用】第１の発明では、入力画像信号はいくつかの小
領域に分割され、各小領域ごとにフーリエ変換及びその
振幅が計算される。次にこのフーリエ振幅を雑音除去フ
ィルターに通しそのノイズ成分を減衰させた上でフーリ
エ逆変換が施される。従来の方法のように入力画像信号
そのものに対して雑音除去フィルターを構成しノイズ減
衰処理を行なうと、通常の場合これは単なる平滑化処理
に帰着してしまうため、信号の高周波成分も減衰してし
まい、その結果ぼけが生じてしまう。これに対して本発
明では小領域ごとに計算されたフーリエ振幅に対して雑
音除去フィルター処理を施すため、高周波成分を減衰さ
せることなくノイズ成分を減衰させることができ、従っ
て信号成分にぼけを引き起こすことなくノイズ成分の除
去が可能となる。

【００１１】また、第２の発明では、入力画像信号はい
くつかの小領域に分割され、各小領域ごとにあらかじめ
定めておいた臨界空間周波数Ｋｃ以上の成分のみを対象
としてフーリエ変換及びその振幅が計算される。上述し
た臨界空間周波数Ｋｃはエッジ部分をどれほど細かく抽
出するかの程度に応じてあらかじめ設定される。像のエ
ッジの部分は高周波の空間周波数成分を持つのに対し
て、明暗度が一定の領域では高周波成分を持たないか
ら、こうして計算されたフーリエ変換の振幅はエッジ等
の明暗度が急激に変化している領域でのみゼロでない値
をとる。しかしながら以上の操作は高周波通過フィルタ
ーと見なせるから、エッジ部分以外でも高周波のノイズ
が存在する部分ではゼロでない値が得られてしまう。そ
こで次にこのフーリエ振幅を雑音除去フィルターに通し
そのノイズ成分を減衰させた上でフーリエ逆変換を施し
しきい値処理を行ない、ノイズが減衰されエッジが強調
された画像を得る。

【００１２】本発明では小領域ごとに計算されたフーリ
エ振幅に対して雑音除去フィルター処理を施すため、高
周波成分が減衰することはなく、従ってエッジをぼかす
ことなく強調し、かつ高周波ノイズを除去することが可
能になる。

【００１３】

【実施例】次に本発明の実施例について図面を参照して
説明する。図１は第１の発明の一実施例を示すブロック
図である。

【００１４】入力／前処理部１１に入力された画像情報
は必要に応じてＡ／Ｄ変換などの前処理を受けてフーリ
エ変換計算部１２へと送られる。フーリエ変換計算部１
２はこの画像情報に対してプロセッサー等を用いて以下
のような処理を行なう。

【００１５】いま、入力画像の画素数をＮ×Ｎとする。
まず、この入力画像を画素数ｎ１×ｎ１からなるｎ２×
ｎ２個の小領域に分割する。ここで互いにオーバーラッ
プがないように画像を分割する場合には、Ｎ＝ｎ１×ｎ
２であるが互いにオーバーラップがあるように分割して
もかまわない。次にこうして分割された各小領域ごと
に、そのフーリエ変換及びその振幅を計算する。振幅の
かわりにその２乗であるフーリエ変換パワースペクトル
を計算してもかまわない。ここで各小領域を添字（Ｘ，
Ｙ）（Ｘ，Ｙ＝１〜ｎ２）で表し、各小領域中での画素
の１つを添字（ｘ，ｙ）（ｘ，ｙ＝１〜ｎ１）で表す。
また（Ｘ，Ｙ）で表される小領域中の（ｘ，ｙ）の位置
にある画素の値をＩ（ｘ，ｙ；Ｘ，Ｙ）で表す。すると
上に述べたフーリエ変換及びそのパワースペクトルは次
式により計算される。

【００１６】

【００１７】ここでフーリエ変換を計算する際には、良
く知られている手法に従って各小領域の境界での不連続
性を緩和するためにガウシアン窓などの窓関数を用いて
もよい。また、この計算には高速フーリエ変換などの高
速アルゴリズムを用いることもできる。以後このフーリ
エ振幅Ｐのことをローカル・フーリエ振幅と呼ぶ。

【００１８】雑音除去部１３はこのローカル・フーリエ
振幅Ｐに対してウィーナー・フィルターによるフィルタ
リング処理を施して雑音除去を行なう。よく知られてい
るようにウィーナー・フィルターは信号成分と雑音成分
それぞれの自己相関関数が分かっている場合に、真の信
号とフィルターの出力として得られる信号の推定値との
誤差の２乗を最小にするという意味で最適性が証明され
ているフィルターである。具体的には、ローカル・フー
リエ振幅Ｐを、その成分の値を並べた（ｎ１×ｎ２）²
次元のベクトルと考えるとウィーナー・フィルターＭは
以下のように決定される。Ｍ＝Ｅ［ＰＰ^t］／［Ｅ［ＰＰ^t］＋Ｅ［ｎｎ^t］］ここでＥ［］は統計的な平均操作を表す。Ｅ［ＰＰ^t］
は信号成分の相関行列を、Ｅ［ｎｎ^t］は雑音成分の相
関行列を表す。Ｐ^t，ｎ^tは転置ベクトルである。また
行列の割り算は逆行列あるいは一般化逆行列を掛けるこ
とを表す。また、ここで相関行列のかわりに予め平均値
を引いておくことにし、共分散行列を用いることも可能
である。フィルタリング処理はＰ′＝Ｍ・Ｐで与えられる。通常の場合、互いに遠くにある小領域間
での相関はゼロであるので、よくなされているように、
近くの小領域での値だけから推定Ｐ′が定まるとして、
フィルターを求める計算を近似して計算量を減らすこと
も可能である。

【００１９】本実施例においてはウィーナー・フィルタ
ーによる雑音除去操作を従来の方法のように入力画像信
号そのものに対して行なうのではなく、それから計算さ
れたローカル・フーリエ振幅に対して行なっている点が
重要な点である。すなわち、従来の方法のように入力画
像信号そのものに対してウィーナー・フィルターを構成
しノイズ減衰処理を行なうと、通常の場合これは信号の
相関距離程度の範囲にわたっての単なる平滑化処理に帰
着してしまうため、それにより信号の高周波成分も減衰
してしまいぼけが生じてしまう。それに対して本発明で
はローカル・フーリエ振幅に対してウィーナー・フィル
ター処理を施すため高周波成分を減衰させることなくノ
イズ成分を減衰させることができ、従って信号成分にぼ
けを引き起こすことなくノイズ成分の除去が可能とな
る。

【００２０】画像復元部１４はこうして雑音の減衰され
たローカル・フーリエ変換からフーリエ変換部１２での
処理の逆変換を行ない雑音が減衰された復元像を計算し
て出力する。よく知られているように、この際、フーリ
エ逆変換を行なうには振幅だけでなく位相情報も必要で
ある。この位相情報はフーリエ変換部１２で計算された
ローカル・フーリエ変換Ｆから受け取る。また必要に応
じて画像復元部ではしきい値処理を行ない、負の値を０
で置き換えたりまた大きすぎる値に対するカットオフ処
理を行なう。

【００２１】本実施例では、雑音除去部での処理として
ウィーナー・フィルターによるフィルタリング処理がな
されていたが、この部分を学習機能を有するニューラル
ネットワークで置き換えることも可能である。この場
合、信号成分と雑音成分の統計的性質を学習により抽出
することが可能になるので設計の手間が軽減する効果が
生まれる。

【００２２】多層ニューラルネットワークをバック・プ
ロパゲーション法で学習させると、学習の条件が満たさ
れていれば、入力パタンを入力したときに出力パタンと
して学習したパタンを出力するようにできることはよく
知られている。そこでこの雑音除去部として多層ニュー
ラルネットワークを用い、雑音成分がのった信号Ｐ＋ｎ
を入力とし、雑音が除去された信号Ｐを教師パタンとし
てそれを出力するように学習させて置けば、これによっ
ても雑音成分の除去が可能になる。

【００２３】２層のニューラルネットワークで直交学習
を行なうとやはり入力パタンとそれに対応する出力パタ
ンの関係を学習できることが知られている。従って雑音
除去部として直交学習を行なうニューラルネットワーク
を用いることも可能である。雑音がのった信号Ｐ＋ｎを
入力として雑音が除去された信号Ｐを出力するように直
交学習を行なうと、雑音成分が信号成分と独立で、かつ
その平均値が０であると仮定すると、学習定数を十分に
大きくとればニューラルネットワークの結合行列はＭ＝Ｅ［ＰＰ^t］／［Ｅ［ＰＰ^t］＋Ｅ［ｎｎ^t］］に収束することが証明されている（甘利俊一著、神経回
路網の数理、産業図書、１９７８年参照）。ここで
Ｅ［］は統計的な平均操作を表す。Ｅ［ＰＰ^t］は信号
成分の相関行列を、Ｅ［ｎｎ^t］は雑音成分の相関行列
を表す。Ｐ^t，ｎ^tは転置ベクトルである。また行列の
割り算は逆行列あるいは一般化逆行列を掛けることを表
す。従って、線形な素子を用いれば、このニューラルネ
ットワークはウィーナー・フィルターを学習によって構
成できることが分かる。この場合には多層のニューラル
ネットワークにくらべ素子の数が減ること、学習の過程
が簡単化することの利点がある。

【００２４】また、雑音除去部として、より学習の過程
が簡単な相関学習を行なう２層のニューラルネットワー
クを用いることも可能である。信号Ｐを入力としてＰ自
身を出力するような自己想起を相関学習によって学習す
るとニューラルネットワークの結合行列はＭ＝Ｅ［ＰＰ^t］に収束する。このように学習された相関行列を用いる
と、雑音成分の相関行列が単位行列を１で表し、Ｅ［ｎ
ｎ^t］＝σ²１で与えられるとすると、例えば図３に示
すような回路によってウィーナー・フィルターが構成で
きる。図３は相関学習をするニューラルネットワークを
用いて雑音除去部を構成したブロック図である。図３に
おいて３２−１，〜３２−Ｎは次のような式に従って出
力Ｚを変化させる素子である。ｄＺ／ｄｔ＝−（１／τ）（σ²Ｚ＋Ｐ′−Ｐ）ここでＰは入力信号であり、Ｐ′はＰ′＝Ｍ・Ｚで与え
られる。図３の回路が定常状態に達すると σ²Ｚ＋Ｐ′−Ｐ＝０が成り立つ。従って σ²Ｚ＋Ｍ・Ｚ−Ｐ＝０が満たされ、これを解くとＺ＝Ｐ／（σ²＋Ｍ）である
から結局Ｐ′＝Ｍ・Ｚ＝（Ｍ／（σ²＋Ｍ））・Ｐとなり、Ｐ′としてウィーナー・フィルターの出力と等
価の出力が得られることが分かる。この場合には、直交
学習を行なうニューラルネットワークと比べてもさらに
学習の過程が簡単化すること、またノイズレベルσ²が
不明の場合、それをパラメータとして変化させながら処
理をすることができるという利点がある。

【００２５】図２は第２の発明の一実施例を示すブロッ
ク図である。入力／前処理部２１に入力された画像情報
は必要に応じてＡ／Ｄ変換などの前処理を受けてフーリ
エ変換計算部２２へと送られる。フーリエ変換部２２は
図１に示した第１の発明の一実施例と同様に、まずこの
入力画像を小領域に分割する。次にこうして分割された
各小領域ごとに、パラメータ入力部２３から予め入力し
ておいた臨界空間周波数Ｋｃ以上の成分についてだけ、
図１の実施例と同様にそのフーリエ変換及びその振幅を
計算する。Ｋｃの値はどの程度緩やかなエッジまでを強
調するかという目的に応じて設定する。最高空間周波数
をＫｍａｘとすると、ｍ画素程度にわたって変化するエ
ッジ部までを強調するためには、ＫｃはＫｍａｘ／ｍ程
度に設定すればよい。画像の明暗度が一定の領域ではそ
のフーリエ変換は高周波成分を含まないから、こうして
計算されるローカル・フーリエ変換Ｆおよびその振幅Ｐ
は明暗度が急激に変化している領域でのみ値を持ち、従
ってエッジ部の強調がなされる。以下、図１の実施例と
同様に雑音除去部２４がローカル・フーリエ振幅Ｐに対
してウィーナー・フィルターによるフィルタリングを行
なってノイズを除去し、画像復元部２５がフーリエ変換
部２２での処理の逆変換を行ない、ノイズが減衰されエ
ッジ部が強調された復元像を計算し出力する。

【００２６】

【発明の効果】以上説明したように本発明は、信号成分
のぼけを引き起こすことなく画像信号中のノイズ成分を
除去することができる。また、エッジ部をぼかすことな
く強調し、かつ高周波ノイズを除去することができると
いう効果を有する。

【図面の簡単な説明】

【図１】第１の発明の一実施例を示すブロック図であ
る。

【図２】第２の発明の一実施例を示すブロック図であ
る。

【図３】相関学習をするニューラルネットワークを用い
て雑音除去部を構成したブロック図である。

【符号の説明】

１１，２１入力／前処理部１２，２２フーリエ変換計算部１３，２４雑音除去部１４，２５画像復元部２３パラメータ入力部３１相関行列３２−１，〜３２−Ｎアナログ演算素子

Claims

【特許請求の範囲】

【請求項１】入力画像信号を複数の画素を含む小領域
に重複を許して分割し前記各小領域ごとにフーリエ変換
を施してフーリエ振幅を算出する振幅算出手段と、この
振幅算出手段で算出された振幅から雑音成分を除去する
雑音除去手段と、この雑音除去手段で得られたフーリエ
振幅を用いてフーリエ逆変換を施し雑音成分の除去され
た復元画像を算出する画像復元手段とを備えることを特
徴とする画像信号の処理装置。
【請求項２】入力画像信号を複数の画素を含む小領域
に重複を許して分割し前記各小領域ごとに強調すべき画
像信号に含まれる明暗度の急激な変化部分であるエッジ
の緩やかさの程度に基づいてあらかじめ設定された臨界
空間周波数を超える成分のみを対象としてフーリエ変換
を施してフーリエ振幅を算出する振幅算出手段と、この
振幅算出手段で算出された振幅から雑音成分を除去する
雑音除去手段と、この雑音除去手段で得られたフーリエ
振幅を用いてフーリエ逆変換を施し雑音成分の除去され
かつエッジ部が強調された復元画像を算出する画像復元
手段とを備えることを特徴とする画像信号の処理装置。
【請求項３】前記雑音除去手段として学習機能を持つ
ニューラルネットワークを用いることを特徴とする請求
項１または２記載の画像信号の処理装置。