JP4096281B2 - 画像処理装置および画像処理方法、並びに媒体 - Google Patents
画像処理装置および画像処理方法、並びに媒体 Download PDFInfo
- Publication number
- JP4096281B2 JP4096281B2 JP16187399A JP16187399A JP4096281B2 JP 4096281 B2 JP4096281 B2 JP 4096281B2 JP 16187399 A JP16187399 A JP 16187399A JP 16187399 A JP16187399 A JP 16187399A JP 4096281 B2 JP4096281 B2 JP 4096281B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- data
- student
- image data
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 13
- 230000002093 peripheral effect Effects 0.000 claims description 85
- 238000000034 method Methods 0.000 claims description 49
- 239000006185 dispersion Substances 0.000 claims description 41
- 230000002123 temporal effect Effects 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 description 95
- 230000010354 integration Effects 0.000 description 20
- 239000013598 vector Substances 0.000 description 20
- 238000001514 detection method Methods 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 15
- RRLHMJHRFMHVNM-BQVXCWBNSA-N [(2s,3r,6r)-6-[5-[5-hydroxy-3-(4-hydroxyphenyl)-4-oxochromen-7-yl]oxypentoxy]-2-methyl-3,6-dihydro-2h-pyran-3-yl] acetate Chemical compound C1=C[C@@H](OC(C)=O)[C@H](C)O[C@H]1OCCCCCOC1=CC(O)=C2C(=O)C(C=3C=CC(O)=CC=3)=COC2=C1 RRLHMJHRFMHVNM-BQVXCWBNSA-N 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000001934 delay Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Landscapes
- Complex Calculations (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに媒体に関し、特に、例えば、動画像等のデータに含まれるノイズの除去を、より効果的に行うことができるようにする画像処理装置および画像処理方法、並びに媒体に関する。
【０００２】
【従来の技術】
例えば、伝送や再生等された画像データや音声データなどのデータには、一般に、時間的に変動するノイズが含まれているが、データに含まれるノイズを除去する方法としては、従来より、入力データ全体の平均（以下、適宜、全平均という）や、入力データの局所的な平均である移動平均を求めるものなどが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、全平均を計算する方法は、データに含まれるノイズの度合い、即ち、データのＳ／Ｎ（Signal/Noise）が一定である場合は有効であるが、データのＳ／Ｎが変動する場合には、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響し、効果的にノイズを除去することが困難となることがある。
【０００４】
また、移動平均を計算する方法では、入力されたデータから時間的に近い位置にあるデータの平均が求められるため、その処理結果は、データのＳ／Ｎの変動の影響を受ける。即ち、データのＳ／Ｎの良い部分については、処理結果のＳ／Ｎも良くなるが、Ｓ／Ｎの悪い部分については、処理結果のＳ／Ｎも悪くなる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、データに含まれるノイズの度合いが一定の場合だけでなく、時間的に変動する場合であっても、そのノイズを、効果的に除去することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量を推定する推定手段と、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出手段と、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力するクラス分類手段と、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、クラス分類手段により生成されるクラスコード毎に予め学習されており、抽出手段により抽出された周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データを予測する予測手段とを含むことを特徴とする。
【０００８】
このデータ処理装置には、クラスコードごとに、予測係数を記憶している記憶手段をさらに設けるようにすることができる。
【００１３】
請求項３に記載の画像処理方法は、推定手段が、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量を推定する推定ステップと、抽出手段が、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出ステップと、クラス分類手段が、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力するクラス分類ステップと、予測手段が、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、クラス分類ステップの処理により生成されるクラスコード毎に予め学習されており、抽出ステップの処理により抽出された周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データを予測する予測ステップとを含むことを特徴とする。
【００１４】
請求項４に記載の媒体がコンピュータに実行させるプログラムは、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量を推定する推定ステップと、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出ステップと、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力するクラス分類ステップと、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、クラス分類ステップの処理により生成されるクラスコード毎に予め学習されており、抽出ステップの処理により抽出された周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データを予測する予測ステップとを含むことを特徴とする。
【００１５】
請求項５に記載の画像処理装置は、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成手段と、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量を推定する推定手段と、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出手段と、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力するクラス分類手段と、教師画像データおよび生徒画像データを用いて、クラス分類手段により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数を求める演算手段とを含むことを特徴とする。
【００１７】
生成手段には、教師データに、ノイズを付加することによって、生徒データを生成させることができる。
【００２３】
請求項７に記載の画像処理方法は、生成手段が、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成ステップと、推定手段が、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量を推定する推定ステップと、抽出手段が、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出ステップと、クラス分類手段が、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力するクラス分類ステップと、演算手段が、教師画像データおよび生徒画像データを用いて、クラス分類ステップの処理により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数を求める演算ステップとを含むことを特徴とする。
【００２４】
請求項８に記載の媒体がコンピュータに実行させるプログラムは、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成ステップと、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量を推定する推定ステップと、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出ステップと、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力するクラス分類ステップと、教師画像データおよび生徒画像データを用いて、クラス分類ステップの処理により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数を求める演算ステップとを含むことを特徴とする。
【００２５】
請求項９に記載の画像処理装置は、第１の装置が、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量を推定する第１の推定手段と、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む第１の周辺画素データであって、記憶部に一時的に記憶される第１の周辺画素データを抽出する第１の抽出手段と、第１の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第１の周辺画素データの各方向に対応する定常性の大小を決定し、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力する第１のクラス分類手段と、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、第１のクラス分類手段により生成されるクラスコード毎に予め学習されており、第１の抽出手段により抽出された第１の周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データを予測する予測手段とを含み、第２の装置が、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成手段と、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量を推定する第２の推定手段と、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む第２の周辺画素データであって、記憶部に一時的に記憶される第２の周辺画素データを抽出する第２の抽出手段と、第２の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第２の周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力する第２のクラス分類手段と、教師画像データおよび生徒画像データを用いて、第２のクラス分類手段により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数を求める演算手段とを含むことを特徴とする。
【００２６】
請求項１に記載の画像処理装置および請求項３に記載の画像処理方法、並びに請求項４に記載の媒体においては、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量が推定され、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データが抽出され、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小が決定され、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードが出力される。そして、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、生成されるクラスコード毎に予め学習されており、抽出された周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データが予測される。
【００２７】
請求項５に記載の画像処理装置および請求項７に記載の画像処理方法、並びに請求項８に記載の媒体においては、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データが生成され、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量が推定され、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データが抽出され、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係が判定されることにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードが出力され、教師画像データおよび生徒画像データを用いて、クラス分類手段により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数が求められる。
【００２８】
請求項９に記載の画像処理装置においては、第１の装置によって、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量が推定され、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む第１の周辺画素データであって、記憶部に一時的に記憶される第１の周辺画素データが抽出され、第１の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第１の周辺画素データの各方向に対応する定常性の大小が決定され、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードが出力される。そして、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、第１のクラス分類手段により生成されるクラスコード毎に予め学習されており、第１の抽出手段により抽出された第１の周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データが予測される。一方、第２の装置によって、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データが生成され、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量が推定され、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む第２の周辺画素データであって、記憶部に一時的に記憶される第２の周辺画素データが抽出され、第２の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第２の周辺画素データの各方向に対応する定常性の大小が決定され、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードが出力され、教師画像データおよび生徒画像データを用いて、生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数が求められる。
【００２９】
【発明の実施の形態】
図１は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示している。
【００３０】
この画像処理装置においては、そこに入力される入力画像（入力データ）に対して、クラス分類適応処理が施され、これにより、その入力画像から、そこに含まれるノイズが除去（低減）された画像（出力データ）（以下、適宜、原画像という）が予測されるようになっている。
【００３１】
ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００３２】
即ち、適応処理では、例えば、入力画像を構成する画素（以下、適宜、入力画素という）と、所定の予測係数との線形結合により、原画像の画素の予測値を求めることで、その入力画像に含まれるノイズを除去した画像が得られるようになっている。
【００３３】
具体的には、例えば、いま、原画像を教師データとするとともに、その原画像にノイズを重畳した入力画像を生徒データとして、原画像を構成する画素（以下、適宜、原画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの入力画素（入力画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００３４】
式（１）を一般化するために、予測係数ｗの集合でなる行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【００３５】
【数１】
で定義すると、次のような観測方程式が成立する。
【００３６】
なお、行列Ｘの成分ｘijは、ｉ行目の生徒データの集合（ｉ行目の教師データを予測するのに用いる生徒データの集合）の中のｊ番目の生徒データを表し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積を演算する予測係数を表す。また、行列Ｙ’の成分Ｅ[ｙi]は、ｉ行目の教師データｙiの予測値を表す。
【００３７】
そして、式（２）の観測方程式に最小自乗法を適用して、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる原画素の真の画素値ｙの集合でなる行列Ｙ、および原画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００３８】
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００３９】
この場合、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【００４０】
【数３】
を最小にすることで求めることができる。
【００４１】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００４２】
【数４】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００４３】
【数５】
式（４）および（５）より、式（６）が得られる。
【００４４】
【数６】
さらに、式（３）の残差方程式における生徒データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００４５】
【数７】
式（７）の正規方程式を構成する各式は、生徒データｘおよび教師データｙを、ある程度の数だけ用意することで、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００４６】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００４７】
なお、適応処理は、入力画像には含まれていない、原画像に含まれる成分が再現される点で、例えば、補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、原画像に含まれる成分を再現することができる。即ち、例えば、高S/Nの画像を得ることができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができ、従って、入力画像からノイズを除去した原画像を求める他、例えば、低解像度または標準解像度の画像を、高解像度の画像に変換するような場合にも用いることができる。
【００４８】
図１のノイズ除去装置は、以上のようなクラス分類適応処理により、入力画像から、そこに含まれるノイズを除去し（ノイズのない画像(原画像)を予測し）、そのノイズ除去後の画像を出力するようになっている。
【００４９】
即ち、図１のノイズ除去装置は、フレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、係数RAM(Random Access Memory)４５、および予測演算回路６から構成され、そこには、ノイズ除去の対象となる入力画像が入力されるようになっている。
【００５０】
フレームメモリ１は、ノイズ除去装置に入力される入力画像を、例えば、フレーム単位で一時記憶するようになされている。なお、本実施の形態では、フレームメモリ１は、複数フレームの入力画像を記憶することができるようになっている。
【００５１】
クラスタップ生成回路２は、クラス分類適応処理により、原画素の予測値を求めようとする入力画素、即ち、ノイズを除去しようとする入力画素（以下、適宜、注目画素という）の周辺にある画素を、フレームメモリ１に記憶された入力画像から抽出し、これを、注目画素のクラス分類に用いるクラスタップとして、クラス分類回路４に出力するようになっている。
【００５２】
即ち、クラスタップ生成回路２は、例えば、図２に示すように、
（Ａ）注目画素、
（Ｂ）その注目画素のフレームより時間的に先行する４フレーム（過去のフレーム）それぞれの、注目画素と空間的に同一位置にある４画素、
（Ｃ）注目画素のフレームより時間的に後行する４フレーム（未来のフレーム）
それぞれの、注目画素と空間的に同一位置にある４画素、
（Ｄ）注目画素のフレームと同一フレームの、注目画素の左にある４画素、
（Ｅ）注目画素のフレームと同一フレームの、注目画素の右にある４画素、
（Ｆ）注目画素のフレームと同一フレームの、注目画素の上にある４画素、
（Ｇ）注目画素のフレームと同一フレームの、注目画素の下にある４画素
の合計２５画素を、フレームメモリ１に記憶された入力画像から抽出し、これを、注目画素についてのクラスタップとして、クラス分類回路４に出力するようになっている。
【００５３】
予測タップ生成回路３は、予測演算回路６において注目画素に対する原画素の予測値を求めるのに用いる入力画素を、フレームメモリ１に記憶された入力画像から抽出し、これを予測タップとして、予測演算回路６に供給するようになされている。即ち、予測タップ生成回路３は、フレームメモリ１に記憶された入力画像から、例えば、図２に示したように、クラスタップ生成回路２で抽出されるクラスタップと同一の入力画素を、予測タップとして抽出し、予測演算回路６に供給するようになっている。
【００５４】
なお、ここでは、説明を簡単にするため、クラスタップと予測タップとを、同一の入力画素から構成するようにしたが、クラスタップと予測タップとは、同一の入力画素から構成する必要はなく、異なる入力画素から構成することができる。
【００５５】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップの定常性に基づいて、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数RAM５に対し、アドレスとして与えるようになされている。即ち、クラス分類回路４には、クラスタップ生成回路２からクラスタップが供給される他、ノイズ量推定回路７から、注目画素に含まれるノイズ量の推定値（推定ノイズ量）も供給されるようになっており、クラス分類回路４は、クラスタップを構成する入力画素の画素値の定常性を、推定ノイズ量を用いて判定し、その定常性に対応するクラスコードを、係数RAM５のアドレスとして出力するようになされている。
【００５６】
係数RAM５は、後述する学習処理を行うことにより得られるクラスごとの予測係数を記憶しており、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給するようになっている。
【００５７】
予測演算回路６は、係数RAM５から供給される、注目画素のクラスについての予測係数ｗ，ｗ2，・・・と、予測タップ生成回路３からの予測タップｘ1，ｘ2，・・・とを用いて、式（１）に示した演算を行うことにより、注目画素ｘに対する原画素ｙの予測値Ｅ［ｙ］を求め、注目画素ｘからノイズを除去した画素の画素値として出力するようになっている。
【００５８】
ノイズ量推定回路７は、フレームメモリ１に記憶された入力画像に基づいて、注目画素に含まれるノイズ量を推定し、その結果得られる推定ノイズ量を、クラス分類回路４に供給するようになっている。
【００５９】
次に、図３のフローチャートを参照して、図１のノイズ除去装置において行われるノイズ除去処理について説明する。
【００６０】
フレームメモリ１には、ノイズ除去処理の対象としての入力画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給される入力画像が順次記憶されていく。なお、本実施の形態では、図２で説明したクラスタップおよび予測タップを構成する必要があることから、フレームメモリ１は、少なくとも９フレーム分の入力画像（注目画素のフレームと、そのフレームの前後それぞれ４フレームとの合計９フレーム）を記憶することのできる容量を有している。
【００６１】
そして、ステップＳ１において、ノイズ量推定回路７は、フレームメモリ４１に記憶された入力画像を用いて、いま処理の対象となっているフレーム（注目画素があるフレーム）（以下、適宜、注目フレームという）に含まれるノイズ量を推定し、その結果得られる推定ノイズ量を、クラス分類回路４に出力する。
【００６２】
その後、ステップＳ２において、クラスタップ生成回路２または予測タップ生成回路３は、適応処理により予測値を求めようとする注目フレームの入力画素を注目画素として、その周辺にある入力画素を、フレームメモリ１から読み出し、図２に示したクラスタップまたは予測タップをそれぞれ構成する。このクラスタップまたは予測タップは、クラス分類回路４または予測演算回路６にそれぞれ供給される。
【００６３】
クラス分類回路４は、クラスタップ生成回路２からクラスタップを受信すると、ステップＳ３において、そのクラスタップの定常性を、そのクラスタップの分散と、ノイズ量推定回路７からの推定ノイズ量とから判定し、その定常性に基づいて、注目画素のクラスを求める。このクラスに対応するクラスコードは、係数RAM５に対し、アドレスとして与えられ、係数RAM５は、ステップＳ４において、クラス分類回路４からのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給する。
【００６４】
予測演算回路６では、ステップＳ５において、予測タップ生成回路３からの予測タップと、係数RAM５からの予測係数とを用いて、式（１）に示した演算（線形一次予測）が行われることにより、注目画素ｘに対する原画素（注目画素ｘから、完全にノイズが除去された状態の画素）ｙの予測値Ｅ［ｙ］が求められ、ステップＳ６に進む。ステップＳ６では、予測係数演算回路６が、ステップＳ５で求めた注目画素ｘに対する原画素ｙの予測値Ｅ［ｙ］を、注目画素ｘからノイズを除去した画素の画素値として出力し、ステップＳ７に進む。
【００６５】
ステップＳ７では、フレームメモリ１に記憶された注目フレームを構成する入力画素すべてを、注目画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ２に戻り、まだ注目画素としていない入力画素を、新たに注目画素として、以下、同様の処理が繰り返される。
【００６６】
また、ステップＳ７において、注目フレームを構成する入力画素すべてを、注目画素として処理を行ったと判定された場合、ステップＳ８に進み、フレームメモリ１に、次に処理すべきフレーム（いま注目フレームとなっているフレームの次のフレーム）が記憶されているかどうかが判定される。ステップＳ８において、フレームメモリ１に、次に処理すべきフレームが記憶されていると判定された場合、ステップＳ１に戻り、そのフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【００６７】
一方、ステップＳ８において、フレームメモリ１に、次に処理すべきフレームが記憶されていないと判定された場合、ノイズ除去処理を終了する。
【００６８】
次に、図４は、図１のノイズ量推定回路７の構成例を示している。
【００６９】
いま、第ｔフレームにおいて、ある空間的な位置にある入力画素をｘ（ｔ）と表すと、図１のフレームメモリ１に記憶された入力画素ｘ（ｔ）は、遅延回路１１、分散計算部１９、動きベクトル検出回路２９に入力されるようになっている。
【００７０】
遅延回路１１は、そこに入力される入力画素ｘ（ｔ）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−１）として、遅延回路１２、分散計算部１９、および動きベクトル検出回路２９に供給するようになっている。遅延回路１２は、遅延回路１１からの入力画素ｘ（ｔ−１）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−２）として、遅延回路１３および分散計算部１９に供給するようになっている。遅延回路１３は、遅延回路１２からの入力画素ｘ（ｔ−２）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−３）として、遅延回路１４および分散計算部１９に供給するようになっている。遅延回路１４は、遅延回路１３からの入力画素ｘ（ｔ−３）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−４）として、分散計算部１９に供給するようになっている。
【００７１】
遅延回路１５乃至１８それぞれは、動きベクトル検出回路２９が出力する動きベクトルについて、遅延回路１１乃至１４における場合と同様の遅延処理を行うようになっている。従って、例えば、いま、入力画素ｘ（ｔ）の動きベクトルを、ｖ（ｔ）と表すと、遅延回路１５乃至１８は、動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）を、それぞれ出力する。この動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）は、静止判定部２３乃至２６にそれぞれ供給されるようになっている。
【００７２】
分散計算部１９は、そこに供給される入力画素ｘ（ｔ）乃至ｘ（ｔ−４）、即ち、注目フレームを含む過去５フレームにおいて、空間的に同一位置にある入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散を演算し、分散積算メモリ２０に供給するようになっている。分散積算メモリ２０は、メモリコントローラ２８の制御の下、分散計算部１９から供給される分散の積算を行うようになっている。分散値フレーム平均計算部２１は、分散積算メモリ２０において積算された分散の平均値を演算し（分散の積算値を、その積算された分散の数で除算し）、それを、入力画素ｘ（ｔ）のフレーム（注目フレーム）の各入力画素に含まれるノイズ量の推定値（推定ノイズ量）として出力するようになっている。
【００７３】
静止判定部２２は、動きベクトル検出回路２９から供給される動きベクトルｖ（ｔ）に基づいて、入力画素ｘ（ｔ）が静止している部分のものであるかどうかを判定し、その判定結果を、連続静止位置検出部２７に供給するようになっている。静止判定部２２乃至２６も、静止判定部２２と同様に、遅延回路１５乃至１８から供給される動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）に基づいて、入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）が静止している部分のものであるかどうかを、それぞれ判定し、その判定結果を、連続静止位置検出部２７に供給するようになっている。
【００７４】
連続静止位置検出部２７は、静止判定部２２乃至２６からの判定結果に基づいて、連続したフレームにおいて、静止している部分の画素の位置（空間的位置）を検出するようになっている。即ち、連続静止位置検出部２７は、静止判定部２２乃至２６からの判定結果が、いずれも静止しているものとなっている位置の入力画素ｘ（ｔ）を検出し、その位置を、メモリコントローラ２８に供給するようになっている。
【００７５】
メモリコントローラ２８は、分散計算部１９が出力する分散のうち、連続性画素検出部２７から供給された、静止している位置にある画素から求められたもののみを積算するように、分散積算メモリ２０を制御するようになっている。さらに、メモリコントローラ２８には、新たなフレームの入力画素の供給が開始されることを示すフレームリセット信号が供給されるようになっており、メモリコントローラ２８は、このフレームリセット信号を受信すると、分散値フレーム平均計算部２１に、分散積算メモリ２０に記憶された分散の積算値の平均値を計算させるとともに、分散積算メモリ２０の記憶値を０にリセットするようになっている。
【００７６】
動きベクトル検出回路２９は、入力画素ｘ（ｔ）のフレームと、遅延回路１１から供給される、そのフレームの１フレーム前のフレームとから、入力画素ｘ（ｔ）の動きベクトルｖ（ｔ）を検出し、遅延回路１５および静止判定部２２に供給するようになっている。
【００７７】
以上のように構成されるノイズ量推定回路７では、いま処理（ノイズ除去処理）の対象となっているフレーム（注目フレーム）を構成する入力画素のうちの、静止している部分だけを用いて、その注目フレームを構成する各入力画素のノイズ量を推定するノイズ量推定処理が行われるようになっている。
【００７８】
即ち、ノイズ量推定回路７では、注目フレームを構成する所定の入力画素を、処理対象画素ｘ（ｔ）として、その処理対象画素ｘ（ｔ）と、それと同一位置にある、過去４フレームの入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）との５画素を用いて、それらの分散が計算されるとともに、その５画素ｘ（ｔ）乃至ｘ（ｔ−４）それぞれが、静止している部分の画素（静止画素）であるかどうかの静止判定が行われる。
【００７９】
具体的には、遅延回路１１および分散計算部１９には、注目フレームを構成する入力画素ｘ（ｔ）が、順次供給され、遅延回路１１乃至１４それぞれでは、そこに入力される入力画素が、１フレーム分の時間だけ遅延され、分散計算部１９に供給される。即ち、これにより、分散計算部１９には、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）が供給される。分散計算部１９では、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散が求められ、分散積算メモリ２０に供給される。
【００８０】
一方、動きベクトル検出回路２９には、注目フレームを構成する入力画素と、その１フレーム前のフレームの入力画素が供給され、それらの入力画素を用いて、注目フレームの処理対象画素ｘ（ｔ）の動きベクトルｖ（ｔ）が検出される。この動きベクトルｖ（ｔ）は、遅延回路１５および静止判定部２２に供給される。
【００８１】
遅延回路１５乃至１８それぞれでは、そこに入力される動きベクトルが、１フレーム分の時間だけ遅延され、静止判定部２３乃至２６に供給される。従って、静止判定部２２乃至２６には、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の動きベクトルｖ（ｔ）乃至ｖ（ｔ−４）がそれぞれ供給される。そして、静止判定部２２乃至２６では、そこに入力される動きベクトルｖ（ｔ）乃至ｖ（ｔ−４）に基づいて、入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）が静止している部分のものであるかどうかが、それぞれ判定され、その判定結果が、連続静止位置検出部２７に供給される。
【００８２】
連続静止位置検出部２７では、静止判定部２２乃至２６それぞれにおける静止判定結果に基づき、処理対象画素ｘ（ｔ）の位置が、連続したフレーム（ここでは、第ｔ−４フレームから第ｔフレームまで）において、静止している部分となっているかどうかが検出される。この検出結果は、メモリコントローラ２８に供給される。
【００８３】
メモリコントローラ２８は、連続静止位置検出部２７から、処理対象画素ｘ（ｔ）の位置が、連続したフレームで、静止している部分となっていない旨の検出結果を受信した場合、即ち、処理対象画素ｘ（ｔ）と同一位置にあるｘ（ｔ）乃至ｘ（ｔ−４）のうちのいずれかが動きを有するものである場合、分散積算メモリ２０に、分散計算部１９からの分散を破棄するように指令する。従って、この場合、分散積算メモリ２０では、分散計算部１９からの分散、即ち、動きを有する画素から求められた分散は積算されずに破棄される。
【００８４】
一方、メモリコントローラ２８は、連続静止位置検出部２７から、処理対象画素ｘ（ｔ）の位置が、連続したフレームで、静止している部分となっている旨の検出結果を受信した場合、即ち、処理対象画素ｘ（ｔ）と同一位置にあるｘ（ｔ）乃至ｘ（ｔ−４）のうちのいずれも動きを有しないものである場合、分散積算メモリ２０に、分散計算部１９からの分散を積算するように指令する。従って、この場合、分散積算メモリ２０では、分散計算部１９からの分散、即ち、静止している画素のみから求められた分散が、既にそこに記憶されている分散に積算され、その積算値が、新たに記憶される。
【００８５】
以上の処理が、注目フレームのすべての入力画素を、処理対象画素として行われ、その後、分散値フレーム平均計算部２１において、注目フレームを構成する各入力画素に含まれるノイズ量が求められる（推定される）。
【００８６】
即ち、注目フレームのすべての入力画素についての処理が終了すると、メモリコントローラ２８には、フレームリセット信号が入力される。メモリコントローラ２８は、フレームリセット信号を受信すると、分散値フレーム平均計算部２１に、分散積算メモリ２０に記憶された分散の積算値の平均値を計算させるとともに、分散積算メモリ２０の記憶値を０にリセットする。
【００８７】
分散値フレーム平均計算部２１では、メモリコントローラ２８の制御にしたがい、分散積算メモリ２０に記憶された分散の積算値の平均値が計算される。分散積算メモリ２０では、上述したことから、静止している画素から求められた分散のみが積算され、その積算値が記憶されており、従って、分散値フレーム平均計算部２１では、そのような静止している画素（ここでは、５フレーム連続して静止している画素）から求められた分散の平均値が求められる。この平均値は、注目フレーム（第ｔフレーム）の各入力画素に含まれるノイズ量の推定値（推定ノイズ量）として出力される。
【００８８】
以下、次のフレームを注目フレームとして、同様の処理が繰り返される。
【００８９】
以上のように、ノイズ量推定回路７では、注目フレームから、４フレーム前までの間静止し続けている空間的に同一位置の５つ画素が検出され、注目フレームにおける、そのような５画素の分散の平均値が、注目フレームの各入力画素に含まれるノイズ量であると推定される。従って、この場合、ノイズ量の推定に、動きのある画素が用いられないため、画像の動きの影響が、推定されたノイズ量に反映されることを防止することができる。即ち、画像の動きの影響がほとんどないノイズ量（真のノイズ量により近いノイズ量）を推定することができる。
【００９０】
さらに、従来においては、動画について、時間方向に並ぶ、空間的に同一位置にある画素について平均をとることにより、そこに含まれるノイズを除去する方法が知られているが、この場合、画素単位での動きを判定し、動きのない画素のみを平均をとる対象とする必要がある。従って、動き判定を誤ると、即ち、動きのある画素を、動きのないものと誤ると、動きのある画素が、平均をとる対象に含められ、その平均値が、そのままノイズ除去結果とされるから、動き判定の誤りが、ノイズ除去結果に大きく影響し、最悪の場合には、処理が破綻することになる（却って、画像を破壊することになる）。
【００９１】
これに対して、図１のノイズ除去装置では、ノイズ量推定回路７において、ある入力画素が静止しているかどうかについては、その入力画素について検出された動きベクトルに基づいて判定され、静止していると判定された、同一位置の５画素の分散の平均をとることによって、推定ノイズ量が求められる。従って、仮に、空間的に同一位置にある時間方向の５画素のうちのいずれかが動きを有する場合に、その入力画素が動きを有していないと判定され、分散積算メモリ２０において、その５画素の分散が積算されたとしても、そのことが、推定ノイズ量に与える影響は少ない。そして、そのような推定ノイズ量に基づいて、注目画素のクラス分類が行われた後に、その注目画素について適応処理を行うことにより、注目画素からのノイズ除去結果が求められるから、動き判定の誤りが、ノイズ除去結果に与える影響は僅かである（上述の従来の方法と比較すれば、ほとんどないといって良い）。
【００９２】
なお、上述の場合においては、注目フレームから、４フレーム前までの間静止し続けている同一位置の５つ画素から分散を求めるようにしたが、分散を求める対象とする画素は、注目フレームから４フレーム前までに亘る５画素に限定されるものではない。
【００９３】
また、図４に示したノイズ量推定回路７では、各フレームごとに、一定量のノイズが含まれるものとして、各フレームを構成する入力画素について、同一の推定ノイズ量を求めるようにしたが、可能であれば、各入力画素ごとに、推定ノイズ量を求めるようにしても良い。
【００９４】
次に、図５は、図１のクラス分類回路４の構成例を示している。
【００９５】
クラスタップ生成回路２が出力する、注目画素についてのクラスタップは、分散計算部３１乃至３６に供給されるようになっており、また、ノイズ量推定回路７が出力する、注目画素についての推定ノイズ量は、閾値処理部３７乃至４２に供給されるようになっている。
【００９６】
分散計算部３１乃至３６それぞれは、注目画素についてのクラスタップを構成する入力画素のうち、所定の方向に位置するもののみを受信し、分散を計算する。
【００９７】
即ち、図２に示したクラスタップにおいて、
注目画素（Ａ）と、注目画素のフレームより時間的に先行する４フレームそれぞれの、注目画素と空間的に同一位置にある４画素（Ｂ）との、注目画素を始点として時間的に先行する方向（−ｔ方向）にある５画素を、−ｔ方向のタップと、
注目画素（Ａ）と、注目画素のフレームより時間的に後行する４フレームそれぞれの、注目画素と空間的に同一位置にある４画素（Ｃ）との、注目画素を始点として時間的に後行する方向（＋ｔ方向）にある５画素を、＋ｔ方向のタップと、
注目画素（Ａ）と、注目画素のフレームと同一フレームの、注目画素の左にある４画素（Ｄ）との、注目画素を始点として左方向（−ｈ方向）にある５画素を、−ｈ方向のタップと、
注目画素（Ａ）と、注目画素のフレームと同一フレームの、注目画素の右にある４画素（Ｅ）との、注目画素を始点として右方向（＋ｈ方向）のある５画素を、＋ｈ方向のタップと、
注目画素（Ａ）と、注目画素のフレームと同一フレームの、注目画素の上にある４画素（Ｆ）との、注目画素を始点として上方向（＋ｖ方向）にある５画素を、＋ｖ方向のタップと、
注目画素（Ａ）と、注目画素のフレームと同一フレームの、注目画素の下にある４画素（Ｇ）との、注目画素を始点として下方向（−ｖ方向）にある５画素を、−ｖ方向のタップと
それぞれいうものとすると、分散計算部３１乃至３６では、それぞれ、＋ｔ方向のタップ、−ｔ方向のタップ、＋ｈ方向のタップ、−ｈ方向のタップ、＋ｖ方向のタップ、−ｖ方向のタップが受信され、それぞれについて分散が計算される。この＋ｔ方向のタップ、−ｔ方向のタップ、＋ｈ方向のタップ、−ｈ方向のタップ、＋ｖ方向のタップ、−ｖ方向のタップについての分散は、閾値処理部３７乃至４２に、それぞれ供給される。
【００９８】
閾値処理部３７では、＋ｔ方向のタップについての分散と、注目画素についての推定ノイズ量との大小関係が判定され、その判定結果に対応する１ビットのコードが、シフタ４８に出力される。即ち、＋ｔ方向のタップについての分散が、注目画素についての推定ノイズ量より十分大きく、従って、注目画素を始点とする、時間的に先行する方向（−ｔ方向）における入力画素（の画素値）の定常性が小さい場合、閾値処理部３７は、その旨を表すコードとして、０または１のうちの、例えば１を出力する。
【００９９】
また、＋ｔ方向のタップについての分散が、注目画素についての推定ノイズ量より十分大きくなく、従って、注目画素を始点とする、時間的に先行する方向（−ｔ方向）における入力画素の定常性が大きい場合、閾値処理部３７は、その旨を表すコードとして、０または１のうちの、例えば０を出力する。
【０１００】
閾値処理部３８乃至４２においても、閾値処理部３７における場合と同様に、−ｔ方向のタップ、＋ｈ方向のタップ、−ｈ方向のタップ、＋ｖ方向のタップ、−ｖ方向のタップについての分散それぞれと、注目画素についての推定ノイズ量との大小関係が判定され、その判定結果に対応する１ビットのコードが、演算器４３乃至４７にそれぞれ出力される。
【０１０１】
シフタ４８では、閾値処理部３７からの１ビットのコードが、１ビットだけ右シフト（LSB(Least Significant Bit)からMSB(Most Significant Bit)の方向へのシフト）され、演算器４３に出力される。演算器４３では、シフタ４８の出力に、閾値処理部４３が出力する１ビットのコードが加算され、シフタ４９に供給される。シフタ４９では、演算器４３の出力が、１ビットだけ右シフトされて出力される。
【０１０２】
演算器４４乃至４７には、閾値処理部３９乃至４２の出力それぞれと、シフタ４９乃至５２の出力それぞれとが供給されるようになっており、また、シフタ５０乃至５２には、演算器４４乃至４６の出力がそれぞれ供給されるようになっている。そして、演算器４４乃至４７では、演算器４３における場合と同様の加算が行われるとともに、シフタ５０乃至５２では、シフタ４８や４９における場合と同様の１ビット右シフトが行われ、これにより、演算器４７からは、＋ｔ方向、−ｔ方向、＋ｈ方向、−ｈ方向、＋ｖ方向、−ｖ方向それぞれの定常性を表すコードが、MSBから順次配置された６ビットのコードが出力される。この６ビットのコードは、注目画素のクラスコード（クラス分類結果）として、図１の係数RAM５に供給される。
【０１０３】
以上のようにして、クラス分類回路４では、クラスタップの各方向の定常性に基づいて、注目画素がクラス分類され、そのクラス分類結果としてのクラスコードが出力される。従って、このクラスコードによれば、注目画素は、その定常性によって分類される。
【０１０４】
次に、図６は、図１の係数RAM５に記憶させるクラスごとの予測係数を求める学習装置の一実施の形態の構成例を示している。
【０１０５】
フレームメモリ６１には、教師データｙとなる原画像が、例えば、フレーム単位で供給されるようになっており、フレームメモリ６１は、その原画像を、一時記憶するようになっている。ノイズ付加回路６２は、フレームメモリ６１に記憶された、予測係数の学習において教師データｙとなる原画像を読み出し、その原画像を構成する原画素に対して、ノイズを重畳することで、生徒データとしての、ノイズを含んだ画像（以下、適宜、ノイズ画像という）を生成するようになっている。このノイズ画像は、フレームメモリ６３に供給されるようになっている。
【０１０６】
フレームメモリ６３は、ノイズ付加回路６２からのノイズ画像を一時記憶するようになっている。
【０１０７】
なお、フレームメモリ６１および６３は、図１のフレームメモリ１と同様に構成されている。
【０１０８】
クラスタップ生成回路６４または予測タップ生成回路６５は、フレームメモリ６３に記憶されたノイズ画像を構成する画素（以下、適宜、ノイズ画素という）を用い、図１のクラスタップ生成回路２または予測タップ生成回路３と同様にして、注目画素について、クラスタップまたは予測タップを構成し、クラス分類回路６６または加算回路６７にそれぞれ供給するようになっている。
【０１０９】
クラス分類回路６６は、図５に示したクラス分類回路４と同様に構成され、ノイズ量推定回路７２からの推定ノイズ量を用いて、クラスタップ生成回路６４からのクラスタップの定常性に基づいて、注目画素をクラス分類し、対応するクラスコードを、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えるようになっている。
【０１１０】
加算回路６７は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、予測タップメモリ６８から読み出し、その記憶値と、予測タップ生成回路６５からの予測タップを構成するノイズ画素とを加算することで、式（７）の正規方程式の左辺における、予測係数ｗの乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【０１１１】
予測タップメモリ６８は、クラス分類回路６６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路６７に供給するとともに、そのアドレスに、加算回路６７の出力値を記憶するようになっている。
【０１１２】
加算回路６９は、フレームメモリ６１に記憶された原画像を構成する原画素のうちの、注目画素ｘに対するものを、教師データｙとして読み出すとともに、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、教師データメモリ７０から読み出し、その記憶値と、フレームメモリ６１から読み出した教師データ（原画素）ｙとを加算することで、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【０１１３】
なお、正確には、加算回路６７および６９では、式（７）における乗算も行われる。また、式（７）の右辺には、教師データｙと、ノイズ画素ｘとの乗算が含まれ、従って、加算回路６９で行われる乗算には、教師データｙの他に、その教師データｙに対するノイズ画素ｘが必要となるが、これは、加算回路６９において、フレームメモリ６３から読み出される。
【０１１４】
教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給するとともに、そのアドレスに、加算回路６９の出力値を記憶するようになっている。
【０１１５】
演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、各クラスコードごとに、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求めるようになっている。即ち、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれの、各クラスコードに対応するアドレスに記憶されている記憶値から、式（７）の正規方程式をたて、これを解くことにより、クラスごとの予測係数を求めるようになっている。
【０１１６】
ノイズ量推定回路７２は、図４に示したノイズ量推定回路７と同様に構成され、フレームメモリ６１に記憶されたノイズ画像の各ノイズ画素に含まれるノイズ量を推定し、その結果得られる推定ノイズ量を、クラスタップ生成回路６４に供給するようになっている。
【０１１７】
次に、図７のフローチャートを参照して、図６の学習装置において行われる、クラスごとの予測係数を求める学習処理について説明する。
【０１１８】
学習装置には、教師データとしての原画像（動画像）が、フレーム単位で供給されるようになっており、その原画像は、フレームメモリ６１において順次記憶されていく。
【０１１９】
そして、ステップＳ１１において、ノイズ付加回路６２は、フレームメモリ６１に記憶された原画像を読み出し、ノイズを付加することで、ノイズ画像を生成する。このノイズ画像は、フレームメモリ６３に供給されて記憶される。
【０１２０】
その後、ノイズ量推定回路７２は、ステップＳ１２において、フレームメモリ６３に記憶された所定のフレームのノイズ画像を、注目フレームとし、その注目フレームのノイズ量を、図４で説明したノイズ量推定回路７における場合と同様にして推定する。そして、その結果得られる推定ノイズ量は、クラスタップ生成回路６４に供給される。
【０１２１】
ここで、注目フレームに含まれるノイズは、ノイズ付加回路６２で付加されたものであるから、学習装置では、正確な値を得ることができ、そのような正確な値を、クラスタップ生成回路６４に供給するようにすることもできるが、図１のノイズ除去装置では、ノイズ量推定回路７においてノイズ量が推定されるため、そのような正確な値を得ることができるとは限らない。そこで、学習装置では、ノイズ除去装置が使用される環境にできるだけ一致した環境において、予測係数を求めるために、注目フレームに含まれるノイズを、ノイズ量推定回路７と同様に構成されるノイズ量推定回路７２において推定するようにしている。
【０１２２】
ステップＳ１２において、注目フレームの各ノイズ画素のノイズ量が推定されると、ステップＳ１３において、クラスタップ生成回路６４または予測タップ生成回路６５は、注目フレームの、あるノイズ画素を、注目画素として、その周辺にあるノイズ画素を、フレームメモリ６３から読み出し、図２に示したクラスタップまたは予測タップをそれぞれ構成する。このクラスタップまたは予測タップは、クラス分類回路６６または加算回路６７にそれぞれ供給される。
【０１２３】
クラス分類回路６６は、ステップＳ１４において、図５で説明したクラス分類回路４における場合と同様に、ノイズ量推定回路７２からの推定ノイズ量を用い、クラスタップ生成回路６４からのクラスタップの定常性に基づいて、注目画素がクラス分類され、そのクラス分類結果としてのクラスコードを、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与える。
【０１２４】
そして、ステップＳ１５に進み、予測タップまたは教師データそれぞれの足し込みが行われる。
【０１２５】
即ち、ステップＳ１５において、予測タップメモリ６８は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６７に供給する。加算回路６７は、予測タップメモリ６８から供給される記憶値と、予測タップ生成回路６５から供給されるの予測タップを構成するノイズ画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、予測タップメモリ６８のアドレスに、上書きする形で記憶させる。
【０１２６】
さらに、ステップＳ１５では、教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給する。加算回路６９は、フレームメモリ６１に記憶された原画像を構成する原画素のうちの、注目画素に対応する原画素を、教師データとして読み出すとともに、フレームメモリ６３に記憶されたノイズ画像を構成するノイズ画素のうちの、教師データに対応するものを読み出し、その読み出した画素と、教師データメモリ７０から供給された記憶値とを用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、教師データメモリ７０のアドレスに、上書きする形で記憶させる。
【０１２７】
その後、ステップＳ１６に進み、フレームメモリ６３に記憶された注目フレームを構成するノイズ画素すべてを、注目画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ１３に戻り、まだ注目画素としていないノイズ画素を、新たに注目画素として、以下、同様の処理が繰り返される。
【０１２８】
一方、ステップＳ１６において、注目フレームを構成するノイズ画素すべてを、注目画素として処理を行ったと判定された場合、ステップＳ１７に進み、次に処理すべき原画像が、フレームメモリ６１に記憶されているかどうかが判定される。ステップＳ１７において、次に処理すべき原画像が、フレームメモリ６１に記憶されていると判定された場合、ステップＳ１１に戻り、その、次に処理すべき原画像を対象に、ステップＳ１１以下の処理が繰り返される。
【０１２９】
また、ステップＳ１７において、次に処理すべき原画像が、フレームメモリ６１に記憶されていないと判定された場合、即ち、あらかじめ学習用に用意しておいたすべての原画像について処理を行った場合、ステップＳ１８に進み、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求める。さらに、演算回路７１は、ステップＳ１９において、その求めたクラスごとの予測係数を出力して、処理を終了する。
【０１３０】
なお、以上のような予測係数の学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトの予測係数を出力するようにすること等が可能である。
【０１３１】
以上のように、注目画素が、それについてのクラスタップの分散に基づいてクラス分類され、クラスごとの予測係数が求められるため、注目画素周辺の定常性ごとに、その定常性を有する画素のノイズを除去するのに適した予測係数が得られ、その結果、そのような予測係数を用いて、クラス分類適応処理を行うことにより、特に、動画像等について、効果的にノイズを除去することが可能となる。
【０１３２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしてのノイズ除去装置や学習装置に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０１３３】
そこで、図８を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０１３４】
プログラムは、図８（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２に予めインストールした状態でユーザに提供することができる。
【０１３５】
あるいはまた、プログラムは、図８（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０１３６】
さらに、プログラムは、図８（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１２３に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１１１を介して、コンピュータ１２３に有線で転送し、コンピュータ１２３において、内蔵するハードディスクなどに格納させるようにすることができる。
【０１３７】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０１３８】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１３９】
なお、クラス分類適用処理は、教師データと生徒データとを用いて、クラスごとに予測係数を求める学習を行い、その予測係数と入力データとを用いた線形一次予測により、入力データから、その入力データに対する教師データの予測値を求めるものであるから、学習に用いる教師データおよび生徒データによって、所望の予測値を求めるための予測係数を得ることが可能となる。即ち、例えば、教師データとして、高解像度の画像を用いるとともに、生徒データとして、その画像の解像度を落とした画像を用いることで、解像度を向上させる予測係数を得ることができる。また、例えば、教師データとして、エッジが強調された画像を用いるとともに、生徒データとして、そのエッジをぼやかした画像を用いることで、エッジを強調させる予測係数を得ることができる。従って、本発明は、上述したように、入力画像からノイズを除去する場合の他、入力画像の解像度を向上させる場合や、エッジを強調させる場合、波形等化を行う場合その他に適用可能である。
【０１４０】
また、本実施の形態では、動画像を、クラス分類適用処理の対象としたが、動画像の他、静止画や、さらには、音声、記録媒体から再生された信号（RF(Radio
Frequency)信号）等を対象とすることも可能である。
【０１４１】
さらに、本実施の形態では、クラスタップの各方向についての分散を、推定ノイズ量と比較し、その比較結果に基づいて、注目画素をクラス分類するようにしたが、注目画素のクラス分類は、クラスタップの各方向についての分散を、それらの平均値と比較し、その比較結果に基づいて行ったり、あるいは、クラスタップの各方向についての分散を、ADRC(Adaptive Dynamic Range Coding)処理し、そのADRC結果に基づいて行うようにすることも可能である。ここで、ADRC処理においては、例えば、データの、ある集合について、その集合を構成するデータの最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、集合を構成するデータがKビットに再量子化される。即ち、集合内の各データから、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。
【０１４２】
なお、上述のように、クラスタップについての分散を、推定ノイズ量と比較せずに、注目画素のクラス分類を行う場合においては、クラスタップについての分散には、そのクラスタップを構成する画素そのものの定常性の成分の他、ノイズの成分も含まれることとなるから、ノイズの影響を多少受けたクラス分類が行われることになる。
【０１４３】
さらに、本実施の形態では、ノイズ除去装置と、そのノイズ除去装置で用いるクラスごとの予測係数を学習する学習装置とを、別々の装置として構成するようにしたが、ノイズ除去装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、ノイズ除去装置で用いる予測係数を、リアルタイムで更新させるようにすることが可能である。
【０１４４】
また、本実施の形態では、係数RAM５に、あらかじめクラスごとの予測係数を記憶させておくようにしたが、この予測係数は、例えば、入力画像とともに、ノイズ除去装置に供給するようにすることも可能である。
【０１４５】
さらに、クラスタップを構成する画素は、図２に示したような位置関係の画素に限定されるものではない。
【０１４６】
また、本実施の形態では、クラスタップについて、６つの方向（＋ｔ方向、−ｔ方向、＋ｈ方向、−ｈ方向、＋ｖ方向、−ｖ方向）の分散を求めて、クラス分類を行うようにしたが、その他、例えば、斜めの方向の分散を求めて、クラス分類に用いることも可能である。さらに、クラス分類は、ある方向に延びる直線上にある画素ではなく、曲線上にある画素の分散を求めて行うことも可能である。
【０１４７】
さらに、本実施の形態では、適応処理において、線形一次式を用いるようにしたが、適応処理は、２次以上の次数の式を用いて行うことも可能である。
【０１４８】
【発明の効果】
請求項１に記載の画像処理装置および請求項３に記載の画像処理方法、並びに請求項４に記載の媒体によれば、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量が推定され、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データが抽出され、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小が決定され、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードが出力される。そして、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、生成されるクラスコード毎に予め学習されており、抽出された周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データが予測される。従って、例えば、入力データから、効果的にノイズを除去することが可能となる。
【０１４９】
請求項５に記載の画像処理装置および請求項７に記載の画像処理方法、並びに請求項８に記載の媒体によれば、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データが生成され、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量が推定され、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データが抽出され、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係が判定されることにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードが出力され、教師画像データおよび生徒画像データを用いて、クラス分類手段により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数が求められる。従って、例えば、データから、効果的にノイズを除去することのできる予測係数を得ることが可能となる。
【０１５０】
請求項９に記載の画像処理装置によれば、第１の装置によって、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量が推定され、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む第１の周辺画素データであって、記憶部に一時的に記憶される第１の周辺画素データが抽出され、第１の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第１の周辺画素データの各方向に対応する定常性の大小が決定され、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードが出力される。そして、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、第１のクラス分類手段により生成されるクラスコード毎に予め学習されており、第１の抽出手段により抽出された第１の周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データが予測される。一方、第２の装置によって、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データが生成され、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量が推定され、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む第２の周辺画素データであって、記憶部に一時的に記憶される第２の周辺画素データが抽出され、第２の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第２の周辺画素データの各方向に対応する定常性の大小が決定され、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードが出力され、教師画像データおよび生徒画像データを用いて、生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数が求められる。従って、例えば、データから、効果的にノイズを除去することのできる予測係数を得ることが可能となるとともに、その予測係数を用いて、データから、効果的にノイズを除去することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
【図２】クラスタップの構成例を示す図である。
【図３】図１のノイズ除去装置によるノイズ除去処理を説明するためのフローチャートである。
【図４】図１のノイズ量推定回路７の構成例を示すブロック図である。
【図５】図１のクラス分類回路４の構成例を示すブロック図である。
【図６】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図７】図６の学習装置による学習処理を説明するためのフローチャートである。
【図８】本発明を適用した媒体を説明するための図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路， ３ 予測タップ生成回路， ４ クラス分類回路， ５ 係数RAM， ６ 予測演算回路， ７ ノイズ量推定回路， １１乃至１８ 遅延回路， １９ 分散計算部， ２０ 分散積算メモリ， ２１ 分散値フレーム平均計算部， ２２乃至２６ 静止判定部， ２７ 連続静止位置検出部， ２８ メモリコントローラ， ２９ 動きベクトル検出回路， ３１乃至３６ 分散計算部， ３７乃至４２ 閾値処理部，４３乃至４７ 演算器， ４８乃至５２ シフタ， ６１ フレームメモリ，６２ ノイズ付加回路， ６３ フレームメモリ， ６４ クラスタップ生成回路， ６５ 予測タップ生成回路， ６６ クラス分類回路， ６７ 加算回路， ６８ 予測タップメモリ， ６９ 加算回路， ７０ 教師データメモリ， ７１ 演算回路， ７２ ノイズ量推定回路， １０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク， １１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ ダウンロードサイト， １２２ 衛星， １２３ コンピュータ， １３１ ネットワーク
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに媒体に関し、特に、例えば、動画像等のデータに含まれるノイズの除去を、より効果的に行うことができるようにする画像処理装置および画像処理方法、並びに媒体に関する。
【０００２】
【従来の技術】
例えば、伝送や再生等された画像データや音声データなどのデータには、一般に、時間的に変動するノイズが含まれているが、データに含まれるノイズを除去する方法としては、従来より、入力データ全体の平均（以下、適宜、全平均という）や、入力データの局所的な平均である移動平均を求めるものなどが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、全平均を計算する方法は、データに含まれるノイズの度合い、即ち、データのＳ／Ｎ（Signal/Noise）が一定である場合は有効であるが、データのＳ／Ｎが変動する場合には、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響し、効果的にノイズを除去することが困難となることがある。
【０００４】
また、移動平均を計算する方法では、入力されたデータから時間的に近い位置にあるデータの平均が求められるため、その処理結果は、データのＳ／Ｎの変動の影響を受ける。即ち、データのＳ／Ｎの良い部分については、処理結果のＳ／Ｎも良くなるが、Ｓ／Ｎの悪い部分については、処理結果のＳ／Ｎも悪くなる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、データに含まれるノイズの度合いが一定の場合だけでなく、時間的に変動する場合であっても、そのノイズを、効果的に除去することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量を推定する推定手段と、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出手段と、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力するクラス分類手段と、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、クラス分類手段により生成されるクラスコード毎に予め学習されており、抽出手段により抽出された周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データを予測する予測手段とを含むことを特徴とする。
【０００８】
このデータ処理装置には、クラスコードごとに、予測係数を記憶している記憶手段をさらに設けるようにすることができる。
【００１３】
請求項３に記載の画像処理方法は、推定手段が、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量を推定する推定ステップと、抽出手段が、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出ステップと、クラス分類手段が、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力するクラス分類ステップと、予測手段が、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、クラス分類ステップの処理により生成されるクラスコード毎に予め学習されており、抽出ステップの処理により抽出された周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データを予測する予測ステップとを含むことを特徴とする。
【００１４】
請求項４に記載の媒体がコンピュータに実行させるプログラムは、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量を推定する推定ステップと、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出ステップと、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力するクラス分類ステップと、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、クラス分類ステップの処理により生成されるクラスコード毎に予め学習されており、抽出ステップの処理により抽出された周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データを予測する予測ステップとを含むことを特徴とする。
【００１５】
請求項５に記載の画像処理装置は、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成手段と、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量を推定する推定手段と、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出手段と、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力するクラス分類手段と、教師画像データおよび生徒画像データを用いて、クラス分類手段により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数を求める演算手段とを含むことを特徴とする。
【００１７】
生成手段には、教師データに、ノイズを付加することによって、生徒データを生成させることができる。
【００２３】
請求項７に記載の画像処理方法は、生成手段が、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成ステップと、推定手段が、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量を推定する推定ステップと、抽出手段が、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出ステップと、クラス分類手段が、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力するクラス分類ステップと、演算手段が、教師画像データおよび生徒画像データを用いて、クラス分類ステップの処理により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数を求める演算ステップとを含むことを特徴とする。
【００２４】
請求項８に記載の媒体がコンピュータに実行させるプログラムは、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成ステップと、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量を推定する推定ステップと、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データを抽出する抽出ステップと、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力するクラス分類ステップと、教師画像データおよび生徒画像データを用いて、クラス分類ステップの処理により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数を求める演算ステップとを含むことを特徴とする。
【００２５】
請求項９に記載の画像処理装置は、第１の装置が、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量を推定する第１の推定手段と、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む第１の周辺画素データであって、記憶部に一時的に記憶される第１の周辺画素データを抽出する第１の抽出手段と、第１の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第１の周辺画素データの各方向に対応する定常性の大小を決定し、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力する第１のクラス分類手段と、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、第１のクラス分類手段により生成されるクラスコード毎に予め学習されており、第１の抽出手段により抽出された第１の周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データを予測する予測手段とを含み、第２の装置が、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成手段と、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量を推定する第２の推定手段と、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む第２の周辺画素データであって、記憶部に一時的に記憶される第２の周辺画素データを抽出する第２の抽出手段と、第２の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第２の周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力する第２のクラス分類手段と、教師画像データおよび生徒画像データを用いて、第２のクラス分類手段により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数を求める演算手段とを含むことを特徴とする。
【００２６】
請求項１に記載の画像処理装置および請求項３に記載の画像処理方法、並びに請求項４に記載の媒体においては、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量が推定され、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データが抽出され、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小が決定され、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードが出力される。そして、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、生成されるクラスコード毎に予め学習されており、抽出された周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データが予測される。
【００２７】
請求項５に記載の画像処理装置および請求項７に記載の画像処理方法、並びに請求項８に記載の媒体においては、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データが生成され、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量が推定され、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データが抽出され、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係が判定されることにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードが出力され、教師画像データおよび生徒画像データを用いて、クラス分類手段により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数が求められる。
【００２８】
請求項９に記載の画像処理装置においては、第１の装置によって、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量が推定され、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む第１の周辺画素データであって、記憶部に一時的に記憶される第１の周辺画素データが抽出され、第１の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第１の周辺画素データの各方向に対応する定常性の大小が決定され、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードが出力される。そして、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、第１のクラス分類手段により生成されるクラスコード毎に予め学習されており、第１の抽出手段により抽出された第１の周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データが予測される。一方、第２の装置によって、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データが生成され、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量が推定され、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む第２の周辺画素データであって、記憶部に一時的に記憶される第２の周辺画素データが抽出され、第２の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第２の周辺画素データの各方向に対応する定常性の大小が決定され、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードが出力され、教師画像データおよび生徒画像データを用いて、生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数が求められる。
【００２９】
【発明の実施の形態】
図１は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示している。
【００３０】
この画像処理装置においては、そこに入力される入力画像（入力データ）に対して、クラス分類適応処理が施され、これにより、その入力画像から、そこに含まれるノイズが除去（低減）された画像（出力データ）（以下、適宜、原画像という）が予測されるようになっている。
【００３１】
ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００３２】
即ち、適応処理では、例えば、入力画像を構成する画素（以下、適宜、入力画素という）と、所定の予測係数との線形結合により、原画像の画素の予測値を求めることで、その入力画像に含まれるノイズを除去した画像が得られるようになっている。
【００３３】
具体的には、例えば、いま、原画像を教師データとするとともに、その原画像にノイズを重畳した入力画像を生徒データとして、原画像を構成する画素（以下、適宜、原画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの入力画素（入力画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００３４】
【００３５】
【数１】
【００３６】
【００３７】
そして、式（２）の観測方程式に最小自乗法を適用して、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる原画素の真の画素値ｙの集合でなる行列Ｙ、および原画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００３８】
【数２】
【００３９】
【００４０】
【数３】
【００４１】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００４２】
【数４】
【００４３】
【数５】
【００４４】
【数６】
【００４５】
【数７】
【００４６】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００４７】
なお、適応処理は、入力画像には含まれていない、原画像に含まれる成分が再現される点で、例えば、補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、原画像に含まれる成分を再現することができる。即ち、例えば、高S/Nの画像を得ることができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができ、従って、入力画像からノイズを除去した原画像を求める他、例えば、低解像度または標準解像度の画像を、高解像度の画像に変換するような場合にも用いることができる。
【００４８】
図１のノイズ除去装置は、以上のようなクラス分類適応処理により、入力画像から、そこに含まれるノイズを除去し（ノイズのない画像(原画像)を予測し）、そのノイズ除去後の画像を出力するようになっている。
【００４９】
即ち、図１のノイズ除去装置は、フレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、係数RAM(Random Access Memory)４５、および予測演算回路６から構成され、そこには、ノイズ除去の対象となる入力画像が入力されるようになっている。
【００５０】
フレームメモリ１は、ノイズ除去装置に入力される入力画像を、例えば、フレーム単位で一時記憶するようになされている。なお、本実施の形態では、フレームメモリ１は、複数フレームの入力画像を記憶することができるようになっている。
【００５１】
クラスタップ生成回路２は、クラス分類適応処理により、原画素の予測値を求めようとする入力画素、即ち、ノイズを除去しようとする入力画素（以下、適宜、注目画素という）の周辺にある画素を、フレームメモリ１に記憶された入力画像から抽出し、これを、注目画素のクラス分類に用いるクラスタップとして、クラス分類回路４に出力するようになっている。
【００５２】
即ち、クラスタップ生成回路２は、例えば、図２に示すように、
（Ａ）注目画素、
（Ｂ）その注目画素のフレームより時間的に先行する４フレーム（過去のフレーム）それぞれの、注目画素と空間的に同一位置にある４画素、
（Ｃ）注目画素のフレームより時間的に後行する４フレーム（未来のフレーム）
それぞれの、注目画素と空間的に同一位置にある４画素、
（Ｄ）注目画素のフレームと同一フレームの、注目画素の左にある４画素、
（Ｅ）注目画素のフレームと同一フレームの、注目画素の右にある４画素、
（Ｆ）注目画素のフレームと同一フレームの、注目画素の上にある４画素、
（Ｇ）注目画素のフレームと同一フレームの、注目画素の下にある４画素
の合計２５画素を、フレームメモリ１に記憶された入力画像から抽出し、これを、注目画素についてのクラスタップとして、クラス分類回路４に出力するようになっている。
【００５３】
予測タップ生成回路３は、予測演算回路６において注目画素に対する原画素の予測値を求めるのに用いる入力画素を、フレームメモリ１に記憶された入力画像から抽出し、これを予測タップとして、予測演算回路６に供給するようになされている。即ち、予測タップ生成回路３は、フレームメモリ１に記憶された入力画像から、例えば、図２に示したように、クラスタップ生成回路２で抽出されるクラスタップと同一の入力画素を、予測タップとして抽出し、予測演算回路６に供給するようになっている。
【００５４】
なお、ここでは、説明を簡単にするため、クラスタップと予測タップとを、同一の入力画素から構成するようにしたが、クラスタップと予測タップとは、同一の入力画素から構成する必要はなく、異なる入力画素から構成することができる。
【００５５】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップの定常性に基づいて、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数RAM５に対し、アドレスとして与えるようになされている。即ち、クラス分類回路４には、クラスタップ生成回路２からクラスタップが供給される他、ノイズ量推定回路７から、注目画素に含まれるノイズ量の推定値（推定ノイズ量）も供給されるようになっており、クラス分類回路４は、クラスタップを構成する入力画素の画素値の定常性を、推定ノイズ量を用いて判定し、その定常性に対応するクラスコードを、係数RAM５のアドレスとして出力するようになされている。
【００５６】
係数RAM５は、後述する学習処理を行うことにより得られるクラスごとの予測係数を記憶しており、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給するようになっている。
【００５７】
予測演算回路６は、係数RAM５から供給される、注目画素のクラスについての予測係数ｗ，ｗ2，・・・と、予測タップ生成回路３からの予測タップｘ1，ｘ2，・・・とを用いて、式（１）に示した演算を行うことにより、注目画素ｘに対する原画素ｙの予測値Ｅ［ｙ］を求め、注目画素ｘからノイズを除去した画素の画素値として出力するようになっている。
【００５８】
ノイズ量推定回路７は、フレームメモリ１に記憶された入力画像に基づいて、注目画素に含まれるノイズ量を推定し、その結果得られる推定ノイズ量を、クラス分類回路４に供給するようになっている。
【００５９】
次に、図３のフローチャートを参照して、図１のノイズ除去装置において行われるノイズ除去処理について説明する。
【００６０】
フレームメモリ１には、ノイズ除去処理の対象としての入力画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給される入力画像が順次記憶されていく。なお、本実施の形態では、図２で説明したクラスタップおよび予測タップを構成する必要があることから、フレームメモリ１は、少なくとも９フレーム分の入力画像（注目画素のフレームと、そのフレームの前後それぞれ４フレームとの合計９フレーム）を記憶することのできる容量を有している。
【００６１】
そして、ステップＳ１において、ノイズ量推定回路７は、フレームメモリ４１に記憶された入力画像を用いて、いま処理の対象となっているフレーム（注目画素があるフレーム）（以下、適宜、注目フレームという）に含まれるノイズ量を推定し、その結果得られる推定ノイズ量を、クラス分類回路４に出力する。
【００６２】
その後、ステップＳ２において、クラスタップ生成回路２または予測タップ生成回路３は、適応処理により予測値を求めようとする注目フレームの入力画素を注目画素として、その周辺にある入力画素を、フレームメモリ１から読み出し、図２に示したクラスタップまたは予測タップをそれぞれ構成する。このクラスタップまたは予測タップは、クラス分類回路４または予測演算回路６にそれぞれ供給される。
【００６３】
クラス分類回路４は、クラスタップ生成回路２からクラスタップを受信すると、ステップＳ３において、そのクラスタップの定常性を、そのクラスタップの分散と、ノイズ量推定回路７からの推定ノイズ量とから判定し、その定常性に基づいて、注目画素のクラスを求める。このクラスに対応するクラスコードは、係数RAM５に対し、アドレスとして与えられ、係数RAM５は、ステップＳ４において、クラス分類回路４からのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給する。
【００６４】
予測演算回路６では、ステップＳ５において、予測タップ生成回路３からの予測タップと、係数RAM５からの予測係数とを用いて、式（１）に示した演算（線形一次予測）が行われることにより、注目画素ｘに対する原画素（注目画素ｘから、完全にノイズが除去された状態の画素）ｙの予測値Ｅ［ｙ］が求められ、ステップＳ６に進む。ステップＳ６では、予測係数演算回路６が、ステップＳ５で求めた注目画素ｘに対する原画素ｙの予測値Ｅ［ｙ］を、注目画素ｘからノイズを除去した画素の画素値として出力し、ステップＳ７に進む。
【００６５】
ステップＳ７では、フレームメモリ１に記憶された注目フレームを構成する入力画素すべてを、注目画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ２に戻り、まだ注目画素としていない入力画素を、新たに注目画素として、以下、同様の処理が繰り返される。
【００６６】
また、ステップＳ７において、注目フレームを構成する入力画素すべてを、注目画素として処理を行ったと判定された場合、ステップＳ８に進み、フレームメモリ１に、次に処理すべきフレーム（いま注目フレームとなっているフレームの次のフレーム）が記憶されているかどうかが判定される。ステップＳ８において、フレームメモリ１に、次に処理すべきフレームが記憶されていると判定された場合、ステップＳ１に戻り、そのフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【００６７】
一方、ステップＳ８において、フレームメモリ１に、次に処理すべきフレームが記憶されていないと判定された場合、ノイズ除去処理を終了する。
【００６８】
次に、図４は、図１のノイズ量推定回路７の構成例を示している。
【００６９】
いま、第ｔフレームにおいて、ある空間的な位置にある入力画素をｘ（ｔ）と表すと、図１のフレームメモリ１に記憶された入力画素ｘ（ｔ）は、遅延回路１１、分散計算部１９、動きベクトル検出回路２９に入力されるようになっている。
【００７０】
遅延回路１１は、そこに入力される入力画素ｘ（ｔ）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−１）として、遅延回路１２、分散計算部１９、および動きベクトル検出回路２９に供給するようになっている。遅延回路１２は、遅延回路１１からの入力画素ｘ（ｔ−１）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−２）として、遅延回路１３および分散計算部１９に供給するようになっている。遅延回路１３は、遅延回路１２からの入力画素ｘ（ｔ−２）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−３）として、遅延回路１４および分散計算部１９に供給するようになっている。遅延回路１４は、遅延回路１３からの入力画素ｘ（ｔ−３）を１フレーム分の時間だけ遅延し、入力画素ｘ（ｔ−４）として、分散計算部１９に供給するようになっている。
【００７１】
遅延回路１５乃至１８それぞれは、動きベクトル検出回路２９が出力する動きベクトルについて、遅延回路１１乃至１４における場合と同様の遅延処理を行うようになっている。従って、例えば、いま、入力画素ｘ（ｔ）の動きベクトルを、ｖ（ｔ）と表すと、遅延回路１５乃至１８は、動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）を、それぞれ出力する。この動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）は、静止判定部２３乃至２６にそれぞれ供給されるようになっている。
【００７２】
分散計算部１９は、そこに供給される入力画素ｘ（ｔ）乃至ｘ（ｔ−４）、即ち、注目フレームを含む過去５フレームにおいて、空間的に同一位置にある入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散を演算し、分散積算メモリ２０に供給するようになっている。分散積算メモリ２０は、メモリコントローラ２８の制御の下、分散計算部１９から供給される分散の積算を行うようになっている。分散値フレーム平均計算部２１は、分散積算メモリ２０において積算された分散の平均値を演算し（分散の積算値を、その積算された分散の数で除算し）、それを、入力画素ｘ（ｔ）のフレーム（注目フレーム）の各入力画素に含まれるノイズ量の推定値（推定ノイズ量）として出力するようになっている。
【００７３】
静止判定部２２は、動きベクトル検出回路２９から供給される動きベクトルｖ（ｔ）に基づいて、入力画素ｘ（ｔ）が静止している部分のものであるかどうかを判定し、その判定結果を、連続静止位置検出部２７に供給するようになっている。静止判定部２２乃至２６も、静止判定部２２と同様に、遅延回路１５乃至１８から供給される動きベクトルｖ（ｔ−１）乃至ｖ（ｔ−４）に基づいて、入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）が静止している部分のものであるかどうかを、それぞれ判定し、その判定結果を、連続静止位置検出部２７に供給するようになっている。
【００７４】
連続静止位置検出部２７は、静止判定部２２乃至２６からの判定結果に基づいて、連続したフレームにおいて、静止している部分の画素の位置（空間的位置）を検出するようになっている。即ち、連続静止位置検出部２７は、静止判定部２２乃至２６からの判定結果が、いずれも静止しているものとなっている位置の入力画素ｘ（ｔ）を検出し、その位置を、メモリコントローラ２８に供給するようになっている。
【００７５】
メモリコントローラ２８は、分散計算部１９が出力する分散のうち、連続性画素検出部２７から供給された、静止している位置にある画素から求められたもののみを積算するように、分散積算メモリ２０を制御するようになっている。さらに、メモリコントローラ２８には、新たなフレームの入力画素の供給が開始されることを示すフレームリセット信号が供給されるようになっており、メモリコントローラ２８は、このフレームリセット信号を受信すると、分散値フレーム平均計算部２１に、分散積算メモリ２０に記憶された分散の積算値の平均値を計算させるとともに、分散積算メモリ２０の記憶値を０にリセットするようになっている。
【００７６】
動きベクトル検出回路２９は、入力画素ｘ（ｔ）のフレームと、遅延回路１１から供給される、そのフレームの１フレーム前のフレームとから、入力画素ｘ（ｔ）の動きベクトルｖ（ｔ）を検出し、遅延回路１５および静止判定部２２に供給するようになっている。
【００７７】
以上のように構成されるノイズ量推定回路７では、いま処理（ノイズ除去処理）の対象となっているフレーム（注目フレーム）を構成する入力画素のうちの、静止している部分だけを用いて、その注目フレームを構成する各入力画素のノイズ量を推定するノイズ量推定処理が行われるようになっている。
【００７８】
即ち、ノイズ量推定回路７では、注目フレームを構成する所定の入力画素を、処理対象画素ｘ（ｔ）として、その処理対象画素ｘ（ｔ）と、それと同一位置にある、過去４フレームの入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）との５画素を用いて、それらの分散が計算されるとともに、その５画素ｘ（ｔ）乃至ｘ（ｔ−４）それぞれが、静止している部分の画素（静止画素）であるかどうかの静止判定が行われる。
【００７９】
具体的には、遅延回路１１および分散計算部１９には、注目フレームを構成する入力画素ｘ（ｔ）が、順次供給され、遅延回路１１乃至１４それぞれでは、そこに入力される入力画素が、１フレーム分の時間だけ遅延され、分散計算部１９に供給される。即ち、これにより、分散計算部１９には、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）が供給される。分散計算部１９では、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の分散が求められ、分散積算メモリ２０に供給される。
【００８０】
一方、動きベクトル検出回路２９には、注目フレームを構成する入力画素と、その１フレーム前のフレームの入力画素が供給され、それらの入力画素を用いて、注目フレームの処理対象画素ｘ（ｔ）の動きベクトルｖ（ｔ）が検出される。この動きベクトルｖ（ｔ）は、遅延回路１５および静止判定部２２に供給される。
【００８１】
遅延回路１５乃至１８それぞれでは、そこに入力される動きベクトルが、１フレーム分の時間だけ遅延され、静止判定部２３乃至２６に供給される。従って、静止判定部２２乃至２６には、入力画素ｘ（ｔ）乃至ｘ（ｔ−４）の動きベクトルｖ（ｔ）乃至ｖ（ｔ−４）がそれぞれ供給される。そして、静止判定部２２乃至２６では、そこに入力される動きベクトルｖ（ｔ）乃至ｖ（ｔ−４）に基づいて、入力画素ｘ（ｔ−１）乃至ｘ（ｔ−４）が静止している部分のものであるかどうかが、それぞれ判定され、その判定結果が、連続静止位置検出部２７に供給される。
【００８２】
連続静止位置検出部２７では、静止判定部２２乃至２６それぞれにおける静止判定結果に基づき、処理対象画素ｘ（ｔ）の位置が、連続したフレーム（ここでは、第ｔ−４フレームから第ｔフレームまで）において、静止している部分となっているかどうかが検出される。この検出結果は、メモリコントローラ２８に供給される。
【００８３】
メモリコントローラ２８は、連続静止位置検出部２７から、処理対象画素ｘ（ｔ）の位置が、連続したフレームで、静止している部分となっていない旨の検出結果を受信した場合、即ち、処理対象画素ｘ（ｔ）と同一位置にあるｘ（ｔ）乃至ｘ（ｔ−４）のうちのいずれかが動きを有するものである場合、分散積算メモリ２０に、分散計算部１９からの分散を破棄するように指令する。従って、この場合、分散積算メモリ２０では、分散計算部１９からの分散、即ち、動きを有する画素から求められた分散は積算されずに破棄される。
【００８４】
一方、メモリコントローラ２８は、連続静止位置検出部２７から、処理対象画素ｘ（ｔ）の位置が、連続したフレームで、静止している部分となっている旨の検出結果を受信した場合、即ち、処理対象画素ｘ（ｔ）と同一位置にあるｘ（ｔ）乃至ｘ（ｔ−４）のうちのいずれも動きを有しないものである場合、分散積算メモリ２０に、分散計算部１９からの分散を積算するように指令する。従って、この場合、分散積算メモリ２０では、分散計算部１９からの分散、即ち、静止している画素のみから求められた分散が、既にそこに記憶されている分散に積算され、その積算値が、新たに記憶される。
【００８５】
以上の処理が、注目フレームのすべての入力画素を、処理対象画素として行われ、その後、分散値フレーム平均計算部２１において、注目フレームを構成する各入力画素に含まれるノイズ量が求められる（推定される）。
【００８６】
即ち、注目フレームのすべての入力画素についての処理が終了すると、メモリコントローラ２８には、フレームリセット信号が入力される。メモリコントローラ２８は、フレームリセット信号を受信すると、分散値フレーム平均計算部２１に、分散積算メモリ２０に記憶された分散の積算値の平均値を計算させるとともに、分散積算メモリ２０の記憶値を０にリセットする。
【００８７】
分散値フレーム平均計算部２１では、メモリコントローラ２８の制御にしたがい、分散積算メモリ２０に記憶された分散の積算値の平均値が計算される。分散積算メモリ２０では、上述したことから、静止している画素から求められた分散のみが積算され、その積算値が記憶されており、従って、分散値フレーム平均計算部２１では、そのような静止している画素（ここでは、５フレーム連続して静止している画素）から求められた分散の平均値が求められる。この平均値は、注目フレーム（第ｔフレーム）の各入力画素に含まれるノイズ量の推定値（推定ノイズ量）として出力される。
【００８８】
以下、次のフレームを注目フレームとして、同様の処理が繰り返される。
【００８９】
以上のように、ノイズ量推定回路７では、注目フレームから、４フレーム前までの間静止し続けている空間的に同一位置の５つ画素が検出され、注目フレームにおける、そのような５画素の分散の平均値が、注目フレームの各入力画素に含まれるノイズ量であると推定される。従って、この場合、ノイズ量の推定に、動きのある画素が用いられないため、画像の動きの影響が、推定されたノイズ量に反映されることを防止することができる。即ち、画像の動きの影響がほとんどないノイズ量（真のノイズ量により近いノイズ量）を推定することができる。
【００９０】
さらに、従来においては、動画について、時間方向に並ぶ、空間的に同一位置にある画素について平均をとることにより、そこに含まれるノイズを除去する方法が知られているが、この場合、画素単位での動きを判定し、動きのない画素のみを平均をとる対象とする必要がある。従って、動き判定を誤ると、即ち、動きのある画素を、動きのないものと誤ると、動きのある画素が、平均をとる対象に含められ、その平均値が、そのままノイズ除去結果とされるから、動き判定の誤りが、ノイズ除去結果に大きく影響し、最悪の場合には、処理が破綻することになる（却って、画像を破壊することになる）。
【００９１】
これに対して、図１のノイズ除去装置では、ノイズ量推定回路７において、ある入力画素が静止しているかどうかについては、その入力画素について検出された動きベクトルに基づいて判定され、静止していると判定された、同一位置の５画素の分散の平均をとることによって、推定ノイズ量が求められる。従って、仮に、空間的に同一位置にある時間方向の５画素のうちのいずれかが動きを有する場合に、その入力画素が動きを有していないと判定され、分散積算メモリ２０において、その５画素の分散が積算されたとしても、そのことが、推定ノイズ量に与える影響は少ない。そして、そのような推定ノイズ量に基づいて、注目画素のクラス分類が行われた後に、その注目画素について適応処理を行うことにより、注目画素からのノイズ除去結果が求められるから、動き判定の誤りが、ノイズ除去結果に与える影響は僅かである（上述の従来の方法と比較すれば、ほとんどないといって良い）。
【００９２】
なお、上述の場合においては、注目フレームから、４フレーム前までの間静止し続けている同一位置の５つ画素から分散を求めるようにしたが、分散を求める対象とする画素は、注目フレームから４フレーム前までに亘る５画素に限定されるものではない。
【００９３】
また、図４に示したノイズ量推定回路７では、各フレームごとに、一定量のノイズが含まれるものとして、各フレームを構成する入力画素について、同一の推定ノイズ量を求めるようにしたが、可能であれば、各入力画素ごとに、推定ノイズ量を求めるようにしても良い。
【００９４】
次に、図５は、図１のクラス分類回路４の構成例を示している。
【００９５】
クラスタップ生成回路２が出力する、注目画素についてのクラスタップは、分散計算部３１乃至３６に供給されるようになっており、また、ノイズ量推定回路７が出力する、注目画素についての推定ノイズ量は、閾値処理部３７乃至４２に供給されるようになっている。
【００９６】
分散計算部３１乃至３６それぞれは、注目画素についてのクラスタップを構成する入力画素のうち、所定の方向に位置するもののみを受信し、分散を計算する。
【００９７】
即ち、図２に示したクラスタップにおいて、
注目画素（Ａ）と、注目画素のフレームより時間的に先行する４フレームそれぞれの、注目画素と空間的に同一位置にある４画素（Ｂ）との、注目画素を始点として時間的に先行する方向（−ｔ方向）にある５画素を、−ｔ方向のタップと、
注目画素（Ａ）と、注目画素のフレームより時間的に後行する４フレームそれぞれの、注目画素と空間的に同一位置にある４画素（Ｃ）との、注目画素を始点として時間的に後行する方向（＋ｔ方向）にある５画素を、＋ｔ方向のタップと、
注目画素（Ａ）と、注目画素のフレームと同一フレームの、注目画素の左にある４画素（Ｄ）との、注目画素を始点として左方向（−ｈ方向）にある５画素を、−ｈ方向のタップと、
注目画素（Ａ）と、注目画素のフレームと同一フレームの、注目画素の右にある４画素（Ｅ）との、注目画素を始点として右方向（＋ｈ方向）のある５画素を、＋ｈ方向のタップと、
注目画素（Ａ）と、注目画素のフレームと同一フレームの、注目画素の上にある４画素（Ｆ）との、注目画素を始点として上方向（＋ｖ方向）にある５画素を、＋ｖ方向のタップと、
注目画素（Ａ）と、注目画素のフレームと同一フレームの、注目画素の下にある４画素（Ｇ）との、注目画素を始点として下方向（−ｖ方向）にある５画素を、−ｖ方向のタップと
それぞれいうものとすると、分散計算部３１乃至３６では、それぞれ、＋ｔ方向のタップ、−ｔ方向のタップ、＋ｈ方向のタップ、−ｈ方向のタップ、＋ｖ方向のタップ、−ｖ方向のタップが受信され、それぞれについて分散が計算される。この＋ｔ方向のタップ、−ｔ方向のタップ、＋ｈ方向のタップ、−ｈ方向のタップ、＋ｖ方向のタップ、−ｖ方向のタップについての分散は、閾値処理部３７乃至４２に、それぞれ供給される。
【００９８】
閾値処理部３７では、＋ｔ方向のタップについての分散と、注目画素についての推定ノイズ量との大小関係が判定され、その判定結果に対応する１ビットのコードが、シフタ４８に出力される。即ち、＋ｔ方向のタップについての分散が、注目画素についての推定ノイズ量より十分大きく、従って、注目画素を始点とする、時間的に先行する方向（−ｔ方向）における入力画素（の画素値）の定常性が小さい場合、閾値処理部３７は、その旨を表すコードとして、０または１のうちの、例えば１を出力する。
【００９９】
また、＋ｔ方向のタップについての分散が、注目画素についての推定ノイズ量より十分大きくなく、従って、注目画素を始点とする、時間的に先行する方向（−ｔ方向）における入力画素の定常性が大きい場合、閾値処理部３７は、その旨を表すコードとして、０または１のうちの、例えば０を出力する。
【０１００】
閾値処理部３８乃至４２においても、閾値処理部３７における場合と同様に、−ｔ方向のタップ、＋ｈ方向のタップ、−ｈ方向のタップ、＋ｖ方向のタップ、−ｖ方向のタップについての分散それぞれと、注目画素についての推定ノイズ量との大小関係が判定され、その判定結果に対応する１ビットのコードが、演算器４３乃至４７にそれぞれ出力される。
【０１０１】
シフタ４８では、閾値処理部３７からの１ビットのコードが、１ビットだけ右シフト（LSB(Least Significant Bit)からMSB(Most Significant Bit)の方向へのシフト）され、演算器４３に出力される。演算器４３では、シフタ４８の出力に、閾値処理部４３が出力する１ビットのコードが加算され、シフタ４９に供給される。シフタ４９では、演算器４３の出力が、１ビットだけ右シフトされて出力される。
【０１０２】
演算器４４乃至４７には、閾値処理部３９乃至４２の出力それぞれと、シフタ４９乃至５２の出力それぞれとが供給されるようになっており、また、シフタ５０乃至５２には、演算器４４乃至４６の出力がそれぞれ供給されるようになっている。そして、演算器４４乃至４７では、演算器４３における場合と同様の加算が行われるとともに、シフタ５０乃至５２では、シフタ４８や４９における場合と同様の１ビット右シフトが行われ、これにより、演算器４７からは、＋ｔ方向、−ｔ方向、＋ｈ方向、−ｈ方向、＋ｖ方向、−ｖ方向それぞれの定常性を表すコードが、MSBから順次配置された６ビットのコードが出力される。この６ビットのコードは、注目画素のクラスコード（クラス分類結果）として、図１の係数RAM５に供給される。
【０１０３】
以上のようにして、クラス分類回路４では、クラスタップの各方向の定常性に基づいて、注目画素がクラス分類され、そのクラス分類結果としてのクラスコードが出力される。従って、このクラスコードによれば、注目画素は、その定常性によって分類される。
【０１０４】
次に、図６は、図１の係数RAM５に記憶させるクラスごとの予測係数を求める学習装置の一実施の形態の構成例を示している。
【０１０５】
フレームメモリ６１には、教師データｙとなる原画像が、例えば、フレーム単位で供給されるようになっており、フレームメモリ６１は、その原画像を、一時記憶するようになっている。ノイズ付加回路６２は、フレームメモリ６１に記憶された、予測係数の学習において教師データｙとなる原画像を読み出し、その原画像を構成する原画素に対して、ノイズを重畳することで、生徒データとしての、ノイズを含んだ画像（以下、適宜、ノイズ画像という）を生成するようになっている。このノイズ画像は、フレームメモリ６３に供給されるようになっている。
【０１０６】
フレームメモリ６３は、ノイズ付加回路６２からのノイズ画像を一時記憶するようになっている。
【０１０７】
なお、フレームメモリ６１および６３は、図１のフレームメモリ１と同様に構成されている。
【０１０８】
クラスタップ生成回路６４または予測タップ生成回路６５は、フレームメモリ６３に記憶されたノイズ画像を構成する画素（以下、適宜、ノイズ画素という）を用い、図１のクラスタップ生成回路２または予測タップ生成回路３と同様にして、注目画素について、クラスタップまたは予測タップを構成し、クラス分類回路６６または加算回路６７にそれぞれ供給するようになっている。
【０１０９】
クラス分類回路６６は、図５に示したクラス分類回路４と同様に構成され、ノイズ量推定回路７２からの推定ノイズ量を用いて、クラスタップ生成回路６４からのクラスタップの定常性に基づいて、注目画素をクラス分類し、対応するクラスコードを、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えるようになっている。
【０１１０】
加算回路６７は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、予測タップメモリ６８から読み出し、その記憶値と、予測タップ生成回路６５からの予測タップを構成するノイズ画素とを加算することで、式（７）の正規方程式の左辺における、予測係数ｗの乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【０１１１】
予測タップメモリ６８は、クラス分類回路６６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路６７に供給するとともに、そのアドレスに、加算回路６７の出力値を記憶するようになっている。
【０１１２】
加算回路６９は、フレームメモリ６１に記憶された原画像を構成する原画素のうちの、注目画素ｘに対するものを、教師データｙとして読み出すとともに、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、教師データメモリ７０から読み出し、その記憶値と、フレームメモリ６１から読み出した教師データ（原画素）ｙとを加算することで、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【０１１３】
なお、正確には、加算回路６７および６９では、式（７）における乗算も行われる。また、式（７）の右辺には、教師データｙと、ノイズ画素ｘとの乗算が含まれ、従って、加算回路６９で行われる乗算には、教師データｙの他に、その教師データｙに対するノイズ画素ｘが必要となるが、これは、加算回路６９において、フレームメモリ６３から読み出される。
【０１１４】
教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給するとともに、そのアドレスに、加算回路６９の出力値を記憶するようになっている。
【０１１５】
演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、各クラスコードごとに、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求めるようになっている。即ち、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれの、各クラスコードに対応するアドレスに記憶されている記憶値から、式（７）の正規方程式をたて、これを解くことにより、クラスごとの予測係数を求めるようになっている。
【０１１６】
ノイズ量推定回路７２は、図４に示したノイズ量推定回路７と同様に構成され、フレームメモリ６１に記憶されたノイズ画像の各ノイズ画素に含まれるノイズ量を推定し、その結果得られる推定ノイズ量を、クラスタップ生成回路６４に供給するようになっている。
【０１１７】
次に、図７のフローチャートを参照して、図６の学習装置において行われる、クラスごとの予測係数を求める学習処理について説明する。
【０１１８】
学習装置には、教師データとしての原画像（動画像）が、フレーム単位で供給されるようになっており、その原画像は、フレームメモリ６１において順次記憶されていく。
【０１１９】
そして、ステップＳ１１において、ノイズ付加回路６２は、フレームメモリ６１に記憶された原画像を読み出し、ノイズを付加することで、ノイズ画像を生成する。このノイズ画像は、フレームメモリ６３に供給されて記憶される。
【０１２０】
その後、ノイズ量推定回路７２は、ステップＳ１２において、フレームメモリ６３に記憶された所定のフレームのノイズ画像を、注目フレームとし、その注目フレームのノイズ量を、図４で説明したノイズ量推定回路７における場合と同様にして推定する。そして、その結果得られる推定ノイズ量は、クラスタップ生成回路６４に供給される。
【０１２１】
ここで、注目フレームに含まれるノイズは、ノイズ付加回路６２で付加されたものであるから、学習装置では、正確な値を得ることができ、そのような正確な値を、クラスタップ生成回路６４に供給するようにすることもできるが、図１のノイズ除去装置では、ノイズ量推定回路７においてノイズ量が推定されるため、そのような正確な値を得ることができるとは限らない。そこで、学習装置では、ノイズ除去装置が使用される環境にできるだけ一致した環境において、予測係数を求めるために、注目フレームに含まれるノイズを、ノイズ量推定回路７と同様に構成されるノイズ量推定回路７２において推定するようにしている。
【０１２２】
ステップＳ１２において、注目フレームの各ノイズ画素のノイズ量が推定されると、ステップＳ１３において、クラスタップ生成回路６４または予測タップ生成回路６５は、注目フレームの、あるノイズ画素を、注目画素として、その周辺にあるノイズ画素を、フレームメモリ６３から読み出し、図２に示したクラスタップまたは予測タップをそれぞれ構成する。このクラスタップまたは予測タップは、クラス分類回路６６または加算回路６７にそれぞれ供給される。
【０１２３】
クラス分類回路６６は、ステップＳ１４において、図５で説明したクラス分類回路４における場合と同様に、ノイズ量推定回路７２からの推定ノイズ量を用い、クラスタップ生成回路６４からのクラスタップの定常性に基づいて、注目画素がクラス分類され、そのクラス分類結果としてのクラスコードを、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与える。
【０１２４】
そして、ステップＳ１５に進み、予測タップまたは教師データそれぞれの足し込みが行われる。
【０１２５】
即ち、ステップＳ１５において、予測タップメモリ６８は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６７に供給する。加算回路６７は、予測タップメモリ６８から供給される記憶値と、予測タップ生成回路６５から供給されるの予測タップを構成するノイズ画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、予測タップメモリ６８のアドレスに、上書きする形で記憶させる。
【０１２６】
さらに、ステップＳ１５では、教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給する。加算回路６９は、フレームメモリ６１に記憶された原画像を構成する原画素のうちの、注目画素に対応する原画素を、教師データとして読み出すとともに、フレームメモリ６３に記憶されたノイズ画像を構成するノイズ画素のうちの、教師データに対応するものを読み出し、その読み出した画素と、教師データメモリ７０から供給された記憶値とを用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、教師データメモリ７０のアドレスに、上書きする形で記憶させる。
【０１２７】
その後、ステップＳ１６に進み、フレームメモリ６３に記憶された注目フレームを構成するノイズ画素すべてを、注目画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ１３に戻り、まだ注目画素としていないノイズ画素を、新たに注目画素として、以下、同様の処理が繰り返される。
【０１２８】
一方、ステップＳ１６において、注目フレームを構成するノイズ画素すべてを、注目画素として処理を行ったと判定された場合、ステップＳ１７に進み、次に処理すべき原画像が、フレームメモリ６１に記憶されているかどうかが判定される。ステップＳ１７において、次に処理すべき原画像が、フレームメモリ６１に記憶されていると判定された場合、ステップＳ１１に戻り、その、次に処理すべき原画像を対象に、ステップＳ１１以下の処理が繰り返される。
【０１２９】
また、ステップＳ１７において、次に処理すべき原画像が、フレームメモリ６１に記憶されていないと判定された場合、即ち、あらかじめ学習用に用意しておいたすべての原画像について処理を行った場合、ステップＳ１８に進み、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求める。さらに、演算回路７１は、ステップＳ１９において、その求めたクラスごとの予測係数を出力して、処理を終了する。
【０１３０】
なお、以上のような予測係数の学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトの予測係数を出力するようにすること等が可能である。
【０１３１】
以上のように、注目画素が、それについてのクラスタップの分散に基づいてクラス分類され、クラスごとの予測係数が求められるため、注目画素周辺の定常性ごとに、その定常性を有する画素のノイズを除去するのに適した予測係数が得られ、その結果、そのような予測係数を用いて、クラス分類適応処理を行うことにより、特に、動画像等について、効果的にノイズを除去することが可能となる。
【０１３２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしてのノイズ除去装置や学習装置に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０１３３】
そこで、図８を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０１３４】
プログラムは、図８（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２に予めインストールした状態でユーザに提供することができる。
【０１３５】
あるいはまた、プログラムは、図８（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０１３６】
さらに、プログラムは、図８（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１２３に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１１１を介して、コンピュータ１２３に有線で転送し、コンピュータ１２３において、内蔵するハードディスクなどに格納させるようにすることができる。
【０１３７】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０１３８】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１３９】
なお、クラス分類適用処理は、教師データと生徒データとを用いて、クラスごとに予測係数を求める学習を行い、その予測係数と入力データとを用いた線形一次予測により、入力データから、その入力データに対する教師データの予測値を求めるものであるから、学習に用いる教師データおよび生徒データによって、所望の予測値を求めるための予測係数を得ることが可能となる。即ち、例えば、教師データとして、高解像度の画像を用いるとともに、生徒データとして、その画像の解像度を落とした画像を用いることで、解像度を向上させる予測係数を得ることができる。また、例えば、教師データとして、エッジが強調された画像を用いるとともに、生徒データとして、そのエッジをぼやかした画像を用いることで、エッジを強調させる予測係数を得ることができる。従って、本発明は、上述したように、入力画像からノイズを除去する場合の他、入力画像の解像度を向上させる場合や、エッジを強調させる場合、波形等化を行う場合その他に適用可能である。
【０１４０】
また、本実施の形態では、動画像を、クラス分類適用処理の対象としたが、動画像の他、静止画や、さらには、音声、記録媒体から再生された信号（RF(Radio
Frequency)信号）等を対象とすることも可能である。
【０１４１】
さらに、本実施の形態では、クラスタップの各方向についての分散を、推定ノイズ量と比較し、その比較結果に基づいて、注目画素をクラス分類するようにしたが、注目画素のクラス分類は、クラスタップの各方向についての分散を、それらの平均値と比較し、その比較結果に基づいて行ったり、あるいは、クラスタップの各方向についての分散を、ADRC(Adaptive Dynamic Range Coding)処理し、そのADRC結果に基づいて行うようにすることも可能である。ここで、ADRC処理においては、例えば、データの、ある集合について、その集合を構成するデータの最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、集合を構成するデータがKビットに再量子化される。即ち、集合内の各データから、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。
【０１４２】
なお、上述のように、クラスタップについての分散を、推定ノイズ量と比較せずに、注目画素のクラス分類を行う場合においては、クラスタップについての分散には、そのクラスタップを構成する画素そのものの定常性の成分の他、ノイズの成分も含まれることとなるから、ノイズの影響を多少受けたクラス分類が行われることになる。
【０１４３】
さらに、本実施の形態では、ノイズ除去装置と、そのノイズ除去装置で用いるクラスごとの予測係数を学習する学習装置とを、別々の装置として構成するようにしたが、ノイズ除去装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、ノイズ除去装置で用いる予測係数を、リアルタイムで更新させるようにすることが可能である。
【０１４４】
また、本実施の形態では、係数RAM５に、あらかじめクラスごとの予測係数を記憶させておくようにしたが、この予測係数は、例えば、入力画像とともに、ノイズ除去装置に供給するようにすることも可能である。
【０１４５】
さらに、クラスタップを構成する画素は、図２に示したような位置関係の画素に限定されるものではない。
【０１４６】
また、本実施の形態では、クラスタップについて、６つの方向（＋ｔ方向、−ｔ方向、＋ｈ方向、−ｈ方向、＋ｖ方向、−ｖ方向）の分散を求めて、クラス分類を行うようにしたが、その他、例えば、斜めの方向の分散を求めて、クラス分類に用いることも可能である。さらに、クラス分類は、ある方向に延びる直線上にある画素ではなく、曲線上にある画素の分散を求めて行うことも可能である。
【０１４７】
さらに、本実施の形態では、適応処理において、線形一次式を用いるようにしたが、適応処理は、２次以上の次数の式を用いて行うことも可能である。
【０１４８】
【発明の効果】
請求項１に記載の画像処理装置および請求項３に記載の画像処理方法、並びに請求項４に記載の媒体によれば、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量が推定され、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データが抽出され、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、周辺画素データの各方向に対応する定常性の大小が決定され、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードが出力される。そして、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、生成されるクラスコード毎に予め学習されており、抽出された周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データが予測される。従って、例えば、入力データから、効果的にノイズを除去することが可能となる。
【０１４９】
請求項５に記載の画像処理装置および請求項７に記載の画像処理方法、並びに請求項８に記載の媒体によれば、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データが生成され、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量が推定され、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される周辺画素データが抽出され、周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係が判定されることにより、周辺画素データの各方向に対応する定常性の大小を決定し、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードが出力され、教師画像データおよび生徒画像データを用いて、クラス分類手段により生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数が求められる。従って、例えば、データから、効果的にノイズを除去することのできる予測係数を得ることが可能となる。
【０１５０】
請求項９に記載の画像処理装置によれば、第１の装置によって、入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目入力画素データに含まれるノイズ量が推定され、入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される注目入力画素データを含む第１の周辺画素データであって、記憶部に一時的に記憶される第１の周辺画素データが抽出され、第１の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第１の周辺画素データの各方向に対応する定常性の大小が決定され、注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードが出力される。そして、入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、第１のクラス分類手段により生成されるクラスコード毎に予め学習されており、第１の抽出手段により抽出された第１の周辺画素データと、クラスコードに対応する予測係数との線形一次結合により、注目入力画素データに対する出力画素データが予測される。一方、第２の装置によって、予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データが生成され、生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、注目生徒画素データに含まれるノイズ量が推定され、生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される注目生徒画素データを含む第２の周辺画素データであって、記憶部に一時的に記憶される第２の周辺画素データが抽出され、第２の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、ノイズ量としての分散との大小関係を判定することにより、第２の周辺画素データの各方向に対応する定常性の大小が決定され、注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードが出力され、教師画像データおよび生徒画像データを用いて、生成されるクラスコードごとに、生徒画像データを用いた線形一次結合によって、教師画像データが得られるようにするための予測係数が求められる。従って、例えば、データから、効果的にノイズを除去することのできる予測係数を得ることが可能となるとともに、その予測係数を用いて、データから、効果的にノイズを除去することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
【図２】クラスタップの構成例を示す図である。
【図３】図１のノイズ除去装置によるノイズ除去処理を説明するためのフローチャートである。
【図４】図１のノイズ量推定回路７の構成例を示すブロック図である。
【図５】図１のクラス分類回路４の構成例を示すブロック図である。
【図６】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図７】図６の学習装置による学習処理を説明するためのフローチャートである。
【図８】本発明を適用した媒体を説明するための図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路， ３ 予測タップ生成回路， ４ クラス分類回路， ５ 係数RAM， ６ 予測演算回路， ７ ノイズ量推定回路， １１乃至１８ 遅延回路， １９ 分散計算部， ２０ 分散積算メモリ， ２１ 分散値フレーム平均計算部， ２２乃至２６ 静止判定部， ２７ 連続静止位置検出部， ２８ メモリコントローラ， ２９ 動きベクトル検出回路， ３１乃至３６ 分散計算部， ３７乃至４２ 閾値処理部，４３乃至４７ 演算器， ４８乃至５２ シフタ， ６１ フレームメモリ，６２ ノイズ付加回路， ６３ フレームメモリ， ６４ クラスタップ生成回路， ６５ 予測タップ生成回路， ６６ クラス分類回路， ６７ 加算回路， ６８ 予測タップメモリ， ６９ 加算回路， ７０ 教師データメモリ， ７１ 演算回路， ７２ ノイズ量推定回路， １０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク， １１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ ダウンロードサイト， １２２ 衛星， １２３ コンピュータ， １３１ ネットワーク
Claims (9)
- 入力画像データを処理して、その入力画像データに対する出力画像データを予測する画像処理装置であって、
前記入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、前記注目入力画素データに含まれるノイズ量を推定する推定手段と、
前記入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される前記注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される前記周辺画素データを抽出する抽出手段と、
前記周辺画素データのうち、各方向に配された周辺画素データの値の分散と、前記ノイズ量としての分散との大小関係を判定することにより、前記周辺画素データの各方向に対応する定常性の大小を決定し、前記注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力するクラス分類手段と、
前記入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、前記クラス分類手段により生成される前記クラスコード毎に予め学習されており、前記抽出手段により抽出された周辺画素データと、前記クラスコードに対応する予測係数との線形一次結合により、前記注目入力画素データに対する出力画素データを予測する予測手段と
を含むことを特徴とする画像処理装置。 - 前記クラスコードごとに、前記予測係数を記憶している記憶手段をさらに含む
ことを特徴とする請求項１に記載の画像処理装置。 - 推定手段、抽出手段、クラス分類手段、および予測手段を備えた画像処理装置であって、入力画像データを処理して、その入力画像データに対する出力画像データを予測する前記画像処理装置の画像処理方法において、
前記推定手段が、前記入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、前記注目入力画素データに含まれるノイズ量を推定する推定ステップと、
前記抽出手段が、前記入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される前記注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される前記周辺画素データを抽出する抽出ステップと、
前記クラス分類手段が、前記周辺画素データのうち、各方向に配された周辺画素データの値の分散と、前記ノイズ量としての分散との大小関係を判定することにより、前記周辺画素データの各方向に対応する定常性の大小を決定し、前記注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力するクラス分類ステップと、
前記予測手段が、前記入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、前記クラス分類ステップの処理により生成される前記クラスコード毎に予め学習されており、前記抽出ステップの処理により抽出された周辺画素データと、前記クラスコードに対応する予測係数との線形一次結合により、前記注目入力画素データに対する出力画素データを予測する予測ステップと
を含むことを特徴とする画像処理方法。 - 入力画像データを処理して、その入力画像データに対する出力画像データを予測する画像処理を行うためのプログラムを、コンピュータに実行させる媒体であって、
前記入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、前記注目入力画素データに含まれるノイズ量を推定する推定ステップと、
前記入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される前記注目入力画素データを含む周辺画素データであって、記憶部に一時的に記憶される前記周辺画素データを抽出する抽出ステップと、
前記周辺画素データのうち、各方向に配された周辺画素データの値の分散と、前記ノイズ量としての分散との大小関係を判定することにより、前記周辺画素データの各方向に対応する定常性の大小を決定し、前記注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力するクラス分類ステップと、
前記入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、前記クラス分類ステップの処理により生成される前記クラスコード毎に予め学習されており、前記抽出ステップの処理により抽出された周辺画素データと、前記クラスコードに対応する予測係数との線形一次結合により、前記注目入力画素データに対する出力画素データを予測する予測ステップと
を含むことを特徴とするプログラムを、前記コンピュータに実行させる媒体。 - 入力画像データを処理し、その入力画像データに対する出力画像データを予測するのに用いる予測係数を学習する画像処理装置であって、
前記予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成手段と、
前記生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、前記注目生徒画素データに含まれるノイズ量を推定する推定手段と、
前記生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される前記注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される前記周辺画素データを抽出する抽出手段と、
前記周辺画素データのうち、各方向に配された周辺画素データの値の分散と、前記ノイズ量としての分散との大小関係を判定することにより、前記周辺画素データの各方向に対応する定常性の大小を決定し、前記注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力するクラス分類手段と、
前記教師画像データおよび生徒画像データを用いて、前記クラス分類手段により生成される前記クラスコードごとに、前記生徒画像データを用いた線形一次結合によって、前記教師画像データが得られるようにするための前記予測係数を求める演算手段と
を含むことを特徴とする画像処理装置。 - 前記生成手段は、前記教師画像データに、ノイズを付加することによって、前記生徒画像データを生成する
ことを特徴とする請求項５に記載の画像処理装置。 - 生成手段、推定手段、抽出手段、クラス分類手段、および演算手段を備えた画像処理装置であって、入力画像データを処理し、その入力画像データに対する出力画像データを予測するのに用いる予測係数を学習する前記画像処理装置の画像処理方法において、
前記生成手段が、前記予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成ステップと、
前記推定手段が、前記生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、前記注目生徒画素データに含まれるノイズ量を推定する推定ステップと、
前記抽出手段が、前記生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される前記注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される前記周辺画素データを抽出する抽出ステップと、
前記クラス分類手段が、前記周辺画素データのうち、各方向に配された周辺画素データの値の分散と、前記ノイズ量としての分散との大小関係を判定することにより、前記周辺画素データの各方向に対応する定常性の大小を決定し、前記注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力するクラス分類ステップと、
前記演算手段が、前記教師画像データおよび生徒画像データを用いて、前記クラス分類ステップの処理により生成される前記クラスコードごとに、前記生徒画像データを用いた線形一次結合によって、前記教師画像データが得られるようにするための前記予測係数を求める演算ステップと
を含むことを特徴とする画像処理方法。 - 入力画像データを処理し、その入力画像データに対する出力画像データを予測するのに用いる予測係数を学習する画像処理を行うためのプログラムを、コンピュータに実行させる媒体であって、
前記予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成ステップと、
前記生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、前記注目生徒画素データに含まれるノイズ量を推定する推定ステップと、
前記生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される前記注目生徒画素データを含む周辺画素データであって、記憶部に一時的に記憶される前記周辺画素データを抽出する抽出ステップと、
前記周辺画素データのうち、各方向に配された周辺画素データの値の分散と、前記ノイズ量としての分散との大小関係を判定することにより、前記周辺画素データの各方向に対応する定常性の大小を決定し、前記注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力するクラス分類ステップと、
前記教師画像データおよび生徒画像データを用いて、前記クラス分類ステップの処理により生成される前記クラスコードごとに、前記生徒画像データを用いた線形一次結合によって、前記教師画像データが得られるようにするための前記予測係数を求める演算ステップと
を含むことを特徴とするプログラムを、前記コンピュータに実行させる媒体。 - 入力画像データを処理して、その入力画像データに対する出力画像データを予測する第１の装置と、
前記出力画像データを予測するのに用いる予測係数を学習する第２の装置と
を備える画像処理装置であって、
前記第１の装置は、
前記入力画像データから、順次、注目入力画素データを設定し、当該注目入力画素データのうち静止と判定された注目入力画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、前記注目入力画素データに含まれるノイズ量を推定する第１の推定手段と、
前記入力画像データから、順次、注目している注目入力画素データを設定し、当該注目入力画素データに対して、空間的または時間的に周辺にあり、当該注目入力画素データを基準として複数の空間的または時間的方向に沿って配される前記注目入力画素データを含む第１の周辺画素データであって、記憶部に一時的に記憶される前記第１の周辺画素データを抽出する第１の抽出手段と、
前記第１の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、前記ノイズ量としての分散との大小関係を判定することにより、前記第１の周辺画素データの各方向に対応する定常性の大小を決定し、前記注目入力画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードより生成されるクラスコードを出力する第１のクラス分類手段と、
前記入力画像データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、前記第１のクラス分類手段により生成される前記クラスコード毎に予め学習されており、前記第１の抽出手段により抽出された第１の周辺画素データと、前記クラスコードに対応する予測係数との線形一次結合により、前記注目入力画素データに対する出力画素データを予測する予測手段と
を含み、
前記第２の装置は、
前記予測係数の学習のための教師となる教師画像データから、生徒となる生徒画像データを生成する生成手段と、
前記生徒画像データから、順次、注目生徒画素データを設定し、当該注目生徒画素データのうち静止と判定された注目生徒画素データの値と、空間的に同一の位置にあり時間方向に並ぶ複数の画素データの値より演算される分散により、前記注目生徒画素データに含まれるノイズ量を推定する第２の推定手段と、
前記生徒画像データから、順次、注目している注目生徒画素データを設定し、当該注目生徒画素データに対して、空間的または時間的に周辺にあり、当該注目生徒画素データを基準として複数の空間的または時間的方向に沿って配される前記注目生徒画素データを含む第２の周辺画素データであって、記憶部に一時的に記憶される前記第２の周辺画素データを抽出する第２の抽出手段と、
前記第２の周辺画素データのうち、各方向に配された周辺画素データの値の分散と、前記ノイズ量としての分散との大小関係を判定することにより、前記第２の周辺画素データの各方向に対応する定常性の大小を決定し、前記注目生徒画素データをクラス分類するため、当該各方向に対応する定常性の大小を表すコードにより生成されるクラスコードを出力する第２のクラス分類手段と、
前記教師画像データおよび生徒画像データを用いて、前記第２のクラス分類手段により生成される前記クラスコードごとに、前記生徒画像データを用いた線形一次結合によって、前記教師画像データが得られるようにするための前記予測係数を求める演算手段と
を含む
ことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16187399A JP4096281B2 (ja) | 1999-06-09 | 1999-06-09 | 画像処理装置および画像処理方法、並びに媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16187399A JP4096281B2 (ja) | 1999-06-09 | 1999-06-09 | 画像処理装置および画像処理方法、並びに媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000348020A JP2000348020A (ja) | 2000-12-15 |
| JP4096281B2 true JP4096281B2 (ja) | 2008-06-04 |
Family
ID=15743607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16187399A Expired - Fee Related JP4096281B2 (ja) | 1999-06-09 | 1999-06-09 | 画像処理装置および画像処理方法、並びに媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4096281B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4174487B2 (ja) | 2005-03-24 | 2008-10-29 | アドバンスド・マスク・インスペクション・テクノロジー株式会社 | 画像補正方法 |
| JP2007251690A (ja) * | 2006-03-16 | 2007-09-27 | Sony Corp | 画像処理装置および方法、学習装置および方法、並びにプログラム |
| JP4605468B2 (ja) * | 2006-03-16 | 2011-01-05 | ソニー株式会社 | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
| JP2009094784A (ja) * | 2007-10-09 | 2009-04-30 | Sanyo Electric Co Ltd | ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器 |
-
1999
- 1999-06-09 JP JP16187399A patent/JP4096281B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000348020A (ja) | 2000-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100844807B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
| US6678330B1 (en) | Image processing apparatus, image processing method, data-processing apparatus, data processing method, and storage medium | |
| US20130016920A1 (en) | Image processing device, image processing method, program and recording medium | |
| WO2002013512A1 (fr) | Procede et dispositif de traitement d'image et support enregistre | |
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| US20120321214A1 (en) | Image processing apparatus and method, program, and recording medium | |
| JP4517409B2 (ja) | データ処理装置およびデータ処理方法 | |
| Masood et al. | Color differences based fuzzy filter for extremely corrupted color images | |
| JPH09212650A (ja) | 動きベクトル検出装置および検出方法 | |
| JP4224882B2 (ja) | データ処理装置およびデータ処理方法 | |
| JP4407015B2 (ja) | ノイズ除去装置およびノイズ除去方法 | |
| JP4324825B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP4096281B2 (ja) | 画像処理装置および画像処理方法、並びに媒体 | |
| JP2009003598A (ja) | 画像生成装置および方法、学習装置および方法、並びにプログラム | |
| JP3849817B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4135045B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| US20040234160A1 (en) | Data converting apparatus and data converting method, learning device and learning method, and recording medium | |
| JP4225039B2 (ja) | データ処理装置および方法、記録媒体、並びにプログラム | |
| EP1001372B1 (en) | Data processing apparatus and data processing methods | |
| JP4078806B2 (ja) | 画像処理装置、画像処理方法、学習装置および学習方法 | |
| JP3651093B2 (ja) | 動きベクトル検出装置および方法 | |
| JP3861325B2 (ja) | 動きベクトル検出装置および検出方法 | |
| JP4182574B2 (ja) | 画像情報変換装置および変換方法 | |
| JP2000134511A (ja) | 画像情報変換装置および変換方法 | |
| JP2934151B2 (ja) | 動きベクトル探索方法と装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070621 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080117 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080228 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140321 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |