JP4957280B2

JP4957280B2 - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: JP4957280B2
Application number: JP2007034386A
Authority: JP
Inventors: 秀樹大塚; 悠太長木; 恵司堀田; 朋範河瀬; 正康鈴木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-02-15
Filing date: 2007-02-15
Publication date: 2012-06-20
Anticipated expiration: 2027-02-15
Also published as: JP2008199437A

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、例えば、より高画質の画像を生成することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

本出願人は、例えば、歪みその他のノイズを含むノイズ画像を、そのノイズ画像に含まれるノイズを除去したノイズ除去画像に変換する方法として、クラス分類適応処理を先に提案している（例えば、特許文献１を参照）。

クラス分類適応処理では、例えば、ノイズ画像の複数の画素を予測タップとして、その予測タップの画素値と、教師画像および生徒画像を用いた学習により、あらかじめ求めておいた係数を用いた所定の予測演算により、ノイズ画像からノイズ除去画像が予測される。

即ち、クラス分類適応処理では、予測タップを、複数のクラスのうちのいずれかのクラスにクラス分類し、そのクラスに応じた係数と、予測タップとを用いて予測演算が行われることにより、ノイズ画像からノイズ除去画像が予測される。
特開２００３−３２４７３８号公報

ところで、複数の予測タップそれぞれの画素値と、教師画像および生徒画像を用いた学習により、あらかじめ求めておいた係数を用いて、所定の予測演算を行う場合には、ノイズ画像に含まれるノイズを、より効率的に除去することができるように、複数の予測タップのうちの、所定の予測タップに含まれるノイズなどの状態を考慮しつつ、他の予測タップをクラス分類することが望ましい。

本発明はこのような状況に鑑みてなされたものであり、複数の予測タップそれぞれに含まれるノイズなどの状態を考慮することで、より高画質の画像を予測することができるようにするものである。

本発明の一側面の画像処理装置は、第１の画像データを第２の画像データに変換する画像処理装置において、前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出手段と、複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段と、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力手段と、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算手段とを備え、前記クラス分類手段は、注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成手段と、注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段とを有し、前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。

前記第１の画像データは、所定の画像データを、所定のブロックごとに２次元DCT（Discrete Cosine Transform）変換して得られる符号化データを復号することで得られた画像データとすることができる。

前記所定のブロックが、フレーム構造であるか、フィールド構造であるかを判定する判定手段をさらに設けることができ、前記予測タップ抽出手段では、前記判定手段の判定結果に基づいて、前記注目画素との位置関係が異なる複数の画素を、前記予測タップとして抽出することができる。

前記予測タップ抽出手段では、前記注目画素に対応する前記予測タップを、前記注目画素を含むブロックと、そのブロックに隣接するブロックから抽出することができる。

前記予測タップ抽出手段では、前記注目画素に対応する前記予測タップの一部として、前記注目画素を含むブロックに隣接する画素を抽出することができる。

前記所定の演算に用いられる閾値を、前記第１の画像データの画素を用いて算出する閾値算出手段をさらに設けることができ、前記第１および第２のサブコード生成手段では、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行うことができる。

前記閾値算出手段では、前記閾値を、前記注目画素を含むブロックの画素を用いて算出することができる。

前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに設けることができ、前記係数出力手段では、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数すべてを、複数の前記予測タップそれぞれに対して出力し、前記予測演算手段では、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数のうちの、前記画素位置モードに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求めることができる。

前記ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値を割り当てることができる。

前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに設けることができ、前記予測演算では、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求めることができる。

本発明の一側面の画像処理方法、またはプログラムは、第１の画像データを第２の画像データに変換する画像処理方法、または第１の画像データを第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出ステップと、複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力ステップと、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算ステップとを含み、前記クラス分類ステップは、注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成ステップと、注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップとを有し、前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。

本発明の一側面においては、前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップが、前記第１の画像データから複数抽出され、複数の前記予測タップそれぞれが、複数のクラスのうちのいずれかのクラスにクラス分けされる。また、クラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップが、前記第１の画像データから抽出され、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数が、複数の前記予測タップそれぞれに対して出力されるとともに、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素が求められる。さらに、前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けする場合において、注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードが生成され、注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードが生成され、前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードが生成される。そして、生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスが、所定の前記予測タップのクラスとされる。

本発明の一側面によれば、複数の予測タップそれぞれに含まれるノイズなどの状態を考慮することで、より高画質の画像を生成することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、
第１の画像データを第２の画像データに変換する画像処理装置（例えば、図４７の画像変換部３１）において、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出手段（例えば、図４７の水平予測タップ抽出部10061や垂直予測タップ抽出部10065）と、
複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段（例えば、図４７の水平クラス分類部10063や垂直クラス分類部10067）と、
前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段（例えば、図４７の水平差分クラスタップ抽出部10062aや垂直差分クラスタップ抽出部10066b）と、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力手段（例えば、図４７の水平係数記憶部10064や垂直係数記憶部10068）と、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算手段（例えば、図４７の予測演算部10069）と
を備え、
前記クラス分類手段は、
注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成手段（例えば、図４９の水平差分クラスコード生成部11015や、図５４の垂直差分クラスコード生成部11035）と、
注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段（例えば、図４９の垂直差分クラスコード生成部11016や、図５４の水平差分クラスコード生成部11036）により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段（例えば、図４９の垂直差分ゼロクラスコード生成部11017や、図５４の水平差分ゼロクラスコード生成部11037）と
を有し、
前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。

本発明の一側面の画像処理装置において、
前記所定の演算に用いられる閾値を、前記第１の画像データの画素を用いて算出する閾値算出手段（例えば、図４９の差分絶対値算出部11011および閾値選択部11014）をさらに備え、
前記第１および第２のサブコード生成手段は、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行う。

本発明の一側面の画像処理装置において、
前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段（例えば、図７８のモード判定部20031や20032）をさらに備え、
前記係数出力手段は、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数すべてを、複数の前記予測タップそれぞれに対して出力し、
前記予測演算手段は、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数のうちの、前記画素位置モードに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める。

本発明の一側面の画像処理装置において、
前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段（例えば、図７８のモード判定部20031や20032）をさらに備え、
前記予測演算は、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める。

本発明の一側面の画像処理方法、またはプログラムは、
第１の画像データを第２の画像データに変換する画像処理方法、または第１の画像データを第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出ステップ（例えば、図５８のステップＳ10061や、図６０のステップＳ10091）と、
複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップ（例えば、図５８のステップＳ10063や、図６０のステップＳ10093）と、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップ（例えば、図５８のステップＳ10062や、図６０のステップＳ10092）と、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力ステップ（例えば、図５８のステップＳ10064や、図６０のステップＳ10094）と、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算ステップ（例えば、図５８のステップＳ10065や、図６０のステップＳ10095）と
を含み、
前記クラス分類ステップは、
注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成ステップ（例えば、図５９のステップＳ10073や、図６１のステップＳ10113）と、
注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップ（例えば、図５９のステップＳ10074や、図６１のステップＳ10114）と
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した画像変換部の一実施の形態の構成例を示すブロック図である。

画像変換部３１は、第１の画像データを第２の画像データに変換する画像変換処理を行う。

ここで、画像変換部３１で行われる画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な処理を実現することができる。

即ち、例えば、第２の画像データを高解像度の画像データとするとともに、第１の画像データを、第２の画像データの解像度を低下させた低解像度の画像データとすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第２の画像データを高Ｓ／Ｎ(Signal/Noise)の画像データとするとともに、第１の画像データを、第２の画像データのＳ／Ｎを低下させた低Ｓ／Ｎの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第２の画像データをHD画像データとするとともに、第１の画像データを、第２の画像データの画素数と解像度を小さくしたSD画像データとすれば、画像変換処理は、SD画像をHD画像に変換する処理ということができる。

以下、第２の画像データを高Ｓ／Ｎの画像データ（以下、適宜、ノイズ除去画像という。）とし、第１の画像データを、第２の画像データのＳ／Ｎを低下させた低Ｓ／Ｎの画像データ（以下、適宜、ノイズ画像という。）として、図１の画像変換部３１における画像変換処理を説明する。

図２は、図１の画像変換部３１の第１の構成例を示すブロック図である。

画像変換部３１は、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、および予測演算部６９により構成される。

画像変換部３１には、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が供給される。そして、ノイズ画像は、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、および垂直クラスタップ抽出部６６に供給される。

水平予測タップ抽出部６１は、そこに供給されたノイズ画像を構成する画素を、例えば、いわゆるラスタスキャン順に、順次、注目画素とする。さらに、水平予測タップ抽出部６１は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素（の画素値）である水平予測タップを、ノイズ画像から抽出する。

即ち、水平予測タップ抽出部６１は、例えば、図２中央に示される水平方向に並ぶ、注目画素を中心とする複数の画素の水平方向のタップ４１を、水平予測タップとして抽出する。ここで、図２では、図２中央に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、および注目画素の、水平方向に並ぶ９個の画素が、水平方向のタップ４１として示されている。

水平予測タップ抽出部６１は、ノイズ画像から抽出した水平予測タップを予測演算部６９に供給する。

水平クラスタップ抽出部６２は、水平予測タップ抽出部６１により抽出された水平予測タップを、複数の水平クラスのうちのいずれかの水平クラスにクラス分けする水平クラス分類に用いる複数の画素である水平クラスタップを、供給されてくるノイズ画像から抽出する。

即ち、水平クラスタップ抽出部６２は、例えば、図２中央に示される水平方向に並ぶ、９画素のである水平方向のタップ４１を、水平クラスタップとして抽出する。

なお、ここでは、説明を簡単にするために、水平予測タップと水平クラスタップとは、同一のタップ構造（注目画素に対する位置関係）を有する複数の画素とする。但し、水平予測タップと水平クラスタップとは、異なるタップ構造の複数の画素とすることができる。

水平クラスタップ抽出部６２において得られる、水平予測タップに対応する水平クラスタップは、水平クラス分類部６３に供給される。水平クラス分類部６３は、水平クラスタップ抽出部６２からの水平クラスタップに基づいて水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部６４に出力する。

ここで、水平クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Ra
nge Coding)等を採用することができる。

ADRCを用いる方法では、水平クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られたADRCコードにしたがって、水平予測タップの水平クラスが決定される。

なお、KビットADRCにおいては、例えば、水平クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、水平クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、水平クラスタップを構成する画素（の画素値）がKビットに再量子化される。即ち、水平クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。そして、以上のようにして得られる、水平クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、水平クラスタップが、例えば、１ビットADRC処理された場合には、その水平クラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。

なお、水平クラス分類部６３には、例えば、水平クラスタップを構成する画素の画素値のレベル分布のパターンを、そのまま水平クラスコードとして出力させることも可能である。しかしながら、この場合、水平クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、水平クラス分類部６３が出力する水平クラスコードの場合の数は、（２^N）^K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。

従って、水平クラス分類部６３においては、水平クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮して、水平クラス分類を行うのが好ましい。

水平係数記憶部６４は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットを記憶しており、その記憶している水平係数のセットのうちの、水平クラス分類部６３から供給された水平クラスコードに対応するアドレスに記憶されている水平係数（水平クラス分類部６３から供給された水平クラスコードが表す水平クラスに対応する水平係数）を、予測演算部６９に出力する。

垂直予測タップ抽出部６５は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素（の画素値）である垂直予測タップを、供給されてくるノイズ画像から抽出する。

即ち、垂直予測タップ抽出部６５は、例えば、図２右側に示される垂直方向に並ぶ、注目画素を中心とする複数の画素の垂直方向のタップ４２を、垂直予測タップとして抽出する。ここで、図２では、図２右側に白丸で示す注目画素の上に隣接する、黒丸で示す４個の画素、注目画素の下に隣接する、黒丸で示す４個の画素、および注目画素の、垂直方向に並ぶ９個の画素が垂直方向のタップ４２として示されている。

垂直予測タップ抽出部６５は、ノイズ画像から抽出した垂直予測タップを予測演算部６９に供給する。

垂直クラスタップ抽出部６６は、垂直予測タップ抽出部６５により抽出された垂直予測タップを、複数の垂直クラスのうちのいずれかの垂直クラスにクラス分けする垂直クラス分類に用いる複数の画素（の画素値）である垂直クラスタップを、供給されてくるノイズ画像から抽出する。

即ち、垂直クラスタップ抽出部６６は、例えば、図２右側に示される垂直方向に並ぶ９画素である垂直方向のタップ４２を、垂直クラスタップとして抽出する。

なお、ここでは、説明を簡単にするために、垂直予測タップと垂直クラスタップとは、同一のタップ構造（注目画素に対する位置関係）を有する複数の画素とする。但し、垂直予測タップと垂直クラスタップとは、異なるタップ構造の複数の画素とすることができる。

垂直クラスタップ抽出部６６において得られる、垂直予測タップに対応する垂直クラスタップは、垂直クラス分類部６７に供給される。垂直クラス分類部６７は、垂直クラスタップ抽出部６６からの垂直クラスタップに基づいて垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部６８に出力する。

ここで、垂直クラス分類を行う方法としては、例えば、上述した水平クラス分類部６３で行われる水平クラス分類と同様の方法を採用することができる。

垂直係数記憶部６８は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットを記憶しており、その記憶している垂直係数のセットのうちの、垂直クラス分類部６７から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数（垂直クラス分類部６７から供給された垂直クラスコードが表す垂直クラスに対応する垂直係数）を、予測演算部６９に出力する。

予測演算部６９は、水平予測タップ抽出部６１から供給された水平予測タップ、垂直予測タップ抽出部６５から供給された垂直予測タップ、水平係数記憶部６４から供給された水平係数、および垂直係数記憶部６８から供給された垂直係数に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。

ここで、予測演算部６９で行われる予測演算には、例えば、水平予測タップと水平係数とにより水平処理画像を求める水平予測演算、垂直予測タップと垂直係数とにより垂直処理画像を求める垂直予測演算、水平予測演算により求められた水平処理画像の画素値と垂直予測演算により求められた垂直処理画像の画素値とを加算する加算演算、および加算演算の演算結果のゲインを調整するゲイン調整演算が含まれる。

以下、水平予測演算、垂直予測演算、加算演算、およびゲイン調整演算の順番で説明する。

水平予測タップと水平係数とを用いた水平予測演算として、例えば、線形１次予測演算を採用し、水平処理画像の画素（以下、適宜、水平画素という）の画素値Ｈを求めることとすると、水平画素の画素値Ｈは、次の線形１次式によって求められることになる。

・・・（１）

但し、式（１）において、ｘ_nは、注目画素に対応する水平画素（ノイズ画像の注目画素と同一の位置にある水平処理画像の画素）についての水平予測タップを構成する複数の、ノイズ画像の画素（以下、適宜、ノイズ画素という）のうちのｎ番目の画素の画素値を表している。ここで、例えば、水平予測タップが図２に示した水平方向に並ぶ９画素である水平方向のタップ４１とすると、ｎ番目のノイズ画素の画素値とは、水平方向のタップ４１に付された番号ｎに対応するノイズ画素の画素値を示している。なお、ｘ₁は、注目画素の画素値を表している。

また、ｗ_nは、ｎ番目のノイズ画素の画素値と乗算される水平係数を表す。なお、式（１）では、水平予測タップが、Ｎ個のノイズ画素ｘ₁，・・・，ｘ_Nで構成されるものとしている。

従って、水平予測演算により求められる水平画素の画素値Ｈは、ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ_N-1ｘ_N-1＋ｗ_Nｘ_N＝｛（ｗ₁−１）ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ_N-1ｘ_N-1＋ｗ_Nｘ_N｝＋ｘ₁となり、ｈ＝｛（ｗ₁−１）ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ_N-1ｘ_N-1＋ｗ_Nｘ_N｝とすれば、Ｈ＝ｈ＋ｘ₁となる。

ここで、ｈは、水平予測演算により求められた水平画素の画素値Ｈからノイズ画素の注目画素の画素値ｘ₁を差し引くことで得られる差分の画素値Ｈ−ｘ₁を表す。従って、ｈを、以下、適宜、水平差分ｈという。

水平差分ｈを導入することにより、水平画素の画素値Ｈは、ノイズ画素の注目画素の画素値ｘ₁に水平差分ｈを加算することで得られる画素値と考えることができる。そして、水平画素は、水平予測演算により、ノイズ画素（の画素値）に含まれるノイズが除去された画素であるから、水平差分ｈは、いわば、水平係数ｗ_nと水平予測タップの画素値ｘ_nとを用いた水平予測演算による、ノイズの除去の効果分（以下、適宜、水平処理効果分という）であるということができる。

次に、垂直予測タップと垂直係数とを用いた垂直予測演算として、例えば、線形１次予測演算を採用し、垂直処理画像の画素（以下、適宜、垂直画素という）の画素値Ｖを求めることとすると、垂直画素の画素値Ｖは、次の線形１次式によって求められることになる。

・・・（２）

但し、式（２）において、ｘ’_nは、注目画素に対応する垂直画素（ノイズ画像の注目画素と同一の位置にある垂直処理画像の画素）についての垂直予測タップを構成する複数のノイズ画素のうちのｎ番目の画素の画素値を表している。ここで、例えば、垂直予測タップが、図２に示した垂直方向に並ぶ９画素である垂直方向のタップ４２とすると、ｎ番目のノイズ画素の画素値とは、垂直方向のタップ４２に付された番号ｎに対応するノイズ画素の画素値を示している。なお、ｘ’₁は、注目画素の画素値を表しており、注目画素の画素値であるｘ₁と同一であるため、以下、ｘ₁ともいう。

また、ｗ’_nは、ｎ番目のノイズ画素の画素値と乗算される垂直係数を表す。なお、式（２）では、垂直予測タップが、Ｎ個のノイズ画素ｘ’₁，・・・，ｘ’_Nで構成されるものとしている。

従って、垂直予測演算により求められる垂直画素の画素値Ｖは、ｗ’₁ｘ₁＋ｗ’₂ｘ’₂＋・・・＋ｗ’_N-1ｘ’_N-1＋ｗ’_Nｘ’_N＝｛（ｗ’₁−１）ｘ₁＋ｗ’₂ｘ’₂＋・・・＋ｗ’_N-1ｘ’_N-1＋ｗ’_Nｘ’_N｝＋ｘ₁となり、ｖ＝｛（ｗ’₁−１）ｘ₁＋ｗ’₂ｘ’₂＋・・・＋ｗ’_N-1ｘ’_N-1＋ｗ’_Nｘ’_N｝とすれば、Ｖ＝ｖ＋ｘ₁となる。

ここで、ｖは、垂直予測演算により求められた垂直画素の画素値Ｖからノイズ画素の注目画素の画素値ｘ₁を差し引くことで得られる差分の画素値を表す。従って、ｖを、以下、適宜、垂直差分ｖという。

垂直差分ｖを導入することにより、垂直画素の画素値Ｖは、ノイズ画素の注目画素の画素値ｘ₁に垂直差分ｖを加算することで得られる画素値と考えることができる。そして、垂直画素は、垂直予測演算により、ノイズ画素（の画素値）に含まれるノイズが除去された画素であるから、垂直差分ｖは、いわば、垂直係数ｗ’_nと垂直予測タップの画素値ｘ’_nとを用いた垂直予測演算による、ノイズの除去の効果分（以下、適宜、垂直処理効果分という）であるということができる。

次に、加算演算では、水平予測演算により求められた水平画素の画素値Ｈ＝ｈ＋ｘ₁と、垂直予測演算により求められた垂直画素の画素値Ｖ＝ｖ＋ｘ₁とを加算することで画素値Ｈ＋Ｖ＝ｈ＋ｖ＋２ｘ₁を得る。

画素値Ｈ＋Ｖは、ノイズ画素の画素値ｘ₁に水平差分ｈと垂直差分ｖとを加算し、さらに、ノイズ画素の画素値ｘ₁を加算した値となっており、ノイズ画素の画素値ｘ₁が２重に加算された値となっている。

そこで、ゲイン調整演算では、画素値Ｈ＋Ｖから、２重に加算されたノイズ画素の画素値ｘ₁を差し引くことにより画素値Ｈ＋Ｖ―ｘ₁＝ｈ＋ｖ＋ｘ₁を得る。予測演算部６９による予測演算では、この画素値Ｈ＋Ｖ―ｘ₁＝ｈ＋ｖ＋ｘ₁が、注目画素に対応する、ノイズ除去画像の画素の画素値として求められる。

従って、予測演算では、注目画素に対応する、ノイズ除去画像の画素の画素値ｙが、式（３）にしたがって求められる。
ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ_Nｘ_N＋ｗ’₁ｘ₁＋ｗ’₂ｘ’₂＋・・・＋ｗ’_Nｘ’_N−ｘ₁
・・・（３）

なお、式（３）から、注目画素に対応する、ノイズ除去画像の画素の画素値ｙは、式ｙ＝Ｈ＋（Ｖ−ｘ₁）＝ｈ＋ｘ₁＋（ｖ＋ｘ₁−ｘ₁）＝ｈ＋ｖ＋ｘ₁によって求めることもできる。

図３は、図２の予測演算部６９の構成例を示すブロック図である。

図２の予測演算部６９は、水平予測演算部１０１、垂直予測演算部１０２、ゲイン調整部１０３、および加算部１０４により構成される。

水平予測演算部１０１には、水平係数記憶部６４からの水平係数ｗ_nと、水平予測タップ抽出部６１からの水平予測タップｘ_nとが供給される。

水平予測演算部１０１は、水平係数記憶部６４からの水平係数ｗ_nと、水平予測タップ抽出部６１からの水平予測タップｘ_nとを用いた水平予測演算を行い、その結果得られた水平画素の画素値Ｈを、加算部１０４に供給する。

垂直予測演算部１０２には、垂直係数記憶部６８からの垂直係数ｗ’_nと、垂直予測タップ抽出部６５からの垂直予測タップｘ’_nとが供給される。

垂直予測演算部１０２は、垂直係数記憶部６８からの垂直係数ｗ’_nと、垂直予測タップ抽出部６５からの垂直予測タップｘ’_nとを用いた垂直予測演算を行い、その結果得られた垂直画素の画素値Ｖを、ゲイン調整部１０３に供給する。

ゲイン調整部１０３には、垂直予測タップ抽出部６５から、注目画素の画素値ｘ₁が供給される。

ゲイン調整部１０３は、垂直予測演算部１０２から供給された画素値Ｖから、垂直予測タップ抽出部６５から供給された注目画素の画素値ｘ₁を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である垂直差分ｖを加算部１０４に供給する。

加算部１０４は、水平予測演算部１０１から供給された水平画素の画素値Ｈ＝ｈ＋ｘ₁と、ゲイン調整部１０３から供給された垂直差分ｖとを加算し、その結果得られた画素値ｈ＋ｖ＋ｘ₁を、ノイズ除去画像を予測した画素値ｙとして出力する。

ここで、図３の水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、および水平予測演算部１０１を総称して水平マッピング部７１といい、その水平マッピング部７１が、水平係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ₁を、水平画素の画素値Ｈに変換する処理を、以下、適宜、水平マッピング処理という。

また、水平画素の画素値Ｈは、水平処理画像の画素値を示すものであるため、以下、単に、水平処理画像Ｈともいう。さらに、ノイズ画素の画素値ｘ₁は、ノイズ画像の画素値を示すものであるため、以下、単に、ノイズ画像ｘ₁ともいう。

さらに、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、および垂直予測演算部１０２を総称して垂直マッピング部７２といい、その垂直マッピング部７２が、垂直係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ₁を、垂直画素の画素値Ｖに変換する処理を、以下、適宜、垂直マッピング処理という。

また、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、垂直予測演算部１０２、およびゲイン調整部１０３を総称して垂直差分マッピング部７３といい、その垂直差分マッピング部７３が、垂直係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ₁を、垂直差分ｖに変換する処理を、以下、適宜、垂直差分マッピング処理という。

また、垂直画素の画素値Ｖは、垂直処理画像の画素値を示すものであるため、以下、単に、垂直処理画像Ｖともいう。

次に、図４のフローチャートを参照して、図２の画像変換部３１における画像変換処理を説明する。

この画像変換処理は、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が、画像変換部３１に供給されたときに開始される。このとき、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、および垂直クラスタップ抽出部６６には、ノイズ画像が供給される。

ステップＳ３１において、水平マッピング部７１（図３）の水平予測タップ抽出部６１は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とし、処理は、ステップＳ３２に進む。

ステップＳ３２において、水平マッピング部７１は、注目画素について水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、加算部１０４に供給して、処理は、ステップＳ３３に進み、垂直差分マッピング部７３（図３）は、注目画素について垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部１０４に供給して、処理は、ステップＳ３４に進む。

ステップＳ３４において、加算部１０４は、水平マッピング部７１からの水平処理画像Ｈと、垂直差分マッピング部７３からの垂直差分ｖとを加算し、注目画素に対応する、ノイズ除去画像の画素の画素値ｙ＝Ｈ＋ｖを得て出力する。

その後、処理は、ステップＳ３４からステップＳ３５に進み、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画像の画素が存在するか否かを判定する。

ステップＳ３５において、まだ注目画素とされていないノイズ画素が存在すると判定された場合、処理は、ステップＳ３１に戻り、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画素のうちの１つを、新たな注目画素とし、処理は、ステップＳ３２に進み、以下、同様の処理を繰り返す。

一方、ステップＳ３５において、まだ注目画素とされていないノイズ画素が存在しないと判定された場合、画像変換処理は終了される。

次に、図５のフローチャートを参照して、図４のステップＳ３２における水平マッピング処理の詳細を説明する。

ステップＳ６１において、水平マッピング部７１の水平予測タップ抽出部６１は、水平予測タップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素である水平方向のタップ４１を、供給されてくるノイズ画像から抽出し、予測演算部６９（図３）の水平予測演算部１０１に供給する。

処理は、ステップＳ６１からステップＳ６２に進み、水平マッピング部７１の水平クラスタップ抽出部６２は、水平クラスタップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素である水平方向のタップ４１を、供給されてくるノイズ画像から抽出し、水平クラス分類部６３に供給する。

処理は、ステップＳ６２からステップＳ６３に進み、水平マッピング部７１の水平クラス分類部６３は、水平クラスタップ抽出部６２からの水平クラスタップに基づき、水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部６４に出力する。

処理は、ステップＳ６３からステップＳ６４に進み、水平マッピング部７１の水平係数記憶部６４は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットのうちの、水平クラス分類部６３から供給された水平クラスコードに対応するアドレスに記憶されている水平係数ｗ_nを、予測演算部６９（図３の水平予測演算部１０１）に出力する。

処理は、ステップＳ６４からステップＳ６５に進み、水平マッピング部７１の水平予測演算部１０１は、水平係数記憶部６４からの水平係数ｗ_nと、水平予測タップ抽出部６１からの水平予測タップｘ_nとを用いた水平予測演算を行い、その結果得られた水平処理画像Ｈを、加算部１０４に供給し、その後、処理は、図４のステップＳ３２にリターンして、その後の処理を行う。

次に、図６のフローチャートを参照して、図４のステップＳ３３における垂直差分マッピング処理の詳細を説明する。

ステップＳ９１において、垂直差分マッピング部７３の垂直予測タップ抽出部６５は、垂直予測タップ、即ち、例えば、注目画素を中心として垂直方向に並ぶ９画素である垂直方向のタップ４２を、供給されてくるノイズ画像から抽出し、予測演算部６９（図３の垂直予測演算部１０２）に供給する。

処理は、ステップＳ９１からステップＳ９２に進み、垂直差分マッピング部７３の垂直クラスタップ抽出部６６は、垂直クラスタップ、即ち、例えば、注目画素を中心として垂直方向に並ぶ９画素である垂直方向のタップ４２を、供給されてくるノイズ画像から抽出し、垂直クラス分類部６７に供給する。

処理は、ステップＳ９２からステップＳ９３に進み、垂直差分マッピング部７３の垂直クラス分類部６７は、垂直クラスタップ抽出部６６からの垂直クラスタップに基づき、垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部６８に出力する。

処理は、ステップＳ９３からステップＳ９４に進み、垂直差分マッピング部７３の垂直係数記憶部６８は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットのうちの、垂直クラス分類部６７から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数ｗ’_nを、予測演算部６９（図３の垂直予測演算部１０２）に出力する。

処理は、ステップＳ９４からステップＳ９５に進み、垂直差分マッピング部７３の垂直予測演算部１０２は、垂直係数記憶部６８からの垂直係数ｗ’_nと、垂直予測タップ抽出部６５からの垂直予測タップｘ’_nとを用いた垂直予測演算を行い、その結果得られた垂直処理画像Ｖを、ゲイン調整部１０３に供給する。

処理は、ステップＳ９５からステップＳ９６に進み、ゲイン調整部１０３は、垂直予測演算部１０２から供給された垂直処理画像Ｖから、垂直予測タップ抽出部６５から供給された注目画素の画素値ｘ₁を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である垂直差分ｖを加算部１０４に供給する。なお、ゲイン調整部１０３には、垂直予測タップ抽出部６５から、ノイズ画像の注目画素の画素値ｘ₁が供給される。

その後、処理はステップＳ９６から図４のステップＳ３３にリターンして、その後の処理を行う。

以上のような図２の画像変換部３１では、水平予測タップの水平クラスに対応する水平係数と、垂直予測タップの垂直クラスに対応する垂直係数との２つの係数を用いて、所定の予測演算を行うことにより、いわば、実質的なクラスの総数は、水平クラスの総数と垂直クラスの総数との和よりも大にすることができる。

即ち、例えば、水平クラスの総数が１０クラスであり、垂直クラスの総数が１０クラスであるとき、図２の画像変換部３１では、水平予測タップの水平クラスに対応する水平係数と、垂直予測タップの垂直クラスに対応する垂直係数との２セットの係数を用いて、所定の予測演算を行うので、所定の予測演算で用いられる水平係数と垂直係数との係数セットの組み合わせは、水平クラスの総数である１０クラスと、垂直クラスの総数である１０クラスとの組み合わせである１０×１０＝１００セットとなる。

従って、水平クラスと垂直クラスとの総数が２０クラスであるのに対して、所定の予測演算に用いられる係数セットは１００セットであるので、水平クラスと垂直クラスによってクラス分類し得る実質的なクラスは１００クラスとなる。

以上のように、水平係数と垂直係数の総数は、２０セットであるのに対して、実質的なクラスの総数は１００クラスであるため、水平係数記憶部６４と垂直係数記憶部６８を構成するメモリの容量を大きくすることなく、画像変換処理による注目画素に対応する、ノイズ除去画像の画素の画素値ｙの予測の精度を高めることができる。

次に、後の説明を簡単にするために、水平係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ₁を、水平差分ｈに変換する水平差分マッピング処理を行う水平差分マッピング部を説明する。

即ち、図７は、水平差分マッピング処理を行う水平差分マッピング部１１１の構成例を示すブロック図である。

なお、図中、図３の水平マッピング部７１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。

即ち、図７の水平差分マッピング部１１１は、新たにゲイン調整部１１２が設けられているほかは、図３の水平マッピング部７１の場合と同様に構成されている。

ゲイン調整部１１２には、水平予測タップ抽出部６１から、ノイズ画像の注目画素の画素値ｘ₁が供給されるとともに、水平予測演算部１０１から、水平処理画像Ｈ＝ｈ＋ｘ₁が供給される。

ゲイン調整部１１２は、水平予測演算部１０１から供給された水平処理画像Ｈ＝ｈ＋ｘ₁から、水平予測タップ抽出部６１から供給されたノイズ画像の注目画素の画素値ｘ₁を差し引き、その結果得られた水平差分ｈを出力する。

次に、ノイズ画像から、ノイズ除去画像を予測するのに用いる水平係数ｗ_nを学習する（求める）方法を説明する。

第ｋサンプルのノイズ除去画像の画素（以下、適宜、ノイズ除去画素という）の画素値の真値をｙ_kと表すとともに、式（１）による水平予測演算よって得られる、その真値ｙ_kの予測値、つまり、水平処理画像の画素の画素値Ｈをｙ_k'と表すと、その予測誤差ｅ_kは、次式で表される。

・・・（４）

いま、式（４）の予測値ｙ_k'は、式（１）にしたがって求められるため、式（４）のｙ_k'を、式（１）にしたがって置き換えると、次式が得られる。

・・・（５）

但し、式（５）において、ｘ_n,kは、第ｋサンプルのノイズ除去画素についての水平予測タップを構成するｎ番目のノイズ画素を表す。

式（５）（または式（４））の予測誤差ｅ_kを０とする水平係数ｗ_nが、ノイズ除去画素を予測するのに最適なものとなるが、すべてのノイズ除去画素について、そのような水平係数ｗ_nを求めることは、一般には困難である。

そこで、水平係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な水平係数ｗ_nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

・・・（６）

但し、式（６）において、Ｋは、ノイズ除去画素（の画素値）ｙ_kと、そのノイズ除去画素ｙ_kについての水平予測タップを構成するノイズ画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数（学習用のサンプルの数）を表す。

式（６）の自乗誤差の総和Ｅの最小値（極小値）は、式（７）に示すように、総和Ｅを水平係数ｗ_nで偏微分したものを０とするｗ_nによって与えられる。

・・・（７）

一方、上述の式（５）を水平係数ｗ_nで偏微分すると、次式が得られる。

・・・（８）

式（７）と式（８）から、次式が得られる。

・・・（９）

式（９）のｅ_kに、式（５）を代入することにより、式（９）は、式（１０）に示す正規方程式で表すことができる。

・・・（１０）

式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、水平係数ｗ_nについて解くことができる。

即ち、画像変換処理の対象となるノイズ画像などに相当する画像である生徒画像と、画像変換処理によって求められるノイズ除去画像などの、ノイズ画像よりも高画質の真値の画像である教師画像との多数のセットを、学習に用いる学習用のサンプルとして用い、式（１０）の正規方程式を、クラスごとにたてて解くことにより、水平係数（ここでは、自乗誤差の総和Ｅを最小にする水平係数）ｗ_nを、水平クラスごとに求めることができる。

次に、図８を参照して、式（１０）の正規方程式を水平クラスごとにたてて解くことにより水平係数ｗ_nを求める学習を行う学習部１２１を説明する。

図８は、水平係数ｗ_nを求める学習を行う学習部１２１の構成例を示すブロック図である。

図８の学習部１２１は、原画像記憶部１３１、ノイズ付加部１３２、予測タップ抽出部１３３、クラスタップ抽出部１３４、クラス分類部１３５、足し込み部１３６、および係数算出部１３７により構成される。

原画像記憶部１３１には、ノイズ除去画像に相当する高Ｓ/Ｎの画像が多数、記憶されている。

ノイズ付加部１３２は、原画像記憶部１３１に記憶されている画像（以下、適宜、原画像という）を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、予測タップ抽出部１３３およびクラスタップ抽出部１３４に供給する。

予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップ（図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平予測タップ）を得て、足し込み部１３６に供給する。

クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップ（図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平クラスタップ）を得て、クラス分類部１３５に供給する。

クラス分類部１３５は、クラスタップ抽出部１３４から供給された水平クラスタップに基づき、図２の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部１３６に供給する。

足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、注目画素に対応する教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された水平クラスコードごとに行う。

即ち、足し込み部１３６には、原画像記憶部１３１に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙ_k、予測タップ抽出部１３３が出力する注目画素についての水平予測タップを構成する生徒画像の画素の画素値ｘ_n,k、クラス分類部１３５が出力する、水平予測タップの水平クラスを表す水平クラスコードが供給される。

そして、足し込み部１３６は、クラス分類部１３５から供給された水平クラスコードに対応する水平クラスごとに、水平予測タップ（生徒画像）ｘ_n,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み部１３６は、やはり、クラス分類部１３５から供給された水平クラスコードに対応する水平クラスごとに、水平予測タップ（生徒画像）ｘ_n,kと教師画像ｙ_kを用い、式（１０）の右辺のベクトルにおける生徒画像ｘ_n,kおよび教師画像ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

即ち、足し込み部１３６は、前回、注目画素とされた生徒画像について求められた式（１０）における左辺の行列のコンポーネント（Σｘ_n,kｘ_n',k）と、右辺のベクトルのコンポーネント（Σｘ_n,kｙ_k）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘ_n,kｘ_n',k）またはベクトルのコンポーネント（Σｘ_n,kｙ_k）に対して、新たに注目画素とされた生徒画像について、その生徒画像ｘ_n,k+1および教師画像ｙ_k+1を用いて計算される、対応するコンポーネントｘ_n,k+1ｘ_n',k+1またはｘ_n,k+1ｙ_k+1を足し込む（式（１０）のサメーションで表される加算を行う）。

そして、足し込み部１３６は、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各水平クラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部１３７に供給する。

係数算出部１３７は、足し込み部１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗ_nを求めて出力する。

次に、図９のフローチャートを参照して、図８の学習部１２１における学習処理を説明する。

ステップＳ１２１において、ノイズ付加部１３２は、原画像記憶部１３１から原画像を読み出し、その原画像にノイズを付加することにより、生徒画像を生成し、予測タップ抽出部１３３およびクラスタップ抽出部１３４に供給する。

処理は、ステップＳ１２１からステップＳ１２２に進み、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とし、処理は、ステップＳ１２３に進む。

ステップＳ１２３において、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部１３６に供給する。

処理は、ステップＳ１２３からステップＳ１２４に進み、クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、クラス分類部１３５に供給する。

処理は、ステップＳ１２４からステップＳ１２５に進み、クラス分類部１３５は、クラスタップ抽出部１３４から供給された水平クラスタップに基づき、図２の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部１３６に供給する。

処理は、ステップＳ１２５からステップＳ１２６に進み、足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された水平クラスコードごとに行う。

処理は、ステップＳ１２６からステップＳ１２７に進み、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。

ステップＳ１２７において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ１２２に戻り、予測タップ抽出部１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ１２３に進み、以下、同様の処理を繰り返す。

一方、ステップＳ１２７において、まだ注目画素とされていないノイズ画像の画素が存在しないと判定された場合、即ち、足し込み部１３６においては、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各水平クラスについて、式（１０）に示した正規方程式が得られた場合、足し込み部１３６は、正規方程式を、係数算出部１３７に供給する。そして、処理は、ステップＳ１２７からステップＳ１２８に進み、係数算出部１３７は、足し込み部１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗ_nを求めて出力する。

その後、学習処理は終了される。

ここで、図９のフローチャートで説明した学習処理は、ノイズ除去画像に相当する画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理であるが、この学習処理を、以下、適宜、水平タップにおける学習処理という。

なお、図８の学習部１２１において、予測タップ抽出部１３３が垂直予測タップを抽出し、クラスタップ抽出部１３４が垂直クラスタップを抽出して、クラス分類部１３５が垂直クラス分類を行うこととすれば、水平係数に代えて、垂直係数を求めることができる。

即ち、垂直係数を求める場合には、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップ（図２の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる垂直予測タップ）を得て、足し込み部１３６に供給する。

クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップ（図２の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる垂直クラスタップ）を得て、クラス分類部１３５に供給する。

クラス分類部１３５は、クラスタップ抽出部１３４から供給された垂直クラスタップに基づき、図２の垂直クラス分類部６７と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部１３６に供給する。

足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された垂直クラスコードごとに行う。

即ち、足し込み部１３６には、原画像記憶部１３１に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙ_k、予測タップ抽出部１３３が出力する注目画素についての垂直予測タップを構成する生徒画像の画素の画素値ｘ_n,k、クラス分類部１３５が出力する、垂直予測タップの垂直クラスを表す垂直クラスコードが供給される。

そして、足し込み部１３６は、クラス分類部１３５から供給された垂直クラスコードに対応する垂直クラスごとに、垂直予測タップ（生徒画像）ｘ_n,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み部１３６は、やはり、クラス分類部１３５から供給された垂直クラスコードに対応する垂直クラスごとに、垂直予測タップ（生徒画像）ｘ_n,kと教師画像ｙ_kを用い、式（１０）の右辺のベクトルにおける生徒画像ｘ_n,kおよび教師画像ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

そして、足し込み部１３６は、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各垂直クラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部１３７に供給する。

係数算出部１３７は、足し込み部１３６から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数ｗ’_nを求めて出力する。

ここで、以上のようにして、垂直係数ｗ’_nを求める学習処理を、以下、適宜、垂直タップにおける学習処理という。

図２の画像変換部３１では、上述した水平タップにおける学習処理により求められた水平係数と、垂直タップにおける学習処理により求められた垂直係数とを用いて画像変換処理を行うことができる。

ところで、上述したように、上述の、水平係数を求める水平タップにおける学習処理と、垂直係数を求める垂直タップにおける学習処理とを、独立に行って、水平係数と垂直係数とを求めた場合、その水平係数と垂直係数によれば、いずれも単独で、ノイズ画像をノイズ除去画像（の予測値）に変換することができる。

このため、図８の学習部１２１により学習された水平係数と垂直係数とを用いた画像変換処理では、ノイズ画像をノイズ除去画像に変換する画像変換処理が、水平係数と垂直係数とで２重に行われる。

その結果、水平係数によりノイズを除去する水平処理効果分、および垂直係数によりノイズを除去する垂直処理効果分とを合わせた全体の効果分が過剰となってしまい、ノイズ画像に生じている歪波形の位相を反転したような逆歪が現れたり、逆に、水平処理効果分と垂直処理効果分とが相殺されてしまい、歪などのノイズを除去する効果が低下することがあり得る。

そこで、水平係数による水平処理効果分と、垂直係数による垂直処理効果分とが過剰となったり、相殺されることがないように、水平係数および垂直係数を学習する学習処理について説明する。

図１０は、上述した図２の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部１５１の構成例を示すブロック図である。なお、図１０には、説明の便宜上、図２の画像変換部３１に相当する画像変換部１５２も図示してある。

２段差分学習部１５１は、水平タップ学習部１６１、水平マッピング部１６２、および垂直タップ差分学習部１６３により構成される。

水平タップ学習部１６１は、図８の学習部１２１と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部１６２に供給する。

水平マッピング部１６２は、水平タップ学習部１６１で生徒画像として用いられるノイズ画像（に相当する画像）と、水平タップ学習部１６１から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られる水平処理画像Ｈを、垂直タップ差分学習部１６３に供給する。なお、水平マッピング部１６２には、水平タップ学習部１６１などから、ノイズ画像が供給される。

垂直タップ差分学習部１６３は、水平タップ学習部１６１で教師画像として用いられる原画像と、水平マッピング部１６２から供給される水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。

即ち、垂直タップ差分学習部１６３は、原画像、ノイズ画像、および水平処理画像Ｈから、後述するようにして、原画像と水平差分ｈとの差分である原画像−水平差分ｈを生成し、その原画像−水平差分ｈを教師画像とするとともに、ノイズ画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける水平差分の差分学習処理を行う。

なお、垂直タップ差分学習部１６３の、垂直タップにおける水平差分の差分学習処理は、後述する図１１を参照して、詳細に説明する。

図２の画像変換部３１における画像変換処理では、図１０の２段差分学習部１５１により求められた水平係数および垂直係数を用いることができる。

ここで、図１０において、画像変換部１５２は、図２の画像変換部３１と同様に構成される。画像変換部１５２では、次のようにして、ノイズ画像を原画像（の予測値）に変換する画像変換処理が行われる。

即ち、画像変換部１５２は、水平マッピング部１６２、垂直差分マッピング部１６４、および加算部１６５により構成される。

水平マッピング部１６２は、図３の水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、および水平予測演算部１０１で構成される水平マッピング部７１と同様に構成される。

水平マッピング部１６２は、水平タップ学習部１６１での水平タップにおける学習処理により得られる水平係数を用いて、ノイズ画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その水平処理画像Ｈを、加算部１６５に供給する。

垂直差分マッピング部１６４は、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、垂直予測演算部１０２、およびゲイン調整部１０３で構成される垂直差分マッピング部７３と同様に構成される。

垂直差分マッピング部１６４は、垂直タップ差分学習部１６３での垂直タップにおける水平差分の差分学習処理により得られる垂直係数を用いて、ノイズ画像を垂直差分ｖに変換する垂直差分マッピング処理を行い、その垂直差分ｖを、加算部１６５に供給する。

加算部１６５は、図３の加算部１０４と同様に構成され、水平マッピング部１６２から供給された水平処理画像Ｈと、垂直差分マッピング部１６４から供給された垂直差分ｖとを加算し、その結果得られた画素値Ｈ＋ｖ（＝ｈ＋ｖ＋ｘ₁）で構成される、原画像を予測した画像（以下、適宜、水平垂直処理画像という）を出力する。

次に、図１１は、垂直タップにおける水平差分の差分学習処理を行う図１０の垂直タップ差分学習部１６３の詳細な構成例を示すブロック図である。

即ち、図１１の垂直タップ差分学習部１６３は、図８の原画像記憶部１３１乃至係数算出部１３７とそれぞれ同様に構成される原画像記憶部１１３１乃至係数算出部１１３７と、差分画像生成部２３３とから構成される。

さらに、差分画像生成部２３３には、ノイズ付加部１１３２から生徒画像が供給されるとともに、図１０の水平マッピング部１６２から、水平処理画像Ｈが供給される。

差分画像生成部２３３は、ノイズ付加部１１３２から供給された生徒画像（ノイズ画像）ｘ₁を、図１０の水平マッピング部１６２から供給された水平処理画像Ｈ＝ｈ＋ｘ₁から差し引くことで、水平差分ｈを生成する。

また、差分画像生成部２３３は、原画像記憶部１１３１に記憶されている原画像を読み出し、その原画像から、生成した水平差分ｈを差し引き、その結果得られた原画像―水平差分ｈを、教師画像として、足し込み部１１３６に供給する。

従って、図１１の垂直タップ差分学習部１６３では、原画像と水平差分ｈとの差分である原画像―水平差分ｈを教師画像とするとともに、ノイズ画像を生徒画像として、垂直係数を学習する。よって、垂直タップ差分学習部１６３では、原画像から水平マッピング処理による水平処理効果分としての水平差分ｈを差し引いた画像に、ノイズ画像を変換する垂直係数が求められる。

次に、図１２のフローチャートを参照して、図１０の２段差分学習部１５１における２段差分学習処理を説明する。

ステップＳ１７１において、水平タップ学習部１６１は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部１６２に供給する。

その後、処理は、ステップＳ１７１からステップＳ１７２に進み、水平マッピング部１６２は、水平タップ学習部１６１で生徒画像として用いられるノイズ画像（に相当する画像）と、水平タップ学習部１６１から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部１６３に供給する。

そして、処理は、ステップＳ１７２からステップＳ１７３に進み、垂直タップ差分学習部１６３は、水平タップ学習部１６１で教師画像として用いられる原画像と、水平マッピング部１６２から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。

その後、２段差分学習処理は、終了される。

次に、図１３のフローチャートを参照して、図１２のステップＳ１７３の、垂直タップにおける水平差分の差分学習処理の詳細を説明する。

ステップＳ２０１において、垂直タップ差分学習部１６３（図１１）のノイズ付加部１１３２は、原画像記憶部１１３１に記憶されている原画像を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、差分画像生成部２３３、垂直予測タップ抽出部１１３３および垂直クラスタップ抽出部１１３４に供給する。なお、原画像記憶部１１３１には、図１０の水平タップ学習部１６１で教師画像として用いられるのと同一の原画像が、記憶されている。

処理は、ステップＳ２０１からステップＳ２０２に進み、差分画像生成部２３３は、ノイズ付加部１１３２から供給されたノイズ画像ｘ₁を、図１１の水平マッピング部１６２から供給された水平処理画像Ｈ＝ｈ＋ｘ₁から差し引くことで、水平差分ｈを生成する。

また、ステップＳ２０２において、差分画像生成部２３３は、原画像記憶部１１３１に記憶されている原画像を読み出し、その原画像から、生成した水平差分ｈを差し引き、その結果得られた原画像―水平差分ｈを、教師画像として、足し込み部１１３６に供給する。

その後、処理は、ステップＳ２０２からステップＳ２０３に進み、垂直予測タップ抽出部１１３３は、ノイズ付加部１１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、処理は、ステップＳ２０４に進む。

ステップＳ２０４において、垂直予測タップ抽出部１１３３は、ノイズ付加部１１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部１１３６に供給する。

そして、処理は、ステップＳ２０４からステップＳ２０５に進み、垂直クラスタップ抽出部１１３４は、ノイズ付加部１１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部１１３５に供給する。

さらに、処理は、ステップＳ２０５からステップＳ２０６に進み、垂直クラス分類部１１３５は、垂直クラスタップ抽出部１１３４から供給された垂直クラスタップに基づき、図２の垂直クラス分類部６７と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部１１３６に供給して、ステップＳ２０７に進む。

ステップＳ２０７において、足し込み部１１３６は、図８の学習部１２１の足し込み部１３６と同様にして、差分画像生成部２３３から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部１１３３から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部１１３５から供給された垂直クラスコードごとに行う。

処理は、ステップＳ２０７からステップＳ２０８に進み、垂直予測タップ抽出部１１３３は、ノイズ付加部１１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。

ステップＳ２０８において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ２０３に戻り、垂直予測タップ抽出部１１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ２０４に進み、以下、同様の処理を繰り返す。

一方、ステップＳ２０８において、まだ注目画素とされていない生徒画像の画素が存在しないと判定された場合、即ち、足し込み部１１３６においては、ノイズ付加部１１３２により生成された生徒画像の画素すべてを注目画素として、図８の学習部１２１と同様の足し込みを行うことにより、各垂直クラスについての正規方程式が得られた場合、足し込み部１１３６は、その正規方程式を、垂直タップ差分学習部１６３の係数算出部１１３７に供給する。そして、ステップＳ２０８からステップＳ２０９に進み、係数算出部１１３７は、足し込み部１１３６から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数ｗ’_nを求めて出力する。

その後、処理は、図１２のステップＳ１７３にリターンする。

ところで、図１０の２段差分学習部１５１による２段差分学習処理では、水平タップ学習部１６１が、原画像を教師画像とするとともに、ノイズ画像を生徒画像として、水平係数を求め、その水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１６３において、垂直係数を求めている。

即ち、垂直タップ差分学習部１６３では、原画像から、水平処理効果分としての水平差分ｈを差し引くことで得られる画像である原画像―水平差分ｈを教師画像とするとともに、ノイズ画像を生徒画像として、垂直係数が求められる。このため、２段差分学習部１５１で求められた水平係数および垂直係数を用いた画像変換処理では、図８の学習部１２１で求められた水平係数および垂直係数を用いた画像変換処理のような、ノイズ画像に含まれるノイズを除去する効果が、いわば、２重になることを防止することができる。

しかしながら、図１０の２段差分学習部１５１では、垂直タップ差分学習部１６３において、水平タップ学習部１６１によりさきに求められた水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈを考慮する形で、垂直係数を求めている。

即ち、垂直タップ差分学習部１６３では、水平タップ学習部１６１により求められた水平係数を用いた水平予測演算による水平処理効果分の不足分や過剰分を補う垂直処理効果分が得られる垂直係数が求められる。

従って、図１０の２段差分学習部１５１で求められた水平係数および垂直係数を用いた画像変換処理では、ノイズ画像に含まれるノイズを除去する効果のうちの、水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈの寄与分が大となり、垂直係数を用いた垂直予測演算による垂直処理効果分としての垂直差分ｖの寄与分は小となる。

このため、仮に、水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈにより、ノイズ画像に含まれるノイズを（十分に）除去することができなかった場合、垂直係数を用いた垂直予測演算による垂直処理効果分としての垂直差分ｖの寄与分が小であることから、垂直係数によっては、ノイズ画像に含まれるノイズを十分に除去することが困難となることがある。

しかしながら、水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈにより、ノイズ画像に含まれるノイズを十分に除去することができなかった場合においても、ノイズ画像に含まれるノイズを除去することができるように、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等に現れることが望ましい。

そこで、図１４は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部２７１の構成例を示すブロック図である。

２段反復学習部２７１は、図１０の２段差分学習部１５１の水平タップ学習部１６１乃至垂直タップ差分学習部１６３それぞれと同様に構成される水平タップ学習部１１６１乃至垂直タップ差分学習部１１６３と、垂直マッピング部２８４、および水平タップ差分学習部２８５とから構成される。

垂直マッピング部２８４は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、垂直タップ差分学習部１１６３から供給された垂直係数を用いて、ノイズ画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部２８５に供給する。

水平タップ差分学習部２８５は、水平タップ学習部１１６１で教師画像として用いられる原画像と、垂直マッピング部２８４から供給された垂直処理画像Ｖとを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部１１６２に供給する。

即ち、水平タップ差分学習部２８５は、原画像、ノイズ画像、および垂直処理画像Ｖから、後述するようにして、原画像と垂直差分ｖとの差分である原画像−垂直差分ｖを生成し、その原画像−垂直差分ｖを教師画像とするとともに、ノイズ画像を生徒画像として、水平予測タップ及び水平クラスタップを用いて、水平係数を学習する、水平タップにおける垂直差分の差分学習処理を行う。

なお、水平タップ差分学習部２８５の、水平タップにおける垂直差分の差分学習処理は、後述する図１５を参照して、詳細に説明する。

次に、図１５は、水平タップにおける垂直差分の差分学習処理を行う図１４の水平タップ差分学習部２８５の詳細な構成例を示すブロック図である。

水平タップ差分学習部２８５は、図１１の垂直タップ差分学習部１６３の原画像記憶部１１３１乃至係数算出部１１３７とそれぞれ同様に構成される原画像２１３１乃至係数算出部２１３７と差分画像生成部２９３とから構成される。

さらに、差分画像生成部２９３には、図１４の垂直マッピング部２８４から、垂直処理画像Ｖが供給される。

差分画像生成部２９３は、ノイズ付加部２１３２から供給された生徒画像（ノイズ画像）ｘ₁を、図１４の垂直マッピング部２８４から供給された垂直処理画像Ｖ＝ｖ＋ｘ₁から差し引くことで、垂直差分ｖを生成する。

また、差分画像生成部２９３は、原画像記憶部２１３１に記憶されている原画像を読み出し、その原画像から、生成した垂直差分ｖを差し引き、その結果得られた原画像―垂直差分ｖを、教師画像として、足し込み部２１３６に供給する。

以上のように構成される水平タップ差分学習部２８５では、原画像と垂直差分ｖとの差分である原画像―垂直差分ｖを教師画像とするとともに、ノイズ画像を生徒画像として、水平係数が学習される。従って、原画像から垂直マッピング処理による垂直処理効果分としての垂直差分ｖを差し引いた画像に、ノイズ画像を変換する水平係数が求められる。

次に、図１６のフローチャートを参照して、図１４の２段反復学習部２７１における２段反復学習処理を説明する。

ステップＳ２４１において、水平タップ学習部１１６１は、原画像を教師画像とするとともに、その原画像にノイズを付加したノイズ画像を生徒画像として、水平タップにおける学習処理を行い、その結果得られた水平係数を、水平マッピング部１１６２に供給して、処理は、ステップＳ２４２に進む。

ステップＳ２４２において、水平マッピング部１１６２および垂直タップ差分学習部１１６３により、垂直係数が生成される。

即ち、ステップＳ２４２では、ステップＳ２５１とステップＳ２５２の処理が行われる。

ステップＳ２５１では、水平マッピング部１１６２は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、水平タップ学習部１１６１から供給される水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部１１６３に供給して、処理は、ステップＳ２５２に進む。

ステップＳ２５２において、垂直タップ差分学習部１１６３は、水平タップ学習部１１６１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および水平マッピング部１１６２から供給された水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を生成する。

また、ステップＳ２５２において、垂直タップ差分学習部１１６３は、生成した垂直係数を、垂直マッピング部２８４に供給する。

ステップＳ２５１およびステップＳ２５２の処理、つまり、ステップＳ２４２の処理が終了すると、処理は、ステップＳ２４２からステップＳ２４３に進み、垂直マッピング部２８４および水平タップ差分学習部２８５により、水平係数が生成される。

即ち、ステップＳ２４３では、ステップＳ２６１とステップＳ２６２の処理が行われる。

ステップＳ２６１において、垂直マッピング部２８４は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、垂直タップ差分学習部１１６３から供給された垂直係数とを用いて垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部２８５に供給して、処理は、ステップＳ２６２に進む。

ステップＳ２６２において、水平タップ差分学習部２８５は、水平タップ学習部１１６１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直マッピング部２８４から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を生成する。

また、ステップＳ２６２において、水平タップ差分学習部２８５は、生成した水平係数を、水平マッピング部１１６２に供給する。

ステップＳ２６１およびステップＳ２６２の処理、つまり、ステップＳ２４３の処理が終了すると、処理は、ステップＳ２４３からステップＳ２４２に戻り、水平マッピング部１１６２および垂直タップ差分学習部１１６３により、前回、水平タップ差分学習部２８５により生成された水平係数に基づいて、垂直係数が生成され、以下、同様の処理が繰り返される。

即ち、ステップＳ２４２のステップＳ２５１では、水平マッピング部１１６２は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、水平タップ差分学習部２８５から供給された水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部１１６３に供給して、処理は、ステップＳ２５２に進み、以下、同様の処理を繰り返す。

なお、図１６の２段反復学習処理では、例えば、水平タップ差分学習部２８５で求められる水平係数、および垂直タップ差分学習部１１６３で求められる垂直係数が収束したときに、処理を終了することができる。また、図１６の２段反復学習処理は、水平係数や垂直係数を、あらかじめ決められた回数だけ繰り返し求めたとき、即ち、ステップＳ２４２およびステップＳ２４３を所定回数だけ繰り返し行ったときなどに終了することもできる。さらに、図１６の２段反復学習処理は、水平係数と垂直係数との係数セットを用いた、図２の画像変換部３１の画像変換処理による結果と、原画像との自乗誤差を最小にする係数セットが求められたときに終了するようにしてもよい。

また、図１６の２段反復学習処理では、水平タップ学習部１１６１、垂直タップ差分学習部１１６３、および水平タップ差分学習部２８５それぞれが、同一の生徒画像を用いて係数を学習するため、２段反復学習処理を繰り返し行っても、所定の水平予測タップについて得られる水平クラスは、同じ水平クラスとなり、また、所定の垂直予測タップについて得られる垂直クラスは、同じ垂直クラスとなる。

次に、図１７のフローチャートを参照して、図１６のステップＳ２６２の、水平タップにおける垂直差分の差分学習処理を詳細に説明する。

ステップＳ２７１において、水平タップ差分学習部２８５（図１５）のノイズ付加部２１３２は、原画像記憶部２１３１に記憶されている原画像を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、差分画像生成部２９３、水平予測タップ抽出部２１３３および水平クラスタップ抽出部２１３４に供給する。なお、原画像記憶部２１３１には、図１４の水平タップ学習部１１６１で教師画像として用いられるのと同一の原画像が、記憶されている。

処理は、ステップＳ２７１からステップＳ２７２に進み、差分画像生成部２９３は、ノイズ付加部２１３２から供給されたノイズ画像ｘ₁を、図１４の垂直マッピング部２８４から供給された垂直処理画像Ｖ＝ｖ＋ｘ₁から差し引くことで、垂直差分ｖを生成する。

また、ステップＳ２７２において、差分画像生成部２９３は、原画像記憶部２１３１に記憶されている原画像を読み出し、その原画像から、生成した垂直差分ｖを差し引き、その結果得られた原画像―垂直差分ｖを、教師画像として、足し込み部２１３６に供給する。

処理は、ステップＳ２７２からステップＳ２７３に進み、水平予測タップ抽出部２１３３は、ノイズ付加部２１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、処理は、ステップＳ２７４に進む。

ステップＳ２７４において、水平予測タップ抽出部２１３３は、ノイズ付加部２１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部２１３６に供給する。

処理は、ステップＳ２７４からステップＳ２７５に進み、水平クラスタップ抽出部２１３４は、ノイズ付加部２１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、水平クラス分類部２１３５に供給する。

処理は、ステップＳ２７５からステップＳ２７６に進み、水平クラス分類部２１３５は、水平クラスタップ抽出部２１３４から供給された水平クラスタップに基づき、図２の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部２１３６に供給する。

処理は、ステップＳ２７６からステップＳ２７７に進み、足し込み部２１３６は、図８の学習部１２１の場合と同様にして、差分画像生成部２９３から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部２１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、水平クラス分類部２１３５から供給された水平クラスコードごとに行う。

処理は、ステップＳ２７７からステップＳ２７８に進み、水平予測タップ抽出部２１３３は、ノイズ付加部２１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。

ステップＳ２７８において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ２７３に戻り、水平予測タップ抽出部２１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ２７４に進み、以下、同様の処理を繰り返す。

一方、ステップＳ２７８において、まだ注目画素とされていない生徒画像の画素が存在しないと判定された場合、即ち、足し込み部２１３６においては、ノイズ付加部２１３２により生成された生徒画像の画素すべてを注目画素として、図８の学習部１２１と同様の足し込みを行うことにより、各水平クラスについての正規方程式が得られた場合、足し込み部２１３６は、その正規方程式を、係数算出部２１３７に供給する。そして、処理は、ステップＳ２７８からステップＳ２７９に進み、係数算出部２１３７は、足し込み部２１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗ_nを求めて出力する。

その後、処理は、図１６のステップＳ２６２にリターンする。

以上のような図１６の２段反復学習処理では、水平タップ学習部１１６１が行う水平タップにおける学習処理により、水平係数が求められ、その水平係数による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１１６３が行う垂直タップにおける水平差分の差分学習処理により、垂直係数が求められ、さらに、その垂直係数による垂直処理効果分としての垂直差分ｖを考慮する形で、水平タップ差分学習部２８５が行う水平タップにおける垂直差分の差分学習処理により、水平係数が求められる。また、その水平係数による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１１６３が行う垂直タップにおける水平差分の差分学習処理により、垂直係数が求められ、以下、同様にして、水平係数と垂直係数とが繰り返し求められる。

従って、水平係数と垂直係数とがとる値が収束するまで、２段反復学習処理を行った場合、例えば、水平係数を用いた水平予測演算による水平処理効果分が大であり、垂直係数を用いた垂直予測演算による垂直処理効果分が小となる水平係数と垂直係数ではなく、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分が等しくなる水平係数と垂直係数を求めることができる。

また、図１０の２段差分学習部１５１では、水平タップ学習部１６１において先に水平係数が求められ、その水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１６３により垂直係数が求められることとしたが、先に垂直係数を求め、その垂直係数を用いた垂直予測演算による垂直処理効果分としての垂直差分ｖを考慮する形で、水平係数を求めることもできる。

即ち、図１８は、そのような２段差分学習部３０１の構成例を示すブロック図である。なお、図１８には、説明の便宜上、図２の画像変換部３１に相当する画像変換部３０２も図示してある。

２段差分学習部３０１は、垂直タップ学習部３１１、垂直マッピング部３１２、および水平タップ差分学習部３１３により構成される。

垂直タップ学習部３１１は、図８の学習部１２１と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部３１２に供給する。

垂直マッピング部３１２は、垂直タップ学習部３１１で生徒画像として用いられるノイズ画像（に相当する画像）と、垂直タップ学習部３１１から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られる垂直処理画像Ｖを、水平タップ差分学習部３１３に供給する。なお、垂直マッピング部３１２には、垂直タップ学習部３１１などから、ノイズ画像が供給される。

水平タップ差分学習部３１３は、垂直タップ学習部３１１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直マッピング部３１２から供給される垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を学習する。

２段差分学習部３０１の垂直タップ学習部３１１で求められた垂直係数と、水平タップ差分学習部３１３で求められた水平係数とは、図２の画像変換部３１に相当する画像変換部３０２での画像変換処理に用いられる。

即ち、画像変換部３０２は、垂直マッピング部３１２、水平差分マッピング部３１４、および加算部３１５により構成される。

図２の画像変換部３１では、水平マッピング部７１（図３）が水平処理画像Ｈ＝ｈ＋ｘ₁を生成し、垂直差分マッピング部７３が垂直差分ｖを生成して、加算部１０４が、水平マッピング部７１により生成された水平処理画像Ｈ＝ｈ＋ｘ₁と、垂直差分マッピング部７３により生成された垂直差分ｖとを加算し、その結果得られた画素値Ｈ＋ｖで構成される、原画像を予測した水平垂直処理画像を出力するが、図１８の画像変換部３０２では、垂直マッピング部３１２が垂直処理画像Ｖ＝ｖ＋ｘ₁を生成し、水平差分マッピング部３１４が水平差分ｈを生成して、加算部３１５が、垂直マッピング部３１２により生成された垂直処理画像Ｖ＝ｖ＋ｘ₁と、水平差分マッピング部３１４により生成された水平差分ｈとを加算し、その結果得られた画素値Ｖ＋ｈで構成される、原画像を予測した画像（以下、適宜、垂直水平処理画像という）を出力する。

具体的には、垂直マッピング部３１２は、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、および垂直予測演算部１０２で構成される垂直マッピング部７２と同様に構成される。

垂直マッピング部３１２は、垂直タップ学習部３１１での垂直タップにおける学習処理により得られる垂直係数を用いて、ノイズ画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その垂直処理画像Ｖを、加算部３１５に供給する。

水平差分マッピング部３１４は、図７の水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、水平予測演算部１０１、およびゲイン調整部１１２で構成される水平差分マッピング部１１１と同様に構成される。

水平差分マッピング部３１４は、水平タップ差分学習部３１３での水平タップにおける垂直差分の差分学習処理により得られる水平係数を用いて、ノイズ画像を水平差分ｈに変換する水平差分マッピング処理を行い、その水平差分ｈを、加算部３１５に供給する。

加算部３１５は、図３の加算部１０４と同様に構成され、垂直マッピング部３１２から供給された垂直処理画像Ｖと、水平差分マッピング部３１４から供給された水平差分ｈとを加算し、その結果得られた画素値Ｖ＋ｈで構成される、原画像を予測した垂直水平処理画像を出力する。

ところで、図１８の２段差分学習部３０１で求められる垂直係数と水平係数によれば、図１０の２段差分学習部１５１で求められる水平係数と垂直係数と同様に、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等とならない。

そこで、図１９は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部３３１の構成例を示すブロック図である。

２段反復学習部３３１は、垂直タップ学習部１３１１、垂直マッピング部１３１２、水平タップ差分学習部１３１３、水平マッピング部３２４、および垂直タップ差分学習部３２５により構成される。

垂直タップ学習部１３１１は、図８の学習部１２１と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部１３１２に供給する。

垂直マッピング部１３１２は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像（に相当する画像）と、垂直タップ学習部１３１１から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部１３１３に供給する。なお、垂直マッピング部１３１２には、垂直タップ学習部１３１１などから、ノイズ画像が供給される。

水平タップ差分学習部１３１３は、垂直タップ学習部１３１１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直マッピング部１３１２から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部３２４に供給する。

水平マッピング部３２４は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像と、水平タップ差分学習部１３１３から供給された水平係数とを用いて、ノイズ画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部３２５に供給する。

垂直タップ差分学習部３２５は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像の画素値ｘ₁を、水平マッピング部３２４から供給された水平処理画像Ｈ＝ｈ＋ｘ₁から差し引くことで、水平差分ｈを生成する。

また、垂直タップ差分学習部３２５は、垂直タップ学習部１３１１で教師画像として用いられる原画像から、生成した水平差分ｈを差し引くことで得られる画像である原画像―水平差分ｈを教師画像とするとともに、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像を生徒画像として、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直マッピング部１３１２に供給する。

垂直タップ差分学習部３２５により垂直係数が求められると、以降、垂直マッピング部１３１２は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像（に相当する画像）と、垂直タップ差分学習部３２５から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部１３１３に供給する。

次に、図２０は、図１４の２段反復学習部２７１と、図１９の２段反復学習部３３１との両方を用いて、水平係数および垂直係数を反復して求める２段反復学習処理を説明する図である。

図中右側から１番目の上下方向に記載されている垂直タップ学習部１３１１、垂直マッピング部１３１２、水平タップ差分学習部１３１３、水平マッピング部３２４、および垂直タップ差分学習部３２５は、上述した図１９の２段反復学習部３３１による２段反復学習処理の流れを示している。

また、図中右側から２番目の上下方向に記載される水平タップ学習部１１６１、水平マッピング部１１６２、垂直タップ差分学習部１１６３、垂直マッピング部２８４、および水平タップ差分学習部２８５は、図１４の２段反復学習部２７１による２段反復学習処理の流れを示している。

また、図中下側には、図１０で説明した画像変換部１５２が示されている。

いま、教師画像と生徒画像とを用いたｎ回目の学習処理を、第ｎ−１世代の学習処理というとともに、第ｎ−１世代の学習によって求められる水平係数および垂直係数のセットを第ｎ−１世代の係数セットということとする。

第０世代の学習処理では、２段反復学習部２７１の水平タップ学習部１１６１が水平係数を求める。一方、２段反復学習部３３１の垂直タップ学習部１３１１が垂直係数を求める。これにより、第０世代の、水平係数および垂直係数の係数セットが求められる。

第１世代の学習処理では、２段反復学習部２７１の水平マッピング部１１６２が、第０世代の水平係数を用いて水平マッピング処理を行うことにより水平処理画像Ｈを生成し、その水平処理画像Ｈを用いて、垂直タップ差分学習部１１６３が、垂直タップにおける水平差分の差分学習処理を行うことにより垂直係数を求める。一方、２段反復学習部３３１の垂直マッピング部１３１２が、第０世代の垂直係数を用いて垂直マッピング処理を行うことにより垂直処理画像Ｖを生成し、その垂直処理画像Ｖを用いて、水平タップ差分学習部１３１３が、水平タップにおける垂直差分の差分学習処理を行うことにより水平係数を求める。これにより、第１世代の、水平係数および垂直係数の係数セットが求められる。

第２世代の学習処理では、２段反復学習部２７１の垂直マッピング部２８４が、第１世代の垂直係数を用いて垂直マッピング処理を行うことにより垂直処理画像Ｖを生成し、その垂直処理画像Ｖを用いて、水平タップ差分学習部２８５が、水平タップにおける垂直差分の差分学習処理を行うことにより水平係数を求める。一方、２段反復学習部３３１の水平マッピング部３２４が、第１世代の水平係数を用いて水平マッピング処理を行うことにより水平処理画像Ｈを生成し、その水平処理画像Ｈを用いて、垂直タップ差分学習部３２５が、垂直タップにおける水平差分の差分学習処理を行うことにより垂直係数を求める。これにより、第２世代の、水平係数および垂直係数の係数セットが求められる。

以下、同様にして、第３世代、第４世代、・・・第Ｎ世代と、反復して係数セットが求められる。

なお、２段反復学習部２７１による２段反復学習処理と、２段反復学習部３３１による２段反復学習処理とは、例えば、それらの２段反復学習処理により求められる係数セットを用いた、図２０下側に示される画像変換部１５２の画像変換処理による結果Ｈ＋ｖと、原画像との自乗誤差を最小にする係数セットが求められたとき、または、あらかじめ決められた世代の水平係数および垂直係数の係数セットが求められたときなどに終了する。

また、２段反復学習部２７１による２段反復学習処理と、２段反復学習部３３１による２段反復学習処理とにより求められた係数セットにより画像変換処理を行う場合は、求められた係数セットの、水平係数と垂直係数とのどちらかを先に用いてもかまわない。

即ち、図２０に示した画像変換部１５２による画像変換処理では、水平係数を用いた水平マッピング処理を行って、水平処理画像Ｈを得るとともに、垂直係数を用いた垂直差分マッピング処理を行って、垂直差分ｖを得て、水平処理画像Ｈと垂直差分ｖとを加算するが、垂直係数を用いた垂直マッピング処理を行って垂直処理画像Ｖを得るとともに、水平係数を用いた水平差分マッピング処理を行って、水平差分ｈを得て、垂直処理画像Ｖと水平差分ｈとを加算してもよい。

図２１は、図１の画像変換部３１の第２の構成例を示すブロック図である。

なお、図中、図２の画像変換部３１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。

即ち、図２１の画像変換部３１は、図２の水平予測タップ抽出部６１および垂直予測タップ抽出部６５に代えて、予測タップ抽出部３６８が、図２の予測演算部６９に代えて、予測演算部３６９がそれぞれ設けられており、さらに、係数合成部３６７が新たに設けられている他は、図２の画像変換部３１の場合と同様に構成されている。

係数合成部３６７には、水平係数記憶部６４から水平係数ｗ_nが、垂直係数記憶部６８から垂直係数ｗ’_nが、それぞれ供給される。係数合成部３６７は、水平係数記憶部６４から供給された水平係数ｗ_nと、垂直係数記憶部６８から供給された垂直係数ｗ’_nとを合成することにより、ゲインを調整した合成係数[（ｗ₁＋ｗ’₁−１），ｗ₂，ｗ₃，・・・，ｗ_N，ｗ’₂，ｗ’₃，・・・，ｗ’_N]を生成する。なお、係数合成部３６７が合成係数をどのように生成するかは、後述する図２２の説明において詳細に説明する。

また、係数合成部３６７は、合成係数[（ｗ₁＋ｗ’₁−１），ｗ₂，ｗ₃，・・・，ｗ_N，ｗ’₂，ｗ’₃，・・・，ｗ’_N]を、予測演算部３６９に供給する。

予測タップ抽出部３６８は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部３６８は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測するのに用いる複数の画素である合成予測タップを、ノイズ画像から抽出する。

即ち、予測タップ抽出部３６８は、図２の水平予測タップ抽出部６１が抽出する水平予測タップと、図２の垂直予測タップ抽出部６５が抽出する垂直予測タップとして、その水平予測タップと垂直予測タップとを合成した予測タップ（合成予測タップ）を抽出する。

従って、予測タップ抽出部３６８では、例えば、図２１右側に示される十字形に並ぶ、注目画素を中心とする複数の画素である十字形のタップ３５１を、合成予測タップとして抽出する。ここで、図２１では、図２１右側に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、注目画素の上に隣接する、黒丸で示す４個の画素、注目画素の下に隣接する、黒丸で示す４個の画素、および注目画素の、注目画素を含んで水平方向および垂直方向に並ぶ１７個の画素が、十字形のタップ３５１として示されている。

また、予測タップ抽出部３６８は、ノイズ画像から抽出した合成予測タップを、予測演算部３６９に供給する。

予測演算部３６９は、係数合成部３６７から供給された合成係数と、予測タップ抽出部３６８から供給された合成予測タップに基づいて、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。

即ち、予測演算部３６９は、係数合成部３６７から供給された合成係数[（ｗ₁＋ｗ’₁−１），ｗ₂，ｗ₃，・・・，ｗ_N，ｗ’₂，ｗ’₃，・・・，ｗ’_N]と、その合成係数それぞれに対応する、予測タップ抽出部３６８から供給された合成予測タップ[ｘ₁，ｘ₂，・・・，ｘ_N，ｘ’₂，ｘ’₃，・・・，ｘ’_N]との積和（ｗ₁＋ｗ’₁−１）ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・＋ｗ_Nｘ_N＋ｗ’₂ｘ’₂＋ｗ’₃ｘ’₃＋・・・＋ｗ’_Nｘ’_Nを求める。

ここで、（ｗ₁＋ｗ’₁−１）ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・＋ｗ_Nｘ_N＋ｗ’₂ｘ’₂＋ｗ’₃ｘ’₃＋・・・＋ｗ’_Nｘ’_Nを変形すると、ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・＋ｗ_Nｘ_N＋ｗ’₁ｘ₁＋ｗ’₂ｘ’₂＋ｗ’₃ｘ’₃＋・・・＋ｗ’_Nｘ’_N−ｘ₁となり、上述した式（３）の右辺が導かれるため、結局、予測演算部３６９は、図２の予測演算部６９と同じノイズ除去画像の画素値（の予測値）を出力する。

図２２は、図２１の係数合成部３６７の詳細な構成例を示すブロック図である。

係数合成部３６７は、重複係数加算部３９１およびゲイン調整部３９２により構成される。

重複係数加算部３９１は、水平係数記憶部６４から供給された水平係数ｗ_n（例えば、水平係数ｗ₁乃至ｗ₉）のうちの、所定の画素と乗算される水平係数と、垂直係数記憶部６８から供給された垂直係数ｗ’_n（例えば、ｗ’₁乃至ｗ’₉）のうちの、所定の画素と乗算される垂直係数とを加算する。

具体的には、重複係数加算部３９１は、水平係数記憶部６４から供給された水平係数ｗ_nのうちの、注目画素ｘ₁と乗算される水平係数ｗ₁と、垂直係数記憶部６８から供給された垂直係数ｗ’_nのうちの、注目画素ｘ’₁（＝ｘ₁）と乗算される垂直係数ｗ’₁とを加算し、その結果得られた係数[（ｗ₁＋ｗ’₁），ｗ₂，ｗ₃，・・・，ｗ_N，ｗ’₂，ｗ’₃，・・・，ｗ’_N]を、ゲイン調整部３９２に供給する。

ゲイン調整部３９２は、重複係数加算部３９１から供給された係数[（ｗ₁＋ｗ’₁），ｗ₂，ｗ₃，・・・，ｗ_N，ｗ’₂，ｗ’₃，・・・，ｗ’_N]のうちの、水平係数ｗ₁および垂直係数ｗ’₁が加算されることで得られた係数（ｗ₁＋ｗ’₁）を−１することで、係数（ｗ₁＋ｗ’₁）のゲインを調整し、その結果得られた係数[（ｗ₁＋ｗ’₁―１），ｗ₂，ｗ₃，・・・，ｗ_N，ｗ’₂，ｗ’₃，・・・，ｗ’_N]を、合成係数として、図２１の予測演算部３６９に供給する。

図２３は、図１の画像変換部３１の第３の構成例を示すブロック図である。

なお、図中、図２１の画像変換部３１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。

即ち、図２３の画像変換部３１は、図２１の水平クラスタップ抽出部６２および垂直クラスタップ抽出部６６に代えて、クラスタップ抽出部４０１およびクラスタップ分配部４０２が設けられている他は、図２１の画像変換部３１と同様に構成される。

クラスタップ抽出部４０１は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、クラスタップ抽出部４０１は、注目画素に対して、水平クラスタップ抽出部６２（図２１）が抽出する水平クラスタップと、垂直クラスタップ抽出分６６（図２１）が抽出する垂直クラスタップとを合成したクラスタップ（合成クラスタップ）を、供給されてくるノイズ画像から抽出する。

即ち、クラスタップ抽出部４０１は、例えば、図２１右側に示される水平方向と垂直方向に並ぶ、１７画素である十字形のタップ３５１を、合成クラスタップとして抽出する。

また、クラスタップ抽出部４０１は、ノイズ画像から抽出した合成クラスタップを、クラスタップ分配部４０２に供給する。

クラスタップ分配部４０２は、クラスタップ抽出部４０１から供給された合成クラスタップを、図２１の水平クラスタップ抽出部６２が出力するのと同一の水平クラスタップと、図２１の垂直クラスタップ抽出部６６が出力するのと同一の垂直クラスタップとに分割し、水平クラスタップを水平クラス分類部６３に、垂直クラスタップを垂直クラス分類部６７にそれぞれ供給する。

次に、図２４は、図２３のクラスタップ分配部４０２における、合成クラスタップの分割を説明する図である。

図中左側には、クラスタップ抽出部４０１が、合成クラスタップとして抽出した、水平方向と垂直方向に並ぶ１７画素である十字形のタップ３５１が示されている。また、図中右側には、クラスタップ分配部４０２が、合成クラスタップとしての十字形のタップ３５１を分割することで得た、水平クラスタップとしての水平方向に並ぶ、９画素である水平方向のタップ４１と、垂直クラスタップとしての垂直方向に並ぶ、９画素である垂直方向のタップ４２とが示されている。

クラスタップ分配部４０２は、水平方向と垂直方向とに並ぶ１７画素である十字形のタップ３５１を、水平方向に並ぶ、９画素である水平方向のタップ４１と、垂直方向に並ぶ、９画素である垂直方向のタップ４２とに分割する。

その後、クラスタップ分配部４０２は、上述したように、水平方向のタップ４１を水平クラスタップとして水平クラス分類部６３に供給するとともに、垂直方向のタップ４２を垂直クラスタップとして垂直クラス分類部６７に供給する。

次に、図２５は、図１の画像変換部３１の第４の構成例を示すブロック図である。

即ち、図２５の画像変換部３１は、図２の予測演算部６９に代えて、予測演算部４３５が設けられ、さらに、斜め予測タップ抽出部４３１、斜めクラスタップ抽出部４３２、斜めクラス分類部４３３、および斜め係数記憶部４３４が新たに設けられている他は、図２の画像変換部３１と同様に構成される。

また、画像変換部３１には、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が供給される。そして、ノイズ画像は、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、斜め予測タップ抽出部４３１、および斜めクラスタップ抽出部４３２に供給される。

斜め予測タップ抽出部４３１は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、斜め予測タップ抽出部４３１は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素である斜め予測タップを、供給されてくるノイズ画像から抽出する。

即ち、斜め予測タップ抽出部４３１は、例えば、図２５右上に示される、注目画素と、その注目画素の斜め方向に位置する複数の画素である斜め方向のタップ４２３を、斜め予測タップとして抽出する。ここで、図２５では、図２５右上に白丸で示す注目画素の左上の、黒丸で示す１個の画素、注目画素の右上の、黒丸で示す１個の画素、注目画素の左下の、黒丸で示す１個の画素、注目画素の右下の、黒丸で示す１個の画素、および注目画素の、合計５個の画素が、斜め方向のタップ４２３として示されている。

斜め予測タップ抽出部４３１は、ノイズ画像から抽出した斜め予測タップを予測演算部４３５に供給する。

斜めクラスタップ抽出部４３２は、斜め予測タップ抽出部４３１により抽出された斜め予測タップを、複数の斜めクラスのうちのいずれかの斜めクラスにクラス分けする斜めクラス分類に用いる複数の画素である斜めクラスタップを、供給されてくるノイズ画像から抽出する。

即ち、斜めクラスタップ抽出部４３２は、例えば、図２５右上に示される、注目画素と、その周りに位置する複数の画素である斜め方向のタップ４２３を、斜めクラスタップとして抽出する。

なお、ここでは、説明を簡単にするために、斜め予測タップと斜めクラスタップとは、同一のタップ構造を有する複数の画素であるとする。但し、斜め予測タップと斜めクラスタップとは、異なるタップ構造の複数の画素とすることができる。

斜めクラスタップ抽出部４３２において得られる、斜め予測タップに対応する斜めクラスタップは、斜めクラス分類部４３３に供給される。斜めクラス分類部４３３は、斜めクラスタップ抽出部４３２からの斜めクラスタップに基づいて斜め予測タップを斜めクラス分類し、その結果得られた斜めクラスに対応する斜めクラスコードを、斜め係数記憶部４３４に出力する。

ここで、斜めクラス分類を行う方法としては、例えば、上述した水平クラス分類部６３で行われる水平クラス分類と同様の方法を採用することができる。

斜め係数記憶部４３４は、後述する学習によってあらかじめ求められた斜めクラスごとの斜め係数のセットを記憶しており、その記憶している斜め係数のセットのうちの、斜めクラス分類部４３３から供給された斜めクラスコードに対応するアドレスに記憶されている斜め係数（斜めクラス分類部４３３から供給された斜めクラスコードが表す斜めクラスに対応する斜め係数）を、予測演算部４３５に出力する。

予測演算部４３５は、水平予測タップ抽出部６１から供給された水平予測タップ、垂直予測タップ抽出部６５から供給された垂直予測タップ、水平係数記憶部６４から供給された水平係数、垂直係数記憶部６８から供給された垂直係数、斜め予測タップ抽出部４３１から供給された斜め予測タップ、および斜め係数記憶部４３４から供給された斜め係数に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。

次に、図２６を参照して、図２５の予測演算部４３５で行われる予測演算を説明する。

図２６は、図２５の予測演算部４３５の詳細な構成例を示すブロック図である。

なお、図中、図３の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。

即ち、図２６の予測演算部４３５は、斜め予測演算部４６１、ゲイン調整部４６２、および加算部４６３が新たに設けられているほかは、図３の予測演算部６９の場合と同様に構成されている。

なお、図２６では、図３の水平クラスタップ抽出部６２、水平クラス分類部６３、垂直クラスタップ抽出部６６、および垂直クラス分類部６７の図示は、省略してある。

斜め予測演算部４６１には、斜め係数記憶部４３４からの斜め係数ｗ’’_nと、斜め予測タップ抽出部４３１からの斜め予測タップｘ’’_nとが供給される。

斜め予測演算部４６１は、斜め係数記憶部４３４からの斜め係数ｗ’’_n、および斜め予測タップ抽出部４３１からの斜め予測タップｘ’’_nとを用いた斜め予測演算を行い、その結果得られた斜め処理画像の画素（以下、適宜、斜め画素という）の画素値Ｒを、ゲイン調整部４６２に供給する。

ここで、斜め予測タップと斜め係数とを用いた斜め予測演算として、水平予測演算や垂直予測演算と同様に、線形１次予測演算を採用し、斜め画素の画素値Ｒを求めることとすると、斜め画素の画素値Ｒは、次の線形１次式によって求められることになる。

・・・（１１）

但し、式（１１）において、ｘ’’_nは、注目画素に対応する斜め画素（ノイズ画像の注目画素と同一の位置にある斜め処理画像の画素）についての斜め予測タップを構成する複数のノイズ画素のうちのｎ番目のノイズ画素の画素値を表している。ここで、例えば、斜め予測タップが、図２５右上に示した、注目画素と、その周りに位置する複数の画素である斜め方向のタップ４２３とすると、ｎ番目のノイズ画素の画素値とは、斜め方向のタップ４２３に付された番号ｎに対応するノイズ画素の画素値を示している。なお、ｘ’’₁は、注目画素の画素値を表しており、注目画素の画素値であるｘ₁と同一であるため、以下、ｘ₁ともいう。

また、ｗ’’_nは、ｎ番目のノイズ画素の画素値と乗算される斜め係数を表す。なお、式（１１）では、斜め予測タップが、Ｎ個のノイズ画素ｘ’’₁，・・・，ｘ’’_Nで構成されるものとしている。

斜め予測演算により求められる斜め画素の画素値Ｒは、ｗ’’₁ｘ₁＋ｗ’’₂ｘ’’₂＋・・・＋ｗ’’_N-1ｘ’’_N-1＋ｗ’’_Nｘ’’_N＝｛（ｗ’’₁−１）ｘ₁＋ｗ’’₂ｘ’’₂＋・・・＋ｗ’’_N-1ｘ’’_N-1＋ｗ’’_Nｘ’’_N｝＋ｘ₁となり、ｒ＝｛（ｗ’’₁−１）ｘ₁＋ｗ’’₂ｘ’’₂＋・・・＋ｗ’’_N-1ｘ’’_N-1＋ｗ’’_Nｘ’’_N｝とすれば、Ｒ＝ｒ＋ｘ₁となる。

ここで、ｒは、斜め予測演算により求められた斜め画素の画素値Ｒからノイズ画素の注目画素の画素値ｘ₁を差し引くことで得られる差分の画素値を表す。従って、以下、適宜、ｒを斜め差分ｒという。

斜め差分ｒを導入することにより、斜め画素の画素値Ｒは、ノイズ画素の注目画素の画素値ｘ₁に斜め差分ｒを加算することで得られる画素値と考えることができる。斜め画素は、斜め予測演算により、ノイズ画素（の画素値）に含まれるノイズが除去された画素であるから、斜め差分ｒは、いわば、斜め係数ｗ’’_nと斜め予測タップの画素値ｘ’’_nとを用いた斜め予測演算による、ノイズの除去の効果分（以下、適宜、斜め処理効果分という）であるということができる。

斜め予測演算部４６１は、上述した斜め予測演算により求められた斜め画素の画素値Ｒを、ゲイン調整部４６２に供給する。

ゲイン調整部４６２には、図２５の斜め予測タップ抽出部４３１から、注目画素の画素値ｘ₁が供給される。

ゲイン調整部４６２は、斜め予測演算部４６１から供給された斜め画素の画素値Ｒから、斜め予測タップ抽出部４３１から供給されたノイズ画像の注目画素の画素値ｘ₁を差し引くゲイン調整演算を行い、その結果得られた画素値である斜め差分ｒを加算部４６３に供給する。

加算部４６３は、加算部１０４から供給された画素値Ｈ＋ｖと、ゲイン調整部４６２から供給された斜め差分ｒとを加算し、その結果得られた画素値Ｈ＋ｖ＋ｒを、ノイズ除去画像を予測した画素値として出力する。

ここで、図２６の斜め予測タップ抽出部４３１、斜めクラスタップ抽出部４３２、斜めクラス分類部４３３、斜め係数記憶部４３４、および斜め予測演算部４６１を総称して斜めマッピング部４７１といい、その斜めマッピング部４７１が、斜め係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ₁を、斜め画素の画素値Ｒに変換する処理を、以下、適宜、斜めマッピング処理という。

また、斜め画素の画素値Ｒは、斜め処理画像の画素値を示すものであるため、以下、単に、斜め処理画像Ｒともいう。

さらに、図２６の斜め予測タップ抽出部４３１、斜めクラスタップ抽出部４３２、斜めクラス分類部４３３、斜め係数記憶部４３４、斜め予測演算部４６１、およびゲイン調整部４６２を総称して斜め差分マッピング部４７２といい、その斜め差分マッピング部４７２が、斜め係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ₁を、斜め差分ｒに変換する処理を、以下、適宜、斜め差分マッピング処理という。

次に、図２７のフローチャートを参照して、図２５の画像変換部３１における画像変換処理を説明する。

この画像変換処理は、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が、画像変換部３１に供給されたときに開始される。このとき、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、斜め予測タップ抽出部４３１、および斜めクラスタップ抽出部４３２には、ノイズ画像が供給される。

即ち、ステップＳ３１１乃至ステップＳ３１４において、図４のステップＳ３１乃至ステップＳ３４それぞれと同様の処理が行われ、処理は、ステップＳ３１５に進み、斜め差分マッピング部４７２（図２６）は、注目画素について斜め差分マッピング処理を行い、その結果得られた斜め差分ｒを、加算部４６３に供給して、処理は、ステップＳ３１６に進む。

ステップＳ３１６において、加算部４６３は、加算部１０４からの水平垂直処理画像Ｈ＋ｖと、斜め差分マッピング部４７２からの斜め差分ｒとを加算し、注目画素に対応する、ノイズ除去画像の画素値ｙ＝Ｈ＋ｖ＋ｒを得て出力する。

その後、ステップＳ３１６からステップＳ３１７に進み、図４のステップＳ３５と同様の処理が行われる。

即ち、ステップＳ３１７では、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画像の画素が存在するか否かを判定する。

ステップＳ３１７において、まだ注目画素とされていないノイズ画像が存在すると判定された場合、処理は、ステップＳ３１１に戻り、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画像のうちの１つを、新たな注目画素とし、処理は、ステップＳ３１２に進み、以下、同様の処理を繰り返す。

ステップＳ３１７において、まだ注目画素とされていないノイズ画素が存在しないと判定された場合、画像変換処理は終了される。

なお、図２５の画像変換部３１では、水平タップにおける学習処理で求められる水平係数、垂直タップにおける学習処理で求められる垂直係数、および斜めタップにおける学習処理で求められる斜め係数を用いて、画像変換処理を行うことができる。

ここで、斜めタップにおける学習処理とは、ノイズ除去画像に相当する画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いて、斜め係数を学習する学習処理をいう。

なお、図８の学習部１２１において、予測タップ抽出部１３３が斜め予測タップを抽出し、クラスタップ抽出部１３４が斜め予測タップを抽出して、クラス分類部１３５が斜めクラス分類を行うようにすれば、斜めタップにおける学習処理を行うことができる。

即ち、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップ（図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる斜め予測タップ）を得て、足し込み部１３６に供給する。

クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップ（図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる斜めクラスタップ）を得て、クラス分類部１３５に供給する。

クラス分類部１３５は、クラスタップ抽出部１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部１３６に供給する。

足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された斜めクラスコードごとに行う。

即ち、足し込み部１３６には、原画像記憶部１３１に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙ_k、予測タップ抽出部１３３が出力する注目画素についての斜め予測タップを構成する生徒画像の画素の画素値ｘ_n,k、クラス分類部１３５が出力する、斜め予測タップの斜めクラスを表す斜めクラスコードが供給される。

そして、足し込み部１３６は、クラス分類部１３５から供給された斜めクラスコードに対応する斜めクラスごとに、斜め予測タップ（生徒画像）ｘ_n,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み部１３６は、やはり、クラス分類部１３５から供給された斜めクラスコードに対応する斜めクラスごとに、斜め予測タップ（生徒画像）ｘ_n,kと教師画像ｙ_kを用い、式（１０）の右辺のベクトルにおける生徒画像ｘ_n,kおよび教師画像ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

そして、足し込み部１３６は、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各斜めクラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部１３７に供給する。

係数算出部１３７は、足し込み部１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数ｗ’’_nを求めて出力する。

次に、図２８は、上述した図２５の画像変換部３１で用いられる水平係数、垂直係数、および斜め係数を学習する３段差分学習部４９１の構成例を示すブロック図である。

３段差分学習部４９１は、図１０の２段差分学習部１５１の水平タップ学習部１６１乃至垂直タップ差分学習部１６３それぞれと同様に構成される水平タップ学習部２１６１乃至垂直タップ学習部２１６３、図１０の画像変換部１５２の垂直差分マッピング部１６４または加算部１６５それぞれと同様に構成される垂直差分マッピング部２１６４または加算部２１６５、および斜めタップ差分学習部５３１から構成されている。

なお、図２８には、説明の便宜上、図２５の画像変換部３１に相当する画像変換部４９２も図示してある。

画像変換部４９２は、水平マッピング部２１６２、垂直差分マッピング部２１６４、加算部２１６５、斜め差分マッピング部５３２、および加算部５３３から構成される。斜め差分マッピング部５３２は、図２６の斜め差分マッピング部４７２と同様に構成される。

斜めタップ差分学習部５３１は、水平タップ学習部２１６１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。

即ち、斜めタップ差分学習部５３１は、原画像、ノイズ画像、および水平垂直処理画像Ｈ＋ｖから、後述するようにして、原画像と[水平差分ｈ＋垂直差分ｖ]との差分である原画像−[水平差分ｈ＋垂直差分ｖ]を生成し、その原画像−[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、ノイズ画像を生徒画像として、斜め予測タップ及び斜めクラスタップを用いて斜め係数を学習する、斜めタップにおける水平垂直差分の差分学習処理を行う。

なお、斜めタップ差分学習部５３１の、斜めタップにおける水平垂直差分の差分学習処理は、後述する図２９を参照して、詳細に説明する。

図２５の画像変換部３１における画像変換処理では、図２８の３段差分学習部４９１により求められた水平係数、垂直係数、および斜め係数を用いることができる。

ここで、図２８において、画像変換部４９２は、図２５の画像変換部３１と同様に構成される。画像変換部４９２では、次のようにして、ノイズ画像を原画像（の予測値）に変換する画像変換処理が行われる。

即ち、画像変換部４９２では、水平マッピング部２１６２、垂直差分マッピング部２１６４、加算部２１６５において、図１０の水平マッピング部１６２、垂直差分マッピング部１６４、加算部１６５とそれぞれ同様の処理が行われる。

そして、斜め差分マッピング部５３２において、斜めタップ差分学習部５３１での斜めタップにおける水平垂直差分の差分学習処理により得られる斜め係数を用いて、ノイズ画像を斜め差分ｒに変換する斜め差分マッピング処理を行い、その斜め差分ｒを、加算部５３３に供給する。

加算部５３３には、加算部２１６５から、水平垂直処理画像Ｈ＋ｖが供給される。

加算部５３３は、図２６の加算部４６３と同様に構成され、加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖと、斜め差分マッピング部５３２から供給された斜め差分ｒとを加算し、その結果得られた画素値Ｈ＋ｖ＋ｒで構成される、原画像を予測した画像（以下、適宜、水平垂直斜め処理画像という）を出力する。

次に、図２９は、斜めタップにおける水平垂直差分の差分学習処理を行う図２８の斜めタップ差分学習部５３１の詳細な構成例を示すブロック図である。

斜めタップ差分学習部５３１は、図１５の水平タップ差分学習部２８５の原画像記憶部２１３１乃至係数算出部２１３７それぞれと同様に構成される原画像記憶部３１３１乃至係数算出部３１３７と、差分画像生成部５４３とから構成される。

差分画像生成部５４３には、ノイズ付加部３１３２から生徒画像が供給されるとともに、図２８の加算部２１６５から、水平垂直処理画像Ｈ＋ｖが供給される。

差分画像生成部５４３は、ノイズ付加部３１３２から供給された生徒画像（ノイズ画像）ｘ₁を、図２８の加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖ＝ｈ＋ｖ＋ｘ₁から差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。

また、差分画像生成部５４３は、原画像記憶部３１３１に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部３１３６に供給する。

斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップを得て、足し込み部３１３６に供給する。

斜めクラスタップ抽出部３１３４は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップを得て、斜めクラス分類部３１３５に供給する。

斜めクラス分類部３１３５は、斜めクラスタップ抽出部３１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部３１３６に供給する。

なお、足し込み部３１３６は、差分画像生成部５４３から供給された教師画像の画素のうちの、注目画素に対応する画素と、斜め予測タップ抽出部３１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、斜めクラス分類部３１３５から供給された斜めクラスコードごとに行うことにより、各斜めクラスについて正規方程式をたてると、その正規方程式を、係数算出部３１３７に供給する。

係数算出部３１３７は、足し込み部３１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数を求めて出力する。

以上のように構成される斜めタップ差分学習部５３１では、原画像と[水平差分ｈ＋垂直差分ｖ]との差分である原画像―[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、ノイズ画像を生徒画像として、斜め係数を学習することから、ノイズ画像を、原画像から、水平マッピング処理による水平処理効果分としての水平差分ｈと垂直マッピング処理による垂直処理効果分としての垂直差分ｖとを差し引いた画像に変換する斜め係数が求められる。

次に、図３０のフローチャートを参照して、図２８の３段差分学習部４９１における３段差分学習処理を説明する。

ステップＳ３３１において、水平タップ学習部２１６１は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部２１６２に供給する。

その後、処理は、ステップＳ３３１からステップＳ３３２に進み、水平マッピング部２１６２は、水平タップ学習部２１６１で生徒画像として用いられるノイズ画像（に相当する画像）と、水平タップ学習部２１６１から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部２１６３に供給する。

そして、処理は、ステップＳ３３２からステップＳ３３３に進み、垂直タップ差分学習部２１６３は、水平タップ学習部２１６１で教師画像として用いられる原画像と、水平マッピング部２１６２から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直差分マッピング部２１６４に供給して、処理は、ステップＳ３３４に進む。

ステップＳ３３４において、垂直差分マッピング部２１６４は、水平タップ学習部２１６１で生徒画像として用いられるノイズ画像と、垂直タップ差分学習部２１６３から供給された垂直係数とを用いて、垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部２１６５に供給して、処理は、ステップＳ３３５に進む。

ステップＳ３３５において、加算部２１６５は、水平マッピング部２１６２から供給された水平処理画像Ｈと、垂直差分マッピング部２１６４から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜めタップ差分学習部５３１に供給して、処理は、ステップＳ３３６に進む。

ステップＳ３３６において、斜めタップ差分学習部５３１は、水平タップ学習部２１６１で教師画像として用いられる原画像と、加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖとを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。

その後、３段差分学習処理は、終了される。

次に、図３１のフローチャートを参照して、図３０のステップＳ３３６の、斜めタップにおける水平垂直差分の差分学習処理の詳細を説明する。

ステップＳ３４１において、斜めタップ差分学習部５３１（図２９）のノイズ付加部３１３２は、原画像記憶部３１３１に記憶されている原画像を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、差分画像生成部５４３、斜め予測タップ抽出部３１３３および斜めクラスタップ抽出部３１３４に供給する。なお、原画像記憶部３１３１には、図２８の水平タップ学習部２１６１で教師画像として用いられるのと同一の原画像が、記憶されている。

処理は、ステップＳ３４１からステップＳ３４２に進み、差分画像生成部５４３は、ノイズ付加部３１３２から供給されたノイズ画像ｘ₁を、図２８の加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖ＝ｈ＋ｖ＋ｘ₁から差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。

また、ステップＳ３４２において、差分画像生成部５４３は、原画像記憶部３１３１に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部３１３６に供給する。

処理は、ステップＳ３４２からステップＳ３４３に進み、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、処理は、ステップＳ３４４に進む。

ステップＳ３４４において、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの、注目画素についての斜め予測タップとなる複数の画素を抽出し、足し込み部３１３６に供給する。

処理は、ステップＳ３４４からステップＳ３５５に進み、斜めクラスタップ抽出部３１３４は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの、注目画素についての斜めクラスタップとなる複数の画素を抽出し、斜めクラス分類部３１３５に供給する。

処理は、ステップＳ３４５からステップＳ３４６に進み、斜めクラス分類部３１３５は、斜めクラスタップ抽出部３１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部３１３６に供給して、処理は、ステップＳ３４７に進む。

ステップＳ３４７において、足し込み部３１３６は、差分画像生成部５４３から供給された教師画像の画素のうちの、注目画素に対応する画素と、斜め予測タップ抽出部３１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、斜めクラス分類部３１３５から供給された斜めクラスコードごとに行う。

処理は、ステップＳ３４７からステップＳ３４８に進み、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。

ステップＳ３４８において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ３４３に戻り、斜め予測タップ抽出部３１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ３４４に進み、以下、同様の処理を繰り返す。

一方、ステップＳ３４８において、まだ注目画素とされていない生徒画像の画素が存在しないと判定された場合、即ち、足し込み部３１３６においては、ノイズ付加部３１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各斜めクラスについて、式（１０）に示した正規方程式が得られた場合、足し込み部３１３６は、その正規方程式を、係数算出部３１３７に供給する。そして、処理は、ステップＳ３４８からステップＳ３４９に進み、係数算出部３１３７は、足し込み部３１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数ｗ’’_nを求めて出力する。

その後、処理は、図３０のステップＳ３３６にリターンする。

ところで、図２８の３段差分学習部４９１で求められる水平係数、垂直係数、および斜め係数によれば、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直処理効果分、および斜め係数を用いた斜め処理効果分の寄与分が同等とならない。

そこで、図３２は、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直予測演算による垂直処理効果分、および斜め係数を用いた斜め予測演算による斜め処理効果分の寄与分が同等となるように、水平係数、垂直係数、および斜め係数を求める３段反復学習部５８１の構成例を示すブロック図である。

図３２の３段反復学習部５８１は、水平処理部６０１、垂直処理部６０２、および斜め処理部６０３により構成される。

水平処理部６０１は、斜め処理部６０３から供給された画像などに基づいて、水平係数を学習する。さらに、水平処理部６０１は、学習によって得られる水平係数などに基づいて画像を生成し、垂直処理部６０２に供給する。

垂直処理部６０２は、水平処理部６０１から供給された画像などに基づいて、垂直係数を学習する。さらに、垂直処理部６０２は、学習によって得られる垂直係数などに基づいて画像を生成し、斜め処理部６０３に供給する。

斜め処理部６０３は、垂直処理部６０２から供給された画像などに基づいて、斜め係数を学習する。さらに、斜め処理部６０３は、学習によって得られる斜め係数などに基づいて画像を生成し、水平処理部６０１に供給する。

図３３は、図３２の水平処理部６０１の詳細な構成例を示すブロック図である。

水平処理部６０１は、水平タップ学習部６３１、水平マッピング部６３２、水平タップ差分学習部６３３、および水平差分加算マッピング部６３４により構成される。また、水平差分加算マッピング部６３４は、水平差分マッピング部６６１および加算部６６２により構成される。

水平タップ学習部６３１は、図８の学習部１２１と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部６３２および水平差分加算マッピング部６３４（水平差分マッピング部６６１）に供給する。

水平マッピング部６３２は、水平タップ学習部６３１で生徒画像として用いられるノイズ画像と、水平タップ学習部６３１または水平タップ差分学習部６３３から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２（図３２）に供給する。

水平タップ差分学習部６３３は、水平タップ学習部６３１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および斜め処理部６０３から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、水平係数を学習する。

即ち、水平タップ差分学習部６３３は、原画像、ノイズ画像、および垂直斜め処理画像Ｖ＋ｒから、後述するようにして、原画像と[垂直差分ｖ＋斜め差分ｒ]との差分である原画像−[垂直差分ｖ＋斜め差分ｒ]を生成し、その原画像−[垂直差分ｖ＋斜め差分ｒ]を教師画像とするとともに、ノイズ画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて水平係数を学習する、水平タップにおける垂直斜め差分の差分学習処理を行う。

なお、水平タップ差分学習部６３３の、水平タップにおける垂直斜め差分の差分学習処理は、後述する図３４を参照して、詳細に説明する。

また、水平タップ差分学習部６３３は、学習した水平係数を、水平マッピング部６３２および水平差分加算マッピング部６３４（水平差分マッピング部６６１）に供給する。

水平差分加算マッピング部６３４は、斜め水平処理画像Ｒ＋ｈを生成し、垂直処理部６０２に供給する。

即ち、水平差分加算マッピング部６３４の水平差分マッピング部６６１は、水平タップ学習部６３１で生徒画像として用いられるノイズ画像と、水平タップ学習部６３１または水平タップ差分学習部６３３から供給された水平係数を用いて、水平差分マッピング処理を行って、水平差分ｈを求め、加算部６６２に供給する。

加算部６６２は、水平差分マッピング部６６１から供給された水平差分ｈと、斜め処理部６０３から供給された斜め処理画像Ｒとを加算し、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２に供給する。

ここで、上述のように、水平差分マッピング部６６１と加算部６６２とで構成される水平差分加算マッピング部６３４は、水平差分ｈを求め、その水平差分ｈと、斜め処理部６０３から供給された斜め処理画像Ｒとを加算する処理を行うため、かかる処理を、以下、適宜、水平差分加算マッピング処理という。

図３４は、水平タップにおける垂直斜め差分の差分学習処理を行う図３３の水平タップ差分学習部６３３の詳細な構成例を示すブロック図である。

水平タップ差分学習部６３３は、図１５の水平タップ差分学習部２８５の原画像記憶部２１３１乃至係数算出部２１３７それぞれと同様に構成される原画像記憶部４１３１乃至係数算出部４１３７と、差分画像生成部６７３とから構成される。

差分画像生成部６７３には、ノイズ付加部４１３２から生徒画像が供給されるとともに、図３２の斜め処理部６０３から、垂直斜め処理画像Ｖ＋ｒが供給される。

差分画像生成部６７３は、ノイズ付加部４１３２から供給された生徒画像（ノイズ画像）ｘ₁を、図３２の斜め処理部６０３から供給された垂直斜め処理画像Ｖ＋ｒ＝ｖ＋ｘ₁＋ｒから差し引くことで、[垂直差分ｖ＋斜め差分ｒ]を生成する。

また、差分画像生成部６７３は、原画像記憶部４１３１に記憶されている原画像を読み出し、その原画像から、生成した[垂直差分ｖ＋斜め差分ｒ]を差し引き、その結果得られた原画像―[垂直差分ｖ＋斜め差分ｒ]を、教師画像として、足し込み部４１３６に供給する。

水平予測タップ抽出部４１３３は、ノイズ付加部４１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、水平予測タップ抽出部４１３３は、ノイズ付加部４１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部４１３６に供給する。

水平クラスタップ抽出部４１３４は、ノイズ付加部４１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、水平クラス分類部４１３５に供給する。

水平クラス分類部４１３５は、水平クラスタップ抽出部４１３４から供給された水平クラスタップに基づき、図２５の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部４１３６に供給する。

なお、足し込み部４１３６は、差分画像生成部６７３から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部４１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、水平クラス分類部４１３５から供給された水平クラスコードごとに行うことにより、各水平クラスについて正規方程式をたてると、その正規方程式を、係数算出部４１３７に供給する。

係数算出部４１３７は、足し込み部４１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数を求めて出力する。

図３５は、図３２の垂直処理部６０２の詳細な構成例を示すブロック図である。

垂直処理部６０２は、垂直タップ学習部６９１、垂直マッピング部６９２、垂直タップ差分学習部６９３、および垂直差分加算マッピング部６９４により構成される。また、垂直差分加算マッピング部６９４は、垂直差分マッピング部７２１および加算部７２２により構成される。

垂直タップ学習部６９１は、図８の学習部１２１と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部６９２および垂直差分加算マッピング部６９４（垂直差分マッピング部７２１）に供給する。

垂直マッピング部６９２は、垂直タップ学習部６９１で生徒画像として用いられるノイズ画像と、垂直タップ学習部６９１または垂直タップ差分学習部６９３から供給された垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３（図３２）に供給する。

垂直タップ差分学習部６９３は、垂直タップ学習部６９１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および水平処理部６０１から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、水平係数を学習する。

即ち、垂直タップ差分学習部６９３は、原画像、ノイズ画像、および斜め水平処理画像Ｒ＋ｈから、原画像と[斜め差分ｒ＋水平差分ｈ]との差分である原画像−[斜め差分ｒ＋水平差分ｈ]を生成し、その原画像−[斜め差分ｒ＋水平差分ｈ]を教師画像とするとともに、ノイズ画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける斜め水平差分の差分学習処理を行う。

なお、垂直タップ差分学習部６９３の、垂直タップにおける斜め水平差分の差分学習処理は、後述する図３６を参照して、詳細に説明する。

また、垂直タップ差分学習部６９３は、学習した垂直係数を、垂直マッピング部６９２および垂直差分加算マッピング部６９４（垂直差分マッピング部７２１）に供給する。

垂直差分加算マッピング部６９４は、水平垂直処理画像Ｈ＋ｖを生成し、斜め処理部６０３に供給する。

即ち、垂直差分加算マッピング部６９４の垂直差分マッピング部７２１は、垂直タップ学習部６９１で生徒画像として用いられるノイズ画像と、垂直タップ学習部６９１または垂直タップ差分学習部６９３から供給された垂直係数を用いて、垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部７２２に供給する。

加算部７２２は、垂直差分マッピング部７２１から供給された垂直差分ｖと、水平処理部６０１から供給された水平処理画像Ｈとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３に供給する。

ここで、上述のように、垂直差分マッピング部７２１と加算部７２２とで構成される垂直差分加算マッピング部６９４は、垂直差分ｖを求め、その垂直差分ｖと、水平処理部６０１から供給された水平処理画像Ｈとを加算する処理を行うが、かかる処理を、以下、適宜、垂直差分加算マッピング処理という。

図３６は、垂直タップにおける斜め水平差分の差分学習処理を行う図３５の垂直タップ差分学習部６９３の詳細な構成例を示すブロック図である。

垂直タップ差分学習部６９３は、図３４の水平タップ差分学習部６３３の原画像記憶部４１３１乃至係数算出部４１３７それぞれと同様に構成される原画像記憶部５１３１乃至係数算出部５１３７と、差分画像生成部７３３とから構成される。

差分画像生成部７３３には、ノイズ付加部５１３２から生徒画像が供給されるとともに、図３２の水平処理部６０１から、斜め水平処理画像Ｒ＋ｈが供給される。

差分画像生成部７３３は、ノイズ付加部５１３２から供給された生徒画像（ノイズ画像）ｘ₁を、図３２の水平処理部６０１から供給された斜め水平処理画像Ｒ＋ｈ＝ｒ＋ｘ₁＋ｈから差し引くことで、[斜め差分ｒ＋水平差分ｈ]を生成する。

また、差分画像生成部７３３は、原画像記憶部５１３１に記憶されている原画像を読み出し、その原画像から、生成した[斜め差分ｒ＋水平差分ｈ]を差し引き、その結果得られた原画像―[斜め差分ｒ＋水平差分ｈ]を、教師画像として、足し込み部５１３６に供給する。

垂直予測タップ抽出部５１３３は、ノイズ付加部５１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、垂直予測タップ抽出部５１３３は、ノイズ付加部５１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部５１３６に供給する。

垂直クラスタップ抽出部５１３４は、ノイズ付加部５１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部５１３５に供給する。

垂直クラス分類部５１３５は、垂直クラスタップ抽出部５１３４から供給された垂直クラスタップに基づき、図２５の垂直クラス分類部６７と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部５１３６に供給する。

なお、足し込み部５１３６は、差分画像生成部７３３から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部５１３３から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部５１３５から供給された垂直クラスコードごとに行うことにより、各垂直クラスについて正規方程式をたてると、その正規方程式を、係数算出部５１３７に供給する。

係数算出部５１３７は、足し込み部５１３６から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数を求めて出力する。

図３７は、図３２の斜め処理部６０３の詳細な構成例を示すブロック図である。

斜め処理部６０３は、斜めタップ学習部７５１、斜めマッピング部７５２、斜めタップ差分学習部７５３、および斜め差分加算マッピング部７５４により構成される。また、斜め差分加算マッピング部７５４は、斜め差分マッピング部７８１および加算部７８２により構成される。

斜めタップ学習部７５１は、図８の学習部１２１と同様に構成され、斜めタップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いた斜め係数を学習する学習処理を行い、その結果得られた斜め係数を、斜めマッピング部７５２および斜め差分加算マッピング部７５４（斜め差分マッピング部７８１）に供給する。

斜めマッピング部７５２は、斜めタップ学習部７５１で生徒画像として用いられるノイズ画像と、斜めタップ学習部７５１または斜めタップ差分学習部７５３から供給された斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１（図３２）に供給する。

斜めタップ差分学習部７５３は、斜めタップ学習部７５１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直処理部６０２から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。

即ち、斜めタップ差分学習部７５３は、原画像、ノイズ画像、および水平垂直処理画像Ｈ＋ｖから、原画像と[水平差分ｈ＋垂直差分ｖ]との差分である原画像−[水平差分ｈ＋垂直差分ｖ]を生成し、その原画像−[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、ノイズ画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いて斜め係数を学習する、斜めタップにおける水平垂直差分の差分学習処理を行う。

なお、斜めタップ差分学習部７５３の、斜めタップにおける水平垂直差分の差分学習処理は、後述する図３８を参照して、詳細に説明する。

また、斜めタップ差分学習部７５３は、学習した斜め係数を、斜めマッピング部７５２および斜め差分加算マッピング部７５４（斜め差分マッピング部７８１）に供給する。

斜め差分加算マッピング部７５４は、垂直斜め処理画像Ｖ＋ｒを生成し、水平処理部６０１に供給する。

即ち、斜め差分加算マッピング部７５４の斜め差分マッピング部７８１は、斜めタップ学習部７５１で生徒画像として用いられるノイズ画像と、斜めタップ学習部７５１または斜めタップ差分学習部７５３から供給された斜め係数を用いて、斜め差分マッピング処理を行い、その結果得られた斜め差分ｒを、加算部７８２に供給する。

加算部７８２は、斜め差分マッピング部７８１から供給された斜め差分ｒと、垂直処理部６０２から供給された垂直処理画像Ｖとを加算し、その結果得られた垂直斜め処理画像Ｖ＋ｒを生成し、水平処理部６０１に供給する。

ここで、上述のように、斜め差分マッピング部７８１と加算部７８２とで構成される斜め差分加算マッピング部７５４は、斜め差分ｒを求め、その斜め差分ｒと、垂直処理部６０２から供給された垂直処理画像Ｖとを加算する処理を行うが、かかる処理を、以下、適宜、斜め差分加算マッピング処理という。

図３８は、斜めタップにおける水平垂直差分の差分学習処理を行う図３７の斜めタップ差分学習部７５３の詳細な構成例を示すブロック図である。

斜めタップ差分学習部７５３は、図３４の水平タップ差分学習部６３３の原画像記憶部４１３１乃至係数算出部４１３７それぞれと同様に構成される原画像記憶部６１３１乃至係数算出部６１３７と、差分画像生成部７９３とから構成される。

差分画像生成部７９３には、ノイズ付加部６１３２から生徒画像が供給されるとともに、図３２の垂直処理部６０２から、水平垂直処理画像Ｈ＋ｖが供給される。

差分画像生成部７９３は、ノイズ付加部６１３２から供給された生徒画像（ノイズ画像）ｘ₁を、図３２の垂直処理部６０２から供給された水平垂直処理画像Ｈ＋ｖ＝ｈ＋ｘ₁＋ｖから差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。

また、差分画像生成部７９３は、原画像記憶部６１３１に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部６１３６に供給する。

斜め予測タップ抽出部６１３３は、ノイズ付加部６１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、斜め予測タップ抽出部６１３３は、ノイズ付加部６１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップを得て、足し込み部６１３６に供給する。

斜めクラスタップ抽出部６１３４は、ノイズ付加部６１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップを得て、斜めクラス分類部６１３５に供給する。

斜めクラス分類部６１３５は、斜めクラスタップ抽出部６１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部６１３６に供給する。

なお、足し込み部６１３６は、差分画像生成部７９３から供給された教師画像の画素のうちの、注目画素に対応する画素と、斜め予測タップ抽出部６１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、斜めクラス分類部６１３５から供給された斜めクラスコードごとに行うことにより、各斜めクラスについて正規方程式をたてると、その正規方程式を、係数算出部６１３７に供給する。

係数算出部６１３７は、足し込み部６１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数を求めて出力する。

図３９は、図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。

図中左側から１番目の、上下方向に伸びた点線の矩形内には、水平タップ学習部６３１、水平マッピング部６３２、水平タップ差分学習部６３３、および水平差分加算マッピング部６３４が示されており、図３２の水平処理部６０１による処理の流れを示している。

また、図中左側から２番目の、上下方向に伸びた点線の矩形内には、垂直タップ学習部６９１、垂直マッピング部６９２、垂直タップ差分学習部６９３、および垂直差分加算マッピング部６９４が示されており、図３２の垂直処理部６０２による処理の流れを示している。

さらに、図中左側から３番目（右側から１番目）の、上下方向に伸びた点線の矩形内には、斜めタップ学習部７５１、斜めマッピング部７５２、斜めタップ差分学習部７５３、および斜め差分加算マッピング部７５４が示されており、図３２の斜め処理部６０３による処理の流れを示している。

なお、図中、実線で表された矢印は、水平マッピング部６３２や、水平差分加算マッピング部６３４、垂直マッピング部６９２、垂直差分加算マッピング部６９４、斜めマッピング部７５２、斜め差分加算マッピング部７５４で生成された画像の流れを示している。

また、図中、点線で表された矢印は、水平タップ学習部６３１や、水平タップ差分学習部６３３、垂直タップ学習部６９１、垂直タップ差分学習部６９３、斜めタップ学習部７５１、斜めタップ差分学習部７５３で学習された係数の流れを示している。

さらに、図中下側には、図２８で説明した画像変換部４９２が示されている。

いま、教師画像と生徒画像とを用いたｎ回目の学習処理を、第ｎ−１世代の学習処理というとともに、第ｎ−１世代の学習によって求められる第ｎ−１世代の水平係数、第ｎ−１世代の垂直係数、および第ｎ−１世代の斜め係数のセットを、第ｎ−１世代の係数セットということとする。

第０世代の学習処理では、水平処理部６０１の水平タップ学習部６３１は、水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。垂直処理部６０２の垂直タップ学習部６９１は、垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。さらに、斜め処理部６０３の斜めタップ学習部７５１は、斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。これにより、第０世代の係数セットが求められる。

第１世代の学習処理では、第０世代で求められた係数セットに基づいて、第１世代の係数セットが求められる。

即ち、第１世代の学習処理では、水平処理部６０１の水平マッピング部６３２は、水平タップ学習部６３１からの第０世代の水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２の垂直差分加算マッピング部６９４に供給する。

垂直処理部６０２の垂直差分加算マッピング部６９４は、垂直タップ学習部６９１からの第０世代の垂直係数と、水平マッピング部６３２から供給された水平処理画像Ｈを用いて、垂直差分加算マッピング処理を行い、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３の斜めタップ差分学習部７５３に供給する。

斜め処理部６０３の斜めタップ差分学習部７５３は、垂直差分加算マッピング部６９４から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、第１世代の斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。

また、第１世代の学習処理では、垂直処理部６０２の垂直マッピング部６９２は、垂直タップ学習部６９１からの第０世代の垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３の斜め差分加算マッピング部７５４に供給する。

斜め処理部６０３の斜め差分加算マッピング部７５４は、斜めタップ学習部７５１からの第０世代の斜め係数と、垂直マッピング部６９２から供給された垂直処理画像Ｖを用いて、斜め差分加算マッピング処理を行い、その結果得られた垂直斜め処理画像Ｖ＋ｒを、水平処理部６０１の水平タップ差分学習部６３３に供給する。

水平処理部６０１の水平タップ差分学習部６３３は、斜め差分加算マッピング部７５４から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、第１世代の水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。

さらに、第１世代の学習処理では、斜め処理部６０３の斜めマッピング部７５２は、斜めタップ学習部７５１からの第０世代の斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１の水平差分加算マッピング部６３４に供給する。

水平処理部６０１の水平差分加算マッピング部６３４は、水平タップ学習部６３１の第０世代の水平係数と、斜めマッピング部７５２から供給された斜め処理画像Ｒを用いて、水平差分加算マッピング処理を行い、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２の垂直タップ差分学習部６９３に供給する。

垂直処理部６０２の垂直タップ差分学習部６９３は、水平差分加算マッピング部６３４から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、第１世代の垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。

これにより、第１世代の係数セットである、水平係数、垂直係数、および斜め係数が求められ、第２世代では、第１世代で求められた係数セットに基づいて、第２世代の係数セットである、水平係数、垂直係数、および斜め係数が求められる。

第３世代、第４世代、・・・、第Ｎ世代でも、第２世代と同様の処理が行われ、第３世代の係数セット、第４世代、・・・、第Ｎ世代の係数セットが求められる。

なお、３段反復学習処理は、３段反復学習部５８１により求められる係数セットを用いた、図３９下側に示される画像変換部４９２の画像変換処理による結果Ｈ＋ｖ＋ｒと、原画像との自乗誤差を最小にする係数セットが求められたとき、または、あらかじめ決められた世代の学習処理が行われたときなどに終了する。

また、３段反復学習部５８１により求められる係数セットにより画像変換処理を行う場合は、求められた係数セットの、水平係数、垂直係数、または斜め係数を、どの順番で用いてもかまわない。

次に、図４０のフローチャートを参照して、図３２の３段反復学習部５８１における３段反復学習処理を説明する。

ステップＳ３６１において、水平処理部６０１の水平タップ学習部６３１は、水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。また、ステップＳ３６１において、垂直処理部６０２の垂直タップ学習部６９１は、垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。さらに、ステップＳ３６１において、斜め処理部６０３の斜めタップ学習部７５１は、斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。

処理は、ステップＳ３６１からステップＳ３６２に進み、水平処理部６０１の水平マッピング部６３２は、水平タップ学習部６３１からの水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２の垂直差分加算マッピング部６９４に供給する。

また、ステップＳ３６２において、垂直処理部６０２の垂直マッピング部６９２は、垂直タップ学習部６９１からの垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３の斜め差分加算マッピング部７５４に供給する。

さらに、ステップＳ３６２において、斜め処理部６０３の斜めマッピング部７５２は、斜めタップ学習部７５１からの斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１の水平差分加算マッピング部６３４に供給する。

その後、処理は、ステップＳ３６２からステップＳ３６３に進み、水平処理部６０１の水平差分加算マッピング部６３４は、水平タップ学習部６３１の水平係数と、斜めマッピング部７５２から供給された斜め処理画像Ｒを用いて、水平差分加算マッピング処理を行い、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２の垂直タップ差分学習部６９３に供給する。

また、ステップＳ３６３において、垂直処理部６０２の垂直差分加算マッピング部６９４は、垂直タップ学習部６９１からの垂直係数と、水平マッピング部６３２から供給された水平処理画像Ｈを用いて、垂直差分加算マッピング処理を行い、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３の斜めタップ差分学習部７５３に供給する。

さらに、ステップＳ３６３において、斜め処理部６０３の斜め差分加算マッピング部７５４は、斜めタップ学習部７５１からの斜め係数と、垂直マッピング部６９２から供給された垂直処理画像Ｖを用いて、斜め差分加算マッピング処理を行い、その結果得られた垂直斜め処理画像Ｖ＋ｒを、水平処理部６０１の水平タップ差分学習部６３３に供給する。

その後、処理は、ステップＳ３６３からステップＳ３６４に進み、水平処理部６０１の水平タップ差分学習部６３３は、斜め差分加算マッピング部７５４から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。

また、ステップＳ３６４において、垂直処理部６０２の垂直タップ差分学習部６９３は、水平差分加算マッピング部６３４から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。

さらに、ステップＳ３６４において、斜め処理部６０３の斜めタップ差分学習部７５３は、垂直差分加算マッピング部６９４から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。

その後、処理は、ステップＳ３６４からステップＳ３６２に進み、以下、同様の処理を繰り返す。即ち、ステップＳ３６２およびステップＳ３６３においては、ステップＳ３６４で求められた水平係数、垂直係数、および斜め係数を用いてマッピング処理および差分加算マッピング処理が行われ、ステップＳ３６４では、その結果得られた画像に基づいて、差分学習処理が行われる。

以上のような図４０の３段反復学習処理では、水平タップ学習部６３１（図３３）が、ノイズ画像に相当する画像を生徒画像とするとともに、原画像を教師画像として、第０世代の水平係数を求め、水平タップ差分学習部６３３が、ノイズ画像に相当する画像を生徒画像とするとともに、第ｎ−１世代で求められた水平係数、垂直係数、および斜め係数のうちの、水平係数を除いた係数である垂直係数および斜め係数を用いた予測演算による原画像への近似効果分、即ち、垂直係数による垂直処理効果分としての垂直差分ｖと、斜め係数による斜め処理効果分としての斜め差分ｒとを、原画像から差し引くことで得られる画像である原画像−[垂直差分ｖ＋斜め差分ｒ]を教師画像として、第ｎ世代の水平係数を求める。垂直係数および斜め係数も同様に求められる。従って、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直予測演算による垂直処理効果分、および斜め係数を用いた斜め予測演算による斜め処理効果分による寄与分が、それぞれ、同等な水平係数、垂直係数、および斜め係数を求めることができる。

なお、図４０の３段反復学習処理は、例えば、反復して求められる水平係数、垂直係数、および斜め係数がとる値が収束したときに、終了する。

また、図４０の３段反復学習処理は、３段反復学習部５８１（図３２）により求められる係数セットを用いた画像変換処理による結果と、原画像との自乗誤差とを最小にする係数セットが求められたとき、または、あらかじめ決められた世代の学習処理が行われたときなどに終了するようにしてもよい。

ところで、３段反復学習処理において、第０世代による学習処理では、図８の学習部１２１で求めた係数と同様、いずれも単独で、ノイズ画像をノイズ除去画像（の予測値）に変換することができる水平係数、垂直係数、および斜め係数が、第０世代の係数として求められる。

第１世代では、第０世代で求められた係数セットを用いることで得られる過剰な処理効果分を考慮する形で、係数セットを求める。また、第２世代乃至第ｎ世代では、前回の世代で求められた係数セットを用いることで得られる処理効果分を考慮する形で、係数セットを反復して求める。

３段反復学習処理では、多くの場合、世代が進むにつれて、第０世代で求められた係数セットの、いわば、３重のノイズ除去の処理効果分が調整されていき、ノイズ除去の処理効果分が適切な係数セットが求められる。この場合、３段反復学習処理により求められる係数セットは、所定の値に収束する。

しかしながら、求められる係数セットによっては、世代を進めても、第０世代で求められた係数セットの、３重のノイズ除去の処理効果分が適切に調整されないことがある。この場合、３段反復学習処理により求められる係数セットは、所定の値に収束せずに発散または振動してしまう。

そこで、後述するボリューム処理により、前回求めた係数による処理効果分を抑制することで、３段反復学習処理により求められる係数セットがとる値を収束させることができる。なお、２段反復学習処理により求められる係数セットは、収束することが、実験によりわかっているため、２段反復学習処理に対して、後述するボリューム処理は必要ない。

次に、図４１は、ボリューム処理を行う図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。

なお、図中、図３９の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。

即ち、図４１は、新たにボリューム操作部８１１乃至８１３が設けられているほかは、図３９の場合と同様に構成されている。

第０世代の学習処理では、水平処理部６０１の水平タップ学習部６３１は、水平係数を求め、ボリューム操作部８１１に供給する。また、垂直処理部６０２の垂直タップ学習部６９１は、垂直係数を求め、ボリューム操作部８１２に供給する。さらに、斜め処理部６０３の斜めタップ学習部７５１は、斜め係数を求め、ボリューム操作部８１３に供給する。これにより、第０世代の係数セットが求められる。

第１世代の学習処理では、水平処理部６０１のボリューム操作部８１１は、水平タップ学習部６３１からの第０世代の水平係数にボリューム処理を行い、水平処理部６０１の水平マッピング部６３２は、ボリューム処理された第０世代の水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２の垂直差分加算マッピング部６９４に供給する。

垂直処理部６０２のボリューム操作部８１２は、垂直タップ学習部６９１からの第０世代の垂直係数にボリューム処理を行い、垂直処理部６０２の垂直差分加算マッピング部６９４は、ボリューム処理された第０世代の垂直係数と、水平マッピング部６３２から供給された水平処理画像Ｈを用いて、垂直差分加算マッピング処理を行い、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３の斜めタップ差分学習部７５３に供給する。

斜め処理部６０３の斜めタップ差分学習部７５３は、垂直差分加算マッピング部６９４から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、第１世代の斜め係数を求め、ボリューム操作部８１３に供給する。

また、第１世代の学習処理では、垂直処理部６０２のボリューム操作部８１２は、垂直タップ学習部６９１からの第０世代の垂直係数にボリューム処理を行い、垂直処理部６０２の垂直マッピング部６９２は、ボリューム処理された第０世代の垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３の斜め差分加算マッピング部７５４に供給する。

斜め処理部６０３のボリューム操作部８１３は、斜めタップ学習部７５１からの第０世代の斜め係数にボリューム処理を行い、斜め処理部６０３の斜め差分加算マッピング部７５４は、ボリューム処理された第０世代の斜め係数と、垂直マッピング部６９２から供給された垂直処理画像Ｖを用いて、斜め差分加算マッピング処理を行い、その結果得られた垂直斜め処理画像Ｖ＋ｒを、水平処理部６０１の水平タップ差分学習部６３３に供給する。

水平処理部６０１の水平タップ差分学習部６３３は、斜め差分加算マッピング部７５４から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、第１世代の水平係数を求めて、ボリューム操作部８１１に供給する。

さらに、第１世代の学習処理では、斜め処理部６０３のボリューム操作部８１３は、斜めタップ学習部７５１からの第０世代の斜め係数にボリューム処理を行い、斜め処理部６０３の斜めマッピング部７５２は、ボリューム処理された第０世代の斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１の水平差分加算マッピング部６３４に供給する。

水平処理部６０１のボリューム操作部８１１は、水平タップ学習部６３１からの第０世代の水平係数にボリューム処理を行い、水平処理部６０１の水平差分加算マッピング部６３４は、ボリューム処理された第０世代の水平係数と、斜めマッピング部７５２から供給された斜め処理画像Ｒを用いて、水平差分加算マッピング処理を行い、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２の垂直タップ差分学習部６９３に供給する。

垂直処理部６０２の垂直タップ差分学習部６９３は、水平差分加算マッピング部６３４から供給された斜め水平処理画像Ｒ＋ｈに基づいて、垂直タップにおける斜め水平差分の差分学習処理を行い、第１世代の垂直係数を求める。

第３世代、第４世代、・・・、第ｎ世代において、第２世代と同様の処理が行われ、第３世代の係数セット、第４世代、・・・、第Ｎ世代の係数セットが求められる。

なお、図４１で行われる３段反復学習処理は、例えば、求められる係数セットがとる値が収束した場合に、終了する。

以上のように、ボリューム処理を行うことにより、係数セットの発散および振動を防止し、収束させることができる。

即ち、図４２は、係数のボリューム処理を説明する図である。

図中、左右方向に示される数字は、例えば、ノイズ画像の水平予測タップのタップ番号を示している。なお、タップ番号１のタップは、水平予測タップの注目画素ｘ₁であり、水平予測タップは、ｘ₁，ｘ₂，・・・，ｘ₅の５つのタップにより構成されているものとしている。

また、図中、上下方向に示される数字は、図中、左右方向に示されるタップ番号に対応する水平予測タップの画素値と乗算される水平係数（タップ番号に対応する水平係数）がとる値を示している。

さらに、図中、中央に示される実線のグラフVolume０．０は、水平マッピング処理の対象であるノイズ画像ｘ₁を、同一のノイズ画像ｘ₁に変換する水平係数のグラフを示している。即ち、実線のグラフVolume０．０では、タップ番号１の注目画素の水平係数は１．０になっており、それ以外の、タップ番号２乃至５の画素の水平係数は０．０になっている。

従って、実線のグラフVolume０．０が示す水平係数を用いた水平マッピング処理により得られる水平処理画像Ｈは、水平処理効果分のないノイズ画像ｘ₁である。

図中、中央に示される点線のグラフVolume１．０は、上述した３段反復学習処理のある世代で求められた水平係数を示すグラフである。

また、図中、中央に示される１点鎖線のグラフVolume０．５は、ボリューム値０．５によるボリューム処理により得られた水平係数のグラフを示している。

ここで、ボリューム値ｉ（ｉは、０．０以上１．０以下の実数）によるボリューム処理では、実線のグラフVolume０．０が示す水平係数と値（１−ｉ）との乗算値と、点線のグラフVolume１．０が示すある世代の水平係数と値ｉとの乗算値とを加算することで新たな水平係数が求められる。

従って、ボリューム値０．５によるボリューム処理によって得られた新たな係数を表す１点鎖線のグラフVolume０．５は、点線のグラフVolume１．０が表す水平係数と比較して、タップ番号１の注目画素の水平係数が大となり、それ以外の、タップ番号２乃至５の画素の水平係数が小となっている。

以上のようなボリューム値ｉによるボリューム処理においては、ボリューム値ｉを小に設定するほど、実線のグラフVolume０．０が示す水平係数に近い水平係数が求められ、例えば、図４１の水平マッピング部６３２または水平差分加算マッピング部６３４により生成される水平差分ｈに対応する水平処理効果分などが抑制される。

従って、３段反復学習処理により求められる係数セットがとる値が収束することなく発散または振動する場合には、ボリューム値ｉを小さくしたボリューム処理を行うことで、前回の係数セットにおける処理効果分を抑制し、その処理効果分を考慮する形で、係数セットを反復して学習することで、係数セットがとる値を収束させることができる。

なお、ボリューム処理におけるボリューム値ｉは、ユーザがボリューム操作部８１１乃至８１３の図示せぬ操作つまみ等を操作することで設定することができる。

次に、図４３乃至図４６は、３段反復学習処理において、収束することなく発散または振動する係数セットに対して、ボリューム値０．５によるボリューム処理を行った場合の、第０世代乃至第４世代ごとの水平係数を示す図である。

図４３は、所定の水平クラスに対応する世代ごとの水平係数を示す図である。

図中、左右方向に示される数字は、例えば、水平予測タップとしての水平方向に並ぶ９画素である、水平方向のタップ４１に付されたタップ番号を示している。また、図中、上下方向に示される数字は、図中、左右方向に示されるタップ番号に対応する水平予測タップの画素値と乗算される水平係数（タップ番号に対応する水平係数）がとる値を示している。

さらに、図中、中央に示される５つのグラフrec０乃至rec４は、それぞれ、第０世代乃至第４世代の水平係数を示すグラフであり、タップ番号と、そのタップ番号に対応する水平予測タップの画素値と乗算される水平係数との対応を示すグラフである。

次に、図４４は、図４３により示された第０世代乃至第４世代の、タップ番号に対応する水平予測タップの画素値に乗算される水平係数それぞれが、世代が進むごとに、所定の値に収束することを示す図である。

図中、左右方向に示される数字は、図４３で示された水平係数における世代を示している。また、図中、上下方向に示される数字は、図中、左右方向に示される世代で求められた水平係数がとる値を示している。

さらに、図中、中央に示される９つのグラフtap１乃至tap９は、それぞれ、タップ番号１乃至タップ番号９に対応する水平予測タップの画素値と乗算される水平係数を示すグラフであり、世代の変化に応じて、求められる水平係数が変化する様子を示すグラフである。

ここで、例えば、タップ番号１乃至タップ番号９に対応する水平係数のうちの、１番変化の大きいタップ番号１に対応する水平係数に注目すると、世代が進むにつれて、振幅が小さくなっていき、所定の値に収束する様子が示されている。

図４５および図４６は、３段反復学習により求められた他の水平クラスに対応する水平係数が、所定の値に収束する様子を模式的に示した図である。

図４５および図４６には、図４３および図４４で説明した所定の水平クラスに対応する水平係数とは異なる、他の水平クラスに対応する水平係数が、所定の値に収束する様子が示されているだけであるため、図４５および図４６の説明は、以下、省略する。

図４７は、図１の画像変換部３１の第５の構成例を示すブロック図である。

図４７の画像変換部３１は、水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部10064、垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部10068、および予測演算部10069により構成される。

また、図４７の画像変換部３１には、例えば、MPEG-2などにより、８×８画素のブロック単位でMPEG符号化されたMPEG符号化画像が、チューナで受信された放送番組の画像や、記録媒体から再生される画像として供給される。図４７の画像変換部３１において、MPEG符号化画像は、図示せぬデコーダに供給され、MPEG復号されて、MPEG復号画像として、水平予測タップ抽出部10061、水平クラスタップ抽出部10062、垂直予測タップ抽出部10065、および垂直クラスタップ抽出部10066に供給される。

さらに、MPEG復号画像における８×８画素のブロック４個で構成される１６×１６画素のマクロブロックの構造が、フレーム構造であるか、フィールド構造であるを表すフィールド情報は、MPEG符号化画像に含まれて、図４７の画像変換部３１に供給されるものとする。なお、以下では、説明を簡単にするために、輝度信号のみを考える。従って、MPEG復号画像における１６×１６画素のマクロブロックは、２×２個（横×縦）の、８×８画素の輝度信号のブロックで構成される。

そして、以下の説明において、特に断らない限り、MPEG復号画像における１６×１６画素のマクロブロックの構造が、フレーム構造であることを前提とする。

水平予測タップ抽出部10061は、そこに供給されたMPEG復号画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックに含まれる画素を順次、注目画素とする。さらに、水平予測タップ抽出部10061は、注目画素に対応する、MPEG復号画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素（の画素値）である水平予測タップを、MPEG復号画像から抽出する。

即ち、水平予測タップ抽出部10061は、例えば、注目画素を中心として水平方向に並ぶ９画素を、水平予測タップとして抽出する。

水平予測タップ抽出部10061は、MPEG復号画像から抽出した水平予測タップを予測演算部10069に供給する。

水平クラスタップ抽出部10062は、例えば、水平差分クラスタップ抽出部10062a、垂直差分クラスタップ抽出部10062b、およびブロック抽出部10062cにより構成される。水平クラスタップ抽出部10062は、水平予測タップ抽出部10061により抽出された水平予測タップを、複数の水平クラスのうちのいずれかの水平クラスにクラス分けする水平クラス分類に用いる複数の画素である水平クラスタップを、供給されてくるMPEG復号画像から抽出する。

即ち、例えば、水平差分クラスタップ抽出部10062aは、注目画素を中心として水平方向に並ぶ９画素を、水平予測タップ抽出部10061が抽出する水平予測タップのクラスを表すクラスコードの一部である水平差分クラスコードを生成するのに用いる複数の画素である水平差分クラスタップとして、供給されてくるMPEG復号画像から抽出する。

また、例えば、垂直差分クラスタップ抽出部10062bは、注目画素を中心として垂直方向に並ぶ９画素を、垂直予測タップ抽出部10065が抽出する垂直予測タップのクラスを表すクラスコードの一部である垂直差分クラスコードを生成するのに用いる複数の画素である垂直差分クラスタップとして、供給されてくるMPEG復号画像から抽出する。

さらに、例えば、ブロック抽出部10062cは、注目ブロックを、供給されてくるMPEG復号画像から抽出する。ここで、抽出される注目ブロックは、MPEG符号化画像に含まれて図４７の画像変換部３１に供給されるフィールド情報も含むものとする。

なお、水平クラスタップ抽出部10062が抽出する水平クラスタップは、MPEG復号画像から抽出した水平差分クラスタップ、垂直差分クラスタップ、および注目ブロックにより構成される。

また、水平予測タップと水平クラスタップとは、これに限定されるものではない。

水平クラスタップ抽出部10062において得られる、水平予測タップに対応する水平クラスタップは、水平クラス分類部10063に供給される。水平クラス分類部10063は、水平クラスタップ抽出部10062からの水平クラスタップに基づいて水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部10064に出力する。

水平係数記憶部10064は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットを記憶しており、その記憶している水平係数のセットのうちの、水平クラス分類部10063から供給された水平クラスコードに対応するアドレスに記憶されている水平係数（水平クラス分類部10063から供給された水平クラスコードが表す水平クラスに対応する水平係数）を、予測演算部10069に出力する。

垂直予測タップ抽出部10065は、注目画素に対応する、MPEG復号画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素（の画素値）である垂直予測タップを、供給されてくるMPEG復号画像から抽出する。

即ち、垂直予測タップ抽出部10065は、例えば、注目画素を中心として垂直方向に並ぶ９画素を、垂直予測タップとして抽出する。

垂直予測タップ抽出部10065は、MPEG復号画像から抽出した垂直予測タップを予測演算部10069に供給する。

垂直クラスタップ抽出部10066は、例えば、水平差分クラスタップ抽出部10066a，垂直差分クラスタップ抽出部10066b、およびブロック抽出部10066cにより構成される。垂直クラスタップ抽出部10066は、垂直予測タップ抽出部10065により抽出された垂直予測タップを、複数の垂直クラスのうちのいずれかの垂直クラスにクラス分けする垂直クラス分類に用いる複数の画素（の画素値）である垂直クラスタップを、供給されてくるMPEG復号画像から抽出する。

なお、水平差分クラスタップ抽出部10066a、垂直差分クラスタップ抽出部10066b、ブロック抽出部10066cそれぞれは、水平差分クラスタップ抽出部10062a、垂直差分クラスタップ抽出部10062b、ブロック抽出部10062cそれぞれと同様に構成される。

従って、垂直クラスタップ抽出部10066は、水平差分クラスタップ、垂直差分クラスタップ、および注目画素を含む注目ブロックを、垂直クラスタップとして、供給されてくるMPEG復号画像から抽出する。

また、垂直予測タップと垂直クラスタップとは、これに限定されるものではない。

垂直クラスタップ抽出部10066において得られる、垂直予測タップに対応する垂直クラスタップは、垂直クラス分類部10067に供給される。垂直クラス分類部10067は、垂直クラスタップ抽出部10066からの垂直クラスタップに基づいて垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部10068に出力する。

垂直係数記憶部10068は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットを記憶しており、その記憶している垂直係数のセットのうちの、垂直クラス分類部10067から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数（垂直クラス分類部10067から供給された垂直クラスコードが表す垂直クラスに対応する垂直係数）を、予測演算部10069に出力する。

予測演算部10069は、水平予測タップ抽出部10061から供給された水平予測タップ、垂直予測タップ抽出部10065から供給された垂直予測タップ、水平係数記憶部10064から供給された水平係数、および垂直係数記憶部10068から供給された垂直係数に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。

図４８は、図４７の水平予測タップ抽出部10061が抽出する水平予測タップ、および垂直予測タップ抽出部10065が抽出する垂直予測タップを示す図である。

図中、左側には、MPEG復号画像における１６×１６画素のマクロブロックの構造が、フレーム構造である場合の、水平予測タップおよび垂直予測タップの抽出方法が示されている。

また、図中、右側には、MPEG復号画像における１６×１６画素のマクロブロックの構造が、フィールド構造である場合の、水平予測タップおよび垂直予測タップの抽出方法が示されている。なお、図中、右側に示される１６×１６画素のマクロブロックにおいて、斜線で示される部分は、偶数ライン（ボトムフィールド）を表しており、白色の部分は、奇数ライン（トップフィールド）を表している。

MPEG復号画像における１６×１６画素のマクロブロックの構造がフレーム構造である場合、水平予測タップ抽出部10061は、図中、左側に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、および注目画素の、水平方向に並ぶ９個の画素を、注目ブロックと、その注目ブロックに隣接するブロックとの境界を横切る（またぐ）ように抽出する。また、垂直予測タップ抽出部10065は、図中、左側に白丸で示す注目画素の上に隣接する、黒丸で示す４個の画素、注目画素の下に隣接する、黒丸で示す４個の画素、および注目画素の、垂直方向に並ぶ９個の画素を、注目ブロックと、その注目ブロックに隣接するブロックとの境界を横切るように抽出する。

一方、MPEG復号画像における１６×１６画素のマクロブロックの構造がフィールド構造である場合、水平予測タップ抽出部10061は、図中、右側に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、および注目画素の、水平方向に並ぶ９個の画素を、注目ブロックと、その注目ブロックに隣接するブロックとの境界を横切るように抽出する。また、垂直予測タップ抽出部10065は、図中、右側に白色で示す注目画素が位置する偶数ライン（または奇数ライン）において、図中、右側に白丸で示す注目画素の上に隣接する、黒丸で示す４個の画素、注目画素の下に隣接する、黒丸で示す４個の画素、および注目画素の、垂直方向に並ぶ９個の画素を、注目ブロックと、その注目ブロックに隣接するブロックとの境界を横切るように抽出する。

図４９は、図４７の水平クラス分類部10063の詳細な構成例を示すブロック図である。

水平クラス分類部10063は、差分絶対値算出部11011、フィールドフラグ抽出部11012、ノイズ検出フラグ判定部11013、閾値選択部11014、水平差分クラスコード生成部11015、垂直差分クラスコード生成部11016、垂直差分ゼロクラスコード生成部11017、水平クラスコード出力部11018により構成される。

差分絶対値算出部11011には、ブロック抽出部10062aから、注目ブロックの画素すべてが供給される。

差分絶対値算出部11011は、そこに供給される注目ブロックを構成する水平方向（横方向）に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分を求める。差分絶対値算出部11011は、求めた水平画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコードの生成に用いる閾値Th_hを算出するとともに、注目ブロックにおいて、水平方向にエッジが存在するか否かを示す水平エッジ検出フラグを設定する。

また、差分絶対値算出部11011は、そこに供給される注目ブロックを構成する垂直方向（縦方向）に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。差分絶対値算出部11011は、求めた垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコードの生成に用いる閾値Th_vを算出するとともに、注目ブロックにおいて、垂直方向にエッジが存在するか否かを示す垂直エッジ検出フラグを設定する。

その後、差分絶対値算出部11011は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ11013に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部11014に供給する。

フィールドフラグ抽出部11012には、ブロック抽出部10062cから、フィールド情報を含む注目ブロックが供給される。

フィールドフラグ抽出部11012は、そこに供給される注目ブロックから、フィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定する。

即ち、フィールドフラグ抽出部11012は、注目ブロックを含む１６×１６画素のマクロブロックの構造が、フレーム構造である場合、フィールドフラグを１に設定し、フィールド構造である場合、フィールドフラグを０に設定する。

その後、フィールドフラグ抽出部11012は、設定したフィールドフラグを、水平クラスコード出力部11018に供給する。

ノイズ検出フラグ判定部11013は、差分絶対値算出部11011から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、注目ブロックはモスキートノイズが生じやすいブロックであるか否かを示すノイズ検出フラグを設定し、水平クラスコード出力部11018に供給する。

閾値選択部11014は、差分絶対値算出部11011から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部11011から供給される閾値Th_h、とTh_vから、水平差分クラスコードの生成に用いる閾値と、垂直差分クラスコードの生成に用いる閾値を選択する。

また、閾値選択部11014は、水平差分クラスコードの生成に用いる閾値として選択した閾値を、水平差分クラスコード生成部11015に供給し、垂直差分クラスコードの生成に用いる閾値として選択した閾値を、垂直差分クラスコード生成部11016に供給する。

水平差分クラスコード生成部11015には、水平差分クラスタップ抽出部10062aから、水平差分クラスタップが供給される。

水平差分クラスコード生成部11015は、そこに供給される水平差分クラスタップと、閾値選択部11014から供給される閾値を用いて、水平差分クラスコードを生成し、水平クラスコード出力部11018に出力する。

垂直差分クラスコード生成部11016には、垂直差分クラスタップ抽出部10062bから、垂直差分クラスタップが供給される。

垂直差分クラスコード生成部11016は、そこに供給される垂直差分クラスタップと、閾値選択部11014から供給される閾値を用いて、垂直差分クラスコードを生成し、垂直差分ゼロクラスコード生成部11017に出力する。

垂直差分ゼロクラスコード生成部11017は、垂直差分クラスコード生成部11016から供給される垂直差分クラスコードの論理和をとり、その結果得られた値を、垂直差分ゼロクラスコードとして設定し、水平クラスコード出力部11018に供給する。

即ち、例えば、垂直差分ゼロクラスコード生成部11017は、０と１とのビット列で表される垂直差分クラスコードが、すべて０で構成されるビット列であると判定した場合、垂直差分ゼロクラスコードを０に設定し、１を含むビット列であると判定した場合、垂直差分ゼロクラスコードを１に設定して、水平クラスコード出力部11018に供給する。

水平クラスコード出力部11018は、フィールドフラグ抽出部11012から供給されるフィールドフラグ、ノイズ検出フラグ判定部11013から供給されるノイズ検出フラグ、垂直差分ゼロクラスコード生成部11017から供給される垂直差分ゼロクラスコード、および水平差分クラスコード生成部11015から供給される水平差分クラスコードの両端の１ビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、水平係数記憶部10064に出力する。

なお、水平クラスコード出力部11018は、水平差分クラスコード生成部11015から供給される水平差分クラスコードの両端の１ビットを削除することで得られるコードではなく、水平差分クラスコードそのものを、水平クラスコードの一部とすることができる。

次に、図５０および図５１は、図４９の差分絶対値算出部11011、ノイズ検出フラグ判定部11013、および閾値選択部11014が行う処理を説明する図である。

図５０は、ブロック抽出部10062cから供給される注目ブロックを含む１６×１６画素のマクロブロックの構造を示す図である。

図中上側には、注目ブロックを含む１６×１６画素のマクロブロックが示されている。また、図中右下側には、注目ブロックを含む１６×１６画素のマクロブロックの構造がフレーム構造である場合の、１６×１６画素のマクロブロックが示されており、その１６×１６画素のマクロブロックは、８×８画素で構成される２×２個のブロックにより構成される。

図中左下側には、注目ブロックを含む１６×１６画素のマクロブロックの構造が、フィールド構造である場合の、１６×１６画素のマクロブロックが示されており、その１６×１６画素のマクロブロックは、８×８画素で構成される２×２個のブロックにより構成される。

なお、図５０右下側、および左下側に示される１６×１６画素のマクロブロックに示される斜線部分は、偶数ライン（ボトムフィールド）を表しており、白色の部分は、奇数ライン（トップフィールド）を表している。

差分絶対値算出部11011は、１６×１６画素のマクロブロックを構成する２×２個のブロックのうちの、８×８画素で構成される注目ブロックの画素を用いて、差分絶対値などを算出する。

図５１は、図４９の差分絶対値算出部11011、ノイズ検出フラグ判定部11013、および閾値選択部11014が行う処理を模式的に示した図である。

差分絶対値算出部11011は、例えば、図中上側に示されるようにして、閾値Th_hやTh_vを算出し、水平エッジ検出フラグ、垂直エッジ検出フラグを設定する。

即ち、差分絶対値算出部11011は、注目ブロックの、横方向（水平方向）に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分を求める。このとき、８×８画素の注目ブロックを構成する画素すべてを対象として、７×８＝５６個の水平画素間差分が求められる。

差分絶対値11011は、注目ブロックについて５６個の水平画素間差分を求めると、その５６個の水平画素間差分のうちの、最大値MAX_hと最小値MIN_hとを求め、DR_h=MAX_h-MIN_hを、水平画素間差分のダイナミックレンジDR_hとして求める。さらに、差分絶対値11011は、そのダイナミックレンジDR_hを４で除算した値に最小値MIN_hを加算した値を、閾値Th_h=(DR_h/4)+MIN_hとして算出する。

また、差分絶対値算出部11011は、ダイナミックレンジDR_hが、例えば、１６などの所定の閾値より大であるかを判定し、注目ブロックにおける水平エッジ検出フラグを設定する。

即ち、例えば、ダイナミックレンジDR_hが、例えば、１６などの所定の閾値より大であると判定された場合、差分絶対値算出部11011は、水平エッジ検出フラグを、水平方向にエッジが存在することを示すフラグ１に設定する。一方、ダイナミックレンジDR_hが、例えば、１６などの所定の閾値以下であると判定された場合、差分絶対値算出部11011は、水平エッジ検出フラグを、水平方向にエッジが存在しないことを示すフラグ０に設定する。

さらに、差分絶対値算出部11011は、注目ブロックの、縦方向（垂直方向）に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。このとき、８×８画素の注目ブロックを構成する画素すべてを対象として、８×７＝５６個の垂直画素間差分が求められる。

差分絶対値11011は、注目ブロックについて５６個の垂直画素間差分を求めると、その５６個の垂直画素間差分のうちの、最大値MAX_vと最小値MIN_vとを求め、DR_v=MAX_v-MIN_vを、垂直画素間差分のダイナミックレンジDR_vとして求める。さらに、差分絶対値11011は、そのダイナミックレンジDR_vを４で除算した値に最小値MIN_vを加算した値を、閾値Th_v=(DR_v/4)+MIN_vとして算出する。

また、差分絶対値算出部11011は、ダイナミックレンジDR_Vが、例えば、１６などの所定の閾値より大であるかを判定し、注目ブロックにおける垂直エッジ検出フラグを設定する。

即ち、例えば、ダイナミックレンジDR_Vが、例えば、１６などの所定の閾値より大であると判定された場合、差分絶対値算出部11011は、垂直エッジ検出フラグを、垂直方向にエッジが存在することを示すフラグ１に設定する。一方、ダイナミックレンジDR_Vが、例えば、１６などの所定の閾値以下であると判定された場合、差分絶対値算出部11011は、垂直エッジ検出フラグを、垂直方向にエッジが存在しないことを示すフラグ０に設定する。

その後、差分絶対値算出部11011は、設定した水平エッジ検出フラグおよび垂直エッジ検出フラグを、ノイズ検出フラグ判定部11013に供給し、算出した閾値Th_h,Th_vとともに、閾値選択部11014に供給する。

ノイズ検出フラグ判定部11013は、差分絶対値算出部11011から供給される水平エッジ検出フラグと垂直エッジ検出フラグの論理和をとり、その結果得られた値を、ノイズ検出フラグとして、水平クラスコード出力部11018に供給する。

閾値選択部11014は、図中下側に示されるように、差分絶対値算出部11011から供給される水平エッジ検出フラグおよび垂直エッジ検出フラグに基づいて、水平差分クラスコード生成部11015で用いられる閾値と、垂直差分クラスコード生成部11016で用いられる閾値を選択する。

即ち、閾値選択部11014は、そこに供給される水平エッジ検出フラグと垂直エッジ検出フラグがともに０であると判定した場合、閾値Th_hとTh_vのうちの、値の小さい閾値を選択し、水平差分クラスコード生成部11015と垂直差分クラスコード生成部11016に供給する。

また、閾値選択部11014は、そこに供給される水平エッジ検出フラグが１であり垂直エッジ検出フラグが０であると判定した場合、供給されてくる閾値Th_hとTh_vから閾値Th_hを選択し、水平差分クラスコード生成部11015と垂直差分クラスコード生成部11016に供給する。

さらに、閾値選択部11014は、そこに供給される水平エッジ検出フラグが０であり垂直エッジ検出フラグが１であると判定した場合、供給されてくる閾値Th_hとTh_vから閾値Th_vを選択し、水平差分クラスコード生成部11015と垂直差分クラスコード生成部11016に供給する。

また、閾値選択部11014は、そこに供給される水平エッジ検出フラグと垂直エッジ検出フラグがともに１であると判定した場合、供給されてくる閾値Th_hとTh_vから閾値Th_hを選択し、水平差分クラスコード生成部11015に供給するとともに、供給されてくる閾値Th_hとTh_vから閾値Th_vを選択し、垂直差分クラスコード生成部11016に供給する。

図５２は、図４９の水平差分クラスコード生成部11015により行われる水平差分クラスコードの生成方法を説明する図である。

図５２上側の横方向に並んだ９個の白丸は、水平差分クラスタップ抽出部10062aから供給された水平差分クラスタップを示しており、横方向に並んだ９個の白丸の下側に示される数値は、白丸で表される、水平差分クラスタップを構成する画素それぞれの画素値を示している。

また、図５２中央の数値は、水平方向に並ぶ９画素のタップのうちの、図中、水平方向に隣接する画素同士の差分の絶対値である画素間差分を示している。さらに、図５２下側の１と０とで表される数値は、水平差分クラスコード生成部11015が生成する水平差分クラスコードを示している。

水平差分クラスコード生成部11015は、図５２上側に示される水平方向に並ぶ９画素であるタップのうちの、隣接する画素同士の８個の画素間差分を求める。

次に、水平差分クラスコード生成部11015は、図５２中央に示される８個の画素間差分が、閾値選択部11014から供給された閾値以上であるか否かを判定する。

画素間差分が、閾値以上である場合、水平差分クラスコード生成部11015は、画素間差分に対して、閾値以上であることを表す１をセットした１ビットの大小フラグを割り当てる。また、画素間差分が、閾値以上でない場合、水平差分クラスコード生成部11015は、画素間差分に対して、閾値以上でないことを表す０をセットした大小フラグを割り当てる。そして、水平差分クラスコード生成部11015は、図５２下側に示される、１または０がセットされた８個の大小フラグの並びを、水平差分クラスコードとして、水平クラスコード出力部11018に出力する。

なお、垂直差分クラスコード生成部11016は、図５２上側に示される水平方向に並ぶ９画素であるタップを、垂直方向に並ぶ９画素であるタップとすることで、水平差分クラスコード生成部11015と同様にして、垂直差分クラスコードを、垂直差分ゼロクラスコード生成部11017に出力することができる。

図５３は、図４９の水平クラスコード出力部11018が出力する水平クラスコードを示す図である。

水平クラスコード出力部11018は、フィールドフラグ抽出部11012から供給されるフィールドフラグ、ノイズ検出フラグ判定部11013から供給されるノイズ検出フラグ、垂直差分ゼロクラスコード生成部11017から供給される垂直差分ゼロクラスコード、および水平差分クラスコード生成部11015から供給される水平差分クラスコードの両端の１ビットそれぞれを削除したコードを、図に示すように、左から右に並べ、その結果得られるコードを、水平クラスコードとして出力する。

図５４は、図４７の垂直クラス分類部10067の詳細な構成例を示すブロック図である。

垂直クラス分類部10067は、図４９の差分絶対値算出部11011乃至閾値選択部11014それぞれと同様に構成される差分絶対値算出部11031乃至閾値選択部11034それぞれと、図４９の垂直差分クラスコード生成部11016、水平差分クラスコード生成部11015それぞれと同様に構成される垂直差分クラスコード生成部11035、水平差分クラスコード生成部11036それぞれと、水平差分ゼロクラスコード生成部110137と、垂直クラスコード出力部11038により構成される。

水平差分ゼロクラスコード生成部11037には、水平差分クラスコード生成部11036から、水平差分クラスコードが供給される。

水平差分ゼロクラスコード生成部11037は、水平差分クラスコード生成部11036から供給される水平差分クラスコードの論理和をとり、その結果得られた値を、水平差分ゼロクラスコードとして、垂直クラスコード出力部11038に供給する。

即ち、水平差分ゼロクラスコード生成部11037は、水平差分クラスコード生成部11036から供給される水平差分クラスコードが、すべて０で構成されるビット列であると判定した場合、水平差分ゼロクラスコードを０に設定し、１を含むビット列であると判定した場合、水平差分ゼロクラスコードを１に設定して、垂直クラスコード出力部11038に供給する。

垂直クラスコード出力部11038は、フィールドフラグ抽出部11032から供給されるフィールドフラグ、ノイズ検出フラグ判定部11033から供給されるノイズ検出フラグ、水平差分ゼロクラスコード生成部11037から供給される水平差分ゼロクラスコード、および垂直差分クラスコード生成部11035から供給される垂直差分クラスコードの両端の１ビットを削除することで得られるコードを、この順番で左から右に並べて、垂直クラスコードとして、垂直係数記憶部10068に出力する。

なお、垂直クラスコード出力部11038は、垂直差分クラスコード生成部11035から供給される垂直差分クラスコードの両端の１ビットを削除することで得られるコードではなく、垂直差分クラスコードそのものを、垂直クラスコードの一部とすることができる。

図５５は、図５４の垂直クラスコード出力部11038が出力する垂直クラスコードを示す図である。

垂直クラスコード出力部11038は、フィールドフラグ抽出部11032から供給されるフィールドフラグ、ノイズ検出フラグ判定部11033から供給されるノイズ検出フラグ、水平差分ゼロクラスコード生成部11037から供給される水平差分ゼロクラスコード、および垂直差分クラスコード生成部11035から供給される垂直差分クラスコードの両端の１ビットそれぞれを削除したコードを、図に示すように、左から右に並べ、その結果得られるコードを、垂直クラスコードとして出力する。

図５６は、図４７の予測演算部10069の構成例を示すブロック図である。

図５６の水平予測演算部10101乃至加算部10104それぞれは、図３の水平予測演算部１０１乃至加算部１０４それぞれと同様に構成される。

なお、図４７乃至図７７を参照して説明する本実施の形態においては、図１乃至図４６を参照して説明してきた本実施の形態の説明において用いてきた用語を、説明の都合上、以下、適宜、定義し直すことをしている。

即ち、図５６の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部10064、および水平予測演算部10101を総称して水平マッピング部10071といい、その水平マッピング部10071が、水平係数を用いて、順次、注目画素とされるMPEG復号画像の画素（以下、適宜、MPEG復号画素という）の画素値ｘ₁を、水平画素の画素値Ｈに変換する処理を、以下、適宜、水平マッピング処理という。

さらに、図５６の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部10068、および垂直予測演算部10102を総称して垂直マッピング部10072といい、その垂直マッピング部10072が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、垂直画素の画素値Ｖに変換する処理を、以下、適宜、垂直マッピング処理という。

また、図５６の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部10068、垂直予測演算部100102、およびゲイン調整部10103を総称して垂直差分マッピング部10073といい、その垂直差分マッピング部10073が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、垂直差分ｖに変換する処理を、以下、適宜、垂直差分マッピング処理という。

次に、図５７のフローチャートを参照して、図４７の画像変換部３１における画像変換処理を説明する。

この画像変換処理は、例えば、MPEG-2などにより、８×８画素のブロック単位でMPEG符号化されたMPEG符号化画像が、チューナで受信された放送番組の画像や、記録媒体から再生される画像として、画像変換部３１に供給されたときに開始される。このとき、MPEG符号化画像は、図示せぬデコーダに供給され、MPEG復号されて、MPEG復号画像として、水平予測タップ抽出部10061、水平クラスタップ抽出部10062、垂直予測タップ抽出部10065、および垂直クラスタップ抽出部10066に供給される。

ステップＳ10031において、水平マッピング部10071の水平予測タップ抽出部10061は、そこに供給されたMPEG復号画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックに含まれる画素を、順次、注目画素として、処理は、ステップＳ10032に進む。

ステップＳ10032において、水平マッピング部10071は、注目画素について水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、加算部10104に供給して、処理は、ステップＳ10033に進み、垂直差分マッピング部10073は、注目画素について垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部10104に供給して、処理は、ステップＳ10034に進む。

ステップＳ10034において、加算部10104は、水平マッピング部10071からの水平処理画像Ｈと、垂直差分マッピング部10073からの垂直差分ｖとを加算し、注目画素に対応する、ノイズ除去画像の画素の画素値ｙ＝Ｈ＋ｖを得て出力する。

その後、処理は、ステップＳ10034からステップＳ10035に進み、水平マッピング部10071の水平予測タップ抽出部10061は、注目ブロックの画素すべてを、注目画素としたか否かを判定する。

ステップＳ10035において、注目ブロックの画素すべてを、注目画素としていないと判定された場合、処理は、ステップＳ10031に戻り、水平マッピング部10071の水平予測タップ抽出部10061は、注目ブロックのうちの、まだ注目画素とされていない画素のうちの１つを、新たな注目画素とし、処理は、ステップＳ10032に進み、以下、同様の処理を繰り返す。

一方、ステップＳ10035において、注目ブロックの画素すべてを、注目画素としたと判定された場合、処理は、ステップＳ10036に進み、水平マッピング部10071の水平予測タップ抽出部10061は、さらに、MPEG復号画像の８×８画素のブロックすべてを注目ブロックとしたかを判定する。

ステップＳ10036において、MPEG復号画像の８×８画素のブロックすべてが注目ブロックとされていないと判定された場合、処理は、ステップＳ10031に戻り、水平マッピング部10071の水平予測タップ抽出部10061は、まだ注目ブロックとされていないMPEG復号画像の８×８画素のブロックのうちの１つを、新たな注目ブロックとし、その注目ブロックの画素のうちの１つを、新たな注目画素として、処理は、ステップＳ10032に進み、以下、同様の処理を繰り返す。

一方、ステップＳ10036において、MPEG復号画像の８×８画素のブロックすべてが注目ブロックとされたと判定された場合、画像変換処理は終了される。

次に、図５８のフローチャートを参照して、図５７のステップＳ10032における水平マッピング処理の詳細を説明する。

ステップＳ10061において、水平マッピング部10071の水平予測タップ抽出部10061は、図５のステップＳ６１と同様の処理を行い、処理は、ステップＳ10062に進み、水平マッピング部10071の水平クラスタップ抽出部10062は、水平クラスタップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素、注目画素を中心として垂直方向に並ぶ９画素、および注目ブロックを、供給されてくるMPEG復号画像から抽出し、水平クラス分類部10063に供給する。

処理は、ステップＳ10062からステップＳ10063に進み、水平マッピング部10071の水平クラス分類部10063は、水平クラスタップ抽出部10062からの水平クラスタップに基づき、水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部10064に出力する。

処理は、ステップＳ10063からステップＳ10064に進み、ステップＳ10064およびステップＳ10065において、図５のステップＳ６４およびステップＳ６５と同様の処理を行う。その後、処理は、図５７のステップＳ10032にリターンして、その後の処理を行う。

次に、図５９のフローチャートを参照して、図５８のステップＳ10063の水平クラス分類における処理の詳細を説明する。

ステップＳ10071において、差分絶対値算出部11011は、そこに供給される注目ブロックを構成する水平方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分と、注目ブロックを構成する垂直方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。

ステップＳ10071の処理後、処理は、ステップＳ10072に進み、差分絶対値算出部11011は、求めた水平画素間差分と垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコードの生成に用いる閾値Th_hやTh_vを算出するとともに、水平エッジ検出フラグと垂直エッジ検出フラグを設定する。

そして、差分絶対値算出部11011は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ11013に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部11014に供給する。

また、閾値選択部11014は、差分絶対値算出部11011から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部11011から供給される閾値Th_hとTh_vから、水平差分クラスコードの生成に用いる閾値と、垂直差分クラスコードの生成に用いる閾値を選択し、水平差分クラスコードの生成に用いる閾値を、水平差分クラスコード生成部11015に供給し、垂直差分クラスコードの生成に用いる閾値を、垂直差分クラスコード生成部11016に供給する。

その後、処理は、ステップＳ10072からステップＳ10073に進み、水平差分クラスコード生成部11015は、水平差分クラスタップ抽出部10062aから供給される水平差分クラスタップと、閾値選択部11014から供給される閾値を用いて、水平差分クラスコードを生成し、水平クラスコード出力部11018に出力する。

処理は、ステップＳ10073からステップＳ10074に進み、垂直差分クラスコード生成部11016は、垂直差分クラスタップ抽出部10062bから供給される垂直差分クラスタップと、閾値選択部11014から供給される閾値を用いて、垂直差分クラスコードを生成し、垂直差分ゼロクラスコード生成部11017に出力する。

さらに、ステップＳ10074において、垂直差分ゼロクラスコード生成部11017は、垂直差分クラスコード生成部11016から供給される垂直差分クラスコードの論理和をとり、その結果得られた値を、垂直差分ゼロクラスコードとして設定し、水平クラスコード出力部11018に供給する。

処理は、ステップＳ10074からステップＳ10075に進み、フィールドフラグ抽出部11012は、ブロック抽出部10062cから供給される注目ブロックから、フィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定して、水平クラスコード出力部11018に供給する。

処理は、ステップＳ10075からステップＳ10076に進み、ノイズ検出フラグ判定部11013は、差分絶対値算出部11011から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、ノイズ検出フラグを設定し、水平クラスコード出力部11018に供給する。

処理は、ステップＳ10076からステップＳ10077に進み、水平クラスコード出力部11018は、フィールドフラグ抽出部11012から供給されるフィールドフラグ、ノイズ検出フラグ判定部11013から供給されるノイズ検出フラグ、垂直差分ゼロクラスコード生成部11017から供給される垂直差分ゼロクラスコード、水平差分クラスコード生成部11015から供給される水平差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、水平係数記憶部10064に出力する。

その後、処理は、図５８のステップＳ10063にリターンする。

次に、図６０のフローチャートを参照して、図５７のステップＳ10033における垂直差分マッピング処理の詳細を説明する。

ステップＳ10091において、垂直差分マッピング部10073の垂直予測タップ抽出部10065は、図６のステップＳ９１と同様の処理を行い、処理は、ステップＳ10092に進み、垂直差分マッピング部10073の垂直クラスタップ抽出部10066は、垂直クラスタップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素、注目画素を中心として垂直方向に並ぶ９画素、および注目ブロックを、供給されてくるMPEG復号画像から抽出し、垂直クラス分類部10067に供給する。

処理は、ステップＳ10092からステップＳ10093に進み、垂直差分マッピング部10073の垂直クラス分類部10067は、垂直クラスタップ抽出部10066からの垂直クラスタップに基づき、垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部10068に出力する。

処理は、ステップＳ10093からステップＳ10094に進み、ステップＳ10094乃至ステップＳ10096において、図６のステップＳ９４乃至ステップＳ９６と同様の処理を行う。

その後、処理は、ステップＳ10096から図５７のステップＳ10033にリターンして、その後の処理を行う。

次に、図６１のフローチャートを参照して、図６０のステップＳ10093の垂直クラス分類部における処理を詳細に説明する。

ステップＳ10111において、差分絶対値算出部11031は、そこに供給される注目ブロックを構成する水平方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分と、注目ブロックを構成する垂直方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。

ステップＳ10111の処理後、処理は、ステップＳ10112に進み、差分絶対値算出部11031は、求めた水平画素間差分と垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコードの生成に用いる閾値Th_hやTh_vを算出するとともに、水平エッジ検出フラグと垂直エッジ検出フラグを設定する。

そして、差分絶対値算出部11031は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ11033に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部11034に供給する。

また、閾値選択部11034は、差分絶対値算出部11031から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部11031から供給される閾値Th_hとTh_vから、水平差分クラスコードの生成に用いる閾値と、垂直差分クラスコードの生成に用いる閾値を選択し、垂直差分クラスコードの生成に用いる閾値を、垂直差分クラスコード生成部11035に供給し、水平差分クラスコードの生成に用いる閾値を、水平差分クラスコード生成部11035に供給する。

その後、処理は、ステップＳ10112からステップＳ10113に進み、垂直差分クラスコード生成部11035は、垂直差分クラスタップ抽出部10066bから供給される垂直差分クラスタップと、閾値選択部11034から供給される閾値を用いて、垂直差分クラスコードを生成し、垂直クラスコード出力部11038に出力する。

処理は、ステップＳ10113からステップＳ10114に進み、水平差分クラスコード生成部11036は、水平差分クラスタップ抽出部10066aから供給される水平差分クラスタップと、閾値選択部11034から供給される閾値を用いて、水平差分クラスコードを、水平差分ゼロクラスコード生成部11037に出力する。

さらに、ステップＳ10114において、水平差分ゼロクラスコード生成部11037は、水平差分クラスコード生成部11036から供給される水平差分クラスコードの論理和をとり、その結果得られた値を、水平差分ゼロクラスコードとして設定し、垂直クラスコード出力部11038に供給する。

処理は、ステップＳ10114からステップＳ10115に進み、フィールドフラグ抽出部11032は、ブロック抽出部10062cから供給される注目ブロックから、フィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定して、垂直クラスコード出力部11038に供給する。

処理は、ステップＳ10115からステップＳ10116に進み、ノイズ検出フラグ判定部11033は、差分絶対値算出部11031から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、ノイズ検出フラグを設定し、垂直クラスコード出力部11038に供給する。

処理は、ステップＳ10116からステップＳ10117に進み、垂直クラスコード出力部11038は、フィールドフラグ抽出部11032から供給されるフィールドフラグ、ノイズ検出フラグ判定部11033から供給されるノイズ検出フラグ、水平差分ゼロクラスコード生成部11037から供給される水平差分ゼロクラスコード、垂直差分クラスコード生成部11035から供給される垂直差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、垂直クラスコードとして、垂直係数記憶部10068に出力する。

その後、処理は、図６０のステップＳ10093にリターンする。

図５９の水平クラス分類における処理において、ステップＳ10074では、垂直予測タップのクラスを表す垂直クラスコードの一部である垂直差分クラスコードを用いて、水平予測タップのクラスを表す水平クラスコードの一部である垂直差分ゼロクラスコードを求めている。即ち、水平予測タップの水平クラス分類をするにあたり、垂直予測タップのクラスを表す垂直クラスコードの一部を用いているため、水平予測タップの水平クラス分類では、垂直予測タップのクラスを考慮した水平クラス分類をすることができる。

また、図５８のステップＳ10061により抽出される水平予測タップや、図６０のステップＳ10091により抽出される垂直予測タップについては、注目ブロックと、注目ブロックに隣接するブロックとの境界を横切るように抽出されているため、注目ブロックのみから抽出される場合と比較して、MPEG復号画像に生じているブロック歪などを効果的に除去することができる。

さらに、図５８のステップＳ10063の水平クラス分類や、図６０のステップＳ10093の垂直クラス分類において、水平差分クラスタップから水平差分クラスコードを生成するのに用いる閾値や、垂直差分クラスタップから垂直差分クラスコードを生成するのに用いる閾値として、最適な閾値を選択し、その最適な閾値を用いて、水平差分クラスコードや垂直差分クラスコードを生成しているため、より適切なクラス分類をすることができる。

次に、図６３乃至図７７を参照して行う説明を簡単にするために、水平係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、水平差分ｈに変換する水平差分マッピング処理を行う水平差分マッピング部を説明する。

即ち、図６２は、水平差分マッピング処理を行う水平差分マッピング部10111の構成例を示すブロック図である。

なお、図中、図５６の水平マッピング部10071の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。

即ち、図６２の水平差分マッピング部10111は、図７のゲイン調整部１１２と同様に構成されるゲイン調整部10112が新たに設けられているほかは、図５６の水平マッピング部10071の場合と同様に構成されている。

次に、図６３を参照して、上述した式（１０）の正規方程式を水平クラスごとにたてて解くことにより水平係数ｗ_nを求める学習を行う学習部10121を説明する。

図６３は、水平係数ｗ_nを求める学習を行う学習部10121の構成例を示すブロック図である。

図６３の学習部10121は、原画像記憶部10131、ノイズ付加部10132、予測タップ抽出部10133、クラスタップ抽出部10134、クラス分類部10135、足し込み部10136、および係数算出部10137により構成される。

原画像記憶部10131には、MPEG復号画像からノイズを除去したノイズ除去画像に相当する画像が多数、記憶されている。

ノイズ付加部10132は、原画像記憶部10131に記憶されている画像（以下、適宜、原画像という）を読み出し、その原画像をMPEG-2などで８×８画素のブロック単位でMPEG符号化し、さらに、MPEG復号することで、ブロック歪などが生じたMPEG復号画像に相当する画像を、生徒画像として生成し、予測タップ抽出部10133およびクラスタップ抽出部10134に供給する。

予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックに含まれる画素を順次、注目画素とする。さらに、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平予測タップ抽出部10061が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップ（図４７の水平予測タップ抽出部10061が注目画素について得る水平予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平予測タップ）を得て、足し込み部10136に供給する。

クラスタップ抽出部10134は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平クラスタップ抽出部10062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップ（図４７の水平クラスタップ抽出部10062が注目画素について得る水平クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平クラスタップ）を得て、クラス分類部10135に供給する。

即ち、クラスタップ抽出部10134の水平差分クラスタップ抽出部10134a、垂直差分クラスタップ抽出部10134b、ブロック抽出部10134cそれぞれは、図４７の水平クラスタップ抽出部10062の水平差分クラスタップ抽出部10062a、垂直差分クラスタップ抽出部10062b、ブロック抽出部10062cそれぞれが注目画素について得るタップと同一のタップ構造のタップを得て、それぞれ、クラス分類部10135に供給する。

クラス分類部10135は、クラスタップ抽出部10134から供給された水平クラスタップに基づき、図４７の水平クラス分類部10063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部10136に供給する。

足し込み部10136は、原画像記憶部10131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、注目画素に対応する、教師画像の画素と、予測タップ抽出部10133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部10135から供給された水平クラスコードごとに行う。

即ち、足し込み部10136には、原画像記憶部10131に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙ_k、予測タップ抽出部10133が出力する注目画素についての水平予測タップを構成する生徒画像の画素の画素値ｘ_n,k、クラス分類部10135が出力する、水平予測タップの水平クラスを表す水平クラスコードが供給される。

そして、足し込み部10136は、図８の足し込み部１３６と同様にして、クラス分類部10135から供給された水平クラスコードに対応する水平クラスごとに、水平予測タップ（生徒画像）ｘ_n,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み部10136は、図８の足し込み部１３６と同様にして、クラス分類部10135から供給された水平クラスコードに対応する水平クラスごとに、水平予測タップ（生徒画像）ｘ_n,kと教師画像ｙ_kを用い、式（１０）の右辺のベクトルにおける生徒画像ｘ_n,kおよび教師画像ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

そして、足し込み部10136は、ノイズ付加部10132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各水平クラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部10137に供給する。

係数算出部10137は、図８の係数算出部１３７と同様にして、足し込み部10136から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗ_nを求めて出力する。

図６４は、図６３のクラス分類部10135の詳細な構成例を示すブロック図である。

クラス分類部10135は、差分絶対値算出部10141、フィールドフラグ抽出部10142、ノイズ検出フラグ判定部10143、閾値選択部10144、サブコード生成部10145乃至10147、およびクラスコード出力部10148により構成される。

差分絶対値算出部10141は、クラスタップ抽出部10134（ブロック抽出部10134c）から供給される注目ブロックに基づいて、図４９の差分絶対値算出部11011と同一の処理を行うことで、サブコード生成部10145や10146で用いられる閾値を算出し、水平エッジ検出フラグおよび垂直エッジ検出フラグを設定する。

フィールドフラグ抽出部10142は、クラスタップ抽出部10134（ブロック抽出部10134c）から供給される注目ブロックから、フィールド情報を抽出することにより、図４９のフィールドフラグ抽出部11012と同一の処理を行うことで、フィールドフラグを設定し、クラスコード出力部10148に供給する。

ノイズ検出フラグ判定部10143は、差分絶対値算出部10141から供給される水平エッジ検出フラグおよび垂直エッジ検出フラグを用いて、図４９のノイズ検出フラグ判定部11013と同様の処理を行い、その結果得られるノイズ検出フラグを、クラスコード出力部10148に供給する。

閾値選択部10144は、差分絶対値算出部10141から供給される水平エッジ検出フラグ、垂直エッジ検出フラグ、および閾値を用いて、図４９の閾値選択部11014と同様の処理を行い、水平差分クラスコードの生成に用いる閾値を、サブコード生成部10145に供給し、垂直差分クラスコードの生成に用いる閾値を、サブコード生成部10146に供給する。

サブコード生成部10145は、クラスタップ抽出部10134（水平差分クラスタップ抽出部10134a）から供給される水平差分クラスタップと、閾値選択部10144から供給される閾値を用いて、図４９の水平差分クラスコード生成部11015と同様の処理を行い、その結果得られる水平差分クラスコードを、クラスコード出力部10148に供給する。

サブコード生成部10146は、クラスタップ抽出部10134（垂直差分クラスタップ抽出部10134b）から供給される垂直差分クラスタップと、閾値選択部10144から供給される閾値を用いて、図４９の垂直差分クラスコード生成部11016と同様の処理を行い、その結果得られる垂直差分クラスコードを、サブコード生成部10147に供給する。

サブコード生成部10147は、サブコード生成部10146から供給される垂直差分クラスコードを用いて、図４９の垂直差分ゼロクラスコード生成部11017と同様の処理を行い、その結果得られる垂直差分ゼロクラスコードを、クラスコード出力部10148に供給する。

クラスコード出力部10148は、図４９の水平クラスコード出力部11018と同様に、フィールドフラグ抽出部10142から供給されるフィールドフラグ、ノイズ検出フラグ判定部10143から供給されるノイズ検出フラグ、垂直差分ゼロクラスコード生成部10147から供給される垂直差分ゼロクラスコード、水平差分クラスコード生成部10145から供給される水平差分クラスコードの両端のビットを削除することで得られたコードを、この順番で左から右に並べて、水平クラスコードとして、足し込み部10136に出力する。

次に、図６５のフローチャートを参照して、図６３の学習部10121における学習処理を説明する。

ステップＳ10121において、ノイズ付加部10132は、原画像記憶部10131から原画像を読み出し、その原画像をMPEG符号化し、さらにMPEG復号することにより、生徒画像を生成し、予測タップ抽出部10133およびクラスタップ抽出部10134に供給する。

処理は、ステップＳ10121からステップＳ10122に進み、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックに含まれる画素を順次、注目画素として、処理は、ステップＳ10123に進む。

ステップＳ10123において、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平予測タップ抽出部10061が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部10136に供給する。

処理は、ステップＳ10123からステップＳ10124に進み、クラスタップ抽出部10134は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平クラスタップ抽出部10062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、クラス分類部10135に供給する。

処理は、ステップＳ10124からステップＳ10125に進み、クラス分類部10135は、クラスタップ抽出部10134から供給された水平クラスタップに基づき、図４７の水平クラス分類部10063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部10136に供給する。

処理は、ステップＳ10125からステップＳ10126に進み、足し込み部10136は、原画像記憶部10131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部10133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部10135から供給された水平クラスコードごとに行う。

処理は、ステップＳ10126からステップＳ10127に進み、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する注目ブロックの画素すべてを、注目画素としたか否かを判定する。

ステップＳ10127において、注目ブロックの画素すべてを、注目画素としていないと判定された場合、処理は、ステップＳ10122に戻り、予測タップ抽出部10133は、注目ブロックのうちの、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ10123に進み、以下、同様の処理を繰り返す。

一方、ステップＳ10127において、注目ブロックの画素すべてを、注目画素としたと判定された場合、処理は、ステップＳ10128に進み、予測タップ抽出部10133は、生徒画像を構成する８×８画素のブロックすべてを注目ブロックとしたか否かを判定する。

ステップＳ10128において、生徒画像を構成する８×８画素のブロックすべてを注目ブロックとしていないと判定された場合、処理は、ステップＳ10122に戻り、予測タップ抽出部10133は、生徒画像を構成する８×８画素のブロックのうちの、まだ注目ブロックとされていないブロックを、新たな注目ブロックとし、その注目ブロックを構成する画素を注目画素として、処理は、ステップＳ10123に進み、以下、同様の処理を繰り返す。

一方、ステップＳ10128において、生徒画像を構成する８×８画素のブロックすべてを注目ブロックとしたと判定された場合、即ち、足し込み部10136においては、ノイズ付加部10132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各水平クラスについて、式（１０）に示した正規方程式が得られた場合、足し込み部10136は、正規方程式を、係数算出部10137に供給する。そして、処理は、ステップＳ10128からステップＳ10129に進み、係数算出部10137は、足し込み部10136から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗ_nを求めて出力する。

その後、学習処理は終了される。

次に、図６６のフローチャートを参照して、図６５のステップＳ10125のクラス分類の処理を説明する。

ステップＳ10141において、差分絶対値算出部10141は、クラスタップ抽出部10134（ブロック抽出部10134c）から供給される注目ブロックに基づいて、図４９の差分絶対値算出部11011と同一の処理を行うことで、水平画素間差分および垂直画素間差分を算出する。

処理は、ステップＳ10141からステップＳ10142に進み、差分絶対値算出部10141は、算出した水平画素間差分および垂直画素間差分を用いて、図４９の差分絶対値算出部11011と同一の処理を行うことで、サブコード生成部10145や10146で用いられる閾値を算出し、水平エッジ検出フラグおよび垂直エッジ検出フラグを設定する。

また、差分絶対値算出部10141は、設定した水平エッジ検出フラグおよび垂直エッジ検出フラグを、ノイズ検出フラグ判定部10143に供給し、算出した閾値とともに、閾値選択部10144に供給する。

さらに、ステップＳ10142において、閾値選択部10144は、差分絶対値算出部10141から供給される水平エッジ検出フラグ、垂直エッジ検出フラグ、および閾値を用いて、図４９の閾値選択部11014と同様の処理を行い、水平差分クラスコードの生成に用いる閾値を、サブコード生成部10145に供給し、垂直差分クラスコードの生成に用いる閾値を、サブコード生成部10146に供給する。

処理は、ステップＳ10142からステップＳ10143に進み、サブコード生成部10145は、クラスタップ抽出部10134（水平差分クラスタップ抽出部10134a）から供給される水平差分クラスタップと、閾値選択部10144から供給される閾値を用いて、図４９の水平差分クラスコード生成部11015と同様の処理を行い、その結果得られる水平差分クラスコードを、クラスコード出力部10148に供給する。

その後、処理は、ステップＳ10143からステップＳ10144に進み、サブコード生成部10146は、クラスタップ抽出部10134（垂直差分クラスタップ抽出部10134b）から供給される垂直差分クラスタップと、閾値選択部10144から供給される閾値を用いて、図４９の垂直差分クラスコード生成部11016と同様の処理を行い、その結果得られる垂直差分クラスコードを、サブコード生成部10147に供給する。

さらに、ステップＳ10144において、サブコード生成部10147は、サブコード生成部10146から供給される垂直差分クラスコードを用いて、図４９の垂直差分ゼロクラスコード生成部11017と同様の処理を行い、その結果得られる垂直差分ゼロクラスコードを、クラスコード出力部10148に供給する。

処理は、ステップＳ10144からステップＳ10145に進み、フィールドフラグ抽出部10142は、クラスタップ抽出部10134（ブロック抽出部10134c）から供給される注目ブロックから、フィールド情報を抽出することにより、図４９のフィールドフラグ抽出部11012と同一の処理を行うことで、フィールドフラグを設定し、クラスコード出力部10148に供給する。

処理は、ステップＳ10145からステップＳ10146に進み、ノイズ検出フラグ判定部10143は、差分絶対値算出部10141から供給される水平エッジ検出フラグおよび垂直エッジ検出フラグを用いて、図４９のノイズ検出フラグ判定部11013と同様の処理を行い、その結果得られるノイズ検出フラグを、クラスコード出力部10148に供給する。

処理は、ステップＳ10146からステップＳ10147に進み、クラスコード出力部10148は、図４９の水平クラスコード出力部11018と同様に、フィールドフラグ抽出部10142から供給されるフィールドフラグ、ノイズ検出フラグ判定部10143から供給されるノイズ検出フラグ、垂直差分ゼロクラスコード生成部10147から供給される垂直差分ゼロクラスコード、水平差分クラスコード生成部10145から供給される水平差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、足し込み部10136に出力する。

その後、処理は、図６５のステップＳ10125にリターンする。

即ち、図６５のフローチャートで説明した学習処理は、ノイズ除去画像に相当する画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理であるが、この学習処理を、図６７乃至図７７を参照して行う説明においては、水平タップにおける学習処理という。

なお、図６３の学習部10121において、予測タップ抽出部10133が垂直予測タップを抽出し、クラスタップ抽出部10134が垂直クラスタップを抽出して、クラス分類部10135が垂直クラス分類を行うこととすれば、水平係数に代えて、垂直係数を求めることができる。

即ち、垂直係数を求める場合には、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックを構成する画素を順次、注目画素とする。さらに、予測タップ抽出部10133は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の垂直予測タップ抽出部10065が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップ（図４７の垂直予測タップ抽出部10065が注目画素について得る垂直予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる垂直予測タップ）を得て、足し込み部10136に供給する。

クラスタップ抽出部10134は、ノイズ付加部10132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の垂直クラスタップ抽出部10066が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップ（図４７の垂直クラスタップ抽出部10066が注目画素について得る垂直クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる垂直クラスタップ）を得て、クラス分類部10135に供給する。

クラス分類部10135は、クラスタップ抽出部10134から供給された垂直クラスタップに基づき、図４７の垂直クラス分類部10067と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部10136に供給する。

足し込み部10136は、原画像記憶部10131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部10133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部10135から供給された垂直クラスコードごとに行う。

即ち、足し込み部10136には、原画像記憶部10131に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙ_k、予測タップ抽出部10133が出力する注目画素についての垂直予測タップを構成する生徒画像の画素の画素値ｘ_n,k、クラス分類部10135が出力する、垂直予測タップの垂直クラスを表す垂直クラスコードが供給される。

そして、足し込み部10136は、クラス分類部10135から供給された垂直クラスコードに対応する垂直クラスごとに、垂直予測タップ（生徒画像）ｘ_n,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み部10136は、やはり、クラス分類部10135から供給された垂直クラスコードに対応する垂直クラスごとに、垂直予測タップ（生徒画像）ｘ_n,kと教師画像ｙ_kを用い、式（１０）の右辺のベクトルにおける生徒画像ｘ_n,kおよび教師画像ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

そして、足し込み部10136は、ノイズ付加部10132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各垂直クラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部10137に供給する。

係数算出部10137は、足し込み部10136から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数ｗ’_nを求めて出力する。

以上のようにして、垂直係数ｗ’_nを求める学習処理を、図６７乃至図７７を参照して行う説明においては、垂直タップにおける学習処理という。

図４７の画像変換部３１では、上述した水平タップにおける学習処理により求められた水平係数と、垂直タップにおける学習処理により求められた垂直係数とを用いて画像変換処理を行うことができる。

図６６のクラス分類における処理において、ステップＳ10144では、例えば、垂直予測タップのクラスを表す垂直クラスコードの一部である垂直差分クラスコードを用いて、水平予測タップのクラスを表す水平クラスコードの一部である垂直差分ゼロクラスコードを求めている。即ち、水平予測タップの水平クラス分類をするにあたり、垂直予測タップのクラスを表す垂直クラスコードの一部を用いているため、水平予測タップの水平クラス分類では、垂直予測タップのクラスを考慮した水平クラス分類をすることができ、このため、垂直予測タップの垂直予測演算に用いる、垂直クラスに対応する垂直係数による垂直処理効果分を考慮した形で、水平予測タップの水平予測演算に用いる、水平クラスに対応する水平係数を学習することができる。

また、図６５のステップＳ10123により、生徒画像から抽出される予測タップなどについては、注目ブロックと、注目ブロックに隣接するブロックとの境界を横切るように抽出されているため、注目ブロックのみから抽出される場合と比較して、MPEG復号画像に生じているブロック歪などを効果的に除去することができる係数を求めることができる。

さらに、図６５のステップＳ10125のクラス分類では、例えば、水平差分クラスタップから水平差分クラスコードを生成するのに用いる閾値や、垂直差分クラスタップから垂直差分クラスコードを生成するのに用いる閾値、斜め差分クラスタップから斜め差分クラスコードを生成するのに用いる閾値として、最適な閾値を選択し、その最適な閾値を用いて、水平差分クラスコードや垂直差分クラスコード、斜め差分クラスコードを生成しているため、より適切なクラス分類をすることができる。

次に、水平係数による水平処理効果分と、垂直係数による垂直処理効果分とが過剰となったり、相殺されることがないように、水平係数および垂直係数を学習する学習処理について説明する。

図６７は、上述した図４７の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部10151の構成例を示すブロック図である。なお、図６７には、説明の便宜上、図４７の画像変換部３１に相当する画像変換部10152も図示してある。

２段差分学習部10151は、水平タップ学習部10161、水平マッピング部10162、および垂直タップ差分学習部10163により構成される。

水平タップ学習部10161は、図６３の学習部10121と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部10162に供給する。

水平マッピング部10162は、水平タップ学習部10161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部10161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られる水平処理画像Ｈを、垂直タップ差分学習部10163に供給する。なお、水平マッピング部10162には、水平タップ学習部10161などから、MPEG復号画像が供給される。

垂直タップ差分学習部10163は、水平タップ学習部10161で教師画像として用いられる原画像と、水平マッピング部10162から供給される水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。

即ち、垂直タップ差分学習部10163は、原画像、MPEG復号画像、および水平処理画像Ｈから、後述するようにして、原画像と水平差分ｈとの差分である原画像−水平差分ｈを生成し、その原画像−水平差分ｈを教師画像とするとともに、MPEG復号画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける水平差分の差分学習処理を行う。

なお、垂直タップ差分学習部10163の、垂直タップにおける水平差分の差分学習処理は、後述する図６８を参照して、詳細に説明する。

図４７の画像変換部３１における画像変換処理では、図６７の２段差分学習部10151により求められた水平係数および垂直係数を用いることができる。

ここで、図６７において、画像変換部10152は、図４７の画像変換部３１と同様に構成される。画像変換部10152では、次のようにして、MPEG復号画像を原画像（の予測値）に変換する画像変換処理が行われる。

即ち、画像変換部10152は、水平マッピング部10162、垂直差分マッピング部10164、および加算部10165により構成される。

水平マッピング部10162は、図５６の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部10064、および水平予測演算部10101で構成される水平マッピング部10071と同様に構成される。

水平マッピング部10162は、水平タップ学習部10161での水平タップにおける学習処理により得られる水平係数を用いて、MPEG復号画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その水平処理画像Ｈを、加算部10165に供給する。

垂直差分マッピング部10164は、図５６の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部10068、垂直予測演算部10102、およびゲイン調整部10103で構成される垂直差分マッピング部10073と同様に構成される。

垂直差分マッピング部10164は、垂直タップ差分学習部10163での垂直タップにおける水平差分の差分学習処理により得られる垂直係数を用いて、MPEG復号画像を垂直差分ｖに変換する垂直差分マッピング処理を行い、その垂直差分ｖを、加算部10165に供給する。

加算部10165は、図５６の加算部10104と同様に構成され、水平マッピング部10162から供給された水平処理画像Ｈと、垂直差分マッピング部10164から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖ（＝ｈ＋ｖ＋ｘ₁）を出力する。

次に、図６８は、垂直タップにおける水平差分の差分学習処理を行う図６７の垂直タップ差分学習部10163の詳細な構成例を示すブロック図である。

即ち、図６８の垂直タップ差分学習部10163は、図６３の原画像記憶部10131乃至係数算出部10137とそれぞれ同様に構成される原画像記憶部11131乃至係数算出部11137と、図１１の差分画像生成部２３３と同様に構成される差分画像生成部10233とから構成される。

図６８の垂直タップ差分学習部10163では、原画像と水平差分ｈとの差分である原画像―水平差分ｈを教師画像とするとともに、MPEG復号画像を生徒画像として、垂直係数を学習することから、原画像から水平マッピング処理による水平処理効果分としての水平差分ｈを差し引いた画像に、MPEG復号画像を変換する垂直係数が求められる。

次に、図６９のフローチャートを参照して、図６７の２段差分学習部10151における２段差分学習処理を説明する。

ステップＳ10171において、水平タップ学習部10161は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部10162に供給する。

その後、処理は、ステップＳ10171からステップＳ10172に進み、水平マッピング部10162は、水平タップ学習部10161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部10161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部10163に供給する。

そして、処理は、ステップＳ10172からステップＳ10173に進み、垂直タップ差分学習部10163は、水平タップ学習部10161で教師画像として用いられる原画像と、水平マッピング部10162から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。

その後、２段差分学習処理は、終了される。

次に、図７０のフローチャートを参照して、図６９のステップＳ10173の、垂直タップにおける水平差分の差分学習処理の詳細を説明する。

ステップＳ10201において、垂直タップ差分学習部10163（図６８）のノイズ付加部11132は、原画像記憶部11131に記憶されている原画像を読み出し、その原画像を、MPEG-2などで８×８画素のブロック単位でMPEG符号化し、さらに、MPEG復号することでMPEG復号画像に相当する画像を、生徒画像として生成し、差分画像生成部10233、垂直予測タップ抽出部11133および垂直クラスタップ抽出部11134に供給する。なお、原画像記憶部11131には、図６７の水平タップ学習部10161で教師画像として用いられるのと同一の原画像が、記憶されている。

処理は、ステップＳ10201からステップＳ10202に進み、差分画像生成部10233は、ノイズ付加部11132から供給されたMPEG復号画像ｘ₁を、図６７の水平マッピング部10162から供給された水平処理画像Ｈ＝ｈ＋ｘ₁から差し引くことで、水平差分ｈを生成する。

また、ステップＳ10202において、差分画像生成部10233は、原画像記憶部11131に記憶されている原画像を読み出し、その原画像から、生成した水平差分ｈを差し引き、その結果得られた原画像―水平差分ｈを、教師画像として、足し込み部11136に供給する。

その後、処理は、ステップＳ10202からステップＳ10203に進み、垂直予測タップ抽出部11133は、ノイズ付加部11132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックの画素を、注目画素として、処理は、ステップＳ10204に進む。

ステップＳ10204において、垂直予測タップ抽出部11133は、ノイズ付加部11132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の垂直予測タップ抽出部10065が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部11136に供給する。

そして、処理は、ステップＳ10204からステップＳ10205に進み、垂直クラスタップ抽出部11134は、ノイズ付加部11132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の垂直クラスタップ抽出部10066が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部11135に供給する。

さらに、処理は、ステップＳ10205からステップＳ10206に進み、垂直クラス分類部11135は、垂直クラスタップ抽出部11134から供給された垂直クラスタップに基づき、図４７の垂直クラス分類部10067と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部11136に供給して、ステップＳ10207に進む。

ステップＳ10207において、足し込み部11136は、図６３の学習部10121の足し込み部10136と同様にして、差分画像生成部10233から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部11133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部11135から供給された垂直クラスコードごとに行う。

処理は、ステップＳ10207からステップＳ10208に進み、ステップＳ10208およびステップＳ10209において、図６５のステップＳ10127およびステップＳ10128と同様の処理を行う。

そして、ステップＳ10208からステップＳ10209に進み、生徒画像を構成する８×８画素のブロックすべてを注目ブロックとしたと判定された場合、即ち、足し込み部11136においては、ノイズ付加部11132により生成された生徒画像の画素すべてを注目画素として、図６３の学習部10121と同様の足し込みを行うことにより、各垂直クラスについての正規方程式が得られた場合、足し込み部11136は、その正規方程式を、垂直タップ差分学習部10163の係数算出部11137に供給する。そして、ステップＳ10209からステップＳ10210に進み、係数算出部11137は、足し込み部11136から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数ｗ’_nを求めて出力する。

その後、処理は、図６９のステップＳ10173にリターンする。

次に、図７１は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部10271の構成例を示すブロック図である。

２段反復学習部10271は、図６７の２段差分学習部10151の水平タップ学習部10161乃至垂直タップ差分学習部10163それぞれと同様に構成される水平タップ学習部11161乃至垂直タップ差分学習部11163と、垂直マッピング部10284、および水平タップ差分学習部10285とから構成される。

垂直マッピング部10284は、水平タップ学習部11161で生徒画像として用いられるMPEG復号画像と、垂直タップ差分学習部11163から供給された垂直係数を用いて、MPEG復号画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部10285に供給する。

水平タップ差分学習部10285は、水平タップ学習部11161で教師画像として用いられる原画像と、垂直マッピング部10284から供給された垂直処理画像Ｖとを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部11162に供給する。

即ち、水平タップ差分学習部10285は、原画像、MPEG復号画像、および垂直処理画像Ｖから、後述するようにして、原画像と垂直差分ｖとの差分である原画像−垂直差分ｖを生成し、その原画像−垂直差分ｖを教師画像とするとともに、MPEG復号画像を生徒画像として、水平予測タップ及び水平クラスタップを用いて、水平係数を学習する、水平タップにおける垂直差分の差分学習処理を行う。

なお、水平タップ差分学習部10285の、水平タップにおける垂直差分の差分学習処理は、後述する図７２を参照して、詳細に説明する。

次に、図７２は、水平タップにおける垂直差分の差分学習処理を行う図７１の水平タップ差分学習部10285の詳細な構成例を示すブロック図である。

水平タップ差分学習部10285は、図６８の垂直タップ差分学習部10163の原画像記憶部11131乃至係数算出部11137とそれぞれ同様に構成される原画像12131乃至係数算出部12137と、図１５の差分画像生成部２９３と同様に構成される差分画像生成部10293とから構成される。

以上のように構成される水平タップ差分学習部10285では、原画像と垂直差分ｖとの差分である原画像―垂直差分ｖを教師画像とするとともに、MPEG復号画像を生徒画像として、水平係数を学習することから、原画像から垂直マッピング処理による垂直処理効果分としての垂直差分ｖを差し引いた画像に、MPEG復号画像を変換する水平係数が求められる。

次に、図７３のフローチャートを参照して、図７１の２段反復学習部10271における２段反復学習処理を説明する。

ステップＳ10241において、水平タップ学習部11161は、原画像を教師画像とするとともに、その原画像をMPEG符号化し、さらにMPEG復号したMPEG復号画像を生徒画像として、水平タップにおける学習処理を行い、その結果得られた水平係数を、水平マッピング部11162に供給して、処理は、ステップＳ10242に進む。

ステップＳ10242において、水平マッピング部11162および垂直タップ差分学習部11163により、垂直係数が生成される。

即ち、ステップＳ10242では、ステップＳ10251とステップＳ10252の処理が行われる。

ステップＳ10251では、水平マッピング部11162は、水平タップ学習部11161で生徒画像として用いられるMPEG復号画像と、水平タップ学習部11161から供給される水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部11163に供給して、処理は、ステップＳ10252に進む。

ステップＳ10252において、垂直タップ差分学習部11163は、水平タップ学習部11161で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および水平マッピング部11162から供給された水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を生成する。

また、ステップＳ10252において、垂直タップ差分学習部11163は、生成した垂直係数を、垂直マッピング部10284に供給する。

ステップＳ10251およびステップＳ10252の処理、つまり、ステップＳ10242の処理が終了すると、処理は、ステップＳ10242からステップＳ10243に進み、垂直マッピング部10284および水平タップ差分学習部10285により、水平係数が生成される。

即ち、ステップＳ10243では、ステップＳ10261とステップＳ10262の処理が行われる。

ステップＳ10261において、垂直マッピング部10284は、水平タップ学習部11161で生徒画像として用いられるMPEG復号画像と、垂直タップ差分学習部11163から供給された垂直係数とを用いて垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部10285に供給して、処理は、ステップＳ10262に進む。

ステップＳ10262において、水平タップ差分学習部10285は、水平タップ学習部11161で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直マッピング部10284から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を生成する。

また、ステップＳ10262において、水平タップ差分学習部10285は、生成した水平係数を、水平マッピング部11162に供給する。

ステップＳ10261およびステップＳ10262の処理、つまり、ステップＳ10243の処理が終了すると、処理は、ステップＳ10243からステップＳ10242に戻り、水平マッピング部11162および垂直タップ差分学習部11163により、前回、水平タップ差分学習部10285により生成された水平係数に基づいて、垂直係数が生成され、以下、同様の処理が繰り返される。

即ち、ステップＳ10242のステップＳ10251では、水平マッピング部11162は、水平タップ学習部11161で生徒画像として用いられるMPEG復号画像と、水平タップ差分学習部10285から供給された水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部11163に供給して、処理は、ステップＳ10252に進み、以下、同様の処理を繰り返す。

なお、図７３の２段反復学習処理では、図１６の２段反復学習処理の場合と同様のタイミングで、処理を終了することができる。

次に、図７４のフローチャートを参照して、図７３のステップＳ10262の、水平タップにおける垂直差分の差分学習処理を詳細に説明する。

ステップＳ10271において、水平タップ差分学習部10285（図７２）のノイズ付加部12132は、原画像記憶部12131に記憶されている原画像を読み出し、その原画像を、８×８画素のブロック単位でMPEG符号化しMPEG復号することでMPEG復号画像に相当する画像を、生徒画像として生成し、差分画像生成部10293、水平予測タップ抽出部12133および水平クラスタップ抽出部12134に供給する。なお、原画像記憶部12131には、図７１の水平タップ学習部11161で教師画像として用いられるのと同一の原画像が、記憶されている。

処理は、ステップＳ10271からステップＳ10272に進み、差分画像生成部10293は、ノイズ付加部12132から供給されたMPEG復号画像ｘ₁を、図７１の垂直マッピング部10284から供給された垂直処理画像Ｖ＝ｖ＋ｘ₁から差し引くことで、垂直差分ｖを生成する。

また、ステップＳ10272において、差分画像生成部10293は、原画像記憶部12131に記憶されている原画像を読み出し、その原画像から、生成した垂直差分ｖを差し引き、その結果得られた原画像―垂直差分ｖを、教師画像として、足し込み部12136に供給する。

処理は、ステップＳ10272からステップＳ10273に進み、水平予測タップ抽出部12133は、ノイズ付加部12132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックの画素を注目画素として、処理は、ステップＳ10274に進む。

ステップＳ10274において、水平予測タップ抽出部12133は、ノイズ付加部12132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平予測タップ抽出部10061が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部12136に供給する。

処理は、ステップＳ10274からステップＳ10275に進み、水平クラスタップ抽出部12134は、ノイズ付加部12132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図４７の水平クラスタップ抽出部10062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、水平クラス分類部12135に供給する。

処理は、ステップＳ10275からステップＳ10276に進み、水平クラス分類部12135は、水平クラスタップ抽出部12134から供給された水平クラスタップに基づき、図４７の水平クラス分類部10063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部12136に供給する。

処理は、ステップＳ10276からステップＳ10277に進み、足し込み部12136は、図６３の学習部10121の場合と同様にして、差分画像生成部10293から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部12133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、水平クラス分類部12135から供給された水平クラスコードごとに行う。

処理は、ステップＳ10277からステップＳ10278に進み、ステップＳ10278およびステップＳ10279において、図６５のステップＳ10127およびステップＳ10128と同様の処理を行い、ステップＳ10278からステップＳ10279に進み、生徒画像を構成する８×８画素のブロックすべてを注目ブロックとしたと判定された場合、即ち、足し込み部12136においては、ノイズ付加部12132により生成された生徒画像の画素すべてを注目画素として、図６３の学習部10121と同様の足し込みを行うことにより、各水平クラスについての正規方程式が得られた場合、足し込み部12136は、その正規方程式を、係数算出部12137に供給する。そして、処理は、ステップＳ10279からステップＳ10280に進み、係数算出部12137は、足し込み部12136から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗ_nを求めて出力する。

その後、処理は、図７３のステップＳ10262にリターンする。

図７５は、２段差分学習部10301の構成例を示すブロック図である。なお、図７５には、説明の便宜上、図４７の画像変換部３１に相当する画像変換部10302も図示してある。

２段差分学習部10301は、垂直タップ学習部10311、垂直マッピング部10312、および水平タップ差分学習部10313により構成される。

垂直タップ学習部10311は、図６３の学習部10121と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部10312に供給する。

垂直マッピング部10312は、垂直タップ学習部10311で生徒画像として用いられるMPEG復号画像（に相当する画像）と、垂直タップ学習部10311から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られる垂直処理画像Ｖを、水平タップ差分学習部10313に供給する。なお、垂直マッピング部10312には、垂直タップ学習部10311などから、MPEG復号画像が供給される。

水平タップ差分学習部10313は、垂直タップ学習部10311で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直マッピング部10312から供給される垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を学習する。

２段差分学習部10301の垂直タップ学習部10311で求められた垂直係数と、水平タップ差分学習部10313で求められた水平係数とは、図４７の画像変換部３１に相当する画像変換部10302での画像変換処理に用いられる。

即ち、画像変換部10302は、垂直マッピング部10312、水平差分マッピング部10314、および加算部10315により構成される。

図７５の画像変換部10302では、垂直マッピング部10312が垂直処理画像Ｖ＝ｖ＋ｘ₁を生成し、水平差分マッピング部10314が水平差分ｈを生成して、加算部10315が、垂直マッピング部10312により生成された垂直処理画像Ｖ＝ｖ＋ｘ₁と、水平差分マッピング部10314により生成された水平差分ｈとを加算し、その結果得られた垂直水平処理画像Ｖ＋ｈを出力する。

具体的には、垂直マッピング部10312は、図５６の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部10068、および垂直予測演算部10102で構成される垂直マッピング部10072と同様に構成される。

垂直マッピング部10312は、垂直タップ学習部10311での垂直タップにおける学習処理により得られる垂直係数を用いて、MPEG復号画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その垂直処理画像Ｖを、加算部10315に供給する。

水平差分マッピング部10314は、図６２の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部10064、水平予測演算部10101、およびゲイン調整部10112で構成される水平差分マッピング部10111と同様に構成される。

水平差分マッピング部10314は、水平タップ差分学習部10313での水平タップにおける垂直差分の差分学習処理により得られる水平係数を用いて、MPEG復号画像を水平差分ｈに変換する水平差分マッピング処理を行い、その水平差分ｈを、加算部10315に供給する。

加算部10315は、図５６の加算部10104と同様に構成され、垂直マッピング部10312から供給された垂直処理画像Ｖと、水平差分マッピング部10314から供給された水平差分ｈとを加算し、その結果得られた画素値Ｖ＋ｈで構成される、原画像を予測した垂直水平処理画像を出力する。

ところで、図７５の２段差分学習部10301で求められる垂直係数と水平係数によれば、図６７の２段差分学習部10151で求められる水平係数と垂直係数と同様に、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等とならない。

そこで、図７６は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部10331の構成例を示すブロック図である。

２段反復学習部10331は、垂直タップ学習部11311、垂直マッピング部11312、水平タップ差分学習部11313、水平マッピング部10324、および垂直タップ差分学習部10325により構成される。

垂直タップ学習部11311は、図６３の学習部10121と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部11312に供給する。

垂直マッピング部11312は、垂直タップ学習部11311で生徒画像として用いられるMPEG復号画像（に相当する画像）と、垂直タップ学習部11311から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部11313に供給する。なお、垂直マッピング部11312には、垂直タップ学習部11311などから、MPEG復号画像が供給される。

水平タップ差分学習部11313は、垂直タップ学習部11311で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直マッピング部11312から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部10324に供給する。

水平マッピング部10324は、垂直タップ学習部11311で生徒画像として用いられるMPEG復号画像と、水平タップ差分学習部11313から供給された水平係数とを用いて、MPEG復号画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部10325に供給する。

垂直タップ差分学習部10325は、垂直タップ学習部11311で生徒画像として用いられるMPEG復号画像の画素値ｘ₁を、水平マッピング部10324から供給された水平処理画像Ｈ＝ｈ＋ｘ₁から差し引くことで、水平差分ｈを生成する。

また、垂直タップ差分学習部10325は、垂直タップ学習部11311で教師画像として用いられる原画像から、生成した水平差分ｈを差し引くことで得られる画像である原画像―水平差分ｈを教師画像とするとともに、垂直タップ学習部11311で生徒画像として用いられるMPEG復号画像を生徒画像として、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直マッピング部11312に供給する。

垂直タップ差分学習部10325により垂直係数が求められると、以降、垂直マッピング部11312は、垂直タップ学習部11311で生徒画像として用いられるMPEG復号画像（に相当する画像）と、垂直タップ差分学習部10325から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部11313に供給する。

図７７は、図１の画像変換部３１の第６の構成例を示すブロック図である。

なお、図中、図４７の画像変換部３１の場合に対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。

即ち、図７７の画像変換部３１は、図４７の水平クラスタップ抽出部10062、水平クラス分類部10063、垂直クラスタップ抽出部10066、および垂直クラス分類部10067に代えて、水平差分クラスタップ抽出部13062、水平クラス分類部13063、垂直差分クラスタップ抽出部13066、垂直クラス分類部13067、ブロック抽出部13070、およびブロック処理部13071が設けられている他は、図４７の場合と同様に構成される。

また、水平差分クラスタップ抽出部13062、垂直差分クラスタップ抽出部13066、ブロック抽出部13070それぞれは、図４７の水平差分クラスタップ抽出部10062a、垂直差分クラスタップ抽出部10062b、ブロック抽出部10062cそれぞれと同様に構成される。

さらに、水平クラス分類部13063の水平差分クラスコード生成部13063a、垂直差分ゼロクラスコード生成部13063b、水平クラスコード出力部13063cそれぞれは、図４９の水平差分クラスコード生成部11015、垂直差分ゼロクラスコード生成部11017、水平クラスコード出力部11018それぞれと同様に構成される。

また、垂直クラス分類部13067の垂直差分クラスコード生成部13067a、水平差分ゼロクラスコード生成部13067b、垂直クラスコード出力部13067cそれぞれは、図５４の垂直差分クラスコード生成部11035、水平差分ゼロクラスコード生成部11037、垂直クラスコード出力部11038それぞれと同様に構成される。

ブロック処理部13071の差分絶対値算出部13071a、フィールドフラグ抽出部13071b、閾値選択部13071c、ノイズ検出フラグ判定部13071dそれぞれは、図４９の差分絶対値算出部11011、フィールドフラグ抽出部11012、閾値選択部11014、ノイズ検出フラグ判定部11013それぞれと同様に構成される。

図７８は、図１の画像変換部３１の第７の構成例を示すブロック図である。

なお、図中、図４７の画像変換部３１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。

即ち、図７８の画像変換部３１は、図４７の水平係数記憶部10064、垂直係数記憶部10068、および予測演算部10069に代えて、水平係数記憶部20064、垂直係数記憶部20068、および予測演算部20069が設けられており、さらに、モード判定部20031および20032が新たに設けられている他は、図４７の画像変換部３１の場合と同様に構成されている。

モード判定部20031には、水平予測タップ抽出部10061から、MPEG復号画像における注目画素の位置を表す位置情報が供給される。

モード判定部20031は、そこに供給される位置情報に基づいて、注目ブロックにおける注目画素の画素位置モードを判定し、予測演算部20069に供給する。ここで、画素位置モードとは、MPEG復号画像の８×８画素の各ブロックにおける各画素の位置を表す情報である。

モード判定部20031は、そこに供給される位置情報に基づいて、注目ブロックにおける注目画素が、注目ブロックの中心を通る、水平方向および垂直方向に延びる線分により区分された左上領域、右上領域、左下領域、または右下領域のうちのいずれかの領域に位置するかを判定し、その結果得られた領域情報を、予測演算部20069に供給する。

また、モード判定部20032には、垂直予測タップ抽出部10065から、MPEG復号画像における注目画素の位置情報が供給される。そして、モード判定部20032は、モード判定部20031と同様の処理を行い、その結果得られる画素位置モードと領域情報を、同じく、予測演算部20069に供給する。

水平係数記憶部20064には、水平クラス分類部10063から、水平クラスコードが供給される。

水平係数記憶部20064は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットを記憶しており、その記憶している水平係数のセットのうちの、水平クラス分類部10063から供給された水平クラスコードに対応するアドレスに記憶されている水平係数（水平クラス分類部10063から供給された水平クラスコードが表す水平クラスに対応する水平係数）すべてを、予測演算部20069に出力する。

垂直係数記憶部20068は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットを記憶しており、その記憶している垂直係数のセットのうちの、垂直クラス分類部10067から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数（垂直クラス分類部10067から供給された垂直クラスコードが表す垂直クラスに対応する垂直係数）を、予測演算部20069に出力する。

なお、予測演算部20069には、水平予測タップ抽出部10061から水平予測タップが、垂直予測タップ抽出部10065から垂直予測タップが、それぞれ、供給される。

予測演算部20069は、水平予測タップ抽出部10061から供給された水平予測タップ、垂直予測タップ抽出部10065から供給された垂直予測タップ、水平係数記憶部10064から供給された水平係数、垂直係数記憶部10068から供給された垂直係数、モード判定部20031，20032から供給された注目画素の画素位置モードおよび領域情報に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。

図７９は、図７８の予測演算部20069の構成例を示すブロック図である。

図７８の予測演算部20069は、図５６のゲイン調整部10103、加算部10104それぞれと同様に構成されるゲイン調整部20103、加算部20104それぞれと、水平予測演算部20101、垂直予測演算部20102により構成される。

水平予測演算部20101には、水平係数記憶部20064から複数の水平係数、水平予測タップ抽出部10061から水平予測タップｘ_n、さらには、モード判定部20031から注目画素の画素位置モードおよび領域情報が供給される。

水平予測演算部20101は、水平係数記憶部20064から供給された複数の水平係数の中から、モード判定部20031から供給された、注目画素の画素位置モードに対応する水平係数を取得する。

また、水平予測演算部20101は、取得した水平係数と、水平予測タップ抽出部10061からの水平予測タップｘ_nとを用いて、モード判定部20031からの注目画素の領域情報に対応した水平予測演算を行い、その結果得られた水平画素の画素値Ｈを、加算部10104に供給する。

垂直予測演算部20102には、垂直係数記憶部20068から複数の垂直係数、垂直予測タップ抽出部10065から垂直予測タップｘ’_n、さらには、モード判定部20032から注目画素の画素位置モードおよび領域情報が供給される。

垂直予測演算部20102は、垂直係数記憶部20068から供給された複数の垂直係数の中から、モード判定部20032から供給された、注目画素の画素位置モードに対応する垂直係数を取得する。

また、垂直予測演算部20102は、取得した垂直係数と、垂直予測タップ抽出部10065からの垂直予測タップｘ’_nとを用いて、モード判定部20032からの注目画素の領域情報に対応した垂直予測演算を行い、その結果得られた垂直画素の画素値Ｖを、ゲイン調整部20103に供給する。

ここで、図７９の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部20064、モード判定部20031、および水平予測演算部20101を総称して水平マッピング部20071といい、その水平マッピング部20071が、水平係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、水平画素の画素値Ｈに変換する処理を、以下、適宜、水平マッピング処理という。

さらに、図７９の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部20068、モード判定部20032、および垂直予測演算部20102を総称して垂直マッピング部20072といい、その垂直マッピング部20072が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、垂直画素の画素値Ｖに変換する処理を、以下、適宜、垂直マッピング処理という。

また、図７９の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部20068、モード判定部20032、垂直予測演算部20102、およびゲイン調整部20103を総称して垂直差分マッピング部20073といい、その垂直差分マッピング部20073が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、垂直差分ｖに変換する処理を、以下、適宜、垂直差分マッピング処理という。

図８０は、図７８のモード判定部20031や20032が判定する画素位置モードや領域情報を説明する図である。

図中、左側には、１６×１６画素のマクロブロックの構造が、フレーム構造である場合の、MPEG復号画像の８×８画素のブロックの画素に割り当てられた画素位置モードを表している。

即ち、画素位置モードにおいては、８×８画素のブロックを、そのブロックの中心を通る、水平方向に延びた水平線および垂直方向に延びた垂直線により、４×４画素の左上のブロックである左上領域、４×４画素の右上のブロックである右上領域、４×４画素の左下のブロックである左下領域、および４×４画素の右下のブロックである右下領域に区分し、左上領域の各画素に、例えば、ラスタスキャン順に、画素位置モード０乃至Ｆを割り当てる。

そして、左上領域の各画素において、水平線または垂直線を基準として、線対称の位置関係にある画素、および８×８画素のブロックの中心を基準として、点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる。

モード判定部20031は、水平予測タップ抽出部10061から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の位置に対応する画素位置モードと、注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、および右下領域のうちのいずれかの領域に位置するかを示す領域情報を判定する。

そして、水平予測演算部20101は、モード判定部20031から供給される注目画素の領域情報に対応した水平予測演算を行う。

同様にして、モード判定部20032は、垂直予測タップ抽出部10065から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の位置に対応する画素位置モードと、注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、および右下領域のうちのいずれかの領域に位置するかを示す領域情報を判定する。

そして、垂直予測演算部20102は、モード判定部20032から供給される注目画素の領域情報に対応した垂直予測演算を行う。

即ち、注目画素の領域情報が、注目画素が左上領域に位置することを表す情報である場合、水平予測タップや垂直予測タップをそのままの状態で、水平係数や垂直係数と乗算させることで、水平予測演算や垂直予測演算を行う。

具体的には、例えば、注目画素ｘ₁を中心として、水平方向に並ぶ９画素である水平方向のタップ４１（図２）を水平予測タップｘ₁乃至ｘ₉として、水平係数記憶部20064から出力され、注目画素の画素位置モードに対応する水平係数をｗ₁乃至ｗ₉とすれば、水平予測演算部20101は、ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ₈ｘ₈＋ｗ₉ｘ₉という演算を行う。また、例えば、注目画素ｘ₁（＝ｘ’₁）を中心として、垂直方向に並ぶ９画素である垂直方向のタップ４２（図２）を垂直予測タップｘ’₁乃至ｘ’₉として、垂直係数記憶部20068から出力され、注目画素の画素位置モードに対応する垂直係数をｗ’₁乃至ｗ’₉とすれば、垂直予測演算部20102は、ｗ’₁ｘ’₁＋ｗ’₂ｘ’₂＋・・・＋ｗ’₈ｘ’₈＋ｗ’₉ｘ’₉という演算を行う。

また、注目画素の領域情報が、注目画素が右上領域に位置することを表す情報である場合、水平予測タップや垂直予測タップを、注目画素を中心として左右反転し、水平係数や垂直係数と乗算させることで、水平予測演算や垂直予測演算を行う。

具体的には、例えば、注目画素ｘ₁を中心として、水平方向に並ぶ９画素である水平方向のタップ４１（図２）を水平予測タップｘ₁乃至ｘ₉として、水平係数記憶部20064から出力され、注目画素の画素位置モードに対応する水平係数をｗ₁乃至ｗ₉とすれば、水平予測演算部20101は、水平予測タップｘ₁乃至ｘ₉を、注目画素を中心として左右反転し、水平係数ｗ₁乃至ｗ₉と乗算することで、ｗ₁ｘ₉＋ｗ₂ｘ₈＋・・・＋ｗ₈ｘ₂＋ｗ₉ｘ₁を得る。なお、垂直予測タップが、注目画素を中心として、垂直方向に並ぶ９画素である垂直方向のタップ４２である場合には、垂直予測タップを左右反転しても、垂直予測タップの位置関係に変化はないため、結果として、垂直予測演算部20102は、ｗ’₁ｘ’₁＋ｗ’₂ｘ’₂＋・・・＋ｗ’₈ｘ’₈＋ｗ’₉ｘ’₉を得る。

さらに、注目画素の領域情報が、注目画素が左下領域に位置することを表す情報である場合、水平予測タップや垂直予測タップを、注目画素を中心として上下反転し、水平係数や垂直係数と乗算させることで、水平予測演算や垂直予測演算を行う。

具体的には、例えば、注目画素ｘ₁を中心として、垂直方向に並ぶ９画素である垂直方向のタップ４２（図２）を垂直予測タップｘ’₁乃至ｘ’₉として、垂直係数記憶部20068から出力され、注目画素の画素位置モードに対応する垂直係数をｗ’₁乃至ｗ’₉とすれば、垂直予測演算部20102は、垂直予測タップｘ’₁乃至ｘ’₉を、注目画素を中心として上下反転し、垂直係数ｗ’₁乃至ｗ’₉と乗算することで、ｗ’₁ｘ’₉＋ｗ’₂ｘ’₈＋・・・＋ｗ’₈ｘ’₂＋ｗ’₉ｘ’₁を得る。なお、水平予測タップが、注目画素を中心として、水平方向に並ぶ９画素である水平方向のタップ４１である場合には、水平予測タップを上下反転しても、水平予測タップの位置関係に変化はないため、結果として、水平予測演算部20101は、ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ₈ｘ₈＋ｗ₉ｘ₉を得る。

また、注目画素の領域情報が、注目画素が右下領域に位置することを表す情報である場合、水平予測タップや垂直予測タップを、注目画素を中心として左右反転および上下反転し、水平係数や垂直係数と乗算させることで、水平予測演算や垂直予測演算を行う。

具体的には、例えば、注目画素ｘ₁を中心として、水平方向に並ぶ９画素である水平方向のタップ４１（図２）を水平予測タップｘ₁乃至ｘ₉として、水平係数記憶部20064から出力され、注目画素の画素位置モードに対応する水平係数をｗ₁乃至ｗ₉とすれば、水平予測演算部20101は、水平予測タップｘ₁乃至ｘ₉を、注目画素を中心として左右反転し、水平係数ｗ₁乃至ｗ₉と乗算することで、ｗ₁ｘ₉＋ｗ₂ｘ₈＋・・・＋ｗ₈ｘ₂＋ｗ₉ｘ₁を得る。なお、ここでは、水平予測タップを、水平方向に並ぶ水平方向のタップ４１としていることから、水平予測タップを上下反転しても、水平予測タップの位置関係に変化はないため、水平予測演算部20101は、注目画素の領域情報が、注目画素が右上領域に位置することを表す情報である場合と同様に、ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ₈ｘ₈＋ｗ₉ｘ₉を得る。

また、例えば、注目画素ｘ₁を中心として、垂直方向に並ぶ９画素である垂直方向のタップ４２（図２）を垂直予測タップｘ’₁乃至ｘ’₉として、垂直係数記憶部20068から出力され、注目画素の画素位置モードに対応する垂直係数をｗ’₁乃至ｗ’₉とすれば、垂直予測演算部20102は、垂直予測タップｘ’₁乃至ｘ’₉を、注目画素を中心として上下反転し、垂直係数ｗ’₁乃至ｗ’₉と乗算することで、ｗ’₁ｘ’₉＋ｗ’₂ｘ’₈＋・・・＋ｗ’₈ｘ’₂＋ｗ’₉ｘ’₁を得る。なお、ここでは、垂直予測タップを、垂直方向に並ぶ垂直方向のタップ４２としていることから、垂直予測タップを左右反転しても、垂直予測タップの位置関係に変化はないため、垂直予測演算部20102は、注目画素の領域情報が、注目画素が左下領域に位置することを表す情報である場合と同様に、ｗ’₁ｘ’₁＋ｗ’₂ｘ’₂＋・・・＋ｗ’₈ｘ’₈＋ｗ’₉ｘ’₉を得る。

なお、図中、右側には、１６×１６画素のマクロブロックの構造が、フィールド構造である場合の、MPEG復号画像の８×８画素のブロックの画素に割り当てられた画素位置モードを表しており、１６×１６画素のマクロブロックの構造が、フレーム構造である場合に対応する画素において、同様にして、画素位置モードが割り当てられている。

即ち、図中、右側に示されるように、斜線部分が表す偶数ラインと白色の部分が表す奇数ラインで構成される１６×１６画素のマクロブロックについて、１６×１６画素のマクロブロックの右半分において構成される奇数ラインの各画素に画素位置モードを割り当てる。

さらに、１６×１６画素のマクロブロックの右半分において構成される偶数ラインの各画素、１６×１６画素のマクロブロックの左半分において構成される奇数ラインの各画素、および偶数ラインの各画素についても、１６×１６画素のマクロブロックの右半分において構成される奇数ラインの各画素に画素位置モードを割り当てたように、画素位置モードを割り当てる。

また、１６×１６画素のマクロブロックの左半分において構成される奇数ラインに注目画素が位置する場合には、注目画素の領域情報は、注目画素が左上領域に位置することを表す情報とし、１６×１６画素のマクロブロックの右半分において構成される奇数ラインに注目画素が位置する場合には、注目画素の領域情報は、注目画素が右上領域に位置することを表す情報となる。

さらに、１６×１６画素のマクロブロックの左半分において構成される偶数ラインに注目画素が位置する場合には、注目画素の領域情報は、注目画素が左下領域に位置することを表す情報とし、１６×１６画素のマクロブロックの右半分において構成される偶数ラインに注目画素が位置する場合には、注目画素の領域情報は、注目画素が右下領域に位置することを表す情報となる。

次に、図８１のフローチャートを参照して、図７８の画像変換部３１における画像変換処理を説明する。

ステップＳ20031において、水平マッピング部20071の水平予測タップ抽出部10061は、そこに供給されたMPEG復号画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックの画素を注目画素として、処理は、ステップＳ20032に進む。

ステップＳ20032において、水平マッピング部20071は、注目画素について水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、加算部20104に供給して、処理は、ステップＳ20033に進み、垂直差分マッピング部20073は、注目画素について垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部20104に供給して、処理は、ステップＳ20034に進む。

ステップＳ20034において、加算部20104は、水平マッピング部20071からの水平処理画像Ｈと、垂直差分マッピング部20073からの垂直差分ｖとを加算し、注目画素に対応する、ノイズ除去画像の画素の画素値ｙ＝Ｈ＋ｖを得て出力する。

その後、処理は、ステップＳ20034からステップＳ20035に進み、ステップＳ20035およびステップＳ20036において、図５７のステップＳ10035およびステップＳ10036と同様の処理を行う。

ステップＳ20036において、MPEG復号画像を構成する８×８画素のブロックすべてを注目画素としたと判定された場合、画像変換処理は終了される。

次に、図８２のフローチャートを参照して、図８１のステップＳ20032における水平マッピング処理の詳細を説明する。

ステップＳ20061乃至ステップＳ20064において、図５８のステップＳ10061乃至ステップＳ10064と同様の処理を行い、処理は、ステップＳ20064からステップＳ20065に進み、水平マッピング部20071のモード判定部20031は、水平予測タップ抽出部10061から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の画素位置モードを判定し、水平予測演算部20101に供給する。なお、モード判定部20031には、水平予測タップ抽出部10061から、注目画素の位置情報が供給される。

処理は、ステップＳ20065からステップＳ20066に進み、さらに、水平マッピング部20071のモード判定部20031は、水平予測タップ抽出部10061から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、または右下領域のうちのいずれかの領域に位置するかを表す領域情報を判定し、その結果得られた領域情報を、水平予測演算部20101に供給して、処理は、ステップＳ20067に進む。

ステップＳ20067において、水平マッピング部20071の水平予測演算部20101は、水平係数記憶部20064から供給された複数の水平係数の中から、モード判定部20031から供給された画素位置モードに対応する水平係数ｗ_nを取得し、その水平係数と、水平予測タップ抽出部10061からの水平予測タップｘ_nとを用いて、モード判定部20031からの領域情報に対応した水平予測演算を行い、その結果得られた水平処理画像Ｈを、加算部20104に供給し、その後、処理は、図８１のステップＳ20032にリターンして、その後の処理を行う。

次に、図８３のフローチャートを参照して、図８１のステップＳ20033における垂直差分マッピング処理の詳細を説明する。

ステップＳ20091乃至ステップＳ20094において、図６０のステップＳ10091乃至ステップＳ10094と同様の処理を行い、処理は、ステップＳ20094からステップＳ20095に進み、垂直差分マッピング部20073のモード判定部20032は、垂直予測タップ抽出部10065から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の画素位置モードを判定し、垂直予測演算部20102に供給する。なお、モード判定部20032には、垂直予測タップ抽出部10065から、注目画素の位置情報が供給される。

処理は、ステップＳ20095からステップＳ20096に進み、垂直差分マッピング部20073のモード判定部20032は、垂直予測タップ抽出部10065から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、または右下領域のうちのいずれかの領域に位置するかを表す領域情報を判定し、その結果得られた領域情報を、やはり、垂直予測演算部20102に供給して、処理は、ステップＳ20097に進む。

ステップＳ20097において、垂直差分マッピング部20073の垂直予測演算部20102は、垂直係数記憶部20068から供給された複数の垂直係数の中から、モード判定部20032から供給された画素位置モードに対応する垂直係数ｗ’_nを取得し、その垂直係数ｗ’_nと、垂直予測タップ抽出部10065からの垂直予測タップｘ’_nとを用いて、モード判定部20032からの領域情報に対応した垂直予測演算を行い、その結果得られた垂直処理画像Ｖを、ゲイン調整部20103に供給する。

その後、処理は、ステップＳ20097からステップＳ20098に進み、図６０のステップＳ10096と同様の処理を行い、処理はステップＳ20098から図８１のステップＳ20033にリターンして、その後の処理を行う。

次に、後の説明を簡単にするために、水平係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、水平差分ｈに変換する水平差分マッピング処理を行う水平差分マッピング部を説明する。

即ち、図８４は、水平差分マッピング処理を行う水平差分マッピング部20111の構成例を示すブロック図である。

なお、図中、図７９の水平マッピング部20071の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。

即ち、図８４の水平差分マッピング部20111は、図６２のゲイン調整部10112と同様に構成されるゲイン調整部20112が新たに設けられているほかは、図７９の水平マッピング部20071の場合と同様に構成されている。

次に、図８５を参照して、式（１０）の正規方程式を水平クラスごとにたてて解くことにより水平係数ｗ_nを求める学習を行う学習部20121を説明する。

図８５は、水平係数ｗ_nを求める学習を行う学習部20121の構成例を示すブロック図である。

図８５の学習部20121は、原画像記憶部20131、ノイズ付加部20132、予測タップ抽出部20133、クラスタップ抽出部20134、クラス分類部20135、足し込み部20136、係数算出部20137、およびモード判定部20141により構成される。

なお、図８５の学習部20121の原画像記憶部20131乃至クラス分類部20135それぞれは、図６３の学習部10121の原画像記憶部10131乃至クラス分類部10135それぞれと同様に構成される。

モード判定部20141には、予測タップ抽出部20133から、注目画素の位置情報が供給される。

モード判定部20141は、そこに供給される位置情報に基づいて、図７８のモード判定部20031と同様の処理を行い、その結果得られる注目画素の画素位置モードおよび領域情報を、足し込み部20136に供給する。

足し込み部20136は、原画像記憶部20131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、注目画素に対応する、教師画像の画素と、予測タップ抽出部20133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部20135から供給された水平クラスコードと、モード判定部20141から供給された画素位置モードとのセットごとに行う。

即ち、足し込み部20136には、原画像記憶部20131に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙ_k、予測タップ抽出部20133が出力する注目画素についての水平予測タップを構成する生徒画像の画素の画素値、クラス分類部20135が出力する、水平予測タップの水平クラスを表す水平クラスコード、モード判定部20141から供給された画素位置モードおよび領域情報が供給される。

そして、足し込み部20136は、クラス分類部20135から供給された水平クラスコードに対応する水平クラスと、モード判定部20141から供給された画素位置モードのセットごとに、モード判定部20141から供給された領域情報に応じて、予測タップ抽出部20133が出力する注目画素についての水平予測タップを左右反転や上下反転することにより得られる、水平予測タップ（生徒画像）を構成する画素の画素値ｘ_n,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み部20136は、やはり、クラス分類部20135から供給された水平クラスコードに対応する水平クラスと、モード判定部20141から供給された画素位置モードのセットごとに、水平予測タップ（生徒画像）ｘ_n,kと教師画像ｙ_kを用い、式（１０）の右辺のベクトルにおける生徒画像ｘ_n,kおよび教師画像ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

即ち、足し込み部20136は、前回、注目画素とされた生徒画像について求められた式（１０）における左辺の行列のコンポーネント（Σｘ_n,kｘ_n',k）と、右辺のベクトルのコンポーネント（Σｘ_n,kｙ_k）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘ_n,kｘ_n',k）またはベクトルのコンポーネント（Σｘ_n,kｙ_k）に対して、新たに注目画素とされた生徒画像について、その生徒画像ｘ_n,k+1および教師画像ｙ_k+1を用いて計算される、対応するコンポーネントｘ_n,k+1ｘ_n',k+1またはｘ_n,k+1ｙ_k+1を足し込む（式（１０）のサメーションで表される加算を行う）。

そして、足し込み部20136は、ノイズ付加部20132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、水平クラスおよび画素位置モードのセットそれぞれについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部20137に供給する。

係数算出部20137は、足し込み部20136から供給された各セットについての正規方程式を解くことにより、各セットについて、水平係数ｗ_nを求めて出力する。

次に、図８６のフローチャートを参照して、図８５の学習部20121における学習処理を説明する。

ステップＳ20121乃至ステップＳ20125において、図６５のステップＳ10121乃至ステップＳ10125と同様の処理を行い、処理は、ステップＳ20126に進む。

ステップＳ20126において、モード判定部20141は、そこに供給される位置情報に基づいて、図７８のモード判定部20031と同様の処理を行い、注目画素の画素位置モードを判定し、足し込み部20136に供給する。なお、モード判定部20141には、予測タップ抽出部20133から、注目画素の位置情報が供給される。

処理は、ステップＳ20216からステップＳ20217に進み、モード判定部20141は、そこに供給される位置情報に基づいて、図７８のモード判定部20031と同様の処理を行い、注目画素の領域情報を判定し、やはり、足し込み部20136に供給する。

処理は、ステップＳ20127からステップＳ20128に進み、足し込み部20136は、原画像記憶部20131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部20133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部20135から供給された水平クラスコードと、モード判定部20141から供給された画素位置モードのセットごとに行う。

処理は、ステップＳ20128からステップＳ20129に進み、ステップＳ20129およびステップＳ20130において、図６５のステップＳ10127およびステップＳ10128と同様の処理を行う。

ステップＳ20130では、生徒画像において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部20136においては、ノイズ付加部20132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、水平クラスおよび画素位置モードのセットそれぞれについて、式（１０）に示した正規方程式が得られた場合、足し込み部20136は、正規方程式を、係数算出部20137に供給する。そして、処理は、ステップＳ20130からステップＳ20131に進み、係数算出部20137は、足し込み部20136から供給された水平クラスおよび画素位置モードのセットそれぞれについての正規方程式を解くことにより、各セットについて、水平係数ｗ_nを求めて出力する。

その後、学習処理は終了される。

ここで、図８６のフローチャートで説明した学習処理は、ノイズ除去画像に相当する画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理であるが、この学習処理を、以下、適宜、水平タップにおける学習処理という。

なお、図８５の学習部20121において、予測タップ抽出部20133が垂直予測タップを抽出し、クラスタップ抽出部20134が垂直クラスタップを抽出して、クラス分類部20135が垂直クラス分類を行うこととすれば、図６３の学習部10121の場合と同様に、水平係数に代えて、垂直係数を求めることができる。

図８５の学習部20121において、垂直係数ｗ’_nを求める学習処理を、以下、適宜、垂直タップにおける学習処理という。

図７８の画像変換部３１では、上述した水平タップにおける学習処理により求められた水平係数と、垂直タップにおける学習処理により求められた垂直係数とを用いて画像変換処理を行うことができる。

次に、図８５の学習部20121で学習される水平係数と垂直係数のように、水平係数による水平処理効果分と、垂直係数による垂直処理効果分とが過剰となったり、相殺されることがないように、水平係数および垂直係数を学習する学習処理について説明する。

図８７は、上述した図７８の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部20151の構成例を示すブロック図である。なお、図８７には、説明の便宜上、図７８の画像変換部３１に相当する画像変換部20152も図示してある。

２段差分学習部20151は、水平タップ学習部20161、水平マッピング部20162、および垂直タップ差分学習部20163により構成される。

水平タップ学習部20161は、図８５の学習部20121と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部20162に供給する。

水平マッピング部20162は、水平タップ学習部20161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部20161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られる水平処理画像Ｈを、垂直タップ差分学習部20163に供給する。なお、水平マッピング部20162には、水平タップ学習部20161などから、MPEG復号画像が供給される。

垂直タップ差分学習部20163は、水平タップ学習部20161で教師画像として用いられる原画像と、水平マッピング部20162から供給される水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。

即ち、垂直タップ差分学習部20163は、原画像、MPEG復号画像、および水平処理画像Ｈから、後述するようにして、原画像と水平差分ｈとの差分である原画像−水平差分ｈを生成し、その原画像−水平差分ｈを教師画像とするとともに、MPEG復号画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける水平差分の差分学習処理を行う。

なお、垂直タップ差分学習部20163の、垂直タップにおける水平差分の差分学習処理は、後述する図８８を参照して、詳細に説明する。

図７８の画像変換部３１における画像変換処理では、図８７の２段差分学習部20151により求められた水平係数および垂直係数を用いることができる。

ここで、図８７において、画像変換部20152は、図７８の画像変換部３１と同様に構成される。画像変換部20152では、次のようにして、MPEG復号画像を原画像（の予測値）に変換する画像変換処理が行われる。

即ち、画像変換部20152は、水平マッピング部20162、垂直差分マッピング部20164、および加算部20165により構成される。

水平マッピング部20162は、図７９の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部20064、および水平予測演算部20101で構成される水平マッピング部20071と同様に構成される。

水平マッピング部20162は、水平タップ学習部20161での水平タップにおける学習処理により得られる水平係数を用いて、MPEG復号画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その水平処理画像Ｈを、加算部20165に供給する。

垂直差分マッピング部20164は、図７９の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部20068、垂直予測演算部20102、およびゲイン調整部20103で構成される垂直差分マッピング部20073と同様に構成される。

垂直差分マッピング部20164は、垂直タップ差分学習部20163での垂直タップにおける水平差分の差分学習処理により得られる垂直係数を用いて、MPEG復号画像を垂直差分ｖに変換する垂直差分マッピング処理を行い、その垂直差分ｖを、加算部20165に供給する。

加算部20165は、図７９の加算部20104と同様に構成され、水平マッピング部20162から供給された水平処理画像Ｈと、垂直差分マッピング部20164から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖ（＝ｈ＋ｖ＋ｘ₁）を出力する。

次に、図８８は、垂直タップにおける水平差分の差分学習処理を行う図８７の垂直タップ差分学習部20163の詳細な構成例を示すブロック図である。

即ち、図８８の垂直タップ差分学習部20163は、図８５の原画像記憶部20131乃至係数算出部20137、モード判定部20141とそれぞれ同様に構成される原画像記憶部21131乃至係数算出部21137、モード判定部21141それぞれと、図６８の差分画像生成部10233と同様に構成される差分画像生成部20233により構成される。

図８８の垂直タップ差分学習部20163では、原画像と水平差分ｈとの差分である原画像―水平差分ｈを教師画像とするとともに、MPEG復号画像を生徒画像として、垂直係数を学習することから、原画像から水平マッピング処理による水平処理効果分としての水平差分ｈを差し引いた画像に、MPEG復号画像を変換する垂直係数が求められる。

次に、図８９のフローチャートを参照して、図８７の２段差分学習部20151における２段差分学習処理を説明する。

ステップＳ20171において、水平タップ学習部20161は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部20162に供給する。

その後、処理は、ステップＳ20171からステップＳ20172に進み、水平マッピング部20162は、水平タップ学習部20161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部20161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部20163に供給する。

そして、処理は、ステップＳ20172からステップＳ20173に進み、垂直タップ差分学習部20163は、水平タップ学習部20161で教師画像として用いられる原画像と、水平マッピング部20162から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。

その後、２段差分学習処理は、終了される。

次に、図９０のフローチャートを参照して、図８９のステップＳ20173の、垂直タップにおける水平差分の差分学習処理の詳細を説明する。

ステップＳ20201乃至ステップＳ20206において、図７０のステップＳ10201乃至ステップＳ10206と同様の処理を行い、処理は、ステップＳ20207に進み、ステップＳ20207およびステップＳ20208において、図８６のステップＳ20216およびステップＳ20217と同様の処理を行う。

処理は、ステップＳ20208からステップＳ20209に進み、足し込み部21136は、図８５の学習部20121の足し込み部20136の場合と同様にして、差分画像生成部20233から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部21133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部21135から供給された垂直クラスコードと、モード判定部21141から供給された画素位置モードのセットごとに行う。

処理は、ステップＳ20209からステップＳ20210に進み、ステップＳ20210およびステップＳ20211について、図７０のステップＳ10208およびステップＳ10209と同様の処理を行う。

そして、ステップＳ20211では、生徒画像において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部21136においては、ノイズ付加部21132により生成された生徒画像の画素すべてを注目画素として、図８３の学習部20121と同様の足し込みを行うことにより、各垂直クラスについての正規方程式が得られた場合、足し込み部21136は、その正規方程式を、垂直タップ差分学習部20163の係数算出部21137に供給する。そして、ステップＳ20211からステップＳ20212に進み、係数算出部21137は、足し込み部21136から供給された各セットについての正規方程式を解くことにより、各セットについて、垂直係数ｗ’_nを求めて出力する。

その後、処理は、図８９のステップＳ20173にリターンする。

次に、図９１は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部20271の構成例を示すブロック図である。

２段反復学習部20271は、図８７の２段差分学習部20151の水平タップ学習部20161乃至垂直タップ差分学習部20163それぞれと同様に構成される水平タップ学習部21161乃至垂直タップ差分学習部21163と、垂直マッピング部20284、および水平タップ差分学習部20285とから構成される。

垂直マッピング部20284は、水平タップ学習部21161で生徒画像として用いられるMPEG復号画像と、垂直タップ差分学習部21163から供給された垂直係数を用いて、MPEG復号画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部20285に供給する。

水平タップ差分学習部20285は、水平タップ学習部21161で教師画像として用いられる原画像と、垂直マッピング部20284から供給された垂直処理画像Ｖとを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部21162に供給する。

即ち、水平タップ差分学習部20285は、原画像、MPEG復号画像、および垂直処理画像Ｖから、後述するようにして、原画像と垂直差分ｖとの差分である原画像−垂直差分ｖを生成し、その原画像−垂直差分ｖを教師画像とするとともに、MPEG復号画像を生徒画像として、水平予測タップ及び水平クラスタップを用いて、水平係数を学習する、水平タップにおける垂直差分の差分学習処理を行う。

なお、水平タップ差分学習部20285の、水平タップにおける垂直差分の差分学習処理は、後述する図９２を参照して、詳細に説明する。

図９２は、水平タップにおける垂直差分の差分学習処理を行う図９１の水平タップ差分学習部20285の詳細な構成例を示すブロック図である。

水平タップ差分学習部20285は、図８８の垂直タップ差分学習部20163の原画像記憶部21131乃至係数算出部21137とそれぞれ同様に構成される原画像22131乃至係数算出部22137、および図７２の差分画像生成部10293と同様に構成される差分画像生成部20293から構成される。

モード判定部22141には、水平予測タップ抽出部22133から、生徒画像における注目画素の位置情報が供給される。

モード判定部22141は、図７８のモード判定部20031と同様にして、水平予測タップ抽出部22133からの位置情報に基づいて、注目画素の画素位置モードおよび領域情報を得て、足し込み部22136に供給する。

以上のように構成される水平タップ差分学習部20285では、原画像と垂直差分ｖとの差分である原画像―垂直差分ｖを教師画像とするとともに、MPEG復号画像を生徒画像として、水平係数を学習することから、原画像から垂直マッピング処理による垂直処理効果分としての垂直差分ｖを差し引いた画像に、MPEG復号画像を変換する水平係数が求められる。

次に、図９３のフローチャートを参照して、図９１の２段反復学習部20271における２段反復学習処理を説明する。

ステップＳ20241において、水平タップ学習部21161は、原画像を教師画像とするとともに、その原画像をMPEG符号化し、MPEG復号したMPEG復号画像を生徒画像として、水平タップにおける学習処理を行い、その結果得られた水平係数を、水平マッピング部21162に供給して、処理は、ステップＳ20242に進む。

ステップＳ20242において、水平マッピング部21162および垂直タップ差分学習部21163により、垂直係数が生成される。

即ち、ステップＳ20242では、ステップＳ20251とステップＳ20252の処理が行われる。

ステップＳ20251では、水平マッピング部21162は、水平タップ学習部21161で生徒画像として用いられるMPEG復号画像と、水平タップ学習部21161から供給される水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部21163に供給して、処理は、ステップＳ20252に進む。

ステップＳ20252において、垂直タップ差分学習部21163は、水平タップ学習部21161で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および水平マッピング部21162から供給された水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を生成する。

また、ステップＳ20252において、垂直タップ差分学習部21163は、生成した垂直係数を、垂直マッピング部20284に供給する。

ステップＳ20251およびステップＳ20252の処理、つまり、ステップＳ20242の処理が終了すると、処理は、ステップＳ20242からステップＳ20243に進み、垂直マッピング部20284および水平タップ差分学習部20285により、水平係数が生成される。

即ち、ステップＳ20243では、ステップＳ20261とステップＳ20262の処理が行われる。

ステップＳ20261において、垂直マッピング部20284は、水平タップ学習部21161で生徒画像として用いられるMPEG復号画像と、垂直タップ差分学習部21163から供給された垂直係数とを用いて垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部20285に供給して、処理は、ステップＳ20262に進む。

ステップＳ20262において、水平タップ差分学習部20285は、水平タップ学習部21161で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直マッピング部20284から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を生成する。

また、ステップＳ20262において、水平タップ差分学習部20285は、生成した水平係数を、水平マッピング部21162に供給する。

ステップＳ20261およびステップＳ20262の処理、つまり、ステップＳ20243の処理が終了すると、処理は、ステップＳ20243からステップＳ20242に戻り、水平マッピング部21162および垂直タップ差分学習部21163により、前回、水平タップ差分学習部20285により生成された水平係数に基づいて、垂直係数が生成され、以下、同様の処理が繰り返される。

即ち、ステップＳ20242のステップＳ20251では、水平マッピング部21162は、水平タップ学習部21161で生徒画像として用いられるMPEG復号画像と、水平タップ差分学習部20285から供給された水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部21163に供給して、処理は、ステップＳ20252に進み、以下、同様の処理を繰り返す。

なお、図９３の２段反復学習処理では、図１６の２段反復学習処理の場合と同様のタイミングで終了することができる。

次に、図９４のフローチャートを参照して、図９３のステップＳ20262の、水平タップにおける垂直差分の差分学習処理を詳細に説明する。

ステップＳ20271乃至ステップＳ20276において、図７２のステップＳ10271乃至ステップＳ10276と同様の処理を行い、処理は、ステップＳ20277に進み、ステップＳ20277およびステップＳ20278において、図８６のステップＳ20216およびステップＳ20217と同様の処理を行う。

処理は、ステップＳ20278からステップＳ20279に進み、足し込み部22136は、図８５の学習部20121の足し込み部20136の場合と同様にして、差分画像生成部20293から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部22133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、水平クラス分類部22135から供給された水平クラスコードと、モード判定部22141から供給された画素位置モードのセットごとに行う。

その後、処理は、ステップＳ20279からステップＳ20280に進み、ステップＳ20280およびステップＳ20281において、図７４のステップＳ10278およびステップＳ10279と同様の処理を行う。

なお、ステップＳ20281では、生徒画像において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部22136においては、ノイズ付加部22132により生成された生徒画像の画素すべてを注目画素として、図８５の学習部20121の場合と同様の足し込みを行うことにより、水平クラスと画素位置モードのセットそれぞれについての正規方程式が得られた場合、足し込み部22136は、その正規方程式を、係数算出部22137に供給する。そして、処理は、ステップＳ20281からステップＳ20282に進み、係数算出部22137は、足し込み部22136から供給された各セットについての正規方程式を解くことにより、各セットについて、水平係数ｗ_nを求めて出力する。

その後、処理は、図９３のステップＳ20262にリターンする。

図９５は、２段差分学習部20301の構成例を示すブロック図である。なお、図９５には、説明の便宜上、図７８の画像変換部３１に相当する画像変換部20302も図示してある。

２段差分学習部20301は、垂直タップ学習部20311、垂直マッピング部20312、および水平タップ差分学習部20313により構成される。

垂直タップ学習部20311は、図８５の学習部20121と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部20312に供給する。

垂直マッピング部20312は、垂直タップ学習部20311で生徒画像として用いられるMPEG復号画像（に相当する画像）と、垂直タップ学習部20311から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られる垂直処理画像Ｖを、水平タップ差分学習部20313に供給する。なお、垂直マッピング部20312には、垂直タップ学習部20311などから、MPEG復号画像が供給される。

水平タップ差分学習部20313は、垂直タップ学習部20311で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直マッピング部20312から供給される垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を学習する。

２段差分学習部20301の垂直タップ学習部20311で求められた垂直係数と、水平タップ差分学習部20313で求められた水平係数とは、図７８の画像変換部３１に相当する画像変換部20302での画像変換処理に用いられる。

即ち、画像変換部20302は、垂直マッピング部20312、水平差分マッピング部20314、および加算部20315により構成される。

具体的には、垂直マッピング部20312は、図７９の垂直予測タップ抽出部10065、垂直クラスタップ抽出部10066、垂直クラス分類部10067、垂直係数記憶部20068、および垂直予測演算部20102で構成される垂直マッピング部20072と同様に構成される。

垂直マッピング部20312は、垂直タップ学習部20311での垂直タップにおける学習処理により得られる垂直係数を用いて、MPEG復号画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その垂直処理画像Ｖを、加算部20315に供給する。

水平差分マッピング部20314は、図８４の水平予測タップ抽出部10061、水平クラスタップ抽出部10062、水平クラス分類部10063、水平係数記憶部20064、水平予測演算部20101、およびゲイン調整部20112で構成される水平差分マッピング部20111と同様に構成される。

水平差分マッピング部20314は、水平タップ差分学習部20313での水平タップにおける垂直差分の差分学習処理により得られる水平係数を用いて、MPEG復号画像を水平差分ｈに変換する水平差分マッピング処理を行い、その水平差分ｈを、加算部20315に供給する。

加算部20315は、図７９の加算部20104と同様に構成され、垂直マッピング部20312から供給された垂直処理画像Ｖと、水平差分マッピング部20314から供給された水平差分ｈとを加算し、その結果得られた垂直水平処理画像Ｖ＋ｈを出力する。

図９６は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部20331の構成例を示すブロック図である。

２段反復学習部20331は、図９５の垂直タップ学習部20311乃至水平タップ差分学習部20313それぞれと同様に構成される垂直タップ学習部21311乃至水平タップ差分学習部21313それぞれと、水平マッピング部20324、および垂直タップ差分学習部20325により構成される。

水平マッピング部20324には、水平タップ差分学習部21313から、水平係数が供給される。

水平マッピング部20324は、垂直タップ学習部21311で生徒画像として用いられるMPEG復号画像と、水平タップ差分学習部21313から供給された水平係数とを用いて、MPEG復号画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部20325に供給する。

垂直タップ差分学習部20325は、垂直タップ学習部21311で生徒画像として用いられるMPEG復号画像の画素値ｘ₁を、水平マッピング部20324から供給された水平処理画像Ｈ＝ｈ＋ｘ₁から差し引くことで、水平差分ｈを生成する。

また、垂直タップ差分学習部20325は、垂直タップ学習部21311で教師画像として用いられる原画像から、生成した水平差分ｈを差し引くことで得られる画像である原画像―水平差分ｈを教師画像とするとともに、垂直タップ学習部21311で生徒画像として用いられるMPEG復号画像を生徒画像として、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直マッピング部21312に供給する。

垂直タップ差分学習部20325により垂直係数が求められると、以降、垂直マッピング部21312は、垂直タップ学習部21311で生徒画像として用いられるMPEG復号画像（に相当する画像）と、垂直タップ差分学習部20325から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部21313に供給する。

図９７は、図１の画像変換部３１の第８の構成例を示すブロック図である。

図９７の画像変換部３１は、モード判定部30031、30032、30033、水平予測タップ抽出部30061、水平クラスタップ抽出部30062、水平クラス分類部30063、水平係数記憶部30064、垂直予測タップ抽出部30065、垂直クラスタップ抽出部30066、垂直クラス分類部30067、垂直係数記憶部30068、斜め予測タップ抽出部30431、斜めクラスタップ抽出部30432、斜めクラス分類部30433、斜め係数記憶部30434、および予測演算部30435により構成される。

なお、水平予測タップ抽出部30061、垂直予測タップ抽出部30065、モード判定部30031，30032それぞれは、図７８の水平予測タップ抽出部10061、垂直予測タップ抽出部10065、モード判定部10031，10032それぞれと同様に構成される。

水平クラスタップ抽出部30062は、水平クラスタップを、供給されてくるMPEG復号画像から抽出する。

即ち、水平クラスタップ抽出部30062は、図７８の水平差分クラスタップ抽出部10062a、垂直差分クラスタップ抽出部10062b、ブロック抽出部10062cそれぞれと同様に構成される水平差分クラスタップ抽出部30062a、垂直差分クラスタップ抽出部30062b、ブロック抽出部30062dそれぞれと、斜め差分クラスタップ抽出部30062cにより構成される。

水平クラスタップ抽出部30062の斜め差分クラスタップ抽出部30062cは、例えば、注目画素と、その注目画素の斜め方向に位置する複数の画素である５画素の斜め方向のタップ４２３（図２５）を、斜め予測タップ抽出部30431が抽出する斜め予測タップのクラスを表すクラスコードの一部である斜め差分クラスコードを生成するのに用いる複数の画素である斜め差分クラスタップとして、供給されてくるMPEG復号画像から抽出する。

水平クラスタップ抽出部30062において得られる、水平予測タップに対応する水平クラスタップは、水平クラス分類部30063に供給される。水平クラス分類部30063は、水平クラスタップ抽出部30062からの水平クラスタップに基づいて水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部30064に出力する。

水平係数記憶部30064は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットを記憶しており、その記憶している水平係数のセットのうちの、水平クラス分類部30063から供給された水平クラスコードに対応するアドレスに記憶されている水平係数（水平クラス分類部30063から供給された水平クラスコードが表す水平クラスに対応する水平係数）を、予測演算部30435に出力する。

垂直クラスタップ抽出部30066は、垂直クラスタップを、供給されてくるMPEG復号画像から抽出する。なお、垂直クラスタップ抽出部30066は、上述した水平クラスタップ抽出部30062の水平差分クラスタップ抽出部30062a、垂直差分クラスタップ抽出部30062b、斜め差分クラスタップ抽出部30062c、ブロック抽出部30062dそれぞれと同様に構成される水平差分クラスタップ抽出部30066a、垂直差分クラスタップ抽出部30066b、斜め差分クラスタップ抽出部30066c、ブロック抽出部30066dにより構成される。

垂直クラスタップ抽出部30066において得られる、垂直予測タップに対応する垂直クラスタップは、垂直クラス分類部30067に供給される。垂直クラス分類部30067は、垂直クラスタップ抽出部30066からの垂直クラスタップに基づいて垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部30068に出力する。

垂直係数記憶部30068は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットを記憶しており、その記憶している水平係数のセットのうちの、垂直クラス分類部30067から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数（垂直クラス分類部30067から供給された垂直クラスコードが表す垂直クラスに対応する垂直係数）を、予測演算部30435に出力する。

斜めクラスタップ抽出部30432は、斜めクラスタップを、供給されてくるMPEG復号画像から抽出する。なお、斜めクラスタップ抽出部30432は、上述した水平クラスタップ抽出部30062の水平差分クラスタップ抽出部30062a、垂直差分クラスタップ抽出部30062b、斜め差分クラスタップ抽出部30062c、ブロック抽出部30062dそれぞれと同様に構成される水平差分クラスタップ抽出部30432a、垂直差分クラスタップ抽出部30432b、斜め差分クラスタップ抽出部30432c、ブロック抽出部30432dにより構成される。

斜めクラスタップ抽出部30432において得られる、斜め予測タップに対応する斜めクラスタップは、斜めクラス分類部30433に供給される。斜めクラス分類部30433は、斜めクラスタップ抽出部30432からの斜めクラスタップに基づいて斜め予測タップを斜めクラス分類し、その結果得られた斜めクラスに対応する斜めクラスコードを、斜め係数記憶部30434に出力する。

斜め係数記憶部30434は、後述する学習によってあらかじめ求められた斜めクラスごとの斜め係数のセットを記憶しており、その記憶している斜め係数のセットのうちの、斜めクラス分類部30433から供給された斜めクラスコードに対応するアドレスに記憶されている斜め係数（斜めクラス分類部30433から供給された斜めクラスコードが表す斜めクラスに対応する斜め係数）を、予測演算部30435に出力する。

予測演算部30069は、水平予測タップ抽出部30061から供給された水平予測タップ、垂直予測タップ抽出部30065から供給された垂直予測タップ、水平係数記憶部30064から供給された水平係数、垂直係数記憶部30068から供給された垂直係数、斜め予測タップ抽出部30431から供給された斜め予測タップ、斜め係数記憶部30434から供給された斜め係数、およびモード判定部30031乃至30033から供給された注目画素の画素位置モードおよび領域情報に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。

図９８は、図９７の水平クラス分類部30063の詳細な構成例を示すブロック図である。

水平クラス分類部30063は、図４９の差分絶対値算出部11011乃至垂直差分クラスコード生成部11016それぞれと同様に構成される差分絶対値算出部31011乃至垂直差分クラスコード生成部31016それぞれと、斜め差分クラスコード生成部31017、垂直斜め差分ゼロクラスコード生成部31018、および水平クラスコード出力部31019により構成される。

斜め差分クラスコード生成部31017には、斜め差分クラスコードの生成に用いる閾値が、閾値選択部31014から供給される。

即ち、図５１左下側で示されるように、閾値選択部31014において、そこに供給される水平エッジ検出フラグと垂直エッジ検出フラグがともに０であると判定された場合、閾値Th_hとTh_vのうちの、値の小さいほうの閾値が選択され、水平差分クラスコード生成部31015乃至斜め差分クラスコード生成部31017に供給される。

また、閾値選択部31014において、そこに供給される水平エッジ検出フラグが１であり垂直エッジ検出フラグが０であると判定された場合、供給されてくる閾値Th_hとTh_vから閾値Th_hが選択され、水平差分クラスコード生成部31015乃至斜め差分クラスコード生成部31017に供給される。

さらに、閾値選択部31014において、そこに供給される水平エッジ検出フラグが０であり垂直エッジ検出フラグが１であると判定された場合、供給されてくる閾値Th_hとTh_vから閾値Th_vが選択され、水平差分クラスコード生成部31015乃至斜め差分クラスコード生成部31017に供給される。

また、閾値選択部31014において、そこに供給される水平エッジ検出フラグと垂直エッジ検出フラグがともに１であると判定された場合、供給されてくる閾値Th_hとTh_vから閾値Th_hが選択され、水平差分クラスコード生成部11015に供給されるとともに、供給されてくる閾値Th_hとTh_vから閾値Th_vが選択され、垂直差分クラスコード生成部11016に供給され、さらに、供給されてくる閾値Th_hとTh_vのうちの、値の大きいほうの閾値が選択され、斜め差分クラスコード生成部31017に供給される。

また、斜め差分クラスコード生成部31017には、斜め差分クラスタップ抽出部30062cから、斜め差分クラスタップが供給される。

斜め差分クラスコード生成部31017は、そこに供給される斜め差分クラスタップと、閾値選択部31014から供給される閾値を用いて、斜め予測タップのクラスを表すクラスコードの一部である斜め差分クラスコードを生成し、垂直斜め差分ゼロクラスコード生成部31018に出力する。なお、斜め方向のタップ４２３としての斜め差分クラスタップにおいては、注目画素と、その注目画素の斜め方向に隣接する画素とで画素間差分をとることで、斜め差分クラスコードを生成することができる。

垂直斜め差分ゼロクラスコード生成部31018には、垂直差分クラスコード生成部31016から、垂直差分クラスコードが供給される。

垂直斜め差分ゼロクラスコード生成部31018は、斜め差分クラスコード生成部31017から供給される斜め差分クラスコードを構成するすべてのビットと、垂直差分クラスコード生成部31016から供給される垂直差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた１ビットを、垂直斜め差分ゼロクラスコードとして設定し、水平クラスコード出力部31019に供給する。

即ち、例えば、垂直斜め差分ゼロクラスコード生成部31018は、０と１とのビット列で表される、垂直差分クラスコードと斜め差分クラスコードが、すべて０で構成されるビット列であると判定した場合、垂直斜め差分ゼロクラスコードを０に設定し、１を含むビット列であると判定した場合、垂直斜め差分ゼロクラスコードを１に設定して、水平クラスコード出力部31019に供給する。

水平クラスコード出力部31019は、フィールドフラグ抽出部31012から供給されるフィールドフラグ、ノイズ検出フラグ判定部31013から供給されるノイズ検出フラグ、垂直斜め差分ゼロクラスコード生成部31018から供給される垂直斜め差分ゼロクラスコード、および水平差分クラスコード生成部31015から供給される水平差分クラスコードの両端の１ビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、水平係数記憶部30064に出力する。

なお、水平クラスコード出力部31019は、水平差分クラスコード生成部31015から供給される水平差分クラスコードの両端の１ビットを削除することで得られるコードではなく、水平差分クラスコードそのものを、水平クラスコードの一部とすることができる。

図９９は、図９８の水平クラスコード出力部31019が出力する水平クラスコードを示す図である。

水平クラスコード出力部31019は、フィールドフラグ抽出部31012から供給されるフィールドフラグ、ノイズ検出フラグ判定部31013から供給されるノイズ検出フラグ、垂直斜め差分ゼロクラスコード生成部31018から供給される垂直斜め差分ゼロクラスコード、および水平差分クラスコード生成部31015から供給される水平差分クラスコードの両端の１ビットそれぞれを削除したコードを、図に示すように、左から右に並べ、その結果得られるコードを、水平クラスコードとして出力する。

図１００は、図９７の垂直クラス分類部30067の詳細な構成例を示すブロック図である。

垂直クラス分類部30067は、図９８の差分絶対値算出部31011乃至閾値選択部31014それぞれと同様に構成される差分絶対値算出部31031乃至閾値選択部31034それぞれと、図９８の垂直差分クラスコード生成部31016、水平差分クラスコード生成部31015、斜め差分クラスコード生成部31017それぞれと同様に構成される垂直差分クラスコード生成部31035、水平差分クラスコード生成部31036、斜め差分クラスコード生成部31037それぞれと、水平斜め差分ゼロクラスコード生成部310138と、垂直クラスコード出力部31039により構成される。

水平斜め差分ゼロクラスコード生成部31038には、水平差分クラスコード生成部31036から水平差分クラスコードが、斜め差分クラスコード生成部31037から斜め差分クラスコードが、それぞれ、供給される。

水平斜め差分ゼロクラスコード生成部31038は、水平差分クラスコード生成部31036から供給される水平差分クラスコードを構成するすべてのビットと、斜め差分クラスコード生成部31037から供給される斜め差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた値を、水平斜め差分ゼロクラスコードとして、垂直クラスコード出力部31039に供給する。

垂直クラスコード出力部31039は、フィールドフラグ抽出部31032から供給されるフィールドフラグ、ノイズ検出フラグ判定部31033から供給されるノイズ検出フラグ、水平斜め差分ゼロクラスコード生成部31038から供給される水平斜め差分ゼロクラスコード、および垂直差分クラスコード生成部31035から供給される垂直差分クラスコードの両端の１ビットを削除することで得られるコードを、この順番で左から右に並べて、垂直クラスコードとして、垂直係数記憶部30068に出力する。

なお、垂直クラスコード出力部31038は、垂直差分クラスコード生成部31035から供給される垂直差分クラスコードの両端の１ビットを削除することで得られるコードではなく、垂直差分クラスコードそのものを、垂直クラスコードの一部とすることができる。

図１０１は、図１００の垂直クラスコード出力部31039が出力する垂直クラスコードを示す図である。

垂直クラスコード出力部31039は、フィールドフラグ抽出部31032から供給されるフィールドフラグ、ノイズ検出フラグ判定部31033から供給されるノイズ検出フラグ、水平斜め差分ゼロクラスコード生成部31038から供給される水平斜め差分ゼロクラスコード、および垂直差分クラスコード生成部31035から供給される垂直差分クラスコードの両端の１ビットそれぞれを削除したコードを、図に示すように、左から右に並べ、その結果得られるコードを、垂直クラスコードとして出力する。

図１０２は、図９７の斜めクラス分類部30433の詳細な構成例を示すブロック図である。

斜めクラス分類部30067は、図９８の差分絶対値算出部31011乃至閾値選択部31014それぞれと同様に構成される差分絶対値算出部31041乃至閾値選択部31044それぞれと、図９８の斜め差分クラスコード生成部31017、水平差分クラスコード生成部31015、垂直差分クラスコード生成部31016それぞれと同様に構成される斜め差分クラスコード生成部31045、水平差分クラスコード生成部31046、垂直差分クラスコード生成部31047それぞれと、水平垂直差分ゼロクラスコード生成部31048と、斜めクラスコード出力部31049により構成される。

水平垂直差分ゼロクラスコード生成部31048には、水平差分クラスコード生成部31046から水平差分クラスコードが、垂直差分クラスコード生成部31047から垂直差分クラスコードが、それぞれ、供給される。

水平垂直差分ゼロクラスコード生成部31048は、水平差分クラスコード生成部31046から供給される水平差分クラスコードを構成するすべてのビットと、垂直差分クラスコード生成部31047から供給される垂直差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた値を、水平垂直差分ゼロクラスコードとして、斜めクラスコード出力部31049に供給する。

斜めクラスコード出力部31049は、フィールドフラグ抽出部31042から供給されるフィールドフラグ、ノイズ検出フラグ判定部31043から供給されるノイズ検出フラグ、水平垂直差分ゼロクラスコード生成部31048から供給される水平垂直差分ゼロクラスコード、および斜め差分クラスコード生成部31045から供給される斜め差分クラスコードを、この順番で左から右に並べて、斜めクラスコードとして、斜め係数記憶部30434に出力する。

図１０３は、図１０２の斜めクラスコード出力部31049が出力する斜めクラスコードを示す図である。

斜めクラスコード出力部31049は、フィールドフラグ抽出部31042から供給されるフィールドフラグ、ノイズ検出フラグ判定部31043から供給されるノイズ検出フラグ、水平垂直差分ゼロクラスコード生成部31048から供給される水平垂直差分ゼロクラスコード、および斜め差分クラスコード生成部31045から供給される斜め差分クラスコードを、図に示すように、左から右に並べ、その結果得られるコードを、斜めクラスコードとして出力する。

図１０４は、図９７の予測演算部30435の詳細な構成例を示すブロック図である。

図１０４の予測演算部30435は、図７９の水平予測演算部20101乃至加算部20104それぞれと同様に構成される水平予測演算部30101乃至加算部30104と、斜め予測演算部30461、ゲイン調整部30462、および加算部30463により構成される。

斜め予測演算部30461には、斜め係数記憶部30434から複数の斜め係数、斜め予測タップ抽出部30431から斜め予測タップ、さらには、モード判定部30033から注目画素の画素位置モードおよび領域情報が供給される。

斜め予測演算部30461は、斜め係数記憶部30434から供給された複数の斜め係数の中から、モード判定部30033から供給された注目画素の画素位置モードに対応する斜め係数を取得する。

また、斜め予測演算部30461は、取得した斜め係数と、斜め予測タップ抽出部30431からの斜め予測タップｘ’’_nとを用いて、モード判定部30033からの注目画素の領域情報に対応した斜め予測演算を行い、その結果得られた斜め画素の画素値Ｒを、ゲイン調整部30462に供給する。

ゲイン調整部30462には、斜め予測タップ抽出部30431から、注目画素の画素値ｘ₁が供給される。

ゲイン調整部30462は、斜め予測演算部30461から供給された画素値Ｒから、斜め予測タップ抽出部30431から供給された注目画素の画素値ｘ₁を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である斜め差分ｒを加算部30463に供給する。

なお、加算部30463には、加算部30104から、画素値Ｈ＋ｖが供給される。

加算部30463は、加算部30104から供給された画素値Ｈ＋ｖと、ゲイン調整部30462から供給された斜め差分ｒとを加算し、その結果得られた画素値Ｈ＋ｖ＋ｒを、ノイズ除去画像を予測した画素値ｙとして出力する。

なお、図１０５乃至図１４３を参照して説明する本実施の形態においては、図１乃至図９６を参照して説明してきた本実施の形態の説明において用いてきた用語を、説明の都合上、以下、適宜、定義し直すことをしている。

ここで、図１０４の水平予測タップ抽出部30061、水平クラスタップ抽出部30062、水平クラス分類部30063、水平係数記憶部30064、水平予測演算部30101、およびモード判定部30031を総称して水平マッピング部30071といい、その水平マッピング部30071が、水平係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、水平画素の画素値Ｈに変換する処理を、以下、適宜、水平マッピング処理という。

さらに、図１０４の垂直予測タップ抽出部30065、垂直クラスタップ抽出部30066、垂直クラス分類部30067、垂直係数記憶部30068、垂直予測演算部30102、およびモード判定部30032を総称して垂直マッピング部30072といい、その垂直マッピング部30072が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、垂直画素の画素値Ｖに変換する処理を、以下、適宜、垂直マッピング処理という。

また、図１０４の垂直予測タップ抽出部30065、垂直クラスタップ抽出部30066、垂直クラス分類部30067、垂直係数記憶部30068、垂直予測演算部30102、ゲイン調整部30103、およびモード判定部30032を総称して垂直差分マッピング部30073といい、その垂直差分マッピング部30073が、垂直係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、垂直差分ｖに変換する処理を、以下、適宜、垂直差分マッピング処理という。

さらに、図１０４の斜め予測タップ抽出部30431、斜めクラスタップ抽出部30432、斜めクラス分類部30433、斜め係数記憶部30434、斜め予測演算部30461、およびモード判定部30033を総称して斜めマッピング部30471といい、その斜めマッピング部30471が、斜め係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、斜め画素の画素値Ｒに変換する処理を、以下、適宜、斜めマッピング処理という。

また、図１０４の斜め予測タップ抽出部30431、斜めクラスタップ抽出部30432、斜めクラス分類部30433、斜め係数記憶部30434、斜め予測演算部30461、ゲイン調整部30462、およびモード判定部30033を総称して斜め差分マッピング部30472といい、その斜め差分マッピング部30472が、斜め係数を用いて、順次、注目画素とされるMPEG復号画素の画素値ｘ₁を、斜め差分ｒに変換する処理を、以下、適宜、斜め差分マッピング処理という。

次に、図１０５のフローチャートを参照して、図９７の画像変換部３１における画像変換処理を説明する。

この画像変換処理は、例えば、MPEG-2などにより、８×８画素のブロック単位でMPEG符号化されたMPEG符号化画像が、チューナで受信される放送番組の画像や、記録媒体から再生される画像として供給されたときに開始される。このとき、MPEG符号化画像は、図示せぬデコーダによりMPEG復号され、MPEG復号画像として、水平予測タップ抽出部30061、水平クラスタップ抽出部30062、垂直予測タップ抽出部30065、垂直クラスタップ抽出部30066、斜め予測タップ抽出部30431、および斜めクラスタップ抽出部30432に供給される。

ステップＳ30311において、水平マッピング部30071の水平予測タップ抽出部30061は、そこに供給されたMPEG復号画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックに含まれる画素を、順次、注目画素として、処理は、ステップＳ30312に進む。

ステップＳ30312において、水平マッピング部30071は、注目画素について水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、加算部30104に供給して、処理は、ステップＳ30313に進み、垂直差分マッピング部30073は、注目画素について垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部30104に供給して、処理は、ステップＳ30314に進む。

ステップＳ30314において、加算部30104は、水平マッピング部30071からの水平処理画像Ｈと、垂直差分マッピング部30073からの垂直差分ｖとを加算し、画素値Ｈ＋ｖを得て、加算部30463に供給する。

その後、処理は、ステップＳ30314からステップＳ30315に進み、斜め差分マッピング部30472（図１０４）は、注目画素について斜め差分マッピング処理を行い、その結果得られた斜め差分ｒを、加算部30463に供給して、処理は、ステップＳ30316に進む。

ステップＳ30316において、加算部30463は、加算部30104からの水平垂直処理画像Ｈ＋ｖと、斜め差分マッピング部30472からの斜め差分ｒとを加算し、注目画素に対応する、ノイズ除去画像の画素値ｙ＝Ｈ＋ｖ＋ｒを得て出力する。

その後、ステップＳ30316からステップＳ30317に進み、水平マッピング部30071の水平予測タップ抽出部30061は、注目ブロックの画素すべてを、注目画素としたか否かを判定する。

ステップＳ30317において、注目ブロックの画素すべてを、注目画素としていないと判定された場合、処理は、ステップＳ30311に戻り、水平マッピング部30071の水平予測タップ抽出部30061は、まだ注目画素とされていない注目ブロックの画素のうちの１つを、新たな注目画素とし、処理は、ステップＳ30312に進み、以下、同様の処理を繰り返す。

ステップＳ30317において、注目ブロックの画素すべてを、注目画素としたと判定された場合、処理は、ステップＳ30318に進み、水平マッピング部30071の水平予測タップ抽出部30061は、MPEG復号画像の８×８画素のブロックすべてを注目ブロックとしたか否かを判定する。

ステップＳ30318において、MPEG復号画像の８×８画素のブロックすべてを注目ブロックとしていないと判定された場合、処理は、ステップＳ30311に戻り、水平マッピング部30071の水平予測タップ抽出部30061は、まだ注目ブロックとされていないMPEG復号画像の８×８画素のブロックのうちの１つを、新たな注目ブロックとし、注目ブロックの画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30312に進み、以下、同様の処理を繰り返す。

一方、ステップＳ30318において、MPEG復号画像の８×８画素のブロックすべてを注目ブロックとしたと判定された場合、画像変換処理は終了される。

次に、図１０６のフローチャートを参照して、図１０５のステップＳ30312における水平マッピング処理の詳細を説明する。

ステップＳ30061において、水平マッピング部30071の水平予測タップ抽出部30061は、図８２のステップＳ20061と同様の処理を行い、処理は、ステップＳ30062に進み、水平マッピング部30071の水平クラスタップ抽出部30062は、水平クラスタップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素のタップ、注目画素を中心として垂直方向に並ぶ９画素のタップ、注目画素と、注目画素の周りに位置する５画素のタップ、および注目ブロックに含まれる画素すべてを、供給されてくるMPEG復号画像から抽出し、水平クラス分類部30063に供給する。

処理は、ステップＳ30062からステップＳ30063に進み、水平マッピング部30071の水平クラス分類部30063は、水平クラスタップ抽出部30062からの水平クラスタップに基づき、水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部30064に出力する。

処理は、ステップＳ30063からステップＳ30064に進み、ステップＳ30064乃至ステップＳ30067において、図８２のステップＳ20064乃至ステップＳ20067と同様の処理を行う。その後、処理は、図１０５のステップＳ30312にリターンして、その後の処理を行う。

次に、図１０７のフローチャートを参照して、図１０６のステップＳ30063の水平クラス分類における処理の詳細を説明する。

ステップＳ30071において、差分絶対値算出部31011は、そこに供給される注目ブロックを構成する水平方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分と、注目ブロックを構成する垂直方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。

ステップＳ30071の処理後、処理は、ステップＳ30072に進み、差分絶対値算出部31011は、求めた水平画素間差分と垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコード、斜め差分クラスコードの生成に用いる閾値Th_hやTh_vを算出するとともに、水平エッジ検出フラグと垂直エッジ検出フラグを設定する。

そして、差分絶対値算出部31011は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ判定部31013に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部31014に供給する。

また、閾値選択部31014は、差分絶対値算出部31011から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部31011から供給される閾値Th_hとTh_vから、水平差分クラスコードの生成に用いる閾値、垂直差分クラスコードの生成に用いる閾値、および斜め差分クラスコードの生成に用いる閾値を選択し、水平差分クラスコードの生成に用いる閾値を、水平差分クラスコード生成部31015に供給し、垂直差分クラスコードの生成に用いる閾値を、垂直差分クラスコード生成部31016に供給するとともに、斜め差分クラスコードの生成に用いる閾値を、斜め差分クラスコード生成部31017に供給する。

その後、処理は、ステップＳ30072からステップＳ30073に進み、水平差分クラスコード生成部31015は、水平差分クラスタップ抽出部30062aから供給される水平差分クラスタップと、閾値選択部31014から供給される閾値を用いて、水平予測タップのクラスを表すクラスコードの一部である水平差分クラスコードを生成し、水平クラスコード出力部31019に出力する。

処理は、ステップＳ30073からステップＳ30074に進み、垂直差分クラスコード生成部31016は、垂直差分クラスタップ抽出部30062bから供給される垂直差分クラスタップと、閾値選択部31014から供給される閾値を用いて、垂直予測タップのクラスを表すクラスコードの一部である垂直差分クラスコードを生成し、垂直差分ゼロクラスコード生成部31018に出力する。

また、ステップＳ30074において、斜め差分クラスコード生成部31017は、斜め差分クラスタップ抽出部30062cから供給される斜め差分クラスタップと、閾値選択部31014から供給される閾値を用いて、斜め予測タップのクラスを表すクラスコードの一部である斜め差分クラスコードを生成し、垂直斜め差分ゼロクラスコード生成部31018に出力する。

さらに、ステップＳ30074において、垂直斜め差分ゼロクラスコード生成部31018は、垂直差分クラスコード生成部31016から供給される垂直差分クラスコードを構成するすべてのビットと、斜め差分クラスコード生成部31017から供給される斜め差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた値を、垂直斜め差分ゼロクラスコードとして設定し、水平クラスコード出力部31019に供給する。

処理は、ステップＳ30074からステップＳ30075に進み、フィールドフラグ抽出部31012は、ブロック抽出部30062dから供給される注目ブロックから、フィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定し、水平クラスコード出力部31019に供給する。

処理は、ステップＳ30075からステップＳ30076に進み、ノイズ検出フラグ判定部31013は、差分絶対値算出部31011から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、ノイズ検出フラグを設定し、水平クラスコード出力部31019に供給する。

処理は、ステップＳ30076からステップＳ30077に進み、水平クラスコード出力部31019は、フィールドフラグ抽出部31012から供給されるフィールドフラグ、ノイズ検出フラグ判定部31013から供給されるノイズ検出フラグ、垂直斜め差分ゼロクラスコード生成部31018から供給される垂直斜め差分ゼロクラスコード、水平差分クラスコード生成部31015から供給される水平差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、水平係数記憶部30064に出力する。

その後、処理は、図１０６のステップＳ30063にリターンする。

次に、図１０８のフローチャートを参照して、図１０５におけるステップＳ30313の垂直差分マッピング処理を詳細に説明する。

ステップＳ30091において、垂直差分マッピング部30073の垂直予測タップ抽出部30065は、垂直予測タップ、即ち、例えば、注目画素を中心として垂直方向に並ぶ９画素である垂直方向のタップ４２を、供給されてくるMPEG復号画像から抽出し、予測演算部30435（図１０４の垂直予測演算部30102）に供給する。

処理は、ステップＳ30091からステップＳ30092に進み、垂直差分マッピング部30073の垂直クラスタップ抽出部30066は、垂直クラスタップ、即ち、例えば、注目画素を中心として垂直方向に並ぶ９画素、注目画素を中心として水平方向に並ぶ９画素、注目画素と、その注目画素の周りに位置する画素である５画素、および注目ブロックの画素すべてを、供給されてくるMPEG復号画像から抽出し、垂直クラス分類部30067に供給する。

処理は、ステップＳ30092からステップＳ30093に進み、垂直差分マッピング部30073の垂直クラス分類部30067は、垂直クラスタップ抽出部30066からの垂直クラスタップに基づき、垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部30068に出力する。

処理は、ステップＳ30093からステップＳ30094に進み、垂直差分マッピング部30073の垂直係数記憶部30068は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットのうちの、垂直クラス分類部30067から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数ｗ’_nを、予測演算部30435（図１０４の垂直予測演算部30102）に出力する。

処理は、ステップＳ30094からステップＳ30095に進み、垂直差分マッピング部30073のモード判定部30032は、垂直予測タップ抽出部30065から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の画素位置モードを判定し、垂直予測演算部30102に供給する。なお、モード判定部30032には、垂直予測タップ抽出部30065から、注目画素の位置情報が供給される。

処理は、ステップＳ30095からステップＳ30096に進み、さらに、垂直差分マッピング部30073のモード判定部30032は、垂直予測タップ抽出部30065から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、または右下領域のうちのいずれかの領域に位置するかを表す領域情報を判定し、その結果得られた領域情報を、垂直予測演算部30102に供給して、処理は、ステップＳ20097に進む。

ステップＳ20097において、垂直差分マッピング部30073の垂直予測演算部30102は、垂直係数記憶部30068から供給された複数の垂直係数の中から、モード判定部30032から供給された画素位置モードに対応する垂直係数を取得し、その垂直係数と、垂直予測タップ抽出部30065からの垂直予測タップとを用いて、モード判定部30032からの領域情報に対応した垂直予測演算を行い、その結果得られた垂直処理画像Ｖを、ゲイン調整部30103に供給する。

処理は、ステップＳ30097からステップＳ30098に進み、ゲイン調整部30103は、垂直予測演算部300102から供給された垂直処理画像Ｖから、垂直予測タップ抽出部30065から供給された注目画素の画素値ｘ₁を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である垂直差分ｖを加算部300104に供給する。なお、ゲイン調整部30103には、垂直予測タップ抽出部30065から、MPEG復号画像の注目画素の画素値ｘ₁が供給される。

その後、処理はステップＳ30098から図１０５のステップＳ30313にリターンして、その後の処理を行う。

次に、図１０９のフローチャートを参照して、図１０８のステップＳ30093における垂直クラス分類の処理を、詳細に説明する。

ステップＳ30101において、差分絶対値算出部31031は、そこに供給される注目ブロックを構成する水平方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分と、注目ブロックを構成する垂直方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。

ステップＳ30101の処理後、処理は、ステップＳ30102に進み、差分絶対値算出部31031は、求めた水平画素間差分と垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコード、斜め差分クラスコードの生成に用いる閾値Th_hやTh_vを算出するとともに、水平エッジ検出フラグと垂直エッジ検出フラグを設定する。

そして、差分絶対値算出部31031は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ判定部31033に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部31034に供給する。

また、閾値選択部31034は、差分絶対値算出部31031から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部31031から供給される閾値Th_hとTh_vから、水平差分クラスコードの生成に用いる閾値、垂直差分クラスコードの生成に用いる閾値、および斜め差分クラスコードの生成に用いる閾値を選択し、垂直差分クラスコードの生成に用いる閾値を、垂直差分クラスコード生成部31035に供給し、水平差分クラスコードの生成に用いる閾値を、水平差分クラスコード生成部31036に供給するとともに、斜め差分クラスコードの生成に用いる閾値を、斜め差分クラスコード生成部31037に供給する。

その後、処理は、ステップＳ30102からステップＳ30103に進み、垂直差分クラスコード生成部31035は、垂直差分クラスタップ抽出部30066bから供給される垂直差分クラスタップと、閾値選択部31034から供給される閾値を用いて、垂直予測タップのクラスを表すクラスコードの一部である垂直差分クラスコードを生成し、垂直クラスコード出力部31039に出力する。

処理は、ステップＳ30103からステップＳ30104に進み、水平差分クラスコード生成部31036は、水平差分クラスタップ抽出部30066aから供給される水平差分クラスタップと、閾値選択部31034から供給される閾値を用いて、水平予測タップのクラスを表すクラスコードの一部である水平差分クラスコードを生成し、水平斜め差分ゼロクラスコード生成部31038に出力する。

また、ステップＳ30104において、斜め差分クラスコード生成部31037は、斜め差分クラスタップ抽出部30066cから供給される斜め差分クラスタップと、閾値選択部31034から供給される閾値を用いて、斜め予測タップのクラスを表すクラスコードの一部である斜め差分クラスコードを生成し、水平斜め差分ゼロクラスコード生成部31038に出力する。

さらに、ステップＳ30104において、水平斜め差分ゼロクラスコード生成部31038は、水平差分クラスコード生成部31036から供給される水平差分クラスコードを構成するすべてのビットと、斜め差分クラスコード生成部31037から供給される斜め差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた値を、水平斜め差分ゼロクラスコードとして設定し、垂直クラスコード出力部31039に供給する。

処理は、ステップＳ30104からステップＳ30105に進み、フィールドフラグ抽出部31032は、ブロック抽出部30062dから供給される注目ブロックから、フィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定し、垂直クラスコード出力部31039に供給する。

処理は、ステップＳ30105からステップＳ30106に進み、ノイズ検出フラグ判定部31033は、差分絶対値算出部31031から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、ノイズ検出フラグを設定し、垂直クラスコード出力部31039に供給する。

処理は、ステップＳ30106からステップＳ30107に進み、垂直クラスコード出力部31039は、フィールドフラグ抽出部31032から供給されるフィールドフラグ、ノイズ検出フラグ判定部31033から供給されるノイズ検出フラグ、水平斜め差分ゼロクラスコード生成部31038から供給される水平斜め差分ゼロクラスコード、垂直差分クラスコード生成部31035から供給される垂直差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、垂直クラスコードとして、垂直係数記憶部30068に出力する。

その後、処理は、図１０８のステップＳ30093にリターンする。

次に、図１１０のフローチャートを参照して、図１０５のステップＳ30315における斜め差分マッピング処理を詳細に説明する。

ステップＳ30191において、斜め差分マッピング部30472の斜め予測タップ抽出部30431は、斜め予測タップ、即ち、例えば、注目画素と、注目画素の斜め方向に位置する画素である５画素の斜め方向のタップ４２３を、供給されてくるMPEG復号画像から抽出し、予測演算部30435（図１０４の斜め予測演算部30461）に供給する。

処理は、ステップＳ30191からステップＳ30192に進み、斜め差分マッピング部30471の斜めクラスタップ抽出部30432は、斜めクラスタップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素のタップ、注目画素を中心として垂直方向に並ぶ９画素のタップ、注目画素と、注目画素の周りに位置する５画素のタップ、および注目ブロックに含まれる画素すべてを、供給されてくるMPEG復号画像から抽出し、斜めクラス分類部30433に供給する。

処理は、ステップＳ30192からステップＳ30193に進み、斜め差分マッピング部30471の斜めクラス分類部30433は、斜めクラスタップ抽出部30432からの斜めクラスタップに基づき、斜め予測タップを斜めクラス分類し、その結果得られた斜めクラスに対応する斜めクラスコードを、斜め係数記憶部30434に出力する。

処理は、ステップＳ30193からステップＳ30194に進み、斜め差分マッピング部30471の斜め係数記憶部30434は、後述する学習によってあらかじめ求められた斜めクラスごとの斜め係数のセットのうちの、斜めクラス分類部30433から供給された斜めクラスコードに対応するアドレスに記憶されている斜め係数すべてを、予測演算部30435（図１０４の斜め予測演算部30461）に出力する。

処理は、ステップＳ30194からステップＳ30195に進み、斜め差分マッピング部30472のモード判定部30033は、斜め予測タップ抽出部30431から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素の画素位置モードを判定し、斜め予測演算部30461に供給する。なお、モード判定部30033には、斜め予測タップ抽出部30431から、注目画素の位置情報が供給される。

処理は、ステップＳ30195からステップＳ30196に進み、さらに、斜め差分マッピング部30472のモード判定部30033は、斜め予測タップ抽出部30431から供給される注目画素の位置情報に基づいて、注目ブロックにおける注目画素が、注目ブロックにおける左上領域、右上領域、左下領域、または右下領域のうちのいずれかの領域に位置するかを表す領域情報を判定し、その結果得られた領域情報を、やはり、斜め予測演算部30431に供給して、処理は、ステップＳ20197に進む。

ステップＳ20197において、斜め差分マッピング部30472の斜め予測演算部30461は、斜め係数記憶部30434から供給された複数の斜め係数の中から、モード判定部30033から供給された画素位置モードに対応する斜め係数を取得し、その斜め係数と、斜め予測タップ抽出部30431からの斜め予測タップとを用いて、モード判定部30033からの領域情報に対応した斜め予測演算を行い、その結果得られた斜め処理画像Ｒを、ゲイン調整部30462に供給する。

処理は、ステップＳ30197からステップＳ30198に進み、ゲイン調整部30462は、斜め予測演算部300461から供給された斜め処理画像Ｒから、斜め予測タップ抽出部30431から供給された注目画素の画素値ｘ₁を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である斜め差分ｒを加算部300463に供給する。なお、ゲイン調整部30462には、斜め予測タップ抽出部30431から、MPEG復号画像の注目画素の画素値ｘ₁が供給される。

その後、処理はステップＳ30198から図１０５のステップＳ30315にリターンして、その後の処理を行う。

次に、図１１１のフローチャートを参照して、図１１０のステップＳ30193における斜めクラス分類の処理を詳細に説明する。

ステップＳ30201において、差分絶対値算出部31041は、そこに供給される注目ブロックを構成する水平方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である水平画素間差分と、注目ブロックを構成する垂直方向に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である垂直画素間差分を求める。

ステップＳ30201の処理後、処理は、ステップＳ30202に進み、差分絶対値算出部31041は、求めた水平画素間差分と垂直画素間差分に基づいて、水平差分クラスコードや垂直差分クラスコード、斜め差分クラスコードの生成に用いる閾値Th_hやTh_vを算出するとともに、水平エッジ検出フラグと垂直エッジ検出フラグを設定する。

そして、差分絶対値算出部31041は、設定した水平エッジ検出フラグ、および垂直エッジ検出フラグを、ノイズ検出フラグ判定部31043に供給し、さらに、算出した閾値Th_h、およびTh_vとともに、閾値選択部31044に供給する。

また、閾値選択部31044は、差分絶対値算出部31041から供給される水平エッジ検出フラグと垂直エッジ検出フラグに基づいて、同じく差分絶対値算出部31041から供給される閾値Th_hとTh_vから、水平差分クラスコードの生成に用いる閾値、垂直差分クラスコードの生成に用いる閾値、および斜め差分クラスコードの生成に用いる閾値を選択する。

そして、閾値選択部31044は、垂直差分クラスコードの生成に用いる閾値を、垂直差分クラスコード生成部31047に供給し、水平差分クラスコードの生成に用いる閾値を、水平差分クラスコード生成部31046に供給するとともに、斜め差分クラスコードの生成に用いる閾値を、斜め差分クラスコード生成部31045に供給する。

その後、処理は、ステップＳ30202からステップＳ30203に進み、斜め差分クラスコード生成部31045は、斜め差分クラスタップ抽出部30432cから供給される斜め差分クラスタップと、閾値選択部31044から供給される閾値を用いて、斜め予測タップのクラスを表すクラスコードの一部である斜め差分クラスコードを生成し、斜めクラスコード出力部31049に出力する。

処理は、ステップＳ30203からステップＳ30204に進み、水平差分クラスコード生成部31046は、水平差分クラスタップ抽出部30432aから供給される水平差分クラスタップと、閾値選択部31044から供給される閾値を用いて、水平予測タップのクラスを表すクラスコードの一部である水平差分クラスコードを生成し、水平垂直差分ゼロクラスコード生成部31048に出力する。

また、ステップＳ30204において、垂直差分クラスコード生成部31047は、垂直差分クラスタップ抽出部30432cから供給される垂直差分クラスタップと、閾値選択部31044から供給される閾値を用いて、垂直予測タップのクラスを表すクラスコードの一部である垂直差分クラスコードを生成し、水平垂直差分ゼロクラスコード生成部31048に出力する。

さらに、ステップＳ30204において、水平垂直差分ゼロクラスコード生成部31048は、水平差分クラスコード生成部31046から供給される水平差分クラスコードを構成するすべてのビットと、垂直差分クラスコード生成部31047から供給される垂直差分クラスコードを構成するすべてのビットの論理和をとり、その結果得られた値を、水平垂直差分ゼロクラスコードとして設定し、斜めクラスコード出力部31049に供給する。

処理は、ステップＳ30204からステップＳ30205に進み、フィールドフラグ抽出部31042は、ブロック抽出部30432dから供給される注目ブロックからフィールド情報を抽出し、そのフィールド情報に基づいて、フィールドフラグを設定して、斜めクラスコード出力部31049に供給する。

処理は、ステップＳ30205からステップＳ30206に進み、ノイズ検出フラグ判定部31043は、差分絶対値算出部31041から供給される水平エッジ検出フラグ、および垂直エッジ検出フラグに基づいて、ノイズ検出フラグを設定し、斜めクラスコード出力部31049に供給する。

処理は、ステップＳ30206からステップＳ30207に進み、斜めクラスコード出力部31049は、フィールドフラグ抽出部31042から供給されるフィールドフラグ、ノイズ検出フラグ判定部31043から供給されるノイズ検出フラグ、水平垂直差分ゼロクラスコード生成部31048から供給される水平垂直差分ゼロクラスコード、斜め差分クラスコード生成部31045から供給される斜め差分クラスコードを、この順番で左から右に並べて、斜めクラスコードとして、斜め係数記憶部30434に出力する。

その後、処理は、図１１０のステップＳ30193にリターンする。

図１１２は、水平クラス、垂直クラス、および斜めクラスの組み合わせの総数を示す図である。

図中上側には、１ビットのフィールドフラグ、１ビットのノイズ検出フラグ、１ビットの垂直斜め差分ゼロクラスコード、および６ビットの水平差分クラスコードで表される９ビットの水平クラスコードが示されている。

また、図中上側には、１ビットのフィールドフラグ、１ビットのノイズ検出フラグ、１ビットの水平斜め差分ゼロクラスコード、および６ビットの垂直差分クラスコードで表される９ビットの垂直クラスコードが示されている。

さらに、図中上側には、１ビットのフィールドフラグ、１ビットのノイズ検出フラグ、１ビットの水平垂直差分ゼロクラスコード、および４ビットの斜め差分クラスコードで表される７ビットの斜めクラスコードが示されている。

図中下側には、図中上側に示されている、９ビットの水平クラスコード、９ビットの垂直クラスコード、および７ビットの斜めクラスコードの組み合わせにより得られる実質的なクラスの総数を説明する図が示されている。

以下、図中下側に示される図を用いて、９ビットの水平クラスコード、９ビットの垂直クラスコード、および７ビットの斜めクラスコードの組み合わせにより得られる実質的なクラスの総数を説明する。

まず、水平クラスコード、垂直クラスコード、および斜めクラスコードそれぞれに共通するフィールドフラグおよびノイズ検出フラグの２ビットを除外して、水平クラスコード、垂直クラスコード、および斜めクラスコードにより得られる実質的なクラスの総数を考える。

さらに、水平クラスコードの一部である垂直斜め差分ゼロクラスコードは、垂直クラスコードの一部である垂直差分クラスコード、および斜めクラスコードの一部である斜め差分クラスコードにより一意に決定すること、垂直クラスコードの一部である水平斜め差分ゼロクラスコードは、水平クラスコードの一部である水平差分クラスコード、および斜めクラスコードの一部である斜め差分クラスコードにより一意に決定すること、さらに、斜めクラスコードの一部である水平垂直差分ゼロクラスコードは、水平クラスコードの一部である水平差分クラスコード、および垂直クラスコードの一部である垂直差分クラスコードにより一意に決定することから、以下、水平クラスコードの一部である６ビットの水平差分クラスコード、垂直クラスコードの一部である６ビットの垂直差分クラスコード、および斜めクラスコードの一部である４ビットの斜め差分クラスコードにより得られる実質的なクラスの総数を考える。

図中下側に示される図の１行目では、６ビットの水平差分クラスコード、６ビットの垂直差分クラスコード、および４ビットの斜め差分クラスコードそれぞれが、すべて０のビット列である場合の組み合わせ数は、１×１×１＝１であることを示している。このとき、水平垂直差分ゼロクラスコード、水平斜め差分ゼロクラスコード、および垂直斜め差分ゼロクラスコードは、値０をとる。

図中下側に示される図の２行目では、６ビットの水平差分クラスコード、６ビットの垂直差分クラスコードそれぞれが、すべて０のビット列であり、４ビットの斜め差分クラスコードが、すべて０以外のビット列、即ち、２⁴―１＝１５個の異なるビット列である場合の組み合わせ数は、１×１×１５＝１５であることを示している。このとき、水平垂直差分ゼロクラスコードは、値０をとり、水平斜め差分ゼロクラスコード、および垂直斜め差分ゼロクラスコードは、値１をとる。

図中下側に示される図の３行目では、６ビットの水平差分クラスコード、４ビットの斜め差分クラスコードそれぞれが、すべて０のビット列であり、６ビットの垂直差分クラスコードが、すべて０以外のビット列、即ち、２⁶―１＝６３個の異なるビット列である場合の組み合わせ数は、１×６３×１＝６３であることを示している。このとき、水平斜め差分ゼロクラスコードは、値０をとり、水平垂直差分ゼロクラスコード、および垂直斜め差分ゼロクラスコードは、値１をとる。

図中下側に示される図の４行目では、６ビットの水平差分クラスコードが、すべて０のビット列であり、６ビットの垂直差分クラスコードが、すべて０以外のビット列、即ち、２⁶―１＝６３個の異なるビット列であり、さらに、４ビットの斜め差分クラスコードが、すべて０以外のビット列、即ち、２⁴−１＝１５個の異なるビット列である場合の組み合わせ数は、１×６３×１５＝９４５であることを示している。このとき、水平斜め差分ゼロクラスコードは、値０をとり、水平垂直差分ゼロクラスコード、および垂直斜め差分ゼロクラスコードは、値１をとる。

図中下側に示される図の５行目では、６ビットの水平差分クラスコードが、すべて０以外のビット列、即ち、２⁶―１＝６３個の異なるビット列であり、６ビットの垂直差分クラスコード、および４ビットの斜め差分クラスコードそれぞれが、すべて０のビット列である場合の組み合わせ数は、６３×１×１＝６３であることを示している。このとき、垂直斜め差分ゼロクラスコードは、値０をとり、水平斜め差分ゼロクラスコード、および垂直差分ゼロクラスコードは、値１をとる。

図中下側に示される図の６行目では、６ビットの水平差分クラスコードが、すべて０以外のビット列、即ち、２⁶―１＝６３個の異なるビット列であり、６ビットの垂直差分クラスコードが、すべて０のビット列であり、さらに、４ビットの斜め差分クラスコードが、すべて０以外のビット列、即ち、２⁴−１＝１５個の異なるビット列である場合の組み合わせ数は、６３×１×１５＝９４５であることを示している。このとき、垂直斜め差分ゼロクラスコード、水平斜め差分ゼロクラスコード、および垂直差分ゼロクラスコードは、値１をとる。

図中下側に示される図の７行目では、６ビットの水平差分クラスコードが、すべて０以外のビット列、即ち、２⁶―１＝６３個の異なるビット列であり、６ビットの垂直差分クラスコードが、すべて０以外のビット列、即ち、２⁶―１＝６３個の異なるビット列であり、さらに、４ビットの斜め差分クラスコードが、すべて０のビット列である場合の組み合わせ数は、６３×６３×１＝３９６９であることを示している。このとき、垂直斜め差分ゼロクラスコード、水平斜め差分ゼロクラスコード、および垂直差分ゼロクラスコードは、値１をとる。

図中下側に示される図の８行目では、６ビットの水平差分クラスコードが、すべて０以外のビット列、即ち、２⁶―１＝６３個の異なるビット列であり、６ビットの垂直差分クラスコードが、すべて０以外のビット列、即ち、２⁶―１＝６３個の異なるビット列であり、さらに、４ビットの斜め差分クラスコードが、すべて０以外のビット列、即ち、２⁴−１＝１５個の異なるビット列である場合の組み合わせ数は、６３×６３×１５＝５９５３５であることを示している。このとき、垂直斜め差分ゼロクラスコード、水平斜め差分ゼロクラスコード、および垂直差分ゼロクラスコードは、値１をとる。

従って、水平クラスコードの一部である６ビットの水平差分クラスコード、垂直クラスコードの一部である６ビットの垂直差分クラスコード、および斜めクラスコードの一部である４ビットの斜め差分クラスコードにより得られる実質的なクラスの総数は、１＋１５＋６３＋９４５＋６３＋９４５＋３９６９＋５９５３５＝６５５３６となる。

そして、先ほど除外していた２ビット、即ち、水平クラスコード、垂直クラスコード、および斜めクラスコードに共通するフィールドフラグおよびノイズ検出フラグの２ビットの組み合わせである２²＝４と、画素位置モード０乃至Ｆの１６通りを乗算することで、水平クラスコードが表す水平クラス、垂直クラスコードが表す垂直クラス、および斜めクラスコードが表す斜めクラスの組み合わせにより得られる実質的なクラスの総数は、６５５３６×４×１６＝４１９４３０４クラスとなる。

即ち、図１１３は、水平差分マッピング処理を行う水平差分マッピング部30111の構成例を示すブロック図である。

なお、図中、図１０４の水平マッピング部30071の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。

即ち、図１１３の水平差分マッピング部30111は、図６２のゲイン調整部10112と同様に構成されるゲイン調整部30112が新たに設けられているほかは、図１０４の水平マッピング部30071の場合と同様に構成されている。

次に、図１１４を参照して、式（１０）の正規方程式を水平クラスごとにたてて解くことにより水平係数ｗ_nを求める学習を行う学習部30121を説明する。

図１１４は、水平係数ｗ_nを求める学習を行う学習部30121の構成例を示すブロック図である。

図１１４の学習部30121は、原画像記憶部30131、ノイズ付加部30132、予測タップ抽出部30133、クラスタップ抽出部30134、クラス分類部30135、足し込み部30136、係数算出部30137、およびモード判定部30141により構成される。

なお、図１１４の学習部30121の原画像記憶部30131乃至予測タップ抽出部30133、足し込み部30136、係数算出部30137、およびモード判定部30141それぞれは、図８５の学習部20121の原画像記憶部20131乃至予測タップ20133、足し込み部20136、係数算出部20137、およびモード判定部20141それぞれと同様に構成される。

クラスタップ抽出部30134は、ノイズ付加部30132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の水平クラスタップ抽出部30062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップ（図９７の水平クラスタップ抽出部30062が注目画素について得る水平クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平クラスタップ）を得て、クラス分類部30135に供給する。

即ち、クラスタップ抽出部30134の水平差分クラスタップ抽出部30134a、垂直差分クラスタップ抽出部30134b、斜め差分クラスタップ抽出部30134c、ブロック抽出部30134dそれぞれは、図９７の水平クラスタップ抽出部30062の水平差分クラスタップ抽出部30062a、垂直差分クラスタップ抽出部30062b、斜め差分クラスタップ抽出部30062c、ブロック抽出部30062dそれぞれが注目画素について得るタップと同一のタップ構造のタップを得て、それぞれ、クラス分類部30135に供給する。

クラス分類部30135は、クラスタップ抽出部30134から供給された水平クラスタップに基づき、図９７の水平クラス分類部30063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部30136に供給する。

図１１５は、図１１４のクラス分類部30315の詳細な構成例を示すブロック図である。

クラス分類部30135は、差分絶対値算出部30141、フィールドフラグ抽出部30142、ノイズ検出フラグ判定部30143、閾値選択部30144、サブコード生成部30145乃至30148、およびクラスコード出力部30149により構成される。

差分絶対値算出部30141は、クラスタップ抽出部30134（ブロック抽出部30134c）から供給される注目ブロックに基づいて、図９８の差分絶対値算出部31011と同一の処理を行うことで、サブコード生成部30145乃至30147で用いられる閾値を算出し、水平エッジ検出フラグおよび垂直エッジ検出フラグを設定する。

フィールドフラグ抽出部30142は、クラスタップ抽出部30134（ブロック抽出部30134c）から供給される注目ブロックから、フィールド情報を抽出することにより、図９８のフィールドフラグ抽出部31012と同一の処理を行うことで、フィールドフラグを設定し、クラスコード出力部30149に供給する。

ノイズ検出フラグ判定部30143は、差分絶対値算出部30141から供給される水平エッジ検出フラグおよび垂直エッジ検出フラグを用いて、図９８のノイズ検出フラグ判定部31013と同様の処理を行い、その結果得られるノイズ検出フラグを、クラスコード出力部30149に供給する。

閾値選択部30144は、差分絶対値算出部30141から供給される水平エッジ検出フラグ、垂直エッジ検出フラグ、および閾値を用いて、図９８の閾値選択部31014と同様の処理を行い、水平差分クラスコードの生成に用いる閾値を、サブコード生成部30145に供給し、垂直差分クラスコードの生成に用いる閾値を、サブコード生成部30146に供給するとともに、斜め差分クラスコードの生成に用いる閾値を、サブコード生成部30147に供給する。

サブコード生成部30145は、クラスタップ抽出部30134（水平差分クラスタップ抽出部30134a）から供給される水平差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の水平差分クラスコード生成部31015と同様の処理を行い、その結果得られる水平差分クラスコードを、クラスコード出力部30149に供給する。

サブコード生成部30146は、クラスタップ抽出部30134（垂直差分クラスタップ抽出部30134b）から供給される垂直差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の垂直差分クラスコード生成部31016と同様の処理を行い、その結果得られる垂直差分クラスコードを、サブコード生成部30148に供給する。

サブコード生成部30147は、クラスタップ抽出部30134（斜め差分クラスタップ抽出部30134c）から供給される斜め差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の斜め差分クラスコード生成部31017と同様の処理を行い、その結果得られる斜め差分クラスコードを、サブコード生成部30148に供給する。

サブコード生成部30148は、サブコード生成部30146から供給される垂直差分クラスコードと、サブコード生成部30147から供給される斜め差分クラスコードを用いて、図９８の垂直斜め差分ゼロクラスコード生成部31018と同様の処理を行い、その結果得られる垂直斜め差分ゼロクラスコードを、クラスコード出力部30149に供給する。

クラスコード出力部30149は、図９８の水平クラスコード出力部31019と同様に、フィールドフラグ抽出部30142から供給されるフィールドフラグ、ノイズ検出フラグ判定部30143から供給されるノイズ検出フラグ、サブコード生成部30148から供給される垂直斜め差分ゼロクラスコード、サブコード生成部30145から供給される水平差分クラスコードの両端のビットを削除することにより得られるコードを、この順番で左から右に並べて、水平クラスコードとして、足し込み部30136に出力する。

次に、図１１６のフローチャートを参照して、図１１４の学習部30121における学習処理を説明する。

ステップＳ30121において、ノイズ付加部30132は、原画像記憶部30131から原画像を読み出し、その原画像をMPEG符号化し、さらにMPEG復号することにより、生徒画像を生成し、予測タップ抽出部30133およびクラスタップ抽出部30134に供給する。

処理は、ステップＳ30121からステップＳ30122に進み、予測タップ抽出部30133は、ノイズ付加部30132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、その注目ブロックに含まれる画素を順次、注目画素として、処理は、ステップＳ30123に進む。

ステップＳ30123において、予測タップ抽出部30133は、ノイズ付加部30132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の水平予測タップ抽出部30061が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部30136に供給する。

処理は、ステップＳ30123からステップＳ30124に進み、クラスタップ抽出部30134は、ノイズ付加部30132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の水平クラスタップ抽出部30062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、クラス分類部30135に供給する。

処理は、ステップＳ30124からステップＳ30125に進み、クラス分類部30135は、クラスタップ抽出部30134から供給された水平クラスタップに基づき、図９７の水平クラス分類部30063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部30136に供給する。

処理は、ステップＳ30125からステップＳ30126に進み、モード判定部30141は、そこに供給される位置情報に基づいて、図９７のモード判定部30031と同様の処理を行い、注目画素の画素位置モードを判定し、足し込み部30136に供給する。なお、モード判定部30141には、予測タップ抽出部30133から、注目画素の位置情報が供給される。

処理は、ステップＳ30216からステップＳ30217に進み、モード判定部30141は、そこに供給される位置情報に基づいて、図９７のモード判定部30031と同様の処理を行い、注目画素の領域情報を判定し、やはり、足し込み部30136に供給する。

処理は、ステップＳ30127からステップＳ30128に進み、足し込み部30136は、原画像記憶部30131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部30133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部30135から供給された水平クラスコードと、モード判定部30141から供給された画素位置モードのセットごとに行う。

処理は、ステップＳ30128からステップＳ30129に進み、予測タップ抽出部30133は、注目ブロックの画素すべてを注目画素としたか否かを判定する。

ステップＳ30129において、注目ブロックの画素すべてを注目画素としていないと判定された場合、処理は、ステップＳ30122に戻り、予測タップ抽出部30133は、注目ブロックの画素のうちの、まだ注目画素としていない画素を、新たな注目画素として、処理は、ステップＳ30123に進み、以下、同様の処理を繰り返す。

一方、ステップＳ30129において、注目ブロックの画素すべてを注目画素としたと判定された場合、処理は、ステップＳ30130に進み、予測タップ抽出部30133は、ノイズ付加部30132から供給された生徒画像を構成するブロックのうちの、まだ注目ブロックとされていないブロックが存在するか否かを判定する。

ステップＳ30130において、まだ注目ブロックとされていないブロックが存在すると判定された場合、処理は、ステップＳ30122に戻り、予測タップ抽出部30133は、まだ注目ブロックとされていない生徒画像を構成するブロックのうちの１つを、新たな注目ブロックとし、その注目ブロックを構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30123に進み、以下、同様の処理を繰り返す。

一方、ステップＳ30130において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部30136においては、ノイズ付加部30132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、水平クラスおよび画素位置モードのセットそれぞれについて、式（１０）に示した正規方程式が得られた場合、足し込み部30136は、正規方程式を、係数算出部30137に供給する。そして、処理は、ステップＳ30130からステップＳ30131に進み、係数算出部30137は、足し込み部30136から供給された水平クラスおよび画素位置モードのセットそれぞれについての正規方程式を解くことにより、各セットについて、水平係数ｗ_nを求めて出力する。

その後、学習処理は終了される。

次に、図１１７のフローチャートを参照して、図１１６のステップＳ30125におけるクラス分類の処理を詳細に説明する。

ステップＳ30141において、差分絶対値算出部30141は、クラスタップ抽出部30134（ブロック抽出部30134d）から供給される注目ブロックに基づいて、図９８の差分絶対値算出部31011と同一の処理を行うことで、水平画素間差分および垂直画素間差分を算出する。

処理は、ステップＳ30141からステップＳ30142に進み、差分絶対値算出部30141は、算出した水平画素間差分および垂直画素間差分を用いて、図９８の差分絶対値算出部31011と同一の処理を行うことで、サブコード生成部30145乃至10147で用いられる閾値を算出し、水平エッジ検出フラグおよび垂直エッジ検出フラグを設定する。

また、差分絶対値算出部30141は、設定した水平エッジ検出フラグおよび垂直エッジ検出フラグを、ノイズ検出フラグ判定部30143に供給し、算出した閾値とともに、閾値選択部30144に供給する。

さらに、ステップＳ30142において、閾値選択部30144は、差分絶対値算出部30141から供給される水平エッジ検出フラグ、垂直エッジ検出フラグ、および閾値を用いて、図９８の閾値選択部31014と同様の処理を行い、水平差分クラスコードの生成に用いる閾値を、サブコード生成部30145に供給し、垂直差分クラスコードの生成に用いる閾値を、サブコード生成部30146に供給するとともに、斜め差分クラスコードの生成に用いる閾値を、サブコード生成部30147に供給する。

処理は、ステップＳ30142からステップＳ30143に進み、サブコード生成部30145は、クラスタップ抽出部30134（水平差分クラスタップ抽出部30134a）から供給される水平差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の水平差分クラスコード生成部31015と同様の処理を行い、その結果得られる水平差分クラスコードを、クラスコード出力部30149に供給する。

その後、処理は、ステップＳ30143からステップＳ30144に進み、サブコード生成部30146は、クラスタップ抽出部30134（垂直差分クラスタップ抽出部30134b）から供給される垂直差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の垂直差分クラスコード生成部31016と同様の処理を行い、その結果得られる垂直差分クラスコードを、サブコード生成部30148に供給する。

また、ステップＳ30144において、サブコード生成部30147は、クラスタップ抽出部30134（斜め差分クラスタップ抽出部30134c）から供給される斜め差分クラスタップと、閾値選択部30144から供給される閾値を用いて、図９８の斜め差分クラスコード生成部31017と同様の処理を行い、その結果得られる斜め差分クラスコードを、サブコード生成部30148に供給する

さらに、ステップＳ30144において、サブコード生成部30148は、サブコード生成部30146から供給される垂直差分クラスコードと、サブコード生成部30147から供給される斜め差分クラスコードを用いて、図９８の垂直斜め差分ゼロクラスコード生成部31018と同様の処理を行い、その結果得られる垂直斜め差分ゼロクラスコードを、クラスコード出力部30149に供給する。

処理は、ステップＳ30144からステップＳ30145に進み、フィールドフラグ抽出部30142は、クラスタップ抽出部30134（ブロック抽出部30134d）から供給される注目ブロックから、フィールド情報を抽出することにより、図９８のフィールドフラグ抽出部31012と同一の処理を行うことで、フィールドフラグを設定し、クラスコード出力部30149に供給する。

処理は、ステップＳ30145からステップＳ30146に進み、ノイズ検出フラグ判定部30143は、差分絶対値算出部30141から供給される水平エッジ検出フラグおよび垂直エッジ検出フラグを用いて、図９８のノイズ検出フラグ判定部31013と同様の処理を行い、その結果得られるノイズ検出フラグを、クラスコード出力部30149に供給する。

処理は、ステップＳ30146からステップＳ30147に進み、クラスコード出力部30149は、図９８の水平クラスコード出力部31018と同様に、フィールドフラグ抽出部30142から供給されるフィールドフラグ、ノイズ検出フラグ判定部30143から供給されるノイズ検出フラグ、サブコード生成部30148から供給される垂直斜め差分クラスコード、サブコード生成部30145から供給される水平差分クラスコードの両端のビットを削除することで得られるコードを、この順番で左から右に並べて、水平クラスコードとして、足し込み部30136に出力する。

その後、処理は、図１１６のステップＳ30125にリターンする。

ここで、図１１６のフローチャートで説明した学習処理は、ノイズ除去画像に相当する画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理であるが、この学習処理を、以下、適宜、水平タップにおける学習処理という。

なお、図１１４の学習部30121において、予測タップ抽出部30133が垂直予測タップを抽出し、クラスタップ抽出部30134が垂直クラスタップを抽出して、クラス分類部20135が垂直クラス分類を行うこととすれば、図６３の学習部10121の場合と同様に、水平係数に代えて、垂直係数を求めることができる。

図１１４の学習部30121において、垂直係数ｗ’_nを求める学習処理を、以下、適宜、垂直タップにおける学習処理という。

さらに、図１１４の学習部30121において、予測タップ抽出部30133が斜め予測タップを抽出し、クラスタップ抽出部30134が斜めクラスタップを抽出して、クラス分類部20135が斜めクラス分類を行うこととすれば、図６３の学習部10121の場合と同様に、水平係数に代えて、斜め係数を求めることができる。

図１１４の学習部30121において、斜め係数ｗ’’_nを求める学習処理を、以下、適宜、斜めタップにおける学習処理という。

図９７の画像変換部３１では、上述した水平タップにおける学習処理により求められた水平係数、垂直タップにおける学習処理により求められた垂直係数、斜めタップにおける学習処理により求められた斜め係数を用いて画像変換処理を行うことができる。

次に、図１１４の学習部30121で学習される水平係数、垂直係数、および斜め係数のように、水平係数による水平処理効果分、垂直係数による垂直処理効果分、および斜め係数により斜め処理効果分が過剰となったり、相殺されることがないように、水平係数、垂直係数、および斜め係数を学習する学習処理を、図１１８を参照して説明する。

即ち、図１１８は、上述した図９７の画像変換部３１で用いられる水平係数、垂直係数、および斜め係数を学習する３段差分学習部30491の構成例を示すブロック図である。なお、図１１８には、説明の便宜上、図９７の画像変換部３１に相当する画像変換部30492も図示してある。

３段差分学習部30491は、水平タップ学習部32161、水平マッピング部32162、垂直タップ差分学習部32163、垂直差分マッピング部32164、加算部32165、および斜めタップ差分学習部30531により構成される。

水平タップ学習部32161は、図１１４の学習部30121と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部32162に供給する。

水平マッピング部32162は、水平タップ学習部32161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部32161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られる水平処理画像Ｈを、垂直タップ差分学習部32163および加算部32165に供給する。なお、水平マッピング部32162には、水平タップ学習部32161などから、MPEG復号画像が供給される。

垂直タップ差分学習部32163は、水平タップ学習部32161で教師画像として用いられる原画像と、水平マッピング部32162から供給される水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。

即ち、垂直タップ差分学習部32163は、原画像、MPEG復号画像、および水平処理画像Ｈから、後述するようにして、原画像と水平差分ｈとの差分である原画像−水平差分ｈを生成し、その原画像−水平差分ｈを教師画像とするとともに、MPEG復号画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける水平差分の差分学習処理を行う。

なお、垂直タップ差分学習部32163の、垂直タップにおける水平差分の差分学習処理は、後述する図１１９を参照して、詳細に説明する。

垂直差分マッピング部32164には、垂直タップ差分学習部32163から、垂直係数と、水平タップ学習部32161で生徒画像として用いられるMPEG復号画像とが供給される。

垂直差分マッピング部32164は、そこに供給される、水平タップ学習部32161で生徒画像として用いられるMPEG復号画像と垂直係数を用いて、垂直差分マッピング処理を行い、その結果得られる垂直差分ｖを、加算部32165に供給する。

加算部32165は、水平マッピング部32162から供給された水平処理画像Ｈと、垂直差分マッピング部32164から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖ（＝ｈ＋ｖ＋ｘ₁）を、斜めタップ差分学習部30531に供給する。

斜めタップ差分学習部30531は、水平タップ学習部32161で教師画像として用いられる原画像と、加算部32165から供給される水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。

即ち、斜めタップ差分学習部30531は、原画像、MPEG復号画像、および水平垂直処理画像Ｈ＋ｖから、後述するようにして、原画像と、水平差分ｈおよび垂直差分ｖとの差分である原画像−[水平差分ｈ＋垂直差分ｖ]を生成し、その原画像−[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、MPEG復号画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いて斜め係数を学習する、斜めタップにおける水平垂直差分の差分学習処理を行う。

なお、斜めタップ差分学習部30531の、斜めタップにおける水平垂直差分の差分学習処理は、後述する図１２０を参照して、詳細に説明する。

図９７の画像変換部３１における画像変換処理では、図１１８の３段差分学習部30491により求められた水平係数、垂直係数、および斜め係数を用いることができる。

ここで、図１１８において、画像変換部30492は、図９７の画像変換部３１と同様に構成される。画像変換部30492では、次のようにして、MPEG復号画像を原画像（の予測値）に変換する画像変換処理が行われる。

即ち、画像変換部30152は、水平マッピング部32162、垂直差分マッピング部30164、加算部30165、斜め差分マッピング部30532、および加算部30533により構成される。

水平マッピング部32162は、図１０４の水平予測タップ抽出部30061、水平クラスタップ抽出部30062、水平クラス分類部30063、水平係数記憶部30064、水平予測演算部30101、およびモード判定部30031で構成される水平マッピング部30071と同様に構成される。

水平マッピング部32162は、水平タップ学習部32161での水平タップにおける学習処理により得られる水平係数を用いて、MPEG復号画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その水平処理画像Ｈを、加算部32165に供給する。

垂直差分マッピング部32164は、図１０４の垂直予測タップ抽出部30065、垂直クラスタップ抽出部30066、垂直クラス分類部30067、垂直係数記憶部30068、垂直予測演算部30102、ゲイン調整部30103、およびモード判定部30032で構成される垂直差分マッピング部30073と同様に構成される。

垂直差分マッピング部32164は、垂直タップ差分学習部32163での垂直タップにおける水平差分の差分学習処理により得られる垂直係数を用いて、MPEG復号画像を垂直差分ｖに変換する垂直差分マッピング処理を行い、その垂直差分ｖを、加算部32165に供給する。

加算部32165は、図１０４の加算部30104と同様に構成され、水平マッピング部32162から供給された水平処理画像Ｈと、垂直差分マッピング部32164から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖ（＝ｈ＋ｖ＋ｘ₁）で構成される、原画像を予測した画像を、加算部30533に供給する。

斜め差分マッピング部30532は、図１０４の斜め予測タップ抽出部30431、斜めクラスタップ抽出部30432、斜めクラス分類部30433、斜め係数記憶部30434、斜め予測演算部30461、ゲイン調整部30462、およびモード判定部30033で構成される斜め差分マッピング部30472と同様に構成される。

斜め差分マッピング部30532は、斜めタップ差分学習部30531での斜めタップにおける水平垂直差分の差分学習処理により得られる斜め係数を用いて、MPEG復号画像を斜め差分ｒに変換する斜め差分マッピング処理を行い、その斜め差分ｒを、加算部30533に供給する。

加算部30533は、図１０４の加算部30463と同様に構成され、加算部32165から供給された水平垂直処理画像Ｈ＋ｖと、斜め差分マッピング部30532から供給された斜め差分ｒとを加算し、その結果得られた画素値Ｈ＋ｖ＋ｒで構成される、原画像を予測した画像を出力する。

次に、図１１９は、垂直タップにおける水平差分の差分学習処理を行う図１１８の垂直タップ差分学習部32163の詳細な構成例を示すブロック図である。

即ち、図１１９の垂直タップ差分学習部32163は、図１１４の原画像記憶部30131乃至係数算出部30137とそれぞれ同様に構成される原画像記憶部31131乃至係数算出部31137、図１１の差分画像生成部233と同様に構成される差分画像生成部30233、および図１１４のモード判定部30141と同様に構成されるモード判定部31141から構成される。

次に、図１２０は、斜めタップにおける水平垂直差分の差分学習処理を行う図１１８の斜めタップ差分学習部30531の詳細な構成例を示すブロック図である。

即ち、図１２０の斜めタップ差分学習部30531は、図１１４の原画像記憶部30131乃至係数算出部30137とそれぞれ同様に構成される原画像記憶部33131乃至係数算出部33137、図２９の差分画像生成部543と同様に構成される差分画像生成部30543、および図１１４のモード判定部30141と同様に構成されるモード判定部33141から構成される。

次に、図１２１のフローチャートを参照して、図１１８の３段差分学習部30491における３段差分学習処理を説明する。

ステップＳ30331において、水平タップ学習部32161は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部32162に供給する。

その後、処理は、ステップＳ30331からステップＳ30332に進み、水平マッピング部32162は、水平タップ学習部32161で生徒画像として用いられるMPEG復号画像（に相当する画像）と、水平タップ学習部32161から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部32163に供給する。

そして、処理は、ステップＳ30332からステップＳ30333に進み、垂直タップ差分学習部32163は、水平タップ学習部32161で教師画像として用いられる原画像と、水平マッピング部32162から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直差分マッピング部32164に供給して、処理は、ステップＳ30334に進む。

ステップＳ30334において、垂直差分マッピング部32164は、水平タップ学習部32161で生徒画像として用いられるMPEG復号画像と、垂直タップ差分学習部32163から供給された垂直係数とを用いて、垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部32165に供給して、処理は、ステップＳ30335に進む。

ステップＳ30335において、加算部32165は、水平マッピング部32162から供給された水平処理画像Ｈと、垂直差分マッピング部32164から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜めタップ差分学習部30531に供給して、処理は、ステップＳ30336に進む。

ステップＳ30336において、斜めタップ差分学習部30531は、水平タップ学習部32161で教師画像として用いられる原画像と、加算部32165から供給された水平垂直処理画像Ｈ＋ｖとを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。

その後、３段差分学習処理は、終了される。

次に、図１２２のフローチャートを参照して、図１２１のステップＳ30333の、垂直タップにおける水平差分の差分学習処理を説明する。

ステップＳ30201において、垂直タップ差分学習部32163（図１１９）のノイズ付加部31132は、原画像記憶部31131に記憶されている原画像を読み出し、その原画像をMPEG符号化し、さらに、MPEG復号することでMPEG復号画像に相当する画像を、生徒画像として生成し、差分画像生成部30233、垂直予測タップ抽出部31133および垂直クラスタップ抽出部31134に供給する。なお、原画像記憶部31131には、図１１８の水平タップ学習部32161で教師画像として用いられるのと同一の原画像が、記憶されている。

処理は、ステップＳ30201からステップＳ30202に進み、差分画像生成部30233は、ノイズ付加部31132から供給されたMPEG復号画像ｘ₁を、図１１８の水平マッピング部32162から供給された水平処理画像Ｈ＝ｈ＋ｘ₁から差し引くことで、水平差分ｈを生成する。

また、ステップＳ30202において、差分画像生成部30233は、原画像記憶部31131に記憶されている原画像を読み出し、その原画像から、生成した水平差分ｈを差し引き、その結果得られた原画像―水平差分ｈを、教師画像として、足し込み部31136に供給する。

その後、処理は、ステップＳ30202からステップＳ30203に進み、垂直予測タップ抽出部31133は、ノイズ付加部31132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックの画素を注目画素として、処理は、ステップＳ30204に進む。

ステップＳ30204において、垂直予測タップ抽出部31133は、ノイズ付加部31132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の垂直予測タップ抽出部30065が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部31136に供給する。

そして、処理は、ステップＳ30204からステップＳ30205に進み、垂直クラスタップ抽出部31134は、ノイズ付加部31132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の垂直クラスタップ抽出部30066が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部31135に供給する。

さらに、処理は、ステップＳ30205からステップＳ30206に進み、垂直クラス分類部31135は、垂直クラスタップ抽出部31134から供給された垂直クラスタップに基づき、図９７の垂直クラス分類部30067と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部31136に供給して、ステップＳ30207に進む。

ステップＳ30207において、モード判定部31141は、そこに供給される位置情報に基づいて、図９７のモード判定部30032と同様の処理を行い、注目画素の画素位置モードを判定し、足し込み部31136に供給する。なお、モード判定部31141には、垂直予測タップ抽出部31133から、注目画素の位置情報が供給される。

処理は、ステップＳ30207からステップＳ30208に進み、モード判定部31141は、そこに供給される位置情報に基づいて、図９７のモード判定部30032と同様の処理を行い、注目画素の領域情報を判定し、やはり、足し込み部31136に供給する。

処理は、ステップＳ30208からステップＳ30209に進み、足し込み部31136は、原画像記憶部20131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、垂直予測タップ抽出部31133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部31135から供給された垂直クラスと、モード判定部31141から供給された画素位置モードのセットごとに行う。

処理は、ステップＳ30209からステップＳ30210に進み、垂直予測タップ抽出部31133は、ノイズ付加部31132から供給された生徒画像を構成する注目ブロックの画素すべてを、注目画素としたか否かを判定する。

ステップＳ30210において、注目ブロックの画素すべてを、注目画素としていないと判定された場合、処理は、ステップＳ30203に戻り、垂直予測タップ抽出部31133は、まだ注目画素とされていない生徒画像を構成する注目ブロックの画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30204に進み、以下、同様の処理を繰り返す。

一方、ステップＳ30210において、注目ブロックの画素すべてを、注目画素としたと判定された場合、処理は、ステップＳ30211に進み、垂直予測タップ抽出部31133は、ノイズ付加部31132から供給された生徒画像を構成するブロックのうちの、まだ注目ブロックとされていないブロックが存在するか否かを判定する。

ステップＳ30211において、まだ注目ブロックとされていないブロックが存在すると判定された場合、処理は、ステップＳ30203に戻り、垂直予測タップ抽出部31133は、まだ注目ブロックとされていない生徒画像を構成するブロックのうちの１つを、新たな注目ブロックとし、その注目ブロックを構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30204に進み、以下、同様の処理を繰り返す。

一方、ステップＳ30211において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部31136においては、ノイズ付加部31132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、垂直クラスおよび画素位置モードのセットそれぞれについて、式（１０）に示した正規方程式が得られた場合、足し込み部31136は、正規方程式を、係数算出部31137に供給する。そして、処理は、ステップＳ30211からステップＳ30212に進み、係数算出部31137は、足し込み部31136から供給された垂直クラスおよび画素位置モードのセットそれぞれについての正規方程式を解くことにより、各セットについて、垂直係数ｗ_nを求めて出力する。

その後、処理は、図１２１のステップＳ30333にリターンする。

次に、図１２３のフローチャートを参照して、図１２１のステップＳ30336の、斜めタップにおける水平垂直差分の差分学習処理を説明する。

ステップＳ30341において、斜めタップ差分学習部30531（図１２０）のノイズ付加部33132は、原画像記憶部33131に記憶されている原画像を読み出し、その原画像をMPEG符号化し、さらに、MPEG復号することでMPEG復号画像に相当する画像を、生徒画像として生成し、差分画像生成部30543、斜め予測タップ抽出部33133および斜めクラスタップ抽出部33134に供給する。なお、原画像記憶部33131には、図１１８の水平タップ学習部32161で教師画像として用いられるのと同一の原画像が、記憶されている。

処理は、ステップＳ30341からステップＳ30342に進み、差分画像生成部30543は、ノイズ付加部33132から供給されたMPEG復号画像ｘ₁を、図１１８の加算部32165から供給された水平垂直処理画像Ｈ＝ｈ＋ｖ＋ｘ₁から差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。

また、ステップＳ30342において、差分画像生成部30543は、原画像記憶部33131に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部33136に供給する。

その後、処理は、ステップＳ30342からステップＳ30343に進み、斜め予測タップ抽出部33133は、ノイズ付加部33132から供給された生徒画像を構成する８×８画素のブロックを、例えば、ラスタスキャン順に、順次、注目ブロックとし、注目ブロックの画素を注目画素として、処理は、ステップＳ30344に進む。

ステップＳ30344において、斜め予測タップ抽出部33133は、ノイズ付加部33132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の斜め予測タップ抽出部30431が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップを得て、足し込み部33136に供給する。

そして、処理は、ステップＳ30344からステップＳ30345に進み、斜めクラスタップ抽出部33134は、ノイズ付加部33132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の斜めクラスタップ抽出部30432が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップを得て、斜めクラス分類部33135に供給する。

さらに、処理は、ステップＳ30345からステップＳ30346に進み、斜めクラス分類部33135は、斜めクラスタップ抽出部33134から供給された斜めクラスタップに基づき、図９７の斜めクラス分類部30433と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する垂直クラスコードを、足し込み部33136に供給して、ステップＳ30347に進む。

ステップＳ30347において、モード判定部33141は、そこに供給される位置情報に基づいて、図９７のモード判定部30033と同様の処理を行い、注目画素の画素位置モードを判定し、足し込み部33136に供給する。なお、モード判定部33141には、斜め予測タップ抽出部33133から、注目画素の位置情報が供給される。

処理は、ステップＳ30347からステップＳ30348に進み、モード判定部33141は、そこに供給される位置情報に基づいて、図９７のモード判定部30033と同様の処理を行い、注目画素の領域情報を判定し、やはり、足し込み部33136に供給する。

処理は、ステップＳ30348からステップＳ30349に進み、足し込み部33136は、原画像記憶部33131に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、斜め予測タップ抽出部33133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部33135から供給された垂直クラスと、モード判定部33141から供給された画素位置モードのセットごとに行う。

処理は、ステップＳ30349からステップＳ30350に進み、斜め予測タップ抽出部33133は、ノイズ付加部33132から供給された生徒画像を構成する注目ブロックの画素すべてを、注目画素としたか否かを判定する。

ステップＳ30351において、注目ブロックの画素すべてを、注目画素としていない判定された場合、処理は、ステップＳ30343に戻り、斜め予測タップ抽出部33133は、まだ注目画素とされていない生徒画像を構成する注目ブロックの画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30344に進み、以下、同様の処理を繰り返す。

一方、ステップＳ30351において、注目ブロックの画素すべてを、注目画素としたと判定された場合、処理は、ステップＳ30351に進み、斜め予測タップ抽出部33133は、ノイズ付加部33132から供給された生徒画像を構成するブロックのうちの、まだ注目ブロックとされていないブロックが存在するか否かを判定する。

ステップＳ30350において、まだ注目ブロックとされていないブロックが存在すると判定された場合、処理は、ステップＳ30343に戻り、斜め予測タップ抽出部33133は、まだ注目ブロックとされていない生徒画像を構成するブロックのうちの１つを、新たな注目ブロックとし、その注目ブロックを構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ30344に進み、以下、同様の処理を繰り返す。

一方、ステップＳ30350において、すでに注目ブロックとされていないブロックが存在しないと判定された場合、即ち、足し込み部33136においては、ノイズ付加部33132により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、垂直クラスおよび画素位置モードのセットそれぞれについて、式（１０）に示した正規方程式が得られた場合、足し込み部33136は、正規方程式を、係数算出部33137に供給する。そして、処理は、ステップＳ30351からステップＳ30352に進み、係数算出部33137は、足し込み部33136から供給された斜めクラスと画素位置モードとのセットそれぞれについての正規方程式を解くことにより、各セットについて、斜め係数を求めて出力する。

その後、処理は、図１２１のステップＳ30336にリターンする。

ところで、図１１８の３段差分学習部30491で求められる水平係数、垂直係数、および斜め係数によれば、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直処理効果分、および斜め係数を用いた斜め処理効果分の寄与分が同等とならない。

そこで、図１２４は、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直予測演算による垂直処理効果分、および斜め係数を用いた斜め予測演算による斜め処理効果分の寄与分が同等となるように、水平係数、垂直係数、および斜め係数を求める３段反復学習部30581の構成例を示すブロック図である。

図１２４の３段反復学習部30581は、水平処理部30601、垂直処理部30602、および斜め処理部30603により構成される。

水平処理部30601は、斜め処理部30603から供給された画像などに基づいて、水平係数を学習する。さらに、水平処理部30601は、学習によって得られる水平係数などに基づいて画像を生成し、垂直処理部30602に供給する。

垂直処理部30602は、水平処理部30601から供給された画像などに基づいて、垂直係数を学習する。さらに、垂直処理部30602は、学習によって得られる垂直係数などに基づいて画像を生成し、斜め処理部30603に供給する。

斜め処理部30603は、垂直処理部30602から供給された画像などに基づいて、斜め係数を学習する。さらに、斜め処理部30603は、学習によって得られる斜め係数などに基づいて画像を生成し、水平処理部30601に供給する。

図１２５は、図１２４の水平処理部30601の詳細な構成例を示すブロック図である。

水平処理部30601は、水平タップ学習部30631、水平マッピング部30632、水平タップ差分学習部30633、および水平差分加算マッピング部30634により構成される。また、水平差分加算マッピング部30634は、水平差分マッピング部30661および加算部30662により構成される。

水平タップ学習部30631は、図１１４の学習部30121と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部30632および水平差分加算マッピング部30634（水平差分マッピング部30661）に供給する。

水平マッピング部30632は、水平タップ学習部30631で生徒画像として用いられるMPEG復号画像と、水平タップ学習部30631または水平タップ差分学習部30633から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部30602（図１２４）に供給する。

水平タップ差分学習部30633は、水平タップ学習部30631で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および斜め処理部30603から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、水平係数を学習する。

即ち、水平タップ差分学習部30633は、原画像、MPEG復号画像、および垂直斜め処理画像Ｖ＋ｒから、後述するようにして、原画像と[垂直差分ｖ＋斜め差分ｒ]との差分である原画像−[垂直差分ｖ＋斜め差分ｒ]を生成し、その原画像−[垂直差分ｖ＋斜め差分ｒ]を教師画像とするとともに、MPEG復号画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて水平係数を学習する、水平タップにおける垂直斜め差分の差分学習処理を行う。

なお、水平タップ差分学習部30633の、水平タップにおける垂直斜め差分の差分学習処理は、後述する図１２６を参照して、詳細に説明する。

また、水平タップ差分学習部30633は、学習した水平係数を、水平マッピング部30632および水平差分加算マッピング部30634（水平差分マッピング部30661）に供給する。

水平差分加算マッピング部30634は、斜め水平処理画像Ｒ＋ｈを生成し、垂直処理部30602に供給する。

即ち、水平差分加算マッピング部30634の水平差分マッピング部30661は、水平タップ学習部30631で生徒画像として用いられるMPEG復号画像と、水平タップ学習部30631または水平タップ差分学習部30633から供給された水平係数を用いて、水平差分マッピング処理を行い、その結果得られた水平差分ｈを、加算部30662に供給する。

加算部30662は、水平差分マッピング部30661から供給された水平差分ｈと、斜め処理部30603から供給された斜め処理画像Ｒとを加算し、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部30602に供給する。

ここで、上述のように、水平差分マッピング部30661と加算部30662とで構成される水平差分加算マッピング部30634は、水平差分ｈを求め、その水平差分ｈと、斜め処理部30603から供給された斜め処理画像Ｒとを加算する処理を行うため、かかる処理を、以下、適宜、水平差分加算マッピング処理という。

図１２６は、水平タップにおける垂直斜め差分の差分学習処理を行う図１２５の水平タップ差分学習部30633の詳細な構成例を示すブロック図である。

水平タップ差分学習部30633は、図１１４の学習部30121の原画像記憶部30131乃至係数算出部30137それぞれと同様に構成される原画像記憶部34131乃至係数算出部34137と、差分画像生成部30673とから構成される。

差分画像生成部30673には、ノイズ付加部34132から生徒画像が供給されるとともに、図１２４の斜め処理部30603から、垂直斜め処理画像Ｖ＋ｒが供給される。

差分画像生成部30673は、ノイズ付加部34132から供給された生徒画像（MPEG復号画像）ｘ₁を、図１２４の斜め処理部30603から供給された垂直斜め処理画像Ｖ＋ｒ＝ｖ＋ｘ₁＋ｒから差し引くことで、[垂直差分ｖ＋斜め差分ｒ]を生成する。

また、差分画像生成部30673は、原画像記憶部34131に記憶されている原画像を読み出し、その原画像から、生成した[垂直差分ｖ＋斜め差分ｒ]を差し引き、その結果得られた原画像―[垂直差分ｖ＋斜め差分ｒ]を、教師画像として、足し込み部34136に供給する。

水平予測タップ抽出部34133は、ノイズ付加部34132から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、水平予測タップ抽出部34133は、ノイズ付加部34132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部34136に供給する。

水平クラスタップ抽出部34134は、ノイズ付加部34132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の水平クラスタップ抽出部30062が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、水平クラス分類部34135に供給する。

水平クラス分類部34135は、水平クラスタップ抽出部34134から供給された水平クラスタップに基づき、図９７の水平クラス分類部30063と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部34136に供給する。

なお、足し込み部34136は、差分画像生成部30673から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部34133から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、モード判定部34141から供給される領域情報に基づいて、水平クラス分類部34135から供給された水平クラスコードと、モード判定部34141から供給された画素位置モードとのセットそれぞれに行うことにより、各セットについて正規方程式をたてると、その正規方程式を、係数算出部34137に供給する。

係数算出部34137は、足し込み部34136から供給された各セットについての正規方程式を解くことにより、各セットについて、水平係数を求めて出力する。

図１２７は、図１２４の垂直処理部30602の詳細な構成例を示すブロック図である。

垂直処理部30602は、垂直タップ学習部30691、垂直マッピング部30692、垂直タップ差分学習部30693、および垂直差分加算マッピング部30694により構成される。また、垂直差分加算マッピング部30694は、垂直差分マッピング部30721および加算部30722により構成される。

垂直タップ学習部30691は、図１１４の学習部30121と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部30692および垂直差分加算マッピング部30694（垂直差分マッピング部30721）に供給する。

垂直マッピング部30692は、垂直タップ学習部30691で生徒画像として用いられるMPEG復号画像と、垂直タップ学習部30691または垂直タップ差分学習部30693から供給された垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部30603（図１２４）に供給する。

垂直タップ差分学習部30693は、垂直タップ学習部30691で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および水平処理部30601から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、水平係数を学習する。

即ち、垂直タップ差分学習部30693は、原画像、MPEG復号画像、および斜め水平処理画像Ｒ＋ｈから、原画像と[斜め差分ｒ＋水平差分ｈ]との差分である原画像−[斜め差分ｒ＋水平差分ｈ]を生成し、その原画像−[斜め差分ｒ＋水平差分ｈ]を教師画像とするとともに、MPEG復号画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける斜め水平差分の差分学習処理を行う。

なお、垂直タップ差分学習部30693の、垂直タップにおける斜め水平差分の差分学習処理は、後述する図１２８を参照して、詳細に説明する。

また、垂直タップ差分学習部30693は、学習した垂直係数を、垂直マッピング部30692および垂直差分加算マッピング部30694（垂直差分マッピング部30721）に供給する。

垂直差分加算マッピング部30694は、水平垂直処理画像Ｈ＋ｖを生成し、斜め処理部30603に供給する。

即ち、垂直差分加算マッピング部30694の垂直差分マッピング部30721は、垂直タップ学習部30691で生徒画像として用いられるMPEG復号画像と、垂直タップ学習部30691または垂直タップ差分学習部30693から供給された垂直係数を用いて、垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部30722に供給する。

加算部30722は、垂直差分マッピング部30721から供給された垂直差分ｖと、水平処理部30601から供給された水平処理画像Ｈとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部30603に供給する。

ここで、上述のように、垂直差分マッピング部30721と加算部30722とで構成される垂直差分加算マッピング部30694は、垂直差分ｖを求め、その垂直差分ｖと、水平処理部30601から供給された水平処理画像Ｈとを加算する処理を行うが、かかる処理を、以下、適宜、垂直差分加算マッピング処理という。

図１２８は、垂直タップにおける斜め水平差分の差分学習処理を行う図１２７の垂直タップ差分学習部30693の詳細な構成例を示すブロック図である。

垂直タップ差分学習部30693は、図１２６の水平タップ差分学習部30633の原画像記憶部34131乃至係数算出部34137およびモード判定部34141それぞれと同様に構成される原画像記憶部35131乃至係数算出部35137およびモード判定部35141と、差分画像生成部30733とから構成される。

差分画像生成部30733には、ノイズ付加部35132から生徒画像が供給されるとともに、図１２４の水平処理部30601から、斜め水平処理画像Ｒ＋ｈが供給される。

差分画像生成部30733は、ノイズ付加部35132から供給された生徒画像（MPEG復号画像）ｘ₁を、図１２４の水平処理部30601から供給された斜め水平処理画像Ｒ＋ｈ＝ｒ＋ｘ₁＋ｈから差し引くことで、[斜め差分ｒ＋水平差分ｈ]を生成する。

また、差分画像生成部30733は、原画像記憶部35131に記憶されている原画像を読み出し、その原画像から、生成した[斜め差分ｒ＋水平差分ｈ]を差し引き、その結果得られた原画像―[斜め差分ｒ＋水平差分ｈ]を、教師画像として、足し込み部35136に供給する。

垂直予測タップ抽出部35133は、ノイズ付加部35132から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、垂直予測タップ抽出部35133は、ノイズ付加部35132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の垂直予測タップ抽出部30065が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部35136に供給する。

垂直クラスタップ抽出部35134は、ノイズ付加部35132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の垂直クラスタップ抽出部30066が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部35135に供給する。

垂直クラス分類部35135は、垂直クラスタップ抽出部35134から供給された垂直クラスタップに基づき、図９７の垂直クラス分類部30067と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部35136に供給する。

なお、足し込み部35136は、差分画像生成部30733から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部35133から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、モード判定部35141から供給された領域情報に基づいて、垂直クラス分類部35135から供給された垂直クラスコードと、モード判定部35141から供給された画素位置モードのセットごとに行うことにより、各セットについて正規方程式をたてると、その正規方程式を、係数算出部35137に供給する。

係数算出部35137は、足し込み部35136から供給された各セットについての正規方程式を解くことにより、各セットについて、垂直係数を求めて出力する。

モード判定部35141には、垂直予測タップ抽出部35133から、注目画素の位置情報が供給される。モード判定部35141は、そこに供給される位置情報に基づいて、注目画素の画素位置モードおよび領域情報を判定し、足し込み部35136に供給する。

図１２９は、図１２４の斜め処理部30603の詳細な構成例を示すブロック図である。

斜め処理部30603は、斜めタップ学習部30751、斜めマッピング部30752、斜めタップ差分学習部30753、および斜め差分加算マッピング部30754により構成される。また、斜め差分加算マッピング部30754は、斜め差分マッピング部30781および加算部30782により構成される。

斜めタップ学習部30751は、図１１４の学習部30121と同様に構成され、斜めタップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、MPEG復号画像に相当する画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いた斜め係数を学習する学習処理を行い、その結果得られた斜め係数を、斜めマッピング部30752および斜め差分加算マッピング部30754（斜め差分マッピング部30781）に供給する。

斜めマッピング部30752は、斜めタップ学習部30751で生徒画像として用いられるMPEG復号画像と、斜めタップ学習部30751または斜めタップ差分学習部30753から供給された斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部30601（図１２４）に供給する。

斜めタップ差分学習部30753は、斜めタップ学習部30751で教師画像として用いられる原画像と生徒画像として用いられるMPEG復号画像、および垂直処理部30602から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。

即ち、斜めタップ差分学習部30753は、原画像、MPEG復号画像、および水平垂直処理画像Ｈ＋ｖから、原画像と[水平差分ｈ＋垂直差分ｖ]との差分である原画像−[水平差分ｈ＋垂直差分ｖ]を生成し、その原画像−[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、MPEG復号画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いて斜め係数を学習する、斜めタップにおける水平垂直差分の差分学習処理を行う。

なお、斜めタップ差分学習部30753の、斜めタップにおける水平垂直差分の差分学習処理は、後述する図１３０を参照して、詳細に説明する。

また、斜めタップ差分学習部30753は、学習した斜め係数を、斜めマッピング部30752および斜め差分加算マッピング部30754（斜め差分マッピング部30781）に供給する。

斜め差分加算マッピング部30754は、垂直斜め処理画像Ｖ＋ｒを生成し、水平処理部30601に供給する。

即ち、斜め差分加算マッピング部30754の斜め差分マッピング部30781は、斜めタップ学習部30751で生徒画像として用いられるMPEG復号画像と、斜めタップ学習部30751または斜めタップ差分学習部30753から供給された斜め係数を用いて、斜め差分マッピング処理を行い、その結果得られた斜め差分ｒを、加算部30782に供給する。

加算部30782は、斜め差分マッピング部30781から供給された斜め差分ｒと、垂直処理部30602から供給された垂直処理画像Ｖとを加算し、その結果得られた垂直斜め処理画像Ｖ＋ｒを生成し、水平処理部30601に供給する。

ここで、上述のように、斜め差分マッピング部30781と加算部30782とで構成される斜め差分加算マッピング部30754は、斜め差分ｒを求め、その斜め差分ｒと、垂直処理部30602から供給された垂直処理画像Ｖとを加算する処理を行うが、かかる処理を、以下、適宜、斜め差分加算マッピング処理という。

図１３０は、斜めタップにおける水平垂直差分の差分学習処理を行う図１２９の斜めタップ差分学習部30753の詳細な構成例を示すブロック図である。

斜めタップ差分学習部30753は、図１２６の水平タップ差分学習部30633の原画像記憶部34131乃至係数算出部34137およびモード判定部34141それぞれと同様に構成される原画像記憶部36131乃至係数算出部36137およびモード判定部36141と、差分画像生成部30793とから構成される。

差分画像生成部30793には、ノイズ付加部36132から生徒画像が供給されるとともに、図１２４の垂直処理部30602から、水平垂直処理画像Ｈ＋ｖが供給される。

差分画像生成部30793は、ノイズ付加部36132から供給された生徒画像（MPEG復号画像）ｘ₁を、図１２４の垂直処理部30602から供給された水平垂直処理画像Ｈ＋ｖ＝ｈ＋ｘ₁＋ｖから差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。

また、差分画像生成部30793は、原画像記憶部36131に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部36136に供給する。

斜め予測タップ抽出部36133は、ノイズ付加部36132から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、斜め予測タップ抽出部36133は、ノイズ付加部36132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の斜め予測タップ抽出部30431が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップを得て、足し込み部36136に供給する。

斜めクラスタップ抽出部36134は、ノイズ付加部36132から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図９７の斜めクラスタップ抽出部30432が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップを得て、斜めクラス分類部36135に供給する。

斜めクラス分類部36135は、斜めクラスタップ抽出部36134から供給された斜めクラスタップに基づき、図９７の斜めクラス分類部30433と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部36136に供給する。

なお、足し込み部36136は、差分画像生成部30793から供給された教師画像の画素のうちの、注目画素に対応する画素と、斜め予測タップ抽出部36133から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、モード判定部36141から供給された領域情報に応じて、斜めクラス分類部36135から供給された斜めクラスコードと、モード判定部36141から供給された画素位置モードのセットごとに行うことにより、各セットについて正規方程式をたてると、その正規方程式を、係数算出部36137に供給する。

係数算出部36137は、足し込み部36136から供給された各セットについての正規方程式を解くことにより、各セットについて、斜め係数を求めて出力する。

モード判定部36141には、斜め予測タップ抽出部36133から、注目画素の位置情報が供給される。モード判定部36141は、そこに供給される位置情報に基づいて、注目画素の画素位置モードおよび領域情報を判定し、足し込み部36136に供給する。

図１３１は、図１２４の３段反復学習部30581による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。

図１２４の３段反復学習部30581は、図３９の場合と同様にして、水平係数、垂直係数、および斜め係数を反復して求めることができる。

次に、図１３２のフローチャートを参照して、図１２４の３段反復学習部30581における３段反復学習処理を説明する。

ステップＳ30361において、水平処理部30601の水平タップ学習部30631は、水平係数を求め、水平マッピング部30632と水平差分加算マッピング部30634に供給する。また、ステップＳ30361において、垂直処理部30602の垂直タップ学習部30691は、垂直係数を求め、垂直マッピング部30692と垂直差分加算マッピング部30694に供給する。さらに、ステップＳ30361において、斜め処理部30603の斜めタップ学習部30751は、斜め係数を求め、斜めマッピング部30752と斜め差分加算マッピング部30754に供給する。

処理は、ステップＳ30361からステップＳ30362に進み、水平処理部30601の水平マッピング部30632は、水平タップ学習部30631からの水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部30602の垂直差分加算マッピング部30694に供給する。

また、ステップＳ30362において、垂直処理部30602の垂直マッピング部30692は、垂直タップ学習部30691からの垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部30603の斜め差分加算マッピング部30754に供給する。

さらに、ステップＳ30362において、斜め処理部30603の斜めマッピング部30752は、斜めタップ学習部30751からの斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部30601の水平差分加算マッピング部30634に供給する。

その後、処理は、ステップＳ30362からステップＳ30363に進み、水平処理部30601の水平差分加算マッピング部30634は、水平タップ学習部30631の水平係数と、斜めマッピング部30752から供給された斜め処理画像Ｒを用いて、水平差分加算マッピング処理を行い、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部30602の垂直タップ差分学習部30693に供給する。

また、ステップＳ30363において、垂直処理部30602の垂直差分加算マッピング部30694は、垂直タップ学習部30691からの垂直係数と、水平マッピング部30632から供給された水平処理画像Ｈを用いて、垂直差分加算マッピング処理を行い、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部30603の斜めタップ差分学習部30753に供給する。

さらに、ステップＳ30363において、斜め処理部30603の斜め差分加算マッピング部30754は、斜めタップ学習部30751からの斜め係数と、垂直マッピング部30692から供給された垂直処理画像Ｖを用いて、斜め差分加算マッピング処理を行い、その結果得られた垂直斜め処理画像Ｖ＋ｒを、水平処理部30601の水平タップ差分学習部30633に供給する。

その後、処理は、ステップＳ30363からステップＳ30364に進み、水平処理部30601の水平タップ差分学習部30633は、斜め差分加算マッピング部30754から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、水平係数を求め、水平マッピング部30632と水平差分加算マッピング部30634に供給する。

また、ステップＳ30364において、垂直処理部30602の垂直タップ差分学習部30693は、水平差分加算マッピング部30634から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、垂直係数を求め、垂直マッピング部30692と垂直差分加算マッピング部30694に供給する。

さらに、ステップＳ30364において、斜め処理部30603の斜めタップ差分学習部30753は、垂直差分加算マッピング部30694から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を求め、斜めマッピング部30752と斜め差分加算マッピング部30754に供給する。

その後、処理は、ステップＳ30364からステップＳ30362に進み、以下、同様の処理を繰り返す。即ち、ステップＳ30362およびステップＳ30363においては、ステップＳ30364で求められた水平係数、垂直係数、および斜め係数を用いてマッピング処理および差分加算マッピング処理が行われ、ステップＳ30364では、その結果得られた画像に基づいて、差分学習処理が行われる。

以上のような図１３２の３段反復学習処理では、水平タップ学習部30631が、MPEG復号画像に相当する画像を生徒画像とするとともに、原画像を教師画像として、第０世代の水平係数を求め、水平タップ差分学習部30633が、MPEG復号画像に相当する画像を生徒画像とするとともに、前の世代で求められた水平係数、垂直係数、および斜め係数のうちの、水平係数を除いた係数である垂直係数および斜め係数を用いた予測演算による原画像への近似効果分、即ち、垂直係数による垂直処理効果分としての垂直差分ｖと、斜め係数による斜め処理効果分としての斜め差分ｒとを、原画像から差し引くことで得られる画像である原画像−[垂直差分ｖ＋斜め差分ｒ]を教師画像として、第１乃至ｎ世代の水平係数を求める。垂直係数および斜め係数も同様に求められる。従って、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直予測演算による垂直処理効果分、および斜め係数を用いた斜め予測演算による斜め処理効果分による寄与分が、それぞれ、同等な水平係数、垂直係数、および斜め係数を求めることができる。

なお、図１３２の３段反復学習処理は、例えば、反復して求められる水平係数、垂直係数、および斜め係数がとる値が収束したときに、終了する。

また、図１３２の３段反復学習処理は、３段反復学習部30581（図１２４）により求められる係数セットを用いた画像変換処理による結果と、原画像との自乗誤差とを最小にする係数セットが求められたとき、または、あらかじめ決められた世代の学習処理が行われたときなどに終了するようにしてもよい。

図１３３は、所定のMPEG復号画像と、そのMPEG復号画像に対して画像変換処理を行うことで得られたノイズ除去画像とのＳ/Ｎ(Signal to Noise)比を示す図である。

図中、点線で示されるグラフは、所定のMPEG復号画像のＳ/Ｎ比を示しており、実践で示されるグラフは、ノイズ除去画像のＳ/Ｎ比を示している。そして、MPEG復号画像およびノイズ除去画像それぞれのフレーム番号が横軸に、そのフレーム番号と対応する形でＳ/Ｎ比が縦軸に示されている。

いずれのフレーム番号の場合にも、ノイズ除去画像のＳ/Ｎ比が向上しており、ノイズ除去がされていることがわかる。

図１３４は、図１３３で示されるフレーム番号１乃至１２に対応するMPEG復号画像に対して、３段反復学習処理により得られた係数を用いた画像変換処理を行った場合のＳ/Ｎ比を示す図である。

図中、中央には、フレーム番号１乃至１２に対応して、フレーム番号１乃至１２が付加されたグラフが示されている。

フレーム番号１乃至１２が付加されたグラフそれぞれは、フレーム番号１乃至１２のMPEG復号画像に画像変換処理を行った場合のＳ/Ｎ比を示している。

なお、図に示される横軸は、３段反復学習により学習された係数の世代を示しており、横軸に示される係数の世代に対応して、その世代の係数を用いて画像変換処理することで得られたノイズ除去画像のＳ/Ｎ比を縦軸は示している。

即ち、横軸に示されるmpegに対応する各グラフは、フレーム番号１乃至１２のMPEG復号画像のＳ/Ｎ比を示しており、また、横軸に示されるrec0乃至rec4に対応する各グラフは、第０乃至４世代の係数を用いて、フレーム番号１乃至１２のMPEG復号画像に対して画像変換処理を行った場合のＳ/Ｎ比を示している。

図１３５は、画像変換処理を行う前の所定のMPEG復号画像を示しており、図１３６は、図１３５に示されるMPEG復号画像において、図中、右下側に示されるバツ印に対応する部分を拡大したMPEG復号画像である。

そして、図１３７は、所定のMPEG復号画像に対して画像変換処理を行うことで得られたノイズ除去画像を示しており、図１３８は、図１３７に示されるノイズ除去画像において、図中、右下側に示されるバツ印に対応する部分を拡大したノイズ除去画像である。

図１３５（図１３６）に示される所定のMPEG復号画像と、図１３７（図１３８）に示されるノイズ除去画像とを比較すると、ブロック歪が軽減されていることがわかる。

図１３９は、画像変換処理を行う前の他の所定のMPEG復号画像を示しており、図１４０は、図１３９に示されるMPEG復号画像において、図中、中央上側に示されるバツ印に対応する部分を拡大したMPEG復号画像である。

そして、図１４１は、他の所定のMPEG復号画像に対して画像変換処理を行うことで得られたノイズ除去画像を示しており、図１４２は、図１４１に示されるノイズ除去画像において、図中、中央上側に示されるバツ印に対応する部分を拡大したノイズ除去画像である。

図１３９（図１４０）に示される他の所定のMPEG復号画像と、図１４１（図１４２）に示されるノイズ除去画像とを比較すると、モスキートノイズが軽減されていることがわかる。

図１４３は、図１の画像変換部３１の第９の構成例を示すブロック図である。

なお、図中、図９７の画像変換部３１の場合に対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。

即ち、図１４３の画像変換部３１は、図９７の水平クラスタップ抽出部30062、水平クラス分類部30063、垂直クラスタップ抽出部30066、垂直クラス分類部30067、斜めクラスタップ抽出部30432、および斜めクラス分類部30433に代えて、水平差分クラスタップ抽出部40062、水平クラス分類部40063、垂直差分クラスタップ抽出部40066、垂直クラス分類部40067、斜め差分クラスタップ抽出部40432、斜めクラス分類部40433、ブロック抽出部40436、およびブロック処理部40437が設けられている他は、図９７の場合と同様に構成される。

また、水平差分クラスタップ抽出部40062、垂直差分クラスタップ抽出部40066、斜め差分クラスタップ抽出部40432、ブロック抽出部40436それぞれは、図９７の水平差分クラスタップ抽出部30062a、垂直差分クラスタップ抽出部30062b、斜め差分クラスタップ抽出部30062c、ブロック抽出部30062dそれぞれと同様に構成される。

水平クラス分類部40063の水平差分クラスコード生成部40063a、垂直斜め差分ゼロクラスコード生成部40063b、水平クラスコード出力部40063cそれぞれは、図９８の水平差分クラスコード生成部31015、垂直斜め差分ゼロクラスコード生成部31018、水平クラスコード出力部31019それぞれと同様に構成される。

垂直クラス分類部40067の垂直差分クラスコード生成部40067a、水平斜め差分ゼロクラスコード生成部40067b、垂直クラスコード出力部40067cそれぞれは、図１００の垂直差分クラスコード生成部31035、水平斜め差分ゼロクラスコード生成部31038、垂直クラスコード出力部31039それぞれと同様に構成される。

斜めクラス分類部40433の斜め差分クラスコード生成部40433a、水平垂直差分ゼロクラスコード生成部40433b、斜めクラスコード出力部40433cそれぞれは、図１０２の斜め差分クラスコード生成部31045、水平垂直差分ゼロクラスコード生成部31048、斜めクラスコード出力部31049それぞれと同様に構成される。

ブロック処理部40437の差分絶対値算出部40437a、フィールドフラグ抽出部40437b、閾値選択部40437c、ノイズ検出フラグ判定部40437dそれぞれは、図９８のフィールドフラグ抽出部31012、閾値選択部31014、ノイズ検出フラグ判定部31013それぞれと同様に構成される。

次に、上述した図２、図２１、図２３、図２５、図４７、図７７、図７８、図９７、および図１４３の画像変換部３１、学習部１２１，10121，20121，30121、２段差分学習部１５１，10151，20151、２段反復学習部２７１，10271，20271，３３１，10331，20331、２段差分学習部３０１，10301，20301、３段差分学習部４９１，30491、３段反復学習部５８１，30581が行う一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。

図１４４は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。

CPU（Central Processing Unit）90981は、ROM（Read Only Memory）90982、または記憶部90988に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）90983には、CPU90981が実行するプログラムやデータなどが適宜記憶される。これらのCPU90981、ROM90982、およびRAM90983は、バス90984により相互に接続されている。

CPU90981にはまた、バス90984を介して入出力インタフェース90985が接続されている。入出力インタフェース90985には、キーボード、マウス、マイクロホンなどよりなる入力部90986、ディスプレイ、スピーカなどよりなる出力部90987が接続されている。CPU90981は、入力部90986から入力される指令に対応して各種の処理を実行する。そして、CPU90981は、処理の結果を出力部90987に出力する。

入出力インタフェース90985に接続されている記憶部90988は、例えばハードディスクからなり、CPU90981が実行するプログラムや各種のデータを記憶する。通信部90989は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部90989を介してプログラムを取得し、記憶部90988に記憶してもよい。

入出力インタフェース90985に接続されているドライブ90990は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア90991が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部90988に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１４４に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア90991、または、プログラムが一時的もしくは永続的に格納されるROM90982や、記憶部90988を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部90989を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、図３２の３段反復学習部５８１では、水平処理部６０１からの画像などに基づいて、垂直処理部６０２が垂直係数を学習し、垂直処理部６０２からの画像などに基づいて、斜め処理部６０３が斜め係数を学習することとし、さらに、斜め処理部６０３からの画像などに基づいて、水平処理部６０１が水平係数を学習することとしたが、水平処理部６０１、垂直処理部６０２、および斜め処理部６０３それぞれが行う処理は、それぞれの処理に対称な処理をしているため、画像を供給するブロックと、画像が供給されて係数を学習するブロックの順番を並び替えることができる。

具体的には、例えば、斜め処理部６０３からの画像などに基づいて、垂直処理部６０２が垂直係数を学習し、垂直処理部６０２からの画像などに基づいて、水平処理部６０１が水平係数を学習することとし、さらに、水平処理部６０１からの画像などに基づいて、斜め処理部６０３が斜め係数を学習することとしてもよい。

なお、本発明を適用した画像変換部は、例えば、テレビジョン受像機や、ハードディスクレコーダなどに適用することができる。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像変換部３１の一実施の形態の構成例を示すブロック図である。図１の画像変換部３１の第１の構成例を示すブロック図である。図２の予測演算部６９の構成例を示すブロック図である。図２の画像変換部３１における画像変換処理を説明するフローチャートである。図４のステップＳ３２における水平マッピング処理の詳細を説明するフローチャートである。図４のステップＳ３３における垂直差分マッピング処理の詳細を説明するフローチャートである。水平差分マッピング処理を行う水平差分マッピング部１１１の構成例を示すブロック図である。係数を求める学習を行う学習部１２１の構成例を示すブロック図である。図８の学習部１２１における学習処理を説明するフローチャートである。図２の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部１５１の構成例を示すブロック図である。垂直タップにおける水平差分の差分学習処理を行う図１０の垂直タップ差分学習部１６３の詳細な構成例を示すブロック図である。図１０の２段差分学習部１５１における２段差分学習処理を説明するフローチャートである。図１２のステップＳ１７３の、垂直タップにおける水平差分の差分学習処理の詳細を説明するフローチャートである。水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部２７１の構成例を示すブロック図である。図１４の水平タップ差分学習部２８５の詳細な構成例を示すブロック図である。図１４の２段反復学習部２７１における２段反復学習処理を説明するフローチャートである。図１６のステップＳ２６２の、水平タップにおける垂直差分の差分学習処理を説明するフローチャートである。図２の画像変換部３１で用いられる水平係数および垂直係数を学習する他の２段差分学習部３０１の構成例を示すブロック図である。水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部３３１の構成例を示すブロック図である。図１４の２段反復学習部２７１と、図１９の２段反復学習部３３１とのそれぞれによる、水平係数および垂直係数を反復して求める２段反復学習処理を説明する図である。図１の画像変換部３１の第２の構成例を示すブロック図である。図２１の係数合成部３６７の詳細な構成例を示すブロック図である。図１の画像変換部３１の第３の構成例を示すブロック図である。図２３のクラスタップ分配部４０２における、クラスタップの分割を説明する図である。図１の画像変換部３１の第４の構成例を示すブロック図である。図２５の予測演算部４３５の詳細な構成例を示すブロック図である。図２５の画像変換部３１における画像変換処理を説明するフローチャートである。図２５の画像変換部３１で用いられる水平係数、垂直係数、および斜め係数を学習する３段差分学習部４９１の構成例を示すブロック図である。斜めタップにおける水平垂直差分の差分学習処理を行う図２８の斜めタップ差分学習部５３１の詳細な構成例を示すブロック図である。図２８の３段差分学習部４９１における３段差分学習処理を説明するフローチャートである。図３０のステップＳ３３６の、斜めタップにおける水平垂直差分の差分学習処理を説明するフローチャートである。水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分と、斜め係数を用いた斜め予測演算による斜め処理効果分の寄与分が同等となるように、水平係数、垂直係数、および斜め係数を求める３段反復学習部５８１の構成例を示すブロック図である。図３２の水平処理部６０１の詳細な構成例を示すブロック図である。水平タップにおける斜め水平差分の差分学習処理を行う図３３の水平タップ差分学習部６３３の詳細な構成例を示すブロック図である。図３２の垂直処理部６０２の詳細な構成例を示すブロック図である。垂直タップにおける斜め水平差分の差分学習処理を行う図３５の垂直タップ差分学習部６９３の詳細な構成例を示すブロック図である。図３２の斜め処理部６０３の詳細な構成例を示すブロック図である。斜めタップにおける水平垂直差分の差分学習処理を行う図３７の斜めタップ差分学習部７５３の詳細な構成例を示すブロック図である。図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。図３２の３段反復学習部５８１における３段反復学習処理を説明するフローチャートである。ボリューム処理を行う図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。ボリューム処理により係数を操作する具体的な方法を説明する図である。所定の水平クラスに対応する世代ごとの水平係数を示す図である。図４３により示された第０世代乃至第４世代の、タップ番号に対応する水平予測タップの画素値に乗算される水平係数それぞれが、世代が進むごとに、所定の値に収束することを示す図である。他の水平クラスに対応する世代ごとの水平係数を示す図である。図４５により示された第０世代乃至第４世代の、タップ番号に対応する水平予測タップの画素値に乗算される水平係数それぞれが、世代が進むごとに、所定の値に収束することを示す他の図である。図１の画像変換部３１の第５の構成例を示すブロック図である。図４７の水平予測タップ抽出部10061や垂直予測タップ抽出部10065による予測タップの抽出方法を説明する図である。図４７の水平クラス分類部10063の詳細な構成例を示すブロック図である。 MPEG復号画像における所定のブロックのブロック構造を説明する図である。図４９の差分絶対値算出部11011、ノイズ検出フラグ判定部11013、および閾値選択部11014における処理を説明する図である。図４９の水平差分クラスコード生成部11015による水平差分クラスコードの生成方法を説明する図である。図４９の水平クラスコード出力部11018が出力する水平クラスコードを示す図である。図４７の垂直クラス分類部10067の詳細な構成例を示すブロック図である。図５４の垂直クラスコード出力部11038が出力する垂直クラスコードを示す図である。図４７の予測演算部10069の詳細な構成例を示すブロック図である。図４７の画像変換部３１における画像変換処理を説明するフローチャートである。図５７のステップＳ10032における水平マッピング処理の詳細を説明するフローチャートである。図５８のステップＳ10063の水平クラス分類における処理の詳細を説明するフローチャートである。図５７のステップＳ10033における垂直差分マッピング処理の詳細を説明するフローチャートである。図６０のステップＳ10093における垂直クラス分類における処理の詳細を説明するフローチャートである。水平差分マッピング処理を行う水平差分マッピング部10111の構成例を示すブロック図である。係数を求める学習を行う学習部10121の構成例を示すブロック図である。図６３のクラス分類部10135の詳細な構成例を示すブロック図である。図６３の学習部10121における学習処理を説明するフローチャートである。図６５のステップＳ10125のクラス分類における処理を詳細に説明するフローチャートである。図４７の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部10151の構成例を示すブロック図である。垂直タップにおける水平差分の差分学習処理を行う図６７の垂直タップ差分学習部10163の詳細な構成例を示すブロック図である。図６７の２段差分学習部10151における２段差分学習処理を説明するフローチャートである。図６９のステップＳ10173の、垂直タップにおける水平差分の差分学習処理の詳細を説明するフローチャートである。水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部10271の構成例を示すブロック図である。図７１の水平タップ差分学習部10285の詳細な構成例を示すブロック図である。図７１の２段反復学習部10271における２段反復学習処理を説明するフローチャートである。図７３のステップＳ10262の、水平タップにおける垂直差分の差分学習処理を説明するフローチャートである。図４７の画像変換部３１で用いられる水平係数および垂直係数を学習する他の２段差分学習部10301の構成例を示すブロック図である。水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部10331の構成例を示すブロック図である。図１の画像変換部３１の第６の構成例を示すブロック図である。図１の画像変換部３１の第７の構成例を示すブロック図である。図７８の予測演算部20069の構成例を示すブロック図である。図７８のモード判定部20031および20032により判定される画素位置モードおよび領域情報を説明する図である。図７８の画像変換部３１における画像変換処理を説明するフローチャートである。図８１のステップＳ20032における水平マッピング処理の詳細を説明するフローチャートである。図８１のステップＳ20033における垂直差分マッピング処理の詳細を説明するフローチャートである。水平差分マッピング処理を行う水平差分マッピング部20111の構成例を示すブロック図である。係数を求める学習を行う学習部20121の構成例を示すブロック図である。図８５の学習部20１２１における学習処理を説明するフローチャートである。図７８の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部20151の構成例を示すブロック図である。垂直タップにおける水平差分の差分学習処理を行う図８７の垂直タップ差分学習部20163の詳細な構成例を示すブロック図である。図８７の２段差分学習部20151における２段差分学習処理を説明するフローチャートである。図８９のステップＳ20173の、垂直タップにおける水平差分の差分学習処理の詳細を説明するフローチャートである。水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部20271の構成例を示すブロック図である。図９０の水平タップ差分学習部20285の詳細な構成例を示すブロック図である。図９１の２段反復学習部20271における２段反復学習処理を説明するフローチャートである。図９３のステップＳ20262の、水平タップにおける垂直差分の差分学習処理を説明するフローチャートである。図７８の画像変換部３１で用いられる水平係数および垂直係数を学習する他の２段差分学習部20301の構成例を示すブロック図である。水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部20331の構成例を示すブロック図である。図１の画像変換部３１の第８の構成例を示すブロック図である。図９７の水平クラス分類部30063の詳細な構成例を示すブロック図である。図９８の水平クラスコード出力部31019が出力する水平クラスコードを示す図である。図９７の垂直クラス分類部30067の詳細な構成例を示すブロック図である。図１００の垂直クラスコード出力部31039が出力する垂直クラスコードを示す図である。図９７の斜めクラス分類部30433の詳細な構成例を示すブロック図である。図１０２の斜めクラスコード出力部31049が出力する斜めクラスコードを示す図である。図９７の予測演算部30435の詳細な構成例を示すブロック図である。図９７の画像変換部３１における画像変換処理を説明するフローチャートである。図１０５のステップＳ30312における水平マッピング処理の詳細を説明するフローチャートである。図１０６のステップＳ30063における水平クラス分類における処理の詳細を説明するフローチャートである。図１０５のステップＳ30313における垂直差分マッピング処理の詳細を説明するフローチャートである。図１０８のステップＳ30093の垂直クラス分類における処理の詳細を説明するフローチャートである。図１０５のステップＳ30315における斜め差分マッピング処理の詳細を説明するフローチャートである。図１１０のステップＳ30193の斜めクラス分類における処理の詳細を説明するフローチャートである。水平クラス、垂直クラス、および斜めクラスにより得られる実質的なクラス数を説明する図である。水平差分マッピング処理を行う水平差分マッピング部30111の構成例を示すブロック図である。係数を求める学習を行う学習部30121の構成例を示すブロック図である。図１１４のクラス分類部30135の詳細な構成例を示すブロック図である。図１１４の学習部30121における学習処理を説明するフローチャートである。図１１６のステップＳ30125のクラス分類における処理の詳細を説明するフローチャートである。図９７の画像変換部３１で用いられる水平係数、垂直係数、および斜め係数を学習する３段差分学習部30491の構成例を示すブロック図である。垂直タップにおける水平差分の差分学習処理を行う図１１８の垂直タップ差分学習部32163の詳細な構成例を示すブロック図である。斜めタップにおける水平垂直差分の差分学習処理を行う図１１８の斜めタップ差分学習部30531の詳細な構成例を示すブロック図である。図１１８の３段差分学習部30491における３段差分学習処理を説明するフローチャートである。図１２１のステップＳ30333の、垂直タップにおける水平差分の差分学習処理を説明するフローチャートである。図１２１のステップＳ30336の、斜めタップにおける水平垂直差分の差分学習処理を説明するフローチャートである。水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分と、斜め係数を用いた斜め予測演算による斜め処理効果分の寄与分が同等となるように、水平係数、垂直係数、および斜め係数を求める３段反復学習部30581の構成例を示すブロック図である。図１２４の水平処理部30601の詳細な構成例を示すブロック図である。水平タップにおける斜め水平差分の差分学習処理を行う図１２５の水平タップ差分学習部30633の詳細な構成例を示すブロック図である。図１２４の垂直処理部30602の詳細な構成例を示すブロック図である。垂直タップにおける斜め水平差分の差分学習処理を行う図１２７の垂直タップ差分学習部30693の詳細な構成例を示すブロック図である。図１２４の斜め処理部30603の詳細な構成例を示すブロック図である。斜めタップにおける水平垂直差分の差分学習処理を行う図１２９の斜めタップ差分学習部30753の詳細な構成例を示すブロック図である。図１２４の３段反復学習部30581による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。図１２４の３段反復学習部30581における３段反復学習処理を説明するフローチャートである。所定のMPEG復号画像と、MPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像とのＳ/Ｎ比を比較した第１の図である。所定のMPEG復号画像と、MPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像とのＳ/Ｎ比を比較した第２の図である。所定のMPEG復号画像を示す第１の図である。所定のMPEG復号画像を示す第２の図である。図１３５（図１３６）の所定のMPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像を示す第１の図である。図１３５（図１３６）の所定のMPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像を示す第２の図である。他の所定のMPEG復号画像を示す第１の図である。他の所定のMPEG復号画像を示す第２の図である。図１３９（図１４０）の他の所定のMPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像を示す第１の図である。図１３９（図１４０）の所定のMPEG復号画像に画像変換処理を行うことで得られたノイズ除去画像を示す第２の図である。図１の画像変換部３１の第９の構成例を示すブロック図である。コンピュータの構成例を示すブロック図である。

符号の説明

３１画像変換部，６１水平予測タップ抽出部，６２水平クラスタップ抽出部，６３水平クラス分類部，６４水平係数記憶部，６５垂直予測タップ抽出部，６６垂直クラスタップ抽出部，６７垂直クラス分類部，６８垂直係数記憶部，６９予測演算部，７１水平マッピング部，７２垂直マッピング部，７３垂直差分マッピング部，１０１水平予測演算部，１０２垂直予測演算部，１０３ゲイン調整部，１０４加算部，１１１水平差分マッピング部，１１２ゲイン調整部，１２１学習部，１３１原画像記憶部，１３２ノイズ付加部，１３３予測タップ抽出部，１３４クラスタップ抽出部，１３５クラス分類部，１３６足し込み部，１３７係数算出部，１５１２段差分学習部，１６１水平タップ学習部，１６２水平マッピング部，１６３垂直タップ差分学習部，１６４垂直差分マッピング部，１６５加算部，２７１２段反復学習部，２８４垂直マッピング部，２８５水平タップ差分学習部，３６７係数合成部，４３１斜め予測タップ抽出部，４３２斜めクラスタップ抽出部，４３３斜めクラス分類部，斜め係数記憶部４３４，４３５予測演算部，４６１斜め予測演算部，４６２ゲイン調整部，４６３加算部，４７１斜めマッピング部，４７２斜め差分マッピング部，４９１３段差分学習部，５３１斜めタップ差分学習部，５８１３段反復学習部，６０１水平処理部，６０２垂直処理部，６０３斜め処理部，６３１水平タップ学習部，６３２水平マッピング部，６３３水平タップ差分学習部，６３４水平差分加算マッピング部，６６１水平差分マッピング部，６６２加算部，６９１垂直タップ学習部，６９２垂直マッピング部，６９３垂直タップ差分学習部，６９４垂直差分加算マッピング部，７２１垂直差分マッピング部，７２２加算部，７５１斜めタップ学習部，７５２斜めマッピング部，７５３斜めタップ差分学習部，７５４斜め差分加算マッピング部，７８１斜め差分マッピング部，７８２加算部， 10061 水平予測タップ抽出部， 10062 水平クラスタップ抽出部， 10063 水平クラス分類部， 10065 垂直予測タップ抽出部， 10066 垂直クラスタップ抽出部， 10067 垂直クラス分類部， 20031，20032 モード判定部， 20064 水平係数記憶部， 20068 垂直係数記憶部， 20069 予測演算部， 20121 学習部， 20131 原画像記憶部， 20132 ノイズ付加部， 20133 予測タップ抽出部， 20134 クラスタップ抽出部， 20135 クラス分類部， 20136 足し込み部， 20137 係数算出部， 20141 モード判定部， 20151 ２段差分学習部， 20161 水平タップ学習部， 20162 水平マッピング部， 20163 垂直タップ差分学習部，２７１２段反復学習部， 21161 水平タップ学習部， 21162 水平マッピング部， 21163 垂直タップ差分学習部， 20284 垂直マッピング部， 20285 水平タップ差分学習部， 30031乃至30033 モード判定部， 30061 水平予測タップ抽出部， 30062 水平クラスタップ抽出部， 30063 水平クラス分類部， 30064 水平係数記憶部， 30065 垂直予測タップ抽出部， 30066 垂直クラスタップ抽出部， 30067 垂直クラス分類部， 30068 垂直係数記憶部， 30431 斜め予測タップ抽出部， 30432 斜めクラスタップ抽出部， 30433 斜めクラス分類部， 30434 斜め係数記憶部， 30435 予測演算部， 30121 学習部， 30131 原画像記憶部， 30132 ノイズ付加部， 30133 予測タップ抽出部， 30134 クラスタップ抽出部， 30135 クラス分類部， 30136 足し込み部， 30137 係数算出部， 30141 モード判定部， 30491 ３段差分学習部， 32161 水平タップ学習部， 32162 水平マッピング部， 32163 垂直タップ差分学習部， 32164 垂直差分マッピング部， 32165 加算部， 30531 斜めタップ差分学習部， 30581 ３段反復学習部， 30601 水平処理部， 30602 垂直処理部， 30603 斜め処理部

Claims

第１の画像データを第２の画像データに変換する画像処理装置において、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出手段と、
複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、
前記クラス分類手段によりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出手段と、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力手段と、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算手段と
を備え、
前記クラス分類手段は、
注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成手段と、
注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成手段により生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成手段と
を有し、
前記第１および第３のサブコード生成手段により生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする
画像処理装置。
前記第１の画像データは、所定の画像データを、所定のブロックごとに２次元DCT（Discrete Cosine Transform）変換して得られる符号化データを復号することで得られた画像データである
請求項１に記載の画像処理装置。
前記所定のブロックが、フレーム構造であるか、フィールド構造であるかを判定する判定手段をさらに備え、
前記予測タップ抽出手段は、前記判定手段の判定結果に基づいて、前記注目画素との位置関係が異なる複数の画素を、前記予測タップとして抽出する
請求項２に記載の画像処理装置。
前記予測タップ抽出手段は、前記注目画素に対応する前記予測タップを、前記注目画素を含むブロックと、そのブロックに隣接するブロックから抽出する
請求項２に記載の画像処理装置。
前記予測タップ抽出手段は、前記注目画素に対応する前記予測タップの一部として、前記注目画素を含むブロックに隣接する画素を抽出する
請求項４に記載の画像処理装置。
前記所定の演算に用いられる閾値を、前記第１の画像データの画素を用いて算出する閾値算出手段をさらに備え、
前記第１および第２のサブコード生成手段は、前記閾値算出手段により算出された前記閾値を用いて、前記所定の演算を行う
請求項１に記載の画像処理装置。
前記閾値算出手段は、前記閾値を、前記注目画素を含むブロックの画素を用いて算出する
請求項６に記載の画像処理装置。
前記ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに備え、
前記係数出力手段は、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数すべてを、複数の前記予測タップそれぞれに対して出力し、
前記予測演算手段は、複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数のうちの、前記画素位置モードに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める
請求項１に記載の画像処理装置。
前記ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる
請求項８に記載の画像処理装置。
前記ブロックを複数の領域に区分したときに、前記注目画素が、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに備え、
前記予測演算は、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める
請求項９に記載の画像処理装置。
第１の画像データを第２の画像データに変換する画像処理方法において、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出ステップと、
複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力ステップと、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算ステップと
を含み、
前記クラス分類ステップは、
注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成ステップと、
注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップと
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする
画像処理方法。
第１の画像データを第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データの注目している画素である注目画素に対応する、前記第２の画像データの画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから複数抽出する予測タップ抽出ステップと、
複数の前記予測タップそれぞれを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
前記クラス分類ステップによりクラス分けされる前記予測タップのクラスを表すクラスコードの一部である第1のサブコードを生成するのに用いる複数の画素であるサブクラスタップを、前記第１の画像データから抽出するサブクラスタップ抽出ステップと、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数のクラスに対応する係数の中から、前記予測タップのクラスに対応する係数を、複数の前記予測タップそれぞれに対して出力する係数出力ステップと、
複数の前記予測タップそれぞれと、前記予測タップのクラスに対応する係数とを用いた前記予測演算により、前記注目画素に対応する、前記第２の画像データの画素を求める予測演算ステップと
を含み、
前記クラス分類ステップは、
注目画素についての複数の予測タップのうちの所定の前記予測タップに対応する前記サブクラスタップを用いて所定の演算を行うことにより、前記第１のサブコードを生成する第1のサブコード生成ステップと、
注目画素についての複数の予測タップのうちの他の前記予測タップに対応する前記サブクラスタップを用いて前記所定の演算を行うことにより、他の前記予測タップのクラスを表すクラスコードの一部である第２のサブコードを生成する第２のサブコード生成ステップにより生成される前記第２のサブコードを用いて、他の所定の演算を行うことにより、所定の前記予測タップのクラスを表すクラスコードの他の一部である第３のサブコードを生成する第３のサブコード生成ステップと
を有し、
前記第１および第３のサブコード生成ステップにより生成された第１および第３のサブコードを組み合わせることにより得られるクラスコードが表すクラスを、所定の前記予測タップのクラスとする
画像処理をコンピュータに実行させるプログラム。