JP5029869B2 - 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム - Google Patents

画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム Download PDF

Info

Publication number
JP5029869B2
JP5029869B2 JP2006304198A JP2006304198A JP5029869B2 JP 5029869 B2 JP5029869 B2 JP 5029869B2 JP 2006304198 A JP2006304198 A JP 2006304198A JP 2006304198 A JP2006304198 A JP 2006304198A JP 5029869 B2 JP5029869 B2 JP 5029869B2
Authority
JP
Japan
Prior art keywords
image
image data
tap
prediction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006304198A
Other languages
English (en)
Other versions
JP2008124639A (ja
Inventor
秀樹 大塚
悠太 長木
恵司 堀田
朋範 河瀬
正康 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006304198A priority Critical patent/JP5029869B2/ja
Publication of JP2008124639A publication Critical patent/JP2008124639A/ja
Application granted granted Critical
Publication of JP5029869B2 publication Critical patent/JP5029869B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラムに関し、特に、例えば、より高画質の画像を生成することができるようにした画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラムに関する。
本出願人は、例えば、歪みその他のノイズを含むノイズ画像を、そのノイズ画像に含まれるノイズを除去したノイズ除去画像に変換する方法として、クラス分類適応処理を先に提案している（例えば、特許文献１を参照）。
クラス分類適応処理では、例えば、ノイズ画像の複数の画素を予測タップとして、その予測タップの画素値と、教師画像および生徒画像を用いた学習により、あらかじめ求めておいた係数を用いた所定の予測演算により、ノイズ画像からノイズ除去画像が予測される。
即ち、クラス分類適応処理では、予測タップを、複数のクラスのうちのいずれかのクラスにクラス分類し、そのクラスに応じた係数と、予測タップとを用いて予測演算が行われることにより、ノイズ画像からノイズ除去画像が予測される。
そして、一般には、クラス分類し得るクラスの総数が多いほうが、予測の精度を向上させることができる。
特開２００３−３２４７３８号公報
しかしながら、予測演算に用いられる係数の総数は、クラス分類し得るクラスの総数に比例するため、クラス分類し得るクラスの総数が多くなるほど、係数を記憶するメモリの容量も大となる。
本発明はこのような状況に鑑みてなされたものであり、係数の総数を抑えつつ、より高画質の画像を予測することができるようにするものである。
本発明の第１の側面の画像処理装置は、第１の画像データを第２の画像データに変換する画像処理装置において、前記第２の画像データを構成する各画素のうち、前記第１の画像データの注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから抽出する予測タップ抽出手段と、前記予測タップとして抽出された画素であって、所定の方向に並ぶ画素を表す所定方向予測タップのクラス分類に用いる複数の画素であるクラスタップを、前記第１の画像データから抽出するクラスタップ抽出手段と、前記予測タップとして抽出された画素であって、第１の方向に並ぶ画素を表す第１方向予測タップのクラス分類用とされる第１の前記クラスタップに基づいて、前記第１方向予測タップを、複数の第１方向クラスのいずれかの第１方向クラスにクラス分類する第１方向クラス分類手段と、前記予測タップとして抽出された画素であって、前記第１の方向とは異なる第２の方向に並ぶ画素を表す第２方向予測タップのクラス分類用とされる第２の前記クラスタップに基づいて、前記第２方向予測タップを、複数の第２方向クラスのいずれかの第２方向クラスにクラス分類する第２方向クラス分類手段と、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数の第１方向クラス毎の第１方向係数を予め記憶している第１の記憶部から、前記第１方向予測タップの第１方向クラスに対応する第１方向係数を出力させる第１方向係数出力手段と、前記学習によりあらかじめ求められた、前記複数の第２方向クラス毎の第２方向係数を予め記憶している第２の記憶部から、前記第２方向予測タップの第２方向クラスに対応する第２方向係数を出力させる第２方向係数出力手段と、前記第１方向係数出力手段から出力された前記第１方向係数、前記第２方向係数出力手段から出力された前記第２方向係数、及び前記予測タップ抽出手段により抽出された前記予測タップを用いた前記予測演算により、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する予測演算手段とを備え、前記予測演算手段は、前記予測タップ抽出手段が、前記予測タップとして、前記第１方向予測タップ及び前記第２方向予測タップを、前記第１の画像データから抽出するものである場合、前記予測演算として、前記第１方向予測タップと前記第１方向係数との積和演算、及び前記第２方向予測タップと前記第２方向係数との積和演算を行うことにより、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する画像処理装置である。
前記予測演算手段には、前記予測タップ抽出手段が、前記予測タップとして、前記第１の方向及び前記第２の方向に並ぶ複数の画素を表す複数方向予測タップを、前記第１の画像データから抽出するものである場合、前記予測演算として、前記第１方向係数及び前記第２方向係数を合成して得られる合成係数と、前記複数方向予測タップとの積和演算を行うことにより、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測させることができる。
本発明の第１の側面の画像処理方法、またプログラムは、第１の画像データを第２の画像データに変換する画像処理装置の画像処理方法、または第１の画像データを第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、前記第２の画像データを構成する各画素のうち、前記第１の画像データの注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから抽出する予測タップ抽出ステップと、前記予測タップとして抽出された画素であって、所定の方向に並ぶ画素を表す所定方向予測タップのクラス分類に用いる複数の画素であるクラスタップを、前記第１の画像データから抽出するクラスタップ抽出ステップと、前記予測タップとして抽出された画素であって、第１の方向に並ぶ画素を表す第１方向予測タップのクラス分類用とされる第１の前記クラスタップに基づいて、前記第１方向予測タップを、複数の第１方向クラスのいずれかの第１方向クラスにクラス分類する第１方向クラス分類ステップと、前記予測タップとして抽出された画素であって、前記第１の方向とは異なる第２の方向に並ぶ画素を表す第２方向予測タップのクラス分類用とされる第２の前記クラスタップに基づいて、前記第２方向予測タップを、複数の第２方向クラスのいずれかの第２方向クラスにクラス分類する第２方向クラス分類ステップと、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数の第１方向クラス毎の第１方向係数を予め記憶している第１の記憶部から、前記第１方向予測タップの第１方向クラスに対応する第１方向係数を出力させる第１方向係数出力ステップと、前記学習によりあらかじめ求められた、前記複数の第２方向クラス毎の第２方向係数を予め記憶している第２の記憶部から、前記第２方向予測タップの第２方向クラスに対応する第２方向係数を出力させる第２方向係数出力ステップと、前記第１方向係数出力ステップで出力された前記第１方向係数、前記第２方向係数出力ステップで出力された前記第２方向係数、及び前記予測タップ抽出ステップで抽出された前記予測タップを用いた前記予測演算により、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する予測演算ステップとを含み、前記予測演算ステップは、前記予測タップ抽出ステップが、前記予測タップとして、前記第１方向予測タップ及び前記第２方向予測タップを、前記第１の画像データから抽出するものである場合、前記予測演算として、前記第１方向予測タップと前記第１方向係数との積和演算、及び前記第２方向予測タップと前記第２方向係数との積和演算を行うことにより、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する画像処理方法、または画像処理をコンピュータに実行させるプログラムである。
本発明の第１の側面においては、前記第２の画像データを構成する各画素のうち、前記第１の画像データの注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップが、前記第１の画像データから抽出され、前記予測タップとして抽出された画素であって、所定の方向に並ぶ画素を表す所定方向予測タップのクラス分類に用いる複数の画素であるクラスタップが、前記第１の画像データから抽出され、前記予測タップとして抽出された画素であって、第１の方向に並ぶ画素を表す第１方向予測タップのクラス分類用とされる第１の前記クラスタップに基づいて、前記第１方向予測タップが、複数の第１方向クラスのいずれかの第１方向クラスにクラス分類され、前記予測タップとして抽出された画素であって、前記第１の方向とは異なる第２の方向に並ぶ画素を表す第２方向予測タップのクラス分類用とされる第２の前記クラスタップに基づいて、前記第２方向予測タップが、複数の第２方向クラスのいずれかの第２方向クラスにクラス分類され、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数の第１方向クラス毎の第１方向係数を予め記憶している第１の記憶部から、前記第１方向予測タップの第１方向クラスに対応する第１方向係数が出力され、前記学習によりあらかじめ求められた、前記複数の第２方向クラス毎の第２方向係数を予め記憶している第２の記憶部から、前記第２方向予測タップの第２方向クラスに対応する第２方向係数が出力され、出力された前記第１方向係数、出力された前記第２方向係数、及び抽出された前記予測タップを用いた前記予測演算により、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素が予測される。なお、前記予測タップとして、前記第１方向予測タップ及び前記第２方向予測タップが、前記第１の画像データから抽出されるものである場合、前記予測演算として、前記第１方向予測タップと前記第１方向係数との積和演算、及び前記第２方向予測タップと前記第２方向係数との積和演算が行われることにより、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素が予測される。
本発明の第２の側面の学習装置は、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置において、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習手段と、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、前記第Ｍ’の係数を求める第２乃至第Ｍの学習手段とを備え、前記第１乃至第Ｍの学習手段のうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習手段は、前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出手段と、前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの前記係数を演算する演算手段とを有する学習装置である。
第２の側面の学習方法、またはプログラムは、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置の学習方法、または第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習ステップと、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、前記第Ｍ’の係数を求める第２乃至第Ｍの学習ステップとを含み、前記第１乃至第Ｍの学習ステップのうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習ステップは、前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップと、前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの前記係数を演算する演算ステップとを含む学習方法、又は学習処理をコンピュータに実行させるプログラムである。
本発明の第２の側面においては、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により前記第１の係数が求められ、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により前記第Ｍ’の係数が求められる。
本発明の第３の側面の学習装置は、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置において、前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出手段と、前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の前記係数を演算する演算手段とを有する第１乃至第Ｍの学習手段を備え、前記第１乃至第Ｍの学習手段のうち、第ｍの学習手段は、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する学習装置である。
第３の側面の学習装置では、Ｍが３以上である場合、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分を弱めるように、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数のゲインを調整する第ｍの係数調整手段をさらに設けることができ、前記第１乃至第Ｍの学習手段のうち、前記第ｍの学習手段は、前記第１の画像データに相当する画像データを生徒画像とし、前記第ｍの係数調整手段によりゲインが調整された係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習させることができる。
本発明の第３の側面の学習方法、またはプログラムは、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置の学習方法、または第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップと、前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の前記係数を演算する演算ステップとを有する第１乃至第Ｍの学習ステップを含み、前記第１乃至第Ｍの学習ステップのうち、第ｍの学習ステップは、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する学習方法、または学習処理をコンピュータに実行させるプログラムである。
本発明の第３の側面においては、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数が求められ、さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数が学習される。
本発明の第１の側面によれば、係数の総数を抑えつつ、より高画質の画像を生成することができる。
また、本発明の第２および第３の側面によれば、係数の総数を抑えつつ、より高画質の画像を生成するための係数を生成することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面の画像処理装置は、第１の画像データを第２の画像データに変換する画像処理装置（例えば、図２の画像変換部３１）において、
前記第２の画像データを構成する各画素のうち、前記第１の画像データの注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから抽出する予測タップ抽出手段（例えば、図２の水平予測タップ抽出部６１及び垂直予測タップ抽出部６５、又は図２１の予測タップ抽出部３６８）と、
前記予測タップとして抽出された画素であって、所定の方向に並ぶ画素を表す所定方向予測タップのクラス分類に用いる複数の画素であるクラスタップを、前記第１の画像データから抽出するクラスタップ抽出手段（例えば、図２の水平クラスタップ抽出部６２及び垂直クラスタップ抽出部６６、又は図２３のクラスタップ抽出部４０１）と、
前記予測タップとして抽出された画素であって、第１の方向に並ぶ画素を表す第１方向予測タップのクラス分類用とされる第１の前記クラスタップに基づいて、前記第１方向予測タップを、複数の第１方向クラスのいずれかの第１方向クラスにクラス分類する第１方向クラス分類手段（例えば、図２の水平クラス分類部６３）と、
前記予測タップとして抽出された画素であって、前記第１の方向とは異なる第２の方向に並ぶ画素を表す第２方向予測タップのクラス分類用とされる第２の前記クラスタップに基づいて、前記第２方向予測タップを、複数の第２方向クラスのいずれかの第２方向クラスにクラス分類する第２方向クラス分類手段（例えば、図２の垂直クラス分類部６７）と、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数の第１方向クラス毎の第１方向係数を予め記憶している第１の記憶部から、前記第１方向予測タップの第１方向クラスに対応する第１方向係数を出力させる第１方向係数出力手段（例えば、図２の水平係数記憶部６４）と、
前記学習によりあらかじめ求められた、前記複数の第２方向クラス毎の第２方向係数を予め記憶している第２の記憶部から、前記第２方向予測タップの第２方向クラスに対応する第２方向係数を出力させる第２方向係数出力手段（例えば、図２の垂直係数記憶部６８）と、
前記第１方向係数出力手段から出力された前記第１方向係数、前記第２方向係数出力手段から出力された前記第２方向係数、及び前記予測タップ抽出手段により抽出された前記予測タップを用いた前記予測演算により、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する予測演算手段（例えば、図２の予測演算部６９、又は図２１の予測演算部３６９）と
を備え、
前記予測演算手段は、
前記予測タップ抽出手段が、前記予測タップとして、前記第１方向予測タップ及び前記第２方向予測タップを、前記第１の画像データから抽出するものである場合（例えば、図２の水平予測タップ抽出部６１及び垂直予測タップ抽出部６５である場合）、
前記予測演算として、前記第１方向予測タップと前記第１方向係数との積和演算、及び前記第２方向予測タップと前記第２方向係数との積和演算を行うことにより、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する（例えば、図２の予測演算部６９）
画像処理装置である。
前記予測演算手段は、
前記予測タップ抽出手段が、前記予測タップとして、前記第１の方向及び前記第２の方向に並ぶ複数の画素を表す複数方向予測タップを、前記第１の画像データから抽出するものである場合（例えば、図２１の予測タップ抽出部３６８である場合）、
前記予測演算として、前記第１方向係数及び前記第２方向係数を合成して得られる合成係数と、前記複数方向予測タップとの積和演算を行うことにより、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する（例えば、図２１の予測演算部３６９）。
本発明の第１の側面の画像処理方法、またはプログラムは、第１の画像データを第２の画像データに変換する画像処理装置の画像処理方法、または第１の画像データを第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、
前記第２の画像データを構成する各画素のうち、前記第１の画像データの注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから抽出する予測タップ抽出ステップ（例えば、図５のステップＳ６１及び図６のステップＳ９１）と、
前記予測タップとして抽出された画素であって、所定の方向に並ぶ画素を表す所定方向予測タップのクラス分類に用いる複数の画素であるクラスタップを、前記第１の画像データから抽出するクラスタップ抽出ステップ（例えば、図５のステップＳ６２及び図６のステップＳ９２）と、
前記予測タップとして抽出された画素であって、第１の方向に並ぶ画素を表す第１方向予測タップのクラス分類用とされる第１の前記クラスタップに基づいて、前記第１方向予測タップを、複数の第１方向クラスのいずれかの第１方向クラスにクラス分類する第１方向クラス分類ステップ（例えば、図５のステップＳ６３）と、
前記予測タップとして抽出された画素であって、前記第１の方向とは異なる第２の方向に並ぶ画素を表す第２方向予測タップのクラス分類用とされる第２の前記クラスタップに基づいて、前記第２方向予測タップを、複数の第２方向クラスのいずれかの第２方向クラスにクラス分類する第２方向クラス分類ステップ（例えば、図６のステップＳ９３）と、
前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数の第１方向クラス毎の第１方向係数を予め記憶している第１の記憶部から、前記第１方向予測タップの第１方向クラスに対応する第１方向係数を出力させる第１方向係数出力ステップ（例えば、図５のステップＳ６４）と、
前記学習によりあらかじめ求められた、前記複数の第２方向クラス毎の第２方向係数を予め記憶している第２の記憶部から、前記第２方向予測タップの第２方向クラスに対応する第２方向係数を出力させる第２方向係数出力ステップ（例えば、図６のステップＳ９４）と、
前記第１方向係数出力ステップで出力された前記第１方向係数、前記第２方向係数出力ステップで出力された前記第２方向係数、及び前記予測タップ抽出ステップで抽出された前記予測タップを用いた前記予測演算により、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する予測演算ステップ（例えば、図４のステップＳ３４、図５のステップＳ６５、図６のステップＳ９５およびステップＳ９６）と
を含み、
前記予測演算ステップは、
前記予測タップ抽出ステップが、前記予測タップとして、前記第１方向予測タップ及び前記第２方向予測タップを、前記第１の画像データから抽出するものである場合、
前記予測演算として、前記第１方向予測タップと前記第１方向係数との積和演算、及び前記第２方向予測タップと前記第２方向係数との積和演算を行うことにより、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する
画像処理方法、又は画像処理をコンピュータに実行させるプログラムである。
本発明の第２の側面の学習装置は、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置（例えば、図１０の２段差分学習部１５１）において、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習手段（例えば、図１０の水平タップ学習部１６１）と、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、前記第Ｍ’の係数を求める第２乃至第Ｍの学習手段（例えば、図１０の垂直タップ差分学習部１６３）と
を備え、
前記第１乃至第Ｍの学習手段のうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習手段（例えば、図１０の水平タップ学習部１６１や、垂直タップ差分学習部１６３）は、
前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段（例えば、図８の予測タップ抽出部１３３や、図１１の垂直予測タップ抽出部１１３３）と、
前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出手段（例えば、図８のクラスタップ抽出部１３４や、図１１の垂直クラスタップ抽出部１１３４）と、
前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段（例えば、図８のクラス分類部１３５や、図１１の垂直クラス分類部１１３５）と、
前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの前記係数を演算する演算手段（例えば、図８の足し込み部１３６および係数算出部１３７や、図１１の足し込み部１１３６および係数算出部１１３７）と
を有する学習装置である。
本発明の第２の側面の学習方法、またはプログラムは、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置の学習方法、または第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習ステップ（例えば、図１２のステップＳ１７１）と、
前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、前記第Ｍ’の係数を求める第２乃至第Ｍの学習ステップ（例えば、図１２のステップＳ１７３）と
を含み、
前記第１乃至第Ｍの学習ステップのうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習ステップ（例えば、図１２のステップＳ１７１や、ステップＳ１７３）は、
前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップ（例えば、図９のステップＳ１２３や、図１３のステップＳ２０４）と、
前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップ（例えば、図９のステップＳ１２４や、図１３のステップＳ２０５）と、
前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップ（例えば、図９のステップＳ１２５や、図１３のステップＳ２０６）と、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの前記係数を演算する演算ステップ（例えば、図９のステップＳ１２６およびステップＳ１２８や、図１３のステップＳ２０７およびステップＳ２０９）と
を含む学習方法、又は学習処理をコンピュータに実行させるプログラムである。
本発明の第３の側面の学習装置は、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置（例えば、図１４の２段反復学習部２７１）において、
前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段（例えば、図８の予測タップ抽出部１３３や、図１５の水平予測タップ抽出部２１３３）と、
前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出手段（例えば、図８のクラスタップ抽出部１３４や、図１５の水平クラスタップ抽出部２１３４）と、
前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段（例えば、図８のクラス分類部１３５や、図１５の水平クラス分類部２１３５）と、
前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の前記係数を演算する演算手段（例えば、図８の足し込み部１３６および係数算出部１３７や、図１５の足し込み部２１３６および係数算出部２１３７）と
を有する第１乃至第Ｍの学習手段
を備え、
前記第１乃至第Ｍの学習手段のうち、第ｍの学習手段は、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する学習装置である。
第３の側面の学習装置では、Ｍが３以上である場合、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分を弱めるように、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数のゲインを調整する第ｍの係数調整手段（例えば、図４１のボリューム操作部８１１や、ボリューム操作部８１２、ボリューム操作部８１３）をさらに備え、
前記第１乃至第Ｍの学習手段のうち、前記第ｍの学習手段は、前記第１の画像データに相当する画像データを生徒画像とし、前記第ｍの係数調整手段によりゲインが調整された係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する。
本発明の第３の側面の学習方法、またはプログラムは、第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置の学習方法、または第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、
前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップ（例えば、図９のステップＳ１２３や、図１７のステップＳ２７４）と、
前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップ（例えば、図９のステップＳ１２４や、図１７のステップＳ２７５）と、
前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップ（例えば、図９のステップＳ１２５や、図１７のステップＳ２７６）と、
前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の前記係数を演算する演算ステップ（例えば、図９のステップＳ１２６およびステップＳ１２８や、図１７のステップＳ２７７およびステップＳ２７９）と
を有する第１乃至第Ｍの学習ステップ
を含み、
前記第１乃至第Ｍの学習ステップのうち、第ｍの学習ステップは、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する学習方法、又は学習処理をコンピュータに実行させるプログラムである。
以下、図を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した画像変換部の一実施の形態の構成例を示すブロック図である。
画像変換部３１は、第１の画像データを第２の画像データに変換する画像変換処理を行う。
ここで、画像変換部３１で行われる画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な処理を実現することができる。
即ち、例えば、第２の画像データを高解像度の画像データとするとともに、第１の画像データを、第２の画像データの解像度を低下させた低解像度の画像データとすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第２の画像データを高Ｓ／Ｎ(Signal/Noise)の画像データとするとともに、第１の画像データを、第２の画像データのＳ／Ｎを低下させた低Ｓ／Ｎの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第２の画像データをHD画像データとするとともに、第１の画像データを、第２の画像データの画素数と解像度を小さくしたSD画像データとすれば、画像変換処理は、SD画像をHD画像に変換する処理ということができる。
以下、第２の画像データを高Ｓ／Ｎの画像データ（以下、適宜、ノイズ除去画像という。）とし、第１の画像データを、第２の画像データのＳ／Ｎを低下させた低Ｓ／Ｎの画像データ（以下、適宜、ノイズ画像という。）として、図１の画像変換部３１における画像変換処理を説明する。
図２は、図１の画像変換部３１の第１の構成例を示すブロック図である。
画像変換部３１は、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、および予測演算部６９により構成される。
画像変換部３１には、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が供給される。そして、ノイズ画像は、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、および垂直クラスタップ抽出部６６に供給される。
水平予測タップ抽出部６１は、そこに供給されたノイズ画像を構成する画素を、例えば、いわゆるラスタスキャン順に、順次、注目画素とする。さらに、水平予測タップ抽出部６１は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素（の画素値）である水平予測タップを、ノイズ画像から抽出する。
即ち、水平予測タップ抽出部６１は、例えば、図２中央に示される水平方向に並ぶ、注目画素を中心とする複数の画素の水平方向のタップ４１を、水平予測タップとして抽出する。ここで、図２では、図２中央に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、および注目画素の、水平方向に並ぶ９個の画素が、水平方向のタップ４１として示されている。
水平予測タップ抽出部６１は、ノイズ画像から抽出した水平予測タップを予測演算部６９に供給する。
水平クラスタップ抽出部６２は、水平予測タップ抽出部６１により抽出された水平予測タップを、複数の水平クラスのうちのいずれかの水平クラスにクラス分けする水平クラス分類に用いる複数の画素である水平クラスタップを、供給されてくるノイズ画像から抽出する。
即ち、水平クラスタップ抽出部６２は、例えば、図２中央に示される水平方向に並ぶ、９画素のである水平方向のタップ４１を、水平クラスタップとして抽出する。
なお、ここでは、説明を簡単にするために、水平予測タップと水平クラスタップとは、同一のタップ構造（注目画素に対する位置関係）を有する複数の画素とする。但し、水平予測タップと水平クラスタップとは、異なるタップ構造の複数の画素とすることができる。
水平クラスタップ抽出部６２において得られる、水平予測タップに対応する水平クラスタップは、水平クラス分類部６３に供給される。水平クラス分類部６３は、水平クラスタップ抽出部６２からの水平クラスタップに基づいて水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部６４に出力する。
ここで、水平クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Ra
nge Coding)等を採用することができる。
ADRCを用いる方法では、水平クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られたADRCコードにしたがって、水平予測タップの水平クラスが決定される。
なお、KビットADRCにおいては、例えば、水平クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、水平クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、水平クラスタップを構成する画素（の画素値）がKビットに再量子化される。即ち、水平クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、水平クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、水平クラスタップが、例えば、１ビットADRC処理された場合には、その水平クラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
なお、水平クラス分類部６３には、例えば、水平クラスタップを構成する画素の画素値のレベル分布のパターンを、そのまま水平クラスコードとして出力させることも可能である。しかしながら、この場合、水平クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、水平クラス分類部６３が出力する水平クラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
従って、水平クラス分類部６３においては、水平クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮して、水平クラス分類を行うのが好ましい。
水平係数記憶部６４は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットを記憶しており、その記憶している水平係数のセットのうちの、水平クラス分類部６３から供給された水平クラスコードに対応するアドレスに記憶されている水平係数（水平クラス分類部６３から供給された水平クラスコードが表す水平クラスに対応する水平係数）を、予測演算部６９に出力する。
垂直予測タップ抽出部６５は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素（の画素値）である垂直予測タップを、供給されてくるノイズ画像から抽出する。
即ち、垂直予測タップ抽出部６５は、例えば、図２右側に示される垂直方向に並ぶ、注目画素を中心とする複数の画素の垂直方向のタップ４２を、垂直予測タップとして抽出する。ここで、図２では、図２右側に白丸で示す注目画素の上に隣接する、黒丸で示す４個の画素、注目画素の下に隣接する、黒丸で示す４個の画素、および注目画素の、垂直方向に並ぶ９個の画素が垂直方向のタップ４２として示されている。
垂直予測タップ抽出部６５は、ノイズ画像から抽出した垂直予測タップを予測演算部６９に供給する。
垂直クラスタップ抽出部６６は、垂直予測タップ抽出部６５により抽出された垂直予測タップを、複数の垂直クラスのうちのいずれかの垂直クラスにクラス分けする垂直クラス分類に用いる複数の画素（の画素値）である垂直クラスタップを、供給されてくるノイズ画像から抽出する。
即ち、垂直クラスタップ抽出部６６は、例えば、図２右側に示される垂直方向に並ぶ９画素である垂直方向のタップ４２を、垂直クラスタップとして抽出する。
なお、ここでは、説明を簡単にするために、垂直予測タップと垂直クラスタップとは、同一のタップ構造（注目画素に対する位置関係）を有する複数の画素とする。但し、垂直予測タップと垂直クラスタップとは、異なるタップ構造の複数の画素とすることができる。
垂直クラスタップ抽出部６６において得られる、垂直予測タップに対応する垂直クラスタップは、垂直クラス分類部６７に供給される。垂直クラス分類部６７は、垂直クラスタップ抽出部６６からの垂直クラスタップに基づいて垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部６８に出力する。
ここで、垂直クラス分類を行う方法としては、例えば、上述した水平クラス分類部６３で行われる水平クラス分類と同様の方法を採用することができる。
垂直係数記憶部６８は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットを記憶しており、その記憶している垂直係数のセットのうちの、垂直クラス分類部６７から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数（垂直クラス分類部６７から供給された垂直クラスコードが表す垂直クラスに対応する垂直係数）を、予測演算部６９に出力する。
予測演算部６９は、水平予測タップ抽出部６１から供給された水平予測タップ、垂直予測タップ抽出部６５から供給された垂直予測タップ、水平係数記憶部６４から供給された水平係数、および垂直係数記憶部６８から供給された垂直係数に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。
ここで、予測演算部６９で行われる予測演算には、例えば、水平予測タップと水平係数とにより水平処理画像を求める水平予測演算、垂直予測タップと垂直係数とにより垂直処理画像を求める垂直予測演算、水平予測演算により求められた水平処理画像の画素値と垂直予測演算により求められた垂直処理画像の画素値とを加算する加算演算、および加算演算の演算結果のゲインを調整するゲイン調整演算が含まれる。
以下、水平予測演算、垂直予測演算、加算演算、およびゲイン調整演算の順番で説明する。
水平予測タップと水平係数とを用いた水平予測演算として、例えば、線形１次予測演算を採用し、水平処理画像の画素（以下、適宜、水平画素という）の画素値Ｈを求めることとすると、水平画素の画素値Ｈは、次の線形１次式によって求められることになる。
Figure 0005029869
 ・・・（１）
但し、式（１）において、ｘnは、注目画素に対応する水平画素（ノイズ画像の注目画素と同一の位置にある水平処理画像の画素）についての水平予測タップを構成する複数の、ノイズ画像の画素（以下、適宜、ノイズ画素という）のうちのｎ番目の画素の画素値を表している。ここで、例えば、水平予測タップが図２に示した水平方向に並ぶ９画素である水平方向のタップ４１とすると、ｎ番目のノイズ画素の画素値とは、水平方向のタップ４１に付された番号ｎに対応するノイズ画素の画素値を示している。なお、ｘ1は、注目画素の画素値を表している。
また、ｗnは、ｎ番目のノイズ画素の画素値と乗算される水平係数を表す。なお、式（１）では、水平予測タップが、Ｎ個のノイズ画素ｘ1，・・・，ｘNで構成されるものとしている。
従って、水平予測演算により求められる水平画素の画素値Ｈは、ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗN-1ｘN-1＋ｗNｘN＝｛（ｗ1−１）ｘ1＋ｗ2ｘ2＋・・・＋ｗN-1ｘN-1＋ｗNｘN｝＋ｘ1となり、ｈ＝｛（ｗ1−１）ｘ1＋ｗ2ｘ2＋・・・＋ｗN-1ｘN-1＋ｗNｘN｝とすれば、Ｈ＝ｈ＋ｘ1となる。
ここで、ｈは、水平予測演算により求められた水平画素の画素値Ｈからノイズ画素の注目画素の画素値ｘ1を差し引くことで得られる差分の画素値を表す。従って、ｈを、以下、適宜、水平差分ｈという。
水平差分ｈを導入することにより、水平画素の画素値Ｈは、ノイズ画素の注目画素の画素値ｘ1に水平差分ｈを加算することで得られる画素値と考えることができる。そして、水平画素は、水平予測演算により、ノイズ画素（の画素値）に含まれるノイズが除去された画素であるから、水平差分ｈは、いわば、水平係数ｗnと水平予測タップの画素値ｘnとを用いた水平予測演算による、ノイズの除去の効果分（以下、適宜、水平処理効果分という）であるということができる。
垂直予測タップと垂直係数とを用いた垂直予測演算として、例えば、線形１次予測演算を採用し、垂直処理画像の画素（以下、適宜、垂直画素という）の画素値Ｖを求めることとすると、垂直画素の画素値Ｖは、次の線形１次式によって求められることになる。
Figure 0005029869
 ・・・（２）
但し、式（２）において、ｘ’nは、注目画素に対応する垂直画素（ノイズ画像の注目画素と同一の位置にある垂直処理画像の画素）についての垂直予測タップを構成する複数のノイズ画素のうちのｎ番目の画素の画素値を表している。ここで、例えば、垂直予測タップが、図２に示した垂直方向に並ぶ９画素である垂直方向のタップ４２とすると、ｎ番目のノイズ画素の画素値とは、垂直方向のタップ４２に付された番号ｎに対応するノイズ画素の画素値を示している。なお、ｘ’1は、注目画素の画素値を表しており、注目画素の画素値であるｘ1と同一であるため、以下、ｘ1ともいう。
また、ｗ’nは、ｎ番目のノイズ画素の画素値と乗算される垂直係数を表す。なお、式（２）では、垂直予測タップが、Ｎ個のノイズ画素ｘ’1，・・・，ｘ’Nで構成されるものとしている。
従って、垂直予測演算により求められる垂直画素の画素値Ｖは、ｗ’1ｘ1＋ｗ’2ｘ’2＋・・・＋ｗ’N-1ｘ’N-1＋ｗ’Nｘ’N＝｛（ｗ’1−１）ｘ1＋ｗ’2ｘ’2＋・・・＋ｗ’N-1ｘ’N-1＋ｗ’Nｘ’N｝＋ｘ1となり、ｖ＝｛（ｗ’1−１）ｘ1＋ｗ’2ｘ’2＋・・・＋ｗ’N-1ｘ’N-1＋ｗ’Nｘ’N｝とすれば、Ｖ＝ｖ＋ｘ1となる。
ここで、ｖは、垂直予測演算により求められた垂直画素の画素値Ｖからノイズ画素の注目画素の画素値ｘ1を差し引くことで得られる差分の画素値を表す。従って、ｖを、以下、適宜、垂直差分ｖという。
垂直差分ｖを導入することにより、垂直画素の画素値Ｖは、ノイズ画素の注目画素の画素値ｘ1に垂直差分ｖを加算することで得られる画素値と考えることができる。そして、垂直画素は、垂直予測演算により、ノイズ画素（の画素値）に含まれるノイズが除去された画素であるから、垂直差分ｖは、いわば、垂直係数ｗ’nと垂直予測タップの画素値ｘ’nとを用いた垂直予測演算による、ノイズの除去の効果分（以下、適宜、垂直処理効果分という）であるということができる。
次に、加算演算では、水平予測演算により求められた水平画素の画素値Ｈ＝ｈ＋ｘ1と、垂直予測演算により求められた垂直画素の画素値Ｖ＝ｖ＋ｘ1とを加算することで画素値Ｈ＋Ｖ＝ｈ＋ｖ＋２ｘ1を得る。
画素値Ｈ＋Ｖは、ノイズ画素の画素値ｘ1に水平差分ｈと垂直差分ｖとを加算し、さらに、ノイズ画素の画素値ｘ1を加算した値となっており、ノイズ画素の画素値ｘ1が２重に加算された値となっている。
そこで、ゲイン調整演算では、画素値Ｈ＋Ｖから、２重に加算されたノイズ画素の画素値ｘ1を差し引くことにより画素値Ｈ＋Ｖ―ｘ1＝ｈ＋ｖ＋ｘ1を得る。予測演算部６９による予測演算では、この画素値Ｈ＋Ｖ―ｘ1＝ｈ＋ｖ＋ｘ1が、注目画素に対応する、ノイズ除去画像の画素の画素値として求められる。
従って、予測演算では、注目画素に対応する、ノイズ除去画像の画素の画素値ｙが、式（３）にしたがって求められる。
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗNｘN＋ｗ’1ｘ1＋ｗ’2ｘ’2＋・・・＋ｗ’Nｘ’N−ｘ1
・・・（３）
なお、式（３）から、注目画素に対応する、ノイズ除去画像の画素の画素値ｙは、式ｙ＝Ｈ＋（Ｖ−ｘ1）＝ｈ＋ｘ1＋（ｖ＋ｘ1−ｘ1）＝ｈ＋ｖ＋ｘ1によって求めることもできる。
図３は、図２の予測演算部６９の構成例を示すブロック図である。
図２の予測演算部６９は、水平予測演算部１０１、垂直予測演算部１０２、ゲイン調整部１０３、および加算部１０４により構成される。
水平予測演算部１０１には、水平係数記憶部６４からの水平係数ｗnと、水平予測タップ抽出部６１からの水平予測タップｘnとが供給される。
水平予測演算部１０１は、水平係数記憶部６４からの水平係数ｗnと、水平予測タップ抽出部６１からの水平予測タップｘnとを用いた水平予測演算を行い、その結果得られた水平画素の画素値Ｈを、加算部１０４に供給する。
垂直予測演算部１０２には、垂直係数記憶部６８からの垂直係数ｗ’nと、垂直予測タップ抽出部６５からの垂直予測タップｘ’nとが供給される。
垂直予測演算部１０２は、垂直係数記憶部６８からの垂直係数ｗ’nと、垂直予測タップ抽出部６５からの垂直予測タップｘ’nとを用いた垂直予測演算を行い、その結果得られた垂直画素の画素値Ｖを、ゲイン調整部１０３に供給する。
ゲイン調整部１０３には、垂直予測タップ抽出部６５から、注目画素の画素値ｘ1が供給される。
ゲイン調整部１０３は、垂直予測演算部１０２から供給された画素値Ｖから、垂直予測タップ抽出部６５から供給された注目画素の画素値ｘ1を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である垂直差分ｖを加算部１０４に供給する。
加算部１０４は、水平予測演算部１０１から供給された水平画素の画素値Ｈ＝ｈ＋ｘ1と、ゲイン調整部１０３から供給された垂直差分ｖとを加算し、その結果得られた画素値ｈ＋ｖ＋ｘ1を、ノイズ除去画像を予測した画素値ｙとして出力する。
ここで、図３の水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、および水平予測演算部１０１を総称して水平マッピング部７１といい、その水平マッピング部７１が、水平係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、水平画素の画素値Ｈに変換する処理を、以下、適宜、水平マッピング処理という。
また、水平画素の画素値Ｈは、水平処理画像の画素値を示すものであるため、以下、単に、水平処理画像Ｈともいう。さらに、ノイズ画素の画素値ｘ1は、ノイズ画像の画素値を示すものであるため、以下、単に、ノイズ画像ｘ1ともいう。
さらに、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、および垂直予測演算部１０２を総称して垂直マッピング部７２といい、その垂直マッピング部７２が、垂直係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、垂直画素の画素値Ｖに変換する処理を、以下、適宜、垂直マッピング処理という。
また、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、垂直予測演算部１０２、およびゲイン調整部１０３を総称して垂直差分マッピング部７３といい、その垂直差分マッピング部７３が、垂直係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、垂直差分ｖに変換する処理を、以下、適宜、垂直差分マッピング処理という。
また、垂直画素の画素値Ｖは、垂直処理画像の画素値を示すものであるため、以下、単に、垂直処理画像Ｖともいう。
次に、図４のフローチャートを参照して、図２の画像変換部３１における画像変換処理を説明する。
この画像変換処理は、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が、画像変換部３１に供給されたときに開始される。このとき、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、および垂直クラスタップ抽出部６６には、ノイズ画像が供給される。
ステップＳ３１において、水平マッピング部７１の水平予測タップ抽出部６１は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とし、処理は、ステップＳ３２に進む。
ステップＳ３２において、水平マッピング部７１は、注目画素について水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、加算部１０４に供給して、処理は、ステップＳ３３に進み、垂直差分マッピング部７３は、注目画素について垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部１０４に供給して、処理は、ステップＳ３４に進む。
ステップＳ３４において、加算部１０４は、水平マッピング部７１からの水平処理画像Ｈと、垂直差分マッピング部７３からの垂直差分ｖとを加算し、注目画素に対応する、ノイズ除去画像の画素の画素値ｙ＝Ｈ＋ｖを得て出力する。
その後、処理は、ステップＳ３４からステップＳ３５に進み、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画像の画素が存在するか否かを判定する。
ステップＳ３５において、まだ注目画素とされていないノイズ画素が存在すると判定された場合、処理は、ステップＳ３１に戻り、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画素のうちの１つを、新たな注目画素とし、処理は、ステップＳ３２に進み、以下、同様の処理を繰り返す。
一方、ステップＳ３５において、まだ注目画素とされていないノイズ画素が存在しないと判定された場合、画像変換処理は終了される。
次に、図５のフローチャートを参照して、図４のステップＳ３２における水平マッピング処理の詳細を説明する。
ステップＳ６１において、水平マッピング部７１の水平予測タップ抽出部６１は、水平予測タップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素である水平方向のタップ４１を、供給されてくるノイズ画像から抽出し、予測演算部６９（図３の水平予測演算部１０１）に供給する。
処理は、ステップＳ６１からステップＳ６２に進み、水平マッピング部７１の水平クラスタップ抽出部６２は、水平クラスタップ、即ち、例えば、注目画素を中心として水平方向に並ぶ９画素である水平方向のタップ４１を、供給されてくるノイズ画像から抽出し、水平クラス分類部６３に供給する。
処理は、ステップＳ６２からステップＳ６３に進み、水平マッピング部７１の水平クラス分類部６３は、水平クラスタップ抽出部６２からの水平クラスタップに基づき、水平予測タップを水平クラス分類し、その結果得られた水平クラスに対応する水平クラスコードを、水平係数記憶部６４に出力する。
処理は、ステップＳ６３からステップＳ６４に進み、水平マッピング部７１の水平係数記憶部６４は、後述する学習によってあらかじめ求められた水平クラスごとの水平係数のセットのうちの、水平クラス分類部６３から供給された水平クラスコードに対応するアドレスに記憶されている水平係数ｗnを、予測演算部６９（図３の水平予測演算部１０１）に出力する。
処理は、ステップＳ６４からステップＳ６５に進み、水平マッピング部７１の水平予測演算部１０１は、水平係数記憶部６４からの水平係数ｗnと、水平予測タップ抽出部６１からの水平予測タップｘnとを用いた水平予測演算を行い、その結果得られた水平処理画像Ｈを、加算部１０４に供給し、その後、処理は、図４のステップＳ３２にリターンして、その後の処理を行う。
次に、図６のフローチャートを参照して、図４のステップＳ３３における垂直差分マッピング処理の詳細を説明する。
ステップＳ９１において、垂直差分マッピング部７３の垂直予測タップ抽出部６５は、垂直予測タップ、即ち、例えば、注目画素を中心として垂直方向に並ぶ９画素である垂直方向のタップ４２を、供給されてくるノイズ画像から抽出し、予測演算部６９（図３の垂直予測演算部１０２）に供給する。
処理は、ステップＳ９１からステップＳ９２に進み、垂直差分マッピング部７３の垂直クラスタップ抽出部６６は、垂直クラスタップ、即ち、例えば、注目画素を中心として垂直方向に並ぶ９画素である垂直方向のタップ４２を、供給されてくるノイズ画像から抽出し、垂直クラス分類部６７に供給する。
処理は、ステップＳ９２からステップＳ９３に進み、垂直差分マッピング部７３の垂直クラス分類部６７は、垂直クラスタップ抽出部６６からの垂直クラスタップに基づき、垂直予測タップを垂直クラス分類し、その結果得られた垂直クラスに対応する垂直クラスコードを、垂直係数記憶部６８に出力する。
処理は、ステップＳ９３からステップＳ９４に進み、垂直差分マッピング部７３の垂直係数記憶部６８は、後述する学習によってあらかじめ求められた垂直クラスごとの垂直係数のセットのうちの、垂直クラス分類部６７から供給された垂直クラスコードに対応するアドレスに記憶されている垂直係数ｗ’nを、予測演算部６９（図３の垂直予測演算部１０２）に出力する。
処理は、ステップＳ９４からステップＳ９５に進み、垂直差分マッピング部７３の垂直予測演算部１０２は、垂直係数記憶部６８からの垂直係数ｗ’nと、垂直予測タップ抽出部６５からの垂直予測タップｘ’nとを用いた垂直予測演算を行い、その結果得られた垂直処理画像Ｖを、ゲイン調整部１０３に供給する。
処理は、ステップＳ９５からステップＳ９６に進み、ゲイン調整部１０３は、垂直予測演算部１０２から供給された垂直処理画像Ｖから、垂直予測タップ抽出部６５から供給された注目画素の画素値ｘ1を差し引くことで、ゲイン調整演算を行い、その結果得られた画素値である垂直差分ｖを加算部１０４に供給する。なお、ゲイン調整部１０３には、垂直予測タップ抽出部６５から、ノイズ画像の注目画素の画素値ｘ1が供給される。
その後、処理はステップＳ９６から図４のステップＳ３３にリターンして、その後の処理を行う。
以上のような図２の画像変換部３１では、水平予測タップの水平クラスに対応する水平係数と、垂直予測タップの垂直クラスに対応する垂直係数との２つの係数を用いて、所定の予測演算を行うこととしたので、いわば、実質的なクラスの総数は、水平クラスの総数と垂直クラスの総数との和よりも大にすることができる。
即ち、例えば、水平クラスの総数が１０クラスであり、垂直クラスの総数が１０クラスであるとき、図２の画像変換部３１では、水平予測タップの水平クラスに対応する水平係数と、垂直予測タップの垂直クラスに対応する垂直係数との２セットの係数を用いて、所定の予測演算を行うので、所定の予測演算で用いられる水平係数と垂直係数との係数セットの組み合わせは、水平クラスの総数である１０クラスと、垂直クラスの総数である１０クラスとの組み合わせである１０×１０＝１００セットとなる。
従って、水平クラスと垂直クラスとの総数が２０クラスであるのに対して、所定の予測演算に用いられる係数セットは１００セットであるので、水平クラスと垂直クラスによってクラス分類し得る実質的なクラスは１００クラスとなる。
以上のように、水平係数と垂直係数の総数は、２０セットであるのに対して、実質的なクラスの総数は１００クラスであるため、水平係数記憶部６４と垂直係数記憶部６８を構成するメモリの容量を大きくすることなく、画像変換処理による注目画素に対応する、ノイズ除去画像の画素の画素値ｙの予測の精度を高めることができる。
次に、後の説明を簡単にするために、水平係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、水平差分ｈに変換する水平差分マッピング処理を行う水平差分マッピング部を説明する。
即ち、図７は、水平差分マッピング処理を行う水平差分マッピング部１１１の構成例を示すブロック図である。
なお、図中、図３の水平マッピング部７１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図７の水平差分マッピング部１１１は、新たにゲイン調整部１１２が設けられているほかは、図３の水平マッピング部７１の場合と同様に構成されている。
ゲイン調整部１１２には、水平予測タップ抽出部６１から、ノイズ画像の注目画素の画素値ｘ1が供給されるとともに、水平予測演算部１０１から、水平処理画像Ｈ＝ｈ＋ｘ1が供給される。
ゲイン調整部１１２は、水平予測演算部１０１から供給された水平処理画像Ｈ＝ｈ＋ｘ1から、水平予測タップ抽出部６１から供給されたノイズ画像の注目画素の画素値ｘ1を差し引き、その結果得られた水平差分ｈを出力する。
次に、ノイズ画像から、ノイズ除去画像を予測するのに用いる水平係数ｗnを学習する（求める）方法を説明する。
第ｋサンプルのノイズ除去画像の画素（以下、適宜、ノイズ除去画素という）の画素値の真値をｙkと表すとともに、式（１）による水平予測演算よって得られる、その真値ｙkの予測値、つまり、水平処理画像の画素の画素値Ｈをｙk'と表すと、その予測誤差ｅkは、次式で表される。
Figure 0005029869
 ・・・（４）
いま、式（４）の予測値ｙk'は、式（１）にしたがって求められるため、式（４）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0005029869
 ・・・（５）
但し、式（５）において、ｘn,kは、第ｋサンプルのノイズ除去画素についての水平予測タップを構成するｎ番目のノイズ画素を表す。
式（５）（または式（４））の予測誤差ｅkを０とする水平係数ｗnが、ノイズ除去画素を予測するのに最適なものとなるが、すべてのノイズ除去画素について、そのような水平係数ｗnを求めることは、一般には困難である。
そこで、水平係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な水平係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0005029869
 ・・・（６）
但し、式（６）において、Ｋは、ノイズ除去画素（の画素値）ｙkと、そのノイズ除去画素ｙkについての水平予測タップを構成するノイズ画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（６）の自乗誤差の総和Ｅの最小値（極小値）は、式（７）に示すように、総和Ｅを水平係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 0005029869
 ・・・（７）
一方、上述の式（５）を水平係数ｗnで偏微分すると、次式が得られる。
Figure 0005029869
 ・・・（８）
式（７）と式（８）から、次式が得られる。
Figure 0005029869
 ・・・（９）
式（９）のｅkに、式（５）を代入することにより、式（９）は、式（１０）に示す正規方程式で表すことができる。
Figure 0005029869
 ・・・（１０）
式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、水平係数ｗnについて解くことができる。
即ち、画像変換処理の対象となるノイズ画像などに相当する画像である生徒画像と、画像変換処理によって求められるノイズ除去画像などの、ノイズ画像よりも高画質の真値の画像である教師画像との多数のセットを、学習に用いる学習用のサンプルとして用い、式（１０）の正規方程式を、クラスごとにたてて解くことにより、水平係数（ここでは、自乗誤差の総和Ｅを最小にする水平係数）ｗnを、水平クラスごとに求めることができる。
次に、図８を参照して、式（１０）の正規方程式を水平クラスごとにたてて解くことにより水平係数ｗnを求める学習を行う学習部１２１を説明する。
図８は、水平係数ｗnを求める学習を行う学習部１２１の構成例を示すブロック図である。
図８の学習部１２１は、原画像記憶部１３１、ノイズ付加部１３２、予測タップ抽出部１３３、クラスタップ抽出部１３４、クラス分類部１３５、足し込み部１３６、および係数算出部１３７により構成される。
原画像記憶部１３１には、ノイズ画像からノイズを除去したノイズ除去画像に相当する画像が多数、記憶されている。
ノイズ付加部１３２は、原画像記憶部１３１に記憶されている画像（以下、適宜、原画像という）を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、予測タップ抽出部１３３およびクラスタップ抽出部１３４に供給する。
予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップ（図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平予測タップ）を得て、足し込み部１３６に供給する。
クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップ（図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる水平クラスタップ）を得て、クラス分類部１３５に供給する。
クラス分類部１３５は、クラスタップ抽出部１３４から供給された水平クラスタップに基づき、図２の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部１３６に供給する。
足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、注目画素に対応する、教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された水平クラスコードごとに行う。
即ち、足し込み部１３６には、原画像記憶部１３１に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙk、予測タップ抽出部１３３が出力する注目画素についての水平予測タップを構成する生徒画像の画素の画素値ｘn,k、クラス分類部１３５が出力する、水平予測タップの水平クラスを表す水平クラスコードが供給される。
そして、足し込み部１３６は、クラス分類部１３５から供給された水平クラスコードに対応する水平クラスごとに、水平予測タップ（生徒画像）ｘn,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部１３６は、やはり、クラス分類部１３５から供給された水平クラスコードに対応する水平クラスごとに、水平予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１０）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、足し込み部１３６は、前回、注目画素とされた生徒画像について求められた式（１０）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた生徒画像について、その生徒画像ｘn,k+1および教師画像ｙk+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（１０）のサメーションで表される加算を行う）。
そして、足し込み部１３６は、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各水平クラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部１３７に供給する。
係数算出部１３７は、足し込み部１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗnを求めて出力する。
次に、図９のフローチャートを参照して、図８の学習部１２１における学習処理を説明する。
ステップＳ１２１において、ノイズ付加部１３２は、原画像記憶部１３１から原画像を読み出し、その原画像にノイズを付加することにより、生徒画像を生成し、予測タップ抽出部１３３およびクラスタップ抽出部１３４に供給する。
処理は、ステップＳ１２１からステップＳ１２２に進み、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とし、処理は、ステップＳ１２３に進む。
ステップＳ１２３において、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部１３６に供給する。
処理は、ステップＳ１２３からステップＳ１２４に進み、クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、クラス分類部１３５に供給する。
処理は、ステップＳ１２４からステップＳ１２５に進み、クラス分類部１３５は、クラスタップ抽出部１３４から供給された水平クラスタップに基づき、図２の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部１３６に供給する。
処理は、ステップＳ１２５からステップＳ１２６に進み、足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された水平クラスコードごとに行う。
処理は、ステップＳ１２６からステップＳ１２７に進み、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。
ステップＳ１２７において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ１２２に戻り、予測タップ抽出部１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ１２３に進み、以下、同様の処理を繰り返す。
一方、ステップＳ１２７において、まだ注目画素とされていないノイズ画像の画素が存在しないと判定された場合、即ち、足し込み部１３６においては、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各水平クラスについて、式（１０）に示した正規方程式が得られた場合、足し込み部１３６は、正規方程式を、係数算出部１３７に供給する。そして、処理は、ステップＳ１２７からステップＳ１２８に進み、係数算出部１３７は、足し込み部１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗnを求めて出力する。
その後、学習処理は終了される。
ここで、図９のフローチャートで説明した学習処理は、ノイズ除去画像に相当する画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理であるが、この学習処理を、以下、適宜、水平タップにおける学習処理という。
なお、図８の学習部１２１において、予測タップ抽出部１３３が垂直予測タップを抽出し、クラスタップ抽出部１３４が垂直予測タップを抽出して、クラス分類部１３５が垂直クラス分類を行うこととすれば、水平係数に代えて、垂直係数を求めることができる。
即ち、垂直係数を求める場合には、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップ（図２の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる垂直予測タップ）を得て、足し込み部１３６に供給する。
クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップ（図２の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる垂直クラスタップ）を得て、クラス分類部１３５に供給する。
クラス分類部１３５は、クラスタップ抽出部１３４から供給された垂直クラスタップに基づき、図２の垂直クラス分類部６７と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部１３６に供給する。
足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された垂直クラスコードごとに行う。
即ち、足し込み部１３６には、原画像記憶部１３１に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙk、予測タップ抽出部１３３が出力する注目画素についての垂直予測タップを構成する生徒画像の画素の画素値ｘn,k、クラス分類部１３５が出力する、垂直予測タップの垂直クラスを表す垂直クラスコードが供給される。
そして、足し込み部１３６は、クラス分類部１３５から供給された垂直クラスコードに対応する垂直クラスごとに、垂直予測タップ（生徒画像）ｘn,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部１３６は、やはり、クラス分類部１３５から供給された垂直クラスコードに対応する垂直クラスごとに、垂直予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１０）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、足し込み部１３６は、前回、注目画素とされた生徒画像について求められた式（１０）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた生徒画像について、その生徒画像ｘn,k+1および教師画像ｙk+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（１０）のサメーションで表される加算を行う）。
そして、足し込み部１３６は、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各垂直クラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部１３７に供給する。
係数算出部１３７は、足し込み部１３６から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数ｗ’nを求めて出力する。
ここで、以上のようにして、垂直係数ｗ’nを求める学習処理を、以下、適宜、垂直タップにおける学習処理という。
図２の画像変換部３１では、上述した水平タップにおける学習処理により求められた水平係数と、垂直タップにおける学習処理により求められた垂直係数とを用いて画像変換処理を行うことができる。
ところで、上述したように、上述の、水平係数を求める水平タップにおける学習処理と、垂直係数を求める垂直タップにおける学習処理とを、独立に行って、水平係数と垂直係数とを求めた場合、その水平係数と垂直係数によれば、いずれも単独で、ノイズ画像をノイズ除去画像（の予測値）に変換することができる。
このため、図８の学習部１２１により学習された水平係数と垂直係数とを用いた画像変換処理では、ノイズ画像をノイズ除去画像に変換する画像変換処理が、水平係数と垂直係数とで２重に行われる。
その結果、水平係数によりノイズを除去する水平処理効果分、および垂直係数によりノイズを除去する垂直処理効果分とを合わせた全体の効果分が過剰となってしまい、ノイズ画像に生じている歪波形の位相を反転したような逆歪が現れたり、逆に、水平処理効果分と垂直処理効果分とが相殺されてしまい、歪などのノイズを除去する効果が低下することがあり得る。
そこで、水平係数による水平処理効果分と、垂直係数による垂直処理効果分とが過剰となったり、相殺されることがないように、水平係数および垂直係数を学習する学習処理について説明する。
図１０は、上述した図２の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部１５１の構成例を示すブロック図である。なお、図１０には、説明の便宜上、図２の画像変換部３１に相当する画像変換部１５２も図示してある。
２段差分学習部１５１は、水平タップ学習部１６１、水平マッピング部１６２、および垂直タップ差分学習部１６３により構成される。
水平タップ学習部１６１は、図８の学習部１２１と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部１６２に供給する。
水平マッピング部１６２は、水平タップ学習部１６１で生徒画像として用いられるノイズ画像（に相当する画像）と、水平タップ学習部１６１から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られる水平処理画像Ｈを、垂直タップ差分学習部１６３に供給する。なお、水平マッピング部１６２には、水平タップ学習部１６１などから、ノイズ画像が供給される。
垂直タップ差分学習部１６３は、水平タップ学習部１６１で教師画像として用いられる原画像と、水平マッピング部１６２から供給される水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。
即ち、垂直タップ差分学習部１６３は、原画像、ノイズ画像、および水平処理画像Ｈから、後述するようにして、原画像と水平差分ｈとの差分である原画像−水平差分ｈを生成し、その原画像−水平差分ｈを教師画像とするとともに、ノイズ画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける水平差分の差分学習処理を行う。
なお、垂直タップ差分学習部１６３の、垂直タップにおける水平差分の差分学習処理は、後述する図１１を参照して、詳細に説明する。
図２の画像変換部３１における画像変換処理では、図１０の２段差分学習部１５１により求められた水平係数および垂直係数を用いることができる。
ここで、図１０において、画像変換部１５２は、図２の画像変換部３１と同様に構成される。画像変換部１５２では、次のようにして、ノイズ画像を原画像（の予測値）に変換する画像変換処理が行われる。
即ち、画像変換部１５２は、水平マッピング部１６２、垂直差分マッピング部１６４、および加算部１６５により構成される。
水平マッピング部１６２は、図３の水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、および水平予測演算部１０１で構成される水平マッピング部７１と同様に構成される。
水平マッピング部１６２は、水平タップ学習部１６１での水平タップにおける学習処理により得られる水平係数を用いて、ノイズ画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その水平処理画像Ｈを、加算部１６５に供給する。
垂直差分マッピング部１６４は、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、垂直予測演算部１０２、およびゲイン調整部１０３で構成される垂直差分マッピング部７３と同様に構成される。
垂直差分マッピング部１６４は、垂直タップ差分学習部１６３での垂直タップにおける水平差分の差分学習処理により得られる垂直係数を用いて、ノイズ画像を垂直差分ｖに変換する垂直差分マッピング処理を行い、その垂直差分ｖを、加算部１６５に供給する。
加算部１６５は、図３の加算部１０４と同様に構成され、水平マッピング部１６２から供給された水平処理画像Ｈと、垂直差分マッピング部１６４から供給された垂直差分ｖとを加算し、その結果得られた画素値Ｈ＋ｖ（＝ｈ＋ｖ＋ｘ1）で構成される、原画像を予測した画像（以下、適宜、水平垂直処理画像という）を出力する。
次に、図１１は、垂直タップにおける水平差分の差分学習処理を行う図１０の垂直タップ差分学習部１６３の詳細な構成例を示すブロック図である。
即ち、図１１の垂直タップ差分学習部１６３は、図８の原画像記憶部１３１乃至係数算出部１３７とそれぞれ同様に構成される原画像記憶部１１３１乃至係数算出部１１３７と、差分画像生成部２３３とから構成される。
さらに、差分画像生成部２３３には、ノイズ付加部１１３２から生徒画像が供給されるとともに、図１０の水平マッピング部１６２から、水平処理画像Ｈが供給される。
差分画像生成部２３３は、ノイズ付加部１１３２から供給された生徒画像（ノイズ画像）ｘ1を、図１０の水平マッピング部１６２から供給された水平処理画像Ｈ＝ｈ＋ｘ1から差し引くことで、水平差分ｈを生成する。
また、差分画像生成部２３３は、原画像記憶部１１３１に記憶されている原画像を読み出し、その原画像から、生成した水平差分ｈを差し引き、その結果得られた原画像―水平差分ｈを、教師画像として、足し込み部１１３６に供給する。
図１１の垂直タップ差分学習部１６３では、原画像と水平差分ｈとの差分である原画像―水平差分ｈを教師画像とするとともに、ノイズ画像を生徒画像として、垂直係数を学習することから、原画像から水平マッピング処理による水平処理効果分としての水平差分ｈを差し引いた画像に、ノイズ画像を変換する垂直係数が求められる。
次に、図１２のフローチャートを参照して、図１０の２段差分学習部１５１における２段差分学習処理を説明する。
ステップＳ１７１において、水平タップ学習部１６１は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部１６２に供給する。
その後、処理は、ステップＳ１７１からステップＳ１７２に進み、水平マッピング部１６２は、水平タップ学習部１６１で生徒画像として用いられるノイズ画像（に相当する画像）と、水平タップ学習部１６１から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部１６３に供給する。
そして、処理は、ステップＳ１７２からステップＳ１７３に進み、垂直タップ差分学習部１６３は、水平タップ学習部１６１で教師画像として用いられる原画像と、水平マッピング部１６２から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を学習する。
その後、２段差分学習処理は、終了される。
次に、図１３のフローチャートを参照して、図１２のステップＳ１７３の、垂直タップにおける水平差分の差分学習処理の詳細を説明する。
ステップＳ２０１において、垂直タップ差分学習部１６３（図１１）のノイズ付加部１１３２は、原画像記憶部１１３１に記憶されている原画像を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、差分画像生成部２３３、垂直予測タップ抽出部１１３３および垂直クラスタップ抽出部１１３４に供給する。なお、原画像記憶部１１３１には、図１０の水平タップ学習部１６１で教師画像として用いられるのと同一の原画像が、記憶されている。
処理は、ステップＳ２０１からステップＳ２０２に進み、差分画像生成部２３３は、ノイズ付加部１１３２から供給されたノイズ画像ｘ1を、図１１の水平マッピング部１６２から供給された水平処理画像Ｈ＝ｈ＋ｘ1から差し引くことで、水平差分ｈを生成する。
また、ステップＳ２０２において、差分画像生成部２３３は、原画像記憶部１１３１に記憶されている原画像を読み出し、その原画像から、生成した水平差分ｈを差し引き、その結果得られた原画像―水平差分ｈを、教師画像として、足し込み部１１３６に供給する。
その後、処理は、ステップＳ２０２からステップＳ２０３に進み、垂直予測タップ抽出部１１３３は、ノイズ付加部１１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、処理は、ステップＳ２０４に進む。
ステップＳ２０４において、垂直予測タップ抽出部１１３３は、ノイズ付加部１１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部１１３６に供給する。
そして、処理は、ステップＳ２０４からステップＳ２０５に進み、垂直クラスタップ抽出部１１３４は、ノイズ付加部１１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部１１３５に供給する。
さらに、処理は、ステップＳ２０５からステップＳ２０６に進み、垂直クラス分類部１１３５は、垂直クラスタップ抽出部１１３４から供給された垂直クラスタップに基づき、図２の垂直クラス分類部６７と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部１１３６に供給して、ステップＳ２０７に進む。
ステップＳ２０７において、足し込み部１１３６は、図８の学習部１２１の足し込み部１３６と同様にして、差分画像生成部２３３から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部１１３３から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部１１３５から供給された垂直クラスコードごとに行う。
処理は、ステップＳ２０７からステップＳ２０８に進み、垂直予測タップ抽出部１１３３は、ノイズ付加部１１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。
ステップＳ２０８において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ２０３に戻り、垂直予測タップ抽出部１１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ２０４に進み、以下、同様の処理を繰り返す。
一方、ステップＳ２０８において、まだ注目画素とされていない生徒画像の画素が存在しないと判定された場合、即ち、足し込み部１１３６においては、ノイズ付加部１１３２により生成された生徒画像の画素すべてを注目画素として、図８の学習部１２１と同様の足し込みを行うことにより、各垂直クラスについての正規方程式が得られた場合、足し込み部１１３６は、その正規方程式を、垂直タップ差分学習部１６３の係数算出部１１３７に供給する。そして、ステップＳ２０８からステップＳ２０９に進み、係数算出部１１３７は、足し込み部１１３６から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数ｗ’nを求めて出力する。
その後、処理は、図１２のステップＳ１７３にリターンする。
ところで、図１０の２段差分学習部１５１による２段差分学習処理では、水平タップ学習部１６１が、原画像を教師画像とするとともに、ノイズ画像（に相当する画像）を生徒画像として、水平係数を求め、その水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１６３において、垂直係数を求めている。
即ち、垂直タップ差分学習部１６３では、原画像から、水平処理効果分としての水平差分ｈを差し引くことで得られる画像である原画像―水平差分ｈを教師画像とするとともに、ノイズ画像を生徒画像として、垂直係数が求められる。このため、２段差分学習部１５１で求められた水平係数および垂直係数を用いた画像変換処理では、図８の学習部１２１で求められた水平係数および垂直係数を用いた画像変換処理のような、ノイズ画像に含まれるノイズを除去する効果が、いわば、２重になることを防止することができる。
しかしながら、図１０の２段差分学習部１５１では、垂直タップ差分学習部１６３において、水平タップ学習部１６１によりさきに求められた水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈを考慮する形で、垂直係数を求めている。
即ち、垂直タップ差分学習部１６３では、水平タップ学習部１６１により求められた水平係数を用いた水平予測演算による水平処理効果分の不足分や過剰分を補う垂直処理効果分が得られる垂直係数が求められることとなる。
従って、図１０の２段差分学習部１５１で求められた水平係数および垂直係数を用いた画像変換処理では、ノイズ画像に含まれるノイズを除去する効果のうちの、水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈの寄与分が大となり、垂直係数を用いた垂直予測演算による垂直処理効果分としての垂直差分ｖの寄与分は小となる。
このため、仮に、水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈにより、ノイズ画像に含まれるノイズを（十分に）除去することができなかった場合、垂直係数を用いた垂直予測演算による垂直処理効果分としての垂直差分ｖの寄与分が小であることから、垂直係数によっては、ノイズ画像に含まれるノイズを十分に除去することが困難となることがある。
しかしながら、水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈにより、ノイズ画像に含まれるノイズを十分に除去することができなかった場合においても、ノイズ画像に含まれるノイズを除去することができるように、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等に現れることが望ましい。
そこで、図１４は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部２７１の構成例を示すブロック図である。
２段反復学習部２７１は、図１０の２段差分学習部１５１の水平タップ学習部１６１乃至垂直タップ差分学習部１６３それぞれと同様に構成される水平タップ学習部１１６１乃至垂直タップ差分学習部１１６３と、垂直マッピング部２８４、および水平タップ差分学習部２８５とから構成される。
垂直マッピング部２８４は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、垂直タップ差分学習部１１６３から供給された垂直係数を用いて、ノイズ画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部２８５に供給する。
水平タップ差分学習部２８５は、水平タップ学習部１１６１で教師画像として用いられる原画像と、垂直マッピング部２８４から供給された垂直処理画像Ｖとを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部１１６２に供給する。
即ち、水平タップ差分学習部２８５は、原画像、ノイズ画像、および垂直処理画像Ｖから、後述するようにして、原画像と垂直差分ｖとの差分である原画像−垂直差分ｖを生成し、その原画像−垂直差分ｖを教師画像とするとともに、ノイズ画像を生徒画像として、水平予測タップ及び水平クラスタップを用いて、水平係数を学習する、水平タップにおける垂直差分の差分学習処理を行う。
なお、水平タップ差分学習部２８５の、水平タップにおける垂直差分の差分学習処理は、後述する図１５を参照して、詳細に説明する。
次に、図１５は、水平タップにおける垂直差分の差分学習処理を行う図１４の水平タップ差分学習部２８５の詳細な構成例を示すブロック図である。
水平タップ差分学習部２８５は、図１１の垂直タップ差分学習部１６３の原画像記憶部１１３１乃至係数算出部１１３７とそれぞれ同様に構成される原画像２１３１乃至係数算出部２１３７と差分画像生成部２９３とから構成される。
さらに、差分画像生成部２９３には、図１４の垂直マッピング部２８４から、垂直処理画像Ｖが供給される。
差分画像生成部２９３は、ノイズ付加部２１３２から供給された生徒画像（ノイズ画像）ｘ1を、図１４の垂直マッピング部２８４から供給された垂直処理画像Ｖ＝ｖ＋ｘ1から差し引くことで、垂直差分ｖを生成する。
また、差分画像生成部２９３は、原画像記憶部２１３１に記憶されている原画像を読み出し、その原画像から、生成した垂直差分ｖを差し引き、その結果得られた原画像―垂直差分ｖを、教師画像として、足し込み部２１３６に供給する。
以上のように構成される水平タップ差分学習部２８５では、原画像と垂直差分ｖとの差分である原画像―垂直差分ｖを教師画像とするとともに、ノイズ画像を生徒画像として、水平係数を学習することから、原画像から垂直マッピング処理による垂直処理効果分としての垂直差分ｖを差し引いた画像に、ノイズ画像を変換する水平係数が求められる。
次に、図１６のフローチャートを参照して、図１４の２段反復学習部２７１における２段反復学習処理を説明する。
ステップＳ２４１において、水平タップ学習部１１６１は、原画像を教師画像とするとともに、その原画像にノイズを付加したノイズ画像を生徒画像として、水平タップにおける学習処理を行い、その結果得られた水平係数を、水平マッピング部１１６２に供給して、処理は、ステップＳ２４２に進む。
ステップＳ２４２において、水平マッピング部１１６２および垂直タップ差分学習部１１６３により、垂直係数が生成される。
即ち、ステップＳ２４２では、ステップＳ２５１とステップＳ２５２の処理が行われる。
ステップＳ２５１では、水平マッピング部１１６２は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、水平タップ学習部１１６１から供給される水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部１１６３に供給して、処理は、ステップＳ２５２に進む。
ステップＳ２５２において、垂直タップ差分学習部１１６３は、水平タップ学習部１１６１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および水平マッピング部１１６２から供給された水平処理画像Ｈを用いて、垂直タップにおける水平差分の差分学習処理を行い、垂直係数を生成する。
また、ステップＳ２５２において、垂直タップ差分学習部１１６３は、生成した垂直係数を、垂直マッピング部２８４に供給する。
ステップＳ２５１およびステップＳ２５２の処理、つまり、ステップＳ２４２の処理が終了すると、処理は、ステップＳ２４２からステップＳ２４３に進み、垂直マッピング部２８４および水平タップ差分学習部２８５により、水平係数が生成される。
即ち、ステップＳ２４３では、ステップＳ２６１とステップＳ２６２の処理が行われる。
ステップＳ２６１において、垂直マッピング部２８４は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、垂直タップ差分学習部１１６３から供給された垂直係数とを用いて垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部２８５に供給して、処理は、ステップＳ２６２に進む。
ステップＳ２６２において、水平タップ差分学習部２８５は、水平タップ学習部１１６１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直マッピング部２８４から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を生成する。
また、ステップＳ２６２において、水平タップ差分学習部２８５は、生成した水平係数を、水平マッピング部１１６２に供給する。
ステップＳ２６１およびステップＳ２６２の処理、つまり、ステップＳ２４３の処理が終了すると、処理は、ステップＳ２４３からステップＳ２４２に戻り、水平マッピング部１１６２および垂直タップ差分学習部１１６３により、前回、水平タップ差分学習部２８５により生成された水平係数に基づいて、垂直係数が生成され、以下、同様の処理が繰り返される。
即ち、ステップＳ２４２のステップＳ２５１では、水平マッピング部１１６２は、水平タップ学習部１１６１で生徒画像として用いられるノイズ画像と、水平タップ差分学習部２８５から供給された水平係数とを用いて水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部１１６３に供給して、処理は、ステップＳ２５２に進み、以下、同様の処理を繰り返す。
なお、図１６の２段反復学習処理では、例えば、水平タップ差分学習部２８５で求められる水平係数、および垂直タップ差分学習部１１６３で求められる垂直係数が収束したときに、処理を終了することができる。また、図１６の２段反復学習処理は、水平係数や垂直係数を、あらかじめ決められた回数だけ繰り返し求めた、即ち、ステップＳ２４２およびステップＳ２４３を所定回数だけ繰り返し行ったときなどに終了することもできる。さらに、図１６の２段反復学習処理は、水平係数と垂直係数との係数セットを用いた、図２の画像変換部３１の画像変換処理による結果と、原画像との自乗誤差を最小にする係数セットが求められたときに終了するようにしてもよい。
また、図１６の２段反復学習処理では、水平タップ学習部１１６１、垂直タップ差分学習部１１６３、および水平タップ差分学習部２８５それぞれが、同一の生徒画像を用いて係数を学習するため、２段反復学習処理を繰り返し行っても、所定の水平予測タップについて得られる水平クラスは、同じ水平クラスとなり、また、所定の垂直予測タップについて得られる垂直クラスは、同じ垂直クラスとなる。
次に、図１７のフローチャートを参照して、図１６のステップＳ２６２の、水平タップにおける垂直差分の差分学習処理を詳細に説明する。
ステップＳ２７１において、水平タップ差分学習部２８５（図１５）のノイズ付加部２１３２は、原画像記憶部２１３１に記憶されている原画像を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、差分画像生成部２９３、水平予測タップ抽出部２１３３および水平クラスタップ抽出部２１３４に供給する。なお、原画像記憶部２１３１には、図１４の水平タップ学習部１１６１で教師画像として用いられるのと同一の原画像が、記憶されている。
処理は、ステップＳ２７１からステップＳ２７２に進み、差分画像生成部２９３は、ノイズ付加部２１３２から供給されたノイズ画像ｘ1を、図１４の垂直マッピング部２８４から供給された垂直処理画像Ｖ＝ｖ＋ｘ1から差し引くことで、垂直差分ｖを生成する。
また、ステップＳ２７２において、差分画像生成部２９３は、原画像記憶部２１３１に記憶されている原画像を読み出し、その原画像から、生成した垂直差分ｖを差し引き、その結果得られた原画像―垂直差分ｖを、教師画像として、足し込み部２１３６に供給する。
処理は、ステップＳ２７２からステップＳ２７３に進み、水平予測タップ抽出部２１３３は、ノイズ付加部２１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、処理は、ステップＳ２７４に進む。
ステップＳ２７４において、水平予測タップ抽出部２１３３は、ノイズ付加部２１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部２１３６に供給する。
処理は、ステップＳ２７４からステップＳ２７５に進み、水平クラスタップ抽出部２１３４は、ノイズ付加部２１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、水平クラス分類部２１３５に供給する。
処理は、ステップＳ２７５からステップＳ２７６に進み、水平クラス分類部２１３５は、水平クラスタップ抽出部２１３４から供給された水平クラスタップに基づき、図２の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部２１３６に供給する。
処理は、ステップＳ２７６からステップＳ２７７に進み、足し込み部２１３６は、図８の学習部１２１の場合と同様にして、差分画像生成部２９３から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部２１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、水平クラス分類部２１３５から供給された水平クラスコードごとに行う。
処理は、ステップＳ２７７からステップＳ２７８に進み、水平予測タップ抽出部２１３３は、ノイズ付加部２１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。
ステップＳ２７８において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ２７３に戻り、水平予測タップ抽出部２１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ２７４に進み、以下、同様の処理を繰り返す。
一方、ステップＳ２７８において、まだ注目画素とされていない生徒画像の画素が存在しないと判定された場合、即ち、足し込み部２１３６においては、ノイズ付加部２１３２により生成された生徒画像の画素すべてを注目画素として、図８の学習部１２１と同様の足し込みを行うことにより、各水平クラスについての正規方程式が得られた場合、足し込み部２１３６は、その正規方程式を、係数算出部２１３７に供給する。そして、処理は、ステップＳ２７８からステップＳ２７９に進み、係数算出部２１３７は、足し込み部２１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数ｗnを求めて出力する。
その後、処理は、図１６のステップＳ２６２にリターンする。
以上のような図１６の２段反復学習処理では、水平タップ学習部１１６１が行う水平タップにおける学習処理により、水平係数が求められ、その水平係数による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１１６３が行う垂直タップにおける水平差分の差分学習処理により、垂直係数が求められ、さらに、その垂直係数による垂直処理効果分としての垂直差分ｖを考慮する形で、水平タップ差分学習部２８５が行う水平タップにおける垂直差分の差分学習処理により、水平係数が求められる。また、その水平係数による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１１６３が行う垂直タップにおける水平差分の差分学習処理により、垂直係数が求められる。
従って、水平係数と垂直係数とがとる値が収束するまで、２段反復学習処理を行った場合、例えば、水平係数を用いた水平予測演算による水平処理効果分が大であり、垂直係数を用いた垂直予測演算による垂直処理効果分が小となる水平係数と垂直係数ではなく、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分が等しくなる水平係数と垂直係数を求めることができる。
また、図１０の２段差分学習部１５１では、水平タップ学習部１６１において先に水平係数が求められ、その水平係数を用いた水平予測演算による水平処理効果分としての水平差分ｈを考慮する形で、垂直タップ差分学習部１６３により垂直係数が求められることとしたが、先に垂直係数を求め、その垂直係数を用いた垂直予測演算による垂直処理効果分としての垂直差分ｖを考慮する形で、水平係数を求めることもできる。
即ち、図１８は、そのような２段差分学習部３０１の構成例を示すブロック図である。なお、図１８には、説明の便宜上、図２の画像変換部３１に相当する画像変換部３０２も図示してある。
２段差分学習部３０１は、垂直タップ学習部３１１、垂直マッピング部３１２、および水平タップ差分学習部３１３により構成される。
垂直タップ学習部３１１は、図８の学習部１２１と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部３１２に供給する。
垂直マッピング部３１２は、垂直タップ学習部３１１で生徒画像として用いられるノイズ画像（に相当する画像）と、垂直タップ学習部３１１から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られる垂直処理画像Ｖを、水平タップ差分学習部３１３に供給する。なお、垂直マッピング部３１２には、垂直タップ学習部３１１などから、ノイズ画像が供給される。
水平タップ差分学習部３１３は、垂直タップ学習部３１１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直マッピング部３１２から供給される垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、水平係数を学習する。
２段差分学習部３０１の垂直タップ学習部３１１で求められた垂直係数と、水平タップ差分学習部３１３で求められた水平係数とは、図２の画像変換部３１に相当する画像変換部３０２での画像変換処理に用いられる。
即ち、画像変換部３０２は、垂直マッピング部３１２、水平差分マッピング部３１４、および加算部３１５により構成される。
図２の画像変換部３１では、水平マッピング部７１（図３）が水平処理画像Ｈ＝ｈ＋ｘ1を生成し、垂直差分マッピング部７３が垂直差分ｖを生成して、加算部１０４が、水平マッピング部７１により生成された水平処理画像Ｈ＝ｈ＋ｘ1と、垂直差分マッピング部７３により生成された垂直差分ｖとを加算し、その結果得られた画素値Ｈ＋ｖで構成される、原画像を予測した水平垂直処理画像を出力するが、図１８の画像変換部３０２では、垂直マッピング部３１２が垂直処理画像Ｖ＝ｖ＋ｘ1を生成し、水平差分マッピング部３１４が水平差分ｈを生成して、加算部３１５が、垂直マッピング部３１２により生成された垂直処理画像Ｖ＝ｖ＋ｘ1と、水平差分マッピング部３１４により生成された水平差分ｈとを加算し、その結果得られた画素値Ｖ＋ｈで構成される、原画像を予測した画像（以下、適宜、垂直水平処理画像という）を出力する。
具体的には、垂直マッピング部３１２は、図３の垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、垂直クラス分類部６７、垂直係数記憶部６８、および垂直予測演算部１０２で構成される垂直マッピング部７２と同様に構成される。
垂直マッピング部３１２は、垂直タップ学習部３１１での垂直タップにおける学習処理により得られる垂直係数を用いて、ノイズ画像を垂直処理画像Ｖに変換する垂直マッピング処理を行い、その垂直処理画像Ｖを、加算部３１５に供給する。
水平差分マッピング部３１４は、図７の水平予測タップ抽出部６１、水平クラスタップ抽出部６２、水平クラス分類部６３、水平係数記憶部６４、水平予測演算部１０１、およびゲイン調整部１１２で構成される水平差分マッピング部１１１と同様に構成される。
水平差分マッピング部３１４は、水平タップ差分学習部３１３での水平タップにおける垂直差分の差分学習処理により得られる水平係数を用いて、ノイズ画像を水平差分ｈに変換する水平差分マッピング処理を行い、その水平差分ｈを、加算部３１５に供給する。
加算部３１５は、図３の加算部１０４と同様に構成され、垂直マッピング部３１２から供給された垂直処理画像Ｖと、水平差分マッピング部３１４から供給された水平差分ｈとを加算し、その結果得られた画素値Ｖ＋ｈで構成される、原画像を予測した垂直水平処理画像を出力する。
ところで、図１８の２段差分学習部３０１で求められる垂直係数と水平係数によれば、図１０の２段差分学習部１５１で求められる水平係数と垂直係数と同様に、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等とならない。
そこで、図１９は、水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部３３１の構成例を示すブロック図である。
２段反復学習部３３１は、垂直タップ学習部１３１１、垂直マッピング部１３１２、水平タップ差分学習部１３１３、水平マッピング部３２４、および垂直タップ差分学習部３２５により構成される。
垂直タップ学習部１３１１は、図８の学習部１２１と同様に構成され、垂直タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部１３１２に供給する。
垂直マッピング部１３１２は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像（に相当する画像）と、垂直タップ学習部１３１１から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部１３１３に供給する。なお、垂直マッピング部１３１２には、垂直タップ学習部１３１１などから、ノイズ画像が供給される。
水平タップ差分学習部１３１３は、垂直タップ学習部１３１１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直マッピング部１３１２から供給された垂直処理画像Ｖを用いて、水平タップにおける垂直差分の差分学習処理を行い、その結果得られた水平係数を、水平マッピング部３２４に供給する。
水平マッピング部３２４は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像と、水平タップ差分学習部１３１３から供給された水平係数とを用いて、ノイズ画像を水平処理画像Ｈに変換する水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部３２５に供給する。
垂直タップ差分学習部３２５は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像の画素値ｘ1を、水平マッピング部３２４から供給された水平処理画像Ｈ＝ｈ＋ｘ1から差し引くことで、水平差分ｈを生成する。
また、垂直タップ差分学習部３２５は、垂直タップ学習部１３１１で教師画像として用いられる原画像から、生成した水平差分ｈを差し引くことで得られる画像である原画像―水平差分ｈを教師画像とするとともに、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像を生徒画像として、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直マッピング部１３１２に供給する。
垂直タップ差分学習部３２５により垂直係数が求められると、以降、垂直マッピング部１３１２は、垂直タップ学習部１３１１で生徒画像として用いられるノイズ画像（に相当する画像）と、垂直タップ差分学習部３２５から供給された垂直係数とを用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、水平タップ差分学習部１３１３に供給する。
次に、図２０は、図１４の２段反復学習部２７１と、図１９の２段反復学習部３３１との両方を用いて、水平係数および垂直係数を反復して求める２段反復学習処理を説明する図である。
図中右側から１番目の上下方向に記載されている垂直タップ学習部１３１１、垂直マッピング部１３１２、水平タップ差分学習部１３１３、水平マッピング部３２４、および垂直タップ差分学習部３２５は、上述した図１９の２段反復学習部３３１による２段反復学習処理の流れを示している。
また、図中右側から２番目の上下方向に記載される水平タップ学習部１１６１、水平マッピング部１１６２、垂直タップ差分学習部１１６３、垂直マッピング部２８４、および水平タップ差分学習部２８５は、図１４の２段反復学習部２７１による２段反復学習処理の流れを示している。
また、図中下側には、図１０で説明した画像変換部１５２が示されている。
いま、教師画像と生徒画像とを用いたｎ回目の学習処理を、第ｎ−１世代の学習処理というとともに、第ｎ−１世代の学習によって求められる水平係数および垂直係数のセットを第ｎ−１世代の係数セットということとする。
第０世代の学習処理では、２段反復学習部２７１の水平タップ学習部１１６１が水平係数を求める。一方、２段反復学習部３３１の垂直タップ学習部１３１１が垂直係数を求める。これにより、第０世代の、水平係数および垂直係数の係数セットが求められる。
第１世代の学習処理では、２段反復学習部２７１の水平マッピング部１１６２が水平処理画像Ｈを生成し、その水平処理画像Ｈを用いて、垂直タップ差分学習部１１６３が垂直係数を求める。一方、２段反復学習部３３１の垂直マッピング部１３１２が垂直処理画像Ｖを生成し、その垂直処理画像Ｖを用いて、水平タップ差分学習部１３１３が水平係数を求める。これにより、第１世代の、水平係数および垂直係数の係数セットが求められる。
第２世代の学習処理では、２段反復学習部２７１の垂直マッピング部２８４が垂直処理画像Ｖを生成し、その垂直処理画像Ｖを用いて、水平タップ差分学習部２８５が水平係数を求める。一方、２段反復学習部３３１の水平マッピング部３２４が水平処理画像Ｈを生成し、その水平処理画像Ｈを用いて、垂直タップ差分学習部３２５が垂直係数を求める。これにより、第２世代の、水平係数および垂直係数の係数セットが求められる。
以下、同様にして、第３世代、第４世代、・・・第Ｎ世代と、反復して係数セットが求められる。
なお、２段反復学習部２７１による２段反復学習処理と、２段反復学習部３３１による２段反復学習処理とは、例えば、それらの２段反復学習処理により求められる係数セットを用いた、図２０下側に示される画像変換部１５２の画像変換処理による結果Ｈ＋ｖと、原画像との自乗誤差を最小にする係数セットが求められたとき、または、あらかじめ決められた世代の水平係数および垂直係数の係数セットが求められたときなどに終了する。
また、２段反復学習部２７１による２段反復学習処理と、２段反復学習部３３１による２段反復学習処理とにより求められた係数セットにより画像変換処理を行う場合は、求められた係数セットの、水平係数と垂直係数とのどちらかを先に用いてもかまわない。
即ち、図２０に示した画像変換部１５２による画像変換処理では、水平係数を用いた水平マッピング処理を行って、水平処理画像Ｈを得るとともに、垂直係数を用いた垂直差分マッピング処理を行って、垂直差分ｖを得て、水平処理画像Ｈと垂直差分ｖとを加算するが、垂直係数を用いた垂直マッピング処理を行って垂直処理画像Ｖを得るとともに、水平係数を用いた水平差分マッピング処理を行って、水平差分ｈを得て、垂直処理画像Ｖと水平差分ｈとを加算してもよい。
図２１は、図１の画像変換部３１の第２の構成例を示すブロック図である。
なお、図中、図２の画像変換部３１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図２１の画像変換部３１は、図２の水平予測タップ抽出部６１および垂直予測タップ抽出部６５に代えて、予測タップ抽出部３６８が、図２の予測演算部６９に代えて、予測演算部３６９がそれぞれ設けられており、さらに、係数合成部３６７が新たに設けられている他は、図２の画像変換部３１の場合と同様に構成されている。
係数合成部３６７には、水平係数記憶部６４から水平係数ｗnが、垂直係数記憶部６８から垂直係数ｗ’nが、それぞれ供給される。係数合成部３６７は、水平係数記憶部６４から供給された水平係数ｗnと、垂直係数記憶部６８から供給された垂直係数ｗ’nとを合成することにより、ゲインを調整した合成係数[（ｗ1＋ｗ’1−１），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]を生成する。なお、係数合成部３６７が合成係数をどのように生成するかは、後述する図２２の説明において詳細に説明する。
また、係数合成部３６７は、合成係数[（ｗ1＋ｗ’1−１），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]を、予測演算部３６９に供給する。
予測タップ抽出部３６８は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部３６８は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測するのに用いる複数の画素である合成予測タップを、ノイズ画像から抽出する。
即ち、予測タップ抽出部３６８は、図２の水平予測タップ抽出部６１が抽出する水平予測タップと、図２の垂直予測タップ抽出部６５が抽出する垂直予測タップとして、その水平予測タップと垂直予測タップとを合成した予測タップ（合成予測タップ）を抽出する。
従って、予測タップ抽出部３６８では、例えば、図２１右側に示される十字形に並ぶ、注目画素を中心とする複数の画素である十字形のタップ３５１を、合成予測タップとして抽出する。ここで、図２１では、図２１右側に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、注目画素の上に隣接する、黒丸で示す４個の画素、注目画素の下に隣接する、黒丸で示す４個の画素、および注目画素の、水平方向および垂直方向に並ぶ、１７個の画素が、十字形のタップ３５１として示されている。
また、予測タップ抽出部３６８は、ノイズ画像から抽出した合成予測タップを、予測演算部３６９に供給する。
予測演算部３６９は、係数合成部３６７から供給された合成係数と、予測タップ抽出部３６８から供給された合成予測タップに基づいて、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。
即ち、予測演算部３６９は、係数合成部３６７から供給された合成係数[（ｗ1＋ｗ’1−１），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]と、その合成係数それぞれに対応する、予測タップ抽出部３６８から供給された合成予測タップ[ｘ1，ｘ2，・・・，ｘN，ｘ’2，ｘ’3，・・・，ｘ’N]との積和（ｗ1＋ｗ’1−１）ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・＋ｗNｘN＋ｗ’2ｘ’2＋ｗ’3ｘ’3＋・・・＋ｗ’Nｘ’Nを求める。
ここで、（ｗ1＋ｗ’1−１）ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・＋ｗNｘN＋ｗ’2ｘ’2＋ｗ’3ｘ’3＋・・・＋ｗ’Nｘ’Nを変形すると、ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・＋ｗNｘN＋ｗ’1ｘ1＋ｗ’2ｘ’2＋ｗ’3ｘ’3＋・・・＋ｗ’Nｘ’N−ｘ1となり、上述した式（３）の右辺が導かれるため、結局、予測演算部３６９は、図２の予測演算部６９と同じノイズ除去画像の画素値（の予測値）を出力する。
図２２は、図２１の係数合成部３６７の詳細な構成例を示すブロック図である。
係数合成部３６７は、重複係数加算部３９１およびゲイン調整部３９２により構成される。
重複係数加算部３９１は、水平係数記憶部６４から供給された水平係数ｗn（例えば、水平係数ｗ1乃至ｗ9）のうちの、所定の画素と乗算される水平係数と、垂直係数記憶部６８から供給された垂直係数ｗ’n（例えば、ｗ’1乃至ｗ’9）のうちの、所定の画素と乗算される垂直係数とを加算する。
具体的には、重複係数加算部３９１は、水平係数記憶部６４から供給された水平係数ｗnのうちの、注目画素ｘ1と乗算される水平係数ｗ1と、垂直係数記憶部６８から供給された垂直係数ｗ’nのうちの、注目画素ｘ’1（＝ｘ1）と乗算される垂直係数ｗ’1とを加算し、その結果得られた係数[（ｗ1＋ｗ’1），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]を、ゲイン調整部３９２に供給する。
ゲイン調整部３９２は、重複係数加算部３９１から供給された係数[（ｗ1＋ｗ’1），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]のうちの、水平係数ｗ1および垂直係数ｗ’1が加算されることで得られた係数（ｗ1＋ｗ’1）を−１することで、係数（ｗ1＋ｗ’1）のゲインを調整し、その結果得られた係数[（ｗ1＋ｗ’1―１），ｗ2，ｗ3，・・・，ｗN，ｗ’2，ｗ’3，・・・，ｗ’N]を、合成係数として、図２１の予測演算部３６９に供給する。
図２３は、図１の画像変換部３１の第３の構成例を示すブロック図である。
なお、図中、図２１の画像変換部３１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図２３の画像変換部３１は、図２１の水平クラスタップ抽出部６２および垂直クラスタップ抽出部６６に代えて、クラスタップ抽出部４０１およびクラスタップ分配部４０２が設けられている他は、図２１の画像変換部３１と同様に構成される。
クラスタップ抽出部４０１は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、クラスタップ抽出部４０１は、注目画素に対して、水平クラスタップ抽出部６２（図２１）が抽出する水平クラスタップと、垂直クラスタップ抽出分６６（図２１）が抽出する垂直クラスタップとを合成したクラスタップ（合成クラスタップ）を、供給されてくるノイズ画像から抽出する。
即ち、クラスタップ抽出部４０１は、例えば、図２１右側に示される水平方向と垂直方向に並ぶ、１７画素である十字形のタップ３５１を、合成クラスタップとして抽出する。
また、クラスタップ抽出部４０１は、ノイズ画像から抽出した合成クラスタップを、クラスタップ分配部４０２に供給する。
クラスタップ分配部４０２は、クラスタップ抽出部４０１から供給された合成クラスタップを、図２１の水平クラスタップ抽出部６２が出力するのと同一の水平クラスタップと、図２１の垂直クラスタップ抽出部６６が出力するのと同一の垂直クラスタップとに分割し、水平クラスタップを水平クラス分類部６３に、垂直クラスタップを垂直クラス分類部６７にそれぞれ供給する。
次に、図２４は、図２３のクラスタップ分配部４０２における、合成クラスタップの分割を説明する図である。
図中左側には、クラスタップ抽出部４０１が、合成クラスタップとして抽出した、水平方向と垂直方向に並ぶ、１７画素である十字形のタップ３５１が示されている。また、図中右側には、クラスタップ分配部４０２が、水平方向と垂直方向に並ぶ、１７画素である十字形のタップ３５１を分割することで得た、水平クラスタップとしての水平方向に並ぶ、９画素である水平方向のタップ４１と、垂直クラスタップとしての垂直方向に並ぶ、９画素である垂直方向のタップ４２とが示されている。
クラスタップ分配部４０２は、水平方向と垂直方向とに並ぶ、１７画素である十字形のタップ３５１を、水平方向に並ぶ、９画素である水平方向のタップ４１と、垂直方向に並ぶ、９画素である垂直方向のタップ４２とに分割する。
その後、クラスタップ分配部４０２は、上述したように、水平方向のタップ４１を水平クラスタップとして水平クラス分類部６３に供給するとともに、垂直方向のタップ４２を垂直クラスタップとして垂直クラス分類部６７に供給する。
次に、図２５は、図１の画像変換部３１の第４の構成例を示すブロック図である。
なお、図中、図２の画像変換部３１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図２５の画像変換部３１は、図２の予測演算部６９に代えて、予測演算部４３５が設けられ、さらに、斜め予測タップ抽出部４３１、斜めクラスタップ抽出部４３２、斜めクラス分類部４３３、および斜め係数記憶部４３４が新たに設けられている他は、図２の画像変換部３１と同様に構成される。
また、画像変換部３１には、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が供給される。そして、ノイズ画像は、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、斜め予測タップ抽出部４３１、および斜めクラスタップ抽出部４３２に供給される。
斜め予測タップ抽出部４３１は、そこに供給されたノイズ画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、斜め予測タップ抽出部４３１は、注目画素に対応する、ノイズ画像を変換して得ようとするノイズ除去画像の画素の画素値を予測する予測演算に用いる複数の画素である斜め予測タップを、供給されてくるノイズ画像から抽出する。
即ち、斜め予測タップ抽出部４３１は、例えば、図２５右上に示される、注目画素と、その注目画素の斜め方向に位置する複数の画素である斜め方向のタップ４２３を、斜め予測タップとして抽出する。ここで、図２５では、図２５右上に白丸で示す注目画素の左上の、黒丸で示す１個の画素、注目画素の右上の、黒丸で示す１個の画素、注目画素の左下の、黒丸で示す１個の画素、注目画素の右下の、黒丸で示す１個の画素、および注目画素の、合計５個の画素が、斜め方向のタップ４２３として示されている。
斜め予測タップ抽出部４３１は、ノイズ画像から抽出した斜め予測タップを予測演算部４３５に供給する。
斜めクラスタップ抽出部４３２は、斜め予測タップ抽出部４３１により抽出された斜め予測タップを、複数の斜めクラスのうちのいずれかの斜めクラスにクラス分けする斜めクラス分類に用いる複数の画素である斜めクラスタップを、供給されてくるノイズ画像から抽出する。
即ち、斜めクラスタップ抽出部４３２は、例えば、図２５右上に示される、注目画素と、その周りに位置する複数の画素である斜め方向のタップ４２３を、斜めクラスタップとして抽出する。
なお、ここでは、説明を簡単にするために、斜め予測タップと斜めクラスタップとは、同一のタップ構造（注目画素に対する位置関係）を有する複数の画素であるとする。但し、斜め予測タップと斜めクラスタップとは、異なるタップ構造の複数の画素とすることができる。
斜めクラスタップ抽出部４３２において得られる、斜め予測タップに対応する斜めクラスタップは、斜めクラス分類部４３３に供給される。斜めクラス分類部４３３は、斜めクラスタップ抽出部４３２からの斜めクラスタップに基づいて斜め予測タップを斜めクラス分類し、その結果得られた斜めクラスに対応する斜めクラスコードを、斜め係数記憶部４３４に出力する。
ここで、斜めクラス分類を行う方法としては、例えば、上述した水平クラス分類部６３で行われる水平クラス分類と同様の方法を採用することができる。
斜め係数記憶部４３４は、後述する学習によってあらかじめ求められた斜めクラスごとの斜め係数のセットを記憶しており、その記憶している斜め係数のセットのうちの、斜めクラス分類部４３３から供給された斜めクラスコードに対応するアドレスに記憶されている斜め係数（斜めクラス分類部４３３から供給された斜めクラスコードが表す斜めクラスに対応する斜め係数）を、予測演算部４３５に出力する。
予測演算部４３５は、水平予測タップ抽出部６１から供給された水平予測タップ、垂直予測タップ抽出部６５から供給された垂直予測タップ、水平係数記憶部６４から供給された水平係数、垂直係数記憶部６８から供給された垂直係数、斜め予測タップ抽出部４３１から供給された斜め予測タップ、および斜め係数記憶部４３４から供給された斜め係数に基づいて、所定の予測演算を行うことにより、注目画素に対応する、ノイズ除去画像の画素の画素値（の予測値）を求めて出力する。
次に、図２６を参照して、図２５の予測演算部４３５で行われる予測演算を説明する。
図２６は、図２５の予測演算部４３５の詳細な構成例を示すブロック図である。
なお、図中、図３の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図２６の予測演算部４３５は、斜め予測演算部４６１、ゲイン調整部４６２、および加算部４６３が新たに設けられているほかは、図３の予測演算部６９の場合と同様に構成されている。
なお、図２６では、図３の水平クラスタップ抽出部６２、水平クラス分類部６３、垂直クラスタップ抽出部６６、および垂直クラス分類部６７の図示は、省略してある。
斜め予測演算部４６１には、斜め係数記憶部４３４からの斜め係数ｗ’’nと、斜め予測タップ抽出部４３１からの斜め予測タップｘ’’nとが供給される。
斜め予測演算部４６１は、斜め係数記憶部４３４からの斜め係数ｗ’’n、および斜め予測タップ抽出部４３１からの斜め予測タップｘ’’nとを用いた斜め予測演算を行い、その結果得られた斜め処理画像の画素（以下、適宜、斜め画素という）の画素値Ｒを、ゲイン調整部４６２に供給する。
ここで、斜め予測タップと斜め係数とを用いた斜め予測演算として、水平予測演算や垂直予測演算と同様に、線形１次予測演算を採用し、斜め画素の画素値Ｒを求めることとすると、斜め画素の画素値Ｒは、次の線形１次式によって求められることになる。
Figure 0005029869
 ・・・（１１）
但し、式（１１）において、ｘ’’nは、注目画素に対応する斜め画素（ノイズ画像の注目画素と同一の位置にある斜め処理画像の画素）についての斜め予測タップを構成する複数のノイズ画素のうちのｎ番目のノイズ画素の画素値を表している。ここで、例えば、斜め予測タップが、図２５右上に示した、注目画素と、その周りに位置する複数の画素である斜め方向のタップ４２３とすると、ｎ番目のノイズ画素の画素値とは、斜め方向のタップ４２３に付された番号ｎに対応するノイズ画素の画素値を示している。なお、ｘ’’1は、注目画素の画素値を表しており、注目画素の画素値であるｘ1と同一であるため、以下、ｘ1ともいう。
また、ｗ’’nは、ｎ番目のノイズ画素の画素値と乗算される斜め係数を表す。なお、式（１１）では、斜め予測タップが、Ｎ個のノイズ画素ｘ’’1，・・・，ｘ’’Nで構成されるものとしている。
斜め予測演算により求められる斜め画素の画素値Ｒは、ｗ’’1ｘ1＋ｗ’’2ｘ’’2＋・・・＋ｗ’’N-1ｘ’’N-1＋ｗ’’Nｘ’’N＝｛（ｗ’’1−１）ｘ1＋ｗ’’2ｘ’’2＋・・・＋ｗ’’N-1ｘ’’N-1＋ｗ’’Nｘ’’N｝＋ｘ1となり、ｒ＝｛（ｗ’’1−１）ｘ1＋ｗ’’2ｘ’’2＋・・・＋ｗ’’N-1ｘ’’N-1＋ｗ’’Nｘ’’N｝とすれば、Ｒ＝ｒ＋ｘ1となる。
ここで、ｒは、斜め予測演算により求められた斜め画素の画素値Ｒからノイズ画素の注目画素の画素値ｘ1を差し引くことで得られる差分の画素値を表す。従って、以下、適宜、ｒを斜め差分ｒという。
斜め差分ｒを導入することにより、斜め画素の画素値Ｒは、ノイズ画素の注目画素の画素値ｘ1に斜め差分ｒを加算することで得られる画素値と考えることができる。斜め画素は、斜め予測演算により、ノイズ画素（の画素値）に含まれるノイズが除去された画素であるから、斜め差分ｒは、いわば、斜め係数ｗ’’nと斜め予測タップの画素値ｘ’’nとを用いた斜め予測演算による、ノイズの除去の効果分（以下、適宜、斜め処理効果分という）であるということができる。
斜め予測演算部４６１は、上述した斜め予測演算により求められた斜め画素の画素値Ｒを、ゲイン調整部４６２に供給する。
ゲイン調整部４６２には、図２５の斜め予測タップ抽出部４３１から、注目画素の画素値ｘ1が供給される。
ゲイン調整部４６２は、斜め予測演算部４６１から供給された斜め画素の画素値Ｒから、斜め予測タップ抽出部４３１から供給されたノイズ画像の注目画素の画素値ｘ1を差し引くゲイン調整演算を行い、その結果得られた画素値である斜め差分ｒを加算部４６３に供給する。
加算部４６３は、加算部１０４から供給された画素値Ｈ＋ｖと、ゲイン調整部４６２から供給された斜め差分ｒとを加算し、その結果得られた画素値Ｈ＋ｖ＋ｒを、ノイズ除去画像を予測した画素値として出力する。
ここで、図２６の斜め予測タップ抽出部４３１、斜めクラスタップ抽出部４３２、斜めクラス分類部４３３、斜め係数記憶部４３４、および斜め予測演算部４６１を総称して斜めマッピング部４７１といい、その斜めマッピング部４７１が、斜め係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、斜め画素の画素値Ｒに変換する処理を、以下、適宜、斜めマッピング処理という。
また、斜め画素の画素値Ｒは、斜め処理画像の画素値を示すものであるため、以下、単に、斜め処理画像Ｒともいう。
さらに、図２６の斜め予測タップ抽出部４３１、斜めクラスタップ抽出部４３２、斜めクラス分類部４３３、斜め係数記憶部４３４、斜め予測演算部４６１、およびゲイン調整部４６２を総称して斜め差分マッピング部４７２といい、その斜め差分マッピング部４７２が、斜め係数を用いて、順次、注目画素とされるノイズ画素の画素値ｘ1を、斜め差分ｒに変換する処理を、以下、適宜、斜め差分マッピング処理という。
次に、図２７のフローチャートを参照して、図２５の画像変換部３１における画像変換処理を説明する。
この画像変換処理は、例えば、チューナで受信された放送番組のノイズ画像や、記録媒体から再生されるノイズ画像が、画像変換部３１に供給されたときに開始される。このとき、水平予測タップ抽出部６１、水平クラスタップ抽出部６２、垂直予測タップ抽出部６５、垂直クラスタップ抽出部６６、斜め予測タップ抽出部４３１、および斜めクラスタップ抽出部４３２には、ノイズ画像が供給される。
即ち、ステップＳ３１１乃至ステップＳ３１４において、図４のステップＳ３１乃至ステップＳ３４それぞれと同様の処理が行われ、処理は、ステップＳ３１５に進み、斜め差分マッピング部４７２（図２６）は、注目画素について斜め差分マッピング処理を行い、その結果得られた斜め差分ｒを、加算部４６３に供給して、処理は、ステップＳ３１６に進む。
ステップＳ３１６において、加算部４６３は、加算部１０４からの水平垂直処理画像Ｈ＋ｖと、斜め差分マッピング部４７２からの斜め差分ｒとを加算し、注目画素に対応する、ノイズ除去画像の画素値ｙ＝Ｈ＋ｖ＋ｒを得て出力する。
その後、ステップＳ３１６からステップＳ３１７に進み、図４のステップＳ３５と同様の処理が行われる。
即ち、ステップＳ３１７では、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画像の画素が存在するか否かを判定する。
ステップＳ３１７において、まだ注目画素とされていないノイズ画像が存在すると判定された場合、処理は、ステップＳ３１１に戻り、水平マッピング部７１の水平予測タップ抽出部６１は、まだ注目画素とされていないノイズ画像のうちの１つを、新たな注目画素とし、処理は、ステップＳ３１２に進み、以下、同様の処理を繰り返す。
ステップＳ３１７において、まだ注目画素とされていないノイズ画素が存在しないと判定された場合、画像変換処理は終了される。
なお、図２５の画像変換部３１では、水平タップにおける学習処理で求められる水平係数、垂直タップにおける学習処理で求められる垂直係数、および斜めタップにおける学習処理で求められる斜め係数を用いて、画像変換処理を行うことができる。
ここで、斜めタップにおける学習処理とは、ノイズ除去画像に相当する画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いて、斜め係数を学習する学習処理をいう。
なお、図８の学習部１２１において、予測タップ抽出部１３３が斜め予測タップを抽出し、クラスタップ抽出部１３４が斜め予測タップを抽出して、クラス分類部１３５が斜めクラス分類を行うようにすれば、斜めタップにおける学習処理を行うことができる。
即ち、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部１３３は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップ（図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる斜め予測タップ）を得て、足し込み部１３６に供給する。
クラスタップ抽出部１３４は、ノイズ付加部１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップ（図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる斜めクラスタップ）を得て、クラス分類部１３５に供給する。
クラス分類部１３５は、クラスタップ抽出部１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部１３６に供給する。
足し込み部１３６は、原画像記憶部１３１に記憶されている原画像を教師画像として、その教師画像のうちの注目画素に対応する画素（の画素値）を読み出し、その注目画素に対応する、教師画像の画素と、予測タップ抽出部１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、クラス分類部１３５から供給された斜めクラスコードごとに行う。
即ち、足し込み部１３６には、原画像記憶部１３１に記憶された教師画像の画素のうちの、注目画素に対応する画素の画素値ｙk、予測タップ抽出部１３３が出力する注目画素についての斜め予測タップを構成する生徒画像の画素の画素値ｘn,k、クラス分類部１３５が出力する、斜め予測タップの斜めクラスを表す斜めクラスコードが供給される。
そして、足し込み部１３６は、クラス分類部１３５から供給された斜めクラスコードに対応する斜めクラスごとに、斜め予測タップ（生徒画像）ｘn,kを用い、式（１０）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部１３６は、やはり、クラス分類部１３５から供給された斜めクラスコードに対応する斜めクラスごとに、斜め予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１０）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、足し込み部１３６は、前回、注目画素とされた生徒画像について求められた式（１０）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた生徒画像について、その生徒画像ｘn,k+1および教師画像ｙk+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（１０）のサメーションで表される加算を行う）。
そして、足し込み部１３６は、ノイズ付加部１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各斜めクラスについて、式（１０）に示した正規方程式をたてると、その正規方程式を、係数算出部１３７に供給する。
係数算出部１３７は、足し込み部１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数ｗ’’nを求めて出力する。
次に、図２８は、上述した図２５の画像変換部３１で用いられる水平係数、垂直係数、および斜め係数を学習する３段差分学習部４９１の構成例を示すブロック図である。
３段差分学習部４９１は、図１０の２段差分学習部１５１の水平タップ学習部１６１乃至垂直タップ差分学習部１６３それぞれと同様に構成される水平タップ学習部２１６１乃至垂直タップ学習部２１６３、図１０の画像変換部１５２の垂直差分マッピング部１６４または加算部１６５それぞれと同様に構成される垂直差分マッピング部２１６４または加算部２１６５、および斜めタップ差分学習部５３１から構成されている。
なお、図２８には、説明の便宜上、図２５の画像変換部３１に相当する画像変換部４９２も図示してある。
画像変換部４９２は、水平マッピング部２１６２、垂直差分マッピング部２１６４、加算部２１６５、斜め差分マッピング部５３２、および加算部５３３から構成される。斜め差分マッピング部５３２は、図２６の斜め差分マッピング部４７２と同様に構成される。
斜めタップ差分学習部５３１は、水平タップ学習部２１６１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。
即ち、斜めタップ差分学習部５３１は、原画像、ノイズ画像、および水平垂直処理画像Ｈ＋ｖから、後述するようにして、原画像と[水平差分ｈ＋垂直差分ｖ]との差分である原画像−[水平差分ｈ＋垂直差分ｖ]を生成し、その原画像−[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、ノイズ画像を生徒画像として、斜め予測タップ及び斜めクラスタップを用いて斜め係数を学習する、斜めタップにおける水平垂直差分の差分学習処理を行う。
なお、斜めタップ差分学習部５３１の、斜めタップにおける水平垂直差分の差分学習処理は、後述する図２９を参照して、詳細に説明する。
図２５の画像変換部３１における画像変換処理では、図２８の３段差分学習部４９１により求められた水平係数、垂直係数、および斜め係数を用いることができる。
ここで、図２８において、画像変換部４９２は、図２５の画像変換部３１と同様に構成される。画像変換部４９２では、次のようにして、ノイズ画像を原画像（の予測値）に変換する画像変換処理が行われる。
即ち、画像変換部４９２では、水平マッピング部２１６２、垂直差分マッピング部２１６４、加算部２１６５において、図１０の水平マッピング部１６２、垂直差分マッピング部１６４、加算部１６５とそれぞれ同様の処理が行われる。
そして、斜め差分マッピング部５３２において、斜めタップ差分学習部５３１での斜めタップにおける水平垂直差分の差分学習処理により得られる斜め係数を用いて、ノイズ画像を斜め差分ｒに変換する斜め差分マッピング処理を行い、その斜め差分ｒを、加算部５３３に供給する。
加算部５３３には、加算部２１６５から、水平垂直処理画像Ｈ＋ｖが供給される。
加算部５３３は、図２６の加算部４６３と同様に構成され、加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖと、斜め差分マッピング部５３２から供給された斜め差分ｒとを加算し、その結果得られた画素値Ｈ＋ｖ＋ｒで構成される、原画像を予測した画像（以下、適宜、水平垂直斜め処理画像という）を出力する。
次に、図２９は、斜めタップにおける水平垂直差分の差分学習処理を行う図２８の斜めタップ差分学習部５３１の詳細な構成例を示すブロック図である。
斜めタップ差分学習部５３１は、図１５の水平タップ差分学習部２８５の原画像記憶部２１３１乃至係数算出部２１３７それぞれと同様に構成される原画像記憶部３１３１乃至係数算出部３１３７と、差分画像生成部５４３とから構成される。
差分画像生成部５４３には、ノイズ付加部３１３２から生徒画像が供給されるとともに、図２８の加算部２１６５から、水平垂直処理画像Ｈ＋ｖが供給される。
差分画像生成部５４３は、ノイズ付加部３１３２から供給された生徒画像（ノイズ画像）ｘ1を、図２８の加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖ＝ｈ＋ｖ＋ｘ1から差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。
また、差分画像生成部５４３は、原画像記憶部３１３１に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部３１３６に供給する。
斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップを得て、足し込み部３１３６に供給する。
斜めクラスタップ抽出部３１３４は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップを得て、斜めクラス分類部３１３５に供給する。
斜めクラス分類部３１３５は、斜めクラスタップ抽出部３１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部３１３６に供給する。
なお、足し込み部３１３６は、差分画像生成部５４３から供給された教師画像の画素のうちの、注目画素に対応する画素と、斜め予測タップ抽出部３１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、斜めクラス分類部３１３５から供給された斜めクラスコードごとに行うことにより、各斜めクラスについて正規方程式をたてると、その正規方程式を、係数算出部３１３７に供給する。
係数算出部３１３７は、足し込み部３１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数を求めて出力する。
以上のように構成される斜めタップ差分学習部５３１では、原画像と[水平差分ｈ＋垂直差分ｖ]との差分である原画像―[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、ノイズ画像を生徒画像として、斜め係数を学習することから、ノイズ画像を、原画像から、水平マッピング処理による水平処理効果分としての水平差分ｈと垂直マッピング処理による垂直処理効果分としての垂直差分ｖとを差し引いた画像に変換する斜め係数が求められる。
次に、図３０のフローチャートを参照して、図２８の３段差分学習部４９１における３段差分学習処理を説明する。
ステップＳ３３１において、水平タップ学習部２１６１は、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いた水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部２１６２に供給する。
その後、処理は、ステップＳ３３１からステップＳ３３２に進み、水平マッピング部２１６２は、水平タップ学習部２１６１で生徒画像として用いられるノイズ画像（に相当する画像）と、水平タップ学習部２１６１から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直タップ差分学習部２１６３に供給する。
そして、処理は、ステップＳ３３２からステップＳ３３３に進み、垂直タップ差分学習部２１６３は、水平タップ学習部２１６１で教師画像として用いられる原画像と、水平マッピング部２１６２から供給された水平処理画像Ｈとを用いて、垂直タップにおける水平差分の差分学習処理を行い、その結果得られた垂直係数を、垂直差分マッピング部２１６４に供給して、処理は、ステップＳ３３４に進む。
ステップＳ３３４において、垂直差分マッピング部２１６４は、水平タップ学習部２１６１で生徒画像として用いられるノイズ画像と、垂直タップ差分学習部２１６３から供給された垂直係数とを用いて、垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部２１６５に供給して、処理は、ステップＳ３３５に進む。
ステップＳ３３５において、加算部２１６５は、水平マッピング部２１６２から供給された水平処理画像Ｈと、垂直差分マッピング部２１６４から供給された垂直差分ｖとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜めタップ差分学習部５３１に供給して、処理は、ステップＳ３３６に進む。
ステップＳ３３６において、斜めタップ差分学習部５３１は、水平タップ学習部２１６１で教師画像として用いられる原画像と、加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖとを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。
その後、３段差分学習処理は、終了される。
次に、図３１のフローチャートを参照して、図３０のステップＳ３３６の、斜めタップにおける水平垂直差分の差分学習処理の詳細を説明する。
ステップＳ３４１において、斜めタップ差分学習部５３１（図２９）のノイズ付加部３１３２は、原画像記憶部３１３１に記憶されている原画像を読み出し、その原画像にノイズを付加することでノイズ画像に相当する画像を、生徒画像として生成し、差分画像生成部５４３、斜め予測タップ抽出部３１３３および斜めクラスタップ抽出部３１３４に供給する。なお、原画像記憶部３１３１には、図２８の水平タップ学習部２１６１で教師画像として用いられるのと同一の原画像が、記憶されている。
処理は、ステップＳ３４１からステップＳ３４２に進み、差分画像生成部５４３は、ノイズ付加部３１３２から供給されたノイズ画像ｘ1を、図２８の加算部２１６５から供給された水平垂直処理画像Ｈ＋ｖ＝ｈ＋ｖ＋ｘ1から差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。
また、ステップＳ３４２において、差分画像生成部５４３は、原画像記憶部３１３１に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部３１３６に供給する。
処理は、ステップＳ３４２からステップＳ３４３に進み、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、処理は、ステップＳ３４４に進む。
ステップＳ３４４において、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの、注目画素についての斜め予測タップとなる複数の画素を抽出し、足し込み部３１３６に供給する。
処理は、ステップＳ３４４からステップＳ３５５に進み、斜めクラスタップ抽出部３１３４は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの、注目画素についての斜めクラスタップとなる複数の画素を抽出し、斜めクラス分類部３１３５に供給する。
処理は、ステップＳ３４５からステップＳ３４６に進み、斜めクラス分類部３１３５は、斜めクラスタップ抽出部３１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部３１３６に供給して、処理は、ステップＳ３４７に進む。
ステップＳ３４７において、足し込み部３１３６は、差分画像生成部５４３から供給された教師画像の画素のうちの、注目画素に対応する画素と、斜め予測タップ抽出部３１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、斜めクラス分類部３１３５から供給された斜めクラスコードごとに行う。
処理は、ステップＳ３４７からステップＳ３４８に進み、斜め予測タップ抽出部３１３３は、ノイズ付加部３１３２から供給された生徒画像を構成する画素のうちの、まだ注目画素とされていない画素が存在するか否かを判定する。
ステップＳ３４８において、まだ注目画素とされていない画素が存在すると判定された場合、処理は、ステップＳ３４３に戻り、斜め予測タップ抽出部３１３３は、まだ注目画素とされていない生徒画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ３４４に進み、以下、同様の処理を繰り返す。
一方、ステップＳ３４８において、まだ注目画素とされていない生徒画像の画素が存在しないと判定された場合、即ち、足し込み部３１３６においては、ノイズ付加部３１３２により生成された生徒画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各斜めクラスについて、式（１０）に示した正規方程式が得られた場合、足し込み部３１３６は、その正規方程式を、係数算出部３１３７に供給する。そして、処理は、ステップＳ３４８からステップＳ３４９に進み、係数算出部３１３７は、足し込み部３１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数ｗ’’nを求めて出力する。
その後、処理は、図３０のステップＳ３３６にリターンする。
ところで、図２８の３段差分学習部４９１で求められる水平係数、垂直係数、および斜め係数によれば、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直処理効果分、および斜め係数を用いた斜め処理効果分の寄与分が同等とならない。
そこで、図３２は、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直予測演算による垂直処理効果分、および斜め係数を用いた斜め予測演算による斜め処理効果分の寄与分が同等となるように、水平係数、垂直係数、および斜め係数を求める３段反復学習部５８１の構成例を示すブロック図である。
図３２の３段反復学習部５８１は、水平処理部６０１、垂直処理部６０２、および斜め処理部６０３により構成される。
水平処理部６０１は、斜め処理部６０３から供給された画像などに基づいて、水平係数を学習する。さらに、水平処理部６０１は、学習によって得られる水平係数などに基づいて画像を生成し、垂直処理部６０２に供給する。
垂直処理部６０２は、水平処理部６０１から供給された画像などに基づいて、垂直係数を学習する。さらに、垂直処理部６０２は、学習によって得られる垂直係数などに基づいて画像を生成し、斜め処理部６０３に供給する。
斜め処理部６０３は、垂直処理部６０２から供給された画像などに基づいて、斜め係数を学習する。さらに、斜め処理部６０３は、学習によって得られる斜め係数などに基づいて画像を生成し、水平処理部６０１に供給する。
図３３は、図３２の水平処理部６０１の詳細な構成例を示すブロック図である。
水平処理部６０１は、水平タップ学習部６３１、水平マッピング部６３２、水平タップ差分学習部６３３、および水平差分加算マッピング部６３４により構成される。また、水平差分加算マッピング部６３４は、水平差分マッピング部６６１および加算部６６２により構成される。
水平タップ学習部６３１は、図８の学習部１２１と同様に構成され、水平タップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて、水平係数を学習する学習処理を行い、その結果得られた水平係数を、水平マッピング部６３２および水平差分加算マッピング部６３４（水平差分マッピング部６６１）に供給する。
水平マッピング部６３２は、水平タップ学習部６３１で生徒画像として用いられるノイズ画像と、水平タップ学習部６３１または水平タップ差分学習部６３３から供給された水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２（図３２）に供給する。
水平タップ差分学習部６３３は、水平タップ学習部６３１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および斜め処理部６０３から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、水平係数を学習する。
即ち、水平タップ差分学習部６３３は、原画像、ノイズ画像、および垂直斜め処理画像Ｖ＋ｒから、後述するようにして、原画像と[垂直差分ｖ＋斜め差分ｒ]との差分である原画像−[垂直差分ｖ＋斜め差分ｒ]を生成し、その原画像−[垂直差分ｖ＋斜め差分ｒ]を教師画像とするとともに、ノイズ画像を生徒画像として、水平予測タップおよび水平クラスタップを用いて水平係数を学習する、水平タップにおける垂直斜め差分の差分学習処理を行う。
なお、水平タップ差分学習部６３３の、水平タップにおける垂直斜め差分の差分学習処理は、後述する図３４を参照して、詳細に説明する。
また、水平タップ差分学習部６３３は、学習した水平係数を、水平マッピング部６３２および水平差分加算マッピング部６３４（水平差分マッピング部６６１）に供給する。
水平差分加算マッピング部６３４は、斜め水平処理画像Ｒ＋ｈを生成し、垂直処理部６０２に供給する。
即ち、水平差分加算マッピング部６３４の水平差分マッピング部６６１は、水平タップ学習部６３１で生徒画像として用いられるノイズ画像と、水平タップ学習部６３１または水平タップ差分学習部６３３から供給された水平係数を用いて、水平差分マッピング処理を行い、その結果得られた水平差分ｈを、加算部６６２に供給する。
加算部６６２は、水平差分マッピング部６６１から供給された水平差分ｈと、斜め処理部６０３から供給された斜め処理画像Ｒとを加算し、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２に供給する。
ここで、上述のように、水平差分マッピング部６６１と加算部６６２とで構成される水平差分加算マッピング部６３４は、水平差分ｈを求め、その水平差分ｈと、斜め処理部６０３から供給された斜め処理画像Ｒとを加算する処理を行うため、かかる処理を、以下、適宜、水平差分加算マッピング処理という。
図３４は、水平タップにおける垂直斜め差分の差分学習処理を行う図３３の水平タップ差分学習部６３３の詳細な構成例を示すブロック図である。
水平タップ差分学習部６３３は、図１５の水平タップ差分学習部２８５の原画像記憶部２１３１乃至係数算出部２１３７それぞれと同様に構成される原画像記憶部４１３１乃至係数算出部４１３７と、差分画像生成部６７３とから構成される。
差分画像生成部６７３には、ノイズ付加部４１３２から生徒画像が供給されるとともに、図３２の斜め処理部６０３から、垂直斜め処理画像Ｖ＋ｒが供給される。
差分画像生成部６７３は、ノイズ付加部４１３２から供給された生徒画像（ノイズ画像）ｘ1を、図３２の斜め処理部６０３から供給された垂直斜め処理画像Ｖ＋ｒ＝ｖ＋ｘ1＋ｒから差し引くことで、[垂直差分ｖ＋斜め差分ｒ]を生成する。
また、差分画像生成部６７３は、原画像記憶部４１３１に記憶されている原画像を読み出し、その原画像から、生成した[垂直差分ｖ＋斜め差分ｒ]を差し引き、その結果得られた原画像―[垂直差分ｖ＋斜め差分ｒ]を、教師画像として、足し込み部４１３６に供給する。
水平予測タップ抽出部４１３３は、ノイズ付加部４１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、水平予測タップ抽出部４１３３は、ノイズ付加部４１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の水平予測タップ抽出部６１が注目画素について得る水平予測タップと同一のタップ構造の水平予測タップを得て、足し込み部４１３６に供給する。
水平クラスタップ抽出部４１３４は、ノイズ付加部４１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の水平クラスタップ抽出部６２が注目画素について得る水平クラスタップと同一のタップ構造の水平クラスタップを得て、水平クラス分類部４１３５に供給する。
水平クラス分類部４１３５は、水平クラスタップ抽出部４１３４から供給された水平クラスタップに基づき、図２５の水平クラス分類部６３と同一の水平クラス分類を行い、その結果得られた水平クラスに対応する水平クラスコードを、足し込み部４１３６に供給する。
なお、足し込み部４１３６は、差分画像生成部６７３から供給された教師画像の画素のうちの、注目画素に対応する画素と、水平予測タップ抽出部４１３３から供給された注目画素についての水平予測タップを構成する生徒画像の画素とを対象とした足し込みを、水平クラス分類部４１３５から供給された水平クラスコードごとに行うことにより、各水平クラスについて正規方程式をたてると、その正規方程式を、係数算出部４１３７に供給する。
係数算出部４１３７は、足し込み部４１３６から供給された各水平クラスについての正規方程式を解くことにより、各水平クラスについて、水平係数を求めて出力する。
図３５は、図３２の垂直処理部６０２の詳細な構成例を示すブロック図である。
垂直処理部６０２は、垂直タップ学習部６９１、垂直マッピング部６９２、垂直タップ差分学習部６９３、および垂直差分加算マッピング部６９４により構成される。また、垂直差分加算マッピング部６９４は、垂直差分マッピング部７２１および加算部７２２により構成される。
垂直タップ学習部６９１は、図８の学習部１２１と同様に構成され、垂直タップにおける学習処理、、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて、垂直係数を学習する学習処理を行い、その結果得られた垂直係数を、垂直マッピング部６９２および垂直差分加算マッピング部６９４（垂直差分マッピング部７２１）に供給する。
垂直マッピング部６９２は、垂直タップ学習部６９１で生徒画像として用いられるノイズ画像と、垂直タップ学習部６９１または垂直タップ差分学習部６９３から供給された垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３（図３２）に供給する。
垂直タップ差分学習部６９３は、垂直タップ学習部６９１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および水平処理部６０１から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、水平係数を学習する。
即ち、垂直タップ差分学習部６９３は、原画像、ノイズ画像、および斜め水平処理画像Ｒ＋ｈから、原画像と[斜め差分ｒ＋水平差分ｈ]との差分である原画像−[斜め差分ｒ＋水平差分ｈ]を生成し、その原画像−[斜め差分ｒ＋水平差分ｈ]を教師画像とするとともに、ノイズ画像を生徒画像として、垂直予測タップおよび垂直クラスタップを用いて垂直係数を学習する、垂直タップにおける斜め水平差分の差分学習処理を行う。
なお、垂直タップ差分学習部６９３の、垂直タップにおける斜め水平差分の差分学習処理は、後述する図３６を参照して、詳細に説明する。
また、垂直タップ差分学習部６９３は、学習した垂直係数を、垂直マッピング部６９２および垂直差分加算マッピング部６９４（垂直差分マッピング部７２１）に供給する。
垂直差分加算マッピング部６９４は、水平垂直処理画像Ｈ＋ｖを生成し、斜め処理部６０３に供給する。
即ち、垂直差分加算マッピング部６９４の垂直差分マッピング部７２１は、垂直タップ学習部６９１で生徒画像として用いられるノイズ画像と、垂直タップ学習部６９１または垂直タップ差分学習部６９３から供給された垂直係数を用いて、垂直差分マッピング処理を行い、その結果得られた垂直差分ｖを、加算部７２２に供給する。
加算部７２２は、垂直差分マッピング部７２１から供給された垂直差分ｖと、水平処理部６０１から供給された水平処理画像Ｈとを加算し、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３に供給する。
ここで、上述のように、垂直差分マッピング部７２１と加算部７２２とで構成される垂直差分加算マッピング部６９４は、垂直差分ｖを求め、その垂直差分ｖと、水平処理部６０１から供給された水平処理画像Ｈとを加算する処理を行うが、かかる処理を、以下、適宜、垂直差分加算マッピング処理という。
図３６は、垂直タップにおける斜め水平差分の差分学習処理を行う図３５の垂直タップ差分学習部６９３の詳細な構成例を示すブロック図である。
垂直タップ差分学習部６９３は、図３４の水平タップ差分学習部６３３の原画像記憶部４１３１乃至係数算出部４１３７それぞれと同様に構成される原画像記憶部５１３１乃至係数算出部５１３７と、差分画像生成部７３３とから構成される。
差分画像生成部７３３には、ノイズ付加部５１３２から生徒画像が供給されるとともに、図３２の水平処理部６０１から、斜め水平処理画像Ｒ＋ｈが供給される。
差分画像生成部７３３は、ノイズ付加部５１３２から供給された生徒画像（ノイズ画像）ｘ1を、図３２の水平処理部６０１から供給された斜め水平処理画像Ｒ＋ｈ＝ｒ＋ｘ1＋ｈから差し引くことで、[斜め差分ｒ＋水平差分ｈ]を生成する。
また、差分画像生成部７３３は、原画像記憶部５１３１に記憶されている原画像を読み出し、その原画像から、生成した[斜め差分ｒ＋水平差分ｈ]を差し引き、その結果得られた原画像―[斜め差分ｒ＋水平差分ｈ]を、教師画像として、足し込み部５１３６に供給する。
垂直予測タップ抽出部５１３３は、ノイズ付加部５１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、垂直予測タップ抽出部５１３３は、ノイズ付加部５１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の垂直予測タップ抽出部６５が注目画素について得る垂直予測タップと同一のタップ構造の垂直予測タップを得て、足し込み部５１３６に供給する。
垂直クラスタップ抽出部５１３４は、ノイズ付加部５１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の垂直クラスタップ抽出部６６が注目画素について得る垂直クラスタップと同一のタップ構造の垂直クラスタップを得て、垂直クラス分類部５１３５に供給する。
垂直クラス分類部５１３５は、垂直クラスタップ抽出部５１３４から供給された垂直クラスタップに基づき、図２５の垂直クラス分類部６７と同一の垂直クラス分類を行い、その結果得られた垂直クラスに対応する垂直クラスコードを、足し込み部５１３６に供給する。
なお、足し込み部５１３６は、差分画像生成部７３３から供給された教師画像の画素のうちの、注目画素に対応する画素と、垂直予測タップ抽出部５１３３から供給された注目画素についての垂直予測タップを構成する生徒画像の画素とを対象とした足し込みを、垂直クラス分類部５１３５から供給された垂直クラスコードごとに行うことにより、各垂直クラスについて正規方程式をたてると、その正規方程式を、係数算出部５１３７に供給する。
係数算出部５１３７は、足し込み部５１３６から供給された各垂直クラスについての正規方程式を解くことにより、各垂直クラスについて、垂直係数を求めて出力する。
図３７は、図３２の斜め処理部６０３の詳細な構成例を示すブロック図である。
斜め処理部６０３は、斜めタップ学習部７５１、斜めマッピング部７５２、斜めタップ差分学習部７５３、および斜め差分加算マッピング部７５４により構成される。また、斜め差分加算マッピング部７５４は、斜め差分マッピング部７８１および加算部７８２により構成される。
斜めタップ学習部７５１は、図８の学習部１２１と同様に構成され、斜めタップにおける学習処理、即ち、ノイズ除去画像に相当する画像である原画像を教師画像とするとともに、ノイズ画像に相当する画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いた斜め係数を学習する学習処理を行い、その結果得られた斜め係数を、斜めマッピング部７５２および斜め差分加算マッピング部７５４（斜め差分マッピング部７８１）に供給する。
斜めマッピング部７５２は、斜めタップ学習部７５１で生徒画像として用いられるノイズ画像と、斜めタップ学習部７５１または斜めタップ差分学習部７５３から供給された斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１（図３２）に供給する。
斜めタップ差分学習部７５３は、斜めタップ学習部７５１で教師画像として用いられる原画像と生徒画像として用いられるノイズ画像、および垂直処理部６０２から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を学習する。
即ち、斜めタップ差分学習部７５３は、原画像、ノイズ画像、および水平垂直処理画像Ｈ＋ｖから、原画像と[水平差分ｈ＋垂直差分ｖ]との差分である原画像−[水平差分ｈ＋垂直差分ｖ]を生成し、その原画像−[水平差分ｈ＋垂直差分ｖ]を教師画像とするとともに、ノイズ画像を生徒画像として、斜め予測タップおよび斜めクラスタップを用いて斜め係数を学習する、斜めタップにおける水平垂直差分の差分学習処理を行う。
なお、斜めタップ差分学習部７５３の、斜めタップにおける水平垂直差分の差分学習処理は、後述する図３８を参照して、詳細に説明する。
また、斜めタップ差分学習部７５３は、学習した斜め係数を、斜めマッピング部７５２および斜め差分加算マッピング部７５４（斜め差分マッピング部７８１）に供給する。
斜め差分加算マッピング部７５４は、垂直斜め処理画像Ｖ＋ｒを生成し、水平処理部６０１に供給する。
即ち、斜め差分加算マッピング部７５４の斜め差分マッピング部７８１は、斜めタップ学習部７５１で生徒画像として用いられるノイズ画像と、斜めタップ学習部７５１または斜めタップ差分学習部７５３から供給された斜め係数を用いて、斜め差分マッピング処理を行い、その結果得られた斜め差分ｒを、加算部７８２に供給する。
加算部７８２は、斜め差分マッピング部７８１から供給された斜め差分ｒと、垂直処理部６０２から供給された垂直処理画像Ｖとを加算し、その結果得られた垂直斜め処理画像Ｖ＋ｒを生成し、水平処理部６０１に供給する。
ここで、上述のように、斜め差分マッピング部７８１と加算部７８２とで構成される斜め差分加算マッピング部７５４は、斜め差分ｒを求め、その斜め差分ｒと、垂直処理部６０２から供給された垂直処理画像Ｖとを加算する処理を行うが、かかる処理を、以下、適宜、斜め差分加算マッピング処理という。
図３８は、斜めタップにおける水平垂直差分の差分学習処理を行う図３７の斜めタップ差分学習部７５３の詳細な構成例を示すブロック図である。
斜めタップ差分学習部７５３は、図３４の水平タップ差分学習部６３３の原画像記憶部４１３１乃至係数算出部４１３７それぞれと同様に構成される原画像記憶部６１３１乃至係数算出部６１３７と、差分画像生成部７９３とから構成される。
差分画像生成部７９３には、ノイズ付加部６１３２から生徒画像が供給されるとともに、図３２の垂直処理部６０２から、水平垂直処理画像Ｈ＋ｖが供給される。
差分画像生成部７９３は、ノイズ付加部６１３２から供給された生徒画像（ノイズ画像）ｘ1を、図３２の垂直処理部６０２から供給された水平垂直処理画像Ｈ＋ｖ＝ｈ＋ｘ1＋ｖから差し引くことで、[水平差分ｈ＋垂直差分ｖ]を生成する。
また、差分画像生成部７９３は、原画像記憶部６１３１に記憶されている原画像を読み出し、その原画像から、生成した[水平差分ｈ＋垂直差分ｖ]を差し引き、その結果得られた原画像―[水平差分ｈ＋垂直差分ｖ]を、教師画像として、足し込み部６１３６に供給する。
斜め予測タップ抽出部６１３３は、ノイズ付加部６１３２から供給された生徒画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、斜め予測タップ抽出部６１３３は、ノイズ付加部６１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜め予測タップ抽出部４３１が注目画素について得る斜め予測タップと同一のタップ構造の斜め予測タップを得て、足し込み部６１３６に供給する。
斜めクラスタップ抽出部６１３４は、ノイズ付加部６１３２から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図２５の斜めクラスタップ抽出部４３２が注目画素について得る斜めクラスタップと同一のタップ構造の斜めクラスタップを得て、斜めクラス分類部６１３５に供給する。
斜めクラス分類部６１３５は、斜めクラスタップ抽出部６１３４から供給された斜めクラスタップに基づき、図２５の斜めクラス分類部４３３と同一の斜めクラス分類を行い、その結果得られた斜めクラスに対応する斜めクラスコードを、足し込み部６１３６に供給する。
なお、足し込み部６１３６は、差分画像生成部７９３から供給された教師画像の画素のうちの、注目画素に対応する画素と、斜め予測タップ抽出部６１３３から供給された注目画素についての斜め予測タップを構成する生徒画像の画素とを対象とした足し込みを、斜めクラス分類部６１３５から供給された斜めクラスコードごとに行うことにより、各斜めクラスについて正規方程式をたてると、その正規方程式を、係数算出部６１３７に供給する。
係数算出部６１３７は、足し込み部６１３６から供給された各斜めクラスについての正規方程式を解くことにより、各斜めクラスについて、斜め係数を求めて出力する。
図３９は、図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。
図中左側から１番目の、上下方向に伸びた点線の矩形内には、水平タップ学習部６３１、水平マッピング部６３２、水平タップ差分学習部６３３、および水平差分加算マッピング部６３４が示されており、図３２の水平処理部６０１による処理の流れを示している。
また、図中左側から２番目の、上下方向に伸びた点線の矩形内には、垂直タップ学習部６９１、垂直マッピング部６９２、垂直タップ差分学習部６９３、および垂直差分加算マッピング部６９４が示されており、図３２の垂直処理部６０２による処理の流れを示している。
さらに、図中左側から３番目（右側から１番目）の、上下方向に伸びた点線の矩形内には、斜めタップ学習部７５１、斜めマッピング部７５２、斜めタップ差分学習部７５３、および斜め差分加算マッピング部７５４が示されており、図３２の斜め処理部６０３による処理の流れを示している。
なお、図中、実線で表された矢印は、水平マッピング部６３２や、水平差分加算マッピング部６３４、垂直マッピング部６９２、垂直差分加算マッピング部６９４、斜めマッピング部７５２、斜め差分加算マッピング部７５４で生成された画像の流れを示している。
また、図中、点線で表された矢印は、水平タップ学習部６３１や、水平タップ差分学習部６３３、垂直タップ学習部６９１、垂直タップ差分学習部６９３、斜めタップ学習部７５１、斜めタップ差分学習部７５３で学習された係数の流れを示している。
さらに、図中下側には、図２８で説明した画像変換部４９２が示されている。
いま、教師画像と生徒画像とを用いたｎ回目の学習処理を、第ｎ−１世代の学習処理というとともに、第ｎ−１世代の学習によって求められる第ｎ−１世代の水平係数、第ｎ−１世代の垂直係数、および第ｎ−１世代の斜め係数のセットを、第ｎ−１世代の係数セットということとする。
第０世代の学習処理では、水平処理部６０１の水平タップ学習部６３１は、水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。垂直処理部６０２の垂直タップ学習部６９１は、垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。さらに、斜め処理部６０３の斜めタップ学習部７５１は、斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。これにより、第０世代の係数セットが求められる。
第１世代の学習処理では、第０世代で求められた係数セットに基づいて、第１世代の係数セットが求められる。
即ち、第１世代の学習処理では、水平処理部６０１の水平マッピング部６３２は、水平タップ学習部６３１からの第０世代の水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２の垂直差分加算マッピング部６９４に供給する。
垂直処理部６０２の垂直差分加算マッピング部６９４は、垂直タップ学習部６９１からの第０世代の垂直係数と、水平マッピング部６３２から供給された水平処理画像Ｈを用いて、垂直差分加算マッピング処理を行い、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３の斜めタップ差分学習部７５３に供給する。
斜め処理部６０３の斜めタップ差分学習部７５３は、垂直差分加算マッピング部６９４から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、第１世代の斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。
また、第１世代の学習処理では、垂直処理部６０２の垂直マッピング部６９２は、垂直タップ学習部６９１からの第０世代の垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３の斜め差分加算マッピング部７５４に供給する。
斜め処理部６０３の斜め差分加算マッピング部７５４は、斜めタップ学習部７５１からの第０世代の斜め係数と、垂直マッピング部６９２から供給された垂直処理画像Ｖを用いて、斜め差分加算マッピング処理を行い、その結果得られた垂直斜め処理画像Ｖ＋ｒを、水平処理部６０１の水平タップ差分学習部６３３に供給する。
水平処理部６０１の水平タップ差分学習部６３３は、斜め差分加算マッピング部７５４から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、第１世代の水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。
さらに、第１世代の学習処理では、斜め処理部６０３の斜めマッピング部７５２は、斜めタップ学習部７５１からの第０世代の斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１の水平差分加算マッピング部６３４に供給する。
水平処理部６０１の水平差分加算マッピング部６３４は、水平タップ学習部６３１の第０世代の水平係数と、斜めマッピング部７５２から供給された斜め処理画像Ｒを用いて、水平差分加算マッピング処理を行い、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２の垂直タップ差分学習部６９３に供給する。
垂直処理部６０２の垂直タップ差分学習部６９３は、水平差分加算マッピング部６３４から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、第１世代の垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。
これにより、第１世代の係数セットである、水平係数、垂直係数、および斜め係数が求められ、第２世代では、第１世代で求められた係数セットに基づいて、第２世代の係数セットである、水平係数、垂直係数、および斜め係数が求められる。
第３世代、第４世代、・・・、第ｎ世代において、第２世代と同様の処理が行われ、第３世代の係数セット、第４世代、・・・、第Ｎ世代の係数セットが求められる。
なお、３段反復学習処理は、３段反復学習部５８１により求められる係数セットを用いた、図３９下側に示される画像変換部４９２の画像変換処理による結果Ｈ＋ｖ＋ｒと、原画像との自乗誤差を最小にする係数セットが求められたとき、または、あらかじめ決められた世代の学習処理がおこなわれたときなどに終了する。
また、３段反復学習部５８１により求められる係数セットにより画像変換処理を行う場合は、求められた係数セットの、水平係数、垂直係数、または斜め係数を、どの順番で用いてもかまわない。
次に、図４０のフローチャートを参照して、図３２の３段反復学習部５８１における３段反復学習処理を説明する。
ステップＳ３６１において、水平処理部６０１の水平タップ学習部６３１は、水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。また、ステップＳ３６１において、垂直処理部６０２の垂直タップ学習部６９１は、垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。さらに、ステップＳ３６１において、斜め処理部６０３の斜めタップ学習部７５１は、斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。
処理は、ステップＳ３６１からステップＳ３６２に進み、水平処理部６０１の水平マッピング部６３２は、水平タップ学習部６３１からの水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２の垂直差分加算マッピング部６９４に供給する。
また、ステップＳ３６２において、垂直処理部６０２の垂直マッピング部６９２は、垂直タップ学習部６９１からの垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３の斜め差分加算マッピング部７５４に供給する。
さらに、ステップＳ３６２において、斜め処理部６０３の斜めマッピング部７５２は、斜めタップ学習部７５１からの斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１の水平差分加算マッピング部６３４に供給する。
その後、処理は、ステップＳ３６２からステップＳ３６３に進み、水平処理部６０１の水平差分加算マッピング部６３４は、水平タップ学習部６３１の水平係数と、斜めマッピング部７５２から供給された斜め処理画像Ｒを用いて、水平差分加算マッピング処理を行い、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２の垂直タップ差分学習部６９３に供給する。
また、ステップＳ３６３において、垂直処理部６０２の垂直差分加算マッピング部６９４は、垂直タップ学習部６９１からの垂直係数と、水平マッピング部６３２から供給された水平処理画像Ｈを用いて、垂直差分加算マッピング処理を行い、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３の斜めタップ差分学習部７５３に供給する。
さらに、ステップＳ３６３において、斜め処理部６０３の斜め差分加算マッピング部７５４は、斜めタップ学習部７５１からの斜め係数と、垂直マッピング部６９２から供給された垂直処理画像Ｖを用いて、斜め差分加算マッピング処理を行い、その結果得られた垂直斜め処理画像Ｖ＋ｒを、水平処理部６０１の水平タップ差分学習部６３３に供給する。
その後、処理は、ステップＳ３６３からステップＳ３６４に進み、水平処理部６０１の水平タップ差分学習部６３３は、斜め差分加算マッピング部７５４から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、水平係数を求め、水平マッピング部６３２と水平差分加算マッピング部６３４に供給する。
また、ステップＳ３６４において、垂直処理部６０２の垂直タップ差分学習部６９３は、水平差分加算マッピング部６３４から供給された斜め水平処理画像Ｒ＋ｈを用いて、垂直タップにおける斜め水平差分の差分学習処理を行い、垂直係数を求め、垂直マッピング部６９２と垂直差分加算マッピング部６９４に供給する。
さらに、ステップＳ３６４において、斜め処理部６０３の斜めタップ差分学習部７５３は、垂直差分加算マッピング部６９４から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、斜め係数を求め、斜めマッピング部７５２と斜め差分加算マッピング部７５４に供給する。
その後、処理は、ステップＳ３６４からステップＳ３６２に進み、以下、同様の処理を繰り返す。即ち、ステップＳ３６２およびステップＳ３６３においては、ステップＳ３６４で求められた水平係数、垂直係数、および斜め係数を用いてマッピング処理および差分加算マッピング処理が行われ、ステップＳ３６４では、その結果得られた画像に基づいて、差分学習処理が行われる。
以上のような図４０の３段反復学習処理では、水平タップ学習部６３１が、ノイズ画像に相当する画像を生徒画像とするとともに、原画像を教師画像として、第０世代の水平係数を求め、水平タップ差分学習部６３３が、ノイズ画像に相当する画像を生徒画像とするとともに、前の世代で求められた水平係数、垂直係数、および斜め係数のうちの、水平係数を除いた係数である垂直係数および斜め係数を用いた予測演算による原画像への近似効果分、即ち、垂直係数による垂直処理効果分としての垂直差分ｖと、斜め係数による斜め処理効果分としての斜め差分ｒとを、原画像から差し引くことで得られる画像である原画像−[垂直差分ｖ＋斜め差分ｒ]を教師画像として、第１乃至ｎ世代の水平係数を求める。垂直係数および斜め係数も同様に求められる。従って、水平係数を用いた水平予測演算による水平処理効果分、垂直係数を用いた垂直予測演算による垂直処理効果分、および斜め係数を用いた斜め予測演算による斜め処理効果分による寄与分が、それぞれ、同等な水平係数、垂直係数、および斜め係数を求めることができる。
なお、図４０の３段反復学習処理は、例えば、反復して求められる水平係数、垂直係数、および斜め係数がとる値が収束したときに、終了する。
また、図４０の３段反復学習処理は、３段反復学習部５８１（図３２）により求められる係数セットを用いた画像変換処理による結果と、原画像との自乗誤差とを最小にする係数セットが求められたとき、または、あらかじめ決められた世代の学習処理が行われたときなどに終了するようにしてもよい。
ところで、３段反復学習処理において、第０世代による学習処理では、図８の学習部１２１で求めた係数と同様、いずれも単独で、ノイズ画像をノイズ除去画像（の予測値）に変換することができる水平係数、垂直係数、および斜め係数が、第０世代の係数として求められる。
第１世代では、第０世代で求められた係数セットを用いることで得られる過剰な処理効果分を考慮する形で、係数セットを求める。また、第２世代乃至第ｎ世代では、前回の世代で求められた係数セットを用いることで得られる処理効果分を考慮する形で、係数セットを反復して求める。
３段反復学習処理では、多くの場合、世代が進むにつれて、第０世代で求められた係数セットの、いわば、３重のノイズ除去の処理効果分が調整されていき、ノイズ除去の処理効果分が適切な係数セットが求められる。この場合、３段反復学習処理により求められる係数セットは、所定の値に収束する。
しかしながら、求められる係数セットによっては、世代を進めても、第０世代で求められた係数セットの、３重のノイズ除去の処理効果分が適切に調整されないことがある。この場合、３段反復学習処理により求められる係数セットは、所定の値に収束せずに発散または振動してしまう。
そこで、後述するボリューム処理により、前回求めた係数による処理効果分を抑制することで、３段反復学習処理により求められる係数セットがとる値を収束させることができる。なお、２段反復学習処理により求められる係数セットは、収束することが、実験によりわかっているため、２段反復学習処理に対して、後述するボリューム処理は必要ない。
次に、図４１は、ボリューム処理を行う図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。
なお、図中、図３９の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図４１は、新たにボリューム操作部８１１乃至８１３が設けられているほかは、図３９の場合と同様に構成されている。
第０世代の学習処理では、水平処理部６０１の水平タップ学習部６３１は、水平係数を求めボリューム操作部８１１に供給する。また、垂直処理部６０２の垂直タップ学習部６９１は、垂直係数を求め、ボリューム操作部８１２に供給する。さらに、斜め処理部６０３の斜めタップ学習部７５１は、斜め係数を求め、ボリューム操作部８１３に供給する。これにより、第０世代の係数セットが求められる。
第１世代の学習処理では、第０世代で求められた係数セットに基づいて、第１世代の係数セットが求められる。
第１世代の学習処理では、水平処理部６０１のボリューム操作部８１１は、水平タップ学習部６３１からの第０世代の水平係数にボリューム処理を行い、水平処理部６０１の水平マッピング部６３２は、ボリューム処理された第０世代の水平係数を用いて、水平マッピング処理を行い、その結果得られた水平処理画像Ｈを、垂直処理部６０２の垂直差分加算マッピング部６９４に供給する。
垂直処理部６０２のボリューム操作部８１２は、垂直タップ学習部６９１からの第０世代の垂直係数にボリューム処理を行い、垂直処理部６０２の垂直差分加算マッピング部６９４は、ボリューム処理された第０世代の垂直係数と、水平マッピング部６３２から供給された水平処理画像Ｈを用いて、垂直差分加算マッピング処理を行い、その結果得られた水平垂直処理画像Ｈ＋ｖを、斜め処理部６０３の斜めタップ差分学習部７５３に供給する。
斜め処理部６０３の斜めタップ差分学習部７５３は、垂直差分加算マッピング部６９４から供給された水平垂直処理画像Ｈ＋ｖを用いて、斜めタップにおける水平垂直差分の差分学習処理を行い、第１世代の斜め係数を求め、ボリューム操作部８１３に供給する。
また、第１世代の学習処理では、垂直処理部６０２のボリューム操作部８１２は、垂直タップ学習部６９１からの第０世代の垂直係数にボリューム処理を行い、垂直処理部６０２の垂直マッピング部６９２は、ボリューム処理された第０世代の垂直係数を用いて、垂直マッピング処理を行い、その結果得られた垂直処理画像Ｖを、斜め処理部６０３の斜め差分加算マッピング部７５４に供給する。
斜め処理部６０３のボリューム操作部８１３は、斜めタップ学習部７５１からの第０世代の斜め係数にボリューム処理を行い、斜め処理部６０３の斜め差分加算マッピング部７５４は、ボリューム処理された第０世代の斜め係数と、垂直マッピング部６９２から供給された垂直処理画像Ｖを用いて、斜め差分加算マッピング処理を行い、その結果得られた垂直斜め処理画像Ｖ＋ｒを、水平処理部６０１の水平タップ差分学習部６３３に供給する。
水平処理部６０１の水平タップ差分学習部６３３は、斜め差分加算マッピング部７５４から供給された垂直斜め処理画像Ｖ＋ｒを用いて、水平タップにおける垂直斜め差分の差分学習処理を行い、第１世代の水平係数を求めて、ボリューム操作部８１１に供給する。
さらに、第１世代の学習処理では、斜め処理部６０３のボリューム操作部８１３は、斜めタップ学習部７５１からの第０世代の斜め係数にボリューム処理を行い、斜め処理部６０３の斜めマッピング部７５２は、ボリューム処理された第０世代の斜め係数を用いて、斜めマッピング処理を行い、その結果得られた斜め処理画像Ｒを、水平処理部６０１の水平差分加算マッピング部６３４に供給する。
水平処理部６０１のボリューム操作部８１１は、水平タップ学習部６３１からの第０世代の水平係数にボリューム処理を行い、水平処理部６０１の水平差分加算マッピング部６３４は、ボリューム処理された第０世代の水平係数と、斜めマッピング部７５２から供給された斜め処理画像Ｒを用いて、水平差分加算マッピング処理を行い、その結果得られた斜め水平処理画像Ｒ＋ｈを、垂直処理部６０２の垂直タップ差分学習部６９３に供給する。
垂直処理部６０２の垂直タップ差分学習部６９３は、水平差分加算マッピング部６３４から供給された斜め水平処理画像Ｒ＋ｈに基づいて、垂直タップにおける斜め水平差分の差分学習処理を行い、第１世代の垂直係数を求める。
これにより、第１世代の係数セットである、水平係数、垂直係数、および斜め係数が求められ、第２世代では、第１世代で求められた係数セットに基づいて、第２世代の係数セットである、水平係数、垂直係数、および斜め係数が求められる。
第３世代、第４世代、・・・、第ｎ世代において、第２世代と同様の処理が行われ、第３世代の係数セット、第４世代、・・・、第Ｎ世代の係数セットが求められる。
なお、図４１で行われる３段反復学習処理は、例えば、求められる係数セットがとる値が収束した場合に、終了する。
以上のようなボリューム処理を行うことにより、発散または振動してしまう係数セットを、収束させることができる。
即ち、図４２は、係数のボリューム処理を説明する図である。
図中、左右方向に示される数字は、例えば、ノイズ画像の水平予測タップのタップ番号を示している。なお、タップ番号１のタップは、水平予測タップの注目画素ｘ1であり、水平予測タップは、ｘ1，ｘ2，・・・，ｘ5の５つのタップにより構成されているものとしている。
また、図中、上下方向に示される数字は、図中、左右方向に示されるタップ番号に対応する水平予測タップの画素値と乗算される水平係数（タップ番号に対応する水平係数）がとる値を示している。
さらに、図中、中央に示される実線のグラフVolume０．０は、水平マッピング処理の対象であるノイズ画像ｘ1を、同一のノイズ画像ｘ1に変換する水平係数のグラフを示している。即ち、実線のグラフVolume０．０では、タップ番号１の注目画素の水平係数は１．０になっており、それ以外の、タップ番号２乃至５の画素の水平係数は０．０になっている。
従って、実線のグラフVolume０．０が示す水平係数を用いた水平マッピング処理により得られる水平処理画像Ｈは、水平処理効果分のないノイズ画像ｘ1である。
図中、中央に示される点線のグラフVolume１．０は、上述した３段反復学習処理のある世代で求められた水平係数を示すグラフである。
また、図中、中央に示される１点鎖線のグラフVolume０．５は、ボリューム値０．５によるボリューム処理により得られた水平係数のグラフを示している。
ここで、ボリューム値ｉ（ｉは、０．０以上１．０以下の実数）によるボリューム処理では、実線のグラフVolume０．０が示す水平係数と値（１−ｉ）との乗算値と、点線のグラフVolume１．０が示すある世代の水平係数と値ｉとの乗算値とを加算することで新たな水平係数が求められる。
従って、ボリューム値０．５によるボリューム処理によって得られた新たな係数を表す１点鎖線のグラフVolume０．５は、点線のグラフVolume１．０が表す水平係数と比較して、タップ番号１の注目画素の水平係数が大となり、それ以外の、タップ番号２乃至５の画素の水平係数が小となっている。
以上のようなボリューム値ｉによるボリューム処理においては、ボリューム値ｉを小に設定するほどに、例えば、図４１の水平マッピング部６３２または水平差分加算マッピング部６３４により生成される水平差分ｈに対応する水平処理効果分などが抑制される。
従って、３段反復学習処理により求められる係数セットがとる値が収束することなく発散または振動する場合には、ボリューム値ｉによるボリューム処理を行うことで、前回の係数セットにおける処理効果分を抑制し、その処理効果分を考慮する形で、係数セットを反復して学習することで、係数セットがとる値を収束させることができる。
なお、ボリューム処理におけるボリューム値ｉは、ユーザがボリューム操作部８１１乃至８１３を操作することで設定することができる。
次に、図４３乃至図４６は、３段反復学習処理において、収束することなく発散または振動する係数セットに対して、ボリューム値０．５によるボリューム処理を行った場合の、第０世代乃至第４世代ごとの水平係数を示す図である。
図４３は、所定の水平クラスに対応する世代ごとの水平係数を示す図である。
図中、左右方向に示される数字は、例えば、水平予測タップとしての水平方向に並ぶ９画素である、水平方向のタップ４１に付されたタップ番号を示している。また、図中、上下方向に示される数字は、図中、左右方向に示されるタップ番号に対応する水平予測タップの画素値と乗算される水平係数（タップ番号に対応する水平係数）がとる値を示している。
さらに、図中、中央に示される５つのグラフrec０乃至rec４は、それぞれ、第０世代乃至第４世代の水平係数を示すグラフであり、タップ番号と、そのタップ番号に対応する水平予測タップの画素値と乗算される水平係数との対応を示すグラフである。
次に、図４４は、図４３により示された第０世代乃至第４世代の、タップ番号に対応する水平予測タップの画素値に乗算される水平係数それぞれが、世代が進むごとに、所定の値に収束することを示す図である。
図中、左右方向に示される数字は、図４３で示された水平係数における世代を示している。また、図中、上下方向に示される数字は、図中、左右方向に示される世代で求められた水平係数がとる値を示している。
さらに、図中、中央に示される９つのグラフtap１乃至tap９は、それぞれ、タップ番号１乃至タップ番号９に対応する水平予測タップの画素値と乗算される水平係数を示すグラフであり、世代の変化に応じて、求められる水平係数が変化する様子を示すグラフである。
ここで、例えば、タップ番号１乃至タップ番号９に対応する水平係数のうちの、１番変化の大きいタップ番号１に対応する水平係数に注目すると、世代が進むにつれて、振幅が小さくなっていき、所定の値に収束する様子が示されている。
図４５および図４６は、３段反復学習により求められた他の水平クラスに対応する水平係数が、所定の値に収束する様子を模式的に示した図である。
図４５および図４６には、図４３および図４４で説明した所定の水平クラスに対応する水平係数とは異なる、他の水平クラスに対応する水平係数が、所定の値に収束する様子が示されているだけであるため、図４５および図４６の説明は、以下、省略する。
次に、上述した図２、図２１、図２３、および図２５の画像変換部３１、図８の学習部１２１、図１０の２段差分学習部１５１、図１４の２段反復学習部２７１、図１８の２段差分学習部３０１、図１９の２段反復学習部３３１、図２８の３段差分学習部４９１、並びに図３２の３段反復学習部５８１が行う一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
図４７は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
CPU（Central Processing Unit）９８１は、ROM（Read Only Memory）９８２、または記憶部９８８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）９８３には、CPU９８１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９８１、ROM９８２、およびRAM９８３は、バス９８４により相互に接続されている。
CPU９８１にはまた、バス９８４を介して入出力インタフェース９８５が接続されている。入出力インタフェース９８５には、キーボード、マウス、マイクロホンなどよりなる入力部９８６、ディスプレイ、スピーカなどよりなる出力部９８７が接続されている。CPU９８１は、入力部９８６から入力される指令に対応して各種の処理を実行する。そして、CPU９８１は、処理の結果を出力部９８７に出力する。
入出力インタフェース９８５に接続されている記憶部９８８は、例えばハードディスクからなり、CPU９８１が実行するプログラムや各種のデータを記憶する。通信部９８９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部９８９を介してプログラムを取得し、記憶部９８８に記憶してもよい。
入出力インタフェース９８５に接続されているドライブ９９０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９９１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９８８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図４７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９９１、または、プログラムが一時的もしくは永続的に格納されるROM９８２や、記憶部９８８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部９８９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、図３２の３段反復学習部５８１では、水平処理部６０１からの画像などに基づいて、垂直処理部６０２が垂直係数を学習し、垂直処理部６０２からの画像などに基づいて、斜め処理部６０３が斜め係数を学習することとし、さらに、斜め処理部６０３からの画像などに基づいて、水平処理部６０１が水平係数を学習することとしたが、水平処理部６０１、垂直処理部６０２、および斜め処理部６０３それぞれが行う処理は、それぞれの処理に対称な処理をしているため、画像を供給するブロックと、画像が供給されて係数を学習するブロックの順番を並び替えることができる。
具体的には、例えば、斜め処理部６０３からの画像などに基づいて、垂直処理部６０２が垂直係数を学習し、垂直処理部６０２からの画像などに基づいて、水平処理部６０１が水平係数を学習することとし、さらに、水平処理部６０１からの画像などに基づいて、斜め処理部６０３が斜め係数を学習することとしてもよい。
なお、本発明を適用した画像変換部は、例えば、テレビジョン受像機や、ハードディスクレコーダなどに適用することができる。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した画像変換部３１の一実施の形態の構成例を示すブロック図である。 図１の画像変換部３１の第１の構成例を示すブロック図である。 図２の予測演算部６９の構成例を示すブロック図である。 図２の画像変換部３１における画像変換処理を説明するフローチャートである。 図４のステップＳ３２における水平マッピング処理の詳細を説明するフローチャートである。 図４のステップＳ３３における垂直差分マッピング処理の詳細を説明するフローチャートである。 水平差分マッピング処理を行う水平差分マッピング部１１１の構成例を示すブロック図である。 係数を求める学習を行う学習部１２１の構成例を示すブロック図である。 図８の学習部１２１における学習処理を説明するフローチャートである。 図２の画像変換部３１で用いられる水平係数および垂直係数を学習する２段差分学習部１５１の構成例を示すブロック図である。 垂直タップにおける水平差分の差分学習処理を行う図１０の垂直タップ差分学習部１６３の詳細な構成例を示すブロック図である。 図１０の２段差分学習部１５１における２段差分学習処理を説明するフローチャートである。 図１２のステップＳ１７３の、垂直タップにおける水平差分の差分学習処理の詳細を説明するフローチャートである。 水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部２７１の構成例を示すブロック図である。 図１４の水平タップ差分学習部２８５の詳細な構成例を示すブロック図である。 図１４の２段反復学習部２７１における２段反復学習処理を説明するフローチャートである。 図１６のステップＳ２６２の、水平タップにおける垂直差分の差分学習処理を説明するフローチャートである。 図２の画像変換部３１で用いられる水平係数および垂直係数を学習する他の２段差分学習部３０１の構成例を示すブロック図である。 水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分との寄与分が同等となるように、水平係数および垂直係数を求める２段反復学習部３３１の構成例を示すブロック図である。 図１４の２段反復学習部２７１と、図１９の２段反復学習部３３１とのそれぞれによる、水平係数および垂直係数を反復して求める２段反復学習処理を説明する図である。 図１の画像変換部３１の第２の構成例を示すブロック図である。 図２１の係数合成部３６７の詳細な構成例を示すブロック図である。 図１の画像変換部３１の第３の構成例を示すブロック図である。 図２３のクラスタップ分配部４０２における、クラスタップの分割を説明する図である。 図１の画像変換部３１の第４の構成例を示すブロック図である。 図２５の予測演算部４３５の詳細な構成例を示すブロック図である。 図２５の画像変換部３１における画像変換処理を説明するフローチャートである。 図２５の画像変換部３１で用いられる水平係数、垂直係数、および斜め係数を学習する３段差分学習部４９１の構成例を示すブロック図である。 斜めタップにおける水平垂直差分の差分学習処理を行う図２８の斜めタップ差分学習部５３１の詳細な構成例を示すブロック図である。 図２８の３段差分学習部４９１における３段差分学習処理を説明するフローチャートである。 図３０のステップＳ３３６の、斜めタップにおける水平垂直差分の差分学習処理を説明するフローチャートである。 水平係数を用いた水平予測演算による水平処理効果分と、垂直係数を用いた垂直予測演算による垂直処理効果分と、斜め係数を用いた斜め予測演算による斜め処理効果分の寄与分が同等となるように、水平係数、垂直係数、および斜め係数を求める３段反復学習部５８１の構成例を示すブロック図である。 図３２の水平処理部６０１の詳細な構成例を示すブロック図である。 水平タップにおける斜め水平差分の差分学習処理を行う図３３の水平タップ差分学習部６３３の詳細な構成例を示すブロック図である。 図３２の垂直処理部６０２の詳細な構成例を示すブロック図である。 垂直タップにおける斜め水平差分の差分学習処理を行う図３５の垂直タップ差分学習部６９３の詳細な構成例を示すブロック図である。 図３２の斜め処理部６０３の詳細な構成例を示すブロック図である。 斜めタップにおける水平垂直差分の差分学習処理を行う図３７の斜めタップ差分学習部７５３の詳細な構成例を示すブロック図である。 図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。 図３２の３段反復学習部５８１における３段反復学習処理を説明するフローチャートである。 ボリューム処理を行う図３２の３段反復学習部５８１による、水平係数、垂直係数、および斜め係数を反復して求める３段反復学習処理を説明する図である。 ボリューム処理により係数を操作する具体的な方法を説明する図である。 所定の水平クラスに対応する世代ごとの水平係数を示す図である。 図４３により示された第０世代乃至第４世代の、タップ番号に対応する水平予測タップの画素値に乗算される水平係数それぞれが、世代が進むごとに、所定の値に収束することを示す図である。 他の水平クラスに対応する世代ごとの水平係数を示す図である。 図４５により示された第０世代乃至第４世代の、タップ番号に対応する水平予測タップの画素値に乗算される水平係数それぞれが、世代が進むごとに、所定の値に収束することを示す他の図である。 コンピュータの構成例を示すブロック図である。
符号の説明
３１ 画像変換部， ６１ 水平予測タップ抽出部， ６２ 水平クラスタップ抽出部， ６３ 水平クラス分類部， ６４ 水平係数記憶部， ６５ 垂直予測タップ抽出部， ６６ 垂直クラスタップ抽出部， ６７ 垂直クラス分類部， ６８ 垂直係数記憶部， ６９ 予測演算部， ７１ 水平マッピング部， ７２ 垂直マッピング部， ７３ 垂直差分マッピング部， １０１ 水平予測演算部， １０２ 垂直予測演算部， １０３ ゲイン調整部， １０４ 加算部， １１１ 水平差分マッピング部， １１２ ゲイン調整部， １２１ 学習部， １３１ 原画像記憶部， １３２ ノイズ付加部， １３３ 予測タップ抽出部， １３４ クラスタップ抽出部， １３５ クラス分類部， １３６ 足し込み部， １３７ 係数算出部， １５１ ２段差分学習部， １６１ 水平タップ学習部， １６２ 水平マッピング部， １６３ 垂直タップ差分学習部， １６４ 垂直差分マッピング部， １６５ 加算部， ２７１ ２段反復学習部， ２８４ 垂直マッピング部， ２８５ 水平タップ差分学習部， ３６７ 係数合成部， ４３１ 斜め予測タップ抽出部， ４３２ 斜めクラスタップ抽出部， ４３３ 斜めクラス分類部， 斜め係数記憶部４３４， ４３５ 予測演算部， ４６１ 斜め予測演算部， ４６２ ゲイン調整部， ４６３ 加算部， ４７１ 斜めマッピング部， ４７２ 斜め差分マッピング部， ４９１ ３段差分学習部， ５３１ 斜めタップ差分学習部， ５８１ ３段反復学習部， ６０１ 水平処理部， ６０２ 垂直処理部， ６０３ 斜め処理部， ６３１ 水平タップ学習部， ６３２ 水平マッピング部， ６３３ 水平タップ差分学習部， ６３４ 水平差分加算マッピング部， ６６１ 水平差分マッピング部， ６６２ 加算部， ６９１ 垂直タップ学習部， ６９２ 垂直マッピング部， ６９３ 垂直タップ差分学習部， ６９４ 垂直差分加算マッピング部， ７２１ 垂直差分マッピング部， ７２２ 加算部， ７５１ 斜めタップ学習部， ７５２ 斜めマッピング部， ７５３ 斜めタップ差分学習部， ７５４ 斜め差分加算マッピング部， ７８１ 斜め差分マッピング部， ７８２ 加算部

Claims (11)

  1. 第１の画像データを第２の画像データに変換する画像処理装置において、
    前記第２の画像データを構成する各画素のうち、前記第１の画像データの注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから抽出する予測タップ抽出手段と、
    前記予測タップとして抽出された画素であって、所定の方向に並ぶ画素を表す所定方向予測タップのクラス分類に用いる複数の画素であるクラスタップを、前記第１の画像データから抽出するクラスタップ抽出手段と、
    前記予測タップとして抽出された画素であって、第１の方向に並ぶ画素を表す第１方向予測タップのクラス分類用とされる第１の前記クラスタップに基づいて、前記第１方向予測タップを、複数の第１方向クラスのいずれかの第１方向クラスにクラス分類する第１方向クラス分類手段と、
    前記予測タップとして抽出された画素であって、前記第１の方向とは異なる第２の方向に並ぶ画素を表す第２方向予測タップのクラス分類用とされる第２の前記クラスタップに基づいて、前記第２方向予測タップを、複数の第２方向クラスのいずれかの第２方向クラスにクラス分類する第２方向クラス分類手段と、
    前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数の第１方向クラス毎の第１方向係数を予め記憶している第１の記憶部から、前記第１方向予測タップの第１方向クラスに対応する第１方向係数を出力させる第１方向係数出力手段と、
    前記学習によりあらかじめ求められた、前記複数の第２方向クラス毎の第２方向係数を予め記憶している第２の記憶部から、前記第２方向予測タップの第２方向クラスに対応する第２方向係数を出力させる第２方向係数出力手段と、
    前記第１方向係数出力手段から出力された前記第１方向係数、前記第２方向係数出力手段から出力された前記第２方向係数、及び前記予測タップ抽出手段により抽出された前記予測タップを用いた前記予測演算により、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する予測演算手段と
    を備え、
    前記予測演算手段は、
    前記予測タップ抽出手段が、前記予測タップとして、前記第１方向予測タップ及び前記第２方向予測タップを、前記第１の画像データから抽出するものである場合、
    前記予測演算として、前記第１方向予測タップと前記第１方向係数との積和演算、及び前記第２方向予測タップと前記第２方向係数との積和演算を行うことにより、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する
    画像処理装置。
  2. 前記予測演算手段は、
    前記予測タップ抽出手段が、前記予測タップとして、前記第１の方向及び前記第２の方向に並ぶ複数の画素を表す複数方向予測タップを、前記第１の画像データから抽出するものである場合、
    前記予測演算として、前記第１方向係数及び前記第２方向係数を合成して得られる合成係数と、前記複数方向予測タップとの積和演算を行うことにより、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する
    請求項１に記載の画像処理装置。
  3. 第１の画像データを第２の画像データに変換する画像処理装置の画像処理方法において、
    前記第２の画像データを構成する各画素のうち、前記第１の画像データの注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから抽出する予測タップ抽出ステップと、
    前記予測タップとして抽出された画素であって、所定の方向に並ぶ画素を表す所定方向予測タップのクラス分類に用いる複数の画素であるクラスタップを、前記第１の画像データから抽出するクラスタップ抽出ステップと、
    前記予測タップとして抽出された画素であって、第１の方向に並ぶ画素を表す第１方向予測タップのクラス分類用とされる第１の前記クラスタップに基づいて、前記第１方向予測タップを、複数の第１方向クラスのいずれかの第１方向クラスにクラス分類する第１方向クラス分類ステップと、
    前記予測タップとして抽出された画素であって、前記第１の方向とは異なる第２の方向に並ぶ画素を表す第２方向予測タップのクラス分類用とされる第２の前記クラスタップに基づいて、前記第２方向予測タップを、複数の第２方向クラスのいずれかの第２方向クラスにクラス分類する第２方向クラス分類ステップと、
    前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数の第１方向クラス毎の第１方向係数を予め記憶している第１の記憶部から、前記第１方向予測タップの第１方向クラスに対応する第１方向係数を出力させる第１方向係数出力ステップと、
    前記学習によりあらかじめ求められた、前記複数の第２方向クラス毎の第２方向係数を予め記憶している第２の記憶部から、前記第２方向予測タップの第２方向クラスに対応する第２方向係数を出力させる第２方向係数出力ステップと、
    前記第１方向係数出力ステップで出力された前記第１方向係数、前記第２方向係数出力ステップで出力された前記第２方向係数、及び前記予測タップ抽出ステップで抽出された前記予測タップを用いた前記予測演算により、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する予測演算ステップと
    を含み、
    前記予測演算ステップは、
    前記予測タップ抽出ステップが、前記予測タップとして、前記第１方向予測タップ及び前記第２方向予測タップを、前記第１の画像データから抽出するものである場合、
    前記予測演算として、前記第１方向予測タップと前記第１方向係数との積和演算、及び前記第２方向予測タップと前記第２方向係数との積和演算を行うことにより、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する
    画像処理方法。
  4. 第１の画像データを第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、
    前記第２の画像データを構成する各画素のうち、前記第１の画像データの注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記第１の画像データから抽出する予測タップ抽出ステップと、
    前記予測タップとして抽出された画素であって、所定の方向に並ぶ画素を表す所定方向予測タップのクラス分類に用いる複数の画素であるクラスタップを、前記第１の画像データから抽出するクラスタップ抽出ステップと、
    前記予測タップとして抽出された画素であって、第１の方向に並ぶ画素を表す第１方向予測タップのクラス分類用とされる第１の前記クラスタップに基づいて、前記第１方向予測タップを、複数の第１方向クラスのいずれかの第１方向クラスにクラス分類する第１方向クラス分類ステップと、
    前記予測タップとして抽出された画素であって、前記第１の方向とは異なる第２の方向に並ぶ画素を表す第２方向予測タップのクラス分類用とされる第２の前記クラスタップに基づいて、前記第２方向予測タップを、複数の第２方向クラスのいずれかの第２方向クラスにクラス分類する第２方向クラス分類ステップと、
    前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習によりあらかじめ求められた、前記複数の第１方向クラス毎の第１方向係数を予め記憶している第１の記憶部から、前記第１方向予測タップの第１方向クラスに対応する第１方向係数を出力させる第１方向係数出力ステップと、
    前記学習によりあらかじめ求められた、前記複数の第２方向クラス毎の第２方向係数を予め記憶している第２の記憶部から、前記第２方向予測タップの第２方向クラスに対応する第２方向係数を出力させる第２方向係数出力ステップと、
    前記第１方向係数出力ステップで出力された前記第１方向係数、前記第２方向係数出力ステップで出力された前記第２方向係数、及び前記予測タップ抽出ステップで抽出された前記予測タップを用いた前記予測演算により、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する予測演算ステップと
    を含み、
    前記予測演算ステップは、
    前記予測タップ抽出ステップが、前記予測タップとして、前記第１方向予測タップ及び前記第２方向予測タップを、前記第１の画像データから抽出するものである場合、
    前記予測演算として、前記第１方向予測タップと前記第１方向係数との積和演算、及び前記第２方向予測タップと前記第２方向係数との積和演算を行うことにより、前記第２の画像データを構成する各画素のうち、前記注目画素に対応する画素を予測する
    画像処理をコンピュータに実行させるプログラム。
  5. 第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置において、
    前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習手段と、
    前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、前記第Ｍ’の係数を求める第２乃至第Ｍの学習手段と
    を備え、
    前記第１乃至第Ｍの学習手段のうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習手段は、
    前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、
    前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出手段と、
    前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、
    前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの前記係数を演算する演算手段と
    を有する
    学習装置。
  6. 第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置の学習方法において、
    前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習ステップと、
    前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、前記第Ｍ’の係数を求める第２乃至第Ｍの学習ステップと
    を含み、
    前記第１乃至第Ｍの学習ステップのうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習ステップは、
    前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
    前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップと、
    前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
    前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの前記係数を演算する演算ステップと
    を含む
    学習方法。
  7. 第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、
    前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、前記第１の係数を求める第１の学習ステップと、
    前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至第Ｍ’―１（Ｍ’は、２以上Ｍ以下の自然数）の係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像とする前記学習により、前記第Ｍ’の係数を求める第２乃至第Ｍの学習ステップと
    を含み、
    前記第１乃至第Ｍの学習ステップのうちの第ｍ（ｍは１以上Ｍ以下の自然数）の学習ステップは、
    前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する前記予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
    前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップと、
    前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
    前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍの前記係数を演算する演算ステップと
    を含む
    学習処理をコンピュータに実行させるプログラム。
  8. 第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置において、
    前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、
    前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出手段と、
    前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類手段と、
    前記クラス分類手段によりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の前記係数を演算する演算手段と
    を有する第１乃至第Ｍの学習手段
    を備え、
    前記第１乃至第Ｍの学習手段のうち、第ｍの学習手段は、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
    さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する
    学習装置。
  9. Ｍが３以上である場合、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分を弱めるように、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数のゲインを調整する第ｍの係数調整手段をさらに備え、
    前記第１乃至第Ｍの学習手段のうち、前記第ｍの学習手段は、前記第１の画像データに相当する画像データを生徒画像とし、前記第ｍの係数調整手段によりゲインが調整された係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する
    請求項８に記載の学習装置。
  10. 第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習装置の学習方法において、
    前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
    前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップと、
    前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
    前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の前記係数を演算する演算ステップと
    を有する第１乃至第Ｍの学習ステップ
    を含み、
    前記第１乃至第Ｍの学習ステップのうち、第ｍの学習ステップは、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
    さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する
    学習方法。
  11. 第１の画像データを第２の画像データに変換する予測演算に用いられる第１乃至Ｍ（Ｍは２以上の自然数）の係数を反復して、前記第１の画像データに相当する画像データである生徒画像を用いた前記予測演算の結果と、前記第２の画像データに相当する画像データである教師画像との誤差を最小にする学習により求める学習処理をコンピュータに実行させるプログラムにおいて、
    前記教師画像を構成する各画素のうち、前記生徒画像の注目している画素である注目画素に対応する画素を予測する予測演算に用いる複数の画素である予測タップを、前記生徒画像から抽出する予測タップ抽出ステップと、
    前記予測タップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素であるクラスタップを、前記生徒画像から抽出するクラスタップ抽出ステップと、
    前記予測タップを、前記クラスタップに基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類ステップと、
    前記クラス分類ステップによりクラス分けされた前記予測タップのクラスごとに、前記予測タップを用いた前記予測演算の結果と、前記注目画素に対応する、前記教師画像の画素との誤差を最小にする第ｍ（ｍは１以上Ｍ以下の自然数）の前記係数を演算する演算ステップと
    を有する第１乃至第Ｍの学習ステップ
    を含み、
    前記第１乃至第Ｍの学習ステップのうち、第ｍの学習ステップは、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第２の画像データに相当する画像データを教師画像とする前記学習により、第ｍの係数を学習し、
    さらに、前記第１の画像データに相当する画像データを生徒画像とするとともに、前記第１乃至Ｍの係数のうち、前記第ｍの係数を除く係数を用いた前記予測演算による前記第２の画像データに相当する画像データへの近似効果分の画素値を、その画素値に対応する、前記第２の画像データに相当する画像データの画素値から差し引くことで得られる画像データを教師画像として、前記第ｍの係数を学習する
    学習処理をコンピュータに実行させるプログラム。
JP2006304198A 2006-11-09 2006-11-09 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム Expired - Fee Related JP5029869B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006304198A JP5029869B2 (ja) 2006-11-09 2006-11-09 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006304198A JP5029869B2 (ja) 2006-11-09 2006-11-09 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2008124639A JP2008124639A (ja) 2008-05-29
JP5029869B2 true JP5029869B2 (ja) 2012-09-19

Family

ID=39508965

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006304198A Expired - Fee Related JP5029869B2 (ja) 2006-11-09 2006-11-09 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP5029869B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957280B2 (ja) * 2007-02-15 2012-06-20 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
RU2708441C2 (ru) * 2015-06-24 2019-12-06 Сони Корпорейшн Устройство, способ и программа аудиообработки

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3590996B2 (ja) * 1993-09-30 2004-11-17 ソニー株式会社 ディジタル画像信号の階層符号化および復号装置
JP4223576B2 (ja) * 1996-08-26 2009-02-12 ソニー株式会社 画像信号変換装置および方法
JP4362895B2 (ja) * 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP4691812B2 (ja) * 2001-03-29 2011-06-01 ソニー株式会社 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法
JP4238516B2 (ja) * 2002-04-26 2009-03-18 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4082079B2 (ja) * 2002-04-30 2008-04-30 ソニー株式会社 画像信号処理装置及びその方法
JP4333161B2 (ja) * 2003-02-25 2009-09-16 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP3918191B2 (ja) * 2004-02-20 2007-05-23 ソニー株式会社 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
JP4311258B2 (ja) * 2004-04-02 2009-08-12 ソニー株式会社 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体
JP2006067346A (ja) * 2004-08-27 2006-03-09 Sony Corp 画像信号処理装置および画像信号処理方法並びにプログラムおよびそれを記録した媒体

Also Published As

Publication number Publication date
JP2008124639A (ja) 2008-05-29

Similar Documents

Publication Publication Date Title
JP4093621B2 (ja) 画像変換装置および画像変換方法、並びに学習装置および学習方法
JP2013021635A (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
US20120321214A1 (en) Image processing apparatus and method, program, and recording medium
JP4362895B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP5029869B2 (ja) 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム
JP4238516B2 (ja) データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4324825B2 (ja) データ処理装置およびデータ処理方法、並びに媒体
JP4470898B2 (ja) 画像処理装置および方法、並びに、プログラム
JP2001222702A (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP2010118940A (ja) 画像処理装置、画像処理方法、及びプログラム
US20110243462A1 (en) Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
JP4957280B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP3834805B2 (ja) 画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体
JP4310697B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4770704B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4512978B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記録媒体
CN1822676B (zh) 编码设备和方法、解码设备和方法、图像处理系统和方法
JP2000348019A (ja) データ処理装置およびデータ処理方法、並びに媒体
JP2009253873A (ja) 画像処理装置及び方法、並びにプログラム
JP4093114B2 (ja) 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP5050944B2 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JP4058671B2 (ja) 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体
JP4235918B2 (ja) 画像処理装置および画像処理方法
JP2008118519A (ja) 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120613

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees