JP4442076B2 - データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 - Google Patents
データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP4442076B2 JP4442076B2 JP2002106299A JP2002106299A JP4442076B2 JP 4442076 B2 JP4442076 B2 JP 4442076B2 JP 2002106299 A JP2002106299 A JP 2002106299A JP 2002106299 A JP2002106299 A JP 2002106299A JP 4442076 B2 JP4442076 B2 JP 4442076B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- learning
- student
- tap
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関し、例えば、画像データを、より画質の良い画像データに変換する際の、その変換性能を向上させることができるようにするデータ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の変換を行うデータ変換処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【０００４】
即ち、適応処理では、例えば、低画質または標準画質の画像（以下、適宜、ＳＤ(Standard Definition)画像という）データが、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像（以下、適宜、ＨＤ(High Definition)画像という）データに変換される。
【０００５】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、ＨＤ画像データを構成する画素（以下、適宜、ＨＤ画素という）（の画素値）ｙは、ＳＤ画像データを構成する画素（以下、適宜、ＳＤ画素という）から、ＨＤ画素を予測するための予測タップとして抽出される複数のＳＤ画素と、タップ係数とを用いて、次の線形１次式によって求められる。
【０００６】
【数１】
・・・（１）
【０００７】
但し、式（１）において、ｘnは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目のＳＤ画像データの画素（以下、適宜、ＳＤ画素という）の画素値を表し、ｗnは、ｎ番目のＳＤ画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個のＳＤ画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０００８】
ここで、ＨＤ画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０００９】
いま、第ｋサンプルのＨＤ画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【００１０】
【数２】
・・・（２）
【００１１】
式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【００１２】
【数３】
・・・（３）
【００１３】
但し、式（３）において、ｘn,kは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【００１４】
式（３）の予測誤差ｅkを０とするタップ係数ｗnが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【００１５】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００１６】
【数４】
・・・（４）
【００１７】
但し、式（４）において、Ｋは、ＨＤ画素ｙkと、そのＨＤ画素ｙkについての予測タップを構成するＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数を表す。
【００１８】
式（４）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、その総和Ｅをタップ係数ｗnで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【００１９】
【数５】
・・・（５）
【００２０】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【００２１】
【数６】
・・・（６）
【００２２】
式（５）と（６）から、次式が得られる。
【００２３】
【数７】
・・・（７）
【００２４】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【００２５】
【数８】
・・・（８）
【００２６】
式（８）の正規方程式は、ＨＤ画素ｙkとＳＤ画素ｘn,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗnの数と同じ数だけたてることができ、従って、式（８）を解くことで（但し、式（８）を解くには、式（８）において、タップ係数ｗnにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗnを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。
【００２７】
以上のように、多数のＨＤ画素ｙ1，ｙ2，・・・，ｙKを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙkについての予測タップを構成するＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,kを、タップ係数の学習の生徒となる生徒データとして、式（８）を解くことにより、最適なタップ係数ｗnを求める学習を行っておき、さらに、そのタップ係数ｗnを用い、式（１）により、ＳＤ画像データを、ＨＤ画像データにマッピング（変換）するのが適応処理である。
【００２８】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗnが、教師データとしてのＨＤ画像データと生徒データとしてのＳＤ画像データとを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【００２９】
ここで、タップ係数ｗnの学習では、教師データｙと生徒データｘとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗnを求めることができる。
【００３０】
即ち、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データにノイズやぼけを付加したＳＤ画像データを採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数ｗnを得ることができる。また、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データの解像度を劣化させたＳＤ画像データを採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数ｗnを得ることができる。さらに、例えば、教師データｙとして、画像データを採用するとともに、生徒データｘとして、その画像データをＤＣＴ(Discrete Cosine Transform)変換したＤＣＴ係数を採用した場合には、ＤＣＴ係数を画像データに変換するタップ係数ｗnを得ることができる。
【００３１】
【発明が解決しようとする課題】
クラス分類適応処理では、各クラスごとに求められたタップ係数ｗnを用いて、各クラスごとに適応処理が施される。即ち、適応処理の前段で行われるクラス分類処理では、注目しているＨＤ画素である注目画素の位置から見て、固定の位置にある複数のＳＤ画素が、クラス分類に用いるクラスタップとして抽出され、注目画素が、その性質に基づいてクラス分けされる。そして、適応処理では、やはり、注目画素の位置から見て、固定の位置にある複数のＳＤ画素が、式（１）の積和演算に用いられる予測タップとして抽出され、その予測タップと、注目画素のクラスのタップ係数ｗnとを用いて、式（１）の積和演算が行われることにより、注目画素（の予測値）が求められる。
【００３２】
以上のように、クラス分類適応処理では、注目画素の位置から見て、固定の位置にある複数のＳＤ画素が、クラスタップとして抽出される。
【００３３】
しかしながら、クラス分類適応処理によって、例えば、ぼけのあるＳＤ画像を、そのぼけを改善したＨＤ画像に変換する場合において、そのＳＤ画像のぼけの度合いに関係なく、注目画素から見て、固定の位置にあるＳＤ画素を、注目画素のクラス分類に用いたのでは、その注目画素の性質を十分に反映したクラス分けが困難となることがある。
【００３４】
即ち、例えば、ぼけ度（ぼけの度合い）の小さいＳＤ画像を対象にクラス分類適応処理を行う場合においては、画像の相関性の観点から、注目画素から見て、比較的近い位置にあるＳＤ画素を用いてクラス分類を行う方が、注目画素の性質を反映したクラス分けを行うことができる。また、ぼけ度の大きいＳＤ画像を対象にクラス分類適応処理を行う場合においては、そのぼけの影響の観点から、注目画素から見て、比較的遠い位置にあるＳＤ画素を用いてクラス分類を行う方が、その性質を反映したクラス分けを行うことができる。
【００３５】
従って、注目画素から見て、固定の位置にあるＳＤ画素を、注目画素のクラス分類に用いたのでは、その注目画素の性質を反映したクラス分けができないことがある。
【００３６】
同様に、注目画素を求める式（１）の積和演算に用いられる予測タップとしてのＳＤ画素についても、ぼけ度に応じた位置のＳＤ画素を用いた方が、注目画素の真値により近いＨＤ画素を得ることができるが、上述のように、注目画素から見て、固定の位置にあるＳＤ画素を、注目画素の予測タップとするのでは、真値に対して誤差の小さい値ＨＤ画素を求めることができないことがある。
【００３７】
従って、クラスタップや予測タップとして、注目画素から見て固定の位置にあるＳＤ画素を採用する場合には、クラス分類適応処理の処理性能が劣化すること、即ち、クラス分類処理によって、ＳＤ画像の画質を十分に改善したＨＤ画像が得られないことがある。
【００３８】
そこで、本件出願人は、例えば、特開2000-348019号公報（特願平11-160528号）において、例えば、予測タップやクラスタップとしての複数のＳＤ画素の標準偏差が所定の基準値に一致するように、予測タップやクラスタップを構成することにより、ぼけ度の異なるＳＤ画像を、より真値に近いＨＤ画像に変換する方法について、先に提案している。
【００３９】
しかしながら、先に提案した方法では、予測タップやクラスタップを、ＳＤ画像データを構成するＳＤ画素から抽出することにより構成するため、予測タップやクラスタップとしての複数のＳＤ画素の標準偏差が所定の基準値に完全に一致するとは限らなかった。即ち、先に提案した方法では、標準偏差が所定の基準値により近くなる複数のＳＤ画素を、予測タップやクラスタップとして採用していた。このため、クラス分類適応処理によって得られるＨＤ画像が画質の劣化したものになるおそれがあることがあった。
【００４０】
また、先に提案した方法では、所定の基準値が、タップ係数の学習時に決定されるため、ユーザが、自身の画質の好みに応じて設定することが困難であった。
【００４１】
本発明は、このような状況に鑑みてなされたものであり、例えば、クラス分類適応処理等の処理性能を向上させることができるようにするものである。
【００４２】
【課題を解決するための手段】
本発明のデータ変換装置は、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、データ生成手段において生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値を求める演算手段とを備えることを特徴とする。
【００４３】
本発明のデータ変換方法は、データ変換装置のコンピュータがプログラムを実行することにより、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、データ生成手段において生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値を求める演算手段としての機能が実現され、決定手段が、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定する決定ステップと、クラス分類手段が、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、データ生成手段が、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成ステップと、演算手段が、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、データ生成ステップにおいて生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値を求める演算ステップとを備えることを特徴とする。
【００４４】
本発明の第１のプログラムは、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、データ生成ステップにおいて生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値を求める演算ステップとを含む処理をコンピュータに実行させる。
【００４５】
本発明の第１の記録媒体は、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、データ生成ステップにおいて生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値を求める演算ステップとを含む処理をコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００４６】
本発明の第１の学習装置は、学習用のデータから、タップ係数の学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、データ生成手段において生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段とを備えることを特徴とする。
【００４７】
本発明の第１の学習方法は、学習装置のコンピュータがプログラムを実行することにより、学習用のデータから、タップ係数の学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、データ生成手段において生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段としての機能が実現され、学習対生成手段が、学習用のデータから、タップ係数の学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、決定手段が、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、データ生成手段が、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、クラス分類手段が、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、学習手段が、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを備えることを特徴とする。
【００４８】
本発明の第２のプログラムは、学習用のデータから、タップ係数の学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを含む処理をコンピュータに実行させる。
【００４９】
本発明の第２の記録媒体は、学習用のデータから、タップ係数の学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを含む処理をコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００５０】
本発明の第２の学習装置は、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、データ生成手段において生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データを、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段とを備えることを特徴とする。
【００５１】
本発明の第２の学習方法は、学習装置のコンピュータがプログラムを実行することにより、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、データ生成手段において生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データを、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段としての機能が実現され、学習対生成手段が、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、決定手段が、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、データ生成手段が、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、クラス分類手段が、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、学習手段が、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データを、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを備えることを特徴とする。
【００５２】
本発明の第３のプログラムは、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データを、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを含む処理をコンピュータに実行させる。
【００５３】
本発明の第３の記録媒体は、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データを、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを含む処理をコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００５４】
本発明のデータ変換装置およびデータ変換方法、並びに第１のプログラムおよび第１の記録媒体においては、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲が、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定される。また、注目データについて、その注目データを求めるのに用いる複数のデータが、決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成される。また、生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力される。そして、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値が求められる。
【００５５】
本発明の第１の学習装置および第１の学習方法、並びに第２のプログラムおよび第２の記録媒体においては、学習用のデータから、前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データが生成される。そして、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲が、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定される。また、注目データについて、その注目データを求めるのに用いる複数のデータが、決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成される。また、生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力される。そして、生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習が行われる。
【００５６】
本発明の第２の学習装置および第２の学習方法、並びに第３のプログラムおよび第３の記録媒体においては、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データが生成される。また、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲が、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定される。また、注目データについて、その注目データを求めるのに用いる複数のデータが、決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成される。また、生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力される。そして、生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データが、範囲から読み出される複数のデータに基づくクラスコードごとに求められる。
【００５７】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００５８】
この画像処理装置においては、例えば、ぼけたＳＤ画像が入力され、そのＳＤ画像に対して、クラス分類適応処理が施されることにより、ＳＤ画像のぼけ度にかかわらず、そのぼけが十分に改善されたＨＤ画像（ぼけ改善画像）が出力されるようになっている。
【００５９】
即ち、この画像処理装置は、フレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、係数RAM(Random Access Memory)５、予測演算回路６、およびタップ決定回路７から構成され、そこには、ぼけの改善を行う対象となるＳＤ画像が入力される。
【００６０】
フレームメモリ１は、画像処理装置に入力されるＳＤ画像を、例えば、フレーム（またはフィールド）単位で一時記憶する。なお、本実施の形態では、フレームメモリ１は、複数フレームのＳＤ画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力されるＳＤ画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００６１】
クラスタップ生成回路２は、クラス分類適応処理により、求めようとするＨＤ画素（ここでは、ＳＤ画素からぼけを完全に排除した、ぼけのない理想的なＨＤ画素）を、注目画素として、その注目画素についてのクラス分類に用いるＳＤ画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶されたＳＤ画像から生成し、これを、クラスタップとして、クラス分類回路４に出力する。
【００６２】
予測タップ生成回路３は、予測演算回路６において注目画素（の予測値）を求めるのに用いるＳＤ画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶されたＳＤ画像から生成し、これを予測タップとして、予測演算回路６に供給する。
【００６３】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数RAM５に対して、アドレスとして与える。即ち、クラス分類回路４は、クラスタップ生成回路２からクラスタップを、例えば、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、係数RAM５に出力する。
【００６４】
ここで、KビットADRC処理においては、クラスタップを構成するＳＤ画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するＳＤ画素がKビットに再量子化される。即ち、クラスタップを構成するＳＤ画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各ＳＤ画素の画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各ＳＤ画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。なお、クラス分類は、その他、例えば、クラスタップを構成するＳＤ画素を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。
【００６５】
係数RAM５は、後述する学習装置において学習が行われることにより得られるクラスごとのタップ係数を記憶しており、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数、即ち、注目画素のクラスのタップ係数を読み出し、予測演算回路６に供給する。
【００６６】
予測演算回路６は、係数RAM５から供給される、注目画素のクラスについてのタップ係数ｗ，ｗ2，・・・と、予測タップ生成回路３からの予測タップ（を構成する各ＳＤ画素の画素値）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算を行うことにより、注目画素ｙ（の予測値）を求め、これを、ぼけを改善したＨＤ画素の画素値として出力する。
【００６７】
タップ決定回路７は、フレームメモリ１に記憶されたＳＤ画像を参照することにより、所定の統計量が所定の基準値に一致するＳＤ画像データの範囲を表す領域を、予測タップとなるＳＤ画素を生成するタップ生成領域として、ＳＤ画像のサンプル間隔未満の単位、つまり、ＳＤ画像を構成するＳＤ画素どうしの間隔未満の単位で求め、そのタップ生成領域に基づいて、予測タップとなる複数のＳＤ画素を決定する。
【００６８】
即ち、タップ決定回路７は、例えば、図２に示すように、注目画素のフレームと同一フレームのＳＤ画像上の、注目画素の位置を中心とする正方形（注目画素の位置を重心とする正方形）の領域について、その大きさ（横と縦の長さ）を変えながら、所定の統計量としての、例えば、画像のアクティビティを求め、予測タップについて、そのアクティビティが、所定の基準値に一致する大きさの正方形の領域を、タップ生成領域として求める。
【００６９】
ここで、図２では、注目画素を中心とする、横と縦の長さがＬの正方形の領域が、タップ生成領域として求められている。なお、図２では（後述する図３乃至図５、図１０、図１１においても同様）、○印がＳＤ画像のＳＤ画素を表し、×印が、注目画素となっているＨＤ画素の位置を表す。
【００７０】
さらに、タップ決定回路７は、タップ生成領域における所定の位置の複数のＳＤ画素を、予測タップとするＳＤ画素として決定し、予測タップについて、ＳＤ画像における、その予測タップとしてのＳＤ画素の位置を表す情報（以下、適宜、タップ情報という）を生成する。
【００７１】
具体的には、タップ決定回路７は、例えば、図３に△印で示すように、タップ生成領域の中心の位置（本実施の形態では、注目画素の位置に等しい）、その左上、左下、右上、右下それぞれの頂点の位置、左上と左下の頂点の中点の位置、左上と右上の頂点の中点の位置、右上と右下の頂点の中点の位置、および左下と右下の頂点の中点の位置の、合計で９個の位置のＳＤ画素、即ち、注目画素の位置を中心として等間隔に並んだ、横×縦が３×３の位置のＳＤ画素を、予測タップとするＳＤ画素として決定し、その位置を表すタップ情報を生成する。
【００７２】
タップ決定回路７は、予測タップの他、クラスタップについても同様にして、アクティビティが、所定の基準値に一致する大きさの正方形の領域を、タップ生成領域として求め、さらに、そのタップ生成領域に基づいて、タップ情報を生成する。
【００７３】
そして、タップ決定回路７は、注目画素のクラスタップと予測タップについて得られたタップ情報を、クラスタップ生成回路２と予測タップ生成回路３にそれぞれ供給する。
【００７４】
なお、上述の場合には、所定の統計量として、画像のアクティビティを採用することとしたが、統計量としては、アクティビティ以外の値を採用することが可能である。
【００７５】
また、タップ決定回路７においてタップ生成領域を求めるのに用いる統計量としては、予測タップとクラスタップの場合で、異なる種類の統計量を採用することが可能である。
【００７６】
さらに、タップ決定回路７においてタップ生成領域を求めるのに用いる基準値としても、予測タップとクラスタップの場合で、異なる値の基準値を採用することが可能である。
【００７７】
また、タップ決定回路７では、予測タップとクラスタップとで、タップ生成領域における異なる位置を、その予測タップとクラスタップそれぞれを構成するＳＤ画素の位置として採用することが可能である。即ち、予測タップとクラスタップのタップ構造（予測タップとクラスタップそれぞれを構成するＳＤ画素の、注目画素に対する位置関係）は、同一である必要はない。
【００７８】
次に、上述のように、タップ決定回路７では、アクティビティが所定の基準値に一致するＳＤ画像の範囲を表す領域としてのタップ生成領域が、ＳＤ画像のＳＤ画素どうしの間隔未満の単位で求められ、そのタップ生成領域における所定の位置（以下、適宜、タップ位置という）が、予測タップやクラスタップとなるＳＤ画素の位置として決定される。
【００７９】
そして、タップ決定回路７は、そのタップ位置を表すタップ情報を、クラスタップ生成回路２と予測タップ生成回路３に供給し、クラスタップ生成回路２と予測タップ生成回路３では、そのタップ情報が表すタップ位置のＳＤ画素からなるクラスタップと予測タップが、それぞれ生成される。
【００８０】
ところで、タップ決定回路７では、タップ生成領域が、ＳＤ画像のＳＤ画素どうしの間隔未満の単位で求められる。従って、タップ生成領域におけるタップ位置に、ＳＤ画像のＳＤ画素（の画素中心）が存在するとは限らない。
【００８１】
さらに、図１の画像処理装置における処理対象であるＳＤ画像の各ＳＤ画素と、そのＳＤ画像を処理して得られるＨＤ画像の各ＨＤ画素との位置は、１対１に対応しているとは限らない。即ち、例えば、ＨＤ画像は、ＳＤ画像よりも多くの画素で構成されている場合がある。この場合も、ＨＤ画素である注目画素の位置を中心とするタップ生成領域におけるタップ位置に、ＳＤ画像のＳＤ画素（の画素中心）が存在するとは限らない。
【００８２】
即ち、例えば、図４に示すように、タップ生成領域におけるタップ位置に、ＳＤ画像のＳＤ画素が存在しない場合がある。ここで、図４では（後述する図１１においても同様）、△印が、タップ位置を表す。
【００８３】
そこで、クラスタップ生成回路２は、タップ情報が表すタップ位置に、ＳＤ画素が存在しない場合には、そのタップ位置に近い位置にあるＳＤ画素を用いて、タップ位置における仮想的なＳＤ画素（仮想画素）を求め（生成し）、クラスタップとする。
【００８４】
即ち、いま、あるタップ位置の仮想画素ｐを、そのタップ位置に近いＮ個のＳＤ画素から求めることとし、図５に示すように、そのＮ個のＳＤ画素のうちのｎ番目のＳＤ画素をｑnと表すとともに、仮想画素ｐとＳＤ画素ｑnとの間の距離をｒnと表すこととすると、クラスタップ生成回路２は、例えば、次式にしたがって、仮想画素ｐを生成する。
【００８５】
【数９】
・・・（９）
【００８６】
但し、式（９）において、Ｃは所定の定数を表し、例えば、次式により求められる。
【００８７】
【数１０】
・・・（１０）
【００８８】
ここで、式（１０）から明らかなように、定数Ｃは、Ｃ（１／ｒ1＋１／ｒ2＋・・・＋１／ｒN）を１とするための定数である。
【００８９】
クラスタップ生成回路２は、上述のようにして、必要な仮想画素を生成し、その仮想画素によってクラスタップを構成する。但し、クラスタップ生成回路２は、タップ位置にＳＤ画素が存在する場合には、そのＳＤ画素をそのまま用いてクラスタップを構成する。
【００９０】
予測タップ生成回路３も、クラスタップ生成回路２と同様にして、予測タップを生成する。
【００９１】
従って、クラスタップ生成回路２と予測タップ生成回路３では、常に、アクティビティが基準値に一致するタップ生成領域から、クラスタップと予測タップ（以下、適宜、両者をまとめて、単に、タップという）が、それぞれ生成される。
【００９２】
次に、図６のフローチャートを参照して、図１の画像処理装置が行う、ＳＤ画像をＨＤ画像に変換する画像変換処理について説明する。
【００９３】
フレームメモリ１には、画像変換処理の対象としてのＳＤ画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給されるＳＤ画像が順次記憶されていく。
【００９４】
そして、ステップＳ１において、タップ決定回路７は、まだ求めていないＨＤ画素のうちの１つを注目画素として選択し、ステップＳ２に進む。ステップＳ２では、タップ決定回路７は、フレームメモリ１に記憶されたＳＤ画像のアクティビティに基づき、注目画素について、ＳＤ画素の間隔未満の単位のサイズのタップ生成領域を求め、そのタップ生成領域に基づいて、タップ位置を決定し、そのタップ位置を表すタップ情報を、クラスタップ生成回路２および予測タップ生成回路３に出力して、ステップＳ３に進む。
【００９５】
ステップＳ３では、クラスタップ生成回路２と予測タップ生成回路３が、タップ決定回路７から供給されるタップ情報にしたがい、注目画素についてのクラスタップと予測タップを構成する複数のＳＤ画素を、フレームメモリ１に記憶されたＳＤ画像から生成し、これにより、クラスタップと予測タップをそれぞれ構成する。このクラスタップと予測タップは、クラス分類回路４と予測演算回路６にそれぞれ供給される。
【００９６】
そして、ステップＳ４に進み、クラス分類回路４は、クラスタップ生成回路２から供給されるクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数RAM５に対して、アドレスとして出力して、ステップＳ５に進む。ステップＳ５では、係数RAM５は、クラス分類回路４からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目画素のクラスのタップ係数を取得して、予測演算回路６に供給する。
【００９７】
その後、ステップＳ６に進み、予測演算回路６は、予測タップ生成回路３からの予測タップと、係数RAM５からのタップ係数とを用いて、式（１）に示した演算を行い、注目画素であるＨＤ画素ｙ（の予測値）を求め、ステップＳ７に進む。
【００９８】
ここで、予測演算回路６は、１フレーム分のＨＤ画素が求められるまで、ステップＳ６で得られたＨＤ画素を記憶しており、１フレーム分のＨＤ画素が求められると、そのＨＤ画素で構成される１フレームのＨＤ画像を出力する。
【００９９】
ステップＳ７では、タップ決定回路７が、まだ、注目画素としていないＨＤ画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ１に戻り、以下、同様の処理を繰り返す。
【０１００】
また、ステップＳ７において、注目画素としていないＨＤ画素が存在しないと判定された場合、処理を終了する。
【０１０１】
以上のように、アクティビティが所定の基準値に一致するタップ生成領域に基づいて、クラスタップと予測タップが生成されるので、ＳＤ画像を、その性質に応じて、より真値に近いＨＤ画像に変換することができる。
【０１０２】
次に、図７は、図１のタップ決定回路７の構成例を示している。
【０１０３】
基準値記憶部１１は、後述する図１２の学習装置で用いられたのと同一のアクティビティの基準値を記憶しており、その基準値を、アクティビティ算出回路１２と、タップ生成領域決定回路１３に供給する。
【０１０４】
アクティビティ算出回路１２は、基準値記憶部１１を参照しながら、注目画素の位置を中心とする、１以上のサイズの正方形の範囲の領域を、仮のタップ生成領域として設定し、その仮のタップ生成領域のＳＤ画像のアクティビティを算出して、タップ生成領域決定回路１３に供給する。
【０１０５】
ここで、仮のタップ生成領域のアクティビティは、例えば、その仮のタップ生成領域に含まれるＳＤ画像の実際のＳＤ画素（ＳＤ画像において実在するＳＤ画素）のみを用いて算出することも可能であるが、ここでは、仮のタップ生成領域において、タップ位置などのように、その仮のタップ生成領域によって決まる固定の位置におけるＳＤ画素を用いて算出するのが望ましい。なお、この固定の位置には、タップ位置における場合と同様に、実際のＳＤ画素が存在しない場合があるが、この場合は、仮想画素が用いられる。
【０１０６】
即ち、仮のタップ生成領域のアクティビティを、その仮のタップ生成領域に含まれるＳＤ画像の実際のＳＤ画素だけを用いて算出する場合には、サイズがＳＤ画素の間隔未満の単位で異なる２つの仮のタップ生成領域について、それぞれに含まれる実際のＳＤ画素が同一となることがあり、この場合、同一の値のアクティビティが求められることになる。
【０１０７】
これに対して、仮のタップ生成領域のアクティビティを、その仮のタップ生成領域の固定の位置におけるＳＤ画素（仮想画素を含む）を用いて算出する場合には、サイズが異なる２つの仮のタップ生成領域については、それぞれにおける固定の位置が異なるから、その固定の位置におけるＳＤ画素（仮想画素を含む）も異なるものとなり、基本的に、アクティビティも異なる値となる。
【０１０８】
なお、アクティビティとしては、例えば、特開平11-27564号公報、特開2000-115721号公報、特開2000-200349号公報、特開2000-138904号公報、特開2000-299862号公報、特開2000-348019号公報、特願2000-241803号などに記載されている種類のものを採用することが可能である。
【０１０９】
即ち、特開平11-27564号公報に記載の方法によれば、仮のタップ生成領域のＳＤ画素の自己相関が、アクティビティとして算出される。また、特開2000-115721号公報に記載の方法によれば、仮のタップ生成領域のＳＤ画素が間引かれて補完され、その補間後のＳＤ画素と元の画素との誤差の絶対値和が、アクティビティとして算出される。さらに、特開2000-200349号公報に記載の方法によれば、仮のタップ生成領域内のＨＤ画素（の予測値）を、クラス分類適応処理などによって求めたときの、そのＨＤ画素の予測残差が大きいものの画素数が、アクティビティとして算出される。また、特開2000-138904号公報に記載の方法によれば、仮のタップ生成領域内のＨＤ画素（の予測値）を、クラス分類適応処理などによって求めたときの、そのＨＤ画素の予測残差の絶対値和が、アクティビティとして算出される。さらに、特開2000-299862号公報に記載の方法によれば、仮のタップ生成領域のＳＤ画素のＤＣＴ係数などの直交変換係数の分散が、アクティビティとして算出される。さらに、特開2000-348019号公報に記載の方法では、仮のタップ生成領域のＳＤ画素の標準偏差や、分散、差分絶対値和、差分値の差分（２次差分）の絶対値和が、アクティビティとして算出される。また、特願2000-241803号に記載の方法では、仮のタップ生成領域内のＳＤ画像の動きが、アクティビティとして算出される。
【０１１０】
タップ生成領域決定回路１３は、アクティビティ算出回路１２から供給される各サイズの仮のタップ生成領域のアクティビティに基づいて、仮のタップ生成領域のサイズ（例えば、横と縦の長さや、対角線の長さ、または仮のタップ生成領域が円形である場合には、半径の長さなど）（以下、適宜、領域サイズという）と、その領域サイズのタップ生成領域のアクティビティとの関係（以下、適宜、アクティビティ対領域サイズ情報という）を求める。さらに、タップ生成領域決定回路１３は、そのアクティビティ対領域サイズ情報から、基準値記憶部１１に記憶された基準値に一致するアクティビティが得られる領域サイズのタップ生成領域を求め、そのタップ生成領域に基づいて、タップ情報を生成して出力する。
【０１１１】
次に、図８のフローチャートと、図９および図１０を参照して、図７のタップ決定回路７において、図６のステップＳ２でおいて行われる、タップ情報を生成するタップ決定処理について説明する。
【０１１２】
アクティビティ算出回路１２は、まず最初に、ステップＳ１１において、領域サイズｓを、例えば、ＳＤ画像のＳＤ画素どうしの間隔である１に設定し、ステップＳ１２に進む。ステップＳ１２では、アクティビティ算出回路１２は、注目画素の位置を中心とする、ステップＳ１１で設定した領域サイズｓの仮のタップ生成領域を設定し、ステップＳ１３に進む。ステップＳ１３では、アクティビティ算出回路１２は、フレームメモリ１に記憶された、注目画素のフレームと同一フレームのＳＤ画像について、ステップＳ１２で設定した仮のタップ生成領域のアクティビティＡを求め、ステップＳ１４に進む。ステップＳ１４では、アクティビティ算出回路１２は、ステップＳ１３で求めたアクティビティＡを一時記憶し、ステップＳ１５に進む。
【０１１３】
ステップＳ１５では、アクティビティ算出回路１２は、ステップＳ１４で記憶したアクティビティＡ、即ち、領域サイズｓの仮のタップ生成領域のアクティビティＡが基準値より大きいかどうかを判定し、大きくないと判定した場合、ステップＳ１６に進み、アクティビティ算出回路１２は、領域サイズｓを、１だけインクリメントして、ステップＳ１２に戻る。そして、以下、ステップＳ１５において、領域サイズｓの仮のタップ生成領域のアクティビティＡが基準値より大きいと判定されるまで、ステップＳ１２乃至Ｓ１６の処理を繰り返す。
【０１１４】
ここで、このようにして、ステップＳ１２乃至Ｓ１６の処理が繰り返されることにより、図９Ａに示すように、領域サイズｓが正の整数値（１，２，・・・）の仮のタップ生成領域のアクティビティＡが求められていく。即ち、離散的な領域サイズｓの仮のタップ生成領域のアクティビティＡが求められていく。
【０１１５】
一方、ステップＳ１５において、領域サイズｓの仮のタップ生成領域のアクティビティＡが基準値より大きいと判定された場合、即ち、図９Ｂに示すように、直前のステップＳ１３で求められた、ある領域サイズｓの仮のタップ生成領域のアクティビティＡが、基準値記憶部１１に記憶されている基準値を超えている場合、アクティビティ算出回路１２は、ステップＳ１２乃至Ｓ１６の処理を繰り返すことにより、いままでに求めた、各領域サイズｓの仮のタップ生成領域のアクティビティＡを、タップ生成領域決定回路１３に供給し、ステップＳ１７に進む。
【０１１６】
ここで、図９Ｂでは、領域サイズｓが５の仮のタップ生成領域のアクティビティＡが、基準値を超えたものとなっている。なお、仮のタップ生成領域における画像のアクティビティは、図９に示すように、基本的には、その仮のタップ生成領域の領域サイズｓが大きくなるほど、大きくなる傾向があり、また、ここでは、説明を簡単にするため、ある領域サイズｓの仮のタップ生成領域のアクティビティＡは、その領域サイズｓより小さい領域サイズｓ’の仮のタップ生成領域のアクティビティＡ’よりも小さくならないものとして説明を行う。
【０１１７】
ステップＳ１７では、タップ生成領域決定回路１３が、アクティビティ算出回路１２から供給される各サイズの仮のタップ生成領域のアクティビティに基づいて、タップ生成領域の領域サイズと、その領域サイズのタップ生成領域のアクティビティとの関係であるアクティビティ対領域サイズ情報を求める。
【０１１８】
即ち、アクティビティ算出回路１２では、仮のタップ生成領域のアクティビティは、１ずつ変化する領域サイズｓごとに求められるため、図９Ａや図９Ｂに示したように、いわば離散的なものとなっている。このため、タップ生成領域決定回路１３は、ステップＳ１７において、その離散的なアクティビティを、例えば、直線補間等することにより、図９Ｃに示すように、連続的なアクティビティと領域サイズとの関係を表すアクティビティ対領域サイズ情報を求める。
【０１１９】
そして、ステップＳ１８に進み、タップ生成領域決定回路１３は、アクティビティ対領域サイズ情報から、図９Ｃに示すように、基準値記憶部１１に記憶された基準値に一致するアクティビティが得られる仮のタップ生成領域の領域サイズを求め、その領域サイズの仮のタップ生成領域を、注目画素についてのタップ生成領域として求める。
【０１２０】
ここで、図９Ｃでは、基準値に一致するアクティビティが得られる仮のタップ生成領域の領域サイズとして、４．５（ＳＤ画素どうしの間隔を１とした場合の４．５の長さ）が求められている。この場合、タップ生成領域決定回路１３では、図１０に示すように、横および縦の長さが４．５画素分の、注目画素の位置を中心とする正方形の範囲の領域（仮のタップ生成領域）が、注目画素についてのタップ生成領域として求められる。
【０１２１】
タップ生成領域決定回路１３は、ステップＳ１８においてタップ生成領域を決定すると、ステップＳ１９に進み、そのタップ生成領域から、例えば、図３に示したような３×３個のタップ位置を表すタップ情報を生成し、クラスタップ生成回路２と予測タップ生成回路３に供給して、処理を終了する。
【０１２２】
なお、上述の場合には、領域サイズｓを１ずつ変化させて、離散的なアクティビティを求め、さらに、その離散的なアクティビティを補間することにより、連続的なアクティビティを求め、その連続的なアクティビティから、基準値と一致するアクティビティの領域サイズを求めるようにしたが、基準値と一致するアクティビティは、その他、例えば、領域サイズｓを１より小さい大きさで徐々に変化させながらアクティビティを計算することによって求めることも可能である。
【０１２３】
また、上述の場合には、図１１Ａに示すように、タップ生成領域において、注目画素の位置を中心とする、等間隔に並んだ３×３の固定の位置におけるＳＤ画素をタップとするようにしたが、タップ生成領域の、どの位置をタップ位置とするかは、特に限定されるものではない。
【０１２４】
即ち、タップ位置は、例えば、図１１Ｂに示すように、タップ生成領域において、注目画素の位置を中心とする、十字形を形成する位置に設定したり、図１１Ｃに示す、等間隔でない位置に設定したりすることが可能である。
【０１２５】
さらに、タップ生成領域は、正方形の範囲の領域に限定されるものではなく、例えば、図１１に示すような長方形の範囲の領域としたり、あるいは、円形の範囲の領域としたりすることなどが可能である。
【０１２６】
次に、図１２は、図１の係数RAM５に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成例を示している。
【０１２７】
学習用データベース６１には、タップ係数の学習用の画像データとしての、例えばＨＤ画像データが記憶されている。
【０１２８】
学習対生成回路６２は、学習用データベース６１に記憶された学習用の画像データから、タップ係数の学習に用いられる教師データと生徒データのセットである学習対データを生成し、学習対データベース６３に供給する。
【０１２９】
即ち、学習対生成回路６２は、学習用データベース６１に記憶された学習用の画像データを読み出し、その学習用の画像データであるＨＤ画像データを、例えば、そのまま教師データとする。ここで、図１の画像処理装置で得られるＨＤ画像は、図１２の学習装置で教師データとして用いられるＨＤ画像データの画質に対応したものとなる。
【０１３０】
さらに、学習対生成回路６２は、教師データとしてのＨＤ画像データの画質を劣化させることにより、即ち、例えば、教師データとしてのＨＤ画像データの画素を間引き、さらに、ＬＰＦ(Low Pass Filter)でフィルタリングすることにより、その教師データに対応する生徒データとしてのＳＤ画像データを生成する。ここで、生徒データとしてのＳＤ画像データは、図１の画像処理装置で処理対象となるＳＤ画像データに対応した画質のものとする必要がある。即ち、図１の画像処理装置において、例えば、ＳＤ画像データを、その解像度を向上させたＨＤ画像データに変換する場合には、生徒データは、教師データの解像度を劣化させたものとする必要がある。
【０１３１】
学習対生成回路６２は、上述のようにして、教師データと、その教師データに対応する生徒データ（教師データから生成された生徒データ）とを生成すると、その教師データと生徒データのセットを、学習対データとして、学習対データベース６３に供給する。
【０１３２】
学習対データベース６３は、学習対生成回路６２からの学習対データを一時記憶する。
【０１３３】
クラスタップ生成回路６４と予測タップ生成回路６５は、学習対データベース６３に記憶された学習対データにおける生徒データとしてのＳＤ画像を構成するＳＤ画素を用い、図１のクラスタップ生成回路２または予測タップ生成回路３と同様に、タップ決定回路６９からのタップ情報にしたがって、注目画素となっている教師データとしてのＨＤ画素について、クラスタップと予測タップをそれぞれ生成し、クラス分類回路６６と足し込み回路６７にそれぞれ供給する。
【０１３４】
クラス分類回路６６は、図１のクラス分類回路４と同様に構成され、クラスタップ生成回路６４からのクラスタップに基づいて、注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、足し込み回路６７に供給する。
【０１３５】
足し込み回路６７は、クラス分類回路６６が出力するクラスコードごとに、予測タップ生成回路６５から供給される予測タップと、学習対データベース６３に記憶された学習対データにおける、注目画素となっているＨＤ画素とを対象とした、式（８）の足し込みを行う。
【０１３６】
即ち、足し込み回路６７は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップを構成するＳＤ画素ｘn,kを用い、式（８）の左辺の行列におけるＳＤ画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１３７】
さらに、足し込み回路６７は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップを構成するＳＤ画素ｘn,kと注目画素となっている教師データであるＨＤ画素ｙkを用い、式（８）の右辺のベクトルにおけるＳＤ画素ｘn,kおよび注目画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１３８】
より具体的には、足し込み回路６７は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たな注目画素について、その注目画素ｙk+1および予測タップｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１３９】
足し込み回路６７は、学習対データベース６３に記憶された学習対データにおける教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数演算回路６８に供給する。
【０１４０】
タップ係数演算回路６８は、足し込み回路６７から、各クラスについての式（８）の正規方程式を受信し、その正規方程式を解くことにより、クラスごとのタップ係数を求めて出力する。
【０１４１】
タップ決定回路６９は、図１のタップ決定回路７と同様のタップ決定処理を行うことで、クラスタップ生成回路６４と予測タップ生成回路６５に生成させるタップのタップ位置を表すタップ情報を決定し、クラスタップ生成回路６４と予測タップ生成回路６５に供給する。
【０１４２】
即ち、図１３は、図１２のタップ決定回路６９の構成例を示している。
【０１４３】
タップ決定回路６９は、図７のタップ決定回路７を構成する基準値記憶部１１、アクティビティ算出回路１２、タップ生成領域決定回路１３とそれぞれ同様に構成される基準値記憶部８１、アクティビティ算出回路８２、タップ生成領域決定回路８３から構成されており、図７のタップ決定回路７と同様の処理を行うため、その説明は、省略する。
【０１４４】
次に、図１４のフローチャートを参照して、図１２の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０１４５】
まず最初に、ステップＳ２１において、学習対生成回路６２は、学習用データベース６１から学習用の画像データを読み出し、教師データと生徒データを生成する。さらに、ステップＳ２１では、学習対生成回路６２は、その教師データと生徒データとをセットにすることで学習対データを生成し、学習対データベース６３に供給して記憶させる。
【０１４６】
そして、ステップＳ２２に進み、タップ決定回路６９は、学習対データベース６３に記憶された学習対データにおける教師データとしてのＨＤ画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、ステップＳ２３に進む。ステップＳ２３では、タップ決定回路６９は、図１のタップ決定回路７における場合と同様にして、アクティビティが基準値と一致するタップ生成領域を求め、さらに、そのタップ生成領域に基づいて、注目画素についてのタップのタップ位置を表すタップ情報を生成し、クラスタップ生成回路６４および予測タップ生成回路６５に供給する。
【０１４７】
なお、タップ決定回路６９において、仮のタップ生成領域のアクティビティの計算は、学習対データベース６３に記憶された学習対データにおける生徒データとしてのＳＤ画素を用いて、図１のタップ決定回路７と同様に行われる。
【０１４８】
また、タップ決定回路６９の基準値記憶部８１（図１３）には、アクティビティの基準値が記憶されているが、この基準値記憶部８１に記憶されている基準値と同一の基準値が、図１のタップ決定回路７の基準値記憶部１１（図７）にもセットされる。
【０１４９】
タップ決定回路６９の基準値記憶部８１（図１３）に記憶させる基準値は、例えば、図１２の学習装置によってタップ係数を求める者が、任意に設定することが可能であるが、この基準値としては、その他、例えば、特開2000-348019号公報に記載されている方法を利用して求めた値を採用することが可能である。
【０１５０】
即ち、図１２の学習装置において、複数の基準値を、タップ決定回路６９の基準値記憶部８１（図１３）に記憶させ、その複数の基準値それぞれについて、図１４の学習処理を行うことにより、クラスごとのタップ係数を求める。さらに、図１の画像処理装置において、学習処理で用いられた生徒データとしてのＳＤ画像データを処理対象として、同じく学習処理で用いられた複数の基準値それぞれについて得られたタップ係数を用いて、ＨＤ画像データを求める。そして、学習処理で用いられた複数の基準値それぞれについてのタップ係数を用いて得られたＨＤ画像データそれぞれについて、学習処理で用いられた教師データに対する誤差を求め、その誤差を最も小さくするタップ係数を得ることができた基準値を、タップ決定回路６９の基準値記憶部８１（図１３）に記憶させる基準値として、最終的に採用することができる。
【０１５１】
ステップＳ２３において、タップ決定回路６９が、タップ情報を、クラスタップ生成回路６４および予測タップ生成回路６５に供給した後は、ステップＳ２４に進み、クラスタップ生成回路６４と予測タップ生成回路６５は、タップ決定回路６９からのタップ情報にしたがい、注目画素についてのクラスタップと予測タップを、学習対データベース６３に記憶された生徒データとしてのＳＤ画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路６６と足し込み回路６７にそれぞれ供給して、ステップＳ２５に進む。
【０１５２】
ステップＳ２５では、クラス分類回路６６が、図１のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路６７に供給して、ステップＳ２６に進む。
【０１５３】
ステップＳ２６では、足し込み回路６７が、クラス分類回路６６から供給されるクラスコードが表す注目画素のクラスごとに、予測タップ生成回路６５から供給される予測タップと、学習対データベース６３に記憶された注目画素としての教師データとを対象とした、上述した式（８）における足し込みを行う。
【０１５４】
そして、ステップＳ２７に進み、タップ決定回路６９は、学習対データベース６３に記憶された教師データの中に、まだ注目画素としていないものがあるかどうかを判定する。ステップＳ２７において、学習対データベース６３に記憶された教師データの中に、まだ注目画素としていないものがあると判定された場合、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１５５】
また、ステップＳ２７において、学習対データベース６３に記憶された教師データの中に、まだ注目画素としていないものがないと判定された場合、足し込み回路６７は、いままでのステップＳ２６における足し込みによって、クラスごとに得られた式（８）の正規方程式を、タップ係数演算回路６８に供給して、ステップＳ２８に進む。
【０１５６】
ステップＳ２８では、タップ係数演算回路６８は、足し込み回路６７から供給される、各クラスごとの式（８）の正規方程式を解くことにより、クラスごとのタップ係数を求めて出力し、処理を終了する。
【０１５７】
なお、以上のようなタップ係数の学習処理において、用意する学習用の画像データ等によっては、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトのタップ係数を出力するようにすること等が可能である。あるいは、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じた場合には、新たに学習用の画像データを用意して、再度、タップ係数の学習を行うようにしても良い。このことは、後述する係数種データの学習についても、同様である。
【０１５８】
以上のように、図１２の学習装置においても、図１の画像処理装置と同様に、アクティビティが所定の基準値に一致するタップ生成領域に基づいて、クラスタップと予測タップが生成されるので、ＳＤ画像を、その性質に応じて、より真値に近いＨＤ画像に変換するタップ係数を得ることができる。
【０１５９】
ところで、図１２の学習装置におけるタップ決定回路６９の基準値記憶部８１（図１３）に記憶させる基準値として、上述したように、特開2000-348019号公報に記載されている方法を利用して求めた値を採用した場合には、図１の画像処理装置において、ＳＤ画像を、教師データの画質に最も近いＨＤ画像に変換することができる。
【０１６０】
しかしながら、画質の好みには、個人差があり、教師データの画質とは異なる画質を好むユーザも、少なからず存在しうる。
【０１６１】
一方、図１２の学習装置におけるタップ決定回路６９の基準値記憶部８１（図１３）に記憶させる基準値は、上述したように、その学習装置によりタップ係数を求める者が任意の値に設定することも可能である。
【０１６２】
そして、上述したように、タップ生成領域のアクティビティＡは、基本的には、そのタップ生成領域の領域サイズ（ここでは、例えば、タップ生成領域の横および縦の長さ）ｓが大きくなるほど大きくなるから、図１５に示すように、基準値として、小さな値Ａ1を採用した場合には、その基準値Ａ1に一致するアクティビティが得られるタップ生成領域の領域サイズは、小さい値ｓ1となるが、基準値として、値Ａ1より大きい値Ａ2を採用した場合には、その基準値Ａ2に一致するアクティビティが得られるタップ生成領域の領域サイズは、値ｓ1より大きな値ｓ2となる。
【０１６３】
タップ（クラスタップと予測タップ）は、タップ生成領域の固定のタップ位置のＳＤ画素（仮想画素を含む）で構成されるから、領域サイズの大きいタップ生成領域のタップ位置どうしの間隔（以下、適宜、タップ幅という）は、領域サイズの小さいタップ生成領域におけるタップ幅よりも大になる。
【０１６４】
従って、基準値として、大きな値Ａ2を採用した場合には、小さな値Ａ1を採用した場合に比較して、注目画素の位置から遠い位置のＳＤ画素によって、タップが構成される。逆に、基準値として、小さな値Ａ1を採用した場合には、大きな値Ａ2を採用した場合に比較して、注目画素の位置から近い位置のＳＤ画素によって、タップが構成される。
【０１６５】
このように、基準値によって、タップを構成するＳＤ画素の位置が変化するが、このタップを構成するＳＤ画素の位置の変化は、図１の画像処理装置において求められるＨＤ画像のエッジ部分や平坦部分の画質に、特に影響する。
【０１６６】
従って、図１の画像処理装置において、タップ決定回路７の基準値記憶部１１（図７）に記憶させる基準値を、ユーザが入力可能（変更可能）とすることによって、ユーザは、自身の好みにあった画質のＨＤ画像を得ることができる。
【０１６７】
しかしながら、図１の画像処理装置において、タップ決定回路７の基準値記憶部１１（図７）に記憶させる基準値を変更した場合には、予測演算回路６において、その変更後の基準値に対応したタップ係数を用いて、式（１）の演算を行う必要がある。即ち、図１２の学習装置において求められるタップ係数は、そのタップ決定回路６９の基準値記憶部８１（図１３）に記憶された基準値によって異なるものとなるため、図１２の学習装置においてある基準値について求められたタップ係数が、図１の画像処理装置の係数RAM５に記憶されている場合に、図１の画像処理装置において、学習装置における基準値とは異なる値の基準値を用いて、ＳＤ画像をＨＤ画像に変換すると、そのＨＤ画像の画質は、学習装置における基準値と同一の基準値を用いた場合よりも劣化することとなる。
【０１６８】
そこで、図１６は、ユーザによる基準値の入力を可能とし、かつその入力された基準値に対応したタップ係数を用いて、ＳＤ画像をＨＤ画像に変換する画像処理装置の一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１６の画像処理装置は、操作部９１、パラメータメモリ９２、係数生成回路９３、および係数種RAM９４が新たに設けられている他は、図１における場合と同様に構成されている。
【０１６９】
操作部９１は、ユーザによって、アクティビティの基準値となるパラメータｚを入力するときに操作され、その操作に対応したパラメータｚを、パラメータメモリ９２に供給する。
【０１７０】
パラメータメモリ９２は、操作部９１から供給されるパラメータｚを、上書きする形で記憶する。さらに、パラメータ９２は、操作部９１から供給される新たなパラメータｚを記憶すると、そのパラメータｚが表す基準値を、タップ決定回路７に供給する。
【０１７１】
係数生成回路９３は、パラメータメモリ９２に記憶されたパラメータｚに基づき、そのパラメータｚが表す基準値に対応するクラスごとのタップ係数を、係数種RAM９４に記憶されたクラスごとの係数種データを用いて生成し、係数RAM５に供給し、上書きする形で記憶させる。
【０１７２】
係数種RAM９４は、後述する図１８または図２２の学習装置によって求められる、クラスごとのタップ係数を生成する元となる、クラスごとの係数種データを記憶している。
【０１７３】
次に、図１７のフローチャートを参照して、図１６の画像処理装置による画像変換処理について説明する。
【０１７４】
画像処理装置において、フレームメモリ１には、図１における場合と同様に、画像変換処理の対象としてのＳＤ画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給されるＳＤ画像が順次記憶されていく。
【０１７５】
そして、ステップＳ３１において、タップ決定回路７は、操作部９１が操作されることにより、新たなパラメータｚがパラメータメモリ９２に記憶され、これにより、パラメータメモリ９２から、その新たなパラメータｚが供給されたかどうかを判定する。
【０１７６】
ステップＳ３１において、パラメータメモリ９２からタップ決定回路７に対して、新たなパラメータｚが供給されたと判定された場合、ステップＳ３２に進み、タップ決定回路７は、その新たなパラメータｚが表す基準値を、基準値記憶部１１（図７）に上書きする形で記憶させ、ステップＳ３３に進む。
【０１７７】
また、ステップＳ３１において、パラメータメモリ９２からタップ決定回路７に対して、新たなパラメータｚが供給されていないと判定された場合、ステップＳ３２をスキップして、ステップＳ３３に進む。
【０１７８】
従って、ユーザが、操作部９１を操作することにより、パラメータメモリ９２に、新たなパラメータｚが記憶された場合、その新たなパラメータｚが表す基準値によって、タップ決定回路７における基準値記憶部１１（図７）の記憶内容が更新される。
【０１７９】
ステップＳ３３では、係数生成回路９３が、係数種RAM９４からクラスごとの係数種データを読み出すとともに、パラメータメモリ９２からパラメータｚを読み出し、パラメータｚが表す基準値に対応するクラスごとのタップ係数を、係数種データから求める。そして、ステップＳ３４に進み、係数生成回路９３は、そのクラスごとのタップ係数を、係数RAM５に供給し、上書きする形で記憶させ、ステップＳ３５に進む。
【０１８０】
ステップＳ３５では、タップ決定回路７は、まだ求めていないＨＤ画素のうちの１つを注目画素として選択し、ステップＳ３６に進む。ステップＳ３６では、図６のステップＳ２における場合と同様に、タップ決定回路７が、基準値に一致するＳＤ画像のアクティビティに基づき、注目画素について、ＳＤ画素の間隔未満の単位のサイズのタップ生成領域を求め、そのタップ生成領域に基づいて、タップ位置を決定して、そのタップ位置を表すタップ情報を、クラスタップ生成回路２および予測タップ生成回路３に出力して、ステップＳ３７に進む。
【０１８１】
ステップＳ３７では、クラスタップ生成回路２と予測タップ生成回路３は、タップ決定回路７からのタップ情報にしたがい、クラスタップと予測タップをそれぞれ生成し、クラスタップをクラス分類回路４に、予測タップを予測演算回路７にそれぞれ供給する。
【０１８２】
ここで、タップ決定回路７では、上述したように、操作部９１を操作することにより入力され、パラメータメモリ９２に記憶されたパラメータｚが表す基準値が、その基準値記憶部１１（図７）に記憶される。従って、タップ決定回路７では、操作部９１から入力されたパラメータｚが表す基準値と一致するアクティビティのタップ生成領域が求められ、そのタップ生成領域に基づくタップ位置を表すタップ情報が、クラスタップ生成回路２および予測タップ生成回路３に供給される。その結果、クラスタップ生成回路２と予測タップ生成回路３では、操作部９１から入力された基準値に対応したクラスタップと予測タップがそれぞれ生成される。
【０１８３】
その後、ステップＳ３８に進み、クラス分類回路４は、クラスタップ生成回路２から供給されるクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数RAM５に供給して、ステップＳ３９に進む。ステップＳ３９では、係数RAM５は、クラス分類回路４からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目画素のクラスのタップ係数を取得して、予測演算回路６に供給する。
【０１８４】
ここで、係数RAM５には、上述したように、係数生成回路９３において生成された、パラメータメモリ９２に記憶されたパラメータｚが表す基準値に対応するタップ係数、即ち、タップ決定回路７の基準値記憶部１１（図７）に記憶された基準値に対応するタップ係数が記憶されている。従って、予測演算回路６には、そのようなタップ係数が供給される。
【０１８５】
その後、ステップＳ４０に進み、予測演算回路６は、予測タップ生成回路３からの予測タップと、係数RAM５からのタップ係数とを用いて、式（１）に示した演算を行い、注目画素であるＨＤ画素ｙ（の予測値）を求め、ステップＳ４１に進む。
【０１８６】
ここで、予測演算回路６は、図１における場合と同様に、１フレーム分のＨＤ画素が求められるまで、ステップＳ４０で得られたＨＤ画素を記憶しており、１フレーム分のＨＤ画素が求められると、そのＨＤ画素で構成される１フレームのＨＤ画像を出力する。
【０１８７】
ステップＳ４１では、タップ決定回路７が、まだ、注目画素としていないＨＤ画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ３１に戻り、以下、同様の処理を繰り返す。
【０１８８】
また、ステップＳ４１において、注目画素としていないＨＤ画素が存在しないと判定された場合、処理を終了する。
【０１８９】
以上のように、アクティビティの基準値を、操作部９１によって入力可能としたので、ユーザは、操作部９１を操作することによって基準値を変更することができ、自身の好みにあった画質のＨＤ画像を得ることができる。
【０１９０】
さらに、図１６の画像処理装置では、操作部９１によって入力された基準値に対応するタップ係数を、係数種データから生成し、そのタップ係数を用いて、ＳＤ画像をＨＤ画像に変換するようにしたので、ＨＤ画像の画質の劣化を防止することができる。
【０１９１】
なお、図１７において、ステップＳ３３およびＳ３４の処理は、パラメータメモリ９２に、異なる値の新たなパラメータｚが上書きされた場合にのみ行い、他の場合はスキップすることが可能である。
【０１９２】
次に、図１６の係数生成回路９３によるタップ係数の生成、および係数種RAM９４に記憶させる係数種データの学習について説明する。
【０１９３】
図１６の実施の形態では、係数生成回路９３において、式（１）の演算に用いられるタップ係数ｗnが、係数種RAM９４に記憶された係数種データと、パラメータメモリ９２に記憶されたパラメータｚとから生成される。そこで、いま、係数生成回路９３におけるタップ係数ｗnの生成が、例えば、係数種データとパラメータを用いた次式によって行われることとする。
【０１９４】
【数１１】
・・・（１１）
【０１９５】
但し、式（１１）において、βm,nは、ｎ番目のタップ係数ｗnを求めるのに用いられるｍ番目の係数種データを表し、ｚは、パラメータを表す。なお、式（１１）では、タップ係数ｗnが、Ｍ個の係数種データβn,1，βn,2，・・・，βn,Mを用いて求められるようになっている。
【０１９６】
ここで、タップ係数ｗnを求める式は、式（１１）に限定されるものではない。
【０１９７】
いま、式（１１）におけるパラメータｚによって決まる値ｚm-1を、新たな変数ｔmを導入して、次式で定義する。
【０１９８】
【数１２】
・・・（１２）
【０１９９】
式（１２）を、式（１１）に代入することにより、次式が得られる。
【０２００】
【数１３】
・・・（１３）
【０２０１】
式（１３）によれば、タップ係数ｗnは、係数種データβn,mと変数ｔmとの線形１次式によって求められることになる。
【０２０２】
一方、第ｋサンプルのＨＤ画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、前述の式（２）と同様の次式で表される。
【０２０３】
【数１４】
・・・（１４）
【０２０４】
いま、式（１４）の予測値ｙk’は、式（１）にしたがって求められるため、式（１４）のｙk’を、式（１）にしたがって置き換えると、前述の式（３）と同様の次式が得られる。
【０２０５】
【数１５】
・・・（１５）
【０２０６】
但し、式（１５）において、ｘn,kは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【０２０７】
式（１５）のｗnに、式（１３）を代入することにより、次式が得られる。
【０２０８】
【数１６】
・・・（１６）
【０２０９】
式（１６）の予測誤差ｅkを０とする係数種データβn,mが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのような係数種データβn,mを求めることは、一般には困難である。
【０２１０】
そこで、係数種データβn,mが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβn,mは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２１１】
【数１７】
・・・（１７）
【０２１２】
但し、式（１７）において、Ｋは、ＨＤ画素ｙkと、そのＨＤ画素ｙkについてのタップ係数を構成するＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数を表す
【０２１３】
式（１７）の自乗誤差の総和Ｅの最小値（極小値）は、式（１８）に示すように、総和Ｅを係数種データβn,mで偏微分したものを０とするβn,mによって与えられる。
【０２１４】
【数１８】
・・・（１８）
【０２１５】
式（１５）を、式（１８）に代入することにより、次式が得られる。
【０２１６】
【数１９】
・・・（１９）
【０２１７】
いま、Ｘi,p,j,qとＹi,pを、式（２０）と（２１）に示すように定義する。
【０２１８】
【数２０】
・・・（２０）
【数２１】
・・・（２１）
【０２１９】
この場合、式（１９）は、Ｘi,p,j,qとＹi,pを用いた式（２２）に示す正規方程式で表すことができる。
【０２２０】
【数２２】
・・・（２２）
【０２２１】
式（２２）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβn,mについて解くことができる。
【０２２２】
図１６の画像処理装置においては、多数のＨＤ画素ｙ1，ｙ2，・・・，ｙKを学習の教師となる教師データとするとともに、各ＨＤ画素ｙkについての予測タップを構成するＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,kを学習の生徒となる生徒データとして、式（２２）を解く学習を行うことにより求められた係数種データβn,mが、係数種RAM９４に記憶されており、係数生成回路９３では、その係数種データβn,mと、パラメータメモリ９２に記憶されたパラメータｚから、式（１１）にしたがって、タップ係数ｗnが生成される。そして、予測演算回路６において、そのタップ係数ｗnと、注目画素についての予測タップを構成するＳＤ画素ｘnを用いて、式（１）が計算されることにより、注目画素の画素値（に近い予測値）が求められる。
【０２２３】
次に、図１８は、式（２２）の正規方程式をたてて解くことにより係数種データβn,mを求める学習を行う学習装置の構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１８の学習装置は、パラメータ生成回路１０１が新たに設けられ、足し込み回路６７とタップ係数演算回路６８にそれぞれ代えて、足し込み回路１０２と係数種演算回路１０３が新たに設けられている他は、基本的に、図１２における場合と同様に構成されている。
【０２２４】
パラメータ生成回路１０１は、図１６のパラメータメモリ９２に供給されるパラメータｚが取り得る範囲の幾つかの値としての、例えば、ｚ＝１，２，・・・，Ｚを生成し、タップ決定回路６９と足し込み回路１０２に供給する。
【０２２５】
足し込み回路１０２は、学習対データベース６３から、注目している教師データとしてのＨＤ画素である注目画素を読み出し、その注目画素、予測タップ生成回路６５から供給される注目画素について生徒データから生成された予測タップを構成するＳＤ画素、およびその予測タップを生成するときにタップ決定回路６９で用いられた基準値を表す、パラメータ生成回路１０１から供給されるパラメータｚを対象とした足し込みを、クラス分類回路６６から供給される注目画素のクラスを表すクラスコードごとに行う。
【０２２６】
即ち、足し込み回路１０２には、学習対データベース６３に記憶された注目画素ｙk、予測タップ生成回路６５が出力する予測タップｘi,k（ｘj,k）、およびクラス分類回路６６が出力するクラスコードの他、その予測タップを生成したときのパラメータｚも、パラメータ生成回路１０１から供給される。
【０２２７】
足し込み回路１０２は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（ＳＤ画素）ｘi,k（ｘj,k）とパラメータｚを用い、式（２２）の左辺の行列における、式（２０）で定義されるコンポーネントＸi,p,j,qを求めるためのＳＤ画素およびパラメータｚの乗算（ｘi,kｔpｘj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（２０）のｔpは、式（１２）にしたがって、パラメータｚから計算される。式（２０）のｔqも同様である。
【０２２８】
さらに、足し込み回路１０２は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（ＳＤ画素）ｘi,k、注目画素ｙk、およびパラメータｚを用い、式（２２）の右辺のベクトルにおける、式（２１）で定義されるコンポーネントＹi,pを求めるためのＳＤ画素ｘi,k、注目画素ｙk、およびパラメータｚの乗算（ｘi,kｔpｙk）と、サメーション（Σ）に相当する演算を行う。なお、式（２１）のｔpは、式（１２）にしたがって、パラメータｚから計算される。
【０２２９】
即ち、足し込み回路１０２は、前回、注目画素とされた教師データについて求められた式（２２）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,qまたはベクトルのコンポーネントＹi,pに対して、新たな注目画素について、その注目画素ｙk、ＳＤ画素ｘi,k(ｘj,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘi,kｔpｘj,kｔqまたはｘi,kｔpｙkをそれぞれ足し込む（式（２０）のコンポーネントＸi,p,j,qまたは式（２１）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
【０２３０】
そして、足し込み回路１０２は、１，２，・・・，Ｚのすべての値のパラメータｚにつき、学習対データベース６３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２２）に示した正規方程式をたてると、その正規方程式を、係数種演算回路１０３に供給する。
【０２３１】
係数種演算回路１０３は、足し込み回路１０２から供給されるクラスごとの式（２２）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０２３２】
次に、図１９のフローチャートを参照して、図１８の学習装置の処理（学習処理）について、説明する。
【０２３３】
まず最初に、ステップＳ５１において、学習対生成回路６２は、図１４のステップＳ２１における場合と同様に、学習用データベース６１に記憶された学習用の画像データから、教師データと生徒データとをセットにした学習対データを生成し、学習対データベース６３に供給して記憶させる。
【０２３４】
そして、ステップＳ５２に進み、タップ決定回路６９は、学習対データベース６３に記憶された学習対データにおける教師データとしてのＨＤ画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、ステップＳ５３に進む。
【０２３５】
ステップＳ５３では、パラメータ生成回路１０１が、パラメータｚを、初期値としての、例えば１にセットし、タップ決定回路６９と足し込み回路１０２に供給して、ステップＳ５４に進む。
【０２３６】
ステップＳ５４では、タップ決定回路６９は、図１４のステップＳ２３における場合と同様にして、注目画素についてのタップのタップ位置を表すタップ情報を生成し、クラスタップ生成回路６４および予測タップ生成回路６５に供給する。
【０２３７】
但し、ここでは、タップ決定回路６９は、パラメータ生成回路１０１からステップＳ５３で供給されるパラメータｚが表す基準値を、基準値記憶部８１（図１３）に記憶し、その基準値と一致するアクティビティのタップ生成領域を求め、そのタップ生成領域に基づくタップ位置を表すタップ情報を生成する。
【０２３８】
その後、ステップＳ５５に進み、クラスタップ生成回路６４と予測タップ生成回路６５は、タップ決定回路６９からのタップ情報にしたがい、注目画素についてのクラスタップと予測タップを、学習対データベース６３に記憶された生徒データとしてのＳＤ画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路６６と足し込み回路１０２にそれぞれ供給して、ステップＳ５６に進む。
【０２３９】
ステップＳ５６では、クラス分類回路６６が、図１６のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路１０２に供給して、ステップＳ５７に進む。
【０２４０】
ステップＳ５７では、足し込み回路１０２は、学習対データベース６３から注目画素となっている教師データであるＨＤ画素を読み出し、その注目画素、予測タップ生成回路６５から供給される予測タップ、パラメータ生成回路１０１が出力するパラメータｚを用い、式（２２）における左辺の行列のコンポーネントｘi,Kｔpｘj,Kｔqと、右辺のベクトルのコンポーネントｘi,KｔpｙKを計算する。さらに、足し込み回路１０２は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類回路６６からのクラスコードに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘi,Kｔpｘj,Kｔqとベクトルのコンポーネントｘi,KｔpｙKをそれぞれ足し込み、ステップＳ５８に進む。
【０２４１】
ステップＳ５８では、パラメータ生成回路１０１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ５８において、パラメータ生成回路１０１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ５９に進み、パラメータ生成回路１０１は、パラメータｚに、例えば１を加算し、その加算値を新たなパラメータｚとして、タップ決定回路６９と足し込み回路１０２に出力する。そして、ステップＳ５４に戻り、以下、同様の処理が繰り返される。
【０２４２】
即ち、この場合、ステップＳ５４では、タップ決定回路６９は、パラメータ生成回路１０１から供給される新たなパラメータｚが表す基準値を、基準値記憶部８１（図１３）に記憶し、その基準値と一致するアクティビティのタップ生成領域を求める。さらに、タップ決定回路６９は、そのタップ生成領域に基づくタップ位置を表すタップ情報を生成し、クラスタップ生成回路６４と予測タップ生成回路６５に供給して、以下、同様の処理を繰り返す。
【０２４３】
また、ステップＳ５８において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ６０に進み、タップ決定回路６９が、学習対データベース６３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ５８において、注目画素としていない教師データが、まだ、学習対データベース６３に記憶されていると判定された場合、ステップＳ５２に戻り、以下、同様の処理が繰り返される。
【０２４４】
また、ステップＳ６０において、注目画素としていない教師データが、学習対データベース６３に記憶されていないと判定された場合、足し込み回路１０２は、いままでの処理によって得られたクラスごとの式（２２）における左辺の行列と、右辺のベクトルを、係数種演算回路１０３に供給し、ステップＳ６１に進む。
【０２４５】
ステップＳ６１では、係数種演算回路１０３は、足し込み回路１０２から供給されるクラスごとの式（２２）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
【０２４６】
以上のようにして得られた係数種データが、図１６の係数種RAM９４に記憶されている。
【０２４７】
ところで、図１８の学習装置では、図２０に示すように、教師データとしてのＨＤ画像のＨＤ画素と、パラメータｚ＝１，２，・・・，Ｚが表す各基準値を用いて生成されたタップ情報にしたがって生徒データとしてのＳＤ画像から生成された予測タップを構成するＳＤ画素とによって、式（１）の線形１次式で予測される教師データｙの予測値の自乗誤差の総和を最小にする係数種データβm,nを直接求める学習が行われるが、係数種データβm,nの学習は、その他、例えば、図２１に示すようにして行うことが可能である。
【０２４８】
図２１の実施の形態では、まず最初に、教師データと、パラメータｚ＝１，２，・・・，Ｚが表す各基準値を用いて生成されたタップ情報にしたがって生徒データから生成された予測タップを構成するＳＤ画素とによって、式（１）の線形１次予測式で予測される教師データｙの予測値の自乗誤差の総和を最小にするタップ係数ｗnが、パラメータｚの値（ここでは、ｚ＝１，２，・・・，Ｚ）ごとに求められる。
【０２４９】
即ち、図２１では、パラメータｚの各値（ｚ＝１，２，・・・，Ｚ）について、クラスごとに、式（８）の正規方程式をたて、さらに、その正規方程式を解くことで、式（４）の自乗誤差の総和を最小にするクラスごとのタップ係数ｗnが、パラメータｚの各値について求められる。
【０２５０】
さらに、図２１の実施の形態では、求められたタップ係数ｗnを教師データとするとともに、パラメータｚ＝１，２，・・・，Ｚを生徒データとして、式（１３）によって係数種データβm,n、並びに生徒データであるパラメータｚに対応する変数ｔmから予測される教師データとしてのタップ係数ｗnの予測値の自乗誤差の総和を最小にする係数種データβm,nを求める学習が行われる。
【０２５１】
即ち、タップ係数は、上述の式（１３）により、係数種データβm,nと、パラメータｚに対応する変数ｔmとから求められるが、いま、この式（１３）によって求められるタップ係数を、ｗn’と表すこととすると、次の式（２３）で表される、式（４）の自乗誤差の総和を最小にするタップ係数（以下、適宜、最適なタップ係数という）ｗnと式（１３）により求められるタップ係数ｗn’との誤差ｅnを０とする係数種データβn,mが、最適なタップ係数ｗnを求めるのに最適なものとなるが、すべてのタップ係数ｗnについて、そのような係数種データβn,mを求めることは、一般には困難である。
【０２５２】
【数２３】
・・・（２３）
【０２５３】
ここで、式（２３）は、式（１３）によって、次式のように変形することができる。
【０２５４】
【数２４】
・・・（２４）
【０２５５】
そこで、係数種データβn,mが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβn,mは、次式で表される、式（２３）の誤差ｅnの自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２５６】
【数２５】
・・・（２５）
【０２５７】
式（２５）の自乗誤差の総和Ｅの最小値（極小値）は、式（２６）に示すように、総和Ｅを係数種データβn,mで偏微分したものを０とするβn,mによって与えられる。
【０２５８】
【数２６】
・・・（２６）
【０２５９】
式（２４）を、式（２６）に代入することにより、次式が得られる。
【０２６０】
【数２７】
・・・（２７）
【０２６１】
いま、Ｘi,j,とＹiを、式（２８）と（２９）に示すように定義する。
【０２６２】
【数２８】
・・・（２８）
【数２９】
・・・（２９）
【０２６３】
この場合、式（２７）は、Ｘi,jとＹiを用いた式（３０）に示す正規方程式で表すことができる。
【０２６４】
【数３０】
・・・（３０）
【０２６５】
式（３０）の正規方程式も、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβn,mについて解くことができる。
【０２６６】
次に、図２２は、式（３０）の正規方程式をたてて解くことにより係数種データβn,mを求める学習を行う学習装置の一実施の形態の構成例を示している。なお、図中、図１８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２２の学習装置は、足し込み回路１０２および係数種演算回路１０３に代えて、足し込み回路１１１、タップ係数演算回路１１２、足し込み回路１１３、および係数種演算回路１１４が設けられている他は、図１８における場合と同様に構成されている。
【０２６７】
足し込み回路１１１には、学習対データベースに記憶された注目画素としての教師データ、予測タップ生成回路６５が出力する注目画素についての予測タップ、クラス分類回路６６が出力する注目画素についてのクラスコード、およびパラメータ生成回路１０１が出力するパラメータｚが供給される。足し込み回路１１１は、学習対データベース６３から、注目画素を読み出し、その注目画素と、予測タップ生成回路６５から供給される注目画素について生成された予測タップを構成するＳＤ画素とを対象とした足し込みを、クラス分類回路６６から供給されるクラスコードごとに、かつパラメータ生成回路１０１が出力するパラメータｚの値ごとに行う。
【０２６８】
即ち、足し込み回路１１１には、学習対データベース６３に記憶された教師データｙk、予測タップ生成回路６５が出力する予測タップｘn,k、クラス分類回路６６が出力するクラスコード、およびパラメータ生成回路１０１が出力する、予測タップｘn,kを生成するのに用いられたパラメータｚが供給される。
【０２６９】
そして、足し込み回路１１１は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成回路１０１が出力するパラメータｚの値ごとに、予測タップｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０２７０】
さらに、足し込み回路１１１は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成回路１０１が出力するパラメータｚの値ごとに、予測タップｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２７１】
即ち、足し込み回路１１１は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その注目画素ｙk+1および予測タップｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０２７２】
そして、足し込み回路１１１は、学習対データベース６３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数演算回路１１２に供給する。
【０２７３】
タップ係数演算回路１１２は、足し込み回路１１１から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗnを求め、足し込み回路１１３に供給する。
【０２７４】
足し込み回路１１３は、各クラスごとに、パラメータｚ（に対応する変数ｔm）と、最適なタップ係数ｗnを対象とした足し込みを行う。
【０２７５】
即ち、足し込み回路１１３は、パラメータｚから式（１２）によって求められる変数ｔi（ｔj）を用い、式（３０）の左辺の行列における、式（２８）で定義されるコンポーネントＸi,jを求めるためのパラメータｚに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２７６】
ここで、コンポーネントＸi,jは、パラメータｚによってのみ決まるものであり、注目画素のクラスとは関係がないので、コンポーネントＸi,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。
【０２７７】
さらに、足し込み回路１１３は、パラメータｚから式（１２）によって求められる変数ｔiと、最適なタップ係数ｗnとを用い、式（３０）の右辺のベクトルにおける、式（２９）で定義されるコンポーネントＹiを求めるためのパラメータｚに対応する変数ｔiおよび最適なタップ係数ｗnの乗算（ｔiｗn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２７８】
足し込み回路１１３は、各クラスごとに、式（２８）で表されるコンポーネントＸi,jと、式（２９）で表されるコンポーネントＹiを求めることにより、各クラスについて、式（３０）の正規方程式をたてると、その正規方程式を、係数種演算回路１１４に供給する。
【０２７９】
係数種演算回路１１４は、足し込み回路１１３から供給されるクラスごとの式（３０）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０２８０】
次に、図２３のフローチャートを参照して、図２２の学習装置の処理（学習処理）について説明する。
【０２８１】
まず最初に、ステップＳ７１において、学習対生成回路６２は、図１９のステップＳ５１における場合と同様に、学習用データベース６１に記憶された学習用の画像データから、教師データと生徒データとをセットにした学習対データを生成し、学習対データベース６３に供給して記憶させる。
【０２８２】
そして、ステップＳ７２に進み、タップ決定回路６９は、学習対データベース６３に記憶された学習対データにおける教師データとしてのＨＤ画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、ステップＳ７３に進む。
【０２８３】
ステップＳ７３では、パラメータ生成回路１０１が、パラメータｚを、初期値としての、例えば１にセットし、タップ決定回路６９と足し込み回路１１１に供給して、ステップＳ７４に進む。
【０２８４】
ステップＳ７４では、タップ決定回路６９は、図１９のステップＳ５４における場合と同様にして、注目画素についてのタップのタップ位置を表すタップ情報を生成し、クラスタップ生成回路６４および予測タップ生成回路６５に供給する。
【０２８５】
即ち、タップ決定回路６９は、パラメータ生成回路１０１からステップＳ７３で供給されるパラメータｚが表す基準値を、基準値記憶部８１（図１３）に記憶し、その基準値と一致するアクティビティのタップ生成領域を求め、そのタップ生成領域に基づくタップ位置を表すタップ情報を生成する。
【０２８６】
その後、ステップＳ７５に進み、クラスタップ生成回路６４と予測タップ生成回路６５は、タップ決定回路６９からのタップ情報にしたがい、注目画素についてのクラスタップと予測タップを、学習対データベース６３に記憶された生徒データとしてのＳＤ画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路６６と足し込み回路１１１にそれぞれ供給して、ステップＳ７６に進む。
【０２８７】
ステップＳ７６では、クラス分類回路６６が、図１６のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路１１１に供給して、ステップＳ７７に進む。
【０２８８】
ステップＳ７７では、足し込み回路１１１は、学習対データベース６３から注目画素となっている教師データであるＨＤ画素を読み出し、パラメータ生成回路１０１から供給されるパラメータｚについて、注目画素ｙkと、予測タップ生成回路６５から供給される予測タップｘn,kとを用いて計算される、式（８）における左辺の行列のコンポーネントｘn,kｘn',kと、右辺のベクトルのコンポーネントｘn,kｙkを計算する。さらに、足し込み回路１１１は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類回路６６からのクラスコードに対応するものに対して、注目画素および予測タップから求められた行列のコンポーネントｘn,kｘn',kとベクトルのコンポーネントｘn,kｙkを足し込み、ステップＳ７８に進む。
【０２８９】
ステップＳ７８では、パラメータ生成回路１０１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ７８において、パラメータ生成回路１０１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ７９に進み、パラメータ生成回路１０１は、パラメータｚに、例えば１を加算し、その加算値を新たなパラメータとして、タップ決定回路６９と足し込み回路１１１に出力する。そして、ステップＳ７４に戻り、以下、同様の処理が繰り返される。
【０２９０】
即ち、この場合、ステップＳ７４では、タップ決定回路６９は、ステップＳ７９で、パラメータ生成回路１０１から供給される新たなパラメータｚが表す基準値を、基準値記憶部８１（図１３）に記憶し、その基準値と一致するアクティビティのタップ生成領域を求める。さらに、タップ決定回路６９は、そのタップ生成領域に基づくタップ位置を表すタップ情報を生成し、クラスタップ生成回路６４と予測タップ生成回路６５に供給して、以下、同様の処理を繰り返す。
【０２９１】
また、ステップＳ７８において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ８０に進み、タップ決定回路６９が、学習対データベース６３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ７８において、注目画素としていない教師データが、まだ、学習対データベース６３に記憶されていると判定された場合、ステップＳ７２に戻り、以下、同様の処理が繰り返される。
【０２９２】
また、ステップＳ８０において、注目画素としていない教師データが、学習対データベース６３に記憶されていないと判定された場合、足し込み回路１１１は、いままでの処理によって得られた、パラメータｚの各値についての、クラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数演算回路１１２に供給し、ステップＳ８１に進む。
【０２９３】
ステップＳ８１では、タップ係数演算回路１１２は、足し込み回路１１１から供給される、パラメータｚの各値についての、クラスごとの式（８）における左辺の行列と右辺のベクトルによって構成される正規方程式を解くことにより、パラメータｚの各値について、各クラスごとのタップ係数ｗnを求める。さらに、タップ係数演算回路１１２は、そのパラメータｚの各値について、各クラスごとのタップ係数ｗnを、足し込み回路１１３に供給して、ステップＳ８２に進む。
【０２９４】
ステップＳ８２では、足し込み回路１１３は、タップ係数演算回路１１２から供給される、パラメータｚの各値についての、各クラスごとのタップ係数ｗnと、そのパラメータｚとを対象として、式（３０）における、式（２８）で定義されるコンポーネントＸi,jと、式（２９）で定義されるコンポーネントＹiを求めるための足し込みを行う。
【０２９５】
即ち、ステップＳ８２では、足し込み回路１１３は、パラメータｚの各値について、式（１２）によって求められる変数ｔi（ｔj）を用い、式（３０）の左辺の行列における、式（２８）で定義されるコンポーネントＸi,jを求めるためのパラメータｚに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を行う。さらに、ステップＳ８２では、足し込み回路１１３は、パラメータｚの各値から式（１２）によって求められる変数ｔiと、そのパラメータｚの各値についての、タップ係数演算回路１１２からのタップ係数ｗnとを用い、式（３０）の右辺のベクトルにおける、式（２９）で定義されるコンポーネントＹiを求めるためのパラメータｚに対応する変数ｔiおよび最適なタップ係数ｗnの乗算（ｔiｗn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２９６】
足し込み回路１１３は、各クラスごとに、式（２８）で表されるコンポーネントＸi,jと、式（２９）で表されるコンポーネントＹiを求め、これにより、各クラスについて、式（３０）の正規方程式をたてると、その正規方程式を、係数種演算回路１１４に供給し、ステップＳ８２からＳ８３に進む。
【０２９７】
ステップＳ８３では、係数種演算回路１１４は、足し込み回路１１３から供給されるクラスごとの式（３０）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力し、処理を終了する。
【０２９８】
以上のようにして得られた係数種データが、図１６の係数種RAM９４に記憶されている。
【０２９９】
ここで、図１６の画像処理装置においては、例えば、係数種RAM９４を設けずに、図２２のタップ係数演算回路１１２が出力するパラメータｚの各値ごとの最適なタップ係数ｗnを係数RAM５に記憶させておき、パラメータメモリ９２に記憶されたパラメータｚに応じて、係数RAM５に記憶された最適なタップ係数を選択して用いるようにすることも可能である。但し、この場合、係数RAM５として、パラメータｚが取り得る離散値の数に比例した大きな容量のメモリが必要となる。これに対して、係数種RAM９４を設け、係数種データを記憶させておく場合には、係数種RAM９４の記憶容量は、パラメータｚが取り得る値の数に依存しないので、係数種RAM９４として、小さな容量のメモリを採用することができる。さらに、係数種データβm,nを記憶させておく場合には、その係数種データβm,nと、パラメータｚの値とから、式（１１）によりタップ係数ｗnが生成されることから、パラメータｚの値に応じた、いわば連続的なタップ係数ｗnを得ることができる。
【０３００】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３０１】
そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３０２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０３０３】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０３０４】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールしたりすることができる。
【０３０５】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０３０６】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３０７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３０８】
なお、本実施の形態では、本発明を、ＳＤ画像データをＨＤ画像データに変換する場合を例に説明したが、本発明は、その他、例えば、音声データを、より高音質の音声データに変換する場合にも適用可能である。なお、音声データを対象とする場合においては、タップ生成領域として、所定の統計量が所定の基準値に一致する区間が、音声データのサンプル点の間隔より短い単位で求められることになる。
【０３０９】
さらに、本発明は、ＳＤ画像データを、その画素数を多くしたＨＤ画像データ、即ち、空間解像度を向上させたＨＤ画像データに変換したり、時間方向の解像度（フレームまたはフィールド数）を向上させたＨＤ画像データや、レベル方向の解像度（画素値に割り当てられたビット数）を向上させたＨＤ画像データに変換したりする場合の他、例えば、画像を拡大する場合などにも適用可能である。
【０３１０】
また、本実施の形態では、クラスタップおよび予測タップのいずれもタップ情報にしたがって生成するようにしたが、クラスタップまたは予測タップのうちのいずれか一方は、タップ情報に無関係に、固定のタップ構造とすることが可能である。
【０３１１】
さらに、本実施の形態では、画像を変換する画像処理装置と、その画像処理装置で用いるクラスごとのタップ係数または係数種データを学習する学習装置とを、別々の装置として構成するようにしたが、画像処理装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、画像処理装置で用いるタップ係数を、リアルタイムで更新させるようにすることが可能である。
【０３１２】
また、本実施の形態では、係数RAM５に、あらかじめクラスごとのタップ係数を記憶させておくようにしたが、このタップ係数は、例えば、ＳＤ画像とともに、画像処理装置に供給するようにすることも可能である。同様に、基準値についても、基準値記憶部１１（図７）に記憶させておく、あるいは、操作部９１から入力するのではなく、ＳＤ画像とともに、画像処理装置に供給するようにすることが可能である。
【０３１３】
さらに、本実施の形態では、クラスタップおよび予測タップのタップ構造を決定するタップ生成領域を、いわば平面的な形状の領域として、１フレームのＳＤ画像上において求めるようにしたが、タップ生成領域は、いわば立体的な形状の領域として、連続した複数フレームのＳＤ画像上において求めるようにすることが可能である。
【０３１４】
また、本実施の形態では、式（１）の１次式によって、ＨＤ画素を求めるようにしたが、ＨＤ画素は、２次以上の式によって、求めるようにすることも可能である。
【０３１５】
なお、図１や図１６の画像処理装置は、例えば、テレビジョン放送信号を受信して画像を表示するテレビジョン受像機や、ＤＶＤから画像データを再生して出力するＤＶＤ再生装置、ビデオテープから画像データを再生して出力するＶＴＲその他の画像を処理する装置などに適用可能である。
【０３１６】
【発明の効果】
以上の如く、本発明によれば、データを、より品質の良いデータに変換する際の、その変換性能を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】タップ生成領域を説明する図である。
【図３】タップ生成領域に基づいて決定されるタップ位置を示す図である。
【図４】タップ生成領域に基づいて決定されたタップ位置と、実際のＳＤ画素との位置関係を示す図である。
【図５】仮想画素の生成方法を説明する図である。
【図６】画像処理装置の処理を説明するフローチャートである。
【図７】タップ決定回路７の構成例を示すブロック図である。
【図８】タップ決定回路７の処理を説明するフローチャートである。
【図９】タップ決定回路７の処理を説明するための図である。
【図１０】タップ決定回路７において求められるタップ生成領域を示す図である。
【図１１】タップ生成領域とタップ位置を示す図である。
【図１２】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図１３】タップ決定回路６９の構成例を示すブロック図である。
【図１４】学習装置の処理を説明するフローチャートである。
【図１５】タップ生成領域の領域サイズｓと、そのアクティビティＡとの関係を示す図である。
【図１６】本発明を適用した画像処理装置の他の実施の形態の構成例を示すブロック図である。
【図１７】画像処理装置の処理を説明するフローチャートである。
【図１８】本発明を適用した学習装置の他の実施の形態の構成例を示すブロック図である。
【図１９】学習装置の処理を説明するフローチャートである。
【図２０】係数種データの第１の学習方法を説明する図である。
【図２１】係数種データの第２の学習方法を説明する図である。
【図２２】本発明を適用した学習装置のさらに他の実施の形態の構成例を示すブロック図である。
【図２３】学習装置の処理を説明するフローチャートである。
【図２４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路， ３ 予測タップ生成回路， ４ クラス分類回路， ５ 係数RAM， ６ 予測演算回路， １１ 画素値記憶部， １２ アクティビティ算出回路， １３ タップ生成領域決定回路， ６１ 学習用データベース， ６２ 学習対生成回路， ６３ 学習対データベース， ６４ クラスタップ生成回路， ６５ 予測タップ生成回路， ６６ クラス分類回路， ６７ 足し込み回路， ６８ タップ係数演算回路，８１ 画素値記憶部， ８２ アクティビティ算出回路， ８３ タップ生成領域決定回路， ９１ 操作部， ９２ パラメータメモリ， ９３ 係数生成回路， ９４ 係数種RAM， １０１ パラメータ生成回路， １０２ 足し込み回路， １０３ 係数種演算回路， １１１ 足し込み回路， １１２ タップ係数演算回路， １１３ 足し込み回路， １１４ 係数種演算回路， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関し、例えば、画像データを、より画質の良い画像データに変換する際の、その変換性能を向上させることができるようにするデータ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の変換を行うデータ変換処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【０００４】
即ち、適応処理では、例えば、低画質または標準画質の画像（以下、適宜、ＳＤ(Standard Definition)画像という）データが、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像（以下、適宜、ＨＤ(High Definition)画像という）データに変換される。
【０００５】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、ＨＤ画像データを構成する画素（以下、適宜、ＨＤ画素という）（の画素値）ｙは、ＳＤ画像データを構成する画素（以下、適宜、ＳＤ画素という）から、ＨＤ画素を予測するための予測タップとして抽出される複数のＳＤ画素と、タップ係数とを用いて、次の線形１次式によって求められる。
【０００６】
【数１】
【０００７】
但し、式（１）において、ｘnは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目のＳＤ画像データの画素（以下、適宜、ＳＤ画素という）の画素値を表し、ｗnは、ｎ番目のＳＤ画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個のＳＤ画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０００８】
ここで、ＨＤ画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０００９】
いま、第ｋサンプルのＨＤ画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【００１０】
【数２】
【００１１】
式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【００１２】
【数３】
【００１３】
但し、式（３）において、ｘn,kは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【００１４】
式（３）の予測誤差ｅkを０とするタップ係数ｗnが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【００１５】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００１６】
【数４】
【００１７】
但し、式（４）において、Ｋは、ＨＤ画素ｙkと、そのＨＤ画素ｙkについての予測タップを構成するＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数を表す。
【００１８】
式（４）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、その総和Ｅをタップ係数ｗnで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【００１９】
【数５】
【００２０】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【００２１】
【数６】
【００２２】
式（５）と（６）から、次式が得られる。
【００２３】
【数７】
【００２４】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【００２５】
【数８】
【００２６】
式（８）の正規方程式は、ＨＤ画素ｙkとＳＤ画素ｘn,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗnの数と同じ数だけたてることができ、従って、式（８）を解くことで（但し、式（８）を解くには、式（８）において、タップ係数ｗnにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗnを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。
【００２７】
以上のように、多数のＨＤ画素ｙ1，ｙ2，・・・，ｙKを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙkについての予測タップを構成するＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,kを、タップ係数の学習の生徒となる生徒データとして、式（８）を解くことにより、最適なタップ係数ｗnを求める学習を行っておき、さらに、そのタップ係数ｗnを用い、式（１）により、ＳＤ画像データを、ＨＤ画像データにマッピング（変換）するのが適応処理である。
【００２８】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗnが、教師データとしてのＨＤ画像データと生徒データとしてのＳＤ画像データとを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【００２９】
ここで、タップ係数ｗnの学習では、教師データｙと生徒データｘとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗnを求めることができる。
【００３０】
即ち、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データにノイズやぼけを付加したＳＤ画像データを採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数ｗnを得ることができる。また、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データの解像度を劣化させたＳＤ画像データを採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数ｗnを得ることができる。さらに、例えば、教師データｙとして、画像データを採用するとともに、生徒データｘとして、その画像データをＤＣＴ(Discrete Cosine Transform)変換したＤＣＴ係数を採用した場合には、ＤＣＴ係数を画像データに変換するタップ係数ｗnを得ることができる。
【００３１】
【発明が解決しようとする課題】
クラス分類適応処理では、各クラスごとに求められたタップ係数ｗnを用いて、各クラスごとに適応処理が施される。即ち、適応処理の前段で行われるクラス分類処理では、注目しているＨＤ画素である注目画素の位置から見て、固定の位置にある複数のＳＤ画素が、クラス分類に用いるクラスタップとして抽出され、注目画素が、その性質に基づいてクラス分けされる。そして、適応処理では、やはり、注目画素の位置から見て、固定の位置にある複数のＳＤ画素が、式（１）の積和演算に用いられる予測タップとして抽出され、その予測タップと、注目画素のクラスのタップ係数ｗnとを用いて、式（１）の積和演算が行われることにより、注目画素（の予測値）が求められる。
【００３２】
以上のように、クラス分類適応処理では、注目画素の位置から見て、固定の位置にある複数のＳＤ画素が、クラスタップとして抽出される。
【００３３】
しかしながら、クラス分類適応処理によって、例えば、ぼけのあるＳＤ画像を、そのぼけを改善したＨＤ画像に変換する場合において、そのＳＤ画像のぼけの度合いに関係なく、注目画素から見て、固定の位置にあるＳＤ画素を、注目画素のクラス分類に用いたのでは、その注目画素の性質を十分に反映したクラス分けが困難となることがある。
【００３４】
即ち、例えば、ぼけ度（ぼけの度合い）の小さいＳＤ画像を対象にクラス分類適応処理を行う場合においては、画像の相関性の観点から、注目画素から見て、比較的近い位置にあるＳＤ画素を用いてクラス分類を行う方が、注目画素の性質を反映したクラス分けを行うことができる。また、ぼけ度の大きいＳＤ画像を対象にクラス分類適応処理を行う場合においては、そのぼけの影響の観点から、注目画素から見て、比較的遠い位置にあるＳＤ画素を用いてクラス分類を行う方が、その性質を反映したクラス分けを行うことができる。
【００３５】
従って、注目画素から見て、固定の位置にあるＳＤ画素を、注目画素のクラス分類に用いたのでは、その注目画素の性質を反映したクラス分けができないことがある。
【００３６】
同様に、注目画素を求める式（１）の積和演算に用いられる予測タップとしてのＳＤ画素についても、ぼけ度に応じた位置のＳＤ画素を用いた方が、注目画素の真値により近いＨＤ画素を得ることができるが、上述のように、注目画素から見て、固定の位置にあるＳＤ画素を、注目画素の予測タップとするのでは、真値に対して誤差の小さい値ＨＤ画素を求めることができないことがある。
【００３７】
従って、クラスタップや予測タップとして、注目画素から見て固定の位置にあるＳＤ画素を採用する場合には、クラス分類適応処理の処理性能が劣化すること、即ち、クラス分類処理によって、ＳＤ画像の画質を十分に改善したＨＤ画像が得られないことがある。
【００３８】
そこで、本件出願人は、例えば、特開2000-348019号公報（特願平11-160528号）において、例えば、予測タップやクラスタップとしての複数のＳＤ画素の標準偏差が所定の基準値に一致するように、予測タップやクラスタップを構成することにより、ぼけ度の異なるＳＤ画像を、より真値に近いＨＤ画像に変換する方法について、先に提案している。
【００３９】
しかしながら、先に提案した方法では、予測タップやクラスタップを、ＳＤ画像データを構成するＳＤ画素から抽出することにより構成するため、予測タップやクラスタップとしての複数のＳＤ画素の標準偏差が所定の基準値に完全に一致するとは限らなかった。即ち、先に提案した方法では、標準偏差が所定の基準値により近くなる複数のＳＤ画素を、予測タップやクラスタップとして採用していた。このため、クラス分類適応処理によって得られるＨＤ画像が画質の劣化したものになるおそれがあることがあった。
【００４０】
また、先に提案した方法では、所定の基準値が、タップ係数の学習時に決定されるため、ユーザが、自身の画質の好みに応じて設定することが困難であった。
【００４１】
本発明は、このような状況に鑑みてなされたものであり、例えば、クラス分類適応処理等の処理性能を向上させることができるようにするものである。
【００４２】
【課題を解決するための手段】
本発明のデータ変換装置は、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、データ生成手段において生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値を求める演算手段とを備えることを特徴とする。
【００４３】
本発明のデータ変換方法は、データ変換装置のコンピュータがプログラムを実行することにより、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、データ生成手段において生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値を求める演算手段としての機能が実現され、決定手段が、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定する決定ステップと、クラス分類手段が、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、データ生成手段が、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成ステップと、演算手段が、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、データ生成ステップにおいて生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値を求める演算ステップとを備えることを特徴とする。
【００４４】
本発明の第１のプログラムは、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、データ生成ステップにおいて生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値を求める演算ステップとを含む処理をコンピュータに実行させる。
【００４５】
本発明の第１の記録媒体は、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、データ生成ステップにおいて生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値を求める演算ステップとを含む処理をコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００４６】
本発明の第１の学習装置は、学習用のデータから、タップ係数の学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、データ生成手段において生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段とを備えることを特徴とする。
【００４７】
本発明の第１の学習方法は、学習装置のコンピュータがプログラムを実行することにより、学習用のデータから、タップ係数の学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、データ生成手段において生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段としての機能が実現され、学習対生成手段が、学習用のデータから、タップ係数の学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、決定手段が、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、データ生成手段が、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、クラス分類手段が、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、学習手段が、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを備えることを特徴とする。
【００４８】
本発明の第２のプログラムは、学習用のデータから、タップ係数の学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを含む処理をコンピュータに実行させる。
【００４９】
本発明の第２の記録媒体は、学習用のデータから、タップ係数の学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを含む処理をコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００５０】
本発明の第２の学習装置は、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、データ生成手段において生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データを、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段とを備えることを特徴とする。
【００５１】
本発明の第２の学習方法は、学習装置のコンピュータがプログラムを実行することにより、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定手段と、注目データについて、その注目データを求めるのに用いる複数のデータを、決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、データ生成手段において生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、データ生成手段において生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データを、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段としての機能が実現され、学習対生成手段が、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、決定手段が、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、データ生成手段が、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、クラス分類手段が、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、学習手段が、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データを、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを備えることを特徴とする。
【００５２】
本発明の第３のプログラムは、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データを、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを含む処理をコンピュータに実行させる。
【００５３】
本発明の第３の記録媒体は、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定する決定ステップと、注目データについて、その注目データを求めるのに用いる複数のデータを、決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、データ生成ステップにおいて生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、データ生成ステップにおいて生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データを、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップとを含む処理をコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００５４】
本発明のデータ変換装置およびデータ変換方法、並びに第１のプログラムおよび第１の記録媒体においては、第１のデータから、予測値を求めようとする第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる第１のデータの範囲である基準範囲を、第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲が、注目データを求めるのに用いる複数のデータを第１のデータより抽出する範囲として決定される。また、注目データについて、その注目データを求めるのに用いる複数のデータが、決定された基準範囲に基づく所定位置に近い位置にある所定数の第１のデータの値と、所定の位置および所定数の第１のデータの距離とを用いた演算を行い、生成される。また、生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力される。そして、所定の基準値に最も近い統計量が得られる範囲に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、生成された複数のデータとクラスコードに対応するタップ係数との線形一次結合により、注目データの予測値が求められる。
【００５５】
本発明の第１の学習装置および第１の学習方法、並びに第２のプログラムおよび第２の記録媒体においては、学習用のデータから、前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データが生成される。そして、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲が、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定される。また、注目データについて、その注目データを求めるのに用いる複数のデータが、決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成される。また、生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力される。そして、生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にするタップ係数を、範囲から読み出される複数のデータに基づくクラスコードごとに求める学習が行われる。
【００５６】
本発明の第２の学習装置および第２の学習方法、並びに第３のプログラムおよび第３の記録媒体においては、学習用のデータから、係数種データの学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとのセットである学習対データが生成される。また、生徒データから、予測値を求めようとする教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、所定の基準値に一致する統計量が得られる生徒データの範囲である基準範囲を、生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲が、注目データを求めるのに用いる複数のデータを生徒データより抽出する範囲として決定される。また、注目データについて、その注目データを求めるのに用いる複数のデータが、決定された基準範囲に基づく所定位置に近い位置にある所定数の生徒データの値と、所定の位置および所定数の生徒データの距離とを用いた演算を行い、生成される。また、生成された複数のデータの値のパターンに基づき、注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力される。そして、生成された複数のデータとの線形一次結合により求められる注目データの予測誤差を統計的に最小にする係数種データが、範囲から読み出される複数のデータに基づくクラスコードごとに求められる。
【００５７】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００５８】
この画像処理装置においては、例えば、ぼけたＳＤ画像が入力され、そのＳＤ画像に対して、クラス分類適応処理が施されることにより、ＳＤ画像のぼけ度にかかわらず、そのぼけが十分に改善されたＨＤ画像（ぼけ改善画像）が出力されるようになっている。
【００５９】
即ち、この画像処理装置は、フレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、係数RAM(Random Access Memory)５、予測演算回路６、およびタップ決定回路７から構成され、そこには、ぼけの改善を行う対象となるＳＤ画像が入力される。
【００６０】
フレームメモリ１は、画像処理装置に入力されるＳＤ画像を、例えば、フレーム（またはフィールド）単位で一時記憶する。なお、本実施の形態では、フレームメモリ１は、複数フレームのＳＤ画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力されるＳＤ画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００６１】
クラスタップ生成回路２は、クラス分類適応処理により、求めようとするＨＤ画素（ここでは、ＳＤ画素からぼけを完全に排除した、ぼけのない理想的なＨＤ画素）を、注目画素として、その注目画素についてのクラス分類に用いるＳＤ画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶されたＳＤ画像から生成し、これを、クラスタップとして、クラス分類回路４に出力する。
【００６２】
予測タップ生成回路３は、予測演算回路６において注目画素（の予測値）を求めるのに用いるＳＤ画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶されたＳＤ画像から生成し、これを予測タップとして、予測演算回路６に供給する。
【００６３】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数RAM５に対して、アドレスとして与える。即ち、クラス分類回路４は、クラスタップ生成回路２からクラスタップを、例えば、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、係数RAM５に出力する。
【００６４】
ここで、KビットADRC処理においては、クラスタップを構成するＳＤ画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するＳＤ画素がKビットに再量子化される。即ち、クラスタップを構成するＳＤ画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各ＳＤ画素の画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各ＳＤ画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。なお、クラス分類は、その他、例えば、クラスタップを構成するＳＤ画素を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。
【００６５】
係数RAM５は、後述する学習装置において学習が行われることにより得られるクラスごとのタップ係数を記憶しており、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数、即ち、注目画素のクラスのタップ係数を読み出し、予測演算回路６に供給する。
【００６６】
予測演算回路６は、係数RAM５から供給される、注目画素のクラスについてのタップ係数ｗ，ｗ2，・・・と、予測タップ生成回路３からの予測タップ（を構成する各ＳＤ画素の画素値）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算を行うことにより、注目画素ｙ（の予測値）を求め、これを、ぼけを改善したＨＤ画素の画素値として出力する。
【００６７】
タップ決定回路７は、フレームメモリ１に記憶されたＳＤ画像を参照することにより、所定の統計量が所定の基準値に一致するＳＤ画像データの範囲を表す領域を、予測タップとなるＳＤ画素を生成するタップ生成領域として、ＳＤ画像のサンプル間隔未満の単位、つまり、ＳＤ画像を構成するＳＤ画素どうしの間隔未満の単位で求め、そのタップ生成領域に基づいて、予測タップとなる複数のＳＤ画素を決定する。
【００６８】
即ち、タップ決定回路７は、例えば、図２に示すように、注目画素のフレームと同一フレームのＳＤ画像上の、注目画素の位置を中心とする正方形（注目画素の位置を重心とする正方形）の領域について、その大きさ（横と縦の長さ）を変えながら、所定の統計量としての、例えば、画像のアクティビティを求め、予測タップについて、そのアクティビティが、所定の基準値に一致する大きさの正方形の領域を、タップ生成領域として求める。
【００６９】
ここで、図２では、注目画素を中心とする、横と縦の長さがＬの正方形の領域が、タップ生成領域として求められている。なお、図２では（後述する図３乃至図５、図１０、図１１においても同様）、○印がＳＤ画像のＳＤ画素を表し、×印が、注目画素となっているＨＤ画素の位置を表す。
【００７０】
さらに、タップ決定回路７は、タップ生成領域における所定の位置の複数のＳＤ画素を、予測タップとするＳＤ画素として決定し、予測タップについて、ＳＤ画像における、その予測タップとしてのＳＤ画素の位置を表す情報（以下、適宜、タップ情報という）を生成する。
【００７１】
具体的には、タップ決定回路７は、例えば、図３に△印で示すように、タップ生成領域の中心の位置（本実施の形態では、注目画素の位置に等しい）、その左上、左下、右上、右下それぞれの頂点の位置、左上と左下の頂点の中点の位置、左上と右上の頂点の中点の位置、右上と右下の頂点の中点の位置、および左下と右下の頂点の中点の位置の、合計で９個の位置のＳＤ画素、即ち、注目画素の位置を中心として等間隔に並んだ、横×縦が３×３の位置のＳＤ画素を、予測タップとするＳＤ画素として決定し、その位置を表すタップ情報を生成する。
【００７２】
タップ決定回路７は、予測タップの他、クラスタップについても同様にして、アクティビティが、所定の基準値に一致する大きさの正方形の領域を、タップ生成領域として求め、さらに、そのタップ生成領域に基づいて、タップ情報を生成する。
【００７３】
そして、タップ決定回路７は、注目画素のクラスタップと予測タップについて得られたタップ情報を、クラスタップ生成回路２と予測タップ生成回路３にそれぞれ供給する。
【００７４】
なお、上述の場合には、所定の統計量として、画像のアクティビティを採用することとしたが、統計量としては、アクティビティ以外の値を採用することが可能である。
【００７５】
また、タップ決定回路７においてタップ生成領域を求めるのに用いる統計量としては、予測タップとクラスタップの場合で、異なる種類の統計量を採用することが可能である。
【００７６】
さらに、タップ決定回路７においてタップ生成領域を求めるのに用いる基準値としても、予測タップとクラスタップの場合で、異なる値の基準値を採用することが可能である。
【００７７】
また、タップ決定回路７では、予測タップとクラスタップとで、タップ生成領域における異なる位置を、その予測タップとクラスタップそれぞれを構成するＳＤ画素の位置として採用することが可能である。即ち、予測タップとクラスタップのタップ構造（予測タップとクラスタップそれぞれを構成するＳＤ画素の、注目画素に対する位置関係）は、同一である必要はない。
【００７８】
次に、上述のように、タップ決定回路７では、アクティビティが所定の基準値に一致するＳＤ画像の範囲を表す領域としてのタップ生成領域が、ＳＤ画像のＳＤ画素どうしの間隔未満の単位で求められ、そのタップ生成領域における所定の位置（以下、適宜、タップ位置という）が、予測タップやクラスタップとなるＳＤ画素の位置として決定される。
【００７９】
そして、タップ決定回路７は、そのタップ位置を表すタップ情報を、クラスタップ生成回路２と予測タップ生成回路３に供給し、クラスタップ生成回路２と予測タップ生成回路３では、そのタップ情報が表すタップ位置のＳＤ画素からなるクラスタップと予測タップが、それぞれ生成される。
【００８０】
ところで、タップ決定回路７では、タップ生成領域が、ＳＤ画像のＳＤ画素どうしの間隔未満の単位で求められる。従って、タップ生成領域におけるタップ位置に、ＳＤ画像のＳＤ画素（の画素中心）が存在するとは限らない。
【００８１】
さらに、図１の画像処理装置における処理対象であるＳＤ画像の各ＳＤ画素と、そのＳＤ画像を処理して得られるＨＤ画像の各ＨＤ画素との位置は、１対１に対応しているとは限らない。即ち、例えば、ＨＤ画像は、ＳＤ画像よりも多くの画素で構成されている場合がある。この場合も、ＨＤ画素である注目画素の位置を中心とするタップ生成領域におけるタップ位置に、ＳＤ画像のＳＤ画素（の画素中心）が存在するとは限らない。
【００８２】
即ち、例えば、図４に示すように、タップ生成領域におけるタップ位置に、ＳＤ画像のＳＤ画素が存在しない場合がある。ここで、図４では（後述する図１１においても同様）、△印が、タップ位置を表す。
【００８３】
そこで、クラスタップ生成回路２は、タップ情報が表すタップ位置に、ＳＤ画素が存在しない場合には、そのタップ位置に近い位置にあるＳＤ画素を用いて、タップ位置における仮想的なＳＤ画素（仮想画素）を求め（生成し）、クラスタップとする。
【００８４】
即ち、いま、あるタップ位置の仮想画素ｐを、そのタップ位置に近いＮ個のＳＤ画素から求めることとし、図５に示すように、そのＮ個のＳＤ画素のうちのｎ番目のＳＤ画素をｑnと表すとともに、仮想画素ｐとＳＤ画素ｑnとの間の距離をｒnと表すこととすると、クラスタップ生成回路２は、例えば、次式にしたがって、仮想画素ｐを生成する。
【００８５】
【数９】
【００８６】
但し、式（９）において、Ｃは所定の定数を表し、例えば、次式により求められる。
【００８７】
【数１０】
【００８８】
ここで、式（１０）から明らかなように、定数Ｃは、Ｃ（１／ｒ1＋１／ｒ2＋・・・＋１／ｒN）を１とするための定数である。
【００８９】
クラスタップ生成回路２は、上述のようにして、必要な仮想画素を生成し、その仮想画素によってクラスタップを構成する。但し、クラスタップ生成回路２は、タップ位置にＳＤ画素が存在する場合には、そのＳＤ画素をそのまま用いてクラスタップを構成する。
【００９０】
予測タップ生成回路３も、クラスタップ生成回路２と同様にして、予測タップを生成する。
【００９１】
従って、クラスタップ生成回路２と予測タップ生成回路３では、常に、アクティビティが基準値に一致するタップ生成領域から、クラスタップと予測タップ（以下、適宜、両者をまとめて、単に、タップという）が、それぞれ生成される。
【００９２】
次に、図６のフローチャートを参照して、図１の画像処理装置が行う、ＳＤ画像をＨＤ画像に変換する画像変換処理について説明する。
【００９３】
フレームメモリ１には、画像変換処理の対象としてのＳＤ画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給されるＳＤ画像が順次記憶されていく。
【００９４】
そして、ステップＳ１において、タップ決定回路７は、まだ求めていないＨＤ画素のうちの１つを注目画素として選択し、ステップＳ２に進む。ステップＳ２では、タップ決定回路７は、フレームメモリ１に記憶されたＳＤ画像のアクティビティに基づき、注目画素について、ＳＤ画素の間隔未満の単位のサイズのタップ生成領域を求め、そのタップ生成領域に基づいて、タップ位置を決定し、そのタップ位置を表すタップ情報を、クラスタップ生成回路２および予測タップ生成回路３に出力して、ステップＳ３に進む。
【００９５】
ステップＳ３では、クラスタップ生成回路２と予測タップ生成回路３が、タップ決定回路７から供給されるタップ情報にしたがい、注目画素についてのクラスタップと予測タップを構成する複数のＳＤ画素を、フレームメモリ１に記憶されたＳＤ画像から生成し、これにより、クラスタップと予測タップをそれぞれ構成する。このクラスタップと予測タップは、クラス分類回路４と予測演算回路６にそれぞれ供給される。
【００９６】
そして、ステップＳ４に進み、クラス分類回路４は、クラスタップ生成回路２から供給されるクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数RAM５に対して、アドレスとして出力して、ステップＳ５に進む。ステップＳ５では、係数RAM５は、クラス分類回路４からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目画素のクラスのタップ係数を取得して、予測演算回路６に供給する。
【００９７】
その後、ステップＳ６に進み、予測演算回路６は、予測タップ生成回路３からの予測タップと、係数RAM５からのタップ係数とを用いて、式（１）に示した演算を行い、注目画素であるＨＤ画素ｙ（の予測値）を求め、ステップＳ７に進む。
【００９８】
ここで、予測演算回路６は、１フレーム分のＨＤ画素が求められるまで、ステップＳ６で得られたＨＤ画素を記憶しており、１フレーム分のＨＤ画素が求められると、そのＨＤ画素で構成される１フレームのＨＤ画像を出力する。
【００９９】
ステップＳ７では、タップ決定回路７が、まだ、注目画素としていないＨＤ画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ１に戻り、以下、同様の処理を繰り返す。
【０１００】
また、ステップＳ７において、注目画素としていないＨＤ画素が存在しないと判定された場合、処理を終了する。
【０１０１】
以上のように、アクティビティが所定の基準値に一致するタップ生成領域に基づいて、クラスタップと予測タップが生成されるので、ＳＤ画像を、その性質に応じて、より真値に近いＨＤ画像に変換することができる。
【０１０２】
次に、図７は、図１のタップ決定回路７の構成例を示している。
【０１０３】
基準値記憶部１１は、後述する図１２の学習装置で用いられたのと同一のアクティビティの基準値を記憶しており、その基準値を、アクティビティ算出回路１２と、タップ生成領域決定回路１３に供給する。
【０１０４】
アクティビティ算出回路１２は、基準値記憶部１１を参照しながら、注目画素の位置を中心とする、１以上のサイズの正方形の範囲の領域を、仮のタップ生成領域として設定し、その仮のタップ生成領域のＳＤ画像のアクティビティを算出して、タップ生成領域決定回路１３に供給する。
【０１０５】
ここで、仮のタップ生成領域のアクティビティは、例えば、その仮のタップ生成領域に含まれるＳＤ画像の実際のＳＤ画素（ＳＤ画像において実在するＳＤ画素）のみを用いて算出することも可能であるが、ここでは、仮のタップ生成領域において、タップ位置などのように、その仮のタップ生成領域によって決まる固定の位置におけるＳＤ画素を用いて算出するのが望ましい。なお、この固定の位置には、タップ位置における場合と同様に、実際のＳＤ画素が存在しない場合があるが、この場合は、仮想画素が用いられる。
【０１０６】
即ち、仮のタップ生成領域のアクティビティを、その仮のタップ生成領域に含まれるＳＤ画像の実際のＳＤ画素だけを用いて算出する場合には、サイズがＳＤ画素の間隔未満の単位で異なる２つの仮のタップ生成領域について、それぞれに含まれる実際のＳＤ画素が同一となることがあり、この場合、同一の値のアクティビティが求められることになる。
【０１０７】
これに対して、仮のタップ生成領域のアクティビティを、その仮のタップ生成領域の固定の位置におけるＳＤ画素（仮想画素を含む）を用いて算出する場合には、サイズが異なる２つの仮のタップ生成領域については、それぞれにおける固定の位置が異なるから、その固定の位置におけるＳＤ画素（仮想画素を含む）も異なるものとなり、基本的に、アクティビティも異なる値となる。
【０１０８】
なお、アクティビティとしては、例えば、特開平11-27564号公報、特開2000-115721号公報、特開2000-200349号公報、特開2000-138904号公報、特開2000-299862号公報、特開2000-348019号公報、特願2000-241803号などに記載されている種類のものを採用することが可能である。
【０１０９】
即ち、特開平11-27564号公報に記載の方法によれば、仮のタップ生成領域のＳＤ画素の自己相関が、アクティビティとして算出される。また、特開2000-115721号公報に記載の方法によれば、仮のタップ生成領域のＳＤ画素が間引かれて補完され、その補間後のＳＤ画素と元の画素との誤差の絶対値和が、アクティビティとして算出される。さらに、特開2000-200349号公報に記載の方法によれば、仮のタップ生成領域内のＨＤ画素（の予測値）を、クラス分類適応処理などによって求めたときの、そのＨＤ画素の予測残差が大きいものの画素数が、アクティビティとして算出される。また、特開2000-138904号公報に記載の方法によれば、仮のタップ生成領域内のＨＤ画素（の予測値）を、クラス分類適応処理などによって求めたときの、そのＨＤ画素の予測残差の絶対値和が、アクティビティとして算出される。さらに、特開2000-299862号公報に記載の方法によれば、仮のタップ生成領域のＳＤ画素のＤＣＴ係数などの直交変換係数の分散が、アクティビティとして算出される。さらに、特開2000-348019号公報に記載の方法では、仮のタップ生成領域のＳＤ画素の標準偏差や、分散、差分絶対値和、差分値の差分（２次差分）の絶対値和が、アクティビティとして算出される。また、特願2000-241803号に記載の方法では、仮のタップ生成領域内のＳＤ画像の動きが、アクティビティとして算出される。
【０１１０】
タップ生成領域決定回路１３は、アクティビティ算出回路１２から供給される各サイズの仮のタップ生成領域のアクティビティに基づいて、仮のタップ生成領域のサイズ（例えば、横と縦の長さや、対角線の長さ、または仮のタップ生成領域が円形である場合には、半径の長さなど）（以下、適宜、領域サイズという）と、その領域サイズのタップ生成領域のアクティビティとの関係（以下、適宜、アクティビティ対領域サイズ情報という）を求める。さらに、タップ生成領域決定回路１３は、そのアクティビティ対領域サイズ情報から、基準値記憶部１１に記憶された基準値に一致するアクティビティが得られる領域サイズのタップ生成領域を求め、そのタップ生成領域に基づいて、タップ情報を生成して出力する。
【０１１１】
次に、図８のフローチャートと、図９および図１０を参照して、図７のタップ決定回路７において、図６のステップＳ２でおいて行われる、タップ情報を生成するタップ決定処理について説明する。
【０１１２】
アクティビティ算出回路１２は、まず最初に、ステップＳ１１において、領域サイズｓを、例えば、ＳＤ画像のＳＤ画素どうしの間隔である１に設定し、ステップＳ１２に進む。ステップＳ１２では、アクティビティ算出回路１２は、注目画素の位置を中心とする、ステップＳ１１で設定した領域サイズｓの仮のタップ生成領域を設定し、ステップＳ１３に進む。ステップＳ１３では、アクティビティ算出回路１２は、フレームメモリ１に記憶された、注目画素のフレームと同一フレームのＳＤ画像について、ステップＳ１２で設定した仮のタップ生成領域のアクティビティＡを求め、ステップＳ１４に進む。ステップＳ１４では、アクティビティ算出回路１２は、ステップＳ１３で求めたアクティビティＡを一時記憶し、ステップＳ１５に進む。
【０１１３】
ステップＳ１５では、アクティビティ算出回路１２は、ステップＳ１４で記憶したアクティビティＡ、即ち、領域サイズｓの仮のタップ生成領域のアクティビティＡが基準値より大きいかどうかを判定し、大きくないと判定した場合、ステップＳ１６に進み、アクティビティ算出回路１２は、領域サイズｓを、１だけインクリメントして、ステップＳ１２に戻る。そして、以下、ステップＳ１５において、領域サイズｓの仮のタップ生成領域のアクティビティＡが基準値より大きいと判定されるまで、ステップＳ１２乃至Ｓ１６の処理を繰り返す。
【０１１４】
ここで、このようにして、ステップＳ１２乃至Ｓ１６の処理が繰り返されることにより、図９Ａに示すように、領域サイズｓが正の整数値（１，２，・・・）の仮のタップ生成領域のアクティビティＡが求められていく。即ち、離散的な領域サイズｓの仮のタップ生成領域のアクティビティＡが求められていく。
【０１１５】
一方、ステップＳ１５において、領域サイズｓの仮のタップ生成領域のアクティビティＡが基準値より大きいと判定された場合、即ち、図９Ｂに示すように、直前のステップＳ１３で求められた、ある領域サイズｓの仮のタップ生成領域のアクティビティＡが、基準値記憶部１１に記憶されている基準値を超えている場合、アクティビティ算出回路１２は、ステップＳ１２乃至Ｓ１６の処理を繰り返すことにより、いままでに求めた、各領域サイズｓの仮のタップ生成領域のアクティビティＡを、タップ生成領域決定回路１３に供給し、ステップＳ１７に進む。
【０１１６】
ここで、図９Ｂでは、領域サイズｓが５の仮のタップ生成領域のアクティビティＡが、基準値を超えたものとなっている。なお、仮のタップ生成領域における画像のアクティビティは、図９に示すように、基本的には、その仮のタップ生成領域の領域サイズｓが大きくなるほど、大きくなる傾向があり、また、ここでは、説明を簡単にするため、ある領域サイズｓの仮のタップ生成領域のアクティビティＡは、その領域サイズｓより小さい領域サイズｓ’の仮のタップ生成領域のアクティビティＡ’よりも小さくならないものとして説明を行う。
【０１１７】
ステップＳ１７では、タップ生成領域決定回路１３が、アクティビティ算出回路１２から供給される各サイズの仮のタップ生成領域のアクティビティに基づいて、タップ生成領域の領域サイズと、その領域サイズのタップ生成領域のアクティビティとの関係であるアクティビティ対領域サイズ情報を求める。
【０１１８】
即ち、アクティビティ算出回路１２では、仮のタップ生成領域のアクティビティは、１ずつ変化する領域サイズｓごとに求められるため、図９Ａや図９Ｂに示したように、いわば離散的なものとなっている。このため、タップ生成領域決定回路１３は、ステップＳ１７において、その離散的なアクティビティを、例えば、直線補間等することにより、図９Ｃに示すように、連続的なアクティビティと領域サイズとの関係を表すアクティビティ対領域サイズ情報を求める。
【０１１９】
そして、ステップＳ１８に進み、タップ生成領域決定回路１３は、アクティビティ対領域サイズ情報から、図９Ｃに示すように、基準値記憶部１１に記憶された基準値に一致するアクティビティが得られる仮のタップ生成領域の領域サイズを求め、その領域サイズの仮のタップ生成領域を、注目画素についてのタップ生成領域として求める。
【０１２０】
ここで、図９Ｃでは、基準値に一致するアクティビティが得られる仮のタップ生成領域の領域サイズとして、４．５（ＳＤ画素どうしの間隔を１とした場合の４．５の長さ）が求められている。この場合、タップ生成領域決定回路１３では、図１０に示すように、横および縦の長さが４．５画素分の、注目画素の位置を中心とする正方形の範囲の領域（仮のタップ生成領域）が、注目画素についてのタップ生成領域として求められる。
【０１２１】
タップ生成領域決定回路１３は、ステップＳ１８においてタップ生成領域を決定すると、ステップＳ１９に進み、そのタップ生成領域から、例えば、図３に示したような３×３個のタップ位置を表すタップ情報を生成し、クラスタップ生成回路２と予測タップ生成回路３に供給して、処理を終了する。
【０１２２】
なお、上述の場合には、領域サイズｓを１ずつ変化させて、離散的なアクティビティを求め、さらに、その離散的なアクティビティを補間することにより、連続的なアクティビティを求め、その連続的なアクティビティから、基準値と一致するアクティビティの領域サイズを求めるようにしたが、基準値と一致するアクティビティは、その他、例えば、領域サイズｓを１より小さい大きさで徐々に変化させながらアクティビティを計算することによって求めることも可能である。
【０１２３】
また、上述の場合には、図１１Ａに示すように、タップ生成領域において、注目画素の位置を中心とする、等間隔に並んだ３×３の固定の位置におけるＳＤ画素をタップとするようにしたが、タップ生成領域の、どの位置をタップ位置とするかは、特に限定されるものではない。
【０１２４】
即ち、タップ位置は、例えば、図１１Ｂに示すように、タップ生成領域において、注目画素の位置を中心とする、十字形を形成する位置に設定したり、図１１Ｃに示す、等間隔でない位置に設定したりすることが可能である。
【０１２５】
さらに、タップ生成領域は、正方形の範囲の領域に限定されるものではなく、例えば、図１１に示すような長方形の範囲の領域としたり、あるいは、円形の範囲の領域としたりすることなどが可能である。
【０１２６】
次に、図１２は、図１の係数RAM５に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成例を示している。
【０１２７】
学習用データベース６１には、タップ係数の学習用の画像データとしての、例えばＨＤ画像データが記憶されている。
【０１２８】
学習対生成回路６２は、学習用データベース６１に記憶された学習用の画像データから、タップ係数の学習に用いられる教師データと生徒データのセットである学習対データを生成し、学習対データベース６３に供給する。
【０１２９】
即ち、学習対生成回路６２は、学習用データベース６１に記憶された学習用の画像データを読み出し、その学習用の画像データであるＨＤ画像データを、例えば、そのまま教師データとする。ここで、図１の画像処理装置で得られるＨＤ画像は、図１２の学習装置で教師データとして用いられるＨＤ画像データの画質に対応したものとなる。
【０１３０】
さらに、学習対生成回路６２は、教師データとしてのＨＤ画像データの画質を劣化させることにより、即ち、例えば、教師データとしてのＨＤ画像データの画素を間引き、さらに、ＬＰＦ(Low Pass Filter)でフィルタリングすることにより、その教師データに対応する生徒データとしてのＳＤ画像データを生成する。ここで、生徒データとしてのＳＤ画像データは、図１の画像処理装置で処理対象となるＳＤ画像データに対応した画質のものとする必要がある。即ち、図１の画像処理装置において、例えば、ＳＤ画像データを、その解像度を向上させたＨＤ画像データに変換する場合には、生徒データは、教師データの解像度を劣化させたものとする必要がある。
【０１３１】
学習対生成回路６２は、上述のようにして、教師データと、その教師データに対応する生徒データ（教師データから生成された生徒データ）とを生成すると、その教師データと生徒データのセットを、学習対データとして、学習対データベース６３に供給する。
【０１３２】
学習対データベース６３は、学習対生成回路６２からの学習対データを一時記憶する。
【０１３３】
クラスタップ生成回路６４と予測タップ生成回路６５は、学習対データベース６３に記憶された学習対データにおける生徒データとしてのＳＤ画像を構成するＳＤ画素を用い、図１のクラスタップ生成回路２または予測タップ生成回路３と同様に、タップ決定回路６９からのタップ情報にしたがって、注目画素となっている教師データとしてのＨＤ画素について、クラスタップと予測タップをそれぞれ生成し、クラス分類回路６６と足し込み回路６７にそれぞれ供給する。
【０１３４】
クラス分類回路６６は、図１のクラス分類回路４と同様に構成され、クラスタップ生成回路６４からのクラスタップに基づいて、注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、足し込み回路６７に供給する。
【０１３５】
足し込み回路６７は、クラス分類回路６６が出力するクラスコードごとに、予測タップ生成回路６５から供給される予測タップと、学習対データベース６３に記憶された学習対データにおける、注目画素となっているＨＤ画素とを対象とした、式（８）の足し込みを行う。
【０１３６】
即ち、足し込み回路６７は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップを構成するＳＤ画素ｘn,kを用い、式（８）の左辺の行列におけるＳＤ画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１３７】
さらに、足し込み回路６７は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップを構成するＳＤ画素ｘn,kと注目画素となっている教師データであるＨＤ画素ｙkを用い、式（８）の右辺のベクトルにおけるＳＤ画素ｘn,kおよび注目画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１３８】
より具体的には、足し込み回路６７は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たな注目画素について、その注目画素ｙk+1および予測タップｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１３９】
足し込み回路６７は、学習対データベース６３に記憶された学習対データにおける教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数演算回路６８に供給する。
【０１４０】
タップ係数演算回路６８は、足し込み回路６７から、各クラスについての式（８）の正規方程式を受信し、その正規方程式を解くことにより、クラスごとのタップ係数を求めて出力する。
【０１４１】
タップ決定回路６９は、図１のタップ決定回路７と同様のタップ決定処理を行うことで、クラスタップ生成回路６４と予測タップ生成回路６５に生成させるタップのタップ位置を表すタップ情報を決定し、クラスタップ生成回路６４と予測タップ生成回路６５に供給する。
【０１４２】
即ち、図１３は、図１２のタップ決定回路６９の構成例を示している。
【０１４３】
タップ決定回路６９は、図７のタップ決定回路７を構成する基準値記憶部１１、アクティビティ算出回路１２、タップ生成領域決定回路１３とそれぞれ同様に構成される基準値記憶部８１、アクティビティ算出回路８２、タップ生成領域決定回路８３から構成されており、図７のタップ決定回路７と同様の処理を行うため、その説明は、省略する。
【０１４４】
次に、図１４のフローチャートを参照して、図１２の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０１４５】
まず最初に、ステップＳ２１において、学習対生成回路６２は、学習用データベース６１から学習用の画像データを読み出し、教師データと生徒データを生成する。さらに、ステップＳ２１では、学習対生成回路６２は、その教師データと生徒データとをセットにすることで学習対データを生成し、学習対データベース６３に供給して記憶させる。
【０１４６】
そして、ステップＳ２２に進み、タップ決定回路６９は、学習対データベース６３に記憶された学習対データにおける教師データとしてのＨＤ画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、ステップＳ２３に進む。ステップＳ２３では、タップ決定回路６９は、図１のタップ決定回路７における場合と同様にして、アクティビティが基準値と一致するタップ生成領域を求め、さらに、そのタップ生成領域に基づいて、注目画素についてのタップのタップ位置を表すタップ情報を生成し、クラスタップ生成回路６４および予測タップ生成回路６５に供給する。
【０１４７】
なお、タップ決定回路６９において、仮のタップ生成領域のアクティビティの計算は、学習対データベース６３に記憶された学習対データにおける生徒データとしてのＳＤ画素を用いて、図１のタップ決定回路７と同様に行われる。
【０１４８】
また、タップ決定回路６９の基準値記憶部８１（図１３）には、アクティビティの基準値が記憶されているが、この基準値記憶部８１に記憶されている基準値と同一の基準値が、図１のタップ決定回路７の基準値記憶部１１（図７）にもセットされる。
【０１４９】
タップ決定回路６９の基準値記憶部８１（図１３）に記憶させる基準値は、例えば、図１２の学習装置によってタップ係数を求める者が、任意に設定することが可能であるが、この基準値としては、その他、例えば、特開2000-348019号公報に記載されている方法を利用して求めた値を採用することが可能である。
【０１５０】
即ち、図１２の学習装置において、複数の基準値を、タップ決定回路６９の基準値記憶部８１（図１３）に記憶させ、その複数の基準値それぞれについて、図１４の学習処理を行うことにより、クラスごとのタップ係数を求める。さらに、図１の画像処理装置において、学習処理で用いられた生徒データとしてのＳＤ画像データを処理対象として、同じく学習処理で用いられた複数の基準値それぞれについて得られたタップ係数を用いて、ＨＤ画像データを求める。そして、学習処理で用いられた複数の基準値それぞれについてのタップ係数を用いて得られたＨＤ画像データそれぞれについて、学習処理で用いられた教師データに対する誤差を求め、その誤差を最も小さくするタップ係数を得ることができた基準値を、タップ決定回路６９の基準値記憶部８１（図１３）に記憶させる基準値として、最終的に採用することができる。
【０１５１】
ステップＳ２３において、タップ決定回路６９が、タップ情報を、クラスタップ生成回路６４および予測タップ生成回路６５に供給した後は、ステップＳ２４に進み、クラスタップ生成回路６４と予測タップ生成回路６５は、タップ決定回路６９からのタップ情報にしたがい、注目画素についてのクラスタップと予測タップを、学習対データベース６３に記憶された生徒データとしてのＳＤ画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路６６と足し込み回路６７にそれぞれ供給して、ステップＳ２５に進む。
【０１５２】
ステップＳ２５では、クラス分類回路６６が、図１のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路６７に供給して、ステップＳ２６に進む。
【０１５３】
ステップＳ２６では、足し込み回路６７が、クラス分類回路６６から供給されるクラスコードが表す注目画素のクラスごとに、予測タップ生成回路６５から供給される予測タップと、学習対データベース６３に記憶された注目画素としての教師データとを対象とした、上述した式（８）における足し込みを行う。
【０１５４】
そして、ステップＳ２７に進み、タップ決定回路６９は、学習対データベース６３に記憶された教師データの中に、まだ注目画素としていないものがあるかどうかを判定する。ステップＳ２７において、学習対データベース６３に記憶された教師データの中に、まだ注目画素としていないものがあると判定された場合、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１５５】
また、ステップＳ２７において、学習対データベース６３に記憶された教師データの中に、まだ注目画素としていないものがないと判定された場合、足し込み回路６７は、いままでのステップＳ２６における足し込みによって、クラスごとに得られた式（８）の正規方程式を、タップ係数演算回路６８に供給して、ステップＳ２８に進む。
【０１５６】
ステップＳ２８では、タップ係数演算回路６８は、足し込み回路６７から供給される、各クラスごとの式（８）の正規方程式を解くことにより、クラスごとのタップ係数を求めて出力し、処理を終了する。
【０１５７】
なお、以上のようなタップ係数の学習処理において、用意する学習用の画像データ等によっては、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトのタップ係数を出力するようにすること等が可能である。あるいは、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じた場合には、新たに学習用の画像データを用意して、再度、タップ係数の学習を行うようにしても良い。このことは、後述する係数種データの学習についても、同様である。
【０１５８】
以上のように、図１２の学習装置においても、図１の画像処理装置と同様に、アクティビティが所定の基準値に一致するタップ生成領域に基づいて、クラスタップと予測タップが生成されるので、ＳＤ画像を、その性質に応じて、より真値に近いＨＤ画像に変換するタップ係数を得ることができる。
【０１５９】
ところで、図１２の学習装置におけるタップ決定回路６９の基準値記憶部８１（図１３）に記憶させる基準値として、上述したように、特開2000-348019号公報に記載されている方法を利用して求めた値を採用した場合には、図１の画像処理装置において、ＳＤ画像を、教師データの画質に最も近いＨＤ画像に変換することができる。
【０１６０】
しかしながら、画質の好みには、個人差があり、教師データの画質とは異なる画質を好むユーザも、少なからず存在しうる。
【０１６１】
一方、図１２の学習装置におけるタップ決定回路６９の基準値記憶部８１（図１３）に記憶させる基準値は、上述したように、その学習装置によりタップ係数を求める者が任意の値に設定することも可能である。
【０１６２】
そして、上述したように、タップ生成領域のアクティビティＡは、基本的には、そのタップ生成領域の領域サイズ（ここでは、例えば、タップ生成領域の横および縦の長さ）ｓが大きくなるほど大きくなるから、図１５に示すように、基準値として、小さな値Ａ1を採用した場合には、その基準値Ａ1に一致するアクティビティが得られるタップ生成領域の領域サイズは、小さい値ｓ1となるが、基準値として、値Ａ1より大きい値Ａ2を採用した場合には、その基準値Ａ2に一致するアクティビティが得られるタップ生成領域の領域サイズは、値ｓ1より大きな値ｓ2となる。
【０１６３】
タップ（クラスタップと予測タップ）は、タップ生成領域の固定のタップ位置のＳＤ画素（仮想画素を含む）で構成されるから、領域サイズの大きいタップ生成領域のタップ位置どうしの間隔（以下、適宜、タップ幅という）は、領域サイズの小さいタップ生成領域におけるタップ幅よりも大になる。
【０１６４】
従って、基準値として、大きな値Ａ2を採用した場合には、小さな値Ａ1を採用した場合に比較して、注目画素の位置から遠い位置のＳＤ画素によって、タップが構成される。逆に、基準値として、小さな値Ａ1を採用した場合には、大きな値Ａ2を採用した場合に比較して、注目画素の位置から近い位置のＳＤ画素によって、タップが構成される。
【０１６５】
このように、基準値によって、タップを構成するＳＤ画素の位置が変化するが、このタップを構成するＳＤ画素の位置の変化は、図１の画像処理装置において求められるＨＤ画像のエッジ部分や平坦部分の画質に、特に影響する。
【０１６６】
従って、図１の画像処理装置において、タップ決定回路７の基準値記憶部１１（図７）に記憶させる基準値を、ユーザが入力可能（変更可能）とすることによって、ユーザは、自身の好みにあった画質のＨＤ画像を得ることができる。
【０１６７】
しかしながら、図１の画像処理装置において、タップ決定回路７の基準値記憶部１１（図７）に記憶させる基準値を変更した場合には、予測演算回路６において、その変更後の基準値に対応したタップ係数を用いて、式（１）の演算を行う必要がある。即ち、図１２の学習装置において求められるタップ係数は、そのタップ決定回路６９の基準値記憶部８１（図１３）に記憶された基準値によって異なるものとなるため、図１２の学習装置においてある基準値について求められたタップ係数が、図１の画像処理装置の係数RAM５に記憶されている場合に、図１の画像処理装置において、学習装置における基準値とは異なる値の基準値を用いて、ＳＤ画像をＨＤ画像に変換すると、そのＨＤ画像の画質は、学習装置における基準値と同一の基準値を用いた場合よりも劣化することとなる。
【０１６８】
そこで、図１６は、ユーザによる基準値の入力を可能とし、かつその入力された基準値に対応したタップ係数を用いて、ＳＤ画像をＨＤ画像に変換する画像処理装置の一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１６の画像処理装置は、操作部９１、パラメータメモリ９２、係数生成回路９３、および係数種RAM９４が新たに設けられている他は、図１における場合と同様に構成されている。
【０１６９】
操作部９１は、ユーザによって、アクティビティの基準値となるパラメータｚを入力するときに操作され、その操作に対応したパラメータｚを、パラメータメモリ９２に供給する。
【０１７０】
パラメータメモリ９２は、操作部９１から供給されるパラメータｚを、上書きする形で記憶する。さらに、パラメータ９２は、操作部９１から供給される新たなパラメータｚを記憶すると、そのパラメータｚが表す基準値を、タップ決定回路７に供給する。
【０１７１】
係数生成回路９３は、パラメータメモリ９２に記憶されたパラメータｚに基づき、そのパラメータｚが表す基準値に対応するクラスごとのタップ係数を、係数種RAM９４に記憶されたクラスごとの係数種データを用いて生成し、係数RAM５に供給し、上書きする形で記憶させる。
【０１７２】
係数種RAM９４は、後述する図１８または図２２の学習装置によって求められる、クラスごとのタップ係数を生成する元となる、クラスごとの係数種データを記憶している。
【０１７３】
次に、図１７のフローチャートを参照して、図１６の画像処理装置による画像変換処理について説明する。
【０１７４】
画像処理装置において、フレームメモリ１には、図１における場合と同様に、画像変換処理の対象としてのＳＤ画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給されるＳＤ画像が順次記憶されていく。
【０１７５】
そして、ステップＳ３１において、タップ決定回路７は、操作部９１が操作されることにより、新たなパラメータｚがパラメータメモリ９２に記憶され、これにより、パラメータメモリ９２から、その新たなパラメータｚが供給されたかどうかを判定する。
【０１７６】
ステップＳ３１において、パラメータメモリ９２からタップ決定回路７に対して、新たなパラメータｚが供給されたと判定された場合、ステップＳ３２に進み、タップ決定回路７は、その新たなパラメータｚが表す基準値を、基準値記憶部１１（図７）に上書きする形で記憶させ、ステップＳ３３に進む。
【０１７７】
また、ステップＳ３１において、パラメータメモリ９２からタップ決定回路７に対して、新たなパラメータｚが供給されていないと判定された場合、ステップＳ３２をスキップして、ステップＳ３３に進む。
【０１７８】
従って、ユーザが、操作部９１を操作することにより、パラメータメモリ９２に、新たなパラメータｚが記憶された場合、その新たなパラメータｚが表す基準値によって、タップ決定回路７における基準値記憶部１１（図７）の記憶内容が更新される。
【０１７９】
ステップＳ３３では、係数生成回路９３が、係数種RAM９４からクラスごとの係数種データを読み出すとともに、パラメータメモリ９２からパラメータｚを読み出し、パラメータｚが表す基準値に対応するクラスごとのタップ係数を、係数種データから求める。そして、ステップＳ３４に進み、係数生成回路９３は、そのクラスごとのタップ係数を、係数RAM５に供給し、上書きする形で記憶させ、ステップＳ３５に進む。
【０１８０】
ステップＳ３５では、タップ決定回路７は、まだ求めていないＨＤ画素のうちの１つを注目画素として選択し、ステップＳ３６に進む。ステップＳ３６では、図６のステップＳ２における場合と同様に、タップ決定回路７が、基準値に一致するＳＤ画像のアクティビティに基づき、注目画素について、ＳＤ画素の間隔未満の単位のサイズのタップ生成領域を求め、そのタップ生成領域に基づいて、タップ位置を決定して、そのタップ位置を表すタップ情報を、クラスタップ生成回路２および予測タップ生成回路３に出力して、ステップＳ３７に進む。
【０１８１】
ステップＳ３７では、クラスタップ生成回路２と予測タップ生成回路３は、タップ決定回路７からのタップ情報にしたがい、クラスタップと予測タップをそれぞれ生成し、クラスタップをクラス分類回路４に、予測タップを予測演算回路７にそれぞれ供給する。
【０１８２】
ここで、タップ決定回路７では、上述したように、操作部９１を操作することにより入力され、パラメータメモリ９２に記憶されたパラメータｚが表す基準値が、その基準値記憶部１１（図７）に記憶される。従って、タップ決定回路７では、操作部９１から入力されたパラメータｚが表す基準値と一致するアクティビティのタップ生成領域が求められ、そのタップ生成領域に基づくタップ位置を表すタップ情報が、クラスタップ生成回路２および予測タップ生成回路３に供給される。その結果、クラスタップ生成回路２と予測タップ生成回路３では、操作部９１から入力された基準値に対応したクラスタップと予測タップがそれぞれ生成される。
【０１８３】
その後、ステップＳ３８に進み、クラス分類回路４は、クラスタップ生成回路２から供給されるクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数RAM５に供給して、ステップＳ３９に進む。ステップＳ３９では、係数RAM５は、クラス分類回路４からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目画素のクラスのタップ係数を取得して、予測演算回路６に供給する。
【０１８４】
ここで、係数RAM５には、上述したように、係数生成回路９３において生成された、パラメータメモリ９２に記憶されたパラメータｚが表す基準値に対応するタップ係数、即ち、タップ決定回路７の基準値記憶部１１（図７）に記憶された基準値に対応するタップ係数が記憶されている。従って、予測演算回路６には、そのようなタップ係数が供給される。
【０１８５】
その後、ステップＳ４０に進み、予測演算回路６は、予測タップ生成回路３からの予測タップと、係数RAM５からのタップ係数とを用いて、式（１）に示した演算を行い、注目画素であるＨＤ画素ｙ（の予測値）を求め、ステップＳ４１に進む。
【０１８６】
ここで、予測演算回路６は、図１における場合と同様に、１フレーム分のＨＤ画素が求められるまで、ステップＳ４０で得られたＨＤ画素を記憶しており、１フレーム分のＨＤ画素が求められると、そのＨＤ画素で構成される１フレームのＨＤ画像を出力する。
【０１８７】
ステップＳ４１では、タップ決定回路７が、まだ、注目画素としていないＨＤ画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ３１に戻り、以下、同様の処理を繰り返す。
【０１８８】
また、ステップＳ４１において、注目画素としていないＨＤ画素が存在しないと判定された場合、処理を終了する。
【０１８９】
以上のように、アクティビティの基準値を、操作部９１によって入力可能としたので、ユーザは、操作部９１を操作することによって基準値を変更することができ、自身の好みにあった画質のＨＤ画像を得ることができる。
【０１９０】
さらに、図１６の画像処理装置では、操作部９１によって入力された基準値に対応するタップ係数を、係数種データから生成し、そのタップ係数を用いて、ＳＤ画像をＨＤ画像に変換するようにしたので、ＨＤ画像の画質の劣化を防止することができる。
【０１９１】
なお、図１７において、ステップＳ３３およびＳ３４の処理は、パラメータメモリ９２に、異なる値の新たなパラメータｚが上書きされた場合にのみ行い、他の場合はスキップすることが可能である。
【０１９２】
次に、図１６の係数生成回路９３によるタップ係数の生成、および係数種RAM９４に記憶させる係数種データの学習について説明する。
【０１９３】
図１６の実施の形態では、係数生成回路９３において、式（１）の演算に用いられるタップ係数ｗnが、係数種RAM９４に記憶された係数種データと、パラメータメモリ９２に記憶されたパラメータｚとから生成される。そこで、いま、係数生成回路９３におけるタップ係数ｗnの生成が、例えば、係数種データとパラメータを用いた次式によって行われることとする。
【０１９４】
【数１１】
【０１９５】
但し、式（１１）において、βm,nは、ｎ番目のタップ係数ｗnを求めるのに用いられるｍ番目の係数種データを表し、ｚは、パラメータを表す。なお、式（１１）では、タップ係数ｗnが、Ｍ個の係数種データβn,1，βn,2，・・・，βn,Mを用いて求められるようになっている。
【０１９６】
ここで、タップ係数ｗnを求める式は、式（１１）に限定されるものではない。
【０１９７】
いま、式（１１）におけるパラメータｚによって決まる値ｚm-1を、新たな変数ｔmを導入して、次式で定義する。
【０１９８】
【数１２】
【０１９９】
式（１２）を、式（１１）に代入することにより、次式が得られる。
【０２００】
【数１３】
【０２０１】
式（１３）によれば、タップ係数ｗnは、係数種データβn,mと変数ｔmとの線形１次式によって求められることになる。
【０２０２】
一方、第ｋサンプルのＨＤ画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、前述の式（２）と同様の次式で表される。
【０２０３】
【数１４】
【０２０４】
いま、式（１４）の予測値ｙk’は、式（１）にしたがって求められるため、式（１４）のｙk’を、式（１）にしたがって置き換えると、前述の式（３）と同様の次式が得られる。
【０２０５】
【数１５】
【０２０６】
但し、式（１５）において、ｘn,kは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【０２０７】
式（１５）のｗnに、式（１３）を代入することにより、次式が得られる。
【０２０８】
【数１６】
【０２０９】
式（１６）の予測誤差ｅkを０とする係数種データβn,mが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのような係数種データβn,mを求めることは、一般には困難である。
【０２１０】
そこで、係数種データβn,mが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβn,mは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２１１】
【数１７】
【０２１２】
但し、式（１７）において、Ｋは、ＨＤ画素ｙkと、そのＨＤ画素ｙkについてのタップ係数を構成するＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数を表す
【０２１３】
式（１７）の自乗誤差の総和Ｅの最小値（極小値）は、式（１８）に示すように、総和Ｅを係数種データβn,mで偏微分したものを０とするβn,mによって与えられる。
【０２１４】
【数１８】
【０２１５】
式（１５）を、式（１８）に代入することにより、次式が得られる。
【０２１６】
【数１９】
【０２１７】
いま、Ｘi,p,j,qとＹi,pを、式（２０）と（２１）に示すように定義する。
【０２１８】
【数２０】
【数２１】
【０２１９】
この場合、式（１９）は、Ｘi,p,j,qとＹi,pを用いた式（２２）に示す正規方程式で表すことができる。
【０２２０】
【数２２】
【０２２１】
式（２２）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβn,mについて解くことができる。
【０２２２】
図１６の画像処理装置においては、多数のＨＤ画素ｙ1，ｙ2，・・・，ｙKを学習の教師となる教師データとするとともに、各ＨＤ画素ｙkについての予測タップを構成するＳＤ画素ｘ1,k，ｘ2,k，・・・，ｘN,kを学習の生徒となる生徒データとして、式（２２）を解く学習を行うことにより求められた係数種データβn,mが、係数種RAM９４に記憶されており、係数生成回路９３では、その係数種データβn,mと、パラメータメモリ９２に記憶されたパラメータｚから、式（１１）にしたがって、タップ係数ｗnが生成される。そして、予測演算回路６において、そのタップ係数ｗnと、注目画素についての予測タップを構成するＳＤ画素ｘnを用いて、式（１）が計算されることにより、注目画素の画素値（に近い予測値）が求められる。
【０２２３】
次に、図１８は、式（２２）の正規方程式をたてて解くことにより係数種データβn,mを求める学習を行う学習装置の構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１８の学習装置は、パラメータ生成回路１０１が新たに設けられ、足し込み回路６７とタップ係数演算回路６８にそれぞれ代えて、足し込み回路１０２と係数種演算回路１０３が新たに設けられている他は、基本的に、図１２における場合と同様に構成されている。
【０２２４】
パラメータ生成回路１０１は、図１６のパラメータメモリ９２に供給されるパラメータｚが取り得る範囲の幾つかの値としての、例えば、ｚ＝１，２，・・・，Ｚを生成し、タップ決定回路６９と足し込み回路１０２に供給する。
【０２２５】
足し込み回路１０２は、学習対データベース６３から、注目している教師データとしてのＨＤ画素である注目画素を読み出し、その注目画素、予測タップ生成回路６５から供給される注目画素について生徒データから生成された予測タップを構成するＳＤ画素、およびその予測タップを生成するときにタップ決定回路６９で用いられた基準値を表す、パラメータ生成回路１０１から供給されるパラメータｚを対象とした足し込みを、クラス分類回路６６から供給される注目画素のクラスを表すクラスコードごとに行う。
【０２２６】
即ち、足し込み回路１０２には、学習対データベース６３に記憶された注目画素ｙk、予測タップ生成回路６５が出力する予測タップｘi,k（ｘj,k）、およびクラス分類回路６６が出力するクラスコードの他、その予測タップを生成したときのパラメータｚも、パラメータ生成回路１０１から供給される。
【０２２７】
足し込み回路１０２は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（ＳＤ画素）ｘi,k（ｘj,k）とパラメータｚを用い、式（２２）の左辺の行列における、式（２０）で定義されるコンポーネントＸi,p,j,qを求めるためのＳＤ画素およびパラメータｚの乗算（ｘi,kｔpｘj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（２０）のｔpは、式（１２）にしたがって、パラメータｚから計算される。式（２０）のｔqも同様である。
【０２２８】
さらに、足し込み回路１０２は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（ＳＤ画素）ｘi,k、注目画素ｙk、およびパラメータｚを用い、式（２２）の右辺のベクトルにおける、式（２１）で定義されるコンポーネントＹi,pを求めるためのＳＤ画素ｘi,k、注目画素ｙk、およびパラメータｚの乗算（ｘi,kｔpｙk）と、サメーション（Σ）に相当する演算を行う。なお、式（２１）のｔpは、式（１２）にしたがって、パラメータｚから計算される。
【０２２９】
即ち、足し込み回路１０２は、前回、注目画素とされた教師データについて求められた式（２２）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,qまたはベクトルのコンポーネントＹi,pに対して、新たな注目画素について、その注目画素ｙk、ＳＤ画素ｘi,k(ｘj,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘi,kｔpｘj,kｔqまたはｘi,kｔpｙkをそれぞれ足し込む（式（２０）のコンポーネントＸi,p,j,qまたは式（２１）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
【０２３０】
そして、足し込み回路１０２は、１，２，・・・，Ｚのすべての値のパラメータｚにつき、学習対データベース６３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２２）に示した正規方程式をたてると、その正規方程式を、係数種演算回路１０３に供給する。
【０２３１】
係数種演算回路１０３は、足し込み回路１０２から供給されるクラスごとの式（２２）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０２３２】
次に、図１９のフローチャートを参照して、図１８の学習装置の処理（学習処理）について、説明する。
【０２３３】
まず最初に、ステップＳ５１において、学習対生成回路６２は、図１４のステップＳ２１における場合と同様に、学習用データベース６１に記憶された学習用の画像データから、教師データと生徒データとをセットにした学習対データを生成し、学習対データベース６３に供給して記憶させる。
【０２３４】
そして、ステップＳ５２に進み、タップ決定回路６９は、学習対データベース６３に記憶された学習対データにおける教師データとしてのＨＤ画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、ステップＳ５３に進む。
【０２３５】
ステップＳ５３では、パラメータ生成回路１０１が、パラメータｚを、初期値としての、例えば１にセットし、タップ決定回路６９と足し込み回路１０２に供給して、ステップＳ５４に進む。
【０２３６】
ステップＳ５４では、タップ決定回路６９は、図１４のステップＳ２３における場合と同様にして、注目画素についてのタップのタップ位置を表すタップ情報を生成し、クラスタップ生成回路６４および予測タップ生成回路６５に供給する。
【０２３７】
但し、ここでは、タップ決定回路６９は、パラメータ生成回路１０１からステップＳ５３で供給されるパラメータｚが表す基準値を、基準値記憶部８１（図１３）に記憶し、その基準値と一致するアクティビティのタップ生成領域を求め、そのタップ生成領域に基づくタップ位置を表すタップ情報を生成する。
【０２３８】
その後、ステップＳ５５に進み、クラスタップ生成回路６４と予測タップ生成回路６５は、タップ決定回路６９からのタップ情報にしたがい、注目画素についてのクラスタップと予測タップを、学習対データベース６３に記憶された生徒データとしてのＳＤ画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路６６と足し込み回路１０２にそれぞれ供給して、ステップＳ５６に進む。
【０２３９】
ステップＳ５６では、クラス分類回路６６が、図１６のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路１０２に供給して、ステップＳ５７に進む。
【０２４０】
ステップＳ５７では、足し込み回路１０２は、学習対データベース６３から注目画素となっている教師データであるＨＤ画素を読み出し、その注目画素、予測タップ生成回路６５から供給される予測タップ、パラメータ生成回路１０１が出力するパラメータｚを用い、式（２２）における左辺の行列のコンポーネントｘi,Kｔpｘj,Kｔqと、右辺のベクトルのコンポーネントｘi,KｔpｙKを計算する。さらに、足し込み回路１０２は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類回路６６からのクラスコードに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘi,Kｔpｘj,Kｔqとベクトルのコンポーネントｘi,KｔpｙKをそれぞれ足し込み、ステップＳ５８に進む。
【０２４１】
ステップＳ５８では、パラメータ生成回路１０１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ５８において、パラメータ生成回路１０１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ５９に進み、パラメータ生成回路１０１は、パラメータｚに、例えば１を加算し、その加算値を新たなパラメータｚとして、タップ決定回路６９と足し込み回路１０２に出力する。そして、ステップＳ５４に戻り、以下、同様の処理が繰り返される。
【０２４２】
即ち、この場合、ステップＳ５４では、タップ決定回路６９は、パラメータ生成回路１０１から供給される新たなパラメータｚが表す基準値を、基準値記憶部８１（図１３）に記憶し、その基準値と一致するアクティビティのタップ生成領域を求める。さらに、タップ決定回路６９は、そのタップ生成領域に基づくタップ位置を表すタップ情報を生成し、クラスタップ生成回路６４と予測タップ生成回路６５に供給して、以下、同様の処理を繰り返す。
【０２４３】
また、ステップＳ５８において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ６０に進み、タップ決定回路６９が、学習対データベース６３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ５８において、注目画素としていない教師データが、まだ、学習対データベース６３に記憶されていると判定された場合、ステップＳ５２に戻り、以下、同様の処理が繰り返される。
【０２４４】
また、ステップＳ６０において、注目画素としていない教師データが、学習対データベース６３に記憶されていないと判定された場合、足し込み回路１０２は、いままでの処理によって得られたクラスごとの式（２２）における左辺の行列と、右辺のベクトルを、係数種演算回路１０３に供給し、ステップＳ６１に進む。
【０２４５】
ステップＳ６１では、係数種演算回路１０３は、足し込み回路１０２から供給されるクラスごとの式（２２）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
【０２４６】
以上のようにして得られた係数種データが、図１６の係数種RAM９４に記憶されている。
【０２４７】
ところで、図１８の学習装置では、図２０に示すように、教師データとしてのＨＤ画像のＨＤ画素と、パラメータｚ＝１，２，・・・，Ｚが表す各基準値を用いて生成されたタップ情報にしたがって生徒データとしてのＳＤ画像から生成された予測タップを構成するＳＤ画素とによって、式（１）の線形１次式で予測される教師データｙの予測値の自乗誤差の総和を最小にする係数種データβm,nを直接求める学習が行われるが、係数種データβm,nの学習は、その他、例えば、図２１に示すようにして行うことが可能である。
【０２４８】
図２１の実施の形態では、まず最初に、教師データと、パラメータｚ＝１，２，・・・，Ｚが表す各基準値を用いて生成されたタップ情報にしたがって生徒データから生成された予測タップを構成するＳＤ画素とによって、式（１）の線形１次予測式で予測される教師データｙの予測値の自乗誤差の総和を最小にするタップ係数ｗnが、パラメータｚの値（ここでは、ｚ＝１，２，・・・，Ｚ）ごとに求められる。
【０２４９】
即ち、図２１では、パラメータｚの各値（ｚ＝１，２，・・・，Ｚ）について、クラスごとに、式（８）の正規方程式をたて、さらに、その正規方程式を解くことで、式（４）の自乗誤差の総和を最小にするクラスごとのタップ係数ｗnが、パラメータｚの各値について求められる。
【０２５０】
さらに、図２１の実施の形態では、求められたタップ係数ｗnを教師データとするとともに、パラメータｚ＝１，２，・・・，Ｚを生徒データとして、式（１３）によって係数種データβm,n、並びに生徒データであるパラメータｚに対応する変数ｔmから予測される教師データとしてのタップ係数ｗnの予測値の自乗誤差の総和を最小にする係数種データβm,nを求める学習が行われる。
【０２５１】
即ち、タップ係数は、上述の式（１３）により、係数種データβm,nと、パラメータｚに対応する変数ｔmとから求められるが、いま、この式（１３）によって求められるタップ係数を、ｗn’と表すこととすると、次の式（２３）で表される、式（４）の自乗誤差の総和を最小にするタップ係数（以下、適宜、最適なタップ係数という）ｗnと式（１３）により求められるタップ係数ｗn’との誤差ｅnを０とする係数種データβn,mが、最適なタップ係数ｗnを求めるのに最適なものとなるが、すべてのタップ係数ｗnについて、そのような係数種データβn,mを求めることは、一般には困難である。
【０２５２】
【数２３】
【０２５３】
ここで、式（２３）は、式（１３）によって、次式のように変形することができる。
【０２５４】
【数２４】
【０２５５】
そこで、係数種データβn,mが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβn,mは、次式で表される、式（２３）の誤差ｅnの自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２５６】
【数２５】
【０２５７】
式（２５）の自乗誤差の総和Ｅの最小値（極小値）は、式（２６）に示すように、総和Ｅを係数種データβn,mで偏微分したものを０とするβn,mによって与えられる。
【０２５８】
【数２６】
【０２５９】
式（２４）を、式（２６）に代入することにより、次式が得られる。
【０２６０】
【数２７】
【０２６１】
いま、Ｘi,j,とＹiを、式（２８）と（２９）に示すように定義する。
【０２６２】
【数２８】
【数２９】
【０２６３】
この場合、式（２７）は、Ｘi,jとＹiを用いた式（３０）に示す正規方程式で表すことができる。
【０２６４】
【数３０】
【０２６５】
式（３０）の正規方程式も、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβn,mについて解くことができる。
【０２６６】
次に、図２２は、式（３０）の正規方程式をたてて解くことにより係数種データβn,mを求める学習を行う学習装置の一実施の形態の構成例を示している。なお、図中、図１８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２２の学習装置は、足し込み回路１０２および係数種演算回路１０３に代えて、足し込み回路１１１、タップ係数演算回路１１２、足し込み回路１１３、および係数種演算回路１１４が設けられている他は、図１８における場合と同様に構成されている。
【０２６７】
足し込み回路１１１には、学習対データベースに記憶された注目画素としての教師データ、予測タップ生成回路６５が出力する注目画素についての予測タップ、クラス分類回路６６が出力する注目画素についてのクラスコード、およびパラメータ生成回路１０１が出力するパラメータｚが供給される。足し込み回路１１１は、学習対データベース６３から、注目画素を読み出し、その注目画素と、予測タップ生成回路６５から供給される注目画素について生成された予測タップを構成するＳＤ画素とを対象とした足し込みを、クラス分類回路６６から供給されるクラスコードごとに、かつパラメータ生成回路１０１が出力するパラメータｚの値ごとに行う。
【０２６８】
即ち、足し込み回路１１１には、学習対データベース６３に記憶された教師データｙk、予測タップ生成回路６５が出力する予測タップｘn,k、クラス分類回路６６が出力するクラスコード、およびパラメータ生成回路１０１が出力する、予測タップｘn,kを生成するのに用いられたパラメータｚが供給される。
【０２６９】
そして、足し込み回路１１１は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成回路１０１が出力するパラメータｚの値ごとに、予測タップｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０２７０】
さらに、足し込み回路１１１は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成回路１０１が出力するパラメータｚの値ごとに、予測タップｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２７１】
即ち、足し込み回路１１１は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その注目画素ｙk+1および予測タップｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０２７２】
そして、足し込み回路１１１は、学習対データベース６３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数演算回路１１２に供給する。
【０２７３】
タップ係数演算回路１１２は、足し込み回路１１１から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗnを求め、足し込み回路１１３に供給する。
【０２７４】
足し込み回路１１３は、各クラスごとに、パラメータｚ（に対応する変数ｔm）と、最適なタップ係数ｗnを対象とした足し込みを行う。
【０２７５】
即ち、足し込み回路１１３は、パラメータｚから式（１２）によって求められる変数ｔi（ｔj）を用い、式（３０）の左辺の行列における、式（２８）で定義されるコンポーネントＸi,jを求めるためのパラメータｚに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２７６】
ここで、コンポーネントＸi,jは、パラメータｚによってのみ決まるものであり、注目画素のクラスとは関係がないので、コンポーネントＸi,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。
【０２７７】
さらに、足し込み回路１１３は、パラメータｚから式（１２）によって求められる変数ｔiと、最適なタップ係数ｗnとを用い、式（３０）の右辺のベクトルにおける、式（２９）で定義されるコンポーネントＹiを求めるためのパラメータｚに対応する変数ｔiおよび最適なタップ係数ｗnの乗算（ｔiｗn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２７８】
足し込み回路１１３は、各クラスごとに、式（２８）で表されるコンポーネントＸi,jと、式（２９）で表されるコンポーネントＹiを求めることにより、各クラスについて、式（３０）の正規方程式をたてると、その正規方程式を、係数種演算回路１１４に供給する。
【０２７９】
係数種演算回路１１４は、足し込み回路１１３から供給されるクラスごとの式（３０）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０２８０】
次に、図２３のフローチャートを参照して、図２２の学習装置の処理（学習処理）について説明する。
【０２８１】
まず最初に、ステップＳ７１において、学習対生成回路６２は、図１９のステップＳ５１における場合と同様に、学習用データベース６１に記憶された学習用の画像データから、教師データと生徒データとをセットにした学習対データを生成し、学習対データベース６３に供給して記憶させる。
【０２８２】
そして、ステップＳ７２に進み、タップ決定回路６９は、学習対データベース６３に記憶された学習対データにおける教師データとしてのＨＤ画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、ステップＳ７３に進む。
【０２８３】
ステップＳ７３では、パラメータ生成回路１０１が、パラメータｚを、初期値としての、例えば１にセットし、タップ決定回路６９と足し込み回路１１１に供給して、ステップＳ７４に進む。
【０２８４】
ステップＳ７４では、タップ決定回路６９は、図１９のステップＳ５４における場合と同様にして、注目画素についてのタップのタップ位置を表すタップ情報を生成し、クラスタップ生成回路６４および予測タップ生成回路６５に供給する。
【０２８５】
即ち、タップ決定回路６９は、パラメータ生成回路１０１からステップＳ７３で供給されるパラメータｚが表す基準値を、基準値記憶部８１（図１３）に記憶し、その基準値と一致するアクティビティのタップ生成領域を求め、そのタップ生成領域に基づくタップ位置を表すタップ情報を生成する。
【０２８６】
その後、ステップＳ７５に進み、クラスタップ生成回路６４と予測タップ生成回路６５は、タップ決定回路６９からのタップ情報にしたがい、注目画素についてのクラスタップと予測タップを、学習対データベース６３に記憶された生徒データとしてのＳＤ画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路６６と足し込み回路１１１にそれぞれ供給して、ステップＳ７６に進む。
【０２８７】
ステップＳ７６では、クラス分類回路６６が、図１６のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路１１１に供給して、ステップＳ７７に進む。
【０２８８】
ステップＳ７７では、足し込み回路１１１は、学習対データベース６３から注目画素となっている教師データであるＨＤ画素を読み出し、パラメータ生成回路１０１から供給されるパラメータｚについて、注目画素ｙkと、予測タップ生成回路６５から供給される予測タップｘn,kとを用いて計算される、式（８）における左辺の行列のコンポーネントｘn,kｘn',kと、右辺のベクトルのコンポーネントｘn,kｙkを計算する。さらに、足し込み回路１１１は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類回路６６からのクラスコードに対応するものに対して、注目画素および予測タップから求められた行列のコンポーネントｘn,kｘn',kとベクトルのコンポーネントｘn,kｙkを足し込み、ステップＳ７８に進む。
【０２８９】
ステップＳ７８では、パラメータ生成回路１０１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ７８において、パラメータ生成回路１０１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ７９に進み、パラメータ生成回路１０１は、パラメータｚに、例えば１を加算し、その加算値を新たなパラメータとして、タップ決定回路６９と足し込み回路１１１に出力する。そして、ステップＳ７４に戻り、以下、同様の処理が繰り返される。
【０２９０】
即ち、この場合、ステップＳ７４では、タップ決定回路６９は、ステップＳ７９で、パラメータ生成回路１０１から供給される新たなパラメータｚが表す基準値を、基準値記憶部８１（図１３）に記憶し、その基準値と一致するアクティビティのタップ生成領域を求める。さらに、タップ決定回路６９は、そのタップ生成領域に基づくタップ位置を表すタップ情報を生成し、クラスタップ生成回路６４と予測タップ生成回路６５に供給して、以下、同様の処理を繰り返す。
【０２９１】
また、ステップＳ７８において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ８０に進み、タップ決定回路６９が、学習対データベース６３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ７８において、注目画素としていない教師データが、まだ、学習対データベース６３に記憶されていると判定された場合、ステップＳ７２に戻り、以下、同様の処理が繰り返される。
【０２９２】
また、ステップＳ８０において、注目画素としていない教師データが、学習対データベース６３に記憶されていないと判定された場合、足し込み回路１１１は、いままでの処理によって得られた、パラメータｚの各値についての、クラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数演算回路１１２に供給し、ステップＳ８１に進む。
【０２９３】
ステップＳ８１では、タップ係数演算回路１１２は、足し込み回路１１１から供給される、パラメータｚの各値についての、クラスごとの式（８）における左辺の行列と右辺のベクトルによって構成される正規方程式を解くことにより、パラメータｚの各値について、各クラスごとのタップ係数ｗnを求める。さらに、タップ係数演算回路１１２は、そのパラメータｚの各値について、各クラスごとのタップ係数ｗnを、足し込み回路１１３に供給して、ステップＳ８２に進む。
【０２９４】
ステップＳ８２では、足し込み回路１１３は、タップ係数演算回路１１２から供給される、パラメータｚの各値についての、各クラスごとのタップ係数ｗnと、そのパラメータｚとを対象として、式（３０）における、式（２８）で定義されるコンポーネントＸi,jと、式（２９）で定義されるコンポーネントＹiを求めるための足し込みを行う。
【０２９５】
即ち、ステップＳ８２では、足し込み回路１１３は、パラメータｚの各値について、式（１２）によって求められる変数ｔi（ｔj）を用い、式（３０）の左辺の行列における、式（２８）で定義されるコンポーネントＸi,jを求めるためのパラメータｚに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を行う。さらに、ステップＳ８２では、足し込み回路１１３は、パラメータｚの各値から式（１２）によって求められる変数ｔiと、そのパラメータｚの各値についての、タップ係数演算回路１１２からのタップ係数ｗnとを用い、式（３０）の右辺のベクトルにおける、式（２９）で定義されるコンポーネントＹiを求めるためのパラメータｚに対応する変数ｔiおよび最適なタップ係数ｗnの乗算（ｔiｗn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２９６】
足し込み回路１１３は、各クラスごとに、式（２８）で表されるコンポーネントＸi,jと、式（２９）で表されるコンポーネントＹiを求め、これにより、各クラスについて、式（３０）の正規方程式をたてると、その正規方程式を、係数種演算回路１１４に供給し、ステップＳ８２からＳ８３に進む。
【０２９７】
ステップＳ８３では、係数種演算回路１１４は、足し込み回路１１３から供給されるクラスごとの式（３０）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力し、処理を終了する。
【０２９８】
以上のようにして得られた係数種データが、図１６の係数種RAM９４に記憶されている。
【０２９９】
ここで、図１６の画像処理装置においては、例えば、係数種RAM９４を設けずに、図２２のタップ係数演算回路１１２が出力するパラメータｚの各値ごとの最適なタップ係数ｗnを係数RAM５に記憶させておき、パラメータメモリ９２に記憶されたパラメータｚに応じて、係数RAM５に記憶された最適なタップ係数を選択して用いるようにすることも可能である。但し、この場合、係数RAM５として、パラメータｚが取り得る離散値の数に比例した大きな容量のメモリが必要となる。これに対して、係数種RAM９４を設け、係数種データを記憶させておく場合には、係数種RAM９４の記憶容量は、パラメータｚが取り得る値の数に依存しないので、係数種RAM９４として、小さな容量のメモリを採用することができる。さらに、係数種データβm,nを記憶させておく場合には、その係数種データβm,nと、パラメータｚの値とから、式（１１）によりタップ係数ｗnが生成されることから、パラメータｚの値に応じた、いわば連続的なタップ係数ｗnを得ることができる。
【０３００】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３０１】
そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３０２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０３０３】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０３０４】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールしたりすることができる。
【０３０５】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０３０６】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３０７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３０８】
なお、本実施の形態では、本発明を、ＳＤ画像データをＨＤ画像データに変換する場合を例に説明したが、本発明は、その他、例えば、音声データを、より高音質の音声データに変換する場合にも適用可能である。なお、音声データを対象とする場合においては、タップ生成領域として、所定の統計量が所定の基準値に一致する区間が、音声データのサンプル点の間隔より短い単位で求められることになる。
【０３０９】
さらに、本発明は、ＳＤ画像データを、その画素数を多くしたＨＤ画像データ、即ち、空間解像度を向上させたＨＤ画像データに変換したり、時間方向の解像度（フレームまたはフィールド数）を向上させたＨＤ画像データや、レベル方向の解像度（画素値に割り当てられたビット数）を向上させたＨＤ画像データに変換したりする場合の他、例えば、画像を拡大する場合などにも適用可能である。
【０３１０】
また、本実施の形態では、クラスタップおよび予測タップのいずれもタップ情報にしたがって生成するようにしたが、クラスタップまたは予測タップのうちのいずれか一方は、タップ情報に無関係に、固定のタップ構造とすることが可能である。
【０３１１】
さらに、本実施の形態では、画像を変換する画像処理装置と、その画像処理装置で用いるクラスごとのタップ係数または係数種データを学習する学習装置とを、別々の装置として構成するようにしたが、画像処理装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、画像処理装置で用いるタップ係数を、リアルタイムで更新させるようにすることが可能である。
【０３１２】
また、本実施の形態では、係数RAM５に、あらかじめクラスごとのタップ係数を記憶させておくようにしたが、このタップ係数は、例えば、ＳＤ画像とともに、画像処理装置に供給するようにすることも可能である。同様に、基準値についても、基準値記憶部１１（図７）に記憶させておく、あるいは、操作部９１から入力するのではなく、ＳＤ画像とともに、画像処理装置に供給するようにすることが可能である。
【０３１３】
さらに、本実施の形態では、クラスタップおよび予測タップのタップ構造を決定するタップ生成領域を、いわば平面的な形状の領域として、１フレームのＳＤ画像上において求めるようにしたが、タップ生成領域は、いわば立体的な形状の領域として、連続した複数フレームのＳＤ画像上において求めるようにすることが可能である。
【０３１４】
また、本実施の形態では、式（１）の１次式によって、ＨＤ画素を求めるようにしたが、ＨＤ画素は、２次以上の式によって、求めるようにすることも可能である。
【０３１５】
なお、図１や図１６の画像処理装置は、例えば、テレビジョン放送信号を受信して画像を表示するテレビジョン受像機や、ＤＶＤから画像データを再生して出力するＤＶＤ再生装置、ビデオテープから画像データを再生して出力するＶＴＲその他の画像を処理する装置などに適用可能である。
【０３１６】
【発明の効果】
以上の如く、本発明によれば、データを、より品質の良いデータに変換する際の、その変換性能を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】タップ生成領域を説明する図である。
【図３】タップ生成領域に基づいて決定されるタップ位置を示す図である。
【図４】タップ生成領域に基づいて決定されたタップ位置と、実際のＳＤ画素との位置関係を示す図である。
【図５】仮想画素の生成方法を説明する図である。
【図６】画像処理装置の処理を説明するフローチャートである。
【図７】タップ決定回路７の構成例を示すブロック図である。
【図８】タップ決定回路７の処理を説明するフローチャートである。
【図９】タップ決定回路７の処理を説明するための図である。
【図１０】タップ決定回路７において求められるタップ生成領域を示す図である。
【図１１】タップ生成領域とタップ位置を示す図である。
【図１２】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図１３】タップ決定回路６９の構成例を示すブロック図である。
【図１４】学習装置の処理を説明するフローチャートである。
【図１５】タップ生成領域の領域サイズｓと、そのアクティビティＡとの関係を示す図である。
【図１６】本発明を適用した画像処理装置の他の実施の形態の構成例を示すブロック図である。
【図１７】画像処理装置の処理を説明するフローチャートである。
【図１８】本発明を適用した学習装置の他の実施の形態の構成例を示すブロック図である。
【図１９】学習装置の処理を説明するフローチャートである。
【図２０】係数種データの第１の学習方法を説明する図である。
【図２１】係数種データの第２の学習方法を説明する図である。
【図２２】本発明を適用した学習装置のさらに他の実施の形態の構成例を示すブロック図である。
【図２３】学習装置の処理を説明するフローチャートである。
【図２４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路， ３ 予測タップ生成回路， ４ クラス分類回路， ５ 係数RAM， ６ 予測演算回路， １１ 画素値記憶部， １２ アクティビティ算出回路， １３ タップ生成領域決定回路， ６１ 学習用データベース， ６２ 学習対生成回路， ６３ 学習対データベース， ６４ クラスタップ生成回路， ６５ 予測タップ生成回路， ６６ クラス分類回路， ６７ 足し込み回路， ６８ タップ係数演算回路，８１ 画素値記憶部， ８２ アクティビティ算出回路， ８３ タップ生成領域決定回路， ９１ 操作部， ９２ パラメータメモリ， ９３ 係数生成回路， ９４ 係数種RAM， １０１ パラメータ生成回路， １０２ 足し込み回路， １０３ 係数種演算回路， １１１ 足し込み回路， １１２ タップ係数演算回路， １１３ 足し込み回路， １１４ 係数種演算回路， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
Claims (27)
- 画像または音声のデータである第１のデータを第２のデータに変換するデータ変換装置であって、
前記第１のデータから、予測値を求めようとする前記第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記第１のデータの範囲である基準範囲を、前記第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記第１のデータより抽出する範囲として決定する決定手段と、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の前記第１のデータの値と、前記所定の位置および前記所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成手段と、
前記データ生成手段において生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、
前記所定の基準値に最も近い統計量が得られる前記範囲に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、前記範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、前記データ生成手段において生成された前記複数のデータと前記クラスコードに対応するタップ係数との線形一次結合により、前記注目データの予測値を求める演算手段と
を備えることを特徴とするデータ変換装置。 - 前記クラスごとの学習により予め取得されたタップ係数を、前記クラスのクラスコードに対応するアドレスに記憶するタップ係数記憶手段をさらに備える
ことを特徴とする請求項１に記載のデータ変換装置。 - 前記タップ係数の元となる前記クラスごとの係数種データを、前記クラスのクラスコードに対応するアドレスに記憶する係数種記憶手段と、
前記注目データのクラスに対応する係数種データと、所定のパラメータとの線形一次結合により、前記注目データのクラスのタップ係数を生成するタップ係数生成手段と
をさらに備え、
前記演算手段は、前記注目データのクラスのタップ係数と、前記データ生成手段において生成された前記複数のデータとの線形一次結合により、前記注目データの予測値を求める
ことを特徴とする請求項１に記載のデータ変換装置。 - 前記基準値を入力する入力手段をさらに備え、
前記タップ係数生成手段は、前記係数種データから、前記入力手段によって入力された前記基準値に対応する前記タップ係数を生成する
ことを特徴とする請求項３に記載のデータ変換装置。 - 前記第１と第２のデータは、それぞれ、第１と第２の画像データである
ことを特徴とする請求項１に記載のデータ変換装置。 - 前記統計量は、前記第１の画像データの前記基準範囲から求められるアクティビティである
ことを特徴とする請求項５に記載のデータ変換装置。 - 前記決定手段は、前記基準範囲を、前記第１の画像データの画素の間隔未満の単位で求める
ことを特徴とする請求項５に記載のデータ変換装置。 - 画像または音声のデータである第１のデータを第２のデータに変換するデータ変換装置のデータ変換方法であって、
前記データ変換装置のコンピュータがプログラムを実行することにより、
前記第１のデータから、予測値を求めようとする前記第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記第１のデータの範囲である基準範囲を、前記第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記第１のデータより抽出する範囲として決定する決定手段と、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の前記第１のデータの値と、前記所定の位置および前記所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成手段と、
前記データ生成手段において生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、
前記所定の基準値に最も近い統計量が得られる前記範囲に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、前記範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、前記データ生成手段において生成された前記複数のデータと前記クラスコードに対応するタップ係数との線形一次結合により、前記注目データの予測値を求める演算手段と
しての機能が実現され、
前記決定手段が、前記第１のデータから、予測値を求めようとする前記第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記第１のデータの範囲である基準範囲を、前記第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記第１のデータより抽出する範囲として決定する決定ステップと、
前記クラス分類手段が、前記データ生成ステップにおいて生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、
前記データ生成手段が、前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の前記第１のデータの値と、前記所定の位置および前記所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成ステップと、
前記演算手段が、前記所定の基準値に最も近い統計量が得られる前記範囲に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、前記範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、前記データ生成ステップにおいて生成された前記複数のデータと前記クラスコードに対応するタップ係数との線形一次結合により、前記注目データの予測値を求める演算ステップと
を備えることを特徴とするデータ変換方法。 - 画像または音声のデータである第１のデータを第２のデータに変換するデータ変換処理を、コンピ
ュータに行わせるプログラムであって、
前記第１のデータから、予測値を求めようとする前記第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記第１のデータの範囲である基準範囲を、前記第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記第１のデータより抽出する範囲として決定する決定ステップと、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の前記第１のデータの値と、前記所定の位置および前記所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成ステップと、
前記データ生成ステップにおいて生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、
前記所定の基準値に最も近い統計量が得られる前記範囲に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、前記範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、前記データ生成ステップにおいて生成された前記複数のデータと前記クラスコードに対応するタップ係数との線形一次結合により、前記注目データの予測値を求める演算ステップと
を含む処理をコンピュータに実行させるプログラム。 - 画像または音声のデータである第１のデータを第２のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記第１のデータから、予測値を求めようとする前記第２のデータである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記第１のデータの範囲である基準範囲を、前記第１のデータを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記第１のデータより抽出する範囲として決定する決定ステップと、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の前記第１のデータの値と、前記所定の位置および前記所定数の第１のデータの距離とを用いた演算を行い、生成するデータ生成ステップと、
前記データ生成ステップにおいて生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、
前記所定の基準値に最も近い統計量が得られる前記範囲に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測するタップ係数が、前記範囲に対応する複数のデータに基づくクラスごとの学習により予め取得されており、前記データ生成ステップにおいて生成された前記複数のデータと前記クラスコードに対応するタップ係数との線形一次結合により、前記注目データの予測値を求める演算ステップと
を含む処理をコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。 - 画像または音声のデータである第１のデータを第２のデータに変換するときに用いられるタップ係数を学習する学習装置であって、
学習用のデータから、前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、
前記生徒データから、予測値を求めようとする前記教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記生徒データの範囲である基準範囲を、前記生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記生徒データより抽出する範囲として決定する決定手段と、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の前記生徒データの値と、前記所定の位置および前記所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、
前記データ生成手段において生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、
前記データ生成手段において生成された前記複数のデータとの線形一次結合により求められる前記注目データの予測誤差を統計的に最小にする前記タップ係数を、前記範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段と
を備えることを特徴とする学習装置。 - 前記教師データと生徒データは、画像データである
ことを特徴とする請求項１１に記載の学習装置。 - 前記統計量は、前記生徒データとしての画像データの前記基準範囲から求められるアクティビティである
ことを特徴とする請求項１２に記載の学習装置。 - 前記決定手段は、前記基準範囲を、前記生徒データとしての画像データの画素の間隔未満の単位で求める
ことを特徴とする請求項１２に記載の学習装置。 - 画像または音声のデータである第１のデータを第２のデータに変換するときに用いられるタップ係数を学習する学習装置の学習方法であって、
前記学習装置のコンピュータがプログラムを実行することにより、
学習用のデータから、前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、
前記生徒データから、予測値を求めようとする前記教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記生徒データの範囲である基準範囲を、前記生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記生徒データより抽出する範囲として決定する決定手段と、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の前記生徒データの値と、前記所定の位置および前記所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、
前記データ生成手段において生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、
前記データ生成手段において生成された前記複数のデータとの線形一次結合により求められる前記注目データの予測誤差を統計的に最小にする前記タップ係数を、前記範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段と
しての機能が実現され、
前記学習対生成手段が、学習用のデータから、前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、
前記決定手段が、前記生徒データから、予測値を求めようとする前記教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記生徒データの範囲である基準範囲を、前記生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記生徒データより抽出する範囲として決定する決定ステップと、
前記データ生成手段が、前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の前記生徒データの値と、前記所定の位置および前記所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、
前記クラス分類手段が、前記データ生成ステップにおいて生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、
前記学習手段が、前記データ生成ステップにおいて生成された前記複数のデータとの線形一次結合により求められる前記注目データの予測誤差を統計的に最小にする前記タップ係数を、前記範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップと
を備えることを特徴とする学習方法。 - 画像または音声のデータである第１のデータを第２のデータに変換するときに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムであって、
学習用のデータから、前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、
前記生徒データから、予測値を求めようとする前記教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記生徒データの範囲である基準範囲を、前記生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記生徒データより抽出する範囲として決定する決定ステップと、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の前記生徒データの値と、前記所定の位置および前記所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、
前記データ生成ステップにおいて生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、
前記データ生成ステップにおいて生成された前記複数のデータとの線形一次結合により求められる前記注目データの予測誤差を統計的に最小にする前記タップ係数を、前記範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップと
を含む処理をコンピュータに実行させるプログラム。 - 画像または音声のデータである第１のデータを第２のデータに変換するときに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
学習用のデータから、前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、
前記生徒データから、予測値を求めようとする前記教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記生徒データの範囲である基準範囲を、前記生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記生徒データより抽出する範囲として決定する決定ステップと、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の前記生徒データの値と、前記所定の位置および前記所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、
前記データ生成ステップにおいて生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、
前記データ生成ステップにおいて生成された前記複数のデータとの線形一次結合により求められる前記注目データの予測誤差を統計的に最小にする前記タップ係数を、前記範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている
ことを特徴とする記録媒体。 - 画像または音声のデータである第１のデータを第２のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習装置であって、
学習用のデータから、前記係数種データの学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、
前記生徒データから、予測値を求めようとする前記教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記生徒データの範囲である基準範囲を、前記生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記生徒データより抽出する範囲として決定する決定手段と、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の前記生徒データの値と、前記所定の位置および前記所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、
前記データ生成手段において生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、
前記データ生成手段において生成された前記複数のデータとの線形一次結合により求められる前記注目データの予測誤差を統計的に最小にする前記係数種データを、前記範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段と
を備えることを特徴とする学習装置。 - 前記教師データと生徒データは、画像データである
ことを特徴とする請求項１８に記載の学習装置。 - 前記統計量は、前記生徒データとしての画像データの前記基準範囲から求められるアクティビティである
ことを特徴とする請求項１９に記載の学習装置。 - 前記決定手段は、前記基準範囲を、前記生徒データとしての画像データの画素の間隔未満の単位で求める
ことを特徴とする請求項１９に記載の学習装置。 - 前記決定手段は、前記基準範囲における所定の位置の複数の画素を、前記教師データとしての画像データを求めるのに用いる複数のデータとして決定する
ことを特徴とする請求項２１に記載の学習装置。 - 前記データ生成手段は、
前記基準範囲における所定の位置に、前記生徒データとしての画像データの画素が存在する場合、その画素を、前記注目データを求めるのに用いる画素とし、
前記基準範囲における所定の位置に、前記生徒データとしての画像データの画素が存在しない場合、前記所定の位置に近い前記生徒データとしての画像データの画素から、前記所定の位置における仮想的な画素を求め、その仮想的な画素を、前記注目データを求めるのに用いる画素とする
ことを特徴とする請求項２２に記載の学習装置。 - 前記基準値を生成する基準値生成手段をさらに備え、
前記学習手段は、前記決定手段において、前記基準値生成手段によって生成された前記基準値ごとに決定される複数のデータに基づき、各値の基準値に対応する前記タップ係数の元となる前記係数種データを求める
ことを特徴とする請求項１８に記載の学習装置。 - 画像または音声のデータである第１のデータを第２のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習装置の学習方法であって、
前記学習装置のコンピュータがプログラムを実行することにより、
学習用のデータから、前記係数種データの学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成手段と、
前記生徒データから、予測値を求めようとする前記教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記生徒データの範囲である基準範囲を、前記生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記生徒データより抽出する範囲として決定する決定手段と、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定手段において決定された基準範囲に基づく所定位置に近い位置にある所定数の前記生徒データの値と、前記所定の位置および前記所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成手段と、
前記データ生成手段において生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、
前記データ生成手段において生成された前記複数のデータとの線形一次結合により求められる前記注目データの予測誤差を統計的に最小にする前記係数種データを、前記範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習手段と
しての機能が実現され、
前記学習対生成手段が、学習用のデータから、前記係数種データの学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、
前記決定手段が、前記生徒データから、予測値を求めようとする前記教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記生徒データの範囲である基準範囲を、前記生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記生徒データより抽出する範囲として決定する決定ステップと、
前記データ生成手段が、前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の前記生徒データの値と、前記所定の位置および前記所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、
前記クラス分類手段が、前記データ生成ステップにおいて生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、
前記学習手段が、前記データ生成ステップにおいて生成された前記複数のデータとの線形一次結合により求められる前記注目データの予測誤差を統計的に最小にする前記係数種データを、前記範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップと
を備えることを特徴とする学習方法。 - 画像または音声のデータである第１のデータを第２のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習処理を、コンピュータに行わせるプログラムであって、
学習用のデータから、前記係数種データの学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、
前記生徒データから、予測値を求めようとする前記教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記生徒データの範囲である基準範囲を、前記生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記生徒データより抽出する範囲として決定する決定ステップと、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の前記生徒データの値と、前記所定の位置および前記所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、
前記データ生成ステップにおいて生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、
前記データ生成ステップにおいて生成された前記複数のデータとの線形一次結合により求められる前記注目データの予測誤差を統計的に最小にする前記係数種データを、前記範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップと
を含む処理をコンピュータに実行させるプログラム。 - 画像または音声のデータである第１のデータを第２のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
学習用のデータから、前記係数種データの学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データとのセットである学習対データを生成する学習対生成ステップと、
前記生徒データから、予測値を求めようとする前記教師データである注目データを中心とする複数種類の範囲に基づく所定位置の複数のデータを読み出し、前記複数種類の範囲のそれぞれから読み出された複数のデータの値を用いた統計学的な手法により求められる統計量と所定の基準値とを比較することにより、前記所定の基準値に一致する統計量が得られる前記生徒データの範囲である基準範囲を、前記生徒データを構成する各データの間隔であるサンプル間隔未満の単位で求め、その基準範囲を、前記注目データを求めるのに用いる複数のデータを前記生徒データより抽出する範囲として決定する決定ステップと、
前記注目データについて、その注目データを求めるのに用いる前記複数のデータを、前記決定ステップにおいて決定された基準範囲に基づく所定位置に近い位置にある所定数の前記生徒データの値と、前記所定の位置および前記所定数の生徒データの距離とを用いた演算を行い、生成するデータ生成ステップと、
前記データ生成ステップにおいて生成された前記複数のデータの値のパターンに基づき、前記注目データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、
前記データ生成ステップにおいて生成された前記複数のデータとの線形一次結合により求められる前記注目データの予測誤差を統計的に最小にする前記係数種データを、前記範囲から読み出される複数のデータに基づくクラスコードごとに求める学習を行う学習ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている
ことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002106299A JP4442076B2 (ja) | 2002-04-09 | 2002-04-09 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002106299A JP4442076B2 (ja) | 2002-04-09 | 2002-04-09 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003303330A JP2003303330A (ja) | 2003-10-24 |
| JP2003303330A5 JP2003303330A5 (ja) | 2005-09-08 |
| JP4442076B2 true JP4442076B2 (ja) | 2010-03-31 |
Family
ID=29390654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002106299A Expired - Fee Related JP4442076B2 (ja) | 2002-04-09 | 2002-04-09 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4442076B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4311166B2 (ja) | 2003-11-05 | 2009-08-12 | ソニー株式会社 | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 |
| JP2005311629A (ja) | 2004-04-20 | 2005-11-04 | Sony Corp | 係数データの生成装置および生成方法、情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 |
| JP4872862B2 (ja) * | 2006-09-28 | 2012-02-08 | ソニー株式会社 | 画像データ演算装置および方法、プログラム、並びに記録媒体 |
| US7839307B2 (en) * | 2008-04-04 | 2010-11-23 | Gennum Corporation | Video serializer and deserializer with mapping conversion |
-
2002
- 2002-04-09 JP JP2002106299A patent/JP4442076B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003303330A (ja) | 2003-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4224748B2 (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置 | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| KR100746839B1 (ko) | 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체 | |
| US7477786B2 (en) | Data conversion device, data conversion method, learning device, learning method, program, and recording medium | |
| JPH1084548A (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体 | |
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4238516B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP4324825B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP4442076B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JPWO2002058386A1 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びにコンピュータ読み取り可能な媒体およびプログラム | |
| JP2001222702A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4066146B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP4135045B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP4240674B2 (ja) | 動き検出装置および動き検出方法、並びに記録媒体 | |
| JP3632993B2 (ja) | 電子ズーム装置及び電子ズーム方法 | |
| JP4154647B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 | |
| JP4058671B2 (ja) | 記憶制御装置および記憶制御方法、並びにプログラムおよび記録媒体 | |
| JP4491701B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4225039B2 (ja) | データ処理装置および方法、記録媒体、並びにプログラム | |
| JP4310691B2 (ja) | 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム | |
| JP3882828B2 (ja) | 電子ズーム装置及び電子ズーム方法 | |
| JP2008118519A (ja) | 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム | |
| JP4186093B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4487900B2 (ja) | 画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050318 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050318 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080512 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090630 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090930 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100104 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |