JP4324825B2 - データ処理装置およびデータ処理方法、並びに媒体 - Google Patents
データ処理装置およびデータ処理方法、並びに媒体 Download PDFInfo
- Publication number
- JP4324825B2 JP4324825B2 JP26170699A JP26170699A JP4324825B2 JP 4324825 B2 JP4324825 B2 JP 4324825B2 JP 26170699 A JP26170699 A JP 26170699A JP 26170699 A JP26170699 A JP 26170699A JP 4324825 B2 JP4324825 B2 JP 4324825B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- extracted
- prediction
- student
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに媒体に関し、例えば、画像データ等のデータ処理を行う際の、その処理性能を向上させることができるようにするデータ処理装置およびデータ処理方法、並びに媒体に関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の改善を行うための処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【０００４】
即ち、適応処理では、例えば、入力画像（クラス分類適応処理の処理対象の画像）を構成する画素（以下、適宜、入力画素という）と、所定の予測係数との線形結合により、原画像の画素の予測値を求めることで、その入力画像に含まれるノイズを除去した画像や、入力画像に生じているぼけを改善した画像、解像度を向上させた画像等が得られるようになっている。
【０００５】
具体的には、例えば、いま、原画像（例えば、ノイズを含まない画像や、ぼけのない画像、解像度の高い画像等）を教師データとするとともに、その原画像にノイズを重畳したり、あるいはぼかしを付加した入力画像を生徒データとして、原画像を構成する画素（以下、適宜、原画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの入力画素（入力画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
式（１）を一般化するために、予測係数ｗの集合でなる行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【０００７】
【数１】
で定義すると、次のような観測方程式が成立する。
【０００８】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、式（１）において、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。
【０００９】
そして、この観測方程式に最小自乗法を適用して、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる原画素の真の画素値（真値）ｙの集合でなる行列Ｙ、および原画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００１０】
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００１１】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
この場合、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【００１２】
【数３】
を最小にすることで求めることができる。
【００１３】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】
・・・（４）
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００１５】
【数５】
・・・（５）
式（４）および（５）より、式（６）が得られる。
【００１６】
【数６】
・・・（６）
さらに、式（３）の残差方程式における生徒データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１７】
【数７】
・・・（７）
式（７）の正規方程式を構成する各式は、生徒データｘおよび教師データｙを、ある程度の数だけ用意することで、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００１８】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００１９】
なお、適応処理は、入力画像には含まれていないが、原画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、原画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができ、上述したように、入力画像からノイズやぼけを除去した原画像の予測値を求める他、例えば、低解像度または標準解像度の画像を、高解像度の画像に変換するような場合にも用いることができる。
【００２０】
【発明が解決しようとする課題】
上述したように、クラス分類適応処理では、各クラスごとに適応処理が施されるが、その前段で行われるクラス分類では、予測値を求めようとする原画素（原画素は、学習時以外においては、実際に存在するわけではないため、ここでは、想定することになる）に注目し、その注目画素の位置の周辺にある複数の入力画素が抽出され、その性質（例えば、その複数の入力画素の画素値のパターンや、画素値の傾斜等）に基づいて、注目画素がクラス分けされる。そして、このクラス分類に用いられる複数の入力画素としては、注目画素から見て、固定の位置にある入力画素が抽出される。
【００２１】
しかしながら、クラス分類適応処理によって、例えば、ぼけのある入力画像を、そのぼけを改善した画像に変換する場合等において、その入力画像のぼけの度合いに関係なく、注目画素から見て、固定の位置にある入力画素を、注目画素のクラス分類に用いたのでは、その注目画素の性質を十分に反映したクラス分けが困難となることがある。
【００２２】
即ち、例えば、ぼけ度（ぼけの度合い）の小さい入力画像を対象にクラス分類適応処理を行う場合においては、注目画素から見て、比較的近い位置にある入力画素を用いてクラス分類を行う方が、注目画素の性質を十分に反映したクラス分けを行うことができる。また、ぼけ度の大きい入力画像を対象にクラス分類適応処理を行う場合においては、注目画素から見て、比較的遠い位置にある入力画素を用いてクラス分類を行う方が、その性質を十分に反映したクラス分けを行うことができる。
【００２３】
さらに、例えば、注目画素の位置の周辺部分の入力画像が平坦なものである場合には、ある程度の変化が見られる入力画像の広い範囲にある入力画素を用いてクラス分類を行う方が、注目画素の性質を十分に反映したクラス分けを行うことができる。
【００２４】
従って、注目画素から見て、固定の位置にある入力画素を、注目画素のクラス分類に用いたのでは、その注目画素の性質を十分に反映したクラス分けができず、その結果、クラス分類適応処理の処理性能が劣化すること、即ち、クラス分類処理によって、入力画像を十分に改善した画像が得られないことがある。
【００２５】
また、適応処理でも、注目画素から見て、固定の位置にある入力画素を用いて、式（１）の線形予測式が演算され、注目画素の予測値が求められるが、この場合も、クラス分類における場合と同様に、必要に応じて、注目画素から見て、可変の位置にある入力画素を用いて、式（１）の線形予測式を演算した方が、注目画素に対する予測誤差の小さい予測値が求められることが予想される。
【００２６】
本発明は、このような状況に鑑みてなされたものであり、例えば、クラス分類適応処理等の処理性能を向上させることができるようにするものである。
【００２７】
【課題を解決するための手段】
本発明の第１のデータ処理装置は、入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータを決定する決定手段と、決定手段における決定にしたがい、予測値を求めようとする出力データである注目出力データについて、複数のデータを、入力データから抽出する抽出手段と、抽出手段において抽出された複数のデータに基づいて、注目出力データの予測値を求める予測手段とを含むことを特徴とする。
【００２８】
第１のデータ処理装置には、抽出手段において抽出された複数のデータに基づき、注目出力データについてクラス分類を行い、対応するクラスコードを出力するクラス分類手段をさらに設けることができ、この場合、予測手段には、クラスコードに対応する所定の予測係数を用いて、注目出力データの予測値を求めさせることができる。
【００２９】
また、予測手段には、予測係数を用いて、注目出力データを、線形一次予測させることができる。さらに、予測手段には、予測係数と、抽出手段において抽出された複数のデータとを用いて、注目出力データを、線形一次予測させることができる。
【００３０】
第１のデータ処理装置には、クラスコードごとに、予測係数を記憶している予測係数記憶手段をさらに設けることができる。
【００３２】
入力データおよび出力データは、画像データとすることができる。さらに、この場合、抽出手段には、入力データとしての画像データから、注目出力データとしての画素に対して、空間的または時間的に周辺にある画素を抽出させることができる。
【００３３】
本発明の第１のデータ処理方法は、入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータを決定する決定ステップと、決定ステップにおける決定にしたがい、予測値を求めようとする出力データである注目出力データについて、複数のデータを、入力データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータに基づいて、注目出力データの予測値を求める予測ステップとを含むことを特徴とする。
【００３４】
本発明の第１の記録媒体に記録されているプログラムは、入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータを決定する決定ステップと、決定ステップにおける決定にしたがい、予測値を求めようとする出力データである注目出力データについて、複数のデータを、入力データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータに基づいて、注目出力データの予測値を求める予測ステップとを含むことを特徴とする。
【００３５】
本発明の第２のデータ処理装置は、予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成手段と、生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータを決定する決定手段と、決定手段における決定にしたがい、予測値を求めようとする教師データである注目教師データについて、複数のデータを、生徒データから抽出する抽出手段と、抽出手段において抽出された複数のデータに基づいて、予測係数を求める演算手段とを含むことを特徴とする。
【００３６】
第２のデータ処理装置には、抽出手段において抽出された複数のデータに基づき、注目教師データについてクラス分類を行い、対応するクラスコードを出力するクラス分類手段をさらに設けることができ、この場合、演算手段には、抽出手段において抽出された複数のデータを用いて、クラスコードごとに、予測係数を求めさせることができる。
【００３７】
演算手段には、線形一次予測によって、教師データが得られるようにするための予測係数を求めさせることができる。また、演算手段には、抽出手段において抽出された複数のデータを用いての線形一次予測によって、教師データが得られるようにするための予測係数を求めさせることができる。
【００３９】
生徒データおよび教師データは、画像データとすることができる。この場合、抽出手段には、生徒データとしての画像データから、注目教師データとしての画素に対して、空間的または時間的に周辺にある画素を抽出させることができる。
【００４０】
本発明の第２のデータ処理方法は、予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成ステップと、生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータを決定する決定ステップと、決定ステップにおける決定にしたがい、予測値を求めようとする教師データである注目教師データについて、複数のデータを、生徒データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータに基づいて、予測係数を求める演算ステップとを含むことを特徴とする。
【００４１】
本発明の第２の記録媒体に記録されているプログラムは、予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成ステップと、生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータを決定する決定ステップと、決定ステップにおける決定にしたがい、予測値を求めようとする教師データである注目教師データについて、複数のデータを、生徒データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータに基づいて、予測係数を求める演算ステップとを含むことを特徴とする。
【００４２】
本発明の第３のデータ処理装置は、入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータを決定する第１の決定手段と、第１の決定手段における決定にしたがい、予測値を求めようとする出力データである注目出力データについて、第１の複数のデータを、入力データから抽出する第１の抽出手段と、第１の抽出手段において抽出された第１の複数のデータに基づいて、注目出力データの予測値を求める予測手段と、予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成手段と、生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータを決定する第２の決定手段と、第２の決定手段における決定にしたがい、予測値を求めようとする教師データである注目教師データについて、第２の複数のデータを、生徒データから抽出する第２の抽出手段と、第２の抽出手段において抽出された複数のデータに基づいて、予測係数を求める演算手段とを含むことを特徴とする。
【００４３】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体においては、入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータが決定され、その決定にしたがい、予測値を求めようとする出力データである注目出力データについて、複数のデータが、入力データから抽出される。そして、その抽出された複数のデータに基づいて、注目出力データの予測値が求められる。
【００４４】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体においては、予測係数の学習のための教師となる教師データから、生徒となる生徒データが生成され、その生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータが決定される。そして、その決定にしたがい、予測値を求めようとする教師データである注目教師データについて、複数のデータが、生徒データから抽出され、その抽出された複数のデータに基づいて、予測係数が求められる。
【００４５】
本発明の第３のデータ処理装置においては入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータが決定され、その決定にしたがい、予測値を求めようとする出力データである注目出力データについて、第１の複数のデータが、入力データから抽出される。そして、その抽出された第１の複数のデータに基づいて、注目出力データの予測値が求められる。一方、予測係数の学習のための教師となる教師データから、生徒となる生徒データが生成され、その生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータが決定される。そして、その決定にしたがい、予測値を求めようとする教師データである注目教師データについて、第２の複数のデータが、生徒データから抽出され、その抽出された複数のデータに基づいて、予測係数が求められる。
【００４６】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００４７】
この画像処理装置においては、例えば、解像度の低いＳＤ(Standard Density)画像が、入力画像として入力されると、その入力画像に対して、クラス分類適応処理が施されることにより、高解像度の画像（ＨＤ(High Density)画像）が出力されるようになっている。
【００４８】
即ち、この画像処理装置は、フレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、係数RAM(Random Access Memory)５、予測演算回路６、およびタップ決定回路７から構成され、そこには、解像度の改善を行う対象となる入力画像（ＳＤ画像）が入力されるようになっている。
【００４９】
フレームメモリ１は、画像処理装置に入力される入力画像を、例えば、フレーム単位で一時記憶するようになされている。なお、本実施の形態では、フレームメモリ１は、複数フレームの入力画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力される入力画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００５０】
クラスタップ生成回路２は、クラス分類適応処理により、予測値を求めようとする原画素（ここでは、解像度の高いＨＤ画像の画素）を、注目画素として、その注目画素についてのクラス分類に用いる入力画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶された入力画像から抽出し、これを、クラスタップとして、クラス分類回路４に出力するようになっている。
【００５１】
予測タップ生成回路３は、予測演算回路６において注目画素の予測値を求めるのに用いる入力画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶された入力画像から抽出し、これを予測タップとして、予測演算回路６に供給するようになされている。
【００５２】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップに基づいて、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数RAM５に対して、アドレスとして与えるようになされている。即ち、クラス分類回路４は、クラスタップ生成回路２からのクラスタップを、例えば、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、係数RAM５に出力するようになっている。
【００５３】
ここで、KビットADRC処理においては、例えば、クラスタップを構成する入力画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する入力画素がKビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各入力画素の画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００５４】
係数RAM５は、後述する学習装置において学習が行われることにより得られるクラスごとの予測係数を記憶しており、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給するようになっている。
【００５５】
予測演算回路６は、係数RAM５から供給される、注目画素のクラスについての予測係数ｗ，ｗ2，・・・と、予測タップ生成回路３からの予測タップ（を構成する各画素の画素値）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算を行うことにより、注目画素ｙの予測値Ｅ［ｙ］を求め、これを、解像度を改善した画素の画素値として出力するようになっている。
【００５６】
タップ決定回路７は、フレームメモリ１に記憶された入力画像の波形特性に基づいて、クラスタップおよび予測タップを構成させる入力画素を決定し、そのクラスタップおよび予測タップを構成させる入力画素に関する情報（以下、適宜、タップ情報という）を、クラスタップ生成回路２および予測タップ生成回路３に供給するようになっている。
【００５７】
即ち、タップ決定回路７は、例えば、図２に点線で囲んで示すように、注目画素の位置にある入力画素を中心画素（ここでは、例えば、重心の位置にある画素を意味する）として、例えば、横×縦が５×５画素でなる正方形状のクラスタップおよび予測タップ（以下、適宜、両者をまとめて、単に、タップという）を、クラスタップ生成回路および予測タップ生成回路３に構成させる基本的なタップ（以下、適宜、基本タップという）として想定する。
【００５８】
ここで、図２において、×印は、ＨＤ画像を構成する画素（ＨＤ画素）を示しており、○印は、入力画像としてのＳＤ画像を構成する画素（ＳＤ画素）を示している。従って、図２では、ＳＤ画像は、ＨＤ画像の横と縦それぞれの画素数を、１／２にしたものとなっている。
【００５９】
タップ決定回路７は、基本タップを想定すると、例えば、図３に示すように、その中心画素を始点として、基本タップの他のＳＤ画素（入力画素）を通る方向を検出する。ここで、基本タップが、上述したように、５×５画素で構成されるときは、図３に示したように、中心画素を始点とする１６の方向Ｄ1乃至Ｄ16が検出されることになる。
【００６０】
さらに、タップ決定回路７は、各方向Ｄi（ここでは、ｉ＝１，２，・・・，１６）について、その方向にあるＳＤ画素の波形特性（画素値の特性）に基づいて、最終的にタップを構成させるＳＤ画素を決定する。即ち、各方向Ｄiについて、その方向にあるＳＤ画像の波形特性に基づいて、図４に示すように、その方向にあるタップを構成するＳＤ画素の位置が移動される。そして、タップ決定回路７は、その移動の結果、最終的にタップを構成することとなったＳＤ画素の位置に関する情報を、タップ情報として、クラスタップ生成回路２および予測タップ生成回路３に供給する。
【００６１】
次に、図５のフローチャートを参照して、図１の画像処理装置において行われる、入力画像の解像度を改善する解像度改善処理について説明する。
【００６２】
フレームメモリ１には、解像度改善処理の対象であるＳＤ画像（動画像）が、入力画像として、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給される入力画像が順次記憶されていく。
【００６３】
そして、予測値を求めようとする所定のＨＤ画素が注目画素とされ、ステップＳ１において、タップ決定回路７は、フレームメモリ１に記憶された入力画像の波形特性に基づいて、注目画素についてのタップを構成させる入力画素を決定し、その入力画素の位置に関するタップ情報を、クラスタップ生成回路２および予測タップ生成回路３に出力する。
【００６４】
クラスタップ生成回路２または予測タップ生成回路３は、タップ決定回路７からタップ情報を受信すると、ステップＳ２において、そのタップ情報にしたがい、予測値を求めようとする注目画素についてのクラスタップまたは予測タップを構成させる入力画素を、フレームメモリ１から読み出し、これによりクラスタップまたは予測タップをそれぞれ構成する。このクラスタップまたは予測タップは、クラス分類回路４または予測演算回路６にそれぞれ供給される。
【００６５】
クラス分類回路４は、クラスタップ生成回路２からクラスタップを受信すると、ステップＳ３において、そのクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られるクラスコードを、係数RAM５に対して、アドレスとして出力する。係数RAM５は、ステップＳ４において、クラス分類回路４からのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給する。
【００６６】
予測演算回路６では、ステップＳ５において、予測タップ生成回路３からの予測タップと、係数RAM５からの予測係数とを用いて、式（１）に示した線形予測式の演算が行われることにより、注目画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求められ、ステップＳ６に進む。ステップＳ６では、予測係数演算回路６が、ステップＳ５で求めた注目画素ｙの予測値Ｅ［ｙ］を、解像度を改善したＨＤ画素として出力し、ステップＳ７に進む。
【００６７】
ステップＳ７では、注目画素のフレームを構成するすべてのＨＤ画素の予測値が求められたかどうかが判定され、まだ求められていないと判定された場合、ステップＳ１に戻り、まだ予測値の求められていないＨＤ画素を、新たに注目画素として、ステップＳ１以降の処理が繰り返される。
【００６８】
また、ステップＳ７において、注目画素のフレームを構成するすべてのＨＤ画素の予測値が求められたと判定された場合、ステップＳ８に進み、次に処理すべきＨＤ画像のフレームに対応する入力画像（ＳＤ画像）が、フレームメモリ１に記憶されているかどうかが判定される。ステップＳ８において、次に処理すべきＨＤ画像のフレームに対応する入力画像が、フレームメモリ１に記憶されていると判定された場合、その、次に処理すべきＨＤ画像のフレームの所定のＨＤ画素を、新たに注目画素として、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００６９】
一方、ステップＳ８において、次に処理すべきＨＤ画像のフレームに対応する入力画像が、フレームメモリ１に記憶されていないと判定された場合、解像度改善処理を終了する。
【００７０】
次に、図６のフローチャートを参照して、タップ決定回路７で行われる、図５のステップＳ１におけるタップ決定処理の第１の実施の形態について説明する。
【００７１】
なお、以下、適宜、クラス分類や、式（１）の線形予測式の演算に用いるＳＤ画素の集合全体の他、その画素１つ１つも、タップという。
【００７２】
タップ決定回路７では、ステップＳ１１において、基本タップが設定される。即ち、ステップＳ１１では、図２に点線で囲んで示したように、注目画素の位置にある入力画素を中心画素として、横×縦が５×５画素でなるタップが、基本タップとして設定される。
【００７３】
そして、ステップＳ１２に進み、図３に示したように、中心画素を始点として、基本タップの他のＳＤ画素を通る１６の方向Ｄ1乃至Ｄ16が検出され、ステップＳ１３に進む。
【００７４】
ステップＳ１３では、ステップＳ１２で検出された１６の方向Ｄ1乃至Ｄ16を表す変数ｉが、例えば１に初期化され、ステップＳ１４に進み、各方向Ｄi上の、タップを表す変数ｊが、例えば１に初期化され、ステップＳ１５に進む。
【００７５】
ステップＳ１５では、方向Ｄi上の、中心画素からｊ番目にあるタップＴi,jとなっているＳＤ画素（の画素値）が極値となっているかどうかが判定される。ステップＳ１５において、タップＴi,jとなっているＳＤ画素が極値となっていないと判定された場合、ステップＳ１６に進み、方向Ｄi上のタップＴi,jと、それより外側（中心画素側ではない方）のタップが、例えば、中心画素から１画素だけ離れた位置に移動される。そして、ステップＳ１５に戻り、以下、同様の処理が繰り返される。
【００７６】
また、ステップＳ１５において、タップＴi,jとなっているＳＤ画素が極値となっていると判定された場合、ステップＳ１７に進み、変数ｊが１だけインクリメントされ、ステップＳ１８に進む。ステップＳ１８では、変数ｊが、方向Ｄi上にある、中心画素以外のタップを構成する画素数Ｊi以下であるかどうかが判定される。
【００７７】
ここで、例えば、図３において、方向Ｄ1，Ｄ3，Ｄ5，・・・，Ｄ15についてのＪiは２であり、方向Ｄ2，Ｄ4，Ｄ6，・・・，Ｄ16についてのＪiは１である。
【００７８】
ステップＳ１８において、変数ｊが、方向Ｄi上にある、中心画素以外のタップを構成する画素数Ｊi以下であると判定された場合、即ち、方向Ｄi上にある、中心画素以外のタップを構成するＳＤ画素のすべてが、まだ、極値をとっているものとされていない場合、ステップＳ１５に戻り、その極値でないＳＤ画素の位置にあるタップＴi,jを対象に、同様の処理が繰り返される。
【００７９】
また、ステップＳ１８において、変数ｊが、方向Ｄi上にある、中心画素以外のタップを構成する画素数Ｊi以下でないと判定された場合、即ち、方向Ｄi上にある、中心画素以外のタップを構成するＳＤ画素のすべてが、極値をとっているものとされた場合、ステップＳ１９に進み、変数ｉが１だけインクリメントされる。そして、ステップＳ２０に進み、変数ｉが、ステップＳ１２で検出された方向の総数Ｉ（図３の実施の形態では、１６）以下であるかどうかが判定される。
【００８０】
ステップＳ２０において、変数ｉがＩ以下であると判定された場合、即ち、ステップＳ１２で検出されたすべての方向について、まだ、極値となっているＳＤ画素がタップとされていない場合、ステップＳ１４に戻り、以下、同様の処理が繰り返される。
【００８１】
一方、ステップＳ２０において、変数ｉがＩ以下でないと判定された場合、即ち、ステップＳ１２で検出されたすべての方向について、極値となっているＳＤ画素がタップとされた場合、ステップＳ２１に進み、いま、タップを構成しているＳＤ画素の位置に関する情報が、タップ情報として、クラスタップ生成回路２および予測タップ生成回路３に出力され、リターンする。
【００８２】
以上のようなタップ決定処理の第１の実施の形態によれば、クラスタップ生成回路２および予測タップ生成回路３において、例えば、図７に示すようなタップが構成されることになる。
【００８３】
即ち、図７（後述する図９および図１１においても同様）は、図３に示した１６の方向のうちの、例えば、方向Ｄ1に注目し、その方向Ｄ1と、それと１８０度反対の方向Ｄ9にあるＳＤ画素を示している。
【００８４】
なお、図７（図９および図１１においても同様）では、タップを構成する中心画素の位置をｎで表し、さらに、その位置ｎからｍ画素（ｍは正の整数）だけ、Ｄ1の方向にある画素の位置をｎ−ｍで表すとともに、位置ｎからｍ画素だけ、Ｄ9の方向にある画素の位置をｎ＋ｍで表している。
【００８５】
また、図７（図９および図１１においても同様）において、×印は、ＳＤ画素（の画素値）を示しており、○印は、タップ（となっているＳＤ画素）を示している。
【００８６】
図７（Ａ）は、基本タップを示しており、従って、中心画素となっているＳＤ画素に対して、方向Ｄ1については、その方向に隣接する２つのＳＤ画素が、また、方向Ｄ9についても、その方向に隣接する２つのＳＤ画素が、タップとなっている。
【００８７】
図７（Ｂ）は、図７（Ａ）の基本タップから、図６のタップ決定処理によって構成されるタップを示しており、中心画素となっているＳＤ画素に対して、方向Ｄ1については、その方向に沿って最初に現れる極大値となっているＳＤ画素と、極小値となっているＳＤ画素がタップとなっており、また、方向Ｄ9についても、その方向に沿って最初に表される極小値となっているＳＤ画素と、極大値となっているＳＤ画素がタップとなっている。
【００８８】
次に、図８のフローチャートを参照して、タップ決定回路７で行われる、図５のステップＳ１におけるタップ決定処理の第２の実施の形態について説明する。
【００８９】
タップ決定回路７では、ステップＳ３１またはＳ３２において、図６のステップＳ１１またはＳ１２における場合とそれぞれ同様の処理が行われ、これにより、基本タップの設定と、中心画素を始点とする、基本タップの他のＳＤ画素を通る１６の方向Ｄ1乃至Ｄ16の検出が行われる。
【００９０】
そして、ステップＳ３３に進み、図６のステップＳ１３における場合と同様に、ステップＳ３２で検出された方向を表す変数ｉが、例えば１に初期化され、ステップＳ３４に進み、方向Ｄi上にあるタップとなっているＳＤ画素のダイナミックレンジＤＲiが演算される。即ち、ステップＳ３４では、方向Ｄi上にあるタップとなっているＳＤ画素すべて（中心画素を含む）の中から最大値と最小値（最大の画素値と最小の画素値）が検出され、その最大値と最小値との差分が、ダイナミックレンジＤＲiとして求められる。
【００９１】
ダイナミックレンジＤＲiの算出後は、ステップＳ３５に進み、そのダイナミックレンジＤＲiが、あらかじめ設定された閾値ｔｈより大であるかどうかが判定される。ステップＳ３５において、ダイナミックレンジＤＲiが閾値ｔｈ以下であると判定された場合、即ち、方向Ｄi上にあるタップとなっているＳＤ画素どうしの間に、それほど大きな変化がなく、従って、方向Ｄi上のタップに、定常性が認められる場合、ステップＳ３６に進み、方向Ｄi上のタップどうしの間隔が、例えば、１画素分だけ拡がるように、中心画素を除く、タップを構成するＳＤ画素が変更される。そして、ステップＳ３４に進み、以下、同様の処理が繰り返される。
【００９２】
また、ステップＳ３５において、ダイナミックレンジＤＲiが閾値ｔｈより大であると判定された場合、即ち、方向Ｄi上にあるタップとなっているＳＤ画素どうしの間に、比較的大きな変化があり、従って、方向Ｄi上のタップに、定常性がないと認められる場合、ステップＳ３７に進み、変数ｉが１だけインクリメントされる。そして、ステップＳ３８に進み、変数ｉが、ステップＳ３２で検出された方向の総数Ｉ以下であるかどうかが判定される。
【００９３】
ステップＳ３８において、変数ｉがＩ以下であると判定された場合、即ち、ステップＳ３２で検出されたすべての方向について、まだ、ダイナミックレンジが閾値ｔｈより大となるＳＤ画素がタップとされていない場合、ステップＳ３４に戻り、以下、同様の処理が繰り返される。
【００９４】
一方、ステップＳ３８において、変数ｉがＩ以下でないと判定された場合、即ち、ステップＳ３２で検出されたすべての方向について、ダイナミックレンジが閾値ｔｈより大となるＳＤ画素がタップとされた場合、ステップＳ３９に進み、いま、タップを構成しているＳＤ画素の位置に関する情報が、タップ情報として、クラスタップ生成回路２および予測タップ生成回路３に出力され、リターンする。
【００９５】
以上のようなタップ決定処理の第２の実施の形態によれば、クラスタップ生成回路２および予測タップ生成回路３において、例えば、図９に示すようなタップが構成されることになる。
【００９６】
即ち、図９（Ａ）は、図７（Ａ）と同様に、基本タップを示しており、従って、中心画素となっているＳＤ画素に対して、方向Ｄ1については、その方向に隣接する２つのＳＤ画素が、また、方向Ｄ9についても、その方向に隣接する２つのＳＤ画素が、タップとなっている。
【００９７】
図９（Ｂ）は、図９（Ａ）の基本タップから、図８のタップ決定処理によって構成されるタップを示しており、方向Ｄ1およびＤ9のいずれについても、そのダイナミックレンジＤＲ1およびＤＲ9を閾値ｔｈより大とするようなＳＤ画素がタップとなっている。
【００９８】
なお、図８および図９の実施の形態では、方向Ｄi上にあるタップとなっているＳＤ画素のうちの最大値と最小値との差分であるダイナミックレンジＤＲiが閾値ｔｈより大となるように、タップとなるＳＤ画素どうしの間隔を拡げるようにしたが、その他、例えば、方向Ｄi上にあるタップとなっているＳＤ画素の隣接するものどうしの差分が閾値ｔｈより大となるように、タップとなるＳＤ画素どうしの間隔を拡げるようにすること等も可能である。
【００９９】
次に、図１０のフローチャートを参照して、タップ決定回路７で行われる、図５のステップＳ１におけるタップ決定処理の第３の実施の形態について説明する。
【０１００】
タップ決定回路７では、ステップＳ４１乃至Ｓ４３において、図６のステップＳ１１乃至Ｓ１３における場合とそれぞれ同様の処理が行われる。これにより、基本タップの設定、中心画素を始点とする、基本タップの他のＳＤ画素を通る１６の方向Ｄ1乃至Ｄ16の検出、およびその検出された方向を表す変数ｉの初期化が行われる。
【０１０１】
そして、ステップＳ４４に進み、方向Ｄi上にある基本タップとなっているＳＤ画素（の画素値）を近似する関数としての、例えば、直線（以下、適宜、近似直線という）Ｌiが求められ、ステップＳ４５に進む。ステップＳ４５では、方向Ｄi上のタップとなっているＳＤ画素（中心画素を含む）それぞれの、近似直線Ｌiに対する誤差（例えば、自乗誤差）が求められ、さらに、その誤差の積算値が求められる。そして、ステップＳ４６に進み、その誤差の積算値が、所定の閾値より大であるかどうかが判定される。
【０１０２】
ステップＳ４６において、誤差の積算値が所定の閾値より大でないと判定された場合、即ち、方向Ｄi上にあるタップとなっているＳＤ画素どうしの間に、それほど大きな変化がなく、定常性が認められる場合、ステップＳ４７に進み、方向Ｄi上の、中心画素以外のタップすべてが、その方向Ｄiに沿って（外側に）、例えば、１画素分だけ移動される。そして、ステップＳ４５に進み、以下、同様の処理が繰り返される。
【０１０３】
また、ステップＳ４６において、誤差の積算値が所定の閾値より大であると判定された場合、即ち、方向Ｄi上にあるタップとなっているＳＤ画素どうしの間に、比較的大きな変化があり、定常性が認められない場合、ステップＳ４８に進み、変数ｉが１だけインクリメントされる。そして、ステップＳ４９に進み、変数ｉが、ステップＳ４２で検出された方向の総数Ｉ以下であるかどうかが判定される。
【０１０４】
ステップＳ４９において、変数ｉがＩ以下であると判定された場合、即ち、ステップＳ４２で検出されたすべての方向について、まだ、誤差の積算値が所定の閾値より大となるＳＤ画素がタップとされていない場合、ステップＳ４４に戻り、以下、同様の処理が繰り返される。
【０１０５】
一方、ステップＳ４９において、変数ｉがＩ以下でないと判定された場合、即ち、ステップＳ４２で検出されたすべての方向について、誤差の積算値が所定の閾値より大となるＳＤ画素がタップとされた場合、ステップＳ５０に進み、いまタップを構成しているＳＤ画素の位置に関する情報が、タップ情報として、クラスタップ生成回路２および予測タップ生成回路３に出力され、リターンする。
【０１０６】
以上のようなタップ決定処理の第３の実施の形態によれば、クラスタップ生成回路２および予測タップ生成回路３において、例えば、図１１に示すようなタップが構成されることになる。
【０１０７】
即ち、図１１（Ａ）は、図７（Ａ）と同様に、基本タップを示しており、従って、中心画素となっているＳＤ画素に対して、方向Ｄ1については、その方向に隣接する２つのＳＤ画素が、また、方向Ｄ9についても、その方向に隣接する２つのＳＤ画素が、タップとなっている。
【０１０８】
図１１（Ｂ）は、図１１（Ａ）の基本タップから、図１０のタップ決定処理によって構成されるタップを示しており、方向Ｄ1およびＤ9のいずれについても、その近似直線Ｌ1およびＬ9に対する誤差の積算値を所定の閾値より大とするようなＳＤ画素がタップとなっている。
【０１０９】
なお、図１０および図１１の実施の形態では、方向Ｄi上にある、基本タップとなっているＳＤ画素を近似する直線Ｌiに対する、タップを構成するＳＤ画素の誤差の積算値に基づいて、タップを構成させるＳＤ画素を決定するようにしたが、その他、例えば、誤差の分散等に基づいて、タップを構成させるＳＤ画素を決定するようにすることも可能である。
【０１１０】
また、図１０の実施の形態では、ステップＳ４７において、方向Ｄi上の、中心画素以外のタップすべてを、その方向Ｄiに沿って、例えば、１画素分だけ移動するようにしたが、ステップＳ４７では、その他、例えば、方向Ｄi上のタップどうしの間隔を、例えば１画素分拡げるように、タップを移動するようにしても良い。
【０１１１】
さらに、図１０および図１１の実施の形態では、方向Ｄi上にある、基本タップとなっているＳＤ画素を近似する関数として、直線を求め、その直線に対する誤差に基づいて、タップを決定するようにしたが、その他、例えば、２以上の方向にある、基本タップとなっているＳＤ画素を近似する関数である平面や曲面を求め、その平面や曲面に対する誤差に基づいて、タップを決定するようにすることも可能である。
【０１１２】
次に、図１２は、図１の係数RAM５に記憶させるクラスごとの予測係数を求める学習装置の一実施の形態の構成例を示している。
【０１１３】
フレームメモリ６１には、教師データｙとなる原画像（ここでは、解像度の高いＨＤ画像）が、例えば、フレーム単位で供給されるようになっており、フレームメモリ６１は、その原画像を、一時記憶するようになっている。間引き回路６２は、フレームメモリ６１に記憶された、予測係数の学習において教師データｙとなる原画像を読み出し、その原画像を構成する画素数を間引くことにより、生徒データとしての、解像度の低いＳＤ画像を生成するようになっている。印３、間引き回路６２は、例えば、図２に×印で示したＨＤ画像の、横と縦の画素数を、それぞれ１／２に間引くことにより、同じく図２に○印で示すＳＤ画素を生成するようになっている。このＳＤ画像は、フレームメモリ６３に供給されるようになっている。
【０１１４】
フレームメモリ６３は、間引き回路６２からのＳＤ画像を一時記憶するようになっている。なお、フレームメモリ６１および６３は、図１のフレームメモリ１と同様に構成されている。
【０１１５】
クラスタップ生成回路６４または予測タップ生成回路６５は、フレームメモリ６３に記憶されたＳＤ画像を構成するＳＤ画素を用い、図１のクラスタップ生成回路２または予測タップ生成回路３と同様に、タップ決定回路７２からのタップ情報にしたがって、注目画素となっている教師データについて、クラスタップまたは予測タップを構成し、クラス分類回路６６または加算回路６７にそれぞれ供給するようになっている。なお、予測タップは、加算回路６７にも供給されるようになっている。
【０１１６】
クラス分類回路６６は、図１のクラス分類回路４と同様に構成され、クラスタップ生成回路６４からのクラスタップに基づいて、注目画素をクラス分類し、対応するクラスコードを、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えるようになっている。
【０１１７】
加算回路６７は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、予測タップメモリ６８から読み出し、その記憶値と、予測タップ生成回路６５からの予測タップを構成するＳＤ画素（の画素値）とを加算することで、式（７）の正規方程式の左辺における、予測係数ｗの乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【０１１８】
予測タップメモリ６８は、クラス分類回路６６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路６７に供給するとともに、そのアドレスに、加算回路６７の出力値を記憶するようになっている。
【０１１９】
加算回路６９は、フレームメモリ６１に記憶された原画像を構成する原画素のうちの、注目画素を、教師データｙとして読み出すとともに、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、教師データメモリ７０から読み出し、その記憶値と、フレームメモリ６１から読み出した教師データ（原画素）ｙとを加算することで、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【０１２０】
なお、加算回路６７および６９では、式（７）における乗算も行われる。即ち、加算器６７では、予測タップを構成するＳＤ画素ｘどうしの乗算も行われ、また、加算器６９では、予測タップを構成するＳＤ画素ｘと、教師データｙとの乗算も行われる。従って、加算器６９では、予測タップを構成するＳＤ画素ｘが必要となるが、これは、上述のように、予測タップ生成回路６５から供給されるようになっている。
【０１２１】
教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給するとともに、そのアドレスに、加算回路６９の出力値を記憶するようになっている。
【０１２２】
演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求めるようになっている。即ち、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれの、各クラスコードに対応するアドレスに記憶されている記憶値から、式（７）の正規方程式をたて、これを解くことにより、クラスごとの予測係数を求めるようになっている。
【０１２３】
タップ決定回路７２は、図１のタップ決定回路７と同様のタップ決定処理を行うことで、クラスタップ生成回路６４および予測タップ生成回路６５に生成させるタップに関するタップ情報を決定し、クラスタップ生成回路６４および予測タップ生成回路６５に供給するようになっている。
【０１２４】
次に、図１３のフローチャートを参照して、図１２の学習装置において行われる、クラスごとの予測係数を求める学習処理について説明する。
【０１２５】
学習装置には、教師データとなる原画像（動画像）としてのＨＤ画像が、フレーム単位で供給されるようになっており、そのＨＤ画像は、フレームメモリ６１において順次記憶されていく。そして、フレームメモリ６１に記憶された原画像としてのＨＤ画像は、ステップＳ６１において、間引き回路６２に供給され、そこで、ＳＤ画像とされる。このＳＤ画像は、生徒データとして、間引き回路６２からフレームメモリ６３に供給されて記憶される。
【０１２６】
そして、タップ決定回路７２は、フレームメモリ６３に記憶されたＳＤ画像のフレームに対応するＨＤ画像のフレームの所定のＨＤ画素を注目画素とし、ステップＳ６２において、図１のタップ決定回路７における場合と同様にして、その注目画素についてのタップを構成させるＳＤ画素を決定し、そのＳＤ画素に関するタップ情報を、クラスタップ生成回路６４および予測タップ生成回路６５に出力する。
【０１２７】
クラスタップ生成回路６４または予測タップ生成回路６５では、ステップＳ６３において、タップ決定回路７２からのタップ情報にしたがい、注目画素についてのクラスタップまたは予測タップを構成させるＳＤ画素が、フレームメモリ６３から読み出され、クラスタップまたは予測タップがそれぞれ構成される。そして、クラスタップは、クラス分類回路６６に供給され、予測タップは、加算回路６７および６９に供給される。
【０１２８】
クラス分類回路６６では、ステップＳ６４において、図１のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目画素がクラス分類され、そのクラス分類結果としてのクラスコードが、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えられる。
【０１２９】
そして、ステップＳ６５に進み、予測タップ（生徒データ）、教師データの足し込みが行われる。
【０１３０】
即ち、ステップＳ６５では、予測タップメモリ６８は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６７に供給する。加算回路６７は、予測タップメモリ６８から供給される記憶値と、予測タップ生成回路６５から供給されるの予測タップを構成するＳＤ画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、予測タップメモリ６８のアドレスに、上書きする形で記憶させる。
【０１３１】
さらに、ステップＳ６５では、教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給する。加算回路６９は、フレームメモリ６１から、注目画素を読み出し、その読み出した注目画素となっているＨＤ画素、予測タップ、および教師データメモリ７０から供給された記憶値を用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、教師データメモリ７０のアドレスに、上書きする形で記憶させる。
【０１３２】
その後、ステップＳ６６に進み、注目画素のフレームを構成するすべてのＨＤ画素を、注目画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ６２に戻り、まだ注目画素としていないＨＤ画素を、新たに注目画素として、以下、同様の処理が繰り返される。
【０１３３】
また、ステップＳ６６において、注目画素のフレームを構成するすべてのＨＤ画素を、注目画素として処理を行ったと判定された場合、ステップＳ６７に進み、次に処理すべきＨＤ画像のフレームが、フレームメモリ６１に記憶されているかどうかが判定される。ステップＳ６７において、次に処理すべきＨＤ画像のフレームが、フレームメモリ６１に記憶されていると判定された場合、ステップＳ６１に戻り、その、次に処理すべきＨＤ画像のフレームを対象に、同様の処理が繰り返される。
【０１３４】
また、ステップＳ６７において、次に処理すべきＨＤ画像のフレームが、フレームメモリ６１に記憶されていないと判定された場合、即ち、あらかじめ学習用に用意しておいたすべてのＨＤ画像を用いて処理を行った場合、ステップＳ６８に進み、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求める。さらに、演算回路７１は、ステップＳ６９において、その求めたクラスごとの予測係数を出力して、学習処理を終了する。
【０１３５】
なお、以上のような予測係数の学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトの予測係数を出力するようにすること等が可能である。
【０１３６】
以上のように、タップを構成するＳＤ画素の波形特性に基づいて、そのタップを構成させるＳＤ画素を決定するようにしたので、例えば、注目画素の性質を十分に反映したクラス分けを行うためのクラスタップや、予測値の予測誤差を小さくする予測タップの構成が可能となり、その結果、クラス分類適応処理の処理性能を向上させることができる。
【０１３７】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての画素処理装置や学習装置に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０１３８】
そこで、図１４を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０１３９】
プログラムは、図１４（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２や半導体メモリ１０３に予めインストールした状態でユーザに提供することができる。
【０１４０】
あるいはまた、プログラムは、図１４（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０１４１】
さらに、プログラムは、図１４（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１０１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１３１を介して、コンピュータ１２３に有線で転送し、コンピュータ１０１において、内蔵するハードディスク１０２などに格納させるようにすることができる。
【０１４２】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０１４３】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１４４】
次に、図１５は、図１４のコンピュータ１０１の構成例を示している。
【０１４５】
コンピュータ１０１は、図１５に示すように、CPU(Central Processing Unit)１４２を内蔵している。CPU１４２には、バス１４１を介して、入出力インタフェース１４５が接続されており、CPU１４２は、入出力インタフェース１４５を介して、ユーザによって、キーボードやマウス等で構成される入力部１４７が操作されることにより指令が入力されると、それにしたがって、図１４（Ａ）の半導体メモリ１０３に対応するROM(Read Only Memory)１４３に格納されているプログラムを実行する。あるいは、また、CPU１４２は、ハードディスク１０２に格納されているプログラム、衛星１２２若しくはネットワーク１３１から転送され、通信部１４８で受信されてハードディスク１０２にインストールされたプログラム、またはドライブ１４９に装着されたフロッピディスク１１１、CD-ROM１１２、MOディスク１１３、DVD１１４、若しくは磁気ディスク１１５から読み出されてハードディスク１０２にインストールされたプログラムを、RAM(Random Access Memory)１４４にロードして実行する。そして、CPU１４２は、その処理結果を、例えば、入出力インタフェース１４５を介して、LCD(Liquid CryStal Display)等で構成される表示部１４６に、必要に応じて出力する。
【０１４６】
なお、クラス分類適用処理は、教師データと生徒データとを用いて、クラスごとに予測係数を求める学習を行い、その予測係数と入力データとを用いた線形一次予測により、入力データから、教師データの予測値を求めるものであるから、学習に用いる教師データおよび生徒データによって、所望の予測値を求めるための予測係数を得ることが可能となる。即ち、例えば、教師データとして、ぼけのない画像を用いるとともに、生徒データとして、その画像にぼけを付加した画像を用いることで、ぼけを改善する予測係数を得ることができる。また、例えば、教師データとして、ノイズを含まない画像を用いるとともに、生徒データとして、その画像にノイズを付加した画像を用いることで、ノイズの除去を行う予測係数を得ることができる。従って、本発明は、上述したような解像度を向上させる場合の他、ノイズを除去する場合や、ぼけを改善する場合、その他、例えば波形等化を行う場合等に適用可能である。
【０１４７】
また、本実施の形態では、動画像を、クラス分類適用処理の対象としたが、動画像の他、静止画、さらには、音声や、記録媒体から再生された信号（RF(Radio Frequency)信号）等を対象とすることも可能である。
【０１４８】
さらに、本実施の形態では、クラスタップおよび予測タップは、同一のタップ情報にしたがって構成されることから、同一の画素で構成されることになるが、クラスタップと予測タップとは、異なる構成とすること、即ち、異なるタップ情報にしたがって構成することも可能である。
【０１４９】
また、本実施の形態では、クラスタップおよび予測タップのいずれも、タップ情報にしたがい、注目画素から見て可変の位置のＳＤ画素で構成するようにしたが、クラスタップまたは予測タップのうちのいずれか一方は、注目画素から見て固定の位置のＳＤ画素で構成することが可能である。
【０１５０】
さらに、本実施の形態では、タップを構成しているＳＤ画素が極値かどうかや、そのダイナミックレンジ、近似直線等に対する誤差に基づいて、タップを構成させるＳＤ画素を決定するようにしたが、それら以外の、タップを構成しているＳＤ画素の波形上の特徴（波形特性）に基づいて、タップを構成させるＳＤ画素を決定することが可能である。
【０１５１】
また、本実施の形態では、中心画素を始点とする各方向ごとに、タップを構成させるＳＤ画素を決定するようにしたが、タップを構成させる画素は、必ずしも、そのような方向ごとに決定する必要はない。
【０１５２】
さらに、本実施の形態では、画像処理装置と、その画像処理装置で用いるクラスごとの予測係数を学習する学習装置とを、別々の装置として構成するようにしたが、これらの画像処理装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、画像処理装置で用いる予測係数を、リアルタイムで更新させるようにすることが可能である。
【０１５３】
また、本実施の形態では、係数RAM５に、あらかじめクラスごとの予測係数を記憶させておくようにしたが、この予測係数は、例えば、入力画像（ＳＤ画像）とともに、画像処理装置に供給するようにすることも可能である。
【０１５４】
さらに、クラスタップおよび予測タップは、空間方向および時間方向のいずれの方向にある画素を用いて構成することも可能である。
【０１５５】
なお、学習処理では、上述したように、予測タップを用いて、式（７）のサメーション（Σ）に相当する足し込みが行われるが、注目画素から見て異なる位置のＳＤ画素で構成される予測タップを用いた足し込みは、それらの予測タップの、対応する画素どうしを対象に行われる。
【０１５６】
即ち、図３に示したように、基本タップを、中心画素を中心とする５×５画素の２５画素で構成するとすると、本実施の形態では、図３に示した１６の方向Ｄ1乃至Ｄ16それぞれの上にある任意の画素で、予測タップが構成される。従って、ある予測タップと、他の予測タップとは、中心画素から見て異なる位置にある画素で構成されるが、この場合、例えば、ある予測タップにおいて、方向Ｄ1の、中心画素から１番目にあるタップとしての画素は、他の予測タップにおいて、方向Ｄ1の、中心画素から１番目にあるタップとしての画素と足し込まれる。
【０１５７】
さらに、クラス分類も、同様の観点から行われる。即ち、例えば、あるクラスタップを構成する各方向のタップとしての各画素（の画素値）が、他のクラスタップを構成する、対応する方向の、中心画素から対応する順番にあるタップとしての画素それぞれに等しい場合は、その２つのクラスタップそれぞれを用いたクラス分類結果は、同一になる（同一のクラスにクラス分類される）。
【０１５８】
【発明の効果】
以上の如く、本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、注目出力データに近い予測値を求めることが可能となる。
【０１５９】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、教師データに近い予測値を求めることが可能な予測係数を得ることが可能となる。
【０１６０】
本発明の第３のデータ処理装置によれば、予測係数を用いることで、注目出力データに近い予測値を求めることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】基本タップを示す図である。
【図３】図１のタップ決定回路７の処理を説明するための図である。
【図４】図１のタップ決定回路７の処理を説明するための図である。
【図５】図１の画像処理装置による解像度改善処理を説明するためのフローチャートである。
【図６】図５のステップＳ１における第１のタップ決定処理を説明するためのフローチャートである。
【図７】図５のステップＳ１における第１のタップ決定処理を説明するための図である。
【図８】図５のステップＳ１における第２のタップ決定処理を説明するためのフローチャートである。
【図９】図５のステップＳ１における第２のタップ決定処理を説明するための図である。
【図１０】図５のステップＳ１における第３のタップ決定処理を説明するためのフローチャートである。
【図１１】図５のステップＳ１における第３のタップ決定処理を説明するための図である。
【図１２】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図１３】図１２の学習装置による学習処理を説明するためのフローチャートである。
【図１４】本発明を適用した媒体を説明するための図である。
【図１５】図１４のコンピュータ１０１の構成例を示すブロック図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路， ３ 予測タップ生成回路， ４ クラス分類回路， ５ 係数RAM， ６ 予測演算回路， ７ タップ決定回路， ６１ フレームメモリ， ６２ 間引き回路， ６３ フレームメモリ， ６４ クラスタップ生成回路， ６５ 予測タップ生成回路， ６６クラス分類回路， ６７ 加算回路， ６８ 予測タップメモリ， ６９ 加算回路， ７０ 教師データメモリ， ７１ 演算回路， ７２ タップ決定回路， １０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク， １１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ ダウンロードサイト， １２２ 衛星， １３１ ネットワーク， １４１ バス， １４２ CPU， １４３ ROM， １４４ RAM， １４５ 入出力インタフェース， １４６ 表示部， １４７ 入力部， １４８ 通信部， １４９ ドライブ
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに媒体に関し、例えば、画像データ等のデータ処理を行う際の、その処理性能を向上させることができるようにするデータ処理装置およびデータ処理方法、並びに媒体に関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の改善を行うための処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【０００４】
即ち、適応処理では、例えば、入力画像（クラス分類適応処理の処理対象の画像）を構成する画素（以下、適宜、入力画素という）と、所定の予測係数との線形結合により、原画像の画素の予測値を求めることで、その入力画像に含まれるノイズを除去した画像や、入力画像に生じているぼけを改善した画像、解像度を向上させた画像等が得られるようになっている。
【０００５】
具体的には、例えば、いま、原画像（例えば、ノイズを含まない画像や、ぼけのない画像、解像度の高い画像等）を教師データとするとともに、その原画像にノイズを重畳したり、あるいはぼかしを付加した入力画像を生徒データとして、原画像を構成する画素（以下、適宜、原画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの入力画素（入力画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
式（１）を一般化するために、予測係数ｗの集合でなる行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【０００７】
【数１】
【０００８】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、式（１）において、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。
【０００９】
そして、この観測方程式に最小自乗法を適用して、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる原画素の真の画素値（真値）ｙの集合でなる行列Ｙ、および原画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００１０】
【数２】
【００１１】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
この場合、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【００１２】
【数３】
【００１３】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００１５】
【数５】
式（４）および（５）より、式（６）が得られる。
【００１６】
【数６】
さらに、式（３）の残差方程式における生徒データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１７】
【数７】
式（７）の正規方程式を構成する各式は、生徒データｘおよび教師データｙを、ある程度の数だけ用意することで、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００１８】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００１９】
なお、適応処理は、入力画像には含まれていないが、原画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、原画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができ、上述したように、入力画像からノイズやぼけを除去した原画像の予測値を求める他、例えば、低解像度または標準解像度の画像を、高解像度の画像に変換するような場合にも用いることができる。
【００２０】
【発明が解決しようとする課題】
上述したように、クラス分類適応処理では、各クラスごとに適応処理が施されるが、その前段で行われるクラス分類では、予測値を求めようとする原画素（原画素は、学習時以外においては、実際に存在するわけではないため、ここでは、想定することになる）に注目し、その注目画素の位置の周辺にある複数の入力画素が抽出され、その性質（例えば、その複数の入力画素の画素値のパターンや、画素値の傾斜等）に基づいて、注目画素がクラス分けされる。そして、このクラス分類に用いられる複数の入力画素としては、注目画素から見て、固定の位置にある入力画素が抽出される。
【００２１】
しかしながら、クラス分類適応処理によって、例えば、ぼけのある入力画像を、そのぼけを改善した画像に変換する場合等において、その入力画像のぼけの度合いに関係なく、注目画素から見て、固定の位置にある入力画素を、注目画素のクラス分類に用いたのでは、その注目画素の性質を十分に反映したクラス分けが困難となることがある。
【００２２】
即ち、例えば、ぼけ度（ぼけの度合い）の小さい入力画像を対象にクラス分類適応処理を行う場合においては、注目画素から見て、比較的近い位置にある入力画素を用いてクラス分類を行う方が、注目画素の性質を十分に反映したクラス分けを行うことができる。また、ぼけ度の大きい入力画像を対象にクラス分類適応処理を行う場合においては、注目画素から見て、比較的遠い位置にある入力画素を用いてクラス分類を行う方が、その性質を十分に反映したクラス分けを行うことができる。
【００２３】
さらに、例えば、注目画素の位置の周辺部分の入力画像が平坦なものである場合には、ある程度の変化が見られる入力画像の広い範囲にある入力画素を用いてクラス分類を行う方が、注目画素の性質を十分に反映したクラス分けを行うことができる。
【００２４】
従って、注目画素から見て、固定の位置にある入力画素を、注目画素のクラス分類に用いたのでは、その注目画素の性質を十分に反映したクラス分けができず、その結果、クラス分類適応処理の処理性能が劣化すること、即ち、クラス分類処理によって、入力画像を十分に改善した画像が得られないことがある。
【００２５】
また、適応処理でも、注目画素から見て、固定の位置にある入力画素を用いて、式（１）の線形予測式が演算され、注目画素の予測値が求められるが、この場合も、クラス分類における場合と同様に、必要に応じて、注目画素から見て、可変の位置にある入力画素を用いて、式（１）の線形予測式を演算した方が、注目画素に対する予測誤差の小さい予測値が求められることが予想される。
【００２６】
本発明は、このような状況に鑑みてなされたものであり、例えば、クラス分類適応処理等の処理性能を向上させることができるようにするものである。
【００２７】
【課題を解決するための手段】
本発明の第１のデータ処理装置は、入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータを決定する決定手段と、決定手段における決定にしたがい、予測値を求めようとする出力データである注目出力データについて、複数のデータを、入力データから抽出する抽出手段と、抽出手段において抽出された複数のデータに基づいて、注目出力データの予測値を求める予測手段とを含むことを特徴とする。
【００２８】
第１のデータ処理装置には、抽出手段において抽出された複数のデータに基づき、注目出力データについてクラス分類を行い、対応するクラスコードを出力するクラス分類手段をさらに設けることができ、この場合、予測手段には、クラスコードに対応する所定の予測係数を用いて、注目出力データの予測値を求めさせることができる。
【００２９】
また、予測手段には、予測係数を用いて、注目出力データを、線形一次予測させることができる。さらに、予測手段には、予測係数と、抽出手段において抽出された複数のデータとを用いて、注目出力データを、線形一次予測させることができる。
【００３０】
第１のデータ処理装置には、クラスコードごとに、予測係数を記憶している予測係数記憶手段をさらに設けることができる。
【００３２】
入力データおよび出力データは、画像データとすることができる。さらに、この場合、抽出手段には、入力データとしての画像データから、注目出力データとしての画素に対して、空間的または時間的に周辺にある画素を抽出させることができる。
【００３３】
本発明の第１のデータ処理方法は、入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータを決定する決定ステップと、決定ステップにおける決定にしたがい、予測値を求めようとする出力データである注目出力データについて、複数のデータを、入力データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータに基づいて、注目出力データの予測値を求める予測ステップとを含むことを特徴とする。
【００３４】
本発明の第１の記録媒体に記録されているプログラムは、入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータを決定する決定ステップと、決定ステップにおける決定にしたがい、予測値を求めようとする出力データである注目出力データについて、複数のデータを、入力データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータに基づいて、注目出力データの予測値を求める予測ステップとを含むことを特徴とする。
【００３５】
本発明の第２のデータ処理装置は、予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成手段と、生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータを決定する決定手段と、決定手段における決定にしたがい、予測値を求めようとする教師データである注目教師データについて、複数のデータを、生徒データから抽出する抽出手段と、抽出手段において抽出された複数のデータに基づいて、予測係数を求める演算手段とを含むことを特徴とする。
【００３６】
第２のデータ処理装置には、抽出手段において抽出された複数のデータに基づき、注目教師データについてクラス分類を行い、対応するクラスコードを出力するクラス分類手段をさらに設けることができ、この場合、演算手段には、抽出手段において抽出された複数のデータを用いて、クラスコードごとに、予測係数を求めさせることができる。
【００３７】
演算手段には、線形一次予測によって、教師データが得られるようにするための予測係数を求めさせることができる。また、演算手段には、抽出手段において抽出された複数のデータを用いての線形一次予測によって、教師データが得られるようにするための予測係数を求めさせることができる。
【００３９】
生徒データおよび教師データは、画像データとすることができる。この場合、抽出手段には、生徒データとしての画像データから、注目教師データとしての画素に対して、空間的または時間的に周辺にある画素を抽出させることができる。
【００４０】
本発明の第２のデータ処理方法は、予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成ステップと、生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータを決定する決定ステップと、決定ステップにおける決定にしたがい、予測値を求めようとする教師データである注目教師データについて、複数のデータを、生徒データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータに基づいて、予測係数を求める演算ステップとを含むことを特徴とする。
【００４１】
本発明の第２の記録媒体に記録されているプログラムは、予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成ステップと、生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータを決定する決定ステップと、決定ステップにおける決定にしたがい、予測値を求めようとする教師データである注目教師データについて、複数のデータを、生徒データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータに基づいて、予測係数を求める演算ステップとを含むことを特徴とする。
【００４２】
本発明の第３のデータ処理装置は、入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータを決定する第１の決定手段と、第１の決定手段における決定にしたがい、予測値を求めようとする出力データである注目出力データについて、第１の複数のデータを、入力データから抽出する第１の抽出手段と、第１の抽出手段において抽出された第１の複数のデータに基づいて、注目出力データの予測値を求める予測手段と、予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成手段と、生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータを決定する第２の決定手段と、第２の決定手段における決定にしたがい、予測値を求めようとする教師データである注目教師データについて、第２の複数のデータを、生徒データから抽出する第２の抽出手段と、第２の抽出手段において抽出された複数のデータに基づいて、予測係数を求める演算手段とを含むことを特徴とする。
【００４３】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体においては、入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータが決定され、その決定にしたがい、予測値を求めようとする出力データである注目出力データについて、複数のデータが、入力データから抽出される。そして、その抽出された複数のデータに基づいて、注目出力データの予測値が求められる。
【００４４】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体においては、予測係数の学習のための教師となる教師データから、生徒となる生徒データが生成され、その生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータが決定される。そして、その決定にしたがい、予測値を求めようとする教師データである注目教師データについて、複数のデータが、生徒データから抽出され、その抽出された複数のデータに基づいて、予測係数が求められる。
【００４５】
本発明の第３のデータ処理装置においては入力データから抽出される複数のデータが極値となるように、入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、入力データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、入力データから抽出する複数のデータが決定され、その決定にしたがい、予測値を求めようとする出力データである注目出力データについて、第１の複数のデータが、入力データから抽出される。そして、その抽出された第１の複数のデータに基づいて、注目出力データの予測値が求められる。一方、予測係数の学習のための教師となる教師データから、生徒となる生徒データが生成され、その生徒データから抽出される複数のデータが極値となるように、生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、生徒データから抽出される複数のデータを近似する関数に対する複数データの誤差が閾値以上となるように、複数のデータが抽出される領域を拡大していくことによって、生徒データから抽出する複数のデータが決定される。そして、その決定にしたがい、予測値を求めようとする教師データである注目教師データについて、第２の複数のデータが、生徒データから抽出され、その抽出された複数のデータに基づいて、予測係数が求められる。
【００４６】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００４７】
この画像処理装置においては、例えば、解像度の低いＳＤ(Standard Density)画像が、入力画像として入力されると、その入力画像に対して、クラス分類適応処理が施されることにより、高解像度の画像（ＨＤ(High Density)画像）が出力されるようになっている。
【００４８】
即ち、この画像処理装置は、フレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、係数RAM(Random Access Memory)５、予測演算回路６、およびタップ決定回路７から構成され、そこには、解像度の改善を行う対象となる入力画像（ＳＤ画像）が入力されるようになっている。
【００４９】
フレームメモリ１は、画像処理装置に入力される入力画像を、例えば、フレーム単位で一時記憶するようになされている。なお、本実施の形態では、フレームメモリ１は、複数フレームの入力画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力される入力画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００５０】
クラスタップ生成回路２は、クラス分類適応処理により、予測値を求めようとする原画素（ここでは、解像度の高いＨＤ画像の画素）を、注目画素として、その注目画素についてのクラス分類に用いる入力画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶された入力画像から抽出し、これを、クラスタップとして、クラス分類回路４に出力するようになっている。
【００５１】
予測タップ生成回路３は、予測演算回路６において注目画素の予測値を求めるのに用いる入力画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶された入力画像から抽出し、これを予測タップとして、予測演算回路６に供給するようになされている。
【００５２】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップに基づいて、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数RAM５に対して、アドレスとして与えるようになされている。即ち、クラス分類回路４は、クラスタップ生成回路２からのクラスタップを、例えば、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、係数RAM５に出力するようになっている。
【００５３】
ここで、KビットADRC処理においては、例えば、クラスタップを構成する入力画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する入力画素がKビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各入力画素の画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００５４】
係数RAM５は、後述する学習装置において学習が行われることにより得られるクラスごとの予測係数を記憶しており、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給するようになっている。
【００５５】
予測演算回路６は、係数RAM５から供給される、注目画素のクラスについての予測係数ｗ，ｗ2，・・・と、予測タップ生成回路３からの予測タップ（を構成する各画素の画素値）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算を行うことにより、注目画素ｙの予測値Ｅ［ｙ］を求め、これを、解像度を改善した画素の画素値として出力するようになっている。
【００５６】
タップ決定回路７は、フレームメモリ１に記憶された入力画像の波形特性に基づいて、クラスタップおよび予測タップを構成させる入力画素を決定し、そのクラスタップおよび予測タップを構成させる入力画素に関する情報（以下、適宜、タップ情報という）を、クラスタップ生成回路２および予測タップ生成回路３に供給するようになっている。
【００５７】
即ち、タップ決定回路７は、例えば、図２に点線で囲んで示すように、注目画素の位置にある入力画素を中心画素（ここでは、例えば、重心の位置にある画素を意味する）として、例えば、横×縦が５×５画素でなる正方形状のクラスタップおよび予測タップ（以下、適宜、両者をまとめて、単に、タップという）を、クラスタップ生成回路および予測タップ生成回路３に構成させる基本的なタップ（以下、適宜、基本タップという）として想定する。
【００５８】
ここで、図２において、×印は、ＨＤ画像を構成する画素（ＨＤ画素）を示しており、○印は、入力画像としてのＳＤ画像を構成する画素（ＳＤ画素）を示している。従って、図２では、ＳＤ画像は、ＨＤ画像の横と縦それぞれの画素数を、１／２にしたものとなっている。
【００５９】
タップ決定回路７は、基本タップを想定すると、例えば、図３に示すように、その中心画素を始点として、基本タップの他のＳＤ画素（入力画素）を通る方向を検出する。ここで、基本タップが、上述したように、５×５画素で構成されるときは、図３に示したように、中心画素を始点とする１６の方向Ｄ1乃至Ｄ16が検出されることになる。
【００６０】
さらに、タップ決定回路７は、各方向Ｄi（ここでは、ｉ＝１，２，・・・，１６）について、その方向にあるＳＤ画素の波形特性（画素値の特性）に基づいて、最終的にタップを構成させるＳＤ画素を決定する。即ち、各方向Ｄiについて、その方向にあるＳＤ画像の波形特性に基づいて、図４に示すように、その方向にあるタップを構成するＳＤ画素の位置が移動される。そして、タップ決定回路７は、その移動の結果、最終的にタップを構成することとなったＳＤ画素の位置に関する情報を、タップ情報として、クラスタップ生成回路２および予測タップ生成回路３に供給する。
【００６１】
次に、図５のフローチャートを参照して、図１の画像処理装置において行われる、入力画像の解像度を改善する解像度改善処理について説明する。
【００６２】
フレームメモリ１には、解像度改善処理の対象であるＳＤ画像（動画像）が、入力画像として、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給される入力画像が順次記憶されていく。
【００６３】
そして、予測値を求めようとする所定のＨＤ画素が注目画素とされ、ステップＳ１において、タップ決定回路７は、フレームメモリ１に記憶された入力画像の波形特性に基づいて、注目画素についてのタップを構成させる入力画素を決定し、その入力画素の位置に関するタップ情報を、クラスタップ生成回路２および予測タップ生成回路３に出力する。
【００６４】
クラスタップ生成回路２または予測タップ生成回路３は、タップ決定回路７からタップ情報を受信すると、ステップＳ２において、そのタップ情報にしたがい、予測値を求めようとする注目画素についてのクラスタップまたは予測タップを構成させる入力画素を、フレームメモリ１から読み出し、これによりクラスタップまたは予測タップをそれぞれ構成する。このクラスタップまたは予測タップは、クラス分類回路４または予測演算回路６にそれぞれ供給される。
【００６５】
クラス分類回路４は、クラスタップ生成回路２からクラスタップを受信すると、ステップＳ３において、そのクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られるクラスコードを、係数RAM５に対して、アドレスとして出力する。係数RAM５は、ステップＳ４において、クラス分類回路４からのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給する。
【００６６】
予測演算回路６では、ステップＳ５において、予測タップ生成回路３からの予測タップと、係数RAM５からの予測係数とを用いて、式（１）に示した線形予測式の演算が行われることにより、注目画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求められ、ステップＳ６に進む。ステップＳ６では、予測係数演算回路６が、ステップＳ５で求めた注目画素ｙの予測値Ｅ［ｙ］を、解像度を改善したＨＤ画素として出力し、ステップＳ７に進む。
【００６７】
ステップＳ７では、注目画素のフレームを構成するすべてのＨＤ画素の予測値が求められたかどうかが判定され、まだ求められていないと判定された場合、ステップＳ１に戻り、まだ予測値の求められていないＨＤ画素を、新たに注目画素として、ステップＳ１以降の処理が繰り返される。
【００６８】
また、ステップＳ７において、注目画素のフレームを構成するすべてのＨＤ画素の予測値が求められたと判定された場合、ステップＳ８に進み、次に処理すべきＨＤ画像のフレームに対応する入力画像（ＳＤ画像）が、フレームメモリ１に記憶されているかどうかが判定される。ステップＳ８において、次に処理すべきＨＤ画像のフレームに対応する入力画像が、フレームメモリ１に記憶されていると判定された場合、その、次に処理すべきＨＤ画像のフレームの所定のＨＤ画素を、新たに注目画素として、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００６９】
一方、ステップＳ８において、次に処理すべきＨＤ画像のフレームに対応する入力画像が、フレームメモリ１に記憶されていないと判定された場合、解像度改善処理を終了する。
【００７０】
次に、図６のフローチャートを参照して、タップ決定回路７で行われる、図５のステップＳ１におけるタップ決定処理の第１の実施の形態について説明する。
【００７１】
なお、以下、適宜、クラス分類や、式（１）の線形予測式の演算に用いるＳＤ画素の集合全体の他、その画素１つ１つも、タップという。
【００７２】
タップ決定回路７では、ステップＳ１１において、基本タップが設定される。即ち、ステップＳ１１では、図２に点線で囲んで示したように、注目画素の位置にある入力画素を中心画素として、横×縦が５×５画素でなるタップが、基本タップとして設定される。
【００７３】
そして、ステップＳ１２に進み、図３に示したように、中心画素を始点として、基本タップの他のＳＤ画素を通る１６の方向Ｄ1乃至Ｄ16が検出され、ステップＳ１３に進む。
【００７４】
ステップＳ１３では、ステップＳ１２で検出された１６の方向Ｄ1乃至Ｄ16を表す変数ｉが、例えば１に初期化され、ステップＳ１４に進み、各方向Ｄi上の、タップを表す変数ｊが、例えば１に初期化され、ステップＳ１５に進む。
【００７５】
ステップＳ１５では、方向Ｄi上の、中心画素からｊ番目にあるタップＴi,jとなっているＳＤ画素（の画素値）が極値となっているかどうかが判定される。ステップＳ１５において、タップＴi,jとなっているＳＤ画素が極値となっていないと判定された場合、ステップＳ１６に進み、方向Ｄi上のタップＴi,jと、それより外側（中心画素側ではない方）のタップが、例えば、中心画素から１画素だけ離れた位置に移動される。そして、ステップＳ１５に戻り、以下、同様の処理が繰り返される。
【００７６】
また、ステップＳ１５において、タップＴi,jとなっているＳＤ画素が極値となっていると判定された場合、ステップＳ１７に進み、変数ｊが１だけインクリメントされ、ステップＳ１８に進む。ステップＳ１８では、変数ｊが、方向Ｄi上にある、中心画素以外のタップを構成する画素数Ｊi以下であるかどうかが判定される。
【００７７】
ここで、例えば、図３において、方向Ｄ1，Ｄ3，Ｄ5，・・・，Ｄ15についてのＪiは２であり、方向Ｄ2，Ｄ4，Ｄ6，・・・，Ｄ16についてのＪiは１である。
【００７８】
ステップＳ１８において、変数ｊが、方向Ｄi上にある、中心画素以外のタップを構成する画素数Ｊi以下であると判定された場合、即ち、方向Ｄi上にある、中心画素以外のタップを構成するＳＤ画素のすべてが、まだ、極値をとっているものとされていない場合、ステップＳ１５に戻り、その極値でないＳＤ画素の位置にあるタップＴi,jを対象に、同様の処理が繰り返される。
【００７９】
また、ステップＳ１８において、変数ｊが、方向Ｄi上にある、中心画素以外のタップを構成する画素数Ｊi以下でないと判定された場合、即ち、方向Ｄi上にある、中心画素以外のタップを構成するＳＤ画素のすべてが、極値をとっているものとされた場合、ステップＳ１９に進み、変数ｉが１だけインクリメントされる。そして、ステップＳ２０に進み、変数ｉが、ステップＳ１２で検出された方向の総数Ｉ（図３の実施の形態では、１６）以下であるかどうかが判定される。
【００８０】
ステップＳ２０において、変数ｉがＩ以下であると判定された場合、即ち、ステップＳ１２で検出されたすべての方向について、まだ、極値となっているＳＤ画素がタップとされていない場合、ステップＳ１４に戻り、以下、同様の処理が繰り返される。
【００８１】
一方、ステップＳ２０において、変数ｉがＩ以下でないと判定された場合、即ち、ステップＳ１２で検出されたすべての方向について、極値となっているＳＤ画素がタップとされた場合、ステップＳ２１に進み、いま、タップを構成しているＳＤ画素の位置に関する情報が、タップ情報として、クラスタップ生成回路２および予測タップ生成回路３に出力され、リターンする。
【００８２】
以上のようなタップ決定処理の第１の実施の形態によれば、クラスタップ生成回路２および予測タップ生成回路３において、例えば、図７に示すようなタップが構成されることになる。
【００８３】
即ち、図７（後述する図９および図１１においても同様）は、図３に示した１６の方向のうちの、例えば、方向Ｄ1に注目し、その方向Ｄ1と、それと１８０度反対の方向Ｄ9にあるＳＤ画素を示している。
【００８４】
なお、図７（図９および図１１においても同様）では、タップを構成する中心画素の位置をｎで表し、さらに、その位置ｎからｍ画素（ｍは正の整数）だけ、Ｄ1の方向にある画素の位置をｎ−ｍで表すとともに、位置ｎからｍ画素だけ、Ｄ9の方向にある画素の位置をｎ＋ｍで表している。
【００８５】
また、図７（図９および図１１においても同様）において、×印は、ＳＤ画素（の画素値）を示しており、○印は、タップ（となっているＳＤ画素）を示している。
【００８６】
図７（Ａ）は、基本タップを示しており、従って、中心画素となっているＳＤ画素に対して、方向Ｄ1については、その方向に隣接する２つのＳＤ画素が、また、方向Ｄ9についても、その方向に隣接する２つのＳＤ画素が、タップとなっている。
【００８７】
図７（Ｂ）は、図７（Ａ）の基本タップから、図６のタップ決定処理によって構成されるタップを示しており、中心画素となっているＳＤ画素に対して、方向Ｄ1については、その方向に沿って最初に現れる極大値となっているＳＤ画素と、極小値となっているＳＤ画素がタップとなっており、また、方向Ｄ9についても、その方向に沿って最初に表される極小値となっているＳＤ画素と、極大値となっているＳＤ画素がタップとなっている。
【００８８】
次に、図８のフローチャートを参照して、タップ決定回路７で行われる、図５のステップＳ１におけるタップ決定処理の第２の実施の形態について説明する。
【００８９】
タップ決定回路７では、ステップＳ３１またはＳ３２において、図６のステップＳ１１またはＳ１２における場合とそれぞれ同様の処理が行われ、これにより、基本タップの設定と、中心画素を始点とする、基本タップの他のＳＤ画素を通る１６の方向Ｄ1乃至Ｄ16の検出が行われる。
【００９０】
そして、ステップＳ３３に進み、図６のステップＳ１３における場合と同様に、ステップＳ３２で検出された方向を表す変数ｉが、例えば１に初期化され、ステップＳ３４に進み、方向Ｄi上にあるタップとなっているＳＤ画素のダイナミックレンジＤＲiが演算される。即ち、ステップＳ３４では、方向Ｄi上にあるタップとなっているＳＤ画素すべて（中心画素を含む）の中から最大値と最小値（最大の画素値と最小の画素値）が検出され、その最大値と最小値との差分が、ダイナミックレンジＤＲiとして求められる。
【００９１】
ダイナミックレンジＤＲiの算出後は、ステップＳ３５に進み、そのダイナミックレンジＤＲiが、あらかじめ設定された閾値ｔｈより大であるかどうかが判定される。ステップＳ３５において、ダイナミックレンジＤＲiが閾値ｔｈ以下であると判定された場合、即ち、方向Ｄi上にあるタップとなっているＳＤ画素どうしの間に、それほど大きな変化がなく、従って、方向Ｄi上のタップに、定常性が認められる場合、ステップＳ３６に進み、方向Ｄi上のタップどうしの間隔が、例えば、１画素分だけ拡がるように、中心画素を除く、タップを構成するＳＤ画素が変更される。そして、ステップＳ３４に進み、以下、同様の処理が繰り返される。
【００９２】
また、ステップＳ３５において、ダイナミックレンジＤＲiが閾値ｔｈより大であると判定された場合、即ち、方向Ｄi上にあるタップとなっているＳＤ画素どうしの間に、比較的大きな変化があり、従って、方向Ｄi上のタップに、定常性がないと認められる場合、ステップＳ３７に進み、変数ｉが１だけインクリメントされる。そして、ステップＳ３８に進み、変数ｉが、ステップＳ３２で検出された方向の総数Ｉ以下であるかどうかが判定される。
【００９３】
ステップＳ３８において、変数ｉがＩ以下であると判定された場合、即ち、ステップＳ３２で検出されたすべての方向について、まだ、ダイナミックレンジが閾値ｔｈより大となるＳＤ画素がタップとされていない場合、ステップＳ３４に戻り、以下、同様の処理が繰り返される。
【００９４】
一方、ステップＳ３８において、変数ｉがＩ以下でないと判定された場合、即ち、ステップＳ３２で検出されたすべての方向について、ダイナミックレンジが閾値ｔｈより大となるＳＤ画素がタップとされた場合、ステップＳ３９に進み、いま、タップを構成しているＳＤ画素の位置に関する情報が、タップ情報として、クラスタップ生成回路２および予測タップ生成回路３に出力され、リターンする。
【００９５】
以上のようなタップ決定処理の第２の実施の形態によれば、クラスタップ生成回路２および予測タップ生成回路３において、例えば、図９に示すようなタップが構成されることになる。
【００９６】
即ち、図９（Ａ）は、図７（Ａ）と同様に、基本タップを示しており、従って、中心画素となっているＳＤ画素に対して、方向Ｄ1については、その方向に隣接する２つのＳＤ画素が、また、方向Ｄ9についても、その方向に隣接する２つのＳＤ画素が、タップとなっている。
【００９７】
図９（Ｂ）は、図９（Ａ）の基本タップから、図８のタップ決定処理によって構成されるタップを示しており、方向Ｄ1およびＤ9のいずれについても、そのダイナミックレンジＤＲ1およびＤＲ9を閾値ｔｈより大とするようなＳＤ画素がタップとなっている。
【００９８】
なお、図８および図９の実施の形態では、方向Ｄi上にあるタップとなっているＳＤ画素のうちの最大値と最小値との差分であるダイナミックレンジＤＲiが閾値ｔｈより大となるように、タップとなるＳＤ画素どうしの間隔を拡げるようにしたが、その他、例えば、方向Ｄi上にあるタップとなっているＳＤ画素の隣接するものどうしの差分が閾値ｔｈより大となるように、タップとなるＳＤ画素どうしの間隔を拡げるようにすること等も可能である。
【００９９】
次に、図１０のフローチャートを参照して、タップ決定回路７で行われる、図５のステップＳ１におけるタップ決定処理の第３の実施の形態について説明する。
【０１００】
タップ決定回路７では、ステップＳ４１乃至Ｓ４３において、図６のステップＳ１１乃至Ｓ１３における場合とそれぞれ同様の処理が行われる。これにより、基本タップの設定、中心画素を始点とする、基本タップの他のＳＤ画素を通る１６の方向Ｄ1乃至Ｄ16の検出、およびその検出された方向を表す変数ｉの初期化が行われる。
【０１０１】
そして、ステップＳ４４に進み、方向Ｄi上にある基本タップとなっているＳＤ画素（の画素値）を近似する関数としての、例えば、直線（以下、適宜、近似直線という）Ｌiが求められ、ステップＳ４５に進む。ステップＳ４５では、方向Ｄi上のタップとなっているＳＤ画素（中心画素を含む）それぞれの、近似直線Ｌiに対する誤差（例えば、自乗誤差）が求められ、さらに、その誤差の積算値が求められる。そして、ステップＳ４６に進み、その誤差の積算値が、所定の閾値より大であるかどうかが判定される。
【０１０２】
ステップＳ４６において、誤差の積算値が所定の閾値より大でないと判定された場合、即ち、方向Ｄi上にあるタップとなっているＳＤ画素どうしの間に、それほど大きな変化がなく、定常性が認められる場合、ステップＳ４７に進み、方向Ｄi上の、中心画素以外のタップすべてが、その方向Ｄiに沿って（外側に）、例えば、１画素分だけ移動される。そして、ステップＳ４５に進み、以下、同様の処理が繰り返される。
【０１０３】
また、ステップＳ４６において、誤差の積算値が所定の閾値より大であると判定された場合、即ち、方向Ｄi上にあるタップとなっているＳＤ画素どうしの間に、比較的大きな変化があり、定常性が認められない場合、ステップＳ４８に進み、変数ｉが１だけインクリメントされる。そして、ステップＳ４９に進み、変数ｉが、ステップＳ４２で検出された方向の総数Ｉ以下であるかどうかが判定される。
【０１０４】
ステップＳ４９において、変数ｉがＩ以下であると判定された場合、即ち、ステップＳ４２で検出されたすべての方向について、まだ、誤差の積算値が所定の閾値より大となるＳＤ画素がタップとされていない場合、ステップＳ４４に戻り、以下、同様の処理が繰り返される。
【０１０５】
一方、ステップＳ４９において、変数ｉがＩ以下でないと判定された場合、即ち、ステップＳ４２で検出されたすべての方向について、誤差の積算値が所定の閾値より大となるＳＤ画素がタップとされた場合、ステップＳ５０に進み、いまタップを構成しているＳＤ画素の位置に関する情報が、タップ情報として、クラスタップ生成回路２および予測タップ生成回路３に出力され、リターンする。
【０１０６】
以上のようなタップ決定処理の第３の実施の形態によれば、クラスタップ生成回路２および予測タップ生成回路３において、例えば、図１１に示すようなタップが構成されることになる。
【０１０７】
即ち、図１１（Ａ）は、図７（Ａ）と同様に、基本タップを示しており、従って、中心画素となっているＳＤ画素に対して、方向Ｄ1については、その方向に隣接する２つのＳＤ画素が、また、方向Ｄ9についても、その方向に隣接する２つのＳＤ画素が、タップとなっている。
【０１０８】
図１１（Ｂ）は、図１１（Ａ）の基本タップから、図１０のタップ決定処理によって構成されるタップを示しており、方向Ｄ1およびＤ9のいずれについても、その近似直線Ｌ1およびＬ9に対する誤差の積算値を所定の閾値より大とするようなＳＤ画素がタップとなっている。
【０１０９】
なお、図１０および図１１の実施の形態では、方向Ｄi上にある、基本タップとなっているＳＤ画素を近似する直線Ｌiに対する、タップを構成するＳＤ画素の誤差の積算値に基づいて、タップを構成させるＳＤ画素を決定するようにしたが、その他、例えば、誤差の分散等に基づいて、タップを構成させるＳＤ画素を決定するようにすることも可能である。
【０１１０】
また、図１０の実施の形態では、ステップＳ４７において、方向Ｄi上の、中心画素以外のタップすべてを、その方向Ｄiに沿って、例えば、１画素分だけ移動するようにしたが、ステップＳ４７では、その他、例えば、方向Ｄi上のタップどうしの間隔を、例えば１画素分拡げるように、タップを移動するようにしても良い。
【０１１１】
さらに、図１０および図１１の実施の形態では、方向Ｄi上にある、基本タップとなっているＳＤ画素を近似する関数として、直線を求め、その直線に対する誤差に基づいて、タップを決定するようにしたが、その他、例えば、２以上の方向にある、基本タップとなっているＳＤ画素を近似する関数である平面や曲面を求め、その平面や曲面に対する誤差に基づいて、タップを決定するようにすることも可能である。
【０１１２】
次に、図１２は、図１の係数RAM５に記憶させるクラスごとの予測係数を求める学習装置の一実施の形態の構成例を示している。
【０１１３】
フレームメモリ６１には、教師データｙとなる原画像（ここでは、解像度の高いＨＤ画像）が、例えば、フレーム単位で供給されるようになっており、フレームメモリ６１は、その原画像を、一時記憶するようになっている。間引き回路６２は、フレームメモリ６１に記憶された、予測係数の学習において教師データｙとなる原画像を読み出し、その原画像を構成する画素数を間引くことにより、生徒データとしての、解像度の低いＳＤ画像を生成するようになっている。印３、間引き回路６２は、例えば、図２に×印で示したＨＤ画像の、横と縦の画素数を、それぞれ１／２に間引くことにより、同じく図２に○印で示すＳＤ画素を生成するようになっている。このＳＤ画像は、フレームメモリ６３に供給されるようになっている。
【０１１４】
フレームメモリ６３は、間引き回路６２からのＳＤ画像を一時記憶するようになっている。なお、フレームメモリ６１および６３は、図１のフレームメモリ１と同様に構成されている。
【０１１５】
クラスタップ生成回路６４または予測タップ生成回路６５は、フレームメモリ６３に記憶されたＳＤ画像を構成するＳＤ画素を用い、図１のクラスタップ生成回路２または予測タップ生成回路３と同様に、タップ決定回路７２からのタップ情報にしたがって、注目画素となっている教師データについて、クラスタップまたは予測タップを構成し、クラス分類回路６６または加算回路６７にそれぞれ供給するようになっている。なお、予測タップは、加算回路６７にも供給されるようになっている。
【０１１６】
クラス分類回路６６は、図１のクラス分類回路４と同様に構成され、クラスタップ生成回路６４からのクラスタップに基づいて、注目画素をクラス分類し、対応するクラスコードを、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えるようになっている。
【０１１７】
加算回路６７は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、予測タップメモリ６８から読み出し、その記憶値と、予測タップ生成回路６５からの予測タップを構成するＳＤ画素（の画素値）とを加算することで、式（７）の正規方程式の左辺における、予測係数ｗの乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【０１１８】
予測タップメモリ６８は、クラス分類回路６６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路６７に供給するとともに、そのアドレスに、加算回路６７の出力値を記憶するようになっている。
【０１１９】
加算回路６９は、フレームメモリ６１に記憶された原画像を構成する原画素のうちの、注目画素を、教師データｙとして読み出すとともに、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、教師データメモリ７０から読み出し、その記憶値と、フレームメモリ６１から読み出した教師データ（原画素）ｙとを加算することで、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【０１２０】
なお、加算回路６７および６９では、式（７）における乗算も行われる。即ち、加算器６７では、予測タップを構成するＳＤ画素ｘどうしの乗算も行われ、また、加算器６９では、予測タップを構成するＳＤ画素ｘと、教師データｙとの乗算も行われる。従って、加算器６９では、予測タップを構成するＳＤ画素ｘが必要となるが、これは、上述のように、予測タップ生成回路６５から供給されるようになっている。
【０１２１】
教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給するとともに、そのアドレスに、加算回路６９の出力値を記憶するようになっている。
【０１２２】
演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求めるようになっている。即ち、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれの、各クラスコードに対応するアドレスに記憶されている記憶値から、式（７）の正規方程式をたて、これを解くことにより、クラスごとの予測係数を求めるようになっている。
【０１２３】
タップ決定回路７２は、図１のタップ決定回路７と同様のタップ決定処理を行うことで、クラスタップ生成回路６４および予測タップ生成回路６５に生成させるタップに関するタップ情報を決定し、クラスタップ生成回路６４および予測タップ生成回路６５に供給するようになっている。
【０１２４】
次に、図１３のフローチャートを参照して、図１２の学習装置において行われる、クラスごとの予測係数を求める学習処理について説明する。
【０１２５】
学習装置には、教師データとなる原画像（動画像）としてのＨＤ画像が、フレーム単位で供給されるようになっており、そのＨＤ画像は、フレームメモリ６１において順次記憶されていく。そして、フレームメモリ６１に記憶された原画像としてのＨＤ画像は、ステップＳ６１において、間引き回路６２に供給され、そこで、ＳＤ画像とされる。このＳＤ画像は、生徒データとして、間引き回路６２からフレームメモリ６３に供給されて記憶される。
【０１２６】
そして、タップ決定回路７２は、フレームメモリ６３に記憶されたＳＤ画像のフレームに対応するＨＤ画像のフレームの所定のＨＤ画素を注目画素とし、ステップＳ６２において、図１のタップ決定回路７における場合と同様にして、その注目画素についてのタップを構成させるＳＤ画素を決定し、そのＳＤ画素に関するタップ情報を、クラスタップ生成回路６４および予測タップ生成回路６５に出力する。
【０１２７】
クラスタップ生成回路６４または予測タップ生成回路６５では、ステップＳ６３において、タップ決定回路７２からのタップ情報にしたがい、注目画素についてのクラスタップまたは予測タップを構成させるＳＤ画素が、フレームメモリ６３から読み出され、クラスタップまたは予測タップがそれぞれ構成される。そして、クラスタップは、クラス分類回路６６に供給され、予測タップは、加算回路６７および６９に供給される。
【０１２８】
クラス分類回路６６では、ステップＳ６４において、図１のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目画素がクラス分類され、そのクラス分類結果としてのクラスコードが、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えられる。
【０１２９】
そして、ステップＳ６５に進み、予測タップ（生徒データ）、教師データの足し込みが行われる。
【０１３０】
即ち、ステップＳ６５では、予測タップメモリ６８は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６７に供給する。加算回路６７は、予測タップメモリ６８から供給される記憶値と、予測タップ生成回路６５から供給されるの予測タップを構成するＳＤ画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、予測タップメモリ６８のアドレスに、上書きする形で記憶させる。
【０１３１】
さらに、ステップＳ６５では、教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給する。加算回路６９は、フレームメモリ６１から、注目画素を読み出し、その読み出した注目画素となっているＨＤ画素、予測タップ、および教師データメモリ７０から供給された記憶値を用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、教師データメモリ７０のアドレスに、上書きする形で記憶させる。
【０１３２】
その後、ステップＳ６６に進み、注目画素のフレームを構成するすべてのＨＤ画素を、注目画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ６２に戻り、まだ注目画素としていないＨＤ画素を、新たに注目画素として、以下、同様の処理が繰り返される。
【０１３３】
また、ステップＳ６６において、注目画素のフレームを構成するすべてのＨＤ画素を、注目画素として処理を行ったと判定された場合、ステップＳ６７に進み、次に処理すべきＨＤ画像のフレームが、フレームメモリ６１に記憶されているかどうかが判定される。ステップＳ６７において、次に処理すべきＨＤ画像のフレームが、フレームメモリ６１に記憶されていると判定された場合、ステップＳ６１に戻り、その、次に処理すべきＨＤ画像のフレームを対象に、同様の処理が繰り返される。
【０１３４】
また、ステップＳ６７において、次に処理すべきＨＤ画像のフレームが、フレームメモリ６１に記憶されていないと判定された場合、即ち、あらかじめ学習用に用意しておいたすべてのＨＤ画像を用いて処理を行った場合、ステップＳ６８に進み、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求める。さらに、演算回路７１は、ステップＳ６９において、その求めたクラスごとの予測係数を出力して、学習処理を終了する。
【０１３５】
なお、以上のような予測係数の学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトの予測係数を出力するようにすること等が可能である。
【０１３６】
以上のように、タップを構成するＳＤ画素の波形特性に基づいて、そのタップを構成させるＳＤ画素を決定するようにしたので、例えば、注目画素の性質を十分に反映したクラス分けを行うためのクラスタップや、予測値の予測誤差を小さくする予測タップの構成が可能となり、その結果、クラス分類適応処理の処理性能を向上させることができる。
【０１３７】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての画素処理装置や学習装置に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０１３８】
そこで、図１４を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０１３９】
プログラムは、図１４（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２や半導体メモリ１０３に予めインストールした状態でユーザに提供することができる。
【０１４０】
あるいはまた、プログラムは、図１４（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０１４１】
さらに、プログラムは、図１４（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１０１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１３１を介して、コンピュータ１２３に有線で転送し、コンピュータ１０１において、内蔵するハードディスク１０２などに格納させるようにすることができる。
【０１４２】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０１４３】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１４４】
次に、図１５は、図１４のコンピュータ１０１の構成例を示している。
【０１４５】
コンピュータ１０１は、図１５に示すように、CPU(Central Processing Unit)１４２を内蔵している。CPU１４２には、バス１４１を介して、入出力インタフェース１４５が接続されており、CPU１４２は、入出力インタフェース１４５を介して、ユーザによって、キーボードやマウス等で構成される入力部１４７が操作されることにより指令が入力されると、それにしたがって、図１４（Ａ）の半導体メモリ１０３に対応するROM(Read Only Memory)１４３に格納されているプログラムを実行する。あるいは、また、CPU１４２は、ハードディスク１０２に格納されているプログラム、衛星１２２若しくはネットワーク１３１から転送され、通信部１４８で受信されてハードディスク１０２にインストールされたプログラム、またはドライブ１４９に装着されたフロッピディスク１１１、CD-ROM１１２、MOディスク１１３、DVD１１４、若しくは磁気ディスク１１５から読み出されてハードディスク１０２にインストールされたプログラムを、RAM(Random Access Memory)１４４にロードして実行する。そして、CPU１４２は、その処理結果を、例えば、入出力インタフェース１４５を介して、LCD(Liquid CryStal Display)等で構成される表示部１４６に、必要に応じて出力する。
【０１４６】
なお、クラス分類適用処理は、教師データと生徒データとを用いて、クラスごとに予測係数を求める学習を行い、その予測係数と入力データとを用いた線形一次予測により、入力データから、教師データの予測値を求めるものであるから、学習に用いる教師データおよび生徒データによって、所望の予測値を求めるための予測係数を得ることが可能となる。即ち、例えば、教師データとして、ぼけのない画像を用いるとともに、生徒データとして、その画像にぼけを付加した画像を用いることで、ぼけを改善する予測係数を得ることができる。また、例えば、教師データとして、ノイズを含まない画像を用いるとともに、生徒データとして、その画像にノイズを付加した画像を用いることで、ノイズの除去を行う予測係数を得ることができる。従って、本発明は、上述したような解像度を向上させる場合の他、ノイズを除去する場合や、ぼけを改善する場合、その他、例えば波形等化を行う場合等に適用可能である。
【０１４７】
また、本実施の形態では、動画像を、クラス分類適用処理の対象としたが、動画像の他、静止画、さらには、音声や、記録媒体から再生された信号（RF(Radio Frequency)信号）等を対象とすることも可能である。
【０１４８】
さらに、本実施の形態では、クラスタップおよび予測タップは、同一のタップ情報にしたがって構成されることから、同一の画素で構成されることになるが、クラスタップと予測タップとは、異なる構成とすること、即ち、異なるタップ情報にしたがって構成することも可能である。
【０１４９】
また、本実施の形態では、クラスタップおよび予測タップのいずれも、タップ情報にしたがい、注目画素から見て可変の位置のＳＤ画素で構成するようにしたが、クラスタップまたは予測タップのうちのいずれか一方は、注目画素から見て固定の位置のＳＤ画素で構成することが可能である。
【０１５０】
さらに、本実施の形態では、タップを構成しているＳＤ画素が極値かどうかや、そのダイナミックレンジ、近似直線等に対する誤差に基づいて、タップを構成させるＳＤ画素を決定するようにしたが、それら以外の、タップを構成しているＳＤ画素の波形上の特徴（波形特性）に基づいて、タップを構成させるＳＤ画素を決定することが可能である。
【０１５１】
また、本実施の形態では、中心画素を始点とする各方向ごとに、タップを構成させるＳＤ画素を決定するようにしたが、タップを構成させる画素は、必ずしも、そのような方向ごとに決定する必要はない。
【０１５２】
さらに、本実施の形態では、画像処理装置と、その画像処理装置で用いるクラスごとの予測係数を学習する学習装置とを、別々の装置として構成するようにしたが、これらの画像処理装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、画像処理装置で用いる予測係数を、リアルタイムで更新させるようにすることが可能である。
【０１５３】
また、本実施の形態では、係数RAM５に、あらかじめクラスごとの予測係数を記憶させておくようにしたが、この予測係数は、例えば、入力画像（ＳＤ画像）とともに、画像処理装置に供給するようにすることも可能である。
【０１５４】
さらに、クラスタップおよび予測タップは、空間方向および時間方向のいずれの方向にある画素を用いて構成することも可能である。
【０１５５】
なお、学習処理では、上述したように、予測タップを用いて、式（７）のサメーション（Σ）に相当する足し込みが行われるが、注目画素から見て異なる位置のＳＤ画素で構成される予測タップを用いた足し込みは、それらの予測タップの、対応する画素どうしを対象に行われる。
【０１５６】
即ち、図３に示したように、基本タップを、中心画素を中心とする５×５画素の２５画素で構成するとすると、本実施の形態では、図３に示した１６の方向Ｄ1乃至Ｄ16それぞれの上にある任意の画素で、予測タップが構成される。従って、ある予測タップと、他の予測タップとは、中心画素から見て異なる位置にある画素で構成されるが、この場合、例えば、ある予測タップにおいて、方向Ｄ1の、中心画素から１番目にあるタップとしての画素は、他の予測タップにおいて、方向Ｄ1の、中心画素から１番目にあるタップとしての画素と足し込まれる。
【０１５７】
さらに、クラス分類も、同様の観点から行われる。即ち、例えば、あるクラスタップを構成する各方向のタップとしての各画素（の画素値）が、他のクラスタップを構成する、対応する方向の、中心画素から対応する順番にあるタップとしての画素それぞれに等しい場合は、その２つのクラスタップそれぞれを用いたクラス分類結果は、同一になる（同一のクラスにクラス分類される）。
【０１５８】
【発明の効果】
以上の如く、本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、注目出力データに近い予測値を求めることが可能となる。
【０１５９】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、教師データに近い予測値を求めることが可能な予測係数を得ることが可能となる。
【０１６０】
本発明の第３のデータ処理装置によれば、予測係数を用いることで、注目出力データに近い予測値を求めることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】基本タップを示す図である。
【図３】図１のタップ決定回路７の処理を説明するための図である。
【図４】図１のタップ決定回路７の処理を説明するための図である。
【図５】図１の画像処理装置による解像度改善処理を説明するためのフローチャートである。
【図６】図５のステップＳ１における第１のタップ決定処理を説明するためのフローチャートである。
【図７】図５のステップＳ１における第１のタップ決定処理を説明するための図である。
【図８】図５のステップＳ１における第２のタップ決定処理を説明するためのフローチャートである。
【図９】図５のステップＳ１における第２のタップ決定処理を説明するための図である。
【図１０】図５のステップＳ１における第３のタップ決定処理を説明するためのフローチャートである。
【図１１】図５のステップＳ１における第３のタップ決定処理を説明するための図である。
【図１２】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図１３】図１２の学習装置による学習処理を説明するためのフローチャートである。
【図１４】本発明を適用した媒体を説明するための図である。
【図１５】図１４のコンピュータ１０１の構成例を示すブロック図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路， ３ 予測タップ生成回路， ４ クラス分類回路， ５ 係数RAM， ６ 予測演算回路， ７ タップ決定回路， ６１ フレームメモリ， ６２ 間引き回路， ６３ フレームメモリ， ６４ クラスタップ生成回路， ６５ 予測タップ生成回路， ６６クラス分類回路， ６７ 加算回路， ６８ 予測タップメモリ， ６９ 加算回路， ７０ 教師データメモリ， ７１ 演算回路， ７２ タップ決定回路， １０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク， １１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ ダウンロードサイト， １２２ 衛星， １３１ ネットワーク， １４１ バス， １４２ CPU， １４３ ROM， １４４ RAM， １４５ 入出力インタフェース， １４６ 表示部， １４７ 入力部， １４８ 通信部， １４９ ドライブ
Claims (18)
- 入力データを処理して、その入力データに対する出力データを予測するデータ処理装置であって、
前記入力データから抽出される複数のデータが極値となるように、前記入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、前記入力データから抽出される複数のデータを近似する関数に対する前記複数データの誤差が閾値以上となるように、前記複数のデータが抽出される領域を拡大していくことによって、前記入力データから抽出する複数のデータを決定する決定手段と、
前記決定手段における決定にしたがい、予測値を求めようとする前記出力データである注目出力データについて、複数のデータを、前記入力データから抽出する抽出手段と、
前記抽出手段において抽出された複数のデータに基づいて、前記注目出力データの予測値を求める予測手段と
を含むことを特徴とするデータ処理装置。 - 前記抽出手段において抽出された複数のデータに基づき、前記注目出力データについてクラス分類を行い、対応するクラスコードを出力するクラス分類手段をさらに含み、
前記予測手段は、前記クラスコードに対応する所定の予測係数を用いて、前記注目出力データの予測値を求める
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記予測手段は、前記予測係数を用いて、前記注目出力データを、線形一次予測する
ことを特徴とする請求項２に記載のデータ処理装置。 - 前記予測手段は、前記予測係数と、前記抽出手段において抽出された複数のデータとを用いて、前記注目出力データを、線形一次予測する
ことを特徴とする請求項３に記載のデータ処理装置。 - 前記クラスコードごとに、前記予測係数を記憶している予測係数記憶手段をさらに含む
ことを特徴とする請求項２に記載のデータ処理装置。 - 前記入力データおよび出力データは、画像データである
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記抽出手段は、前記入力データとしての画像データから、前記注目出力データとしての画素に対して、空間的または時間的に周辺にある画素を抽出する
ことを特徴とする請求項６に記載のデータ処理装置。 - 入力データを処理して、その入力データに対する出力データを予測するデータ処理方法であって、
前記入力データから抽出される複数のデータが極値となるように、前記入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、前記入力データから抽出される複数のデータを近似する関数に対する前記複数データの誤差が閾値以上となるように、前記複数のデータが抽出される領域を拡大していくことによって、前記入力データから抽出する複数のデータを決定する決定ステップと、
前記決定ステップにおける決定にしたがい、予測値を求めようとする前記出力データである注目出力データについて、複数のデータを、前記入力データから抽出する抽出ステップと、
前記抽出ステップにおいて抽出された複数のデータに基づいて、前記注目出力データの予測値を求める予測ステップと
を含むことを特徴とするデータ処理方法。 - 入力データを処理して、その入力データに対する出力データを予測するデータ処理をコンピュータに実行させるプログラムが記録されている記録媒体であって、
前記入力データから抽出される複数のデータが極値となるように、前記入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、前記入力データから抽出される複数のデータを近似する関数に対する前記複数データの誤差が閾値以上となるように、前記複数のデータが抽出される領域を拡大していくことによって、前記入力データから抽出する複数のデータを決定する決定ステップと、
前記決定ステップにおける決定にしたがい、予測値を求めようとする前記出力データである注目出力データについて、複数のデータを、前記入力データから抽出する抽出ステップと、
前記抽出ステップにおいて抽出された複数のデータに基づいて、前記注目出力データの予測値を求める予測ステップと
を含むことを特徴とするプログラムが記録されている記録媒体。 - 入力データを処理し、その入力データに対する出力データを予測するのに用いる予測係数を学習するデータ処理装置であって、
前記予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成手段と、
前記生徒データから抽出される複数のデータが極値となるように、前記生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、前記生徒データから抽出される複数のデータを近似する関数に対する前記複数データの誤差が閾値以上となるように、前記複数のデータが抽出される領域を拡大していくことによって、前記生徒データから抽出する複数のデータを決定する決定手段と、
前記決定手段における決定にしたがい、予測値を求めようとする前記教師データである注目教師データについて、複数のデータを、前記生徒データから抽出する抽出手段と、
前記抽出手段において抽出された複数のデータに基づいて、前記予測係数を求める演算手段と
を含むことを特徴とするデータ処理装置。 - 前記抽出手段において抽出された複数のデータに基づき、前記注目教師データについてクラス分類を行い、対応するクラスコードを出力するクラス分類手段をさらに含み、
前記演算手段は、前記抽出手段において抽出された複数のデータを用いて、前記クラスコードごとに、前記予測係数を求める
を含むことを特徴とする請求項１０に記載のデータ処理装置。 - 前記演算手段は、線形一次予測によって、前記教師データが得られるようにするための前記予測係数を求める
ことを特徴とする請求項１０に記載のデータ処理装置。 - 前記演算手段は、前記抽出手段において抽出された複数のデータを用いての線形一次予測によって、前記教師データが得られるようにするための前記予測係数を求める
ことを特徴とする請求項１２に記載のデータ処理装置。 - 前記生徒データおよび教師データは、画像データである
ことを特徴とする請求項１０に記載のデータ処理装置。 - 前記抽出手段は、前記生徒データとしての画像データから、前記注目教師データとしての画素に対して、空間的または時間的に周辺にある画素を抽出する
ことを特徴とする請求項１４に記載のデータ処理装置。 - 入力データを処理し、その入力データに対する出力データを予測するのに用いる予測係数を学習するデータ処理方法であって、
前記予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成ステップと、
前記生徒データから抽出される複数のデータが極値となるように、前記生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、前記生徒データから抽出される複数のデータを近似する関数に対する前記複数データの誤差が閾値以上となるように、前記複数のデータが抽出される領域を拡大していくことによって、前記生徒データから抽出する複数のデータを決定する決定ステップと、
前記決定ステップにおける決定にしたがい、予測値を求めようとする前記教師データである注目教師データについて、複数のデータを、前記生徒データから抽出する抽出ステップと、
前記抽出ステップにおいて抽出された複数のデータに基づいて、前記予測係数を求める演算ステップと
を含むことを特徴とするデータ処理方法。 - 入力データを処理し、その入力データに対する出力データを予測するのに用いる予測係数を学習するデータ処理をコンピュータに実行させるプログラムが記録されている記録媒体であって、
前記予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成ステップと、
前記生徒データから抽出される複数のデータが極値となるように、前記生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、前記生徒データから抽出される複数のデータを近似する関数に対する前記複数データの誤差が閾値以上となるように、前記複数のデータが抽出される領域を拡大していくことによって、前記生徒データから抽出する複数のデータを決定する決定ステップと、
前記決定ステップにおける決定にしたがい、予測値を求めようとする前記教師データである注目教師データについて、複数のデータを、前記生徒データから抽出する抽出ステップと、
前記抽出ステップにおいて抽出された複数のデータに基づいて、前記予測係数を求める演算ステップと
を含むことを特徴とするプログラムが記録されている記録媒体。 - 入力データを処理して、その入力データに対する出力データを予測する第１の装置と、
前記出力データを予測するのに用いる予測係数を学習する第２の装置と
を備えるデータ処理装置であって、
前記第１の装置は、
前記入力データから抽出される複数のデータが極値となるように、前記入力データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、前記入力データから抽出される複数のデータを近似する関数に対する前記複数データの誤差が閾値以上となるように、前記複数のデータが抽出される領域を拡大していくことによって、前記入力データから抽出する複数のデータを決定する第１の決定手段と、
前記第１の決定手段における決定にしたがい、予測値を求めようとする前記出力データである注目出力データについて、第１の複数のデータを、前記入力データから抽出する第１の抽出手段と、
前記第１の抽出手段において抽出された第１の複数のデータに基づいて、前記注目出力データの予測値を求める予測手段と
を含み、
前記第２の装置は、
前記予測係数の学習のための教師となる教師データから、生徒となる生徒データを生成する生成手段と、
前記生徒データから抽出される複数のデータが極値となるように、前記生徒データから抽出される複数のデータどうしの差分値が閾値以上となるように、或いは、前記生徒データから抽出される複数のデータを近似する関数に対する前記複数データの誤差が閾値以上となるように、前記複数のデータが抽出される領域を拡大していくことによって、前記生徒データから抽出する複数のデータを決定する第２の決定手段と、
前記第２の決定手段における決定にしたがい、予測値を求めようとする前記教師データである注目教師データについて、第２の複数のデータを、前記生徒データから抽出する第２の抽出手段と、
前記第２の抽出手段において抽出された複数のデータに基づいて、前記予測係数を求める演算手段と
を含む
ことを特徴とするデータ処理装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26170699A JP4324825B2 (ja) | 1999-09-16 | 1999-09-16 | データ処理装置およびデータ処理方法、並びに媒体 |
| US09/587,865 US6678405B1 (en) | 1999-06-08 | 2000-06-06 | Data processing apparatus, data processing method, learning apparatus, learning method, and medium |
| EP00304812A EP1061473A1 (en) | 1999-06-08 | 2000-06-07 | Method and apparatus for classification-adaptive data processing |
| KR1020000031365A KR100746839B1 (ko) | 1999-06-08 | 2000-06-08 | 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체 |
| CNB001264370A CN1190963C (zh) | 1999-06-08 | 2000-06-08 | 数据处理装置和方法,学习装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26170699A JP4324825B2 (ja) | 1999-09-16 | 1999-09-16 | データ処理装置およびデータ処理方法、並びに媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001084368A JP2001084368A (ja) | 2001-03-30 |
| JP4324825B2 true JP4324825B2 (ja) | 2009-09-02 |
Family
ID=17365587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26170699A Expired - Fee Related JP4324825B2 (ja) | 1999-06-08 | 1999-09-16 | データ処理装置およびデータ処理方法、並びに媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4324825B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4038812B2 (ja) * | 2001-12-27 | 2008-01-30 | ソニー株式会社 | データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム |
| JP4214459B2 (ja) * | 2003-02-13 | 2009-01-28 | ソニー株式会社 | 信号処理装置および方法、記録媒体、並びにプログラム |
| JP4143916B2 (ja) | 2003-02-25 | 2008-09-03 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4144374B2 (ja) * | 2003-02-25 | 2008-09-03 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4144378B2 (ja) | 2003-02-28 | 2008-09-03 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4144377B2 (ja) | 2003-02-28 | 2008-09-03 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4392584B2 (ja) | 2003-06-27 | 2010-01-06 | ソニー株式会社 | 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 |
| JP4392583B2 (ja) | 2003-06-27 | 2010-01-06 | ソニー株式会社 | 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 |
| JP5250232B2 (ja) * | 2007-10-04 | 2013-07-31 | 株式会社日立製作所 | 画像信号処理装置、画像信号処理方法及び画像表示装置 |
| JP5250233B2 (ja) * | 2007-10-04 | 2013-07-31 | 株式会社日立製作所 | 画像信号処理装置、画像信号処理方法及び画像表示装置 |
| CN103942615B (zh) * | 2014-04-15 | 2018-03-27 | 广东电网有限责任公司信息中心 | 噪点剔除方法 |
-
1999
- 1999-09-16 JP JP26170699A patent/JP4324825B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001084368A (ja) | 2001-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100746839B1 (ko) | 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체 | |
| JP4224748B2 (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置 | |
| EP2352121A1 (en) | Image processing apparatus and method | |
| JP4324825B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| WO2003021530A2 (en) | Image enhancement and data loss recovery using wavelet transforms | |
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP2000339450A (ja) | 画像処理方法及び画像処理装置 | |
| JP4517409B2 (ja) | データ処理装置およびデータ処理方法 | |
| US7953298B2 (en) | Image magnification device, image magnification method and computer readable medium storing an image magnification program | |
| JP4238516B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP4135045B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP2001222702A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4035895B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP2002319020A (ja) | 画像処理装置および画像処理方法 | |
| JPH10155139A (ja) | 画像処理装置および画像処理方法 | |
| JP4105257B2 (ja) | 記憶装置および記憶方法 | |
| JP4066146B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP5198500B2 (ja) | 信号処理装置及びプログラム | |
| JP4442076B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP4096281B2 (ja) | 画像処理装置および画像処理方法、並びに媒体 | |
| JP4240674B2 (ja) | 動き検出装置および動き検出方法、並びに記録媒体 | |
| JP4457276B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4225039B2 (ja) | データ処理装置および方法、記録媒体、並びにプログラム | |
| JP4186093B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP2001195586A (ja) | 学習装置および学習方法、並びに媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090514 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090527 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |