JP4238516B2 - データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 - Google Patents

データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 Download PDF

Info

Publication number
JP4238516B2
JP4238516B2 JP2002125628A JP2002125628A JP4238516B2 JP 4238516 B2 JP4238516 B2 JP 4238516B2 JP 2002125628 A JP2002125628 A JP 2002125628A JP 2002125628 A JP2002125628 A JP 2002125628A JP 4238516 B2 JP4238516 B2 JP 4238516B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
data
class
tap
learning
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002125628A
Other languages
English (en)
Other versions
JP2003319348A (ja )
Inventor
哲二郎 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image, e.g. from bit-mapped to bit-mapped creating a different image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4023Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Description

【0001】
【発明の属する技術分野】
本発明は、データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画像データを、より高画質の画像データに変換すること等ができるようにするデータ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関する。
【0002】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の変換を行うデータ変換処理として、クラス分類適応処理を、先に提案している。
【0003】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【0004】
即ち、適応処理では、例えば、低画質または標準画質の画像(以下、適宜、SD(Standard Definition)画像という)データが、所定のタップ係数を用いてマッピング(写像)されることにより、高画質の画像(以下、適宜、HD(High Definition)画像という)データに変換される。
【0005】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形1次結合モデルを採用することとすると、HD画像データを構成する画素(以下、適宜、HD画素という)(の画素値)yは、SD画像データを構成する画素(以下、適宜、SD画素という)から、HD画素を予測するための予測タップとして抽出される複数のSD画素と、タップ係数とを用いて、次の線形1次式(線形結合)によって求められる。
【0006】
【数1】
【0007】
但し、式(1)において、xnは、HD画素yについての予測タップを構成する、n番目のSD画像データの画素の画素値を表し、wnは、n番目のSD画素(の画素値)と乗算されるn番目のタップ係数を表す。なお、式(1)では、予測タップが、N個のSD画素x1,x2,・・・,xNで構成されるものとしてある。
【0008】
ここで、HD画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
【0009】
いま、第kサンプルのHD画素の画素値の真値をykと表すとともに、式(1)によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
【0010】
【数2】
【0011】
式(2)の予測値yk’は、式(1)にしたがって求められるため、式(2)のyk’を、式(1)にしたがって置き換えると、次式が得られる。
【0012】
【数3】
【0013】
但し、式(3)において、xn,kは、第kサンプルのHD画素についての予測タップを構成するn番目のSD画素を表す。
【0014】
式(3)の予測誤差ekを0とするタップ係数wnが、HD画素を予測するのに最適なものとなるが、すべてのHD画素について、そのようなタップ係数wnを求めることは、一般には困難である。
【0015】
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
【0016】
【数4】
【0017】
但し、式(4)において、Kは、HD画素ykと、そのHD画素ykについての予測タップを構成するSD画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数を表す。
【0018】
式(4)の自乗誤差の総和Eを最小(極小)にするタップ係数wnは、その総和Eをタップ係数wnで偏微分したものを0とするものであり、従って、次式を満たす必要がある。
【0019】
【数5】
【0020】
そこで、上述の式(3)をタップ係数wnで偏微分すると、次式が得られる。
【0021】
【数6】
【0022】
式(5)と(6)から、次式が得られる。
【0023】
【数7】
【0024】
式(7)のekに、式(3)を代入することにより、式(7)は、式(8)に示す正規方程式で表すことができる。
【0025】
【数8】
【0026】
式(8)の正規方程式は、HD画素ykとSD画素xn,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数wnの数と同じ数だけたてることができ、従って、式(8)を解くことで(但し、式(8)を解くには、式(8)において、タップ係数wnにかかる左辺の行列が正則である必要がある)、最適なタップ係数wnを求めることができる。なお、式(8)を解くにあたっては、例えば、掃き出し法(Gauss-Jordanの消去法)などを採用することが可能である。
【0027】
以上のように、多数のHD画素y1,y2,・・・,yKを、タップ係数の学習の教師となる教師データとするとともに、各HD画素ykについての予測タップを構成するSD画素x1,k,x2,k,・・・,xN,kを、タップ係数の学習の生徒となる生徒データとして、式(8)を解くことにより、最適なタップ係数wnを求める学習を行っておき、さらに、そのタップ係数wnを用い、式(1)により、SD画像データを、HD画像データにマッピング(変換)するのが適応処理である。
【0028】
なお、適応処理は、SD画像には含まれていないが、HD画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式(1)だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数wnが、教師データとしてのHD画像データと生徒データとしてのSD画像データとを用いての学習により求められるため、HD画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造(解像度想像)作用がある処理ということができる。
【0029】
ここで、タップ係数wnの学習では、教師データyと生徒データxとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数wnを求めることができる。
【0030】
即ち、例えば、教師データyとして、HD画像データを採用するとともに、生徒データxとして、そのHD画像データにノイズやぼけを付加したSD画像データを採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数wnを得ることができる。また、例えば、教師データyとして、HD画像データを採用するとともに、生徒データxとして、そのHD画像データの解像度を劣化させたSD画像データを採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数wnを得ることができる。さらに、例えば、教師データyとして、画像データを採用するとともに、生徒データxとして、その画像データをDCT(Discrete Cosine Transform)変換したDCT係数を採用した場合には、DCT係数を画像データに変換するタップ係数wnを得ることができる。
【0031】
【発明が解決しようとする課題】
上述したように、クラス分類適応処理においては、式(4)の自乗誤差の総和Eを最小にするタップ係数wnがクラスごとに求められ、そのタップ係数wnを用い、式(1)が演算されることにより、SD画像が、高画質のHD画像に変換される。即ち、タップ係数wnと、SD画像から生成される予測タップxnとを用いて、式(1)が演算されることにより、HD画像を構成するHD画素が求められる。
【0032】
従って、先に提案したクラス分類適応処理によれば、個々のHD画素に注目した場合には、各HD画素について、真値に対する予測誤差を統計的に最小にする画素値を求めることができる。
【0033】
即ち、いま、図1Aに示すように、例えば、水平、垂直、または斜め方向に隣接する2つのHD画素ykとyk+1を考えた場合に、HD画素ykについては、その真値ykに対する予測の誤差ekを統計的に最小にする予測値yk’を得ることができ、また、HD画素yk+1についても同様に、その真値yk+1に対する予測誤差ek+1を統計的に最小にする予測値yk+1’を得ることができる。
【0034】
しかしながら、先に提案したクラス分類適応処理では、例えば、図1Aに示したような、真値が右肩上がりになる2つのHD画素ykとyk+1の並びに関して、図1Bに示すように、HD画素ykについては、真値より大きい予測値yk’が得られ、HD画素yk+1については、真値より小さい予測値yk+1’が得られることがあった。
【0035】
そして、この場合、HD画素ykの予測値yk’と、HD画素yk+1の予測値yk+1’の並びが、図1Bに示すように、右肩下がりになることがある。
【0036】
このように、真値の並びが右肩上がりであるのにも関わらず、右肩下がりの予測値の並びが得られる場合には、画素値の変化が真値の変化と逆になることから、見た目の画質が劣化することがあった。
【0037】
本発明は、このような状況に鑑みてなされたものであり、例えば、画像データを、より高画質の画像データに変換することができるようにするものである。
【0038】
【課題を解決するための手段】
本発明の第1のデータ変換装置は、注目している第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、及び、第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップを、第1のデータから抽出するクラスタップ生成手段と、第1のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第1の注目サンプルをクラス分類するとともに、第2のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第2の注目サンプルをクラス分類するクラス分類手段と、第1の注目サンプルを求めるのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、及び第2の注目サンプルを求めるのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップを、第1のデータから抽出する予測タップ生成手段と、第1の注目サンプルを求める主画素処理回路としての、学習の教師となる、第2のデータに対応する教師データと、学習の生徒となる、第1のデータに対応する生徒データを用い、生徒データと第1のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第1のタップ係数から、第1の注目サンプルのクラスの第1のタップ係数を取得する第1のタップ係数取得手段と、第1の注目サンプルのクラスの第1のタップ係数と、第1の予測タップとを用いた積和演算を行うことにより、第1の注目サンプルを求める第1の演算手段と、第2の注目サンプルを求める副画素処理回路としての、教師データと、生徒データを用い、生徒データと第2のタップ係数との積和演算により求められる、教師データの1のサンプルである第1のサンプルと第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第2のタップ係数から、第2の注目サンプルのクラスの第2のタップ係数を取得するか、1以上のクラスごとに得られる第1及び第2のタップ係数を加算して得られる加算タップ係数から、第2の注目サンプルのクラスの加算タップ係数を取得する第2のタップ係数取得手段と、第2の注目サンプルのクラスの第2のタップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第1のサンプルに対応する第1の注目サンプルと、第2のサンプルに対応する第2の注目サンプルとの差分値を求めるとともに、求めた差分値と第1の注目サンプルとを加算することにより、第2の注目サンプルを求めるか、又は、第2の注目サンプルのクラスの加算タップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第2の注目サンプルを求める第2の演算手段とを備え
【0039】
本発明の第1のデータ変換方法は、注目している第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、及び、第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップを、第1のデータから抽出するクラスタップ生成ステップと、第1のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第1の注目サンプルをクラス分類するとともに、第2のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第2の注目サンプルをクラス分類するクラス分類ステップと、第1の注目サンプルを求めるのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、及び第2の注目サンプルを求めるのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップを、第1のデータから抽出する予測タップ生成ステップと、第1の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第2のデータに対応する教師データと、学習の生徒となる、第1のデータに対応する生徒データを用い、生徒データと第1のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第1のタップ係数から、第1の注目サンプルのクラスの第1のタップ係数を取得する第1のタップ係数取得ステップと、第1の注目サンプルのクラスの第1のタップ係数と、第1の予測タップとを用いた積和演算を行うことにより、第1の注目サンプルを求める第1の演算ステップと、第2の注目サンプルを求める副画素処理回路が行う処理としての、教師データと、生徒データを用い、生徒データと第2のタップ係数との積和演算により求められる、教師データの1のサンプルである第1のサンプルと第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第2のタップ係数から、第2の注目サンプルのクラスの第2のタップ係数を取得するか、1以上のクラスごとに得られる第1及び第2のタップ係数を加算して得られる加算タップ係数から、第2の注目サンプルのクラスの加算タップ係数を取得する第2のタップ係数取得ステップと、第2の注目サンプルのクラスの第2のタップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第1のサンプルに対応する第1の注目サンプルと、第2のサンプルに対応する第2の注目サンプルとの差分値を求めるとともに、求めた差分値と第1の注目サンプルとを加算することにより、第2の注目サンプルを求めるか、又は、第2の注目サンプルのクラスの加算タップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第2の注目サンプルを求める第2の演算ステップとを含
【0040】
本発明の第1のプログラムは、注目している第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、及び、第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップを、第1のデータから抽出するクラスタップ生成ステップと、第1のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第1の注目サンプルをクラス分類するとともに、第2のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第2の注目サンプルをクラス分類するクラス分類ステップと、第1の注目サンプルを求めるのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、及び第2の注目サンプルを求めるのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップを、第1のデータから抽出する予測タップ生成ステップと、第1の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第2のデータに対応する教師データと、学習の生徒となる、第1のデータに対応する生徒データを用い、生徒データと第1のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第1のタップ係数から、第1の注目サンプルのクラスの第1のタップ係数を取得する第1のタップ係数取得ステップと、第1の注目サンプルのクラスの第1のタップ係数と、第1の予測タップとを用いた積和演算を行うことにより、第1の注目サンプルを求める第1の演算ステップと、第2の注目サンプルを求める副画素処理回路が行う処理としての、教師データと、生徒データを用い、生徒データと第2のタップ係数との積和演算により求められる、教師データの1のサンプルである第1のサンプルと第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第2のタップ係数から、第2の注目サンプルのクラスの第2のタップ係数を取得するか、1以上のクラスごとに得られる第1及び第2のタップ係数を加算して得られる加算タップ係数から、第2の注目サンプルのクラスの加算タップ係数を取得する第2のタップ係数取得ステップと、第2の注目サンプルのクラスの第2のタップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第1のサンプルに対応する第1の注目サンプルと、第2のサンプルに対応する第2の注目サンプルとの差分値を求めるとともに、求めた差分値と第1の注目サンプルとを加算することにより、第2の注目サンプルを求めるか、又は、第2の注目サンプルのクラスの加算タップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第2の注目サンプルを求める第2の演算ステップとを含むデータ変換処理を、コンピュータに行わせ
【0041】
本発明の第1の記録媒体は、注目している第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、及び、第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップを、第1のデータから抽出するクラスタップ生成ステップと、第1のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第1の注目サンプルをクラス分類するとともに、第2のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第2の注目サンプルをクラス分類するクラス分類ステップと、第1の注目サンプルを求めるのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、及び第2の注目サンプルを求めるのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップを、第1のデータから抽出する予測タップ生成ステップと、第1の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第2のデータに対応する教師データと、学習の生徒となる、第1のデータに対応する生徒データを用い、生徒データと第1のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第1のタップ係数から、第1の注目サンプルのクラスの第1のタップ係数を取得する第1のタップ係数取得ステップと、第1の注目サンプルのクラスの第1のタップ係数と、第1の予測タップとを用いた積和演算を行うことにより、第1の注目サンプルを求める第1の演算ステップと、第2の注目サンプルを求める副画素処理回路が行う処理としての、教師データと、生徒データを用い、生徒データと第2のタップ係数との積和演算により求められる、教師データの1のサンプルである第1のサンプルと第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第2のタップ係数から、第2の注目サンプルのクラスの第2のタップ係数を取得するか、1以上のクラスごとに得られる第1及び第2のタップ係数を加算して得られる加算タップ係数から、第2の注目サンプルのクラスの加算タップ係数を取得する第2のタップ係数取得ステップと、第2の注目サンプルのクラスの第2のタップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第1のサンプルに対応する第1の注目サンプルと、第2のサンプルに対応する第2の注目サンプルとの差分値を求めるとともに、求めた差分値と第1の注目サンプルとを加算することにより、第2の注目サンプルを求めるか、又は、第2の注目サンプルのクラスの加算タップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第2の注目サンプルを求める第2の演算ステップとを含むデータ変換処理を、コンピュータに行わせるプログラムが記録されてい
【0042】
本発明の第1の学習装置は、タップ係数の学習の教師となる、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第1のデータに対応する生徒データから抽出するクラスタップ生成手段と、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類手段と、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成手段と、注目データと予測タップを用い、予測タップと第1のタップ係数との積和演算により求められる、注目データの1のサンプルである第1のサンプルと第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより、1以上のクラスごとの第1のタップ係数を、最終的なタップ係数として求めるか、又は、第1のタップ係数と、積和演算により求められる、教師データの第1のサンプルの予測値の予測誤差を最小にする第2のタップ係数とを加算することにより、最終的なタップ係数を求める学習手段とを備え
【0043】
本発明の第1の学習方法は、タップ係数の学習の教師となる、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップと第1のタップ係数との積和演算により求められる、注目データの1のサンプルである第1のサンプルと第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより、1以上のクラスごとの第1のタップ係数を、最終的なタップ係数として求めるか、又は、第1のタップ係数と、積和演算により求められる、教師データの第1のサンプルの予測値の予測誤差を最小にする第2のタップ係数とを加算することにより、最終的なタップ係数を求める学習ステップとを含
【0044】
本発明の第2のプログラムは、タップ係数の学習の教師となる、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップと第1のタップ係数との積和演算により求められる、注目データの1のサンプルである第1のサンプルと第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより、1以上のクラスごとの第1のタップ係数を、最終的なタップ係数として求めるか、又は、第1のタップ係数と、積和演算により求められる、教師データの第1のサンプルの予測値の予測誤差を最小にする第2のタップ係数とを加算することにより、最終的なタップ係数を求める学習ステップとを含む学習処理を、コンピュータに行わせ
【0045】
本発明の第2の記録媒体は、タップ係数の学習の教師となる、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップと第1のタップ係数との積和演算により求められる、注目データの1のサンプルである第1のサンプルと第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより、1以上のクラスごとの第1のタップ係数を、最終的なタップ係数として求めるか、又は、第1のタップ係数と、積和演算により求められる、教師データの第1のサンプルの予測値の予測誤差を最小にする第2のタップ係数とを加算することにより、最終的なタップ係数を求める学習ステップとを含む学習処理を、コンピュータに行わせるプログラムが記録されてい
【0046】
本発明の第2のデータ変換装置は、注目している第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップ、及び、第1の注目サンプルの周辺の位置にある、第2の注目サンプルとは異なる第3の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第3の注目サンプルの周辺に位置する複数のサンプルからなる第3のクラスタップを、第1のデータから抽出するクラスタップ生成手段と、第1のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第1の注目サンプルをクラス分類するとともに、第2のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第2の注目サンプルをクラス分類し、第3のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第3の注目サンプルをクラス分類するクラス分類手段と、第1の注目サンプルを求めるのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、第2の注目サンプルを求めるのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップ、及び第3の注目サンプルを求めるのに用いる、第3の注目サンプルの周辺に位置する複数のサンプルからなる第3の予測タップを、第1のデータから抽出する予測タップ生成手段と、第1及び第2の注目サンプルを求める主画素処理回路としての、学習の教師となる、第2のデータに対応する教師データと、学習の生徒となる、第1のデータに対応する生徒データを用い、生徒データと第1のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第1のタップ係数から、第1及び第2の注目サンプルのクラスそれぞれの第1のタップ係数を取得する第1のタップ係数取得手段と、第1の注目サンプルのクラスの第1のタップ係数と、第1の予測タップとを用いた積和演算を行うことにより、第1の注目サンプルを求めるとともに、第2の注目サンプルのクラスの第1のタップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第2の注目サンプルを求める第1の演算手段と、第3の注目サンプルを求める副画素処理回路としての、第1の注目サンプルから、第2の注目サンプルを減算して得られる減算値に、第1の注目サンプルを加算して、第3の注目サンプルの仮の予測値を求める仮予測値算出手段と、教師データと、生徒データを用い、生徒データと第2のタップ係数との積和演算により求められる予測値であって、教師データの1のサンプルである第1のサンプルと、第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、所定の第2のサンプルとは異なる他の第2のサンプルを減算して得られる減算値に、所定の第2のサンプルを加算することにより求められる第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第2のタップ係数から、第3の注目サンプルのクラスの第2のタップ係数を取得する第2のタップ係数取得手段と、第3の注目サンプルのクラスの第2のタップ係数と、第3の予測タップとを用いた積和演算を行うことにより、第1のサンプルに対応する第3の注目サンプルと、所定の第2のサンプルに対応する第1の注目サンプルから、他の第2のサンプルに対応する第2の注目サンプルを減算して得られる減算値に、第1の注目サンプルを加算して求められる第3の注目サンプルの仮の予測値との差分値を求める第2の演算手段と、第3の注目サンプルについて求められた差分値と、第3の注目サンプルの仮の予測値とを加算することにより、第3の注目サンプルを求める加算手段とを備え
【0047】
本発明の第2のデータ変換方法は、注目している第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップ、及び、第1の注目サンプルの周辺の位置にある、第2の注目サンプルとは異なる第3の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第3の注目サンプルの周辺に位置する複数のサンプルからなる第3のクラスタップを、第1のデータから抽出するクラスタップ生成ステップと、第1のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第1の注目サンプルをクラス分類するとともに、第2のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第2の注目サンプルをクラス分類し、第3のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第3の注目サンプルをクラス分類するクラス分類ステップと、第1の注目サンプルを求めるのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、第2の注目サンプルを求めるのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップ、及び第3の注目サンプルを求めるのに用いる、第3の注目サンプルの周辺に位置する複数のサンプルからなる第3の予測タップを、第1のデータから抽出する予測タップ生成ステップと、第1及び第2の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第2のデータに対応する教師データと、学習の生徒となる、第1のデータに対応する生徒データを用い、生徒データと第1のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第1のタップ係数から、第1及び第2の注目サンプルのクラスそれぞれの第1のタップ係数を取得する第1のタップ係数取得ステップと、第1の注目サンプルのクラスの第1のタップ係数と、第1の予測タップとを用いた積和演算を行うことにより、第1の注目サンプルを求めるとともに、第2の注目サンプルのクラスの第1のタップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第2の注目サンプルを求める第1の演算ステップと、第3の注目サンプルを求める副画素処理回路が行う処理としての、第1の注目サンプルから、第2の注目サンプルを減算して得られる減算値に、第1の注目サンプルを加算して、第3の注目サンプルの仮の予測値を求める仮予測値算出ステップと、教師データと、生徒データを用い、生徒データと第2のタップ係数との積和演算により求められる予測値であって、教師データの1のサンプルである第1のサンプルと、第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、所定の第2のサンプルとは異なる他の第2のサンプルを減算して得られる減算値に、所定の第2のサンプルを加算することにより求められる第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第2のタップ係数から、第3の注目サンプルのクラスの第2のタップ係数を取得する第2のタップ係数取得ステップと、第3の注目サンプルのクラスの第2のタップ係数と、第3の予測タップとを用いた積和演算を行うことにより、第1のサンプルに対応する第3の注目サンプルと、所定の第2のサンプルに対応する第1の注目サンプルから、他の第2のサンプルに対応する第2の注目サンプルを減算して得られる減算値に、第1の注目サンプルを加算して求められる第3の注目サンプルの仮の予測値との差分値を求める第2の演算ステップと、第3の注目サンプルについて求められた差分値と、第3の注目サンプルの仮の予測値とを加算することにより、第3の注目サンプルを求める加算ステップとを含
【0048】
本発明の第3のプログラムは、注目している第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップ、及び、第1の注目サンプルの周辺の位置にある、第2の注目サンプルとは異なる第3の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第3の注目サンプルの周辺に位置する複数のサンプルからなる第3のクラスタップを、第1のデータから抽出するクラスタップ生成ステップと、第1のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第1の注目サンプルをクラス分類するとともに、第2のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第2の注目サンプルをクラス分類し、第3のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第3の注目サンプルをクラス分類するクラス分類ステップと、第1の注目サンプルを求めるのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、第2の注目サンプルを求めるのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップ、及び第3の注目サンプルを求めるのに用いる、第3の注目サンプルの周辺に位置する複数のサンプルからなる第3の予測タップを、第1のデータから抽出する予測タップ生成ステップと、第1及び第2の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第2のデータに対応する教師データと、学習の生徒となる、第1のデータに対応する生徒データを用い、生徒データと第1のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第1のタップ係数から、第1及び第2の注目サンプルのクラスそれぞれの第1のタップ係数を取得する第1のタップ係数取得ステップと、第1の注目サンプルのクラスの第1のタップ係数と、第1の予測タップとを用いた積和演算を行うことにより、第1の注目サンプルを求めるとともに、第2の注目サンプルのクラスの第1のタップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第2の注目サンプルを求める第1の演算ステップと、第3の注目サンプルを求める副画素処理回路が行う処理としての、第1の注目サンプルから、第2の注目サンプルを減算して得られる減算値に、第1の注目サンプルを加算して、第3の注目サンプルの仮の予測値を求める仮予測値算出ステップと、教師データと、生徒データを用い、生徒データと第2のタップ係数との積和演算により求められる予測値であって、教師データの1のサンプルである第1のサンプルと、第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、所定の第2のサンプルとは異なる他の第2のサンプルを減算して得られる減算値に、所定の第2のサンプルを加算することにより求められる第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第2のタップ係数から、第3の注目サンプルのクラスの第2のタップ係数を取得する第2のタップ係数取得ステップと、第3の注目サンプルのクラスの第2のタップ係数と、第3の予測タップとを用いた積和演算を行うことにより、第1のサンプルに対応する第3の注目サンプルと、所定の第2のサンプルに対応する第1の注目サンプルから、他の第2のサンプルに対応する第2の注目サンプルを減算して得られる減算値に、第1の注目サンプルを加算して求められる第3の注目サンプルの仮の予測値との差分値を求める第2の演算ステップと、第3の注目サンプルについて求められた差分値と、第3の注目サンプルの仮の予測値とを加算することにより、第3の注目サンプルを求める加算ステップとを含むデータ変換処理を、コンピュータに行わせ
【0049】
本発明の第3の記録媒体は、注目している第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップ、及び、第1の注目サンプルの周辺の位置にある、第2の注目サンプルとは異なる第3の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第3の注目サンプルの周辺に位置する複数のサンプルからなる第3のクラスタップを、第1のデータから抽出するクラスタップ生成ステップと、第1のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第1の注目サンプルをクラス分類するとともに、第2のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第2の注目サンプルをクラス分類し、第3のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第3の注目サンプルをクラス分類するクラス分類ステップと、第1の注目サンプルを求めるのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、第2の注目サンプルを求めるのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップ、及び第3の注目サンプルを求めるのに用いる、第3の注目サンプルの周辺に位置する複数のサンプルからなる第3の予測タップを、第1のデータから抽出する予測タップ生成ステップと、第1及び第2の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第2のデータに対応する教師データと、学習の生徒となる、第1のデータに対応する生徒データを用い、生徒データと第1のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第1のタップ係数から、第1及び第2の注目サンプルのクラスそれぞれの第1のタップ係数を取得する第1のタップ係数取得ステップと、第1の注目サンプルのクラスの第1のタップ係数と、第1の予測タップとを用いた積和演算を行うことにより、第1の注目サンプルを求めるとともに、第2の注目サンプルのクラスの第1のタップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第2の注目サンプルを求める第1の演算ステップと、第3の注目サンプルを求める副画素処理回路が行う処理としての、第1の注目サンプルから、第2の注目サンプルを減算して得られる減算値に、第1の注目サンプルを加算して、第3の注目サンプルの仮の予測値を求める仮予測値算出ステップと、教師データと、生徒データを用い、生徒データと第2のタップ係数との積和演算により求められる予測値であって、教師データの1のサンプルである第1のサンプルと、第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、所定の第2のサンプルとは異なる他の第2のサンプルを減算して得られる減算値に、所定の第2のサンプルを加算することにより求められる第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第2のタップ係数から、第3の注目サンプルのクラスの第2のタップ係数を取得する第2のタップ係数取得ステップと、第3の注目サンプルのクラスの第2のタップ係数と、第3の予測タップとを用いた積和演算を行うことにより、第1のサンプルに対応する第3の注目サンプルと、所定の第2のサンプルに対応する第1の注目サンプルから、他の第2のサンプルに対応する第2の注目サンプルを減算して得られる減算値に、第1の注目サンプルを加算して求められる第3の注目サンプルの仮の予測値との差分値を求める第2の演算ステップと、第3の注目サンプルについて求められた差分値と、第3の注目サンプルの仮の予測値とを加算することにより、第3の注目サンプルを求める加算ステップとを含むデータ変換処理を、コンピュータに行わせるプログラムが記録されてい
【0050】
本発明の第2の学習装置は、タップ係数の学習の教師となる、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第1のデータに対応する生徒データから抽出するクラスタップ生成手段と、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類手段と、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成手段と、注目データと予測タップを用い、予測タップとタップ係数との積和演算により求められる予測値であって、注目データの1のサンプルである第1のサンプルと、第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、所定の第2のサンプルに隣接する他の第2のサンプルを減算して得られる減算値に、所定の第2のサンプルを加算することにより求められる第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより、1以上のクラスごとのタップ係数を求める学習手段とを備え
【0051】
本発明の第2の学習方法は、タップ係数の学習の教師となる、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップとタップ係数との積和演算により求められる予測値であって、注目データの1のサンプルである第1のサンプルと、第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、所定の第2のサンプルに隣接する他の第2のサンプルを減算して得られる減算値に、所定の第2のサンプルを加算することにより求められる第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより、1以上のクラスごとのタップ係数を求める学習ステップとを含
【0052】
本発明の第4のプログラムは、タップ係数の学習の教師となる、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップとタップ係数との積和演算により求められる予測値であって、注目データの1のサンプルである第1のサンプルと、第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、所定の第2のサンプルに隣接する他の第2のサンプルを減算して得られる減算値に、所定の第2のサンプルを加算することにより求められる第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより、1以上のクラスごとのタップ係数を求める学習ステップとを含む学習処理を、コンピュータに行わせ
【0053】
本発明の第4の記録媒体は、タップ係数の学習の教師となる、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップとタップ係数との積和演算により求められる予測値であって、注目データの1のサンプルである第1のサンプルと、第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、所定の第2のサンプルに隣接する他の第2のサンプルを減算して得られる減算値に、所定の第2のサンプルを加算することにより求められる第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより、1以上のクラスごとのタップ係数を求める学習ステップとを含む学習処理を、コンピュータに行わせるプログラムが記録されてい
【0054】
本発明の第1のデータ変換装置および第1のデータ変換方法、並びに第1のプログラムおよび第1の記録媒体に記録されているプログラムにおいては、注目している第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、及び、第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップが、第1のデータから抽出され、第1のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第1の注目サンプルがクラス分類されるとともに、第2のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第2の注目サンプルがクラス分類され第1の注目サンプルを求めるのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、及び第2の注目サンプルを求めるのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップが、第1のデータから抽出され、第1の注目サンプルを求める主画素処理回路により、学習の教師となる、第2のデータに対応する教師データと、学習の生徒となる、第1のデータに対応する生徒データを用い、生徒データと第1のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第1のタップ係数から、第1の注目サンプルのクラスの第1のタップ係数が取得され、第1の注目サンプルのクラスの第1のタップ係数と、第1の予測タップとを用いた積和演算を行うことにより、第1の注目サンプルが求められ、第2の注目サンプルを求める副画素処理回路により、教師データと、生徒データを用い、生徒データと第2のタップ係数との積和演算により求められる、教師データの1のサンプルである第1のサンプルと第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第2のタップ係数から、第2の注目サンプルのクラスの第2のタップ係数が取得されるか、1以上のクラスごとに得られる第1及び第2のタップ係数を加算して得られる加算タップ係数から、第2の注目サンプルのクラスの加算タップ係数が取得され第2の注目サンプルのクラスの第2のタップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第1のサンプルに対応する第1の注目サンプルと、第2のサンプルに対応する第2の注目サンプルとの差分値が求められるとともに、求められた差分値と第1の注目サンプルとが加算されることにより、第2の注目サンプルが求められるか、又は、第2の注目サンプルのクラスの加算タップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第2の注目サンプルが求められる
【0055】
本発明の第1の学習装置および第1の学習方法、並びに第2のプログラムおよび第2の記録媒体に記録されているプログラムにおいては、タップ係数の学習の教師となる、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップが、学習の生徒となる、第1のデータに対応する生徒データから抽出され、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データがクラス分類され、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップが、生徒データから抽出され、注目データと予測タップを用い、予測タップと第1のタップ係数との積和演算により求められる、注目データの1のサンプルである第1のサンプルと第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより、1以上のクラスごとの第1のタップ係数が、最終的なタップ係数として求められるか、又は、第1のタップ係数と、積和演算により求められる、教師データの第1のサンプルの予測値の予測誤差を最小にする第2のタップ係数とを加算することにより、最終的なタップ係数が求められる
【0056】
本発明の第2のデータ変換装置および第2のデータ変換方法、並びに第3のプログラムおよび第3の記録媒体に記録されているプログラムにおいては、注目している第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップ、及び、第1の注目サンプルの周辺の位置にある、第2の注目サンプルとは異なる第3の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第3の注目サンプルの周辺に位置する複数のサンプルからなる第3のクラスタップが、第1のデータから抽出され、第1のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第1の注目サンプルがクラス分類されるとともに、第2のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第2の注目サンプルがクラス分類され、第3のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第3の注目サンプルがクラス分類され第1の注目サンプルを求めるのに用いる、第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、第2の注目サンプルを求めるのに用いる、第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップ、及び第3の注目サンプルを求めるのに用いる、第3の注目サンプルの周辺に位置する複数のサンプルからなる第3の予測タップが、第1のデータから抽出され、第1及び第2の注目サンプルを求める主画素処理回路により、学習の教師となる、第2のデータに対応する教師データと、学習の生徒となる、第1のデータに対応する生徒データを用い、生徒データと第1のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第1のタップ係数から、第1及び第2の注目サンプルのクラスそれぞれの第1のタップ係数が取得され、第1の注目サンプルのクラスの第1のタップ係数と、第1の予測タップとを用いた積和演算を行うことにより、第1の注目サンプルが求められるとともに、第2の注目サンプルのクラスの第1のタップ係数と、第2の予測タップとを用いた積和演算を行うことにより、第2の注目サンプルが求められ、第3の注目サンプルを求める副画素処理回路により、第1の注目サンプルから、第2の注目サンプルを減算して得られる減算値に、第1の注目サンプルを加算して、第3の注目サンプルの仮の予測値が求められ、教師データと、生徒データを用い、生徒データと第2のタップ係数との積和演算により求められる予測値であって、教師データの1のサンプルである第1のサンプルと、第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、所定の第2のサンプルとは異なる他の第2のサンプルを減算して得られる減算値に、所定の第2のサンプルを加算することにより求められる第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより得られる第2のタップ係数から、第3の注目サンプルのクラスの第2のタップ係数が取得され、第3の注目サンプルのクラスの第2のタップ係数と、第3の予測タップとを用いた積和演算を行うことにより、第1のサンプルに対応する第3の注目サンプルと、所定の第2のサンプルに対応する第1の注目サンプルから、他の第2のサンプルに対応する第2の注目サンプルを減算して得られる減算値に、第1の注目サンプルを加算して求められる第3の注目サンプルの仮の予測値との差分値が求められ、第3の注目サンプルについて求められた差分値と、第3の注目サンプルの仮の予測値とを加算することにより、第3の注目サンプルが求められる
【0057】
本発明の第2の学習装置および第2の学習方法、並びに第4のプログラムおよび第4の記録媒体に記録されているプログラムにおいては、タップ係数の学習の教師となる、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップが、学習の生徒となる、第1のデータに対応する生徒データから抽出され、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データがクラス分類され、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップが、生徒データから抽出され、注目データと予測タップを用い、予測タップとタップ係数との積和演算により求められる予測値であって、注目データの1のサンプルである第1のサンプルと、第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、所定の第2のサンプルに隣接する他の第2のサンプルを減算して得られる減算値に、所定の第2のサンプルを加算することにより求められる第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、1以上のクラスごとに行うことにより、1以上のクラスごとのタップ係数が求められる。
【0058】
【発明の実施の形態】
図2は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【0059】
この画像処理装置においては、例えば、ぼけたSD画像が入力され、そのSD画像に対して、クラス分類適応処理が施されることにより、SD画像のぼけ度にかかわらず、そのぼけが十分に改善されたHD画像(ぼけ改善画像)が出力されるようになっている。
【0060】
即ち、この画像処理装置は、フレームメモリ1、クラスタップ生成回路2、予測タップ生成回路3、クラス分類回路4、フレームメモリ10、主画素処理回路11、および副画素処理回路12から構成され、そこには、ぼけの改善を行う対象となるSD画像が入力される。
【0061】
フレームメモリ1は、画像処理装置に入力されるSD画像を、例えば、フレーム(またはフィールド)単位で一時記憶する。なお、本実施の形態では、フレームメモリ1は、複数フレームのSD画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力されるSD画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【0062】
クラスタップ生成回路2は、クラス分類適応処理により求めようとするHD画像(ここでは、SD画像からぼけを完全に排除した、ぼけのない理想的なHD画像)を、複数のHD画素(サンプル)からなるブロックにブロック化(分割)し、さらに、各ブロックを、順次、注目ブロックとする。そして、クラスタップ生成回路2は、注目ブロックを構成するHD画素についてのクラス分類に用いるクラスタップを、フレームメモリ1に記憶されたSD画像から生成し、クラス分類回路4に出力する。即ち、クラスタップ生成回路2は、例えば、注目ブロックの位置から空間的または時間的に近い位置にある複数のSD画素(サンプル)を、フレームメモリ1に記憶されたSD画像から抽出することによりクラスタップとし、クラス分類回路4に出力する。
【0063】
具体的には、クラスタップ生成回路2は、例えば、図3に示すように、HD画像を、垂直方向に隣接する2つのHD画素からなるブロックに分割し、各ブロックを、順次、注目ブロックとする。
【0064】
ここで、図3において、○印がSD画像を構成するSD画素を表し、×印がHD画像を構成するHD画素を表している。また、図3では、HD画像は、水平方向と垂直方向それぞれの画素数が、SD画像の2倍の画像になっている。
【0065】
クラスタップ生成回路2は、注目ブロックについて、例えば、図3に示すように、その注目ブロックの位置から近い横×縦が3×3個のSD画素を、フレームメモリ1に記憶されたSD画素から抽出することによりクラスタップとする。
【0066】
なお、以下、適宜、HD画像をブロック化したブロックの上側のHD画素と下側のHD画素を、それぞれy(1)とy(2)と表す。また、以下、適宜、クラスタップを構成する3×3個のSD画素のうちの、第1行第1列、第1行第2列、第1行第3列、第2行第1列、第2行第2列、第2行第3列、第3行第1列、第3行第2列、第3行第3列のSD画素を、それぞれ、x(1),x(2),x(3),x(4),x(5),x(6),x(7),x(8),x(9)と表す。
【0067】
予測タップ生成回路3は、予測演算回路6において注目ブロックを構成するHD画素(の予測値)を求めるのに用いる予測タップを、フレームメモリ1に記憶されたSD画像から生成し、予測演算回路6に供給する。即ち、クラスタップ生成回路2は、例えば、注目ブロックの位置から空間的または時間的に近い位置にある複数のSD画素を、フレームメモリ1に記憶されたSD画像から抽出することにより予測タップとし、予測演算回路6に供給する。
【0068】
なお、ここでは、説明を簡単にするために、予測タップ生成回路3は、注目ブロックを構成するHD画素について、クラスタップと同一のタップ構造の予測タップ、即ち、3×3のSD画素からなる予測タップを生成するものとする。
【0069】
但し、クラスタップとするSD画素と、予測タップとするSD画素とは、同一である必要はない。即ち、クラスタップと予測タップは、それぞれ独立に構成(生成)することが可能である。また、クラスタップや予測タップのタップ構造は、図3に示した、3×3個のSD画素に限定されるものではない。
【0070】
図2に戻り、クラス分類回路4は、クラスタップ生成回路2からのクラスタップに基づいて、注目ブロックを構成するHD画素をクラス分類し、その結果得られる注目ブロックを構成するHD画素のクラスに対応するクラスコードを、主画素処理回路11と副画素処理回路12に供給する。即ち、クラス分類回路4は、クラスタップ生成回路2からのクラスタップを、例えば、1ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、主画素処理回路11と副画素処理回路12に出力する。
【0071】
なお、KビットADRC処理においては、クラスタップを構成するSD画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するSD画素がKビットに再量子化される。即ち、クラスタップを構成する各SD画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算(量子化)される。従って、クラスタップが、1ビットADRC処理された場合には、そのクラスタップを構成する各SD画素の画素値は1ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各SD画素についての1ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。但し、クラス分類は、その他、例えば、クラスタップを構成するSD画素を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。また、クラス分類としては、1クラスのクラス分類を行うことも可能である。この場合、クラス分類回路4は、どのようなクラスタップが供給されても、固定のクラスコードを出力するものとなる。
【0072】
ここで、本実施の形態では、クラスタップ生成回路2において、注目ブロックを構成するHD画素y(1)とy(2)それぞれについて、同一のクラスタップが生成される。従って、クラス分類回路4では、注目ブロックを構成するHD画素y(1)とy(2)それぞれが、同一のクラスにクラス分類される。このことから、クラス分類回路4では、注目ブロックのHD画素がクラス分類されているということができるとともに、注目ブロックがクラス分類されているということもできる。
【0073】
なお、クラスタップ生成回路2では、注目ブロックを構成するHD画素y(1)とy(2)それぞれについて、別々のタップ構造のクラスタップを生成するようにすることも可能である。同様に、予測タップ生成回路3でも、注目ブロックを構成するHD画素y(1)とy(2)それぞれについて、別々のタップ構造の予測タップを生成するようにすることが可能である。但し、注目ブロックを構成するHD画素y(1)とy(2)それぞれについて、別々のタップ構造のクラスタップや予測タップを生成する場合には、主画素処理回路11と副画素処理回路12それぞれに、各回路で求めようとするHD画素について生成されたクラスタップから求められたクラスコードおよび予測タップを供給するようにする必要がある。
【0074】
フレームメモリ10は、主画素処理回路11で求められるHD画素と、副画素処理回路12で求められるHD画素を一時記憶し、例えば、1フレーム分のHD画素を記憶すると、そのHD画素で構成される1フレームのHD画像を出力する。なお、フレームメモリ10は、フレームメモリ1と同様に構成されており、これにより、主画素処理回路11や副画素処理回路12から供給されるHD画素の記憶と、フレームメモリ10に記憶されたHD画素の読み出しとを同時に行うことができるようになっている。
【0075】
主画素処理回路11は、係数RAM(Random Access Memory)5と予測演算回路6から構成されており、注目ブロックを構成するHD画素のうちの、主画素を注目画素とし、その主画素(の予測値)を求めて、フレームメモリ10に供給し、その主画素の位置に対応するアドレスに記憶させる。
【0076】
即ち、係数RAM5は、学習の教師となるHD画像データである教師データと、学習の生徒となるSD画像データである生徒データとの関係を、1以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数RAM5は、クラス分類回路4から注目ブロック(のHD画素)のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目ブロックを構成するHD画素のうちの主画素のクラスのタップ係数を取得し、予測演算回路6に供給する。なお、係数RAM5に記憶されるタップ係数の学習方法についての詳細は、後述する。
【0077】
予測演算回路6は、係数RAM5から供給される、主画素のクラスについてのタップ係数w1,w2,・・・と、予測タップ生成回路3からの予測タップ(を構成する各SD画素の画素値)x1,x2,・・・とを用いて、式(1)に示した積和演算を行うことにより、主画素y(の予測値)を求め、これを、ぼけを改善したHD画素の画素値とし、フレームメモリ10に供給して記憶させる。
【0078】
ここで、本実施の形態においては、HD画像をブロック化して得られる各ブロックを構成するHD画素の中には、例えば、少なくとも1つの主画素と、主画素以外の画素である副画素とが存在する。主画素は、教師データと生徒データとの関係を、教師データに拘束条件を与えずに学習することにより得られたタップ係数を用いて求められるHD画素を意味し、副画素は、教師データと生徒データとの関係を、教師データに拘束条件を与えて学習することにより得られたタップ係数を用いて求められるHD画素を意味する。
【0079】
なお、本実施の形態では、図3に示したHD画像のブロックを構成する2つのHD画素のうちの、例えば、上側のHD画素y(1)が主画素であり、下側のHD画素y(2)が副画素であるとする。
【0080】
副画素処理回路12は、係数RAM7、予測演算回路8、復号回路9から構成されており、注目ブロックを構成するHD画素のうちの、副画素y(2)(の予測値)を求め、フレームメモリ10に供給して、その副画素の位置に対応するアドレスに記憶させる。
【0081】
即ち、係数RAM7は、学習の教師となるHD画像データである教師データと、学習の生徒となるSD画像データである生徒データとの関係を、教師データに拘束条件を与えて、1以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数RAM7は、クラス分類回路4から注目ブロックのクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目ブロックを構成するHD画素のうちの副画素のクラスのタップ係数を取得し、予測演算回路6に供給する。なお、同一ブロックの主画素と副画素については、ここでは、上述したように、同一のクラスタップが生成されるので、そのクラスも同一である。また、係数RAM7に記憶されるタップ係数の学習方法についての詳細は、後述する。
【0082】
予測演算回路8は、係数RAM7から供給される、副画素のクラスについてのタップ係数と、予測タップ生成回路3からの予測タップ(を構成する各SD画素の画素値)とを用いて、式(1)に示した演算に対応する積和演算を行うことにより、副画素と、フレームメモリ10に既に記憶されているHD画素との差分値△y(の予測値)を求め、復号回路9に供給する。ここで、本実施の形態では、予測演算回路8において、注目ブロックの副画素y(2)について、例えば、その副画素y(2)と、その注目ブロックの主画素y(1)との差分値△y(=y(2)−y(1))が求められるものとする。
【0083】
復号回路9は、予測演算回路8から供給される副画素についての差分値を、副画素に復号する。即ち、本実施の形態では、副画素y(2)についての差分値△yとして、その副画素y(2)と、その副画素のブロックの主画素y(1)との差分値が採用されているため、復号回路9は、フレームメモリ10から、注目ブロックの主画素(の予測値)y(1)を読み出し、予測演算回路8から供給される差分値△yと加算することで、副画素(の予測値)y(2)(=△y+y(1))を求める。そして、復号回路9は、求めた副画素を、フレームメモリ10に供給して記憶させる。
【0084】
次に、図4のフローチャートを参照して、図2の画像処理装置が行う、SD画像をHD画像に変換する画像変換処理について説明する。
【0085】
フレームメモリ1には、画像変換処理の対象としてのSD画像(動画像)が、フレーム単位で順次供給され、フレームメモリ1では、そのようにフレーム単位で供給されるSD画像が順次記憶されていく。
【0086】
そして、ステップS1において、クラスタップ生成回路2は、これから求めようとするHD画像のフレーム(フレームメモリ10に記憶させるHD画像のフレーム)を、注目フレームとして、その注目フレームを、図3で説明したように、垂直方向に並ぶ2つのHD画素y(1)とy(2)からなるブロックにブロック化し、ステップS2に進む。
【0087】
ステップS2では、クラスタップ生成回路2は、注目フレームを構成するブロックのうち、まだ注目ブロックとしていないブロックのうちの1つを注目ブロックとして選択し、ステップS3に進む。
【0088】
ステップS3では、クラスタップ生成回路2と予測タップ生成回路3が、注目ブロックの位置に空間的または時間的に近い複数のSD画素を、フレームメモリ1に記憶されたSD画像から抽出することにより、クラスタップと予測タップをそれぞれ生成する。さらに、ステップS3では、クラスタップ生成回路2が、注目ブロックについてのクラスタップを、クラス分類回路4に供給するとともに、予測タップ生成回路3が、注目ブロックについての予測タップを、主画素処理回路11および副画素処理回路12に供給し、ステップS4に進む。
【0089】
ステップS4では、クラス分類回路4は、クラスタップ生成回路2から供給されるクラスタップに基づき、注目ブロック(を構成する主画素y(1)と副画素y(2)それぞれ)についてクラス分類を行い、その結果得られる注目ブロックのクラスを表すクラスコードを、主画素処理回路11および副画素処理回路12に供給して、ステップS5に進む。
【0090】
ステップS5では、主画素処理回路11の係数RAM5が、クラス分類回路4から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目ブロック(を構成する主画素y(1))のクラスのタップ係数を取得して、予測演算回路6に供給する。さらに、ステップS5では、副画素処理回路12の係数RAM7が、クラス分類回路4から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目ブロック(を構成する副画素y(2))のクラスのタップ係数を取得して、予測演算回路8に供給する。
【0091】
その後、ステップS6に進み、主画素処理回路11は、注目ブロックの主画素を、注目画素として、その注目画素(の予測値)y(1)を算出する。即ち、ステップS6では、主画素処理回路11において、予測演算回路6が、予測タップ生成回路3からの予測タップと、係数RAM5からのタップ係数とを用いて、式(1)に示した演算を行い、注目画素としての主画素(の予測値)y(1)を求める。さらに、ステップS6では、予測演算回路6は、求めた主画素y(1)を、フレームメモリ10に供給し、その主画素y(1)の位置に対応するアドレスに記憶させ、ステップS7に進む。
【0092】
ステップS7では、副画素処理回路12は、注目ブロックの副画素を、注目画素として、その注目画素(の予測値)y(2)を算出する。即ち、ステップS7では、副画素処理回路12において、予測演算回路8が、予測タップ生成回路3からの予測タップと、係数RAM7からのタップ係数とを用いて、式(1)に対応する積和演算(この演算の詳細については、後述する)を行い、注目画素としての副画素y(2)と主画素であるHD画素y(1)との差分値(の予測値)△yを求め、復号回路9に供給する。さらに、ステップS7では、復号回路9が、予測演算回路8から供給される差分値△yに、ステップS6で求められ、フレームメモリ10に記憶されている主画素y(1)を加算することにより、注目画素としての副画素(の予測値)y(2)を求める。そして、復号回路9は、その副画素y(2)を、フレームメモリ10に供給し、その副画素y(2)の位置に対応するアドレスに記憶させ、ステップS8に進む。
【0093】
ステップS8では、クラスタップ生成回路2が、注目フレームを構成するブロックのうち、まだ、注目ブロックとしていないブロックが存在するかどうかを判定し、存在すると判定した場合、ステップS2に戻り、以下、同様の処理を繰り返す。
【0094】
また、ステップS8において、注目ブロックとしていないブロックが存在しないと判定された場合、即ち、注目フレームを構成するすべてのHD画素が、フレームメモリ10に記憶された場合、ステップS9に進み、フレームメモリ10は、その注目フレームのHD画像を、そこから読み出して出力し、ステップS10に進む。
【0095】
ステップS10では、クラスタップ生成回路2が、次に求めるべきHD画像のフレームが存在するかどうかを判定し、存在すると判定した場合、ステップS1に戻り、そのフレームを、新たに注目フレームとして、以下、同様の処理を繰り返す。
【0096】
また、ステップS10において、次に求めるべきHD画像のフレームが存在しないと判定された場合、処理を終了する。
【0097】
次に、図5は、図2の係数RAM5に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成例を示している。
【0098】
学習用データベース21には、タップ係数の学習用の画像データとしての、例えばHD画像データが記憶されている。
【0099】
学習対生成回路22は、学習用データベース21に記憶された学習用の画像データから、タップ係数の学習に用いられる教師データと生徒データのセットである学習対データを生成し、学習対データベース63に供給する。
【0100】
即ち、学習対生成回路22は、学習用データベース21に記憶された学習用の画像データを読み出し、その学習用の画像データであるHD画像データを、例えば、そのまま教師データとする。ここで、図2の画像処理装置で得られるHD画像は、図5の学習装置で教師データとして用いられるHD画像データの画質に対応したものとなる。
【0101】
さらに、学習対生成回路22は、教師データとしてのHD画像データの画質を劣化させることにより、即ち、例えば、教師データとしてのHD画像データの画素を間引き、さらに、LPF(Low Pass Filter)でフィルタリングすること等により、その教師データとしてのHD画像データをぼかしたSD画像データである生徒データを生成する。ここで、生徒データとしてのSD画像データは、図2の画像処理装置で処理対象となるSD画像データに対応した画質のものとする必要がある。
【0102】
学習対生成回路22は、上述のようにして、教師データと、その教師データに対応する生徒データ(教師データから生成された生徒データ)とを生成すると、その教師データと生徒データのセットを、学習対データとして、学習対データベース23に供給する。
【0103】
学習対データベース23は、学習対生成回路22からの学習対データを一時記憶する。
【0104】
クラスタップ生成回路24は、学習対データベース23に記憶された学習対データにおける教師データとしてのHD画像を、図2のクラスタップ生成回路2における場合と同一のブロックにブロック化し、各ブロックを、順次、注目ブロックとする。さらに、クラスタップ生成回路24は、注目ブロック(を構成する主画素と副画素それぞれ)についてのクラスタップを、学習対データベース23に記憶された学習対データにおける生徒データとしてのSD画像から生成し、クラス分類回路26に供給する。ここで、クラスタップ生成回路24は、図2のクラスタップ生成回路2が生成するのと同一のタップ構造のクラスタップを生成する。
【0105】
予測タップ生成回路25は、注目ブロック(を構成する主画素と副画素それぞれ)についての予測タップを、学習対データベース23に記憶された学習対データにおける生徒データとしてのSD画像から生成し、足し込み回路27に供給する。ここで、予測タップ生成回路25は、図2の予測タップ生成回路3が生成するのと同一のタップ構造のクラスタップを生成する。
【0106】
クラス分類回路26は、図2のクラス分類回路4と同様に構成され、クラスタップ生成回路24からのクラスタップに基づいて、注目ブロック(を構成する主画素と副画素それぞれ)をクラス分類し、注目ブロックのクラスを表すクラスコードを、足し込み回路27に供給する。
【0107】
足し込み回路27およびタップ係数演算回路28は、学習対データベース23に記憶された学習対データにおける、注目ブロックの主画素となっている教師データと、予測タップ生成回路25から供給される予測タップとを用い、学習対データベース23に記憶された学習対データとしての教師データと生徒データとの関係を、クラス分類回路26から供給されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【0108】
即ち、足し込み回路27は、クラス分類回路26が出力するクラスコードごとに、予測タップ生成回路25から供給される予測タップと、学習対データベース23に記憶された学習対データにおける、注目ブロックの主画素となっている教師データであるHD画素とを対象とした、式(8)の足し込みを行う。
【0109】
具体的には、足し込み回路27は、クラス分類回路26から供給されるクラスコードに対応するクラスごとに、予測タップを構成する生徒データとしてのSD画素xn,kを用い、式(8)の左辺の行列におけるSD画素どうしの乗算(xn,kn',k)と、サメーション(Σ)に相当する演算を行う。
【0110】
さらに、足し込み回路27は、やはり、クラス分類回路26から供給されるクラスコードに対応するクラスごとに、予測タップを構成する生徒データとしてのSD画素xn,kと注目ブロックにおける主画素となっている教師データであるHD画素ykを用い、式(8)の右辺のベクトルにおけるSD画素xn,kおよびHD画素ykの乗算(xn,kk)と、サメーション(Σ)に相当する演算を行う。
【0111】
足し込み回路27は、学習対データベース23に記憶された学習対データにおける教師データとしてのHD画像のブロックすべてを注目ブロックとして、上述の足し込みを行うことにより、各クラスについて、式(8)に示した正規方程式をたてると、その正規方程式を、タップ係数演算回路28に供給する。
【0112】
タップ係数演算回路28は、足し込み回路27から、各クラスについての式(8)の正規方程式を受信し、その正規方程式を解くことにより、クラスごとのタップ係数を求めて出力する。
【0113】
タップ係数メモリ29は、タップ係数演算回路28が出力するクラスごとのタップ係数を記憶する。
【0114】
次に、図6は、図5の学習対生成回路22の構成例を示している。
【0115】
学習対生成回路22には、学習用データベース21(図5)に記憶された学習用の画像データとしてのHD画像データが供給され、学習対生成回路22は、そのHD画像データを、そのまま教師データとして出力する。
【0116】
また、間引き回路31は、学習用の画像データとしてのHD画像データの画素を間引き、その間引きによって得られるSD画像データを、LPF32に供給する。ここで、本実施の形態では、図3で説明したように、図2の画像処理装置において、SD画像データが、その水平方向と垂直方向それぞれの画素数が2倍にされたHD画像データに変換されるため、間引き回路31では、その逆に、学習用の画像データとしてのHD画像データを構成する水平方向と垂直方向それぞれの画素数が1/2に間引かれる。
【0117】
LPF32は、所定の周波数特性を有するLPFで、間引き回路31から供給されるSD画像データをフィルタリングすることにより、そのSD画像データをぼかしたSD画像データを得て、生徒データとして出力する。
【0118】
学習対生成回路22は、以上のようにして得られる教師データと生徒データのセットを、学習対データとして、学習対データベース23(図5)に出力する。
【0119】
次に、図7のフローチャートを参照して、図5の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【0120】
まず最初に、ステップS11において、学習対生成回路22は、学習用データベース21から学習用の画像データを読み出し、教師データと生徒データを生成する。さらに、ステップS11では、学習対生成回路22は、その教師データと生徒データとをセットにすることで学習対データを生成し、学習対データベース23に供給して記憶させる。
【0121】
そして、ステップS12に進み、クラスタップ生成回路24は、学習対データベース23に記憶された学習対データにおける教師データとしてのHD画像データを、図2のクラスタップ生成回路2における場合と同様に、垂直方向に並ぶ2つのHD画素の単位のブロックにブロック化し、ステップS13に進む。
【0122】
ステップS13では、クラスタップ生成回路24は、学習対データベース23に記憶された学習対データにおける教師データとしてのHD画像のブロックの中から、まだ注目ブロックとしていないもののうちの1つを注目ブロックとして選択し、ステップS14に進む。ステップS14では、クラスタップ生成回路24と予測タップ生成回路25は、注目ブロック(の主画素)についてのクラスタップと予測タップを、学習対データベース23に記憶された生徒データとしてのSD画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路26と足し込み回路27にそれぞれ供給して、ステップS15に進む。
【0123】
ステップS15では、クラス分類回路26が、図2のクラス分類回路4における場合と同様にして、クラスタップ生成回路24からのクラスタップを用いて、注目ブロック(の主画素)をクラス分類し、その注目ブロックのクラスを表すクラスコードを、足し込み回路27に供給して、ステップS16に進む。
【0124】
ステップS16では、足し込み回路27が、学習対データベース23から、注目ブロックの主画素となっているHD画素を、注目画素として読み出す。さらに、ステップS16では、足し込み回路27が、クラス分類回路26から供給されるクラスコードが表す注目ブロックのクラスごとに、予測タップ生成回路25から供給される予測タップ、および学習対データベース23から読み出した注目画素を対象とした、上述した式(8)における足し込みを行い、ステップS17に進む。
【0125】
そして、ステップS17では、クラスタップ生成回路24は、学習対データベース23に記憶された教師データとしてのHD画像データのブロックの中に、まだ注目ブロックとしていないものがあるかどうかを判定する。ステップS17において、学習対データベース23に記憶された教師データのブロックの中に、まだ注目ブロックとしていないものがあると判定された場合、ステップS13に戻り、以下、同様の処理が繰り返される。
【0126】
また、ステップS17において、学習対データベース23に記憶された教師データのブロックの中に、注目ブロックとしていないものがないと判定された場合、足し込み回路27は、いままでのステップS16における足し込みによって、クラスごとに得られた式(8)の正規方程式を、タップ係数演算回路28に供給して、ステップS18に進む。
【0127】
ステップS18では、タップ係数演算回路28は、足し込み回路27から供給される、各クラスごとの式(8)の正規方程式を解くことにより、クラスごとのタップ係数を求め、タップ係数メモリ29に供給して記憶させ、処理を終了する。
【0128】
以上のようにして、タップ係数メモリ29に記憶されたクラスごとのタップ係数が、図2の画像処理装置における係数RAM5に記憶されている。従って、その係数RAM5を有する主画素処理回路11では、本件出願人が先に提案したクラス分類適応処理における場合と同様にして、主画素としてのHD画素が求められる。
【0129】
なお、以上のようなタップ係数の学習処理において、用意する学習用の画像データ等によっては、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、タップ係数演算回路28において、デフォルトのタップ係数を出力するようにすること等が可能である。あるいは、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じた場合には、新たに学習用の画像データを用意して、再度、タップ係数の学習を行うようにしても良い。このことは、後述する学習装置におけるタップ係数の学習についても、同様である。
【0130】
次に、図8は、図2の係数RAM7に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成例を示している。
【0131】
図8の学習装置は、図5の学習用データベース21、学習対生成回路22、学習対データベース23、クラスタップ生成回路24、予測タップ生成回路25、クラス分類回路26、足し込み回路27、タップ係数演算回路28、タップ係数メモリ29とそれぞれ同様に構成される学習用データベース41、学習対生成回路42、学習対データベース43、クラスタップ生成回路44、予測タップ生成回路45、クラス分類回路46、足し込み回路47、タップ係数演算回路48、タップ係数メモリ49から構成されている。
【0132】
従って、図8の学習装置では、基本的には、図5の学習装置における場合と同様にして、1以上のクラスごとのタップ係数が求められるようになっている。但し、図8の学習装置は、教師データと生徒データとの関係を、教師データに所定の拘束条件を与えて、1以上のクラスごとに学習することにより、1以上のクラスごとのタップ係数を求めるようになっている。
【0133】
即ち、図8の学習装置では、例えば、教師データのブロックにおける主画素と副画素との関係を拘束する拘束条件を与えて、教師データと生徒データとの関係の学習が行われる。具体的には、例えば、主画素と副画素の差分値を拘束する拘束条件を与えて、教師データと生徒データとの関係の学習が行われる。
【0134】
ここで、主画素y(1)と副画素y(2)の差分値△yを拘束して、教師データと生徒データとの関係を学習することにより、即ち、理想的には、式(1)の積和演算で求められる主画素の予測値y(1)’と副画素の予測値y(2)’について、その差分値△y’=y(2)’−y(1)’が、副画素の真値y(2)から主画素の真値y(1)を減算して得られる差分値の真値△y=y(2)−y(1)に一致するという拘束条件の下で、教師データと生徒データとの関係を学習することにより、主画素の真値y(1)と副画素の真値y(2)との間の関係を維持した副画素の予測値y(2)’を求めるタップ係数を得ることができる。
【0135】
そして、そのようなタップ係数を用いて、SD画像をHD画像に変換した場合には、拘束条件の効果によって、つまり、主画素と副画素の差分値が拘束されることによって、前述の図1Bで説明したような、画素値の変化が真値の変化と逆になることを防止することができる。
【0136】
ところで、副画素y(2)から主画素y(1)を減算して得られる差分値△yを拘束する拘束条件として、例えば、上述したように、主画素の予測値y(1)’と副画素の予測値y(2)’の差分値(以下、適宜、差分値の予測値ともいう)△y’=y(2)’−y(1)’が、主画素の真値y(1)と副画素の真値y(2)の差分値である差分値の真値△y=y(2)−y(1)に一致するという条件を採用した場合に、すべてのブロックの主画素と副画素に、その拘束条件を満足させることは困難である。
【0137】
そこで、図8の学習装置では、差分値の予測値△’yの、その真値△yに対する予測誤差を統計的に最小にするという拘束条件の下で、教師データと生徒データとの関係の学習が行われる。
【0138】
即ち、例えば、いま、主画素y(1)と副画素y(2)を求めるためのタップ係数を、それぞれwn (1)とwn (2)とそれぞれ表すと、主画素y(1)と副画素y(2)は、タップ係数wn (1)とwn (2)それぞれと、予測タップxnを用い、式(1)にしたがって、式(9)と(10)によりそれぞれ求められる。
【0139】
【数9】
【0140】
【数10】
【0141】
いま、タップ係数wn (1)とwn (2)の差分値△wnを次式で定義する。
【0142】
【数11】
【0143】
この場合、式(9)乃至(11)から、差分値△yは、次の積和演算で求められることになる。
【0144】
【数12】
【0145】
差分値の予測値△’yの、その真値△yに対する予測誤差を統計的に最小にするという拘束条件は、例えば、差分値の予測値△’yの予測誤差の総和を最小にすることによって満足させることができ、そのような予測誤差の総和を最小にするタップ係数△wnが、拘束条件を満たすタップ係数となる。
【0146】
そして、差分値の予測値△’yの予測誤差の総和を最小にするタップ係数△wnは、例えば、最小自乗法によって求めることができる。
【0147】
ところで、式(12)は、式(1)におけるHD画素yを、差分値△yに置き換えるとともに、タップ係数wnを、タップ係数△wnに置き換えた式と等価である。従って、式(12)により求められる差分値yの予測誤差の総和を最小にするタップ係数△wnは、やはり、式(8)のHD画素yを、差分値△yに置き換えるとともに、タップ係数wnを、タップ係数△wnに置き換えることによって得られる式(13)の正規方程式を解くことによって求めることができる。
【0148】
【数13】
【0149】
図8の学習装置では、以上のようにして、教師データykと生徒データxkとの関係を、教師データykに上述の拘束条件を与えて、1以上のクラスごとに学習することにより、1以上のクラスごとのタップ係数△wnを求めるようになっている。
【0150】
従って、図8の学習装置で行われる学習は、教師データのブロックの主画素y(1)と副画素y(2)の差分値△yを、拘束条件によって拘束された教師データ(以下、適宜、拘束教師データという)として、その拘束教師データ△yと、生徒データxkとの関係を学習することと等価である。
【0151】
このため、学習対生成回路42では、教師データそのものと生徒データとのセットではなく、拘束教師データと生徒データとのセットが、学習対データとして生成されるようになっている。また、足し込み回路47では、やはり、教師データそのものと生徒データを対象とした式(8)の足し込みではなく、拘束教師データと生徒データを対象とした式(13)における足し込みが行われるようになっている。
【0152】
次に、図9は、図8の学習対生成回路42の構成例を示している。
【0153】
学習対生成回路42には、学習用データベース41(図8)に記憶された学習用の画像データとしてのHD画像データが供給され、学習対生成回路42は、そのHD画像データを、教師データとして、間引き回路51、メモリ53、およびセレクタ55に供給する。
【0154】
間引き回路51は、図6の間引き回路31と同様に、教師データとしてのHD画像データの画素を間引き、その間引きによって得られるSD画像データを、LPF52に供給する。LPF52は、図6のLPF32と同様の、所定の周波数特性を有するLPFで、間引き回路51から供給されるSD画像データをフィルタリングすることにより、そのSD画像データをぼかしたSD画像データを得て、そのSD画像データを構成するSD画素を、生徒データとして出力する。
【0155】
一方、メモリ53は、学習用データベース41から供給される教師データとしてのHD画像データを一時記憶し、そのHD画像データをブロックにブロック化したときに、ブロックの主画素y(1)となるHD画素を、演算回路54に供給する。
【0156】
演算回路54は、学習用データベース41から供給される教師データとしてのHD画像データのうち、そのHD画像データをブロックにブロック化したときに、ブロックの副画素y(2)となるHD画素を受信する。さらに、演算回路54は、ブロックの副画素y(2)から、メモリ53より供給されるそのブロックの主画素y(1)を減算することにより、差分値△y=y(2)−y(1)を求め、その差分値△yを、セレクタ55に出力する。
【0157】
セレクタ55は、学習用データベース41から供給される教師データとしてのHD画像データのうち、そのHD画像データをブロックにブロック化したときに、ブロックの主画素となるHD画素については、そのHD画素を選択し、副画素となるHD画素については、演算回路54が出力する差分値△yを選択して、拘束教師データとして出力する。
【0158】
従って、セレクタ55が出力する拘束教師データにおいては、主画素は、教師データとしてのHD画素そのものの画素値を有するものとなっており、副画素は、その副画素の画素値から主画素の画素値を減算した値の画素値を有するものとなっている。
【0159】
学習対生成回路42は、以上のようにして得られる拘束教師データと生徒データのセットを、学習対データとして、学習対データベース43(図8)に出力する。
【0160】
次に、図10のフローチャートを参照して、図8の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【0161】
まず最初に、ステップS21において、学習対生成回路42は、学習用データベース41から学習用の画像データを読み出し、拘束教師データと生徒データを生成する。さらに、ステップS21では、学習対生成回路42は、その拘束教師データと生徒データとをセットにすることで学習対データを生成し、学習対データベース43に供給して記憶させる。
【0162】
そして、ステップS22に進み、クラスタップ生成回路44は、学習対データベース43に記憶された学習対データにおける拘束教師データを、図2のクラスタップ生成回路2における場合と同様に、垂直方向に並ぶ2つのHD画素の単位のブロックにブロック化し、ステップS23に進む。
【0163】
ステップS23では、クラスタップ生成回路44は、学習対データベース43に記憶された学習対データにおける拘束教師データのブロックの中から、まだ注目ブロックとしていないもののうちの1つを注目ブロックとして選択し、ステップS24に進む。ステップS24では、クラスタップ生成回路44と予測タップ生成回路45は、注目ブロック(の副画素)についてのクラスタップと予測タップを、学習対データベース43に記憶された生徒データとしてのSD画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路46と足し込み回路47にそれぞれ供給して、ステップS25に進む。
【0164】
ステップS25では、クラス分類回路46が、図2のクラス分類回路4における場合と同様にして、クラスタップ生成回路44からのクラスタップを用いて、注目ブロック(の副画素)をクラス分類し、その注目ブロックのクラスを表すクラスコードを、足し込み回路47に供給して、ステップS26に進む。
【0165】
ステップS26では、足し込み回路47が、学習対データベース43から、注目ブロックの副画素となっているHD画素(の画素値である差分値△y)を、注目画素として読み出す。さらに、ステップS26では、足し込み回路47が、クラス分類回路46から供給されるクラスコードが表す注目ブロックのクラスごとに、予測タップ生成回路45から供給される予測タップ、および学習対データベース43から読み出した注目画素を対象とした、上述した式(13)における足し込みを行い、ステップS27に進む。
【0166】
そして、ステップS27では、クラスタップ生成回路44は、学習対データベース43に記憶された拘束教師データのブロックの中に、まだ注目ブロックとしていないものがあるかどうかを判定する。ステップS27において、学習対データベース43に記憶された拘束教師データのブロックの中に、まだ注目ブロックとしていないものがあると判定された場合、ステップS23に戻り、以下、同様の処理が繰り返される。
【0167】
また、ステップS27において、学習対データベース43に記憶された拘束教師データのブロックの中に、注目ブロックとしていないものがないと判定された場合、足し込み回路47は、いままでのステップS26における足し込みによって、クラスごとに得られた式(13)の正規方程式を、タップ係数演算回路48に供給して、ステップS28に進む。
【0168】
ステップS28では、タップ係数演算回路48は、足し込み回路47から供給される、各クラスごとの式(13)の正規方程式を解くことにより、クラスごとのタップ係数△wnを求め、タップ係数メモリ49に供給して記憶させ、処理を終了する。
【0169】
以上のようにして、タップ係数メモリ49に記憶されたクラスごとのタップ係数△wnが、図2の画像処理装置における係数RAM7に記憶されている。そして、その係数RAM7を有する副画素処理回路12では、予測演算回路8において、係数RAM7に記憶されたタップ係数△wnと、予測タップxnとを用い、式(1)に対応する式(12)の積和演算が行われることによって、予測誤差の総和を最小にする、副画素y(2)の、主画素y(1)に対する差分値△y(の予測値)が求められる。さらに、復号回路9において、差分値△yは、既に求められてフレームメモリ10に記憶されている主画素y(1)(の予測値)と加算され、これにより、副画素y(2)(の予測値)が求められる。
【0170】
従って、副画素は、主画素との関係を維持するタップ係数を用いて求められることから、図2の画像処理装置では、求められるHD画像の画素値の変化が真値の変化と逆になるようなことを防止して、より高画質のHD画像を得ることができる。
【0171】
次に、図11は、図8の学習対生成回路42の他の構成例を示している。なお、図中、図9における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図11の学習対生成回路42は、クラス分類適応処理回路60が新たに設けられている他は、図9における場合と同様に構成されている。
【0172】
クラス分類適応処理回路60には、LPF52が出力する生徒データとしてのSD画像データが供給されるようになっており、クラス分類適応処理回路60は、その生徒データとしてのSD画像データを対象に、本件出願人が先に提案したクラス分類適応処理を施すことにより、教師データとしてのHD画像データ(の予測値)を求め、メモリ53に供給する。
【0173】
即ち、クラス分類適応処理回路60は、図2のフレームメモリ1、クラスタップ生成回路2、予測タップ生成回路3、クラス分類回路4、係数RAM5、予測演算回路6とそれぞれ同様に構成されるフレームメモリ61、クラスタップ生成回路62、予測タップ生成回路63、クラス分類回路64、係数RAM65、予測演算回路66で構成され、図2における場合と同様にして、LPF52から供給される生徒データとしてのSD画像データをHD画像データに変換するクラス分類適応処理を行い、その結果得られるHD画像データを、メモリ53に供給する。
【0174】
但し、クラス分類適応処理回路60では、HD画像データのブロックが、すべて主画素で構成されるものとして、クラス分類適応処理が行われる。即ち、クラス分類適応処理回路60では、係数RAM65に、図5の学習装置によって求められたタップ係数が記憶されており、HD画像データのブロックを構成するHD画素は、すべて、その係数RAM65に記憶されたタップ係数を用いた式(1)の積和演算を行うことによって求められる。
【0175】
従って、図11の実施の形態では、メモリ53には、学習用データベース41に記憶された学習用の画像データとしての教師データそのものではなく、クラス分類適応処理回路60によって求められた、教師データの予測値が記憶される。その結果、図11の演算回路54では、学習用データベース41から供給される教師データとしてのHD画像データのうち、そのHD画像データをブロックにブロック化したときに、ブロックの副画素y(2)となるHD画素から、メモリ53に記憶されたそのブロックの主画素y(1)の予測値を減算することにより、差分値△yが求められる。即ち、ブロックの副画素y(2)となるHD画素から、そのブロックの主画素y(1)そのものではなく、クラス分類適応処理回路60で求められた主画素y(1)の予測値が減算されることにより、差分値△yが求められ、拘束教師データとされる。
【0176】
従って、学習対生成回路42が図9に示したように構成される場合よりも、副画素の予測精度の高い(副画素の予測誤差が小さい)タップ係数を求めることが可能となる。
【0177】
即ち、図2の画像処理装置では、副画素処理回路12の予測演算回路8において、予測タップxkとタップ係数△wnを用いた式(12)の積和演算が行われることにより、副画素y(2)と主画素y(1)の差分値△yの予測値が求められ、さらに、復号回路9において、予測演算回路8で求められた差分値yの予測値に、主画素処理回路11で求められた主画素y(1)の予測値が加算されることで、副画素y(2)の予測値が求められる。
【0178】
従って、図2の画像処理装置において、副画素を求めるのに用いられるのが、主画素の真値ではなく、その予測値であることから、図8の学習装置でも、学習対生成回路42において、主画素の真値ではなく、その予測値を用いて、拘束教師データを生成した方が、図2の画像処理装置における副画素の予測精度を向上させることができる。
【0179】
なお、図11の実施の形態では、クラス分類適応処理回路60において、教師データとしてのHD画像データのすべてのHD画素(の予測値)を求めるようにしたが、その後段のメモリ53および演算回路54では、クラス分類適応処理回路60が出力するHD画素のうち、図2の画像処理装置において主画素とされるHD画素だけが使用される。従って、クラス分類適応処理回路60では、図2の画像処理装置において主画素とされるHD画素のみを求め、副画素とされるHD画素については無視する(特に処理をしない)ようにすることが可能である。
【0180】
次に、図12は、本発明を適用した画像処理装置の他の一実施の形態の構成例を示している。なお、図中、図2における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図12の画像処理装置は、副画素処理回路12が、係数RAM7、予測演算回路8、および復号回路9に代えて、係数RAM77および予測演算回路78で構成されている他は、図2における場合と同様に構成されている。
【0181】
係数RAM77には、図2の係数RAM5に記憶されたクラスごとのタップ係数wnと、係数RAM7に記憶されたタップ係数△wnとを加算して得られるクラスごとのタップ係数が記憶されている。そして、係数RAM77は、クラス分類回路4から供給される注目ブロックのクラスコードが表すクラスのタップ係数を読み出すことにより、そのタップ係数を取得し、予測演算回路78に供給する。
【0182】
予測演算回路78は、係数RAM77から供給される注目ブロックのクラスのタップ係数と、予測タップ生成回路3から供給される注目ブロックの予測タップとを用いて、式(1)に対応する積和演算を行うことにより、注目ブロックの副画素(の予測値)を求める。さらに、予測演算回路78は、求めた副画素を、フレームメモリ10の対応するアドレスに供給して記憶させる。
【0183】
即ち、拘束教師データを用いた学習によれば、式(12)の積和演算に用いられる、副画素y(2)から主画素y(1)を減算した差分値△yを求めるタップ係数△wnが得られるが、このタップ係数△wnは、式(11)で定義されるものである。
【0184】
そして、式(11)によれば、タップ係数wn (2)は、次式によって求めることができる。
【0185】
【数14】
【0186】
式(14)によれば、タップ係数wn (2)は、拘束教師データを用いた学習によって求められるタップ係数△wnから得られる。従って、タップ係数wn (2)も、拘束教師データを用いた学習によって求められたものということができる。そして、タップ係数wn (2)によれば、式(1)に対応する式(10)の積和演算によって、副画素y(2)(の予測値)を求めることができる。
【0187】
そこで、図12の実施の形態では、係数RAM77に、式(14)で表されるクラスごとのタップ係数wn (2)が記憶されており、予測演算回路78において、そのタップ係数wn (2)と、予測タップ生成回路3が出力する予測タップxnとを用いて、式(10)の積和演算が行われることにより、副画素y(2)が求められる。
【0188】
従って、図12の画像処理装置では、図4のステップS5において、係数RAM7からタップ係数△wnが取得される代わりに、係数RAM77からタップ係数wn (2)が取得され、ステップS8において、係数RAM7に記憶されたタップ係数△wnと予測タップxnを用いた式(12)の積和演算によって、差分値△yが求められ、さらに、その差分値△yと主画素y(1)とが加算されることにより、副画素y(2)が求められる代わりに、係数RAM77に記憶されたタップ係数wn (2)と予測タップxnを用いた式(10)の積和演算によって、副画素y(2)が求められる他は、図4で説明した場合と同様の処理が行われるため、図12の画像処理装置の処理について説明は、省略する。
【0189】
図12の画像処理装置においても、図2の画像処理装置における場合と同様に、副画素は、主画素との関係を維持するタップ係数を用いて求められるので、やはり、求められるHD画像の画素値の変化が真値の変化と逆になるようなことを防止して、より高画質のHD画像を得ることができる。
【0190】
ここで、係数RAM77に記憶させるタップ係数wn (2)は、図5の学習装置で求められたタップ係数wn (1)と、図8の学習装置で求められたタップ係数Δwnとを、別途加算することによって求めることも可能であるし、図5と図8の学習装置を、一体的に構成し、かつ、タップ係数演算回路28が出力するタップ係数wn (1)と、タップ演算回路48が出力するタップ係数Δwnとを加算する回路を設けた学習装置によって求めるようにすることも可能である。
【0191】
なお、図2の実施の形態では、副画素処理回路12において、主画素と副画素の差分値を、図3に示したSD画素の画素値x(1)乃至x(9)そのものを予測タップとして用いて求めるようにしたが、主画素と副画素の差分値については、SD画素の画素値x(1)乃至x(9)の差分値を予測タップとして用いて求めるようにすることが可能である。即ち、主画素と副画素の差分値については、例えば、SD画素の画素値x(1)乃至x(9)のうちの垂直方向に並ぶ2つのSD画素どうしの差分値であるx(1)−x(4),x(2)−x(5),x(3)−x(6),x(4)−x(7),x(5)−x(8),x(6)−x(9)を予測タップとして用いて求めるようにすることが可能である。但し、この場合、図8の学習装置でも、同様の予測タップを用いる必要がある。
【0192】
また、本実施の形態では、説明を簡単にするために、HD画像データを、垂直方向に並ぶ2つのHD画素でなるブロックに分割するようにしたが、ブロックは、3以上のHD画素で構成することが可能である。即ち、ブロックは、例えば、図13に示すように、横×縦が2×2のHD画素y(1),y(2),y(3),y(4)で構成することが可能である。
【0193】
さらに、ブロックにおいて、主画素とするHD画素は、1つに限定されるものではない。即ち、例えば、図13に示したように、4つのHD画素y(1)乃至y(4)でブロックを構成した場合には、例えば、そのうちの1つのHD画素y(1)だけを主画素とするとともに、残りの3つのHD画素y(2)乃至y(4)を副画素とすることもできるし、あるいは、例えば、そのうちの2つのHD画素y(1)およびy(2)を主画素とし、残りの2つのHD画素y(3)およびy(4)を副画素とすることもできる。
【0194】
また、図8の学習装置では、学習対生成回路42において、副画素から主画素を減算して得られる差分値を、拘束教師データとして用いるようにしたが、拘束教師データとしては、その他、例えば、副画素から他の副画素を減算して得られる差分値を採用することも可能である。即ち、例えば、図13に示したように、4つのHD画素y(1)乃至y(4)でブロックを構成し、そのうちの1つのHD画素y(1)だけを主画素とするとともに、残りの3つのHD画素y(2)乃至y(4)を副画素とした場合には、例えば、副画素y(2)については、その副画素y(2)から主画素y(1)を減算して得られる差分値を、副画素y(3)については、その副画素y(3)から副画素y(2)を減算して得られる差分値を、副画素y(4)については、その副画素y(4)から副画素y(3)を減算して得られる差分値を、それぞれ拘束教師データとして採用することが可能である。但し、この場合、図2の画像処理装置における復号回路9では、副画素y(2)は、予測演算回路8が出力する差分値に、フレームメモリ10に記憶された主画素y(1)を加算することで、副画素y(3)は、予測演算回路8が出力する差分値に、フレームメモリ10に記憶された副画素y(2)を加算することで、副画素y(4)は、予測演算回路8が出力する差分値に、フレームメモリ10に記憶された副画素y(3)を加算することで、それぞれ求められることになる。
【0195】
さらに、本実施の形態では、教師データとしての副画素に、1つの画素である主画素との差分値を拘束する拘束条件しか与えなかったが、副画素には、複数の画素それぞれとの差分値を拘束する拘束条件を与えることが可能である。即ち、例えば、図13に示した場合において、y(4)を副画素とすると、副画素y(4)については、差分値y(4)−y(1),y(4)−y(2),y(4)−y(3)を拘束教師データとして、図8の足し込み回路47における足し込みに用いるようにすることが可能である。
【0196】
また、図2の実施の形態では、上下に隣接する2つのHD画素を1ブロックとし、さらに、そのブロックにおける上側のHD画素と下側のHD画素を、それぞれ主画素と副画素として、副画素の差分値の予測値と、主画素の予測値とを加算することにより、副画素の予測値を求める(副画素を復号する)ようにしたが、1フレーム(またはフィールド)の各HD画素は、その他、例えば、次のようにして求めることが可能である。即ち、各HD画素(の予測値)は、例えば、そのHD画素を副画素として、その副画素の差分値の予測値と、その上側に隣接するHD画素の予測値とを加算することで求めるようにすることが可能である。なお、この場合、最上行のHD画素は、そのHD画素を主画素として、その予測値を求めることにより復号しても良いし、また、最上行のHD画素については、その真値を、何らかの方法で取得するようにしても良い。
【0197】
さらに、本実施の形態では、学習装置において、教師データと生徒データとの関係を、教師データに所定の拘束条件を与えて学習することにより、教師データである複数のHD画素どうしの関係を反映したHD画素の予測値を求めることができるタップ係数を求めるようにしたが、この教師データに拘束条件を与えた学習は、教師データの複数サンプル(複数のHD画素)から得られる特徴と、生徒データ(のサンプル)との関係を学習していると言い換えることができる。
【0198】
即ち、図8の学習装置では、上述したように、副画素(の画素値の真値)から主画素を減算して得られる差分値を拘束教師データとして、その拘束教師データと、生徒データとの関係が学習される。この場合に、副画素から主画素を減算して得られる差分値は、主画素としてのHD画素と、副画素としてのHD画素との、2つのHD画素の特徴を表しているということができ、従って、図8の学習装置では、教師データの複数のHD画素から得られる特徴と、生徒データの複数のSD画素との関係が学習され、両者を対応付けるタップ係数が求められているということができる。
【0199】
なお、教師データの複数のHD画素から得られる特徴は、差分値に限定されるものではない。
【0200】
また、特徴を求める複数のHD画素も、2つのHD画素に限定されるものではなく、3以上のHD画素を採用することが可能である。
【0201】
即ち、教師データの複数のHD画素から得られる特徴としては、例えば、3つのHD画素から得られる差分値などを採用することができる。この場合、図8の学習装置では、例えば、教師データにおいて、上下方向(または左右方向)に隣接する3つのHD画素を、上から順にa,b,cとして、上から2番目のHD画素bから一番上のHD画素aを減算した差分値△1=b−aが求められる。さらに、その差分値△1を、上から2番目のHD画素bに加算することで、一番下のHD画素cの、いわば仮の予測値c’=b+△1が求められる。そして、HD画素cの仮の予測値c’から、その真値cを減算して得られる差分値△2=c’−cが、3つのHD画素a,b,cから得られる特徴として用いられ、この差分値△2と、生徒データ(から得られる予測タップ)とを対応付けるタップ係数が学習される。
【0202】
なお、この場合、図2の画像処理装置では、一番上のHD画素aと上から2番目のHD画素bは、例えば、主画素とされ、主画素処理回路11において、それぞれの予測値が求められる。そして、一番下のHD画素cについては、副画素処理回路12において、主画素処理回路11で求められたHD画素aとb(の予測値)から、それらの差分値△1(の予測値)が求められ、主画素処理回路11で求められたHD画素bと加算されることで、HD画素cの仮の予測値c’が求められる。さらに、副画素処理回路12において、3つのHD画素a,b,cから得られる特徴としての差分値△2(の予測値)が、学習により得られたタップ係数を用いて求められ、その差分値△2を、HD画素cの仮の予測値c’から減算することで、HD画素c(の予測値)が求められる。
【0203】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【0204】
そこで、図14は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【0205】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
【0206】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体111に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。
【0207】
なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部108で受信し、内蔵するハードディスク105にインストールすることができる。
【0208】
コンピュータは、CPU(Central Processing Unit)102を内蔵している。CPU102には、バス101を介して、入出力インタフェース110が接続されており、CPU102は、入出力インタフェース110を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部107が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、また、CPU102は、ハードディスク105に格納されているプログラム、衛星若しくはネットワークから転送され、通信部108で受信されてハードディスク105にインストールされたプログラム、またはドライブ109に装着されたリムーバブル記録媒体111から読み出されてハードディスク105にインストールされたプログラムを、RAM(Random Access Memory)104にロードして実行する。これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
【0209】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
【0210】
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【0211】
なお、本実施の形態では、本発明を、SD画像データをHD画像データに変換する場合を例に説明したが、本発明は、その他、例えば、音声データを、より高音質の音声データに変換する場合にも適用可能である。
【0212】
さらに、本発明は、SD画像データを、その画素数(サンプル数)を多くしたHD画像データ、即ち、空間解像度を向上させたHD画像データに変換したり、時間方向の解像度(フレームまたはフィールド数)を向上させたHD画像データや、レベル方向の解像度(画素値に割り当てられたビット数)を向上させたHD画像データに変換する場合の他、例えば、画像を拡大する場合などにも適用可能である。
【0213】
また、本実施の形態では、画像を変換する画像処理装置と、その画像処理装置で用いるクラスごとのタップ係数を学習する学習装置とを、別々の装置として構成するようにしたが、画像処理装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、画像処理装置で用いるタップ係数を、リアルタイムで更新させるようにすることが可能である。
【0214】
さらに、本実施の形態では、係数RAM5や7、77に、あらかじめクラスごとのタップ係数を記憶させておくようにしたが、このタップ係数は、例えば、SD画像とともに、画像処理装置に供給するようにすることも可能である。
【0215】
さらに、本実施の形態では、1次式によって、HD画素を求めるようにしたが、HD画素は、2次以上の式によって、求めるようにすることも可能である。
【0216】
また、クラスタップや予測タップは、1つのフレームだけではなく、複数フレームのSD画像データからSD画素を抽出することによって構成することが可能である。
【0217】
さらに、HD画像データのブロックも、1つのフレームだけではなく、複数フレームのHD画像データのHD画素によって構成することが可能である。
【0218】
なお、図2や図12の画像処理装置は、例えば、テレビジョン放送信号を受信して画像を表示するテレビジョン受像機や、DVDから画像データを再生して出力するDVD再生装置、ビデオテープから画像データを再生して出力するVTRその他の画像を処理する装置などに適用可能である。
【0219】
【発明の効果】
以上の如く、本発明によれば、データを、より品質の良いデータに変換することが可能となる。
【図面の簡単な説明】
【図1】画質が劣化する場合を説明する図である。
【図2】本発明を適用した画像処理装置の第1実施の形態の構成例を示すブロック図である。
【図3】HD画像データのブロックと、クラスタップおよび予測タップを示す図である。
【図4】画像処理装置の処理を説明するフローチャートである。
【図5】係数RAM5に記憶させるタップ係数を学習する学習装置の一実施の形態の構成例を示すブロック図である。
【図6】学習対生成回路22の構成例を示すブロック図である。
【図7】係数RAM5に記憶させるタップ係数を学習する学習処理を説明するフローチャートである。
【図8】係数RAM7に記憶させるタップ係数を学習する学習装置の一実施の形態の構成例を示すブロック図である。
【図9】学習対生成回路42の構成例を示すブロック図である。
【図10】係数RAM7に記憶させるタップ係数を学習する学習処理を説明するフローチャートである。
【図11】学習対生成回路42の他の構成例を示すブロック図である。
【図12】本発明を適用した画像処理装置の第2実施の形態の構成例を示すブロック図である。
【図13】HD画像データのブロックの他の例を示す図である。
【図14】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
1 フレームメモリ, 2 クラスタップ生成回路, 3 予測タップ生成回路, 4 クラス分類回路, 5 係数RAM, 6 予測演算回路, 7 係数RAM, 8 予測演算回路, 9 復号回路, 10 フレームメモリ, 11主画素処理回路, 12 副画素処理回路, 21 学習用データベース, 22 学習対生成回路, 23 学習対データベース, 24 クラスタップ生成回路, 25 予測タップ生成回路, 26 クラス分類回路, 27 足し込み回路, 28 タップ係数演算回路, 29 タップ係数メモリ, 31 間引き回路, 32 LPF, 41 学習用データベース, 42 学習対生成回路, 43 学習対データベース, 44 クラスタップ生成回路, 45予測タップ生成回路, 46 クラス分類回路, 47 足し込み回路, 48 タップ係数演算回路, 49 タップ係数メモリ, 51 間引き回路, 52 LPF, 53 メモリ, 54 演算回路, 55 セレクタ, 60クラス分類適応処理回路, 61 フレームメモリ, 62 クラスタップ生成回路, 63 予測タップ生成回路, 64 クラス分類回路, 65 係数RAM, 66 予測演算回路, 77 係数RAM, 78 予測演算回路, 101 バス, 102 CPU, 103 ROM, 104 RAM, 105 ハードディスク, 106 出力部, 107 入力部, 108 通信部, 109ドライブ, 110 入出力インタフェース, 111 リムーバブル記録媒体

Claims (20)

  1. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するデータ変換装置であって、
    注目している前記第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、及び、前記第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップを、前記第1のデータから抽出するクラスタップ生成手段と、
    前記第1のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第1の注目サンプルをクラス分類するとともに、前記第2のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第2の注目サンプルをクラス分類するクラス分類手段と、
    前記第1の注目サンプルを求めるのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、及び前記第2の注目サンプルを求めるのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップを、前記第1のデータから抽出する予測タップ生成手段と、
    前記第1の注目サンプルを求める主画素処理回路としての、
    学習の教師となる、前記第2のデータに対応する教師データと、前記学習の生徒となる、前記第1のデータに対応する生徒データを用い、前記生徒データと第1のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第1のタップ係数から、前記第1の注目サンプルのクラスの第1のタップ係数を取得する第1のタップ係数取得手段と、
    前記第1の注目サンプルのクラスの第1のタップ係数と、前記第1の予測タップとを用いた積和演算を行うことにより、前記第1の注目サンプルを求める第1の演算手段と、
    前記第2の注目サンプルを求める副画素処理回路としての、
    前記教師データと、前生徒データを用い、前記生徒データと第2のタップ係数との積和演算により求められる、前記教師データの1のサンプルである第1のサンプルと前記第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第2のタップ係数から、前記第2の注目サンプルのクラスの第2のタップ係数を取得するか、前記1以上のクラスごとに得られる第1及び第2のタップ係数を加算して得られる加算タップ係数から、前記第2の注目サンプルのクラスの加算タップ係数を取得する第2のタップ係数取得手段と、
    前記第2の注目サンプルのクラスの第2のタップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第1のサンプルに対応する前記第1の注目サンプルと、前記第2のサンプルに対応する前記第2の注目サンプルとの差分値を求めるとともに、求めた前記差分値と前記第1の注目サンプルとを加算することにより、前記第2の注目サンプルを求めるか、
    又は、
    前記第2の注目サンプルのクラスの加算タップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第2の注目サンプルを求める
    第2の演算手段と
    を備えるータ変換装置。
  2. 前記第1と第2のデータは、画像データである
    求項1に記載のデータ変換装置。
  3. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するデータ変換方法であって、
    注目している前記第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、及び、前記第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップを、前記第1のデータから抽出するクラスタップ生成ステップと、
    前記第1のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第1の注目サンプルをクラス分類するとともに、前記第2のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第2の注目サンプルをクラス分類するクラス分類ステップと、
    前記第1の注目サンプルを求めるのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、及び前記第2の注目サンプルを求めるのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップを、前記第1のデータから抽出する予測タップ生成ステップと、
    前記第1の注目サンプルを求める主画素処理回路が行う処理としての、
    学習の教師となる、前記第2のデータに対応する教師データと、前記学習の生徒となる、前記第1のデータに対応する生徒データを用い、前記生徒データと第1のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第1のタップ係数から、前記第1の注目サンプルのクラスの第1のタップ係数を取得する第1のタップ係数取得ステップと、
    前記第1の注目サンプルのクラスの第1のタップ係数と、前記第1の予測タップとを用いた積和演算を行うことにより、前記第1の注目サンプルを求める第1の演算ステップと、
    前記第2の注目サンプルを求める副画素処理回路が行う処理としての、
    前記教師データと、前生徒データを用い、前記生徒データと第2のタップ係数との積和演算により求められる、前記教師データの1のサンプルである第1のサンプルと前記第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第2のタップ係数から、前記第2の注目サンプルのクラスの第2のタップ係数を取得するか、前記1以上のクラスごとに得られる第1及び第2のタップ係数を加算して得られる加算タップ係数から、前記第2の注目サンプルのクラスの加算タップ係数を取得する第2のタップ係数取得ステップと、
    前記第2の注目サンプルのクラスの第2のタップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第1のサンプルに対応する前記第1の注目サンプルと、前記第2のサンプルに対応する前記第2の注目サンプルとの差分値を求めるとともに、求めた前記差分値と前記第1の注目サンプルとを加算することにより、前記第2の注目サンプルを求めるか、
    又は、
    前記第2の注目サンプルのクラスの加算タップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第2の注目サンプルを求める
    第2の演算ステップと
    を含むータ変換方法。
  4. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムであって、
    注目している前記第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、及び、前記第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップを、前記第1のデータから抽出するクラスタップ生成ステップと、
    前記第1のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第1の注目サンプルをクラス分類するとともに、前記第2のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第2の注目サンプルをクラス分類するクラス分類ステップと、
    前記第1の注目サンプルを求めるのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、及び前記第2の注目サンプルを求めるのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップを、前記第1のデータから抽出する予測タップ生成ステップと、
    前記第1の注目サンプルを求める主画素処理回路が行う処理としての、
    学習の教師となる、前記第2のデータに対応する教師データと、前記学習の生徒となる、前記第1のデータに対応する生徒データを用い、前記生徒データと第1のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第1のタップ係数から、前記第1の注目サンプルのクラスの第1のタップ係数を取得する第1のタップ係数取得ステップと、
    前記第1の注目サンプルのクラスの第1のタップ係数と、前記第1の予測タップとを用いた積和演算を行うことにより、前記第1の注目サンプルを求める第1の演算ステップと、
    前記第2の注目サンプルを求める副画素処理回路が行う処理としての、
    前記教師データと、前生徒データを用い、前記生徒データと第2のタップ係数との積和演算により求められる、前記教師データの1のサンプルである第1のサンプルと前記第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第2のタップ係数から、前記第2の注目サンプルのクラスの第2のタップ係数を取得するか、前記1以上のクラスごとに得られる第1及び第2のタップ係数を加算して得られる加算タップ係数から、前記第2の注目サンプルのクラスの加算タップ係数を取得する第2のタップ係数取得ステップと、
    前記第2の注目サンプルのクラスの第2のタップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第1のサンプルに対応する前記第1の注目サンプルと、前記第2のサンプルに対応する前記第2の注目サンプルとの差分値を求めるとともに、求めた前記差分値と前記第1の注目サンプルとを加算することにより、前記第2の注目サンプルを求めるか、
    又は、
    前記第2の注目サンプルのクラスの加算タップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第2の注目サンプルを求める
    第2の演算ステップと
    を含むデータ変換処理を、コンピュータに行わせるログラム。
  5. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    注目している前記第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、及び、前記第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップを、前記第1のデータから抽出するクラスタップ生成ステップと、
    前記第1のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第1の注目サンプルをクラス分類するとともに、前記第2のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第2の注目サンプルをクラス分類するクラス分類ステップと、
    前記第1の注目サンプルを求めるのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、及び前記第2の注目サンプルを求めるのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップを、前記第1のデータから抽出する予測タップ生成ステップと、
    前記第1の注目サンプルを求める主画素処理回路が行う処理としての、
    学習の教師となる、前記第2のデータに対応する教師データと、前記学習の生徒となる、前記第1のデータに対応する生徒データを用い、前記生徒データと第1のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第1のタップ係数から、前記第1の注目サンプルのクラスの第1のタップ係数を取得する第1のタップ係数取得ステップと、
    前記第1の注目サンプルのクラスの第1のタップ係数と、前記第1の予測タップとを用いた積和演算を行うことにより、前記第1の注目サンプルを求める第1の演算ステップと、
    前記第2の注目サンプルを求める副画素処理回路が行う処理としての、
    前記教師データと、前生徒データを用い、前記生徒データと第2のタップ係数との積和演算により求められる、前記教師データの1のサンプルである第1のサンプルと前記第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第2のタップ係数から、前記第2の注目サンプルのクラスの第2のタップ係数を取得するか、前記1以上のクラスごとに得られる第1及び第2のタップ係数を加算して得られる加算タップ係数から、前記第2の注目サンプルのクラスの加算タップ係数を取得する第2のタップ係数取得ステップと、
    前記第2の注目サンプルのクラスの第2のタップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第1のサンプルに対応する前記第1の注目サンプルと、前記第2のサンプルに対応する前記第2の注目サンプルとの差分値を求めるとともに、求めた前記差分値と前記第1の注目サンプルとを加算することにより、前記第2の注目サンプルを求めるか、
    又は、
    前記第2の注目サンプルのクラスの加算タップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第2の注目サンプルを求める
    第2の演算ステップと
    を含むデータ変換処理を、コンピュータに行わせるプログラムが記録されている
    録媒体。
  6. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するのに用いられる所定のタップ係数を求める学習を行う学習装置であって、
    前記タップ係数の学習の教師となる、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第1のデータに対応する生徒データから抽出するクラスタップ生成手段と、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類手段と、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成手段と、
    前記注目データと予測タップを用い、前記予測タップと第1のタップ係数との積和演算により求められる、前記注目データの1のサンプルである第1のサンプルと前記第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより、前記1以上のクラスごとの前記第1のタップ係数を、最終的なタップ係数として求めるか、
    又は、
    前記第1のタップ係数と、前記積和演算により求められる、前記教師データの前記第1のサンプルの予測値の予測誤差を最小にする第2のタップ係数とを加算することにより、最終的なタップ係数を求める
    学習手段と
    を備える習装置。
  7. 前記第1と第2のデータは、画像データである
    求項に記載の学習装置。
  8. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するのに用いられる所定のタップ係数を求める学習を行う学習方法であって、
    前記タップ係数の学習の教師となる、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップを用い、前記予測タップと第1のタップ係数との積和演算により求められる、前記注目データの1のサンプルである第1のサンプルと前記第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより、前記1以上のクラスごとの前記第1のタップ係数を、最終的なタップ係数として求めるか、
    又は、
    前記第1のタップ係数と、前記積和演算により求められる、前記教師データの前記第1のサンプルの予測値の予測誤差を最小にする第2のタップ係数とを加算することにより、最終的なタップ係数を求める
    学習ステップと
    を含む習方法。
  9. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するのに用いられる所定のタップ係数を求める学習処理を、コンピュータに行わせるプログラムであって、
    前記タップ係数の学習の教師となる、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップを用い、前記予測タップと第1のタップ係数との積和演算により求められる、前記注目データの1のサンプルである第1のサンプルと前記第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより、前記1以上のクラスごとの前記第1のタップ係数を、最終的なタップ係数として求めるか、
    又は、
    前記第1のタップ係数と、前記積和演算により求められる、前記教師データの前記第1のサンプルの予測値の予測誤差を最小にする第2のタップ係数とを加算することにより、最終的なタップ係数を求める
    学習ステップと
    を含む学習処理を、コンピュータに行わせるログラム。
  10. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するのに用いられる所定のタップ係数を求める学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    前記タップ係数の学習の教師となる、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップを用い、前記予測タップと第1のタップ係数との積和演算により求められる、前記注目データの1のサンプルである第1のサンプルと前記第1のサンプルの周辺の位置にある第2のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより、前記1以上のクラスごとの前記第1のタップ係数を、最終的なタップ係数として求めるか、
    又は、
    前記第1のタップ係数と、前記積和演算により求められる、前記教師データの前記第1のサンプルの予測値の予測誤差を最小にする第2のタップ係数とを加算することにより、最終的なタップ係数を求める
    学習ステップと
    を含む学習処理を、コンピュータに行わせるプログラムが記録されている
    録媒体。
  11. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するデータ変換装置であって、
    注目している前記第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、前記第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップ、及び、前記第1の注目サンプルの周辺の位置にある、前記第2の注目サンプルとは異なる第3の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第3の注目サンプルの周辺に位置する複数のサンプルからなる第3のクラスタップを、前記第1のデータから抽出するクラスタップ生成手段と、
    前記第1のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第1の注目サンプルをクラス分類するとともに、前記第2のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第2の注目サンプルをクラス分類し、前記第3のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第3の注目サンプルをクラス分類するクラス分類手段と、
    前記第1の注目サンプルを求めるのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、前記第2の注目サンプルを求めるのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップ、及び前記第3の注目サンプルを求めるのに用いる、前記第3の注目サンプルの周辺に位置する複数のサンプルからなる第3の予測タップを、前記第1のデータから抽出する予測タップ生成手段と、
    前記第1及び第2の注目サンプルを求める主画素処理回路としての、
    学習の教師となる、前記第2のデータに対応する教師データと、前記学習の生徒となる、前記第1のデータに対応する生徒データを用い、前記生徒データと第1のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第1のタップ係数から、前記第1及び第2の注目サンプルのクラスそれぞれの第1のタップ係数を取得する第1のタップ係数取得手段と、
    前記第1の注目サンプルのクラスの第1のタップ係数と、前記第1の予測タップとを用いた積和演算を行うことにより、前記第1の注目サンプルを求めるとともに、前記第2の注目サンプルのクラスの第1のタップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第2の注目サンプルを求める第1の演算手段と、
    前記第3の注目サンプルを求める副画素処理回路としての、
    前記第1の注目サンプルから、前記第2の注目サンプルを減算して得られる減算値に、前記第1の注目サンプルを加算して、前記第3の注目サンプルの仮の予測値を求める仮予測値算出手段と、
    前記教師データと、前生徒データを用い、前記生徒データと第2のタップ係数との積和演算により求められる予測値であって、前記教師データの1のサンプルである第1のサンプルと、前記第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、前記所定の第2のサンプルとは異なる他の第2のサンプルを減算して得られる減算値に、前記所定の第2のサンプルを加算することにより求められる前記第1のサンプルの仮の予測値との差分値の前記予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第2のタップ係数から、前記第3の注目サンプルのクラスの第2のタップ係数を取得する第2のタップ係数取得手段と、
    前記第3の注目サンプルのクラスの第2のタップ係数と、前記第3の予測タップとを用いた積和演算を行うことにより、前記第1のサンプルに対応する前記第3の注目サンプルと、前記所定の第2のサンプルに対応する前記第1の注目サンプルから、前記他の第2のサンプルに対応する前記第2の注目サンプルを減算して得られる減算値に、前記第1の注目サンプルを加算して求められる前記第3の注目サンプルの仮の予測値との差分値を求める第2の演算手段と、
    前記第3の注目サンプルについて求められた前記差分値と、前記第3の注目サンプルの前記仮の予測値とを加算することにより、前記第3の注目サンプルを求める加算手段と
    を備えるータ変換装置。
  12. 前記第1と第2のデータは、画像データである
    求項11に記載のデータ変換装置。
  13. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するデータ変換方法であって、
    注目している前記第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、前記第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップ、及び、前記第1の注目サンプルの周辺の位置にある、前記第2の注目サンプルとは異なる第3の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第3の注目サンプルの周辺に位置する複数のサンプルからなる第3のクラスタップを、前記第1のデータから抽出するクラスタップ生成ステップと、
    前記第1のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第1の注目サンプルをクラス分類するとともに、前記第2のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第2の注目サンプルをクラス分類し、前記第3のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第3の注目サンプルをクラス分類するクラス分類ステップと、
    前記第1の注目サンプルを求めるのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、前記第2の注目サンプルを求めるのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップ、及び前記第3の注目サンプルを求めるのに用いる、前記第3の注目サンプルの周辺に位置する複数のサンプルからなる第3の予測タップを、前記第1のデータから抽出する予測タップ生成ステップと、
    前記第1及び第2の注目サンプルを求める主画素処理回路が行う処理としての、
    学習の教師となる、前記第2のデータに対応する教師データと、前記学習の生徒となる、前記第1のデータに対応する生徒データを用い、前記生徒データと第1のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第1のタップ係数から、前記第1及び第2の注目サンプルのクラスそれぞれの第1のタップ係数を取得する第1のタップ係数取得ステップと、
    前記第1の注目サンプルのクラスの第1のタップ係数と、前記第1の予測タップとを用いた積和演算を行うことにより、前記第1の注目サンプルを求めるとともに、前記第2の注目サンプルのクラスの第1のタップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第2の注目サンプルを求める第1の演算ステップと、
    前記第3の注目サンプルを求める副画素処理回路が行う処理としての、
    前記第1の注目サンプルから、前記第2の注目サンプルを減算して得られる減算値に 、前記第1の注目サンプルを加算して、前記第3の注目サンプルの仮の予測値を求める仮予測値算出ステップと、
    前記教師データと、前生徒データを用い、前記生徒データと第2のタップ係数との積和演算により求められる予測値であって、前記教師データの1のサンプルである第1のサンプルと、前記第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、前記所定の第2のサンプルとは異なる他の第2のサンプルを減算して得られる減算値に、前記所定の第2のサンプルを加算することにより求められる前記第1のサンプルの仮の予測値との差分値の前記予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第2のタップ係数から、前記第3の注目サンプルのクラスの第2のタップ係数を取得する第2のタップ係数取得ステップと、
    前記第3の注目サンプルのクラスの第2のタップ係数と、前記第3の予測タップとを用いた積和演算を行うことにより、前記第1のサンプルに対応する前記第3の注目サンプルと、前記所定の第2のサンプルに対応する前記第1の注目サンプルから、前記他の第2のサンプルに対応する前記第2の注目サンプルを減算して得られる減算値に、前記第1の注目サンプルを加算して求められる前記第3の注目サンプルの仮の予測値との差分値を求める第2の演算ステップと、
    前記第3の注目サンプルについて求められた前記差分値と、前記第3の注目サンプルの前記仮の予測値とを加算することにより、前記第3の注目サンプルを求める加算ステップと
    を含むータ変換方法。
  14. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムであって、
    注目している前記第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、前記第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップ、及び、前記第1の注目サンプルの周辺の位置にある、前記第2の注目サンプルとは異なる第3の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第3の注目サンプルの周辺に位置する複数のサンプルからなる第3のクラスタップを、前記第1のデータから抽出するクラスタップ生成ステップと、
    前記第1のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第1の注目サンプルをクラス分類するとともに、前記第2のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第2の注目サンプルをクラス分類し、前記第3のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第3の注目サンプルをクラス分類するクラス分類ステップと、
    前記第1の注目サンプルを求めるのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、前記第2の注目サンプルを求めるのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップ、及び前記第3の注目サンプルを求めるのに用いる、前記第3の注目サンプルの周辺に位置する複数のサンプルからなる第3の予測タップを、前記第1のデータから抽出する予測タップ生成ステップと、
    前記第1及び第2の注目サンプルを求める主画素処理回路が行う処理としての、
    学習の教師となる、前記第2のデータに対応する教師データと、前記学習の生徒となる、前記第1のデータに対応する生徒データを用い、前記生徒データと第1のタップ係数 との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第1のタップ係数から、前記第1及び第2の注目サンプルのクラスそれぞれの第1のタップ係数を取得する第1のタップ係数取得ステップと、
    前記第1の注目サンプルのクラスの第1のタップ係数と、前記第1の予測タップとを用いた積和演算を行うことにより、前記第1の注目サンプルを求めるとともに、前記第2の注目サンプルのクラスの第1のタップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第2の注目サンプルを求める第1の演算ステップと、
    前記第3の注目サンプルを求める副画素処理回路が行う処理としての、
    前記第1の注目サンプルから、前記第2の注目サンプルを減算して得られる減算値に、前記第1の注目サンプルを加算して、前記第3の注目サンプルの仮の予測値を求める仮予測値算出ステップと、
    前記教師データと、前生徒データを用い、前記生徒データと第2のタップ係数との積和演算により求められる予測値であって、前記教師データの1のサンプルである第1のサンプルと、前記第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、前記所定の第2のサンプルとは異なる他の第2のサンプルを減算して得られる減算値に、前記所定の第2のサンプルを加算することにより求められる前記第1のサンプルの仮の予測値との差分値の前記予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第2のタップ係数から、前記第3の注目サンプルのクラスの第2のタップ係数を取得する第2のタップ係数取得ステップと、
    前記第3の注目サンプルのクラスの第2のタップ係数と、前記第3の予測タップとを用いた積和演算を行うことにより、前記第1のサンプルに対応する前記第3の注目サンプルと、前記所定の第2のサンプルに対応する前記第1の注目サンプルから、前記他の第2のサンプルに対応する前記第2の注目サンプルを減算して得られる減算値に、前記第1の注目サンプルを加算して求められる前記第3の注目サンプルの仮の予測値との差分値を求める第2の演算ステップと、
    前記第3の注目サンプルについて求められた前記差分値と、前記第3の注目サンプルの前記仮の予測値とを加算することにより、前記第3の注目サンプルを求める加算ステップと
    を含むデータ変換処理を、コンピュータに行わせるログラム。
  15. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    注目している前記第2のデータのサンプルである第1の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1のクラスタップ、前記第1の注目サンプルの周辺の位置にある第2の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2のクラスタップ、及び、前記第1の注目サンプルの周辺の位置にある、前記第2の注目サンプルとは異なる第3の注目サンプルを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第3の注目サンプルの周辺に位置する複数のサンプルからなる第3のクラスタップを、前記第1のデータから抽出するクラスタップ生成ステップと、
    前記第1のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第1の注目サンプルをクラス分類するとともに、前記第2のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第2の注目サンプルをクラス分類し、前記第3のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出するこ とにより、そのクラスコードに対応するクラスに、前記第3の注目サンプルをクラス分類するクラス分類ステップと、
    前記第1の注目サンプルを求めるのに用いる、前記第1の注目サンプルの周辺に位置する複数のサンプルからなる第1の予測タップ、前記第2の注目サンプルを求めるのに用いる、前記第2の注目サンプルの周辺に位置する複数のサンプルからなる第2の予測タップ、及び前記第3の注目サンプルを求めるのに用いる、前記第3の注目サンプルの周辺に位置する複数のサンプルからなる第3の予測タップを、前記第1のデータから抽出する予測タップ生成ステップと、
    前記第1及び第2の注目サンプルを求める主画素処理回路が行う処理としての、
    学習の教師となる、前記第2のデータに対応する教師データと、前記学習の生徒となる、前記第1のデータに対応する生徒データを用い、前記生徒データと第1のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第1のタップ係数から、前記第1及び第2の注目サンプルのクラスそれぞれの第1のタップ係数を取得する第1のタップ係数取得ステップと、
    前記第1の注目サンプルのクラスの第1のタップ係数と、前記第1の予測タップとを用いた積和演算を行うことにより、前記第1の注目サンプルを求めるとともに、前記第2の注目サンプルのクラスの第1のタップ係数と、前記第2の予測タップとを用いた積和演算を行うことにより、前記第2の注目サンプルを求める第1の演算ステップと、
    前記第3の注目サンプルを求める副画素処理回路が行う処理としての、
    前記第1の注目サンプルから、前記第2の注目サンプルを減算して得られる減算値に、前記第1の注目サンプルを加算して、前記第3の注目サンプルの仮の予測値を求める仮予測値算出ステップと、
    前記教師データと、前生徒データを用い、前記生徒データと第2のタップ係数との積和演算により求められる予測値であって、前記教師データの1のサンプルである第1のサンプルと、前記第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、前記所定の第2のサンプルとは異なる他の第2のサンプルを減算して得られる減算値に、前記所定の第2のサンプルを加算することにより求められる前記第1のサンプルの仮の予測値との差分値の前記予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより得られる第2のタップ係数から、前記第3の注目サンプルのクラスの第2のタップ係数を取得する第2のタップ係数取得ステップと、
    前記第3の注目サンプルのクラスの第2のタップ係数と、前記第3の予測タップとを用いた積和演算を行うことにより、前記第1のサンプルに対応する前記第3の注目サンプルと、前記所定の第2のサンプルに対応する前記第1の注目サンプルから、前記他の第2のサンプルに対応する前記第2の注目サンプルを減算して得られる減算値に、前記第1の注目サンプルを加算して求められる前記第3の注目サンプルの仮の予測値との差分値を求める第2の演算ステップと、
    前記第3の注目サンプルについて求められた前記差分値と、前記第3の注目サンプルの前記仮の予測値とを加算することにより、前記第3の注目サンプルを求める加算ステップと
    を含むデータ変換処理を、コンピュータに行わせるプログラムが記録されている
    録媒体。
  16. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するのに用いられる所定のタップ係数を求める学習を行う学習装置であって、
    前記タップ係数の学習の教師となる、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第1のデータに対応する生徒データから抽出するクラスタップ生成手段と、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類手段と、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成手段と、
    前記注目データと予測タップを用い、前記予測タップとタップ係数との積和演算により求められる予測値であって、前記注目データの1のサンプルである第1のサンプルと、前記第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、前記所定の第2のサンプルに隣接する他の第2のサンプルを減算して得られる減算値に、前記所定の第2のサンプルを加算することにより求められる前記第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより、前記1以上のクラスごとの前記タップ係数を求める学習手段と
    を備える習装置。
  17. 前記第1と第2のデータは、画像データである
    求項16に記載の学習装置。
  18. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するのに用いられる所定のタップ係数を求める学習を行う学習方法であって、
    前記タップ係数の学習の教師となる、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップを用い、前記予測タップとタップ係数との積和演算により求められる予測値であって、前記注目データの1のサンプルである第1のサンプルと、前記第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、前記所定の第2のサンプルに隣接する他の第2のサンプルを減算して得られる減算値に、前記所定の第2のサンプルを加算することにより求められる前記第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより、前記1以上のクラスごとの前記タップ係数を求める学習ステップと
    を含む習方法。
  19. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するのに用いられる所定のタップ係数を求める学習処理を、コンピュータに行わせるプログラムであって、
    前記タップ係数の学習の教師となる、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップを用い、前記予測タップとタップ係数との積和演算により求められる予測値であって、前記注目データの1のサンプルである第1のサンプルと、前記第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、前記所定の第2のサンプルに隣接する他の第2のサンプルを減算して得られる減算値に、前記所定の第2のサンプルを加算することにより求められる前記第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより、前記1以上のクラスごとの前記タップ係数を求める学習ステップと
    を含む学習処理を、コンピュータに行わせるログラム。
  20. 第1のデータを、前記第1のデータよりも高品質のデータである第2のデータに変換するのに用いられる所定のタップ係数を求める学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    前記タップ係数の学習の教師となる、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップを用い、前記予測タップとタップ係数との積和演算により求められる予測値であって、前記注目データの1のサンプルである第1のサンプルと、前記第1のサンプルの周辺の位置にある複数の第2のサンプルのうち、所定の第2のサンプルから、前記所定の第2のサンプルに隣接する他の第2のサンプルを減算して得られる減算値に、前記所定の第2のサンプルを加算することにより求められる前記第1のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、前記1以上のクラスごとに行うことにより、前記1以上のクラスごとの前記タップ係数を求める学習ステップと
    を含む学習処理を、コンピュータに行わせるプログラムが記録されている
    録媒体。
JP2002125628A 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 Expired - Fee Related JP4238516B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002125628A JP4238516B2 (ja) 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2002125628A JP4238516B2 (ja) 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
KR20037016846A KR100968987B1 (ko) 2002-04-26 2003-04-22 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 기록 매체
EP20030717683 EP1501296A1 (en) 2002-04-26 2003-04-22 Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium
US10482136 US7679675B2 (en) 2002-04-26 2003-04-22 Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium
CN 03800774 CN1306807C (zh) 2002-04-26 2003-04-22 数据转换装置及方法、学习设备及方法
PCT/JP2003/005080 WO2003092284A1 (en) 2002-04-26 2003-04-22 Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2003319348A true JP2003319348A (ja) 2003-11-07
JP4238516B2 true JP4238516B2 (ja) 2009-03-18

Family

ID=29267571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002125628A Expired - Fee Related JP4238516B2 (ja) 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体

Country Status (6)

Country Link
US (1) US7679675B2 (ja)
EP (1) EP1501296A1 (ja)
JP (1) JP4238516B2 (ja)
KR (1) KR100968987B1 (ja)
CN (1) CN1306807C (ja)
WO (1) WO2003092284A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4066146B2 (ja) * 2002-04-26 2008-03-26 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4311166B2 (ja) 2003-11-05 2009-08-12 ソニー株式会社 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4872862B2 (ja) * 2006-09-28 2012-02-08 ソニー株式会社 画像データ演算装置および方法、プログラム、並びに記録媒体
JP5093557B2 (ja) * 2006-10-10 2012-12-12 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5029869B2 (ja) * 2006-11-09 2012-09-19 ソニー株式会社 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム
JP4915341B2 (ja) * 2007-12-20 2012-04-11 ソニー株式会社 学習装置および方法、画像処理装置および方法、並びにプログラム
JP5061883B2 (ja) * 2007-12-21 2012-10-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および学習装置
JP2014200000A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2014200008A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR101651085B1 (ko) 2014-08-26 2016-09-05 알파비젼(주) 열가소성 플라스틱 조명반사체 및 그 제조방법과 성형몰드구조

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3669530B2 (ja) 1995-06-30 2005-07-06 ソニー株式会社 画像信号変換装置及び画像信号変換方法
JP3671469B2 (ja) 1995-09-19 2005-07-13 ソニー株式会社 予測係数の学習方法並びに信号変換装置および方法
JP3864400B2 (ja) * 1996-10-04 2006-12-27 ソニー株式会社 画像処理装置および画像処理方法
JP3743077B2 (ja) * 1996-10-31 2006-02-08 ソニー株式会社 画像信号変換装置および方法
CN1115054C (zh) 1996-12-26 2003-07-16 索尼株式会社 图像信号编码、解码装置及方法
US5912708A (en) * 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium
JP3844030B2 (ja) 1996-12-26 2006-11-08 ソニー株式会社 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法
JP4517409B2 (ja) 1998-11-09 2010-08-04 ソニー株式会社 データ処理装置およびデータ処理方法
JP4362895B2 (ja) 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP4395677B2 (ja) 2000-01-14 2010-01-13 ソニー株式会社 学習装置および学習方法、並びに記録媒体
JP2001236339A (ja) 2000-02-23 2001-08-31 Olympus Optical Co Ltd クラス分類装置
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体

Also Published As

Publication number Publication date Type
US7679675B2 (en) 2010-03-16 grant
EP1501296A1 (en) 2005-01-26 application
JP2003319348A (ja) 2003-11-07 application
WO2003092284A1 (en) 2003-11-06 application
KR100968987B1 (ko) 2010-07-09 grant
CN1306807C (zh) 2007-03-21 grant
CN1543744A (zh) 2004-11-03 application
KR20040101896A (ko) 2004-12-03 application
US20050111749A1 (en) 2005-05-26 application

Similar Documents

Publication Publication Date Title
JPH07147681A (ja) ディジタル画像信号の階層符号化および復号装置
JP2000115717A (ja) 画像情報変換装置、変換方法および画像表示装置
JP2001008056A (ja) データ処理装置およびデータ処理方法、並びに媒体
JP2001084368A (ja) データ処理装置およびデータ処理方法、並びに媒体
EP1061473A1 (en) Method and apparatus for classification-adaptive data processing
JP2001285881A (ja) ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
US20090123083A1 (en) Image processing apparatus and method, learning apparatus and method, and program
JP2002223167A (ja) データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
EP0843475A1 (en) Device and method for converting image information and circuit and method for operating sum of products
JP2002373338A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2001238185A (ja) 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置、並びにそれに使用される係数データの生成装置および生成方法
JPH0888856A (ja) ディジタル画像信号の階層符号化および復号装置
JPH0779418A (ja) 画像信号変換装置
US20080013835A1 (en) Image processing apparatus and method, program recording medium, and program
JP2001195586A (ja) 学習装置および学習方法、並びに媒体
JP2000032402A (ja) 画像変換装置および方法、並びに提供媒体
US20070216802A1 (en) Image processing apparatus and method and program
US20060235915A1 (en) Method and apparatus for converting data, method and apparatus for inverse converting data, and recording medium
JPH10191353A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
JP2002199349A (ja) 画像処理装置および方法
US20120294512A1 (en) Learning apparatus and method, image processing apparatus and method, program, and recording medium
WO2004034702A1 (en) A unit for and method of image conversion
JP2001285882A (ja) ノイズ低減装置および方法
JPH0983961A (ja) クラス予測係数の学習方法並びにクラス分類適応処理を用いた信号変換装置および方法
JPH1011583A (ja) クラス分類適応処理装置、クラス分類適応処理用の学習装置および学習方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees