JP4491701B2 - データ処理装置およびデータ処理方法、並びに記録媒体 - Google Patents
データ処理装置およびデータ処理方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4491701B2 JP4491701B2 JP2000264921A JP2000264921A JP4491701B2 JP 4491701 B2 JP4491701 B2 JP 4491701B2 JP 2000264921 A JP2000264921 A JP 2000264921A JP 2000264921 A JP2000264921 A JP 2000264921A JP 4491701 B2 JP4491701 B2 JP 4491701B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- axis
- tap
- class
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 111
- 238000003672 processing method Methods 0.000 title claims description 17
- 238000004364 calculation method Methods 0.000 claims description 230
- 238000006243 chemical reaction Methods 0.000 claims description 140
- 238000000034 method Methods 0.000 claims description 96
- 238000000513 principal component analysis Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 description 49
- 238000009826 distribution Methods 0.000 description 29
- 230000003044 adaptive effect Effects 0.000 description 22
- 230000009466 transformation Effects 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000004088 simulation Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 7
- 238000007906 compression Methods 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、ＳＤ(Standard Density)画像をＨＤ(High Density)画像に変換する場合等に、効率的な処理を行うことができるようにするデータ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、ＳＤ画像をＨＤ画像に変換する技術として、クラス分類適応処理を先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、幾つかのクラスのうちのいずれかにクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【０００４】
即ち、適応処理では、例えば、図１に○印で示すような標準解像度または低解像度の画像（ＳＤ画像）を構成する画素（以下、適宜、ＳＤ画素という）と、所定のタップ係数との線形結合により、そのＳＤ画像の解像度を向上させた、例えば、図１に●印で示すような高解像度の画像（ＨＤ画像）の画素の予測値を求めることで、そのＳＤ画像の解像度を向上させた画像（図１においては、横および縦のいずれも方向も、ＳＤ画像の解像度の２倍の解像度のＨＤ画像）が得られる。
【０００５】
具体的には、例えば、いま、あるＨＤ画像を教師データとするとともに、そのＨＤ画像の解像度を劣化させたＳＤ画像を生徒データとして、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０００７】
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【０００８】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０００９】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００１０】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００１１】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００１２】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１３】
【数４】
・・・（４）
【００１４】
そこで、まず、式（３）を、タップ係数ｗjで微分することにより、次式が成立する。
【００１５】
【数５】
・・・（５）
【００１６】
式（４）および（５）より、式（６）が得られる。
【００１７】
【数６】
・・・（６）
【００１８】
さらに、式（３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１９】
【数７】
・・・（７）
【００２０】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００２１】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００２２】
以上のようにして、最適なタップ係数ｗjを求めておき、さらに、そのタップ係数ｗjを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。従って、適応処理とは、図２に示すように、生徒データ（生徒画像）と教師データ（教師画像）とを用いた学習により、タップ係数を求める処理（学習処理）（図２（Ａ））と、そのタップ係数を用いて、入力画像としてのＳＤ画像からＨＤ画像を予測した予測画像を求める処理（予測処理）（図２（Ｂ））を意味する。
【００２３】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【００２４】
また、ここでは、適応処理について、解像度を向上させる場合を例にして説明したが、適応処理によれば、タップ係数を求めるのに用いる教師データおよび生徒データを変えることで、例えば、Ｓ／Ｎ(Signal to Noise Ratio)の向上や、ぼけの改善等の画質の向上を図ることが可能である。
【００２５】
【発明が解決しようとする課題】
ところで、クラス分類適応処理では、データごとに、そのデータに適した適応処理を行うために、データをクラス分類し、その結果得られるクラスごとに、正規方程式がたてられ、タップ係数が求められる。そして、そのクラスごとのタップ係数を用いて、予測値が求められる。
【００２６】
この場合、クラス分類は、例えば、ＳＤ画像を構成するＳＤ画素の幾つかを、クラス分類に用いるクラスタップとし、そのクラスタップを用いて、KビットADRC(Adaptive Dynamic Range Coding)処理を行うことで行われる。
【００２７】
即ち、KビットADRCにおいては、例えば、クラスタップを構成するＳＤ画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するＳＤ画素がKビットに再量子化される。即ち、クラスタップを構成するＳＤ画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する各ＳＤ画素についてのKビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各ＳＤ画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力され、このADRCコードが、クラス分類結果としてのクラスコードとされる。
【００２８】
なお、クラス分類では、例えば、クラスタップを構成するＳＤ画素のレベル分布のパターンを、そのままクラスコードとして出力することも可能であるが、この場合、クラスタップが、Ｎ個のＳＤ画素で構成され、各ＳＤ画素に、Ｋビットが割り当てられているとすると、クラスコードの場合の数（全クラス数）は、（２N）K個となり、画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００２９】
従って、クラス分類は、上述のように、画素値のビット数等を、いわば圧縮するADRC処理等のような圧縮処理を施してから行うのが好ましい。
【００３０】
ところで、クラスタップを構成する複数の画素値（画素の画素値）が、例えば、Ｒ(Red)成分を表すＲ軸、Ｇ成分を表すＧ(Green)軸、およびＢ成分を表すＢ(Blue)軸の３軸で規定されるＲＧＢ空間で表現されるものである場合には、そのＲ成分、Ｇ成分、Ｂ成分それぞれごとに、ADRC処理によるクラス分類が行われ、それぞれのクラス分類結果としてのクラスコードを並べたビット列が、最終的なクラスコードとされる。
【００３１】
従って、例えば、クラスタップを構成する複数の画素値が、ＲＧＢ空間において、同じような形状の分布を有するものであっても、その分布の方向が異なると、異なるクラスコードが得られるため、クラス数が制限された条件の下では、クラスタップを構成する複数の画素値の分布具合を、効率的にクラス分類することが困難な場合があった。
【００３２】
即ち、例えば、図３は、画像の輝度変化の大きい部分の複数の画素で構成されるクラスタップと、色変化の大きい部分の複数の画素で構成されるクラスタップそれぞれの、ＲＧＢ空間における画素値の分布を示している。
【００３３】
図３における２つの分布は、形状が同一であるが、方向が異なるため、ＲＧＢ空間を規定するＲ軸、Ｇ軸、Ｂ軸のそれぞれの方向についてクラス分類を行い、それらの３つのクラス分類結果をあわせたものを、最終的なクラス分類結果としたのでは、異なるクラスに分類される。
【００３４】
即ち、クラス分類を、ＲＧＢ軸（ＲＧＢ空間）で表現される画素値で構成されるクラスタップによって行った場合には、そのクラスタップを構成する複数の画素値の分布の形状と方向の両方が同じようなものでないと、つまり、形状と方向のうちのいずれか一方だけが異なると、異なるクラスコードが得られる。
【００３５】
従って、クラス数を制限した場合には、形状や方向が、比較的異なっていても、同一のクラスコードが得られるようなクラス分類が行われ、画素値の分布が比較的異なるクラスタップを、異なるクラスにクラス分けすることが困難となる。
【００３６】
そして、クラス分類適応処理では、データごとに、そのデータに適した適応処理を施すために、データをクラス分類することから、上述のように、画素値の分布の形状や方向が比較的異なるクラスタップどうしから、同一のクラスコードが得られる場合には、各データに適した適応処理を施すことが困難となる。
【００３７】
一方、学習処理では、クラスごとに、正規方程式がたてられ、予測処理では、クラスごとのタップ係数が用いられる。従って、クラス数を多くすると、処理効率が劣化する。
【００３８】
本発明は、このような状況に鑑みてなされたものであり、クラス数を制限しても、データの的確なクラス分けを可能とし、これにより、処理効率を向上させることができるようにするものである。
【００３９】
【課題を解決するための手段】
本発明の第１のデータ処理装置は、データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップを構成する軸計算タップ構成手段と、軸計算タップに基づいて、新たな軸を求める軸計算手段と、注目データをクラス分類するのに用いる複数のデータとしてのクラスタップを構成するクラスタップ構成手段と、クラスタップとしての複数のデータを、新たな軸上で表現されるデータに変換するデータ変換手段と、新たな軸上で表現されるクラスタップに基づいて、クラス分類を行うクラス分類手段とを備えることを特徴とする。
【００４０】
本発明の第１のデータ処理方法は、データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、注目データをクラス分類するのに用いる複数のデータとしてのクラスタップを構成するクラスタップ構成ステップと、クラスタップとしての複数のデータを、新たな軸上で表現されるデータに変換するデータ変換ステップと、新たな軸上で表現されるクラスタップに基づいて、クラス分類を行うクラス分類ステップとを備えることを特徴とする。
【００４１】
本発明の第１の記録媒体は、データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、注目データをクラス分類するのに用いる複数のデータとしてのクラスタップを構成するクラスタップ構成ステップと、クラスタップとしての複数のデータを、新たな軸上で表現されるデータに変換するデータ変換ステップと、新たな軸上で表現されるクラスタップに基づいて、クラス分類を行うクラス分類ステップとを備えるプログラムが記録されていることを特徴とする。
【００４２】
本発明の第２のデータ処理装置は、第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップを構成する軸計算タップ構成手段と、軸計算タップに基づいて、新たな軸を求める軸計算手段と、予測対象の第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップを構成するクラスタップ構成手段と、注目データを予測するのに用いる複数の第１のデータとしての予測タップを構成する予測タップ構成手段と、クラスタップとしての複数の第１のデータと、予測タップとしての複数の第１のデータを、新たな軸上で表現されるデータに変換する変換手段と、新たな軸上で表現されるクラスタップに基づいて、注目データについてのクラス分類を行うクラス分類手段と、新たな軸上で表現される予測タップを用い、注目データのクラスに対応する予測方法に基づいて、注目データの予測値であって、新たな軸上で表現されるものを求める予測手段とを備えることを特徴とする。
【００４３】
本発明の第２のデータ処理方法は、第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、予測対象の第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップを構成するクラスタップ構成ステップと、注目データを予測するのに用いる複数の第１のデータとしての予測タップを構成する予測タップ構成ステップと、クラスタップとしての複数の第１のデータと、予測タップとしての複数の第１のデータを、新たな軸上で表現されるデータに変換する変換ステップと、新たな軸上で表現されるクラスタップに基づいて、注目データについてのクラス分類を行うクラス分類ステップと、新たな軸上で表現される予測タップを用い、注目データのクラスに対応する予測方法に基づいて、注目データの予測値であって、新たな軸上で表現されるものを求める予測ステップとを備えることを特徴とする。
【００４４】
本発明の第２の記録媒体は、第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、予測対象の第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップを構成するクラスタップ構成ステップと、注目データを予測するのに用いる複数の第１のデータとしての予測タップを構成する予測タップ構成ステップと、クラスタップとしての複数の第１のデータと、予測タップとしての複数の第１のデータを、新たな軸上で表現されるデータに変換する変換ステップと、新たな軸上で表現されるクラスタップに基づいて、注目データについてのクラス分類を行うクラス分類ステップと、新たな軸上で表現される予測タップを用い、注目データのクラスに対応する予測方法に基づいて、注目データの予測値であって、新たな軸上で表現されるものを求める予測ステップとを備えるプログラムが記録されていることを特徴とする。
【００４５】
本発明の第３のデータ処理装置は、第１と第２のデータを、それぞれ生徒データと教師データとして、生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップを構成する軸計算タップ構成手段と、軸計算タップに基づいて、新たな軸を求める軸計算手段と、注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップを構成するクラスタップ構成手段と、注目教師データを予測するのに用いる複数の生徒データとしての予測タップを構成する予測タップ構成手段と、教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データを、新たな軸上で表現されるデータに変換する変換手段と、新たな軸上で表現されるクラスタップに基づいて、注目教師データについてのクラス分類を行い、そのクラスを求めるクラス分類手段と、新たな軸上で表現される教師データと予測タップを用い、第２のデータを予測する予測方法を、クラスごとに学習する学習手段とを備えることを特徴とする。
【００４６】
本発明の第３のデータ処理方法は、第１と第２のデータを、それぞれ生徒データと教師データとして、生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップを構成するクラスタップ構成ステップと、注目教師データを予測するのに用いる複数の生徒データとしての予測タップを構成する予測タップ構成ステップと、教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データを、新たな軸上で表現されるデータに変換する変換ステップと、新たな軸上で表現されるクラスタップに基づいて、注目教師データについてのクラス分類を行い、そのクラスを求めるクラス分類ステップと、新たな軸上で表現される教師データと予測タップを用い、第２のデータを予測する予測方法を、クラスごとに学習する学習ステップとを備えることを特徴とする。
【００４７】
本発明の第３の記録媒体は、第１と第２のデータを、それぞれ生徒データと教師データとして、生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップを構成するクラスタップ構成ステップと、注目教師データを予測するのに用いる複数の生徒データとしての予測タップを構成する予測タップ構成ステップと、教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データを、新たな軸上で表現されるデータに変換する変換ステップと、新たな軸上で表現されるクラスタップに基づいて、注目教師データについてのクラス分類を行い、そのクラスを求めるクラス分類ステップと、新たな軸上で表現される教師データと予測タップを用い、第２のデータを予測する予測方法を、クラスごとに学習する学習ステップとを備えるプログラムが記録されていることを特徴とする。
【００４８】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体においては、データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸が求められる。さらに、注目データをクラス分類するのに用いる複数のデータとしてのクラスタップが構成され、そのクラスタップとしての複数のデータが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、クラス分類が行われる。
【００４９】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体においては、第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸を求められる。さらに、予測対象の第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップが構成されるとともに、注目データを予測するのに用いる複数の第１のデータとしての予測タップが構成され、クラスタップとしての複数の第１のデータと、予測タップとしての複数の第１のデータが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、注目データについてのクラス分類が行われ、新たな軸上で表現される予測タップを用い、注目データのクラスに対応する予測方法に基づいて、注目データの予測値であって、新たな軸上で表現されるものが求められる。
【００５０】
本発明の第３のデータ処理装置およびデータ処理方法、並びに記録媒体においては、第１と第２のデータを、それぞれ生徒データと教師データとして、生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸が求められる。さらに、注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップが構成されるとともに、注目教師データを予測するのに用いる複数の生徒データとしての予測タップが構成され、教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、注目教師データについてのクラス分類が行われ、新たな軸上で表現される教師データと予測タップを用い、第２のデータを予測する予測方法が、クラスごとに学習される。
【００５１】
【発明の実施の形態】
図４は、本発明を適用したデータ処理装置の一実施の形態の構成例を示している。このデータ処理装置は、クラス分類適応処理としての予測処理を行う予測装置として構成されている。
【００５２】
即ち、入力画像用メモリ１には、ＨＤ画像の予測値に変換しようとするＳＤ画像が、入力画像として供給されるようになっており、入力画像用メモリ１は、その入力画像としてのＳＤ画像を、例えば、１フレーム（または１フィールド）単位で記憶する。
【００５３】
なお、ここでは、入力画像としてのＳＤ画像を構成するＳＤ画素（画素値）は、例えば、ＲＧＢ軸上で表現されるものとする。従って、入力画像用メモリ１には、Ｒ成分、Ｇ成分、およびＢ成分の３つの成分からなる画素値が記憶される。
【００５４】
タップ構成部２は、入力画像用メモリ１に記憶されたＳＤ画像を構成するＳＤ画素から、各処理に用いるタップを構成する。
【００５５】
即ち、タップ構成部２は、入力画像用メモリ１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、入力画像用メモリ１のＳＤ画像から選択し、タップ係数との予測演算に用いる予測タップを構成する。
【００５６】
さらに、タップ構成部２は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、入力画像用メモリ１のＳＤ画像から選択し、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いるクラスタップを構成する。
【００５７】
また、タップ構成部２は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、入力画像用メモリ１のＳＤ画像から選択し、軸計算タップを構成する。
【００５８】
即ち、後述する軸変換部４では、画素値を表現する軸（空間）が、ＲＧＢ軸から、後述するＸＹＺ軸に変換（軸変換）されるが、タップ構成部２は、この軸変換を行うための変換行列の算出に用いる複数のＳＤ画素を、軸計算タップとする。
【００５９】
タップ構成部２で得られた軸計算タップは、軸計算部３に、予測タップおよびクラスタップは、軸変換部４に、それぞれ供給される。
【００６０】
軸計算部３は、タップ構成部２から供給される軸計算タップ（を構成するＳＤ画素の画素値）に基づいて、Ｘ軸、Ｙ軸、Ｚ軸（の方向を表すベクトル）を計算する。
【００６１】
即ち、タップ構成部２から供給される軸計算タップを構成する複数のＳＤ画素の画素値は、ＲＧＢ軸上で表現されるものであるが、軸計算部３は、その複数の画素値を、例えば、主成分分析することにより、第１主成分の方向をＸ軸に、第２主成分の方向をＹ軸に、第３主成分の方向をＺ軸に、それぞれ設定する。
【００６２】
具体的には、例えば、いま、タップ構成部２において、図５に示すように、注目画素に対応するＳＤ画素（図５において、×印を付してある○印で示す画素（後述する図６および図７においても同様））を中心として、その上に隣接する２画素、下に隣接する２画素、左に隣接する２画素、右に隣接する２画素、左上に隣接する１画素、左下に隣接する１画素、右上に隣接する１画素、右下に隣接する１画素の、合計１３画素のＳＤ画素が、軸計算タップとして選択された場合には、軸計算部３は、この軸計算タップを構成する１３画素を対象として、ＲＧＢ空間における主成分分析を行い、その結果得られる第１乃至第３主成分の方向を、Ｘ軸、Ｙ軸、Ｚ軸とする。従って、軸計算タップを構成する１３画素の分布において、最も拡がりのある方向が、Ｘ軸とされ、そのＸ軸と直交し、２番目に拡がりのある方向が、Ｙ軸とされ、Ｘ軸およびＹ軸と直交し、３番目に拡がりのある方向が、Ｚ軸とされる。
【００６３】
ここで、Ｘ軸、Ｙ軸、およびＺ軸の３軸で規定される空間を、以下、適宜、ＸＹＺ空間という。
【００６４】
軸計算部３は、以上のようにして、ＸＹＺ軸を求めた後、ＲＧＢ軸で表現される画素値を、ＸＹＺ軸で表現される画素値に変換するための変換行列を求め、これを、軸データとして、軸変換部４および軸逆変換部８に供給する。
【００６５】
軸変換部４は、タップ構成部２から供給される予測タップとクラスタップを構成するＳＤ画素の画素値を、軸計算部３からの軸データとしての変換行列によって軸変換することにより、ＸＹＺ軸上で表現される画素値とし、さらに必要な処理を施して出力する。
【００６６】
即ち、例えば、いま、タップ構成部２において、注目画素に対応するＳＤ画素を中心とする、図６（Ａ）に示すようなＲＧＢ空間上の２９のＳＤ画素が、予測タップとして選択された場合には、軸変換部４は、この予測タップを構成する２９画素の画素値を、ＸＹＺ軸上のものに軸変換する。さらに、軸変換部４は、例えば、図６（Ｂ）に示すような、ＸＹＺ軸上の予測タップを構成する２９の画素値のうちの、２９画素のＸ成分（Ｘ軸方向の画素値）、９画素のＹ成分（Ｙ軸方向の画素値）、および１画素のＺ成分（Ｚ軸方向の画素値）の、合計３９の値を、予測タップ（この予測タップを、以下、適宜、軸変換後予測タップともいう）として出力する。
【００６７】
また、軸変換部４は、タップ構成部２から供給されるクラスタップを構成するＳＤ画素の画素値を、ＸＹＺ軸上で表現される画素値とし、そのままクラスタップ（このクラスタップを、以下、適宜、軸変換後クラスタップともいう）として出力する。
【００６８】
軸変換部４が出力する軸変換後予測タップは、画素値予測部７に供給され、軸変換後クラスタップは、クラス分類部５に供給される。
【００６９】
クラス分類部５は、軸変換部４からのクラスタップ（軸変換後クラスタップ）に基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ６に対して、アドレスとして供給する。
【００７０】
即ち、例えば、いま、タップ構成部２において、注目画素に対応するＳＤ画素を中心とする、図７（Ａ）に示すようなＲＧＢ空間上の１３画素のＳＤ画素が、クラスタップとして選択された場合には、軸変換部４は、このクラスタップを構成する１３画素の画素値を、ＸＹＺ軸上のものに軸変換する。さらに、クラス分類部５は、そのＸＹＺ軸上で表現された１３画素の画素値を、例えば、１ビットADRC処理し、その結果得られるADRCコードを、クラスコードとして出力する。
【００７１】
但し、本実施の形態では、クラス分類部５は、例えば、図７（Ｂ）に示すように、ＸＹＺ軸上で表現された１３画素の画素値のうちの、例えば、Ｘ成分の１３の値だけを対象に、ADRC処理を行う。また、クラス分類部５は、ADRC処理を行う際、１３のＸ成分すべてを対象にして、ダイナミックレンジDRを求め、１３のＸ成分のうちの、注目画素を中心とする３×３画素の合計９画素（図７（Ｂ）において、●印で示す画素）のＸ成分を、DR/2で量子化する。そして、クラス分類部５は、その９画素についてそれぞれ得られる１ビットのコードを並べた９ビットを、ADRCコードとして出力する。従って、本実施の形態では、注目画素は、５１２（＝２9）クラスのうちのいずれかにクラス分類されることになる。
【００７２】
ここで、クラス分類部５には、例えば、クラスタップを構成するＳＤ画素のＸ成分のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラス数は、前述したように、膨大な数となる。
【００７３】
従って、クラス分類部５においては、上述のように、画素値のビット数等を圧縮するADRC処理等のような圧縮処理を行ってから、クラス分類を行うのが好ましい。なお、クラス分類部５における圧縮処理としては、ADRC処理に限定されるものではなく、その他、例えば、ベクトル量子化等を用いることも可能である。
【００７４】
以上のように、クラス分類部５では、軸変換部４によってＸＹＸ軸上で表現された画素値で構成されるクラスタップに基づいて、クラス分類が行われるので、注目画素を効率的にクラス分けすることができる。
【００７５】
即ち、前述の図３と同様の図８（Ａ）に示すように、画像の輝度変化の大きい部分の複数の画素で構成されるクラスタップと、色変化の大きい部分の複数の画素で構成されるクラスタップとについては、ＲＧＢ空間では、その画素値の分布の形状が同一であっても、方向（拡がりの方向）が異なるために、異なるクラスに分類される。
【００７６】
しかしながら、クラスタップを軸変換した場合には、クラスタップを構成する画素値の分布の最も拡がりのある方向は、Ｘ軸方向を向き、そのＸ軸と直交し、２番目に拡がりのある方向は、Ｙ軸方向を向き、Ｘ軸およびＹ軸と直交し、３番目に拡がりのある方向は、Ｚ軸方向を向いている。
【００７７】
従って、ＲＧＢ空間において形状が同一の分布は、ＲＧＢ空間における方向がどの方向を向いていても、ＸＹＺ空間では、同一の分布として捉えることができる。
【００７８】
即ち、画像の輝度変化の大きい部分の複数の画素で構成されるクラスタップを構成する画素値の分布と、色変化の大きい部分の複数の画素で構成されるクラスタップを構成する画素値の分布とは、ＲＧＢ空間では、図８（Ａ）に示したように、形状が同一であっても、方向が異なる分布となるが、ＸＹＺ空間では、図８（Ｂ）に示すように、形状が同一であれば、方向も同一の分布となる。従って、ＸＹＺ空間においては、画像の輝度変化の大きい部分の複数の画素で構成されるクラスタップを構成する画素値の分布と、色変化の大きい部分の複数の画素で構成されるクラスタップを構成する画素値の分布とは、同一のクラスとすることができ、効率的なクラス分けを行うことができる。
【００７９】
さらに、クラス分類は、クラスタップを構成する画素値の分布具合に応じて、クラス分けを行う手法と捉えることができるが、ＸＹＺ空間では、分布の拡がり具合は、Ｘ軸方向に、最も集中する。従って、図７（Ｂ）で説明したように、Ｘ，Ｙ，Ｚ成分のうちのＸ成分だけを用いて、クラス分類を行っても、画素値の分布具合を正確に反映したクラス分けを行うことができる。
【００８０】
以上から、クラス分類部５では、少ないクラス数によっても、精度の良いクラス分けを行うことができる。
【００８１】
係数メモリ６は、後述するような学習処理が行われることにより得られるクラスごとのタップ係数を記憶している。そして、係数メモリ６は、クラス分類部５から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、画素値予測部７に供給する。
【００８２】
画素値予測部７は、軸変換部４から供給される予測タップ（軸変換後予測タップ）と、係数メモリ６から供給されるタップ係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、ＳＤ画像の解像度を向上させたＨＤ画像の予測値として、軸逆変換部８に出力する。
【００８３】
軸逆変換部８は、軸計算部３からの軸データとしての変換行列を受信し、その逆行列（逆変換行列）を求める。さらに、軸逆変換部８は、画素値予測部７からの画素値（ＨＤ画像の画素値の予測値）を、逆変換行列によって逆変換する。即ち、画素値予測部７が出力するＨＤ画像の画素値は、ＸＹＺ軸上で表現されたものとなっているため、軸逆変換部８は、そのＸＹＺ軸上で表現された画素値を、逆変換行列によって逆変換することにより、ＲＧＢ軸上で表現されたものに変換する。軸逆変換部８によって逆変換された画素値は、予測画像用メモリ９に供給される。
【００８４】
予測画像用メモリ９は、軸逆変換部８からのＨＤ画素の画素値を、そのＨＤ画素の位置に対応するアドレスに記憶し、例えば、１フレーム分の画素値を記憶すると、その１フレーム分の画素値で構成されるＨＤ画像（の予測値）を出力する。
【００８５】
次に、図９のフローチャートを参照して、図４の予測装置の処理（予測処理）について説明する。
【００８６】
ＲＧＢで表現される画素値を有するＳＤ画像が、フレーム（フィールド）単位で、入力画像用メモリ１に供給され、入力画像用メモリ１では、ステップＳ１において、そこに供給されるＳＤ画像が記憶され、ステップＳ２に進む。
【００８７】
ステップＳ２では、タップ構成部２が、入力画像用メモリ１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する画素のうち、例えば、ラスタスキャン順で、まだ注目画素としていない画素を、注目画素とする。さらに、タップ構成部２は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、入力画像用メモリ１のＳＤ画像から選択し、予測タップ、クラスタップ、および軸計算タップを構成する。タップ構成部２で得られた軸計算タップは、軸計算部３に、予測タップおよびクラスタップは、軸変換部４に、それぞれ供給される。
【００８８】
そして、ステップＳ３に進み、軸計算部３が、タップ構成部２から供給される軸計算タップ（を構成するＳＤ画素の画素値）に基づいて主成分分析を行うことにより、第１主成分の方向をＸ軸に、第２主成分の方向をＹ軸に、第３主成分の方向をＺ軸に、それぞれ設定する。さらに、軸計算部３は、ＲＧＢ軸で表現される画素値を、ＸＹＺ軸で表現される画素値に変換するための変換行列を求め、これを、軸データとして、軸変換部４および軸逆変換部８に供給する。
【００８９】
軸変換部４は、ステップＳ４において、タップ構成部２から供給される予測タップを構成するＳＤ画素の画素値を、軸計算部３からの軸データとしての変換行列によって軸変換することにより、ＸＹＺ軸上で表現される画素値とし、さらに、図６（Ｂ）に示したような軸変換後予測タップを構成して、画素値予測部７に供給する。さらに、軸変換部４は、ステップＳ４において、タップ構成部２から供給されるクラスタップを構成するＳＤ画素の画素値を、軸計算部３からの軸データとしての変換行列によって軸変換することにより、ＸＹＺ軸上で表現される画素値とし、そのような画素値で構成される軸変換後クラスタップを、クラス分類部５に供給する。
【００９０】
そして、ステップＳ５に進み、クラス分類部５は、軸変換部４から供給される軸変換後クラスタップに基づいて、図７（Ｂ）で説明したようなクラス分類を行うことにより、注目画素を、５１２クラスのうちのいずれかのクラスにクラス分けし、そのクラスに対応するクラスコードを、係数メモリ６に、アドレスとして供給する。これにより、係数メモリ６からは、そのクラスコードに対応するアドレスに記憶されているタップ係数が読み出され、画素値予測部７に供給される。
【００９１】
画素値予測部７は、ステップＳ６において、軸変換部４から供給される予測タップと、係数メモリ６から供給されるタップ係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、軸逆変換部８に供給して、ステップＳ７に進む。
【００９２】
ステップＳ７では、軸逆変換部８が、軸計算部３から供給される、注目画素について計算された軸データとしての変換行列に基づいて、逆変換行列を求め、その逆変換行列によって、画素値予測部７から供給されるＸＹＺ空間上の画素値を、ＲＧＢ空間上のものに逆変換する。このＲＧＢ空間上の画素値は、軸逆変換部８から予測画像用メモリ９に供給されて記憶される。
【００９３】
その後、ステップＳ８に進み、タップ構成部２は、入力画像用メモリ１に記憶された１フレーム分のＳＤ画像に対応するＨＤ画像を構成するＨＤ画素すべてを注目画素として処理を行ったかどうかを判定する。ステップＳ８において、入力画像用メモリ１に記憶された１フレーム分のＳＤ画像に対応するＨＤ画像を構成するＨＤ画素のうち、まだ注目画素としていないものがあると判定された場合、ステップＳ２に戻り、ラスタスキャン順で、まだ注目画素としていないＨＤ画素を、新たな注目画素として、以下、同様の処理が繰り返される。
【００９４】
また、ステップＳ８において、入力画像用メモリ１に記憶された１フレーム分のＳＤ画像に対応するＨＤ画像を構成するＨＤ画素すべてを、注目画素としたと判定された場合、即ち、予測画像用メモリ９に、入力画像用メモリ１に記憶された１フレームのＳＤ画像の画質を向上させたＨＤ画像が記憶された場合、ステップＳ９に進み、予測画像用メモリ９は、その１フレームのＨＤ画像を読み出して出力し、処理を終了する。
【００９５】
なお、図９の予測処理は、図４の予測装置に、１フレームのＳＤ画像が供給されるごとに、その１フレームのＳＤ画像について行われる。
【００９６】
次に、図１０は、図４の係数メモリ６に記憶されているクラスごとのタップ係数を求める学習処理を行う学習装置としてのデータ処理装置の一実施の形態の構成例を示している。
【００９７】
教師画像用メモリ１１には、教師データとしてのＨＤ画像（以下、適宜、教師画像という）が、例えば、フレーム（またはフィールド）単位で供給され、教師画像用メモリ１１は、そこに供給される教師画像を順次記憶する。
【００９８】
生徒画像用メモリ１２には、生徒データとしてのＳＤ画像（以下、適宜、生徒画像という）が、例えば、フレーム（フィールド）単位で供給され、生徒画像用メモリ１２は、そこに供給される生徒画像を順次記憶する。
【００９９】
なお、図４の予測装置において、例えば、前述の図１に示したように、ＳＤ画像の解像度を、その横および縦のいずれの方向についても２倍にしたＨＤ画像を得る場合には、生徒画像は、教師画像の横および縦の画素数を、いずれも１／２に間引いて生成される。
【０１００】
タップ構成部１３は、教師画像用メモリ１１に記憶された教師画像としてのＨＤ画像を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、生徒画像用メモリ１２に記憶された生徒画像としてのＳＤ画像から選択することによって、図４のタップ構成部２と同一の軸計算タップ、予測タップ、およびクラスタップを構成する。軸計算タップは、軸計算部１４に供給され、予測タップおよびクラスタップは、軸変換部１５に供給される。
【０１０１】
軸計算部１４は、タップ構成部１３からの軸計算タップに基づいて、図４の軸計算部３における場合と同様にして、ＲＧＢ軸をＸＹＺ軸に変換するための軸データとしての変換行列を求め、軸変換部１５に供給する。
【０１０２】
軸変換部１５は、タップ構成部１３から供給される予測タップとクラスタップを、軸計算部１４から供給される軸データとしての変換行列にしたがってそれぞれ変換することにより、図４の軸変換部４における場合と同一の軸変換後予測タップと軸変換後クラスタップをそれぞれ構成する。そして、軸変換部１５は、軸変換後予測タップを、正規方程式生成部１７に供給し、軸変換後クラスタップを、クラス分類部１６に供給する。
【０１０３】
さらに、軸変換部１５は、注目画素となっているＨＤ画素の画素値を、教師画像用メモリ１１から読み出し、その画素値を、軸計算部１４から供給される軸データとしての変換行列にしたがって変換することにより、ＲＧＢ軸で表現される値から、ＸＹＺ軸で表現される値に変換して、正規方程式生成部１７に供給する。
【０１０４】
クラス分類部１６は、軸変換部１５からの軸変換後クラスタップに基づいて、図４のクラス分類部５と同様の処理を行うことで、注目画素をクラス分類し、その結果得られるクラスコードを、正規方程式生成部１７に供給する。
【０１０５】
正規方程式生成部１７は、軸変換部１５から供給される、ＸＹＺ軸上で表現された教師画像を構成するＨＤ画素（教師画素）と、同じく軸変換部１５から供給される軸変換後予測タップ（を構成する生徒画像のＳＤ画素（生徒画素））とを対象とした足し込みを、クラス分類部１６から供給されるクラスコードごとに行う。
【０１０６】
即ち、正規方程式生成部１７は、クラス分類部１６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒画素どうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１０７】
さらに、正規方程式生成部１７は、やはり、クラス分類部１６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）および注目画素（教師画素）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒画素と注目画素（教師画素）の乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１０８】
正規方程式生成部１７は、以上の足し込みを、教師画像用メモリ１１に記憶された教師画素すべてを、注目画素として行い、これにより、クラスごとに、式（８）に示した正規方程式をたてる。
【０１０９】
係数計算部１８は、正規方程式生成部１７においてクラスごとに生成された正規方程式を解くことにより、クラスごとのタップ係数を求める。
【０１１０】
なお、教師画像として用意する画像の数（フレーム数）や、その画像の内容等によっては、正規方程式生成部１７において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、係数計算部１８は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０１１１】
次に、図１１のフローチャートを参照して、図１０の学習装置の処理（学習処理）について説明する。
【０１１２】
ＲＧＢで表現される画素値を有する教師画像としてのＨＤ画像が、フレーム（フィールド）単位で、教師画像用メモリ１１に順次供給されるとともに、その教師画像から生成された生徒画像としてのＳＤ画像が、フレーム（フィールド）単位で、生徒画像用メモリ１２に順次供給され、ステップＳ１１では、教師画像用メモリ１１が、そこに供給される教師画像を順次記憶するとともに、生徒画像用メモリ１２が、そこに供給される生徒画像を順次記憶し、ステップＳ１２に進む。
【０１１３】
ステップＳ１２では、タップ構成部１３が、教師画像用メモリ１１に記憶され教師画像を構成する教師画素のうち、例えば、ラスタスキャン順で、まだ注目画素としていない画素を、注目画素とする。さらに、タップ構成部１３は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、生徒画像用メモリ１２の生徒画像を構成する生徒画素から選択し、予測タップ、クラスタップ、および軸計算タップを構成する。タップ構成部１３で得られた軸計算タップは、軸計算部１４に、予測タップおよびクラスタップは、軸変換部１５に、それぞれ供給される。
【０１１４】
そして、ステップＳ１３に進み、軸計算部１４が、タップ構成部１３から供給される軸計算タップ（を構成する生徒画素の画素値）に基づいて主成分分析を行うことにより、第１主成分の方向をＸ軸に、第２主成分の方向をＹ軸に、第３主成分の方向をＺ軸に、それぞれ設定する。さらに、軸計算部１４は、ＲＧＢ軸で表現される画素値を、ＸＹＺ軸で表現される画素値に変換するための変換行列を求め、これを、軸データとして、軸変換部１５に供給する。
【０１１５】
軸変換部１５は、ステップＳ１４において、タップ構成部１３から供給される予測タップを構成する生徒画素の画素値を、軸計算部１４からの軸データとしての変換行列によって軸変換することにより、ＸＹＺ軸上で表現される画素値とし、さらに、図６（Ｂ）に示したような軸変換後予測タップを構成して、正規方程式生成部１７に供給する。さらに、軸変換部１５は、ステップＳ１４において、タップ構成部１３から供給されるクラスタップを構成する生徒画素の画素値を、軸計算部１４からの軸データとしての変換行列によって軸変換することにより、ＸＹＺ軸上で表現される画素値とし、そのような画素値で構成される軸変換後クラスタップを、クラス分類部１６に供給する。また、軸変換部１５は、注目画素となっている教師画素の画素値を、教師画像用メモリ１１から読み出し、その画素値を、軸計算部１４から供給される軸データとしての変換行列にしたがって変換することにより、ＲＧＢ軸で表現される値から、ＸＹＺ軸で表現される値に変換して、正規方程式生成部１７に供給する。
【０１１６】
そして、ステップＳ５に進み、クラス分類部１６は、軸変換部１５から供給される軸変換後クラスタップに基づいて、図７（Ｂ）で説明したようなクラス分類を行うことにより、注目画素を、５１２クラスのうちのいずれかのクラスにクラス分けし、そのクラスに対応するクラスコードを、正規方程式生成部１７に供給し、ステップＳ１６に進む。
【０１１７】
ステップＳ１６では、正規方程式生成部１７は、式（８）に示した正規方程式をたてる。即ち、正規方程式生成部１７は、軸変換部１５からの予測タップ（を構成する生徒画素）と、同じく軸変換部１５からの注目画素（教師画素）を対象として、式（８）の行列Ａとベクトルｖの、上述したような足し込みを、クラス分類部１６からのクラスコードごとに行う。
【０１１８】
そして、ステップＳ１７に進み、教師画像用メモリ１１に記憶された教師画像を構成する教師画素すべてを注目画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、ステップＳ１２に戻る。この場合、まだ、注目画素されていない教師画素のうちの１つが、新たに注目画素とされ、以下、同様の処理が繰り返される。
【０１１９】
また、ステップＳ１７において、教師画素すべてを注目画素として、足し込みを行ったと判定された場合、ステップＳ１８に進み、係数計算部１８は、その足しこみによってクラスごとに生成された正規方程式を解くことにより、クラスごとのタップ係数を求める。そして、ステップＳ１９に進み、係数計算部１８は、上述のようにして、クラスごとに求めたタップ係数を出力し、処理を終了する。
【０１２０】
次に、図１２は、ＲＧＢ軸上で表現された画素値をそのまま用いて、予測処理を行った場合に得られる予測画像と、図４の予測装置において予測処理を行った場合、即ち、ＲＧＢ軸上で表現された画素値をＸＹＺ軸上で表現された画素値に変換して、予測処理を行った場合に得られる予測画像のＳＮＲ(Signal to Noise Ratio)を計測したシミュレーション結果を示している。
【０１２１】
なお、ＸＹＺ軸上で表現された画素値を用いた予測処理では、予測タップは、図６（Ｂ）に示したように、２９画素のＸ成分、９画素のＹ成分、および１画素のＺ成分の合計で３９タップで構成し、クラス分類におけるクラス数は、図７で説明したように、５１２クラスとした。一方、ＲＧＢ軸上で表現された画素値を用いた予測処理では、予測タップは、１３画素のＲ，Ｇ，Ｂ成分である３９タップで構成し、クラス分類におけるクラス数は、５１２クラスとした。
【０１２２】
従って、ＲＧＢ軸上で表現された画素値を用いた予測処理と、ＸＹＺ軸上で表現された画素値を用いた予測処理のシミュレーションにおいて、予測タップを構成するタップ数、およびクラス数は、いずれも同一である。
【０１２３】
しかしながら、図１２のシミュレーション結果から明らかなように、ＸＹＺ軸上で表現された画素値を用いた予測処理による方は、クラス分けが精度良く行われている結果、ＲＧＢ軸上で表現された画素値を用いた予測処理よりも、ＳＮＲの高いＨＤ画像を得ることができている。
【０１２４】
なお、図１２は、６種類の異なる画像Ａ，Ｂ，Ｃ，Ｄ，Ｅ，ＦそれぞれのＳＮＲを示している。また、図１２に示した値の単位は、ｄＢである。
【０１２５】
次に、図１３は、本発明を適用した伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【０１２６】
この画像伝送システムは、送信装置２１および受信装置２２で構成されており、送信装置２１は、符号化対象としての、例えば、画像を符号化して符号化データを出力し、受信装置２２は、その符号化データを、元の画像に復号する。
【０１２７】
即ち、送信装置２１は、符号化対象の画像の予測値としての予測画像を求め、その予測画像の、元の画像に対する予測誤差を求める。そして、この予測誤差は、符号化データとして、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体２３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体２４を介して伝送され、受信装置２２に提供される。
【０１２８】
受信装置２２は、記録媒体２３または伝送媒体２４を介して提供される符号化データを受信する。そして、受信装置２２は、その符号化データを、元の画像に復号し、例えば、図示せぬモニタに供給して表示させる。
【０１２９】
次に、図１４は、図１３の送信装置２１の構成例を示している。
【０１３０】
符号化対象の画像は、例えば、ＲＧＢ空間で表現されるもので、フレームメモリ３１に順次供給されるようになっている。そして、フレームメモリ３１は、そこに供給される画像を順次記憶する。
【０１３１】
予測部３２は、フレームメモリ３１に記憶された画像のフレームを、順次、注目フレームとし、さらに、注目フレームを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、その画素値のＸＹＺ空間における予測値を求める。
【０１３２】
即ち、予測部３２は、軸計算部４１、軸変換部４２、および重み付け平均部４３から構成されている。
【０１３３】
軸計算部４１は、注目画素の位置から空間的または時間的に近い位置にある画素であって、既に、注目画素として処理された幾つかの画素を、フレームメモリ３１から選択し、軸計算タップとする。さらに、軸計算部４１は、その軸計算タップに基づいて、図４の軸計算部３における場合と同様に、ＲＧＢ軸上で表現される画素値を、ＸＹＺ空間上で表現されるものに変換するための変換行列を求め、軸データとして、軸変換部４２に供給する。
【０１３４】
軸変換部４２は、フレームメモリ３１から注目画素の位置から空間的または時間的に近い位置にある画素であって、既に、注目画素として処理された幾つかの画素を、フレームメモリ３１から選択し、その選択した画素（以下、適宜、選択画素という）の画素値を、軸計算部４１からの軸データとしての変換行列にしたがって変換する。即ち、軸変換部４２は、ＲＧＢ軸上で表現される選択画素の画素値を、ＸＹＺ軸上で表現されるものに変換する。この変換後の選択画素は、軸変換部４２から重み付け平均部４３に供給される。
【０１３５】
重み付け平均部４３は、軸変換部４２から供給される複数の選択画素の画素値の重み付け平均値を計算し、その重み付け平均値を、注目画素の画素値の予測値として、予測誤差算出部３３に供給する。即ち、重み付け平均部４３は、例えば、複数の選択画素それぞれに対して、注目画素からの距離の逆数に比例する重みを付し、その平均値を演算する。そして、重み付け平均部４３は、その平均値を、注目画素の画素値の予測値として、予測誤差算出部３３に供給する。
【０１３６】
なお、ここでは、注目画素の周辺に位置する複数の画素の重み付け平均値を、その注目画素の予測値とするようにしたが、その他、例えば、簡易的には、注目画素の左や上に隣接する画素の画素値（但し、ＸＹＺ軸上で表現される画素値）を、そのまま予測値として用いるようにすることも可能である。
【０１３７】
予測誤差算出部３３は、ＸＹＺ空間において、予測部３２からの予測値の、注目画素の画素値（真値）に対する予測誤差を求める。
【０１３８】
即ち、予測誤差算出部３３は、軸計算部５１、軸変換部５２、および誤差計算部５３から構成されている。
【０１３９】
軸計算部５１は、軸計算部４１と同様にして、軸データとしての変換行列を求め、軸変換部５２に供給する。軸変換部５２は、フレームメモリ３１から注目画素を読み出し、その画素値を、軸計算部５１からの軸データとしての変換行列にしたがって変換する。即ち、軸変換部５２は、ＲＧＢ軸上で表現される注目画素の画素値を、ＸＹＺ軸上で表現されるものに変換する。この変換後の注目画素は、軸変換部５２から誤差計算部５３に供給される。
【０１４０】
誤差計算部５３は、予測部３２から供給される予測値から、軸変換部５２から供給される注目画素の真値を減算することにより、ＸＹＺ空間における予測誤差を求め、フレームメモリ３４に供給する。
【０１４１】
フレームメモリ３４は、予測誤差算出部３３から供給される注目画素についての予測誤差を、その注目画素の位置に対応するアドレスに記憶する。
【０１４２】
エントロピー符号化部３５は、例えば、フレームメモリ３４から、１フレームの予測誤差を読み出し、その１フレームの予測誤差を、ハフマン符号化等のエントロピー符号化する。そして、エントロピー符号化部３５は、その結果得られる符号化データを出力する。
【０１４３】
なお、予測部３２を構成する軸計算部４１と、予測誤差算出部３３を構成する軸計算部５１とは、いずれか一方によって兼用するようにすることが可能である。同様に、予測部３２を構成する軸変換部４２と、予測語算出部３３を構成する軸変換部５２も、いずれか一方によって兼用するようにすることが可能である。
【０１４４】
次に、図１５のフローチャートを参照して、図１４の送信装置２１の処理（符号化処理）について説明する。
【０１４５】
符号化対象の画像は、ステップＳ２１において、フレームメモリ３１に供給されて記憶され、ステップＳ２２に進む。
【０１４６】
ステップＳ２２では、軸計算部４１および５１が、フレームメモリ３１に記憶された画像のフレームを、注目フレームとし、さらに、注目フレームを構成する画素のうちの、ラスタスキャン順で、まだ注目画素とされていないものを、注目画素とし、その注目画素についての軸計算タップを、フレームメモリ３１から所定の画素を読み出すことで構成する。そして、ステップＳ２３に進み、軸計算部４１および５１は、軸計算タップに基づいて、ＲＧＢ軸上で表現される画素値を、ＸＹＺ空間上で表現されるものに変換するための変換行列を求める。軸計算部４１は、軸データを、軸変換部４２に供給し、軸計算部５１は、軸データを、軸変換部５２に供給して、ステップＳ２４に進む。
【０１４７】
ステップＳ２４では、軸変換部４２は、注目画素の位置から空間的または時間的に近い位置にある画素であって、既に、注目画素として処理された幾つかの画素を、フレームメモリ３１から選択し、その複数の選択画素の画素値を、軸計算部４１からの軸データとしての変換行列にしたがって変換する。そして、軸変換部４２は、その変換によって得られる、ＸＹＺ軸上で表現される選択画素の画素値を、重み付け平均部４３に供給する。
【０１４８】
さらに、ステップＳ２４では、軸変換部５２が、フレームメモリ３１から注目画素を読み出し、その画素値を、軸計算部５１からの軸データとしての変換行列にしたがって変換する。そして、軸変換部５２は、その変換によって得られる、、ＸＹＺ軸上で表現される注目画素の画素値を、誤差計算部５３に供給する。
【０１４９】
その後、ステップＳ２５に進み、重み付け平均部４３は、軸変換部４２から供給される複数の選択画素の画素値の重み付け平均値を計算し、その重み付け平均値を、注目画素の画素値の予測値として、予測誤差算出部３３の誤差計算部５３に供給して、ステップＳ２６に進む。
【０１５０】
ステップＳ２６では、誤差計算部５３が、予測部３２の重み付け平均部４３から供給される予測値から、軸変換部５２から供給される注目画素の真値を減算することにより、ＸＹＺ空間における予測誤差を求める。この予測誤差は、誤差計算部５３からフレームメモリ３４に供給され、注目画素の位置に対応するアドレスに記憶される。
【０１５１】
そして、ステップＳ２７に進み、軸計算部４１および５１は、注目フレームを構成する画素すべてを注目画素として処理を行ったかどうかを判定する。ステップＳ２７において、注目フレームを構成する画素のうち、まだ注目画素としていないものがあると判定された場合、ステップＳ２２に戻り、ラスタスキャン順で、まだ注目画素としていないものを、新たな注目画素として、以下、同様の処理が繰り返される。
【０１５２】
また、ステップＳ２７において、注目フレームを構成する画素すべてを、注目画素としたと判定された場合、即ち、フレームメモリ３４に、１フレーム分の予測誤差が記憶された場合、ステップＳ２８に進み、エントロピー符号化部３５は、フレームメモリ３４から、その１フレーム分の予測誤差を読み出して、エントロピー符号化し、その結果得られる符号化データを出力して、処理を終了する。
【０１５３】
なお、図１５の符号化処理は、送信装置２１に、１フレームの画像が供給されるごとに、その１フレームの画像を、注目フレームとして行われる。
【０１５４】
次に、図１６は、図１３の受信装置２２の構成例を示している。
【０１５５】
送信装置２１からの符号化データは、エントロピー復号部６１で受信されるようになっており、エントロピー復号部６１は、受信した符号化データをエントロピー復号し、その結果得られる予測誤差で構成される画像（以下、適宜、誤差画像という）を、フレームメモリ６２に供給する。
【０１５６】
フレームメモリ６２は、エントロピー復号部６１から供給される誤差画像を、例えば、フレーム（フィールド）単位で記憶する。
【０１５７】
復号部６３は、フレームメモリ６２に記憶された誤差画像のフレームを、順次、注目フレームとするとともに、その注目フレームを構成する画素を、送信装置２１における場合と同様に、ラスタスキャン順で、順次、注目画素として、その注目画素を復号する。
【０１５８】
即ち、復号部６３は、加算部７１、軸計算部７２、および軸逆変換部７３で構成される。
【０１５９】
加算部７１は、予測部６５から供給される、ＸＹＺ軸上で表現される注目画素の予測値と、フレームメモリ６２に記憶された注目画素の予測誤差とを加算することで、ＸＹＺ軸上で表現される注目画素の画素値を復号し、軸逆変換部７３に供給する。
【０１６０】
軸計算部７２は、注目画素について、既に復号され、フレームメモリ６４に記憶された画素から、図１４の軸計算部４１（５１）における場合と同一の画素を選択し、軸計算タップとする。さらに、軸計算部７２は、その軸計算タップに基づいて、図１４の軸計算部４１における場合と同様に、ＲＧＢ軸上で表現される画素値を、ＸＹＺ空間上で表現されるものに変換するための変換行列を求め、さらに、その逆行列（逆変換行列）を求めて、軸逆変換部７３に供給する。
【０１６１】
軸逆変換部７３は、加算部７１からの画素値を、軸計算部７２からの逆変換行列にしたがって変換する。即ち、加算部７１が出力する注目画素の復号値は、ＸＹＺ軸上で表現されたものとなっているため、軸逆変換部７３は、そのＸＹＺ軸上で表現された画素値を、逆変換行列によって逆変換することにより、ＲＧＢ軸上で表現されたものに変換する。軸逆変換部７３における逆変換の結果得られる注目画素の復号値は、フレームメモリ６４に供給される。
【０１６２】
フレームメモリ６４は、復号部６３の軸逆変換部７３から供給される注目画素の復号値を、その注目画素の位置に対応するアドレスに記憶する。
【０１６３】
予測部６５は、フレームメモリ６４に記憶された、既に復号された画素値に基づいて、注目画素の予測値であって、ＸＹＺ軸上で表現されるものを求め、復号部６３の加算部７１に供給する。
【０１６４】
即ち、予測部６５は、軸計算部８１、軸変換部８２、および重み付け平均部８３で構成されており、この軸計算部８１、軸変換部８２、または重み付け平均部８３は、図１４の予測部３２を構成する軸計算部４１、軸変換部４２、または重み付け平均部４３と、それぞれ同様に構成されている。従って、予測部６５は、フレームメモリ６４に記憶された、既に復号された画素値を用いて、図１４の予測部３２と同様の処理を行うことで、ＸＹＺ軸上で表現される注目画素の予測値を求め、復号部６３の加算部７１に供給する。
【０１６５】
次に、図１７のフローチャートを参照して、図１６の受信装置２２の処理（復号処理）について説明する。
【０１６６】
エントロピー復号部６１は、符号化データを受信し、ステップＳ３１において、その受信した符号化データをエントロピー復号する。このエントロピー復号の結果得られる誤差画像は、ステップＳ３２において、エントロピー復号部６１からフレームメモリ６２に供給されて記憶される。
【０１６７】
そして、軸計算部７２および８１は、フレームメモリ６２に記憶された誤差画像のフレームを注目フレームとし、その注目フレームの誤差画像を構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものを、注目画素とする。さらに、軸計算部７２および８１は、ステップＳ３３において、注目画素について、既に復号され、フレームメモリ６４に記憶された画素から、図１４の軸計算部４１（５１）における場合と同一の画素を選択し、軸計算タップを構成する。そして、ステップＳ３４に進み、軸計算部７２は、その軸計算タップに基づいて、図１４の軸計算部４１における場合と同様にして、ＲＧＢ軸上で表現される画素値を、ＸＹＺ空間上で表現されるものに変換するための変換行列を求め、さらに、その逆行列（逆変換行列）を求めて、軸逆変換部７３に供給する。また、ステップＳ３４では、軸計算部８１が、軸計算部７２と同様にして、変換行列を求め、軸変換部８２に供給する。
【０１６８】
軸変換部８２は、ステップＳ３５において、フレームメモリ６４に記憶された、既に復号された画素値から、図１４の軸変換部４２が、注目画素について選択するのと同一の位置関係にある画素（選択画素）の画素値を選択し、その選択画素の画素値を、軸計算部８１からの軸データとしての変換行列にしたがって変換する。即ち、軸変換部８２は、ＲＧＢ軸上で表現される選択画素の画素値を、ＸＹＺ軸上で表現されるものに変換し、重み付け平均部８３に供給する。
【０１６９】
重み付け平均部８３は、ステップＳ３６において、軸変換部８２から供給される複数の選択画素の画素値の重み付け平均値を、図１４の重み付け平均部４３における場合と同様にして計算し、その重み付け平均値を、注目画素の画素値の予測値として、復号部６３の加算部７１に供給する。
【０１７０】
加算部７１は、ステップＳ３７において、予測部６５の重み付け平均部８３から供給される、ＸＹＺ軸上で表現される注目画素の予測値と、フレームメモリ６２に記憶された注目画素の予測値とを加算することで、ＸＹＺ軸上で表現される注目画素の画素値を復号し、軸逆変換部７３に供給する。
【０１７１】
軸逆変換部７３は、ステップＳ３８において、加算部７１からの画素値を、軸計算部７２からの逆変換行列にしたがって変換することにより、ＸＹＺ軸上で表現された注目画素の画素値を、ＲＧＢ軸上で表現されたものに変換する。軸逆変換部７３における逆変換の結果得られる注目画素の復号値は、フレームメモリ６４に供給され、注目画素の位置に対応するアドレスに記憶される。
【０１７２】
そして、ステップＳ３９に進み、加算部７１は、注目フレームを構成する画素すべてを注目画素として処理を行ったかどうかを判定する。ステップＳ３９において、注目フレームを構成する画素のうち、まだ注目画素としていないものがあると判定された場合、ステップＳ３３に戻り、ラスタスキャン順で、まだ注目画素としていないものを、新たな注目画素として、以下、同様の処理が繰り返される。
【０１７３】
また、ステップＳ３９において、注目フレームを構成する画素すべてを、注目画素としたと判定された場合、即ち、フレームメモリ６４に、１フレーム分の復号画素が記憶された場合、その１フレームの復号画素で構成される画像（復号画像）が、フレームメモリ６４から出力され、処理を終了する。
【０１７４】
なお、図１７の復号処理は、フレームメモリ６２に、１フレームの誤差画像が記憶されるごとに、その１フレームの誤差画像のフレームを、注目フレームとして行われる。
【０１７５】
次に、上述の場合においては、注目画素の周辺の画素の重み付け平均値を、注目画素の予測値とするようにしたが、予測値は、クラス分類適応処理によって求めることも可能である。
【０１７６】
即ち、図１４の送信装置２１における予測部３２、および図１６の受信装置２２における予測部６５は、図４の予測装置で構成することが可能である。なお、図４の予測装置によって、予測部３２および６５を構成する場合には、予測装置を構成する軸逆変換部８と、予測画像用メモリ９は不要である。また、上述の場合には、図４の予測装置では、ＨＤ画像を構成する画素の予測値を求めるようになっていたが、予測部３２や６５として使用する場合には、符号化しようとする画素の予測値を求めることとなる。従って、この場合、図４の予測装置の係数メモリ６に記憶させるタップ係数は、図１０の学習装置において、同一の画像を、教師画像および生徒画像とするとともに、軸変換部４２（８２）で選択画素とされる画素を予測タップとして学習処理を行うことにより求める必要がある。また、図４の予測装置では、タップ構成部２において、軸変換部４２（８２）で選択される画素を、予測タップとして選択させる必要がある。
【０１７７】
次に、図１８は、ＲＧＢ軸で表現される画素値をそのまま用いて予測値を求め、その予測値の予測誤差をエントロピー符号化した場合（図１８において、「ＲＧＢ軸」と示す）と、ＲＧＢ軸で表現される画素値をＸＹＺ軸上で表現されるものに変換してから予測値を求め、その予測値の予測誤差をエントロピー符号化した場合（図１８において、「主成分軸」と示す）との圧縮率を、予測方式を変えて求めた、２種類の画像ＡとＢについてのシミュレーション結果を示している。
【０１７８】
なお、予測方式としては、注目画素の上に隣接する画素の画素値を予測値とする方式（図１８において、「垂直」と示す）、注目画素の左に隣接する画素の画素値を予測値とする方式（図１８において、「水平」と示す）、およびクラス分類適応処理によって予測値を求める方式（図１８において、「クラス分類適応予測」と示す）の３方式を用いた。
【０１７９】
また、クラス分類適応処理では、ＲＧＢ軸で表現される画素値をそのまま用いて予測値を求める場合には、クラスタップは、図１９（Ａ）に示すような、注目画素（図中、×印を付してある○印）の周辺にある８画素のＲ，Ｇ，Ｂ成分の合計２４値から構成し、さらに、クラス分類は、８画素のＲ，Ｇ，Ｂ成分すべてを対象に、ダイナミックレンジDRを求め、その後、その８画素のうちの、注目画素の上、左、左上にそれぞれ隣接する３画素のＲ，Ｇ，Ｂ成分の合計９値を、DR/2で量子化することにより行った。従って、この場合、全クラス数は、５１２（＝２9）クラスである。また、予測タップは、図１９（Ｂ）に示すような、注目画素（図中、×印を付してある○印）の周辺の８画素のＲ，Ｇ，Ｂ成分の合計２４値から構成した。
【０１８０】
一方、クラス分類適応処理において、ＲＧＢ軸で表現される画素値をＸＹＺ軸で表現される画素値に変換してから予測値を求める場合には、クラスタップは、図１９（Ａ）における場合と同様に、８画素から構成し、さらに、クラス分類は、図２０（Ａ）に示すように、その８画素のＸ成分のみに、１ビットADRC処理を施すことにより行った。従って、この場合、全クラス数は、２５６（＝２8）クラスであり、ＲＧＢ軸で表現される画素値をそのまま用いて予測値を求める場合のクラス数である５１２クラスよりも少ない。また、予測タップは、図２０（Ｂ）に示すような、注目画素（図中、×印を付してある○印）の周辺の８画素のＸ，Ｙ，Ｚ成分の合計２４値から構成した。
【０１８１】
図１８のシミュレーション結果から、注目画素に隣接する画素の画素値を、そのまま、注目画素の予測値とするよりは、クラス分類適応処理によって予測値を求めた方が、圧縮率が高くなることが分かる。さらに、ＲＧＢ軸で表現される画素値を用いるよりも、その画素値を、ＸＹＺ軸で表現したものを用いた方が、圧縮率が高くなることが分かる。
【０１８２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８３】
そこで、図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０１８５】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１８７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述した図９や、図１１、図１５、図１７のフローチャートにしたがった処理、あるいは上述した図４、図１０、図１３、図１４、図１６のブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１８８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１８９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１９０】
なお、予測タップ、クラスタップ、および軸計算タップの構成パターンは、上述したパターンに限定されるものではない。
【０１９１】
また、本実施の形態では、軸計算タップを構成する画素の分布の方向を、主成分分析によって求め、その主成分の方向を新たな軸とするようにしたが、その他、例えば、軸計算タップを構成する画素のうちの任意の２画素間の距離を計算し、その距離を最も長くする２画素によって決まる方向を、分布の拡がりが最も大きい方向として、近似的に、軸計算タップを構成する画素の分布の方向を求め、その方向に基づいて、新たな軸を設定するようにすることが可能である。
【０１９２】
さらに、本実施の形態では、タップ係数を用いた線形１次予測演算によって、予測値を求めるようにしたが、予測値は、その他、２次以上の高次の予測演算によって求めることも可能である。
【０１９３】
また、本実施の形態では、画像データを処理の対象としたが、その他、例えば、音声データ等を処理の対象とすることも可能である。
【０１９４】
さらに、図４の実施の形態では、クラスごとのタップ係数を、係数メモリ６に、あらかじめ記憶させておくようにしたが、タップ係数は、その他、例えば、処理するＳＤ画像とともに、あるいは別に、外部から供給するようにすることが可能である。
【０１９５】
また、本実施の形態では、Ｒ，Ｇ，Ｂ値からなる画素を対象としたが、本発明は、その他の色空間で表現される画像にも適用可能である。
【０１９６】
【発明の効果】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸が求められる。さらに、注目データをクラス分類するのに用いる複数のデータとしてのクラスタップが構成され、そのクラスタップとしての複数のデータが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、クラス分類が行われる。従って、効率的に、クラス分けを行うことが可能となる。
【０１９７】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸を求められる。さらに、予測対象の第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップが構成されるとともに、注目データを予測するのに用いる複数の第１のデータとしての予測タップが構成され、クラスタップとしての複数の第１のデータと、予測タップとしての複数の第１のデータが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、注目データについてのクラス分類が行われ、新たな軸上で表現される予測タップを用い、注目データのクラスに対応する予測方法に基づいて、注目データの予測値であって、新たな軸上で表現されるものが求められる。従って、効率的なクラス分けが行われ、その結果、精度の良い予測値を求めることが可能となる。
【０１９８】
本発明の第３のデータ処理装置およびデータ処理方法、並びに記録媒体においては、第１と第２のデータを、それぞれ生徒データと教師データとして、生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸が求められる。さらに、注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップが構成されるとともに、注目教師データを予測するのに用いる複数の生徒データとしての予測タップが構成され、教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、注目教師データについてのクラス分類が行われ、新たな軸上で表現される教師データと予測タップを用い、第２のデータを予測する予測方法が、クラスごとに学習される。従って、効率的な学習が可能となる。
【図面の簡単な説明】
【図１】ＳＤ画素とＨＤ画素とを示す図である。
【図２】クラス分類適応処理を説明する図である。
【図３】ＲＧＢ空間における画素値の分布を示す図である。
【図４】本発明を適用した予測装置の一実施の形態の構成例を示すブロック図である。
【図５】軸計算タップを示す図である。
【図６】予測タップを示す図である。
【図７】クラスタップを示す図である。
【図８】ＲＧＢ空間では異なるクラスとされる分布が、ＸＹＺ空間では同一のクラスとされることを示す図である。
【図９】予測装置による予測処理を説明するフローチャートである。
【図１０】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図１１】学習装置による学習処理を説明するフローチャートである。
【図１２】本件発明者によるシミュレーション結果を示す図である。
【図１３】本発明を適用した伝送システムの一実施の形態の構成例を示す図である。
【図１４】送信装置２１の構成例を示すブロック図である。
【図１５】送信装置２１による符号化処理を説明するフローチャートである。
【図１６】受信装置２２の構成例を示すブロック図である。
【図１７】受信装置２２による復号処理を説明するフローチャートである。
【図１８】本件発明者によるシミュレーション結果を示す図である。
【図１９】シミュレーションに用いたクラスタップおよび予測タップ、並びにクラス分類の方法を説明する図である。
【図２０】シミュレーションに用いたクラスタップおよび予測タップ、並びにクラス分類方法を説明する図である。
【図２１】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 入力画像用メモリ， ２ タップ構成部， ３ 軸計算部， ４ 軸変換部， ５ クラス分類部， ６ 係数メモリ， ７ 画素値予測部， ８ 軸逆変換部， ９ 予測画像用メモリ， １１ 教師画像用メモリ， １２ 生徒画像用メモリ， １３ タップ構成部， １４ 軸計算部， １５ 軸変換部， １６ クラス分類部， １７ 正規方程式生成部， １８ 係数計算部， ２１送信装置， ２２ 受信装置， ２３ 記録媒体， ２４ 伝送媒体， ３１フレームメモリ， ３２ 予測部， ３３ 予測誤差算出部， ３４ フレームメモリ， ３５ エントロピー符号化部， ４１ 軸計算部， ４２ 軸変換部， ４３ 重み付け平均部， ５１ 軸計算部， ５２ 軸変換部， ５３ 誤差計算部， ６１ エントロピー復号部， ６２ フレームメモリ， ６３ 復号部， ６４ フレームメモリ， ６５ 予測部， ７１ 加算部， ７２ 軸計算部， ７３ 軸逆変換部， ８１ 軸計算部， ８２ 軸変換部， ８３重み付け平均部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、ＳＤ(Standard Density)画像をＨＤ(High Density)画像に変換する場合等に、効率的な処理を行うことができるようにするデータ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、ＳＤ画像をＨＤ画像に変換する技術として、クラス分類適応処理を先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、幾つかのクラスのうちのいずれかにクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【０００４】
即ち、適応処理では、例えば、図１に○印で示すような標準解像度または低解像度の画像（ＳＤ画像）を構成する画素（以下、適宜、ＳＤ画素という）と、所定のタップ係数との線形結合により、そのＳＤ画像の解像度を向上させた、例えば、図１に●印で示すような高解像度の画像（ＨＤ画像）の画素の予測値を求めることで、そのＳＤ画像の解像度を向上させた画像（図１においては、横および縦のいずれも方向も、ＳＤ画像の解像度の２倍の解像度のＨＤ画像）が得られる。
【０００５】
具体的には、例えば、いま、あるＨＤ画像を教師データとするとともに、そのＨＤ画像の解像度を劣化させたＳＤ画像を生徒データとして、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０００７】
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
【０００８】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０００９】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【００１０】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００１１】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数３】
【００１２】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１３】
【数４】
【００１４】
そこで、まず、式（３）を、タップ係数ｗjで微分することにより、次式が成立する。
【００１５】
【数５】
【００１６】
式（４）および（５）より、式（６）が得られる。
【００１７】
【数６】
【００１８】
さらに、式（３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１９】
【数７】
【００２０】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００２１】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００２２】
以上のようにして、最適なタップ係数ｗjを求めておき、さらに、そのタップ係数ｗjを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。従って、適応処理とは、図２に示すように、生徒データ（生徒画像）と教師データ（教師画像）とを用いた学習により、タップ係数を求める処理（学習処理）（図２（Ａ））と、そのタップ係数を用いて、入力画像としてのＳＤ画像からＨＤ画像を予測した予測画像を求める処理（予測処理）（図２（Ｂ））を意味する。
【００２３】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【００２４】
また、ここでは、適応処理について、解像度を向上させる場合を例にして説明したが、適応処理によれば、タップ係数を求めるのに用いる教師データおよび生徒データを変えることで、例えば、Ｓ／Ｎ(Signal to Noise Ratio)の向上や、ぼけの改善等の画質の向上を図ることが可能である。
【００２５】
【発明が解決しようとする課題】
ところで、クラス分類適応処理では、データごとに、そのデータに適した適応処理を行うために、データをクラス分類し、その結果得られるクラスごとに、正規方程式がたてられ、タップ係数が求められる。そして、そのクラスごとのタップ係数を用いて、予測値が求められる。
【００２６】
この場合、クラス分類は、例えば、ＳＤ画像を構成するＳＤ画素の幾つかを、クラス分類に用いるクラスタップとし、そのクラスタップを用いて、KビットADRC(Adaptive Dynamic Range Coding)処理を行うことで行われる。
【００２７】
即ち、KビットADRCにおいては、例えば、クラスタップを構成するＳＤ画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するＳＤ画素がKビットに再量子化される。即ち、クラスタップを構成するＳＤ画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する各ＳＤ画素についてのKビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各ＳＤ画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力され、このADRCコードが、クラス分類結果としてのクラスコードとされる。
【００２８】
なお、クラス分類では、例えば、クラスタップを構成するＳＤ画素のレベル分布のパターンを、そのままクラスコードとして出力することも可能であるが、この場合、クラスタップが、Ｎ個のＳＤ画素で構成され、各ＳＤ画素に、Ｋビットが割り当てられているとすると、クラスコードの場合の数（全クラス数）は、（２N）K個となり、画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００２９】
従って、クラス分類は、上述のように、画素値のビット数等を、いわば圧縮するADRC処理等のような圧縮処理を施してから行うのが好ましい。
【００３０】
ところで、クラスタップを構成する複数の画素値（画素の画素値）が、例えば、Ｒ(Red)成分を表すＲ軸、Ｇ成分を表すＧ(Green)軸、およびＢ成分を表すＢ(Blue)軸の３軸で規定されるＲＧＢ空間で表現されるものである場合には、そのＲ成分、Ｇ成分、Ｂ成分それぞれごとに、ADRC処理によるクラス分類が行われ、それぞれのクラス分類結果としてのクラスコードを並べたビット列が、最終的なクラスコードとされる。
【００３１】
従って、例えば、クラスタップを構成する複数の画素値が、ＲＧＢ空間において、同じような形状の分布を有するものであっても、その分布の方向が異なると、異なるクラスコードが得られるため、クラス数が制限された条件の下では、クラスタップを構成する複数の画素値の分布具合を、効率的にクラス分類することが困難な場合があった。
【００３２】
即ち、例えば、図３は、画像の輝度変化の大きい部分の複数の画素で構成されるクラスタップと、色変化の大きい部分の複数の画素で構成されるクラスタップそれぞれの、ＲＧＢ空間における画素値の分布を示している。
【００３３】
図３における２つの分布は、形状が同一であるが、方向が異なるため、ＲＧＢ空間を規定するＲ軸、Ｇ軸、Ｂ軸のそれぞれの方向についてクラス分類を行い、それらの３つのクラス分類結果をあわせたものを、最終的なクラス分類結果としたのでは、異なるクラスに分類される。
【００３４】
即ち、クラス分類を、ＲＧＢ軸（ＲＧＢ空間）で表現される画素値で構成されるクラスタップによって行った場合には、そのクラスタップを構成する複数の画素値の分布の形状と方向の両方が同じようなものでないと、つまり、形状と方向のうちのいずれか一方だけが異なると、異なるクラスコードが得られる。
【００３５】
従って、クラス数を制限した場合には、形状や方向が、比較的異なっていても、同一のクラスコードが得られるようなクラス分類が行われ、画素値の分布が比較的異なるクラスタップを、異なるクラスにクラス分けすることが困難となる。
【００３６】
そして、クラス分類適応処理では、データごとに、そのデータに適した適応処理を施すために、データをクラス分類することから、上述のように、画素値の分布の形状や方向が比較的異なるクラスタップどうしから、同一のクラスコードが得られる場合には、各データに適した適応処理を施すことが困難となる。
【００３７】
一方、学習処理では、クラスごとに、正規方程式がたてられ、予測処理では、クラスごとのタップ係数が用いられる。従って、クラス数を多くすると、処理効率が劣化する。
【００３８】
本発明は、このような状況に鑑みてなされたものであり、クラス数を制限しても、データの的確なクラス分けを可能とし、これにより、処理効率を向上させることができるようにするものである。
【００３９】
【課題を解決するための手段】
本発明の第１のデータ処理装置は、データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップを構成する軸計算タップ構成手段と、軸計算タップに基づいて、新たな軸を求める軸計算手段と、注目データをクラス分類するのに用いる複数のデータとしてのクラスタップを構成するクラスタップ構成手段と、クラスタップとしての複数のデータを、新たな軸上で表現されるデータに変換するデータ変換手段と、新たな軸上で表現されるクラスタップに基づいて、クラス分類を行うクラス分類手段とを備えることを特徴とする。
【００４０】
本発明の第１のデータ処理方法は、データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、注目データをクラス分類するのに用いる複数のデータとしてのクラスタップを構成するクラスタップ構成ステップと、クラスタップとしての複数のデータを、新たな軸上で表現されるデータに変換するデータ変換ステップと、新たな軸上で表現されるクラスタップに基づいて、クラス分類を行うクラス分類ステップとを備えることを特徴とする。
【００４１】
本発明の第１の記録媒体は、データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、注目データをクラス分類するのに用いる複数のデータとしてのクラスタップを構成するクラスタップ構成ステップと、クラスタップとしての複数のデータを、新たな軸上で表現されるデータに変換するデータ変換ステップと、新たな軸上で表現されるクラスタップに基づいて、クラス分類を行うクラス分類ステップとを備えるプログラムが記録されていることを特徴とする。
【００４２】
本発明の第２のデータ処理装置は、第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップを構成する軸計算タップ構成手段と、軸計算タップに基づいて、新たな軸を求める軸計算手段と、予測対象の第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップを構成するクラスタップ構成手段と、注目データを予測するのに用いる複数の第１のデータとしての予測タップを構成する予測タップ構成手段と、クラスタップとしての複数の第１のデータと、予測タップとしての複数の第１のデータを、新たな軸上で表現されるデータに変換する変換手段と、新たな軸上で表現されるクラスタップに基づいて、注目データについてのクラス分類を行うクラス分類手段と、新たな軸上で表現される予測タップを用い、注目データのクラスに対応する予測方法に基づいて、注目データの予測値であって、新たな軸上で表現されるものを求める予測手段とを備えることを特徴とする。
【００４３】
本発明の第２のデータ処理方法は、第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、予測対象の第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップを構成するクラスタップ構成ステップと、注目データを予測するのに用いる複数の第１のデータとしての予測タップを構成する予測タップ構成ステップと、クラスタップとしての複数の第１のデータと、予測タップとしての複数の第１のデータを、新たな軸上で表現されるデータに変換する変換ステップと、新たな軸上で表現されるクラスタップに基づいて、注目データについてのクラス分類を行うクラス分類ステップと、新たな軸上で表現される予測タップを用い、注目データのクラスに対応する予測方法に基づいて、注目データの予測値であって、新たな軸上で表現されるものを求める予測ステップとを備えることを特徴とする。
【００４４】
本発明の第２の記録媒体は、第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、予測対象の第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップを構成するクラスタップ構成ステップと、注目データを予測するのに用いる複数の第１のデータとしての予測タップを構成する予測タップ構成ステップと、クラスタップとしての複数の第１のデータと、予測タップとしての複数の第１のデータを、新たな軸上で表現されるデータに変換する変換ステップと、新たな軸上で表現されるクラスタップに基づいて、注目データについてのクラス分類を行うクラス分類ステップと、新たな軸上で表現される予測タップを用い、注目データのクラスに対応する予測方法に基づいて、注目データの予測値であって、新たな軸上で表現されるものを求める予測ステップとを備えるプログラムが記録されていることを特徴とする。
【００４５】
本発明の第３のデータ処理装置は、第１と第２のデータを、それぞれ生徒データと教師データとして、生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップを構成する軸計算タップ構成手段と、軸計算タップに基づいて、新たな軸を求める軸計算手段と、注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップを構成するクラスタップ構成手段と、注目教師データを予測するのに用いる複数の生徒データとしての予測タップを構成する予測タップ構成手段と、教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データを、新たな軸上で表現されるデータに変換する変換手段と、新たな軸上で表現されるクラスタップに基づいて、注目教師データについてのクラス分類を行い、そのクラスを求めるクラス分類手段と、新たな軸上で表現される教師データと予測タップを用い、第２のデータを予測する予測方法を、クラスごとに学習する学習手段とを備えることを特徴とする。
【００４６】
本発明の第３のデータ処理方法は、第１と第２のデータを、それぞれ生徒データと教師データとして、生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップを構成するクラスタップ構成ステップと、注目教師データを予測するのに用いる複数の生徒データとしての予測タップを構成する予測タップ構成ステップと、教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データを、新たな軸上で表現されるデータに変換する変換ステップと、新たな軸上で表現されるクラスタップに基づいて、注目教師データについてのクラス分類を行い、そのクラスを求めるクラス分類ステップと、新たな軸上で表現される教師データと予測タップを用い、第２のデータを予測する予測方法を、クラスごとに学習する学習ステップとを備えることを特徴とする。
【００４７】
本発明の第３の記録媒体は、第１と第２のデータを、それぞれ生徒データと教師データとして、生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップを構成する軸計算タップ構成ステップと、軸計算タップに基づいて、新たな軸を求める軸計算ステップと、注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップを構成するクラスタップ構成ステップと、注目教師データを予測するのに用いる複数の生徒データとしての予測タップを構成する予測タップ構成ステップと、教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データを、新たな軸上で表現されるデータに変換する変換ステップと、新たな軸上で表現されるクラスタップに基づいて、注目教師データについてのクラス分類を行い、そのクラスを求めるクラス分類ステップと、新たな軸上で表現される教師データと予測タップを用い、第２のデータを予測する予測方法を、クラスごとに学習する学習ステップとを備えるプログラムが記録されていることを特徴とする。
【００４８】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体においては、データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸が求められる。さらに、注目データをクラス分類するのに用いる複数のデータとしてのクラスタップが構成され、そのクラスタップとしての複数のデータが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、クラス分類が行われる。
【００４９】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体においては、第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸を求められる。さらに、予測対象の第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップが構成されるとともに、注目データを予測するのに用いる複数の第１のデータとしての予測タップが構成され、クラスタップとしての複数の第１のデータと、予測タップとしての複数の第１のデータが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、注目データについてのクラス分類が行われ、新たな軸上で表現される予測タップを用い、注目データのクラスに対応する予測方法に基づいて、注目データの予測値であって、新たな軸上で表現されるものが求められる。
【００５０】
本発明の第３のデータ処理装置およびデータ処理方法、並びに記録媒体においては、第１と第２のデータを、それぞれ生徒データと教師データとして、生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸が求められる。さらに、注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップが構成されるとともに、注目教師データを予測するのに用いる複数の生徒データとしての予測タップが構成され、教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、注目教師データについてのクラス分類が行われ、新たな軸上で表現される教師データと予測タップを用い、第２のデータを予測する予測方法が、クラスごとに学習される。
【００５１】
【発明の実施の形態】
図４は、本発明を適用したデータ処理装置の一実施の形態の構成例を示している。このデータ処理装置は、クラス分類適応処理としての予測処理を行う予測装置として構成されている。
【００５２】
即ち、入力画像用メモリ１には、ＨＤ画像の予測値に変換しようとするＳＤ画像が、入力画像として供給されるようになっており、入力画像用メモリ１は、その入力画像としてのＳＤ画像を、例えば、１フレーム（または１フィールド）単位で記憶する。
【００５３】
なお、ここでは、入力画像としてのＳＤ画像を構成するＳＤ画素（画素値）は、例えば、ＲＧＢ軸上で表現されるものとする。従って、入力画像用メモリ１には、Ｒ成分、Ｇ成分、およびＢ成分の３つの成分からなる画素値が記憶される。
【００５４】
タップ構成部２は、入力画像用メモリ１に記憶されたＳＤ画像を構成するＳＤ画素から、各処理に用いるタップを構成する。
【００５５】
即ち、タップ構成部２は、入力画像用メモリ１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、入力画像用メモリ１のＳＤ画像から選択し、タップ係数との予測演算に用いる予測タップを構成する。
【００５６】
さらに、タップ構成部２は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、入力画像用メモリ１のＳＤ画像から選択し、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いるクラスタップを構成する。
【００５７】
また、タップ構成部２は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、入力画像用メモリ１のＳＤ画像から選択し、軸計算タップを構成する。
【００５８】
即ち、後述する軸変換部４では、画素値を表現する軸（空間）が、ＲＧＢ軸から、後述するＸＹＺ軸に変換（軸変換）されるが、タップ構成部２は、この軸変換を行うための変換行列の算出に用いる複数のＳＤ画素を、軸計算タップとする。
【００５９】
タップ構成部２で得られた軸計算タップは、軸計算部３に、予測タップおよびクラスタップは、軸変換部４に、それぞれ供給される。
【００６０】
軸計算部３は、タップ構成部２から供給される軸計算タップ（を構成するＳＤ画素の画素値）に基づいて、Ｘ軸、Ｙ軸、Ｚ軸（の方向を表すベクトル）を計算する。
【００６１】
即ち、タップ構成部２から供給される軸計算タップを構成する複数のＳＤ画素の画素値は、ＲＧＢ軸上で表現されるものであるが、軸計算部３は、その複数の画素値を、例えば、主成分分析することにより、第１主成分の方向をＸ軸に、第２主成分の方向をＹ軸に、第３主成分の方向をＺ軸に、それぞれ設定する。
【００６２】
具体的には、例えば、いま、タップ構成部２において、図５に示すように、注目画素に対応するＳＤ画素（図５において、×印を付してある○印で示す画素（後述する図６および図７においても同様））を中心として、その上に隣接する２画素、下に隣接する２画素、左に隣接する２画素、右に隣接する２画素、左上に隣接する１画素、左下に隣接する１画素、右上に隣接する１画素、右下に隣接する１画素の、合計１３画素のＳＤ画素が、軸計算タップとして選択された場合には、軸計算部３は、この軸計算タップを構成する１３画素を対象として、ＲＧＢ空間における主成分分析を行い、その結果得られる第１乃至第３主成分の方向を、Ｘ軸、Ｙ軸、Ｚ軸とする。従って、軸計算タップを構成する１３画素の分布において、最も拡がりのある方向が、Ｘ軸とされ、そのＸ軸と直交し、２番目に拡がりのある方向が、Ｙ軸とされ、Ｘ軸およびＹ軸と直交し、３番目に拡がりのある方向が、Ｚ軸とされる。
【００６３】
ここで、Ｘ軸、Ｙ軸、およびＺ軸の３軸で規定される空間を、以下、適宜、ＸＹＺ空間という。
【００６４】
軸計算部３は、以上のようにして、ＸＹＺ軸を求めた後、ＲＧＢ軸で表現される画素値を、ＸＹＺ軸で表現される画素値に変換するための変換行列を求め、これを、軸データとして、軸変換部４および軸逆変換部８に供給する。
【００６５】
軸変換部４は、タップ構成部２から供給される予測タップとクラスタップを構成するＳＤ画素の画素値を、軸計算部３からの軸データとしての変換行列によって軸変換することにより、ＸＹＺ軸上で表現される画素値とし、さらに必要な処理を施して出力する。
【００６６】
即ち、例えば、いま、タップ構成部２において、注目画素に対応するＳＤ画素を中心とする、図６（Ａ）に示すようなＲＧＢ空間上の２９のＳＤ画素が、予測タップとして選択された場合には、軸変換部４は、この予測タップを構成する２９画素の画素値を、ＸＹＺ軸上のものに軸変換する。さらに、軸変換部４は、例えば、図６（Ｂ）に示すような、ＸＹＺ軸上の予測タップを構成する２９の画素値のうちの、２９画素のＸ成分（Ｘ軸方向の画素値）、９画素のＹ成分（Ｙ軸方向の画素値）、および１画素のＺ成分（Ｚ軸方向の画素値）の、合計３９の値を、予測タップ（この予測タップを、以下、適宜、軸変換後予測タップともいう）として出力する。
【００６７】
また、軸変換部４は、タップ構成部２から供給されるクラスタップを構成するＳＤ画素の画素値を、ＸＹＺ軸上で表現される画素値とし、そのままクラスタップ（このクラスタップを、以下、適宜、軸変換後クラスタップともいう）として出力する。
【００６８】
軸変換部４が出力する軸変換後予測タップは、画素値予測部７に供給され、軸変換後クラスタップは、クラス分類部５に供給される。
【００６９】
クラス分類部５は、軸変換部４からのクラスタップ（軸変換後クラスタップ）に基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ６に対して、アドレスとして供給する。
【００７０】
即ち、例えば、いま、タップ構成部２において、注目画素に対応するＳＤ画素を中心とする、図７（Ａ）に示すようなＲＧＢ空間上の１３画素のＳＤ画素が、クラスタップとして選択された場合には、軸変換部４は、このクラスタップを構成する１３画素の画素値を、ＸＹＺ軸上のものに軸変換する。さらに、クラス分類部５は、そのＸＹＺ軸上で表現された１３画素の画素値を、例えば、１ビットADRC処理し、その結果得られるADRCコードを、クラスコードとして出力する。
【００７１】
但し、本実施の形態では、クラス分類部５は、例えば、図７（Ｂ）に示すように、ＸＹＺ軸上で表現された１３画素の画素値のうちの、例えば、Ｘ成分の１３の値だけを対象に、ADRC処理を行う。また、クラス分類部５は、ADRC処理を行う際、１３のＸ成分すべてを対象にして、ダイナミックレンジDRを求め、１３のＸ成分のうちの、注目画素を中心とする３×３画素の合計９画素（図７（Ｂ）において、●印で示す画素）のＸ成分を、DR/2で量子化する。そして、クラス分類部５は、その９画素についてそれぞれ得られる１ビットのコードを並べた９ビットを、ADRCコードとして出力する。従って、本実施の形態では、注目画素は、５１２（＝２9）クラスのうちのいずれかにクラス分類されることになる。
【００７２】
ここで、クラス分類部５には、例えば、クラスタップを構成するＳＤ画素のＸ成分のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラス数は、前述したように、膨大な数となる。
【００７３】
従って、クラス分類部５においては、上述のように、画素値のビット数等を圧縮するADRC処理等のような圧縮処理を行ってから、クラス分類を行うのが好ましい。なお、クラス分類部５における圧縮処理としては、ADRC処理に限定されるものではなく、その他、例えば、ベクトル量子化等を用いることも可能である。
【００７４】
以上のように、クラス分類部５では、軸変換部４によってＸＹＸ軸上で表現された画素値で構成されるクラスタップに基づいて、クラス分類が行われるので、注目画素を効率的にクラス分けすることができる。
【００７５】
即ち、前述の図３と同様の図８（Ａ）に示すように、画像の輝度変化の大きい部分の複数の画素で構成されるクラスタップと、色変化の大きい部分の複数の画素で構成されるクラスタップとについては、ＲＧＢ空間では、その画素値の分布の形状が同一であっても、方向（拡がりの方向）が異なるために、異なるクラスに分類される。
【００７６】
しかしながら、クラスタップを軸変換した場合には、クラスタップを構成する画素値の分布の最も拡がりのある方向は、Ｘ軸方向を向き、そのＸ軸と直交し、２番目に拡がりのある方向は、Ｙ軸方向を向き、Ｘ軸およびＹ軸と直交し、３番目に拡がりのある方向は、Ｚ軸方向を向いている。
【００７７】
従って、ＲＧＢ空間において形状が同一の分布は、ＲＧＢ空間における方向がどの方向を向いていても、ＸＹＺ空間では、同一の分布として捉えることができる。
【００７８】
即ち、画像の輝度変化の大きい部分の複数の画素で構成されるクラスタップを構成する画素値の分布と、色変化の大きい部分の複数の画素で構成されるクラスタップを構成する画素値の分布とは、ＲＧＢ空間では、図８（Ａ）に示したように、形状が同一であっても、方向が異なる分布となるが、ＸＹＺ空間では、図８（Ｂ）に示すように、形状が同一であれば、方向も同一の分布となる。従って、ＸＹＺ空間においては、画像の輝度変化の大きい部分の複数の画素で構成されるクラスタップを構成する画素値の分布と、色変化の大きい部分の複数の画素で構成されるクラスタップを構成する画素値の分布とは、同一のクラスとすることができ、効率的なクラス分けを行うことができる。
【００７９】
さらに、クラス分類は、クラスタップを構成する画素値の分布具合に応じて、クラス分けを行う手法と捉えることができるが、ＸＹＺ空間では、分布の拡がり具合は、Ｘ軸方向に、最も集中する。従って、図７（Ｂ）で説明したように、Ｘ，Ｙ，Ｚ成分のうちのＸ成分だけを用いて、クラス分類を行っても、画素値の分布具合を正確に反映したクラス分けを行うことができる。
【００８０】
以上から、クラス分類部５では、少ないクラス数によっても、精度の良いクラス分けを行うことができる。
【００８１】
係数メモリ６は、後述するような学習処理が行われることにより得られるクラスごとのタップ係数を記憶している。そして、係数メモリ６は、クラス分類部５から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、画素値予測部７に供給する。
【００８２】
画素値予測部７は、軸変換部４から供給される予測タップ（軸変換後予測タップ）と、係数メモリ６から供給されるタップ係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、ＳＤ画像の解像度を向上させたＨＤ画像の予測値として、軸逆変換部８に出力する。
【００８３】
軸逆変換部８は、軸計算部３からの軸データとしての変換行列を受信し、その逆行列（逆変換行列）を求める。さらに、軸逆変換部８は、画素値予測部７からの画素値（ＨＤ画像の画素値の予測値）を、逆変換行列によって逆変換する。即ち、画素値予測部７が出力するＨＤ画像の画素値は、ＸＹＺ軸上で表現されたものとなっているため、軸逆変換部８は、そのＸＹＺ軸上で表現された画素値を、逆変換行列によって逆変換することにより、ＲＧＢ軸上で表現されたものに変換する。軸逆変換部８によって逆変換された画素値は、予測画像用メモリ９に供給される。
【００８４】
予測画像用メモリ９は、軸逆変換部８からのＨＤ画素の画素値を、そのＨＤ画素の位置に対応するアドレスに記憶し、例えば、１フレーム分の画素値を記憶すると、その１フレーム分の画素値で構成されるＨＤ画像（の予測値）を出力する。
【００８５】
次に、図９のフローチャートを参照して、図４の予測装置の処理（予測処理）について説明する。
【００８６】
ＲＧＢで表現される画素値を有するＳＤ画像が、フレーム（フィールド）単位で、入力画像用メモリ１に供給され、入力画像用メモリ１では、ステップＳ１において、そこに供給されるＳＤ画像が記憶され、ステップＳ２に進む。
【００８７】
ステップＳ２では、タップ構成部２が、入力画像用メモリ１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する画素のうち、例えば、ラスタスキャン順で、まだ注目画素としていない画素を、注目画素とする。さらに、タップ構成部２は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、入力画像用メモリ１のＳＤ画像から選択し、予測タップ、クラスタップ、および軸計算タップを構成する。タップ構成部２で得られた軸計算タップは、軸計算部３に、予測タップおよびクラスタップは、軸変換部４に、それぞれ供給される。
【００８８】
そして、ステップＳ３に進み、軸計算部３が、タップ構成部２から供給される軸計算タップ（を構成するＳＤ画素の画素値）に基づいて主成分分析を行うことにより、第１主成分の方向をＸ軸に、第２主成分の方向をＹ軸に、第３主成分の方向をＺ軸に、それぞれ設定する。さらに、軸計算部３は、ＲＧＢ軸で表現される画素値を、ＸＹＺ軸で表現される画素値に変換するための変換行列を求め、これを、軸データとして、軸変換部４および軸逆変換部８に供給する。
【００８９】
軸変換部４は、ステップＳ４において、タップ構成部２から供給される予測タップを構成するＳＤ画素の画素値を、軸計算部３からの軸データとしての変換行列によって軸変換することにより、ＸＹＺ軸上で表現される画素値とし、さらに、図６（Ｂ）に示したような軸変換後予測タップを構成して、画素値予測部７に供給する。さらに、軸変換部４は、ステップＳ４において、タップ構成部２から供給されるクラスタップを構成するＳＤ画素の画素値を、軸計算部３からの軸データとしての変換行列によって軸変換することにより、ＸＹＺ軸上で表現される画素値とし、そのような画素値で構成される軸変換後クラスタップを、クラス分類部５に供給する。
【００９０】
そして、ステップＳ５に進み、クラス分類部５は、軸変換部４から供給される軸変換後クラスタップに基づいて、図７（Ｂ）で説明したようなクラス分類を行うことにより、注目画素を、５１２クラスのうちのいずれかのクラスにクラス分けし、そのクラスに対応するクラスコードを、係数メモリ６に、アドレスとして供給する。これにより、係数メモリ６からは、そのクラスコードに対応するアドレスに記憶されているタップ係数が読み出され、画素値予測部７に供給される。
【００９１】
画素値予測部７は、ステップＳ６において、軸変換部４から供給される予測タップと、係数メモリ６から供給されるタップ係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、軸逆変換部８に供給して、ステップＳ７に進む。
【００９２】
ステップＳ７では、軸逆変換部８が、軸計算部３から供給される、注目画素について計算された軸データとしての変換行列に基づいて、逆変換行列を求め、その逆変換行列によって、画素値予測部７から供給されるＸＹＺ空間上の画素値を、ＲＧＢ空間上のものに逆変換する。このＲＧＢ空間上の画素値は、軸逆変換部８から予測画像用メモリ９に供給されて記憶される。
【００９３】
その後、ステップＳ８に進み、タップ構成部２は、入力画像用メモリ１に記憶された１フレーム分のＳＤ画像に対応するＨＤ画像を構成するＨＤ画素すべてを注目画素として処理を行ったかどうかを判定する。ステップＳ８において、入力画像用メモリ１に記憶された１フレーム分のＳＤ画像に対応するＨＤ画像を構成するＨＤ画素のうち、まだ注目画素としていないものがあると判定された場合、ステップＳ２に戻り、ラスタスキャン順で、まだ注目画素としていないＨＤ画素を、新たな注目画素として、以下、同様の処理が繰り返される。
【００９４】
また、ステップＳ８において、入力画像用メモリ１に記憶された１フレーム分のＳＤ画像に対応するＨＤ画像を構成するＨＤ画素すべてを、注目画素としたと判定された場合、即ち、予測画像用メモリ９に、入力画像用メモリ１に記憶された１フレームのＳＤ画像の画質を向上させたＨＤ画像が記憶された場合、ステップＳ９に進み、予測画像用メモリ９は、その１フレームのＨＤ画像を読み出して出力し、処理を終了する。
【００９５】
なお、図９の予測処理は、図４の予測装置に、１フレームのＳＤ画像が供給されるごとに、その１フレームのＳＤ画像について行われる。
【００９６】
次に、図１０は、図４の係数メモリ６に記憶されているクラスごとのタップ係数を求める学習処理を行う学習装置としてのデータ処理装置の一実施の形態の構成例を示している。
【００９７】
教師画像用メモリ１１には、教師データとしてのＨＤ画像（以下、適宜、教師画像という）が、例えば、フレーム（またはフィールド）単位で供給され、教師画像用メモリ１１は、そこに供給される教師画像を順次記憶する。
【００９８】
生徒画像用メモリ１２には、生徒データとしてのＳＤ画像（以下、適宜、生徒画像という）が、例えば、フレーム（フィールド）単位で供給され、生徒画像用メモリ１２は、そこに供給される生徒画像を順次記憶する。
【００９９】
なお、図４の予測装置において、例えば、前述の図１に示したように、ＳＤ画像の解像度を、その横および縦のいずれの方向についても２倍にしたＨＤ画像を得る場合には、生徒画像は、教師画像の横および縦の画素数を、いずれも１／２に間引いて生成される。
【０１００】
タップ構成部１３は、教師画像用メモリ１１に記憶された教師画像としてのＨＤ画像を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、生徒画像用メモリ１２に記憶された生徒画像としてのＳＤ画像から選択することによって、図４のタップ構成部２と同一の軸計算タップ、予測タップ、およびクラスタップを構成する。軸計算タップは、軸計算部１４に供給され、予測タップおよびクラスタップは、軸変換部１５に供給される。
【０１０１】
軸計算部１４は、タップ構成部１３からの軸計算タップに基づいて、図４の軸計算部３における場合と同様にして、ＲＧＢ軸をＸＹＺ軸に変換するための軸データとしての変換行列を求め、軸変換部１５に供給する。
【０１０２】
軸変換部１５は、タップ構成部１３から供給される予測タップとクラスタップを、軸計算部１４から供給される軸データとしての変換行列にしたがってそれぞれ変換することにより、図４の軸変換部４における場合と同一の軸変換後予測タップと軸変換後クラスタップをそれぞれ構成する。そして、軸変換部１５は、軸変換後予測タップを、正規方程式生成部１７に供給し、軸変換後クラスタップを、クラス分類部１６に供給する。
【０１０３】
さらに、軸変換部１５は、注目画素となっているＨＤ画素の画素値を、教師画像用メモリ１１から読み出し、その画素値を、軸計算部１４から供給される軸データとしての変換行列にしたがって変換することにより、ＲＧＢ軸で表現される値から、ＸＹＺ軸で表現される値に変換して、正規方程式生成部１７に供給する。
【０１０４】
クラス分類部１６は、軸変換部１５からの軸変換後クラスタップに基づいて、図４のクラス分類部５と同様の処理を行うことで、注目画素をクラス分類し、その結果得られるクラスコードを、正規方程式生成部１７に供給する。
【０１０５】
正規方程式生成部１７は、軸変換部１５から供給される、ＸＹＺ軸上で表現された教師画像を構成するＨＤ画素（教師画素）と、同じく軸変換部１５から供給される軸変換後予測タップ（を構成する生徒画像のＳＤ画素（生徒画素））とを対象とした足し込みを、クラス分類部１６から供給されるクラスコードごとに行う。
【０１０６】
即ち、正規方程式生成部１７は、クラス分類部１６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒画素どうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１０７】
さらに、正規方程式生成部１７は、やはり、クラス分類部１６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）および注目画素（教師画素）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒画素と注目画素（教師画素）の乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１０８】
正規方程式生成部１７は、以上の足し込みを、教師画像用メモリ１１に記憶された教師画素すべてを、注目画素として行い、これにより、クラスごとに、式（８）に示した正規方程式をたてる。
【０１０９】
係数計算部１８は、正規方程式生成部１７においてクラスごとに生成された正規方程式を解くことにより、クラスごとのタップ係数を求める。
【０１１０】
なお、教師画像として用意する画像の数（フレーム数）や、その画像の内容等によっては、正規方程式生成部１７において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、係数計算部１８は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０１１１】
次に、図１１のフローチャートを参照して、図１０の学習装置の処理（学習処理）について説明する。
【０１１２】
ＲＧＢで表現される画素値を有する教師画像としてのＨＤ画像が、フレーム（フィールド）単位で、教師画像用メモリ１１に順次供給されるとともに、その教師画像から生成された生徒画像としてのＳＤ画像が、フレーム（フィールド）単位で、生徒画像用メモリ１２に順次供給され、ステップＳ１１では、教師画像用メモリ１１が、そこに供給される教師画像を順次記憶するとともに、生徒画像用メモリ１２が、そこに供給される生徒画像を順次記憶し、ステップＳ１２に進む。
【０１１３】
ステップＳ１２では、タップ構成部１３が、教師画像用メモリ１１に記憶され教師画像を構成する教師画素のうち、例えば、ラスタスキャン順で、まだ注目画素としていない画素を、注目画素とする。さらに、タップ構成部１３は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、生徒画像用メモリ１２の生徒画像を構成する生徒画素から選択し、予測タップ、クラスタップ、および軸計算タップを構成する。タップ構成部１３で得られた軸計算タップは、軸計算部１４に、予測タップおよびクラスタップは、軸変換部１５に、それぞれ供給される。
【０１１４】
そして、ステップＳ１３に進み、軸計算部１４が、タップ構成部１３から供給される軸計算タップ（を構成する生徒画素の画素値）に基づいて主成分分析を行うことにより、第１主成分の方向をＸ軸に、第２主成分の方向をＹ軸に、第３主成分の方向をＺ軸に、それぞれ設定する。さらに、軸計算部１４は、ＲＧＢ軸で表現される画素値を、ＸＹＺ軸で表現される画素値に変換するための変換行列を求め、これを、軸データとして、軸変換部１５に供給する。
【０１１５】
軸変換部１５は、ステップＳ１４において、タップ構成部１３から供給される予測タップを構成する生徒画素の画素値を、軸計算部１４からの軸データとしての変換行列によって軸変換することにより、ＸＹＺ軸上で表現される画素値とし、さらに、図６（Ｂ）に示したような軸変換後予測タップを構成して、正規方程式生成部１７に供給する。さらに、軸変換部１５は、ステップＳ１４において、タップ構成部１３から供給されるクラスタップを構成する生徒画素の画素値を、軸計算部１４からの軸データとしての変換行列によって軸変換することにより、ＸＹＺ軸上で表現される画素値とし、そのような画素値で構成される軸変換後クラスタップを、クラス分類部１６に供給する。また、軸変換部１５は、注目画素となっている教師画素の画素値を、教師画像用メモリ１１から読み出し、その画素値を、軸計算部１４から供給される軸データとしての変換行列にしたがって変換することにより、ＲＧＢ軸で表現される値から、ＸＹＺ軸で表現される値に変換して、正規方程式生成部１７に供給する。
【０１１６】
そして、ステップＳ５に進み、クラス分類部１６は、軸変換部１５から供給される軸変換後クラスタップに基づいて、図７（Ｂ）で説明したようなクラス分類を行うことにより、注目画素を、５１２クラスのうちのいずれかのクラスにクラス分けし、そのクラスに対応するクラスコードを、正規方程式生成部１７に供給し、ステップＳ１６に進む。
【０１１７】
ステップＳ１６では、正規方程式生成部１７は、式（８）に示した正規方程式をたてる。即ち、正規方程式生成部１７は、軸変換部１５からの予測タップ（を構成する生徒画素）と、同じく軸変換部１５からの注目画素（教師画素）を対象として、式（８）の行列Ａとベクトルｖの、上述したような足し込みを、クラス分類部１６からのクラスコードごとに行う。
【０１１８】
そして、ステップＳ１７に進み、教師画像用メモリ１１に記憶された教師画像を構成する教師画素すべてを注目画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、ステップＳ１２に戻る。この場合、まだ、注目画素されていない教師画素のうちの１つが、新たに注目画素とされ、以下、同様の処理が繰り返される。
【０１１９】
また、ステップＳ１７において、教師画素すべてを注目画素として、足し込みを行ったと判定された場合、ステップＳ１８に進み、係数計算部１８は、その足しこみによってクラスごとに生成された正規方程式を解くことにより、クラスごとのタップ係数を求める。そして、ステップＳ１９に進み、係数計算部１８は、上述のようにして、クラスごとに求めたタップ係数を出力し、処理を終了する。
【０１２０】
次に、図１２は、ＲＧＢ軸上で表現された画素値をそのまま用いて、予測処理を行った場合に得られる予測画像と、図４の予測装置において予測処理を行った場合、即ち、ＲＧＢ軸上で表現された画素値をＸＹＺ軸上で表現された画素値に変換して、予測処理を行った場合に得られる予測画像のＳＮＲ(Signal to Noise Ratio)を計測したシミュレーション結果を示している。
【０１２１】
なお、ＸＹＺ軸上で表現された画素値を用いた予測処理では、予測タップは、図６（Ｂ）に示したように、２９画素のＸ成分、９画素のＹ成分、および１画素のＺ成分の合計で３９タップで構成し、クラス分類におけるクラス数は、図７で説明したように、５１２クラスとした。一方、ＲＧＢ軸上で表現された画素値を用いた予測処理では、予測タップは、１３画素のＲ，Ｇ，Ｂ成分である３９タップで構成し、クラス分類におけるクラス数は、５１２クラスとした。
【０１２２】
従って、ＲＧＢ軸上で表現された画素値を用いた予測処理と、ＸＹＺ軸上で表現された画素値を用いた予測処理のシミュレーションにおいて、予測タップを構成するタップ数、およびクラス数は、いずれも同一である。
【０１２３】
しかしながら、図１２のシミュレーション結果から明らかなように、ＸＹＺ軸上で表現された画素値を用いた予測処理による方は、クラス分けが精度良く行われている結果、ＲＧＢ軸上で表現された画素値を用いた予測処理よりも、ＳＮＲの高いＨＤ画像を得ることができている。
【０１２４】
なお、図１２は、６種類の異なる画像Ａ，Ｂ，Ｃ，Ｄ，Ｅ，ＦそれぞれのＳＮＲを示している。また、図１２に示した値の単位は、ｄＢである。
【０１２５】
次に、図１３は、本発明を適用した伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【０１２６】
この画像伝送システムは、送信装置２１および受信装置２２で構成されており、送信装置２１は、符号化対象としての、例えば、画像を符号化して符号化データを出力し、受信装置２２は、その符号化データを、元の画像に復号する。
【０１２７】
即ち、送信装置２１は、符号化対象の画像の予測値としての予測画像を求め、その予測画像の、元の画像に対する予測誤差を求める。そして、この予測誤差は、符号化データとして、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体２３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体２４を介して伝送され、受信装置２２に提供される。
【０１２８】
受信装置２２は、記録媒体２３または伝送媒体２４を介して提供される符号化データを受信する。そして、受信装置２２は、その符号化データを、元の画像に復号し、例えば、図示せぬモニタに供給して表示させる。
【０１２９】
次に、図１４は、図１３の送信装置２１の構成例を示している。
【０１３０】
符号化対象の画像は、例えば、ＲＧＢ空間で表現されるもので、フレームメモリ３１に順次供給されるようになっている。そして、フレームメモリ３１は、そこに供給される画像を順次記憶する。
【０１３１】
予測部３２は、フレームメモリ３１に記憶された画像のフレームを、順次、注目フレームとし、さらに、注目フレームを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として、その画素値のＸＹＺ空間における予測値を求める。
【０１３２】
即ち、予測部３２は、軸計算部４１、軸変換部４２、および重み付け平均部４３から構成されている。
【０１３３】
軸計算部４１は、注目画素の位置から空間的または時間的に近い位置にある画素であって、既に、注目画素として処理された幾つかの画素を、フレームメモリ３１から選択し、軸計算タップとする。さらに、軸計算部４１は、その軸計算タップに基づいて、図４の軸計算部３における場合と同様に、ＲＧＢ軸上で表現される画素値を、ＸＹＺ空間上で表現されるものに変換するための変換行列を求め、軸データとして、軸変換部４２に供給する。
【０１３４】
軸変換部４２は、フレームメモリ３１から注目画素の位置から空間的または時間的に近い位置にある画素であって、既に、注目画素として処理された幾つかの画素を、フレームメモリ３１から選択し、その選択した画素（以下、適宜、選択画素という）の画素値を、軸計算部４１からの軸データとしての変換行列にしたがって変換する。即ち、軸変換部４２は、ＲＧＢ軸上で表現される選択画素の画素値を、ＸＹＺ軸上で表現されるものに変換する。この変換後の選択画素は、軸変換部４２から重み付け平均部４３に供給される。
【０１３５】
重み付け平均部４３は、軸変換部４２から供給される複数の選択画素の画素値の重み付け平均値を計算し、その重み付け平均値を、注目画素の画素値の予測値として、予測誤差算出部３３に供給する。即ち、重み付け平均部４３は、例えば、複数の選択画素それぞれに対して、注目画素からの距離の逆数に比例する重みを付し、その平均値を演算する。そして、重み付け平均部４３は、その平均値を、注目画素の画素値の予測値として、予測誤差算出部３３に供給する。
【０１３６】
なお、ここでは、注目画素の周辺に位置する複数の画素の重み付け平均値を、その注目画素の予測値とするようにしたが、その他、例えば、簡易的には、注目画素の左や上に隣接する画素の画素値（但し、ＸＹＺ軸上で表現される画素値）を、そのまま予測値として用いるようにすることも可能である。
【０１３７】
予測誤差算出部３３は、ＸＹＺ空間において、予測部３２からの予測値の、注目画素の画素値（真値）に対する予測誤差を求める。
【０１３８】
即ち、予測誤差算出部３３は、軸計算部５１、軸変換部５２、および誤差計算部５３から構成されている。
【０１３９】
軸計算部５１は、軸計算部４１と同様にして、軸データとしての変換行列を求め、軸変換部５２に供給する。軸変換部５２は、フレームメモリ３１から注目画素を読み出し、その画素値を、軸計算部５１からの軸データとしての変換行列にしたがって変換する。即ち、軸変換部５２は、ＲＧＢ軸上で表現される注目画素の画素値を、ＸＹＺ軸上で表現されるものに変換する。この変換後の注目画素は、軸変換部５２から誤差計算部５３に供給される。
【０１４０】
誤差計算部５３は、予測部３２から供給される予測値から、軸変換部５２から供給される注目画素の真値を減算することにより、ＸＹＺ空間における予測誤差を求め、フレームメモリ３４に供給する。
【０１４１】
フレームメモリ３４は、予測誤差算出部３３から供給される注目画素についての予測誤差を、その注目画素の位置に対応するアドレスに記憶する。
【０１４２】
エントロピー符号化部３５は、例えば、フレームメモリ３４から、１フレームの予測誤差を読み出し、その１フレームの予測誤差を、ハフマン符号化等のエントロピー符号化する。そして、エントロピー符号化部３５は、その結果得られる符号化データを出力する。
【０１４３】
なお、予測部３２を構成する軸計算部４１と、予測誤差算出部３３を構成する軸計算部５１とは、いずれか一方によって兼用するようにすることが可能である。同様に、予測部３２を構成する軸変換部４２と、予測語算出部３３を構成する軸変換部５２も、いずれか一方によって兼用するようにすることが可能である。
【０１４４】
次に、図１５のフローチャートを参照して、図１４の送信装置２１の処理（符号化処理）について説明する。
【０１４５】
符号化対象の画像は、ステップＳ２１において、フレームメモリ３１に供給されて記憶され、ステップＳ２２に進む。
【０１４６】
ステップＳ２２では、軸計算部４１および５１が、フレームメモリ３１に記憶された画像のフレームを、注目フレームとし、さらに、注目フレームを構成する画素のうちの、ラスタスキャン順で、まだ注目画素とされていないものを、注目画素とし、その注目画素についての軸計算タップを、フレームメモリ３１から所定の画素を読み出すことで構成する。そして、ステップＳ２３に進み、軸計算部４１および５１は、軸計算タップに基づいて、ＲＧＢ軸上で表現される画素値を、ＸＹＺ空間上で表現されるものに変換するための変換行列を求める。軸計算部４１は、軸データを、軸変換部４２に供給し、軸計算部５１は、軸データを、軸変換部５２に供給して、ステップＳ２４に進む。
【０１４７】
ステップＳ２４では、軸変換部４２は、注目画素の位置から空間的または時間的に近い位置にある画素であって、既に、注目画素として処理された幾つかの画素を、フレームメモリ３１から選択し、その複数の選択画素の画素値を、軸計算部４１からの軸データとしての変換行列にしたがって変換する。そして、軸変換部４２は、その変換によって得られる、ＸＹＺ軸上で表現される選択画素の画素値を、重み付け平均部４３に供給する。
【０１４８】
さらに、ステップＳ２４では、軸変換部５２が、フレームメモリ３１から注目画素を読み出し、その画素値を、軸計算部５１からの軸データとしての変換行列にしたがって変換する。そして、軸変換部５２は、その変換によって得られる、、ＸＹＺ軸上で表現される注目画素の画素値を、誤差計算部５３に供給する。
【０１４９】
その後、ステップＳ２５に進み、重み付け平均部４３は、軸変換部４２から供給される複数の選択画素の画素値の重み付け平均値を計算し、その重み付け平均値を、注目画素の画素値の予測値として、予測誤差算出部３３の誤差計算部５３に供給して、ステップＳ２６に進む。
【０１５０】
ステップＳ２６では、誤差計算部５３が、予測部３２の重み付け平均部４３から供給される予測値から、軸変換部５２から供給される注目画素の真値を減算することにより、ＸＹＺ空間における予測誤差を求める。この予測誤差は、誤差計算部５３からフレームメモリ３４に供給され、注目画素の位置に対応するアドレスに記憶される。
【０１５１】
そして、ステップＳ２７に進み、軸計算部４１および５１は、注目フレームを構成する画素すべてを注目画素として処理を行ったかどうかを判定する。ステップＳ２７において、注目フレームを構成する画素のうち、まだ注目画素としていないものがあると判定された場合、ステップＳ２２に戻り、ラスタスキャン順で、まだ注目画素としていないものを、新たな注目画素として、以下、同様の処理が繰り返される。
【０１５２】
また、ステップＳ２７において、注目フレームを構成する画素すべてを、注目画素としたと判定された場合、即ち、フレームメモリ３４に、１フレーム分の予測誤差が記憶された場合、ステップＳ２８に進み、エントロピー符号化部３５は、フレームメモリ３４から、その１フレーム分の予測誤差を読み出して、エントロピー符号化し、その結果得られる符号化データを出力して、処理を終了する。
【０１５３】
なお、図１５の符号化処理は、送信装置２１に、１フレームの画像が供給されるごとに、その１フレームの画像を、注目フレームとして行われる。
【０１５４】
次に、図１６は、図１３の受信装置２２の構成例を示している。
【０１５５】
送信装置２１からの符号化データは、エントロピー復号部６１で受信されるようになっており、エントロピー復号部６１は、受信した符号化データをエントロピー復号し、その結果得られる予測誤差で構成される画像（以下、適宜、誤差画像という）を、フレームメモリ６２に供給する。
【０１５６】
フレームメモリ６２は、エントロピー復号部６１から供給される誤差画像を、例えば、フレーム（フィールド）単位で記憶する。
【０１５７】
復号部６３は、フレームメモリ６２に記憶された誤差画像のフレームを、順次、注目フレームとするとともに、その注目フレームを構成する画素を、送信装置２１における場合と同様に、ラスタスキャン順で、順次、注目画素として、その注目画素を復号する。
【０１５８】
即ち、復号部６３は、加算部７１、軸計算部７２、および軸逆変換部７３で構成される。
【０１５９】
加算部７１は、予測部６５から供給される、ＸＹＺ軸上で表現される注目画素の予測値と、フレームメモリ６２に記憶された注目画素の予測誤差とを加算することで、ＸＹＺ軸上で表現される注目画素の画素値を復号し、軸逆変換部７３に供給する。
【０１６０】
軸計算部７２は、注目画素について、既に復号され、フレームメモリ６４に記憶された画素から、図１４の軸計算部４１（５１）における場合と同一の画素を選択し、軸計算タップとする。さらに、軸計算部７２は、その軸計算タップに基づいて、図１４の軸計算部４１における場合と同様に、ＲＧＢ軸上で表現される画素値を、ＸＹＺ空間上で表現されるものに変換するための変換行列を求め、さらに、その逆行列（逆変換行列）を求めて、軸逆変換部７３に供給する。
【０１６１】
軸逆変換部７３は、加算部７１からの画素値を、軸計算部７２からの逆変換行列にしたがって変換する。即ち、加算部７１が出力する注目画素の復号値は、ＸＹＺ軸上で表現されたものとなっているため、軸逆変換部７３は、そのＸＹＺ軸上で表現された画素値を、逆変換行列によって逆変換することにより、ＲＧＢ軸上で表現されたものに変換する。軸逆変換部７３における逆変換の結果得られる注目画素の復号値は、フレームメモリ６４に供給される。
【０１６２】
フレームメモリ６４は、復号部６３の軸逆変換部７３から供給される注目画素の復号値を、その注目画素の位置に対応するアドレスに記憶する。
【０１６３】
予測部６５は、フレームメモリ６４に記憶された、既に復号された画素値に基づいて、注目画素の予測値であって、ＸＹＺ軸上で表現されるものを求め、復号部６３の加算部７１に供給する。
【０１６４】
即ち、予測部６５は、軸計算部８１、軸変換部８２、および重み付け平均部８３で構成されており、この軸計算部８１、軸変換部８２、または重み付け平均部８３は、図１４の予測部３２を構成する軸計算部４１、軸変換部４２、または重み付け平均部４３と、それぞれ同様に構成されている。従って、予測部６５は、フレームメモリ６４に記憶された、既に復号された画素値を用いて、図１４の予測部３２と同様の処理を行うことで、ＸＹＺ軸上で表現される注目画素の予測値を求め、復号部６３の加算部７１に供給する。
【０１６５】
次に、図１７のフローチャートを参照して、図１６の受信装置２２の処理（復号処理）について説明する。
【０１６６】
エントロピー復号部６１は、符号化データを受信し、ステップＳ３１において、その受信した符号化データをエントロピー復号する。このエントロピー復号の結果得られる誤差画像は、ステップＳ３２において、エントロピー復号部６１からフレームメモリ６２に供給されて記憶される。
【０１６７】
そして、軸計算部７２および８１は、フレームメモリ６２に記憶された誤差画像のフレームを注目フレームとし、その注目フレームの誤差画像を構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものを、注目画素とする。さらに、軸計算部７２および８１は、ステップＳ３３において、注目画素について、既に復号され、フレームメモリ６４に記憶された画素から、図１４の軸計算部４１（５１）における場合と同一の画素を選択し、軸計算タップを構成する。そして、ステップＳ３４に進み、軸計算部７２は、その軸計算タップに基づいて、図１４の軸計算部４１における場合と同様にして、ＲＧＢ軸上で表現される画素値を、ＸＹＺ空間上で表現されるものに変換するための変換行列を求め、さらに、その逆行列（逆変換行列）を求めて、軸逆変換部７３に供給する。また、ステップＳ３４では、軸計算部８１が、軸計算部７２と同様にして、変換行列を求め、軸変換部８２に供給する。
【０１６８】
軸変換部８２は、ステップＳ３５において、フレームメモリ６４に記憶された、既に復号された画素値から、図１４の軸変換部４２が、注目画素について選択するのと同一の位置関係にある画素（選択画素）の画素値を選択し、その選択画素の画素値を、軸計算部８１からの軸データとしての変換行列にしたがって変換する。即ち、軸変換部８２は、ＲＧＢ軸上で表現される選択画素の画素値を、ＸＹＺ軸上で表現されるものに変換し、重み付け平均部８３に供給する。
【０１６９】
重み付け平均部８３は、ステップＳ３６において、軸変換部８２から供給される複数の選択画素の画素値の重み付け平均値を、図１４の重み付け平均部４３における場合と同様にして計算し、その重み付け平均値を、注目画素の画素値の予測値として、復号部６３の加算部７１に供給する。
【０１７０】
加算部７１は、ステップＳ３７において、予測部６５の重み付け平均部８３から供給される、ＸＹＺ軸上で表現される注目画素の予測値と、フレームメモリ６２に記憶された注目画素の予測値とを加算することで、ＸＹＺ軸上で表現される注目画素の画素値を復号し、軸逆変換部７３に供給する。
【０１７１】
軸逆変換部７３は、ステップＳ３８において、加算部７１からの画素値を、軸計算部７２からの逆変換行列にしたがって変換することにより、ＸＹＺ軸上で表現された注目画素の画素値を、ＲＧＢ軸上で表現されたものに変換する。軸逆変換部７３における逆変換の結果得られる注目画素の復号値は、フレームメモリ６４に供給され、注目画素の位置に対応するアドレスに記憶される。
【０１７２】
そして、ステップＳ３９に進み、加算部７１は、注目フレームを構成する画素すべてを注目画素として処理を行ったかどうかを判定する。ステップＳ３９において、注目フレームを構成する画素のうち、まだ注目画素としていないものがあると判定された場合、ステップＳ３３に戻り、ラスタスキャン順で、まだ注目画素としていないものを、新たな注目画素として、以下、同様の処理が繰り返される。
【０１７３】
また、ステップＳ３９において、注目フレームを構成する画素すべてを、注目画素としたと判定された場合、即ち、フレームメモリ６４に、１フレーム分の復号画素が記憶された場合、その１フレームの復号画素で構成される画像（復号画像）が、フレームメモリ６４から出力され、処理を終了する。
【０１７４】
なお、図１７の復号処理は、フレームメモリ６２に、１フレームの誤差画像が記憶されるごとに、その１フレームの誤差画像のフレームを、注目フレームとして行われる。
【０１７５】
次に、上述の場合においては、注目画素の周辺の画素の重み付け平均値を、注目画素の予測値とするようにしたが、予測値は、クラス分類適応処理によって求めることも可能である。
【０１７６】
即ち、図１４の送信装置２１における予測部３２、および図１６の受信装置２２における予測部６５は、図４の予測装置で構成することが可能である。なお、図４の予測装置によって、予測部３２および６５を構成する場合には、予測装置を構成する軸逆変換部８と、予測画像用メモリ９は不要である。また、上述の場合には、図４の予測装置では、ＨＤ画像を構成する画素の予測値を求めるようになっていたが、予測部３２や６５として使用する場合には、符号化しようとする画素の予測値を求めることとなる。従って、この場合、図４の予測装置の係数メモリ６に記憶させるタップ係数は、図１０の学習装置において、同一の画像を、教師画像および生徒画像とするとともに、軸変換部４２（８２）で選択画素とされる画素を予測タップとして学習処理を行うことにより求める必要がある。また、図４の予測装置では、タップ構成部２において、軸変換部４２（８２）で選択される画素を、予測タップとして選択させる必要がある。
【０１７７】
次に、図１８は、ＲＧＢ軸で表現される画素値をそのまま用いて予測値を求め、その予測値の予測誤差をエントロピー符号化した場合（図１８において、「ＲＧＢ軸」と示す）と、ＲＧＢ軸で表現される画素値をＸＹＺ軸上で表現されるものに変換してから予測値を求め、その予測値の予測誤差をエントロピー符号化した場合（図１８において、「主成分軸」と示す）との圧縮率を、予測方式を変えて求めた、２種類の画像ＡとＢについてのシミュレーション結果を示している。
【０１７８】
なお、予測方式としては、注目画素の上に隣接する画素の画素値を予測値とする方式（図１８において、「垂直」と示す）、注目画素の左に隣接する画素の画素値を予測値とする方式（図１８において、「水平」と示す）、およびクラス分類適応処理によって予測値を求める方式（図１８において、「クラス分類適応予測」と示す）の３方式を用いた。
【０１７９】
また、クラス分類適応処理では、ＲＧＢ軸で表現される画素値をそのまま用いて予測値を求める場合には、クラスタップは、図１９（Ａ）に示すような、注目画素（図中、×印を付してある○印）の周辺にある８画素のＲ，Ｇ，Ｂ成分の合計２４値から構成し、さらに、クラス分類は、８画素のＲ，Ｇ，Ｂ成分すべてを対象に、ダイナミックレンジDRを求め、その後、その８画素のうちの、注目画素の上、左、左上にそれぞれ隣接する３画素のＲ，Ｇ，Ｂ成分の合計９値を、DR/2で量子化することにより行った。従って、この場合、全クラス数は、５１２（＝２9）クラスである。また、予測タップは、図１９（Ｂ）に示すような、注目画素（図中、×印を付してある○印）の周辺の８画素のＲ，Ｇ，Ｂ成分の合計２４値から構成した。
【０１８０】
一方、クラス分類適応処理において、ＲＧＢ軸で表現される画素値をＸＹＺ軸で表現される画素値に変換してから予測値を求める場合には、クラスタップは、図１９（Ａ）における場合と同様に、８画素から構成し、さらに、クラス分類は、図２０（Ａ）に示すように、その８画素のＸ成分のみに、１ビットADRC処理を施すことにより行った。従って、この場合、全クラス数は、２５６（＝２8）クラスであり、ＲＧＢ軸で表現される画素値をそのまま用いて予測値を求める場合のクラス数である５１２クラスよりも少ない。また、予測タップは、図２０（Ｂ）に示すような、注目画素（図中、×印を付してある○印）の周辺の８画素のＸ，Ｙ，Ｚ成分の合計２４値から構成した。
【０１８１】
図１８のシミュレーション結果から、注目画素に隣接する画素の画素値を、そのまま、注目画素の予測値とするよりは、クラス分類適応処理によって予測値を求めた方が、圧縮率が高くなることが分かる。さらに、ＲＧＢ軸で表現される画素値を用いるよりも、その画素値を、ＸＹＺ軸で表現したものを用いた方が、圧縮率が高くなることが分かる。
【０１８２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８３】
そこで、図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０１８５】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１８７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述した図９や、図１１、図１５、図１７のフローチャートにしたがった処理、あるいは上述した図４、図１０、図１３、図１４、図１６のブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１８８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１８９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１９０】
なお、予測タップ、クラスタップ、および軸計算タップの構成パターンは、上述したパターンに限定されるものではない。
【０１９１】
また、本実施の形態では、軸計算タップを構成する画素の分布の方向を、主成分分析によって求め、その主成分の方向を新たな軸とするようにしたが、その他、例えば、軸計算タップを構成する画素のうちの任意の２画素間の距離を計算し、その距離を最も長くする２画素によって決まる方向を、分布の拡がりが最も大きい方向として、近似的に、軸計算タップを構成する画素の分布の方向を求め、その方向に基づいて、新たな軸を設定するようにすることが可能である。
【０１９２】
さらに、本実施の形態では、タップ係数を用いた線形１次予測演算によって、予測値を求めるようにしたが、予測値は、その他、２次以上の高次の予測演算によって求めることも可能である。
【０１９３】
また、本実施の形態では、画像データを処理の対象としたが、その他、例えば、音声データ等を処理の対象とすることも可能である。
【０１９４】
さらに、図４の実施の形態では、クラスごとのタップ係数を、係数メモリ６に、あらかじめ記憶させておくようにしたが、タップ係数は、その他、例えば、処理するＳＤ画像とともに、あるいは別に、外部から供給するようにすることが可能である。
【０１９５】
また、本実施の形態では、Ｒ，Ｇ，Ｂ値からなる画素を対象としたが、本発明は、その他の色空間で表現される画像にも適用可能である。
【０１９６】
【発明の効果】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸が求められる。さらに、注目データをクラス分類するのに用いる複数のデータとしてのクラスタップが構成され、そのクラスタップとしての複数のデータが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、クラス分類が行われる。従って、効率的に、クラス分けを行うことが可能となる。
【０１９７】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸を求められる。さらに、予測対象の第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップが構成されるとともに、注目データを予測するのに用いる複数の第１のデータとしての予測タップが構成され、クラスタップとしての複数の第１のデータと、予測タップとしての複数の第１のデータが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、注目データについてのクラス分類が行われ、新たな軸上で表現される予測タップを用い、注目データのクラスに対応する予測方法に基づいて、注目データの予測値であって、新たな軸上で表現されるものが求められる。従って、効率的なクラス分けが行われ、その結果、精度の良い予測値を求めることが可能となる。
【０１９８】
本発明の第３のデータ処理装置およびデータ処理方法、並びに記録媒体においては、第１と第２のデータを、それぞれ生徒データと教師データとして、生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップが構成され、その軸計算タップに基づいて、新たな軸が求められる。さらに、注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップが構成されるとともに、注目教師データを予測するのに用いる複数の生徒データとしての予測タップが構成され、教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データが、新たな軸上で表現されるデータに変換される。そして、新たな軸上で表現されるクラスタップに基づいて、注目教師データについてのクラス分類が行われ、新たな軸上で表現される教師データと予測タップを用い、第２のデータを予測する予測方法が、クラスごとに学習される。従って、効率的な学習が可能となる。
【図面の簡単な説明】
【図１】ＳＤ画素とＨＤ画素とを示す図である。
【図２】クラス分類適応処理を説明する図である。
【図３】ＲＧＢ空間における画素値の分布を示す図である。
【図４】本発明を適用した予測装置の一実施の形態の構成例を示すブロック図である。
【図５】軸計算タップを示す図である。
【図６】予測タップを示す図である。
【図７】クラスタップを示す図である。
【図８】ＲＧＢ空間では異なるクラスとされる分布が、ＸＹＺ空間では同一のクラスとされることを示す図である。
【図９】予測装置による予測処理を説明するフローチャートである。
【図１０】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図１１】学習装置による学習処理を説明するフローチャートである。
【図１２】本件発明者によるシミュレーション結果を示す図である。
【図１３】本発明を適用した伝送システムの一実施の形態の構成例を示す図である。
【図１４】送信装置２１の構成例を示すブロック図である。
【図１５】送信装置２１による符号化処理を説明するフローチャートである。
【図１６】受信装置２２の構成例を示すブロック図である。
【図１７】受信装置２２による復号処理を説明するフローチャートである。
【図１８】本件発明者によるシミュレーション結果を示す図である。
【図１９】シミュレーションに用いたクラスタップおよび予測タップ、並びにクラス分類の方法を説明する図である。
【図２０】シミュレーションに用いたクラスタップおよび予測タップ、並びにクラス分類方法を説明する図である。
【図２１】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 入力画像用メモリ， ２ タップ構成部， ３ 軸計算部， ４ 軸変換部， ５ クラス分類部， ６ 係数メモリ， ７ 画素値予測部， ８ 軸逆変換部， ９ 予測画像用メモリ， １１ 教師画像用メモリ， １２ 生徒画像用メモリ， １３ タップ構成部， １４ 軸計算部， １５ 軸変換部， １６ クラス分類部， １７ 正規方程式生成部， １８ 係数計算部， ２１送信装置， ２２ 受信装置， ２３ 記録媒体， ２４ 伝送媒体， ３１フレームメモリ， ３２ 予測部， ３３ 予測誤差算出部， ３４ フレームメモリ， ３５ エントロピー符号化部， ４１ 軸計算部， ４２ 軸変換部， ４３ 重み付け平均部， ５１ 軸計算部， ５２ 軸変換部， ５３ 誤差計算部， ６１ エントロピー復号部， ６２ フレームメモリ， ６３ 復号部， ６４ フレームメモリ， ６５ 予測部， ７１ 加算部， ７２ 軸計算部， ７３ 軸逆変換部， ８１ 軸計算部， ８２ 軸変換部， ８３重み付け平均部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
Claims (29)
- データを、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うデータ処理装置であって、
前記データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップを構成する軸計算タップ構成手段と、
前記軸計算タップに基づいて、前記新たな軸を求める軸計算手段と、
注目している注目データをクラス分類するのに用いる複数のデータとしてのクラスタップを構成するクラスタップ構成手段と、
前記クラスタップとしての複数のデータを、前記新たな軸上で表現されるデータに変換するデータ変換手段と、
前記新たな軸上で表現されるクラスタップに基づいて、前記注目データについてのクラス分類を行うクラス分類手段と
を備えることを特徴とするデータ処理装置。 - 前記軸計算手段は、前記軸計算タップとしての複数のデータを主成分分析し、その主成分分析結果に基づいて、前記新たな軸を求める
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記軸計算手段は、前記軸計算タップとしての複数のデータのうちの任意の２つのデータどうしの間の距離を計算し、その距離に基づいて、前記新たな軸を求める
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記データは、画像データである
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記軸計算タップ構成手段またはクラスタップ構成手段は、前記注目データに対応する画素の周辺に位置する画素のデータを、前記軸計算タップまたはクラスタップとする
ことを特徴とする請求項４に記載のデータ処理装置。 - データを、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うデータ処理方法であって、
前記データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、
前記軸計算タップに基づいて、前記新たな軸を求める軸計算ステップと、
注目している注目データをクラス分類するのに用いる複数のデータとしてのクラスタップを構成するクラスタップ構成ステップと、
前記クラスタップとしての複数のデータを、前記新たな軸上で表現されるデータに変換するデータ変換ステップと、
前記新たな軸上で表現されるクラスタップに基づいて、前記注目データについてのクラス分類を行うクラス分類ステップと
を備えることを特徴とするデータ処理方法。 - データを、幾つかのクラスのうちのいずれかにクラス分けするクラス分類処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記データを表現する軸を、新たな軸に変換するのに用いる複数のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、
前記軸計算タップに基づいて、前記新たな軸を求める軸計算ステップと、
注目している注目データをクラス分類するのに用いる複数のデータとしてのクラスタップを構成するクラスタップ構成ステップと、
前記クラスタップとしての複数のデータを、前記新たな軸上で表現されるデータに変換するデータ変換ステップと、
前記新たな軸上で表現されるクラスタップに基づいて、前記注目データについてのクラス分類を行うクラス分類ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。 - 第１のデータから第２のデータを予測するデータ処理装置であって、
前記第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップを構成する軸計算タップ構成手段と、
前記軸計算タップに基づいて、前記新たな軸を求める軸計算手段と、
予測対象の前記第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップを構成するクラスタップ構成手段と、
前記注目データを予測するのに用いる複数の第１のデータとしての予測タップを構成する予測タップ構成手段と、
前記クラスタップとしての複数の第１のデータと、前記予測タップとしての複数の第１のデータを、前記新たな軸上で表現されるデータに変換する変換手段と、
前記新たな軸上で表現されるクラスタップに基づいて、前記注目データについてのクラス分類を行うクラス分類手段と、
前記新たな軸上で表現される予測タップを用い、前記注目データのクラスに対応する予測方法に基づいて、前記注目データの予測値であって、前記新たな軸上で表現されるものを求める予測手段と
を備えることを特徴とするデータ処理装置。 - 前記軸計算手段は、前記軸計算タップとしての複数の第１のデータを主成分分析し、その主成分分析結果に基づいて、前記新たな軸を求める
ことを特徴とする請求項８に記載のデータ処理装置。 - 前記軸計算手段は、前記軸計算タップとしての複数の第１のデータのうちの任意の２つのデータどうしの間の距離を計算し、その距離に基づいて、前記新たな軸を求める
ことを特徴とする請求項８に記載のデータ処理装置。 - 前記新たな軸上で表現される前記注目データの予測値を、元の軸上で表現されるデータに変換する逆変換手段をさらに備える
ことを特徴とする請求項８に記載のデータ処理装置。 - 前記データは、画像データである
ことを特徴とする請求項８に記載のデータ処理装置。 - 前記軸計算タップ構成手段、クラスタップ構成手段、または予測タップ構成手段は、前記注目データに対応する画素の周辺に位置する画素のデータを、前記軸計算タップ、クラスタップ、または予測タップとする
ことを特徴とする請求項１２に記載のデータ処理装置。 - 前記予測手段は、前記新たな軸上で表現される予測タップと、あらかじめ学習を行うことにより得られたタップ係数のうちの、前記注目データのクラスに対応するものとを用いて所定の予測演算を行うことにより、前記注目データの予測値を求める
ことを特徴とする請求項８に記載のデータ処理装置。 - 前記予測手段は、前記新たな軸上で表現される予測タップと、前記注目データのクラスに対応するタップ係数とを用いて線形予測演算を行うことにより、前記注目データの予測値を求める
ことを特徴とする請求項１４に記載のデータ処理装置。 - 前記クラスごとのタップ係数を記憶している記憶手段をさらに備える
ことを特徴とする請求項１４に記載のデータ処理装置。 - 前記タップ係数は、前記タップ係数および第１のデータを用いて所定の予測演算を行うことにより得られる前記第２のデータの予測値の予測誤差が、統計的に最小になるように、学習を行うことにより得られたものである
ことを特徴とする請求項１４に記載のデータ処理装置。 - 第１のデータから第２のデータを予測するデータ処理方法であって、
前記第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、
前記軸計算タップに基づいて、前記新たな軸を求める軸計算ステップと、
予測対象の前記第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップを構成するクラスタップ構成ステップと、
前記注目データを予測するのに用いる複数の第１のデータとしての予測タップを構成する予測タップ構成ステップと、
前記クラスタップとしての複数の第１のデータと、前記予測タップとしての複数の第１のデータを、前記新たな軸上で表現されるデータに変換する変換ステップと、
前記新たな軸上で表現されるクラスタップに基づいて、前記注目データについてのクラス分類を行うクラス分類ステップと、
前記新たな軸上で表現される予測タップを用い、前記注目データのクラスに対応する予測方法に基づいて、前記注目データの予測値であって、前記新たな軸上で表現されるものを求める予測ステップと
を備えることを特徴とするデータ処理方法。 - 第１のデータから第２のデータを予測するデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記第１のデータを表現する軸を、新たな軸に変換するのに用いる複数の第１のデータとしての軸計算タップを構成する軸計算タップ構成ステップと、
前記軸計算タップに基づいて、前記新たな軸を求める軸計算ステップと、
予測対象の前記第２のデータを注目データとして、その注目データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の第１のデータとしてのクラスタップを構成するクラスタップ構成ステップと、
前記注目データを予測するのに用いる複数の第１のデータとしての予測タップを構成する予測タップ構成ステップと、
前記クラスタップとしての複数の第１のデータと、前記予測タップとしての複数の第１のデータを、前記新たな軸上で表現されるデータに変換する変換ステップと、
前記新たな軸上で表現されるクラスタップに基づいて、前記注目データについてのクラス分類を行うクラス分類ステップと、
前記新たな軸上で表現される予測タップを用い、前記注目データのクラスに対応する予測方法に基づいて、前記注目データの予測値であって、前記新たな軸上で表現されるものを求める予測ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。 - 第１のデータから第２のデータを予測する予測方法を学習するデータ処理装置であって、
前記第１と第２のデータを、それぞれ生徒データと教師データとして、前記生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップを構成する軸計算タップ構成手段と、
前記軸計算タップに基づいて、前記新たな軸を求める軸計算手段と、
注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップを構成するクラスタップ構成手段と、
前記注目教師データを予測するのに用いる複数の生徒データとしての予測タップを構成する予測タップ構成手段と、
前記教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データを、前記新たな軸上で表現されるデータに変換する変換手段と、
前記新たな軸上で表現されるクラスタップに基づいて、前記注目教師データについてのクラス分類を行い、そのクラスを求めるクラス分類手段と、
前記新たな軸上で表現される教師データと予測タップを用い、前記第２のデータを予測する予測方法を、前記クラスごとに学習する学習手段と
を備えることを特徴とするデータ処理装置。 - 前記軸計算手段は、前記軸計算タップとしての複数の生徒データを主成分分析し、その主成分分析結果に基づいて、前記新たな軸を求める
ことを特徴とする請求項２０に記載のデータ処理装置。 - 前記軸計算手段は、前記軸計算タップとしての複数の生徒データのうちの任意の２つのデータどうしの間の距離を計算し、その距離に基づいて、前記新たな軸を求める
ことを特徴とする請求項２０に記載のデータ処理装置。 - 前記データは、画像データである
ことを特徴とする請求項２０に記載のデータ処理装置。 - 前記軸計算タップ構成手段、クラスタップ構成手段、または予測タップ構成手段は、前記注目教師データに対応する前記生徒データとしての画素の周辺に位置する画素のデータを、前記軸計算タップ、クラスタップ、または予測タップとする
ことを特徴とする請求項２３に記載のデータ処理装置。 - 前記学習手段は、前記予測タップとの所定の予測演算に用いるタップ係数であって、前記新たな軸上で表現されるものを学習する
ことを特徴とする請求項２０に記載のデータ処理装置。 - 前記学習手段は、前記予測タップとの線形予測演算に用いる前記タップ係数を学習する
ことを特徴とする請求項２５に記載のデータ処理装置。 - 前記学習手段は、前記タップ係数および生徒データを用いて所定の予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように、前記クラスごとのタップ係数を学習する
ことを特徴とする請求項２５に記載のデータ処理装置。 - 第１のデータから第２のデータを予測する予測方法を学習するデータ処理方法であって、
前記第１と第２のデータを、それぞれ生徒データと教師データとして、前記生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップを構成する軸計算タップ構成ステップと、
前記軸計算タップに基づいて、前記新たな軸を求める軸計算ステップと、
注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップを構成するクラスタップ構成ステップと、
前記注目教師データを予測するのに用いる複数の生徒データとしての予測タップを構成する予測タップ構成ステップと、
前記教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データを、前記新たな軸上で表現されるデータに変換する変換ステップと、
前記新たな軸上で表現されるクラスタップに基づいて、前記注目教師データについてのクラス分類を行い、そのクラスを求めるクラス分類ステップと、
前記新たな軸上で表現される教師データと予測タップを用い、前記第２のデータを予測する予測方法を、前記クラスごとに学習する学習ステップと
を備えることを特徴とするデータ処理方法。 - 第１のデータから第２のデータを予測する予測方法を学習するデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記第１と第２のデータを、それぞれ生徒データと教師データとして、前記生徒データおよび教師データを表現する軸を、新たな軸に変換するのに用いる複数の生徒データとしての軸計算タップを構成する軸計算タップ構成ステップと、
前記軸計算タップに基づいて、前記新たな軸を求める軸計算ステップと、
注目している注目教師データを幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の生徒データとしてのクラスタップを構成するクラスタップ構成ステップと、
前記注目教師データを予測するのに用いる複数の生徒データとしての予測タップを構成する予測タップ構成ステップと、
前記教師データ、クラスタップとしての複数の生徒データ、および予測タップとしての複数の生徒データを、前記新たな軸上で表現されるデータに変換する変換ステップと、
前記新たな軸上で表現されるクラスタップに基づいて、前記注目教師データについてのクラス分類を行い、そのクラスを求めるクラス分類ステップと、
前記新たな軸上で表現される教師データと予測タップを用い、前記第２のデータを予測する予測方法を、前記クラスごとに学習する学習ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000264921A JP4491701B2 (ja) | 2000-09-01 | 2000-09-01 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000264921A JP4491701B2 (ja) | 2000-09-01 | 2000-09-01 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002074354A JP2002074354A (ja) | 2002-03-15 |
| JP4491701B2 true JP4491701B2 (ja) | 2010-06-30 |
Family
ID=18752262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000264921A Expired - Fee Related JP4491701B2 (ja) | 2000-09-01 | 2000-09-01 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4491701B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5769241B2 (ja) * | 2011-07-15 | 2015-08-26 | 国立大学法人 筑波大学 | 超解像画像処理装置及び超解像画像処理用辞書作成装置 |
-
2000
- 2000-09-01 JP JP2000264921A patent/JP4491701B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002074354A (ja) | 2002-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO1994014278A1 (en) | Image signal converter | |
| JPH0974543A (ja) | 画像信号変換装置及び画像信号変換方法 | |
| JP3864400B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4238516B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP3702464B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JPH0779418A (ja) | 画像信号変換装置 | |
| JP4491701B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP2001222702A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP3743077B2 (ja) | 画像信号変換装置および方法 | |
| JP4105257B2 (ja) | 記憶装置および記憶方法 | |
| JP3796844B2 (ja) | 画像処理装置、画像処理方法、パラメータ生成装置およびパラメータ生成方法 | |
| JP4517448B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4752088B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP4442076B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP4419287B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4678454B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| US8228995B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4154647B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP4538699B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JPH0888849A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JP4538698B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4310691B2 (ja) | 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム | |
| JP4235918B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100311 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100324 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |