JP3671469B2 - 予測係数の学習方法並びに信号変換装置および方法 - Google Patents
予測係数の学習方法並びに信号変換装置および方法 Download PDFInfo
- Publication number
- JP3671469B2 JP3671469B2 JP26484495A JP26484495A JP3671469B2 JP 3671469 B2 JP3671469 B2 JP 3671469B2 JP 26484495 A JP26484495 A JP 26484495A JP 26484495 A JP26484495 A JP 26484495A JP 3671469 B2 JP3671469 B2 JP 3671469B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- prediction
- signal
- learning
- prediction coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力された画像情報より高い解像度を有する画像信号を得ることができる予測係数の学習方法並びに信号変換装置および方法
に関する。
【０００２】
【従来の技術】
標準ＴＶ信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）フォーマット信号に変換するアップコンバータに使用されている従来技術について以下、説明する。まず、標準ＴＶ信号（ＳＤ信号）とＨＤ信号の各画素の空間配置例を図５に示す。ここでは説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図中の◎のＳＤ画素に注目すると、近傍４種類（mode１，mode２，mode３，mode４）の位置にＨＤ画素が存在する。
【０００３】
従来のアップコンバータにおいては、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、ＳＤ信号のフィールドデータから、４種類の位置のＨＤ画素を生成することが考えられる。そこで用いられる補間フィルタの構造は、空間内２次元ノンセパラブルフィルタと、水平／垂直セパラブルフィルタに分類される。その補間フィルタの構成例を図６に示す。
【０００４】
図６Ａに示すノンセパラブル補間フィルタは、空間内２次元フィルタを使用する場合である。入力端子５１からＳＤ信号が供給され、入力ＳＤ信号は、mode１用２次元フィルタ５２、mode２用２次元フィルタ５３、mode３用２次元フィルタ５４およびmode４用２次元フィルタ５５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ５２〜５５の出力は、ＨＤ信号として選択部５６へ供給され、選択部５６において、直列化がなされ、出力端子５７から出力ＨＤ信号が取り出される。
【０００５】
また、図６Ｂに示す補間フィルタは、水平／垂直セパラブルフィルタを使用する場合である。入力端子６１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ６２および６４へ供給される。垂直補間フィルタ６２および６４において、ＨＤ信号の２本の走査線データが生成される。例えば、垂直フィルタ６２では、mode１用およびmode２用の処理が行われ、垂直フィルタ６４では、mode３用およびmode４用の処理が行われる。
【０００６】
これらの処理が行われると垂直補間フィルタ６２および６４からの出力信号は、水平補間フィルタ６３および６５へ供給される。この水平補間フィルタ６３および６５では、各走査線毎に水平フィルタを用い４種類の位置のＨＤ画素が補間され、選択部６６へ供給される。選択部６６では、供給されたＨＤ信号の直列化がなされ、出力端子６７から出力ＨＤ信号が取り出される。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には理想フィルタを用いることが出来ないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしか出来ないという問題がある。
【０００８】
そこで、これを改善するため、補間フィルタにクラス分類適応処理を適用することが提案された。これは入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する処理である。今回の提案は、このクラス分類適応処理の学習法に係わるものである。ただし、この発明は、アップコンバータ以外のサブサンプリングで間引かれた画素を補間するためのクラス分類適応処理等に対しても適用することができる。
【０００９】
入力ＳＤ信号をＨＤフォーマット信号へ変換するアップコンバージョン方式として、クラス分類適応処理を導入することが提案されている。従来の周波数フィルタを用いたアップコンバージョン方式に比べ、クラス分類適応処理を用いたアップコンバージョン方式は、良好な画質が得られることが確認されている。
【００１０】
従って、この発明は、信号変換装置および方法に適用される予測精度クラス分類法と呼ばれるクラス分類構造を持つ手法の予測係数の学習方法の提供を目的とする。
【００１１】
さらに、この発明は、補間フィルタにクラス分類適応処理を適用することでＳＤ信号から最適なＨＤ信号を得ることができる信号変換装置および方法の提供を目的とする。
【００１２】
【課題を解決するための手段】
請求項１に記載の発明は、入力信号中の注目画素の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、クラスに対応する予測係数と注目画素の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理における予測係数の学習方法において、第１の学習用入力信号中に含まれる注目画素に対して空間的および／または時間的に近傍の複数の参照画素による予測精度に基づいてクラス分類を行い、クラス分類に基づいて、各クラスの第１の学習用入力信号と対応する、第１の学習用信号よりも高品質な第２の学習用信号に対する予測を行い、第２の学習用信号に対する予測精度を考慮して、クラス分類適応処理におけるクラス分類に利用されるクラス予測係数を生成することを特徴とする予測係数の学習方法である。
【００１３】
さらに、請求項２に記載の発明は、入力信号中の注目画素の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、クラスに対応する予測係数と注目画素の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理における予測係数の学習方法において、第１の学習用入力信号中に含まれる注目画素に対して空間的および／または時間的に近傍の複数の参照画素による予測精度に基づいて第１のクラス分類を行うステップと、第１のクラス分類ステップの各クラスの第１の学習用入力信号に対応する、第１の学習用信号よりも高品質な第２の学習用信号を用いて予測精度の評価を行うステップと、予測精度の評価結果に基づき、再び第１の学習用入力信号の第２のクラス分類を行うステップとからなり、第１および第２のクラス分類を繰り返すことによって、所望のクラス数までクラス分類を行い、分類されたクラス毎にクラス分類適応処理のクラス分類に利用されるクラス予測係数および予測値を予測するための予測係数を生成することを特徴とする予測係数の学習方法である。
【００１４】
そして、請求項８に記載の発明は、入力信号中の注目位置の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、クラスに対応する予測係数と注目位置の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理を用いた信号変換装置において、予め学習された複数のクラス予測係数を出力する第１のメモリ手段と、入力信号と複数のクラス予測係数から予測誤差を演算する手段と、予測誤差が最小となるクラス予測係数を決定クラスとして出力する手段と、決定クラスに応じた予測係数を出力する第２のメモリ手段と、入力信号と第２のメモリ手段からの予測係数とから予測信号を生成する手段と、を有することを特徴とする信号変換装置である。
【００１５】
また、請求項９に記載の発明は、入力信号中の注目位置の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、クラスに対応する予測係数と注目位置の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理を用いた信号変換方法において、第１のメモリから予め学習された複数のクラス予測係数を出力するステップと、入力信号と複数のクラス予測係数から予測誤差を演算するステップと、予測誤差が最小となるクラス予測係数を決定クラスとして出力するステップと、第２のメモリから決定クラスに応じた予測係数を出力するステップと、入力信号と第２のメモリからの予測係数とから予測信号を生成するステップと、を有することを特徴とする信号変換方法である。
【００１６】
この発明は、入力信号自身をクラス予測係数でクラス分類する予測精度クラス分類という効率の良いクラス分類のＳＤ予測係数を予め求めることができる。また、この発明は、信号変換装置および方法に適用される予測精度クラス分類法のクラス予測係数の学習によって得られるＳＤ予測係数を用いてアップコンバージョンを行うことで、入力信号より高い解像度を有する出力信号を得ることができる。
【００１７】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。信号変換装置および方法に適用される予測精度クラス分類の一例を図１に示す。この図１Ａは、説明を容易にするため１次元の構造例である。入力ＳＤ信号から出力ＨＤ信号をクラス分類適応処理により生成する。まず、入力ＳＤ信号がクラスに分類される。このクラスは、信号の特徴により分類されるグループであり、図１Ｂに示すように、予め学習によりクラス毎にクラス予測係数（ＳＤ予測係数）およびそのＳＤ予測係数に対応する予測係数（ＨＤ予測係数）を用意しておく。
【００１８】
入力ＳＤ信号が分類されたクラスに応じ、ＲＯＭなどに記憶されているＨＤ予測係数を読み出し、入力ＳＤ信号とＨＤ予測係数による予測演算を実行し、出力ＨＤ信号を得るものである。図１Ｂの例では、ｎ個の各クラスに対し、ＨＤ予測係数ｗ1 、ｗ2 、ｗ3 が用意されている。この予測演算は、図１Ａの画素配置においては式（１）で表される。
【００１９】
ＨＤ´＝ｗ1 ×sd7 ＋ｗ2 ×sd8 ＋ｗ3 ×sd9 ・・・（１）
ＨＤ´：推定ＨＤ画素値
sdi ：ＳＤ信号予測タップ画素値
ｗi ：予測係数
【００２０】
このクラス分類法として、入力信号の波形特性を反映した手法が考えられ、例えば次のようなものが挙げられる。
１）ＰＣＭデータを直接使用する。
２）ＡＤＲＣ（適応的ダイナミックレンジ符号化）を適用し、クラス数を削減する。
３）ＤＰＣＭ（予測符号化）を適用し、クラス数を削減する。
４）ＶＱ（ベクトル量子化）を適用し、クラス数を削減する。
【００２１】
これらのクラス分類の方法では、複数の画素値の組合せが一括して表現される。しかしながら、これらの方法には、回路規模の制約の問題がある。図１Ａの例では、クラス分類に１７タップのＳＤ画素が用いられる。上述の１）のクラス分類法に従い、各画素を１ビットで表したとしても、２の１７乗という膨大なクラス数が必要となる。そこで提案されたのがこの発明の信号変換装置および方法に適用される予測精度クラス分類法である。
【００２２】
すなわち、式（１）で用いた予測手法を入力信号の分類自体にも利用するものである。図１の例では、予め学習により入力ＳＤ信号自身を表現するＳＤ予測係数ｋ1 〜ｋ17の組を、ｎクラス分、すなわちｎ種類だけ用意しておく。例えば、式（２）のように注目画素ＨＤ´に対応するＳＤ画素ＳＤ´の画素値を周辺の１６画素から予測する。
【００２３】
【００２４】
図１の例では、ｎ種類のクラスから式（２）の演算の結果、ＳＤ自身の表現に最適なクラスを検出する。この場合の最適というのは、例えば式（３）のように、式（２）により特定された画素値ＳＤ´と、入力ＳＤ画素値の予測誤差Ｅが最小となるＨＤ予測係数ｋ1 〜ｋ17の組を検出する手法であり、これを予測精度クラス分類法と呼ぶ。
【００２５】
ＥMIN ＝ＭＩＮ（｜ＳＤ´−ＳＤ｜）・・・（３）
ＳＤ´：推定ＳＤ画素値
ＳＤ：入力ＳＤ画素値
ＥMIN ：ＳＤ値の予測誤差最小値
【００２６】
この予測精度クラス分類法を用いることにより、効率良く、広い範囲のＳＤ信号の変化を表すクラス表現が可能となる。
【００２７】
ここで、この予測精度クラス分類法を用いたアップコンバータの一例を図２に示す。まず、１で示す入力端子からＳＤ信号が供給され、入力ＳＤ信号ｄ０は、ブロック生成部２およびクラス分類部３へ供給される。クラス分類部３は、制御部７、ブロック生成部８、ＳＤ予測係数ＲＯＭ９、演算部１０、記憶部１１およびクラス決定部１２から構成されている。入力ＳＤ信号ｄ０が供給されたブロック生成部８では、クラス分類用のブロックが生成される。例えば、式（２）に基づいて、水平１６画素のＳＤデータが選択され、信号ｄ４として演算部１０へ供給される。
【００２８】
演算部１０では、信号ｄ４とＳＤ予測係数ＲＯＭ９から供給される信号ｄ５（ＳＤ予測係数）とを用いて、式（２）の予測演算が行われる。このとき、式（３）に基づく最適予測係数の組を検出するために制御部７によって、ブロック生成部８からの信号ｄ４（ＳＤデータ）と、ＳＤ予測係数ＲＯＭ９からの信号ｄ５との出力の制御が行われる。すなわち、１組の信号ｄ４に対して複数組の信号ｄ５が演算部１０へ供給される。その複数の演算結果は、信号ｄ６（予測誤差）として、記憶部１１に供給される。記憶部１１において、信号ｄ６が登録され、図１の例では、ｎ個のクラスに対応するＳＤ予測誤差が記憶される。各ＳＤ予測誤差は、信号ｄ７として、クラス決定部１２へ供給され、その最小値が検出される。検出されたＳＤ予測誤差に対応する予測係数の属するクラスが決定クラス（信号ｄ８）として、ＨＤ予測係数ＲＯＭ４へ供給される。
【００２９】
また、入力ＳＤ信号ｄ０は、ブロック生成部２において、例えば式（１）に用いられるようなＳＤデータが選択される。そのＳＤデータは、信号ｄ１として演算部５へ供給される。すなわち、ブロック生成部２では、３つのＳＤ画素が選択される。演算部５において、この信号ｄ１（ＳＤデータ）とＨＤ予測係数ＲＯＭ４から決定クラスに対応するＨＤ予測係数（信号ｄ９）とを用いて、式（１）のＨＤ予測演算が行われ、アップコンバートされたＨＤ予測値は、信号ｄ１０として出力端子６から取り出される。
【００３０】
ここで、この発明の予測精度クラス分類法のＳＤ予測係数およびＨＤ予測係数の学習の一例を図３を用いて説明する。この予測精度クラス分類法の学習は、従来のＡＤＲＣなどのクラス分類による学習と異なり、ＳＤ信号のクラスと対応するＨＤ信号のクラスの組合せが徐々に変化する構造である。これを循環型学習と呼び、図３には、その学習の順序の一例を示す。
【００３１】
まず、学習の対象としてのＳＤ信号全てを含むＳＤ信号領域２１において、全信号から式（２）に基づくＳＤ信号自身のＳＤ予測係数が生成される。この生成には、最小自乗法などが用いられるが、詳しくは後述する。すなわち、このＳＤ信号領域２１では、全ＳＤ信号を１つのクラスとして１組のＳＤ予測係数を用いて、式（４）の演算が行われ、予測誤差Ｅが算出される。この予測誤差Ｅは、式（５）および式（６）によって、２組のクラスに分類され、ＳＤ信号領域２２となる。すなわち、このＳＤ信号領域２２は、予測誤差しきい値判定を使用して、２組のクラスと１組のＳＤ予測係数を有する状態となる。
【００３２】
Ｅ＝｜ＳＤ´−ＳＤ｜・・・（４）
Ｃ0 ：Ｅ≦ＴＨ・・・（５）
Ｃ1 ：Ｅ＞ＴＨ・・・（６）
ＳＤ´：推定ＳＤ画素値
ＳＤ：入力ＳＤ画素値
Ｅ：ＳＤ値の予測誤差
Ｃ0 ：クラス０の予測誤差条件
Ｃ1 ：クラス１の予測誤差条件
ＴＨ：ＳＤ値の予測誤差判定しきい値
【００３３】
次に、ＳＤ画素の空間的位置に対応するＨＤ画素を対応させる。すなわち、ＳＤ信号の生成された２組のクラスに対応してＨＤ信号領域２３も２組のクラスを有する。さらに、ＨＤ信号領域２３では、２組のクラスに対応するＨＤ予測係数が式（１）に基づいて生成される。すなわち、ＨＤ信号領域２３は、２組のクラスと２組のＨＤ予測係数を有する状態となる。
【００３４】
そして、ＨＤ信号領域において、この分類の評価を行う。すなわち、式（１）の予測結果ＨＤ´と真値ＨＤとの予測誤差判定による、ＨＤ信号領域の再分類を行う。具体的には、式（７）により、クラスｉの予測結果ＨＤ´と真値ＨＤとの予測誤差ｅi が検出される。このとき、クラス数は２種類しかないので、式（８）および式（９）によりクラス０とクラス１に再分類され、ＨＤ信号領域２４が得られる。ここで、ＭＩＮi とは、クラスｉのＨＤ予測係数に対する誤差値が最小となるＨＤ画素が再分類されたクラスｉに含まれることを意味する。
【００３５】
ｅi ＝｜ＨＤ´i −ＨＤ｜・・・（７）
Ｃ0 ：ＭＩＮ0 （ｅi ）・・・（８）
Ｃ1 ：ＭＩＮ1 （ｅi ）・・・（９）
ＨＤ´：推定ＨＤ画素値
ＨＤ：入力ＨＤ画素値
ｅi ：クラスｉの予測係数によるＨＤ値の予測誤差
Ｃ0 ：クラス０の選択予測誤差条件
Ｃ1 ：クラス１の選択予測誤差条件
【００３６】
そして、ＳＤ信号領域２５では、再分類されたＨＤ画素の空間的位置に対してＳＤ画素を対応させることで、ＳＤ信号領域における再分類が行われる。さらに、２つのクラスに分類されたＳＤ信号毎に、ＳＤ信号自身のＳＤ予測係数が式（２）に基づいて生成される。次に、上述した式（４）、式（５）および式（６）と同じく予測誤差をしきい値判定することで、２クラスをそれぞれ２つに分類し、合計４クラスが生成され、ＳＤ信号領域２６となる。すなわち、このＳＤ信号領域２６は、４組のクラスと２組のＳＤ予測係数を有する状態となる。
【００３７】
ＨＤ信号領域２７では、ＨＤ信号領域２３と同様にＳＤ画素の空間的位置とＨＤ画素を対応させる。すなわち、ＳＤ信号の生成された４組のクラスに対応してＨＤ信号も４組のクラスが生成される。さらに、ＨＤ信号領域２７では、４組のクラスに対応するＨＤ予測係数が式（１）に基づいて生成される。すなわち、ＨＤ信号領域２７は、４組のクラスと４組のＨＤ予測係数を有する状態となる。
【００３８】
そして、ＨＤ信号領域において、この分類の評価を行う。すなわち、式（１）の予測結果ＨＤ´と真値ＨＤとの予測誤差判定による、ＨＤ信号領域の再分類を行う。具体的には、式（７）により、クラスｉの予測結果ＨＤ´と真値ＨＤとの予測誤差ｅi が検出される。このＨＤ信号領域２８では、クラス数は４種類となるので、式（８）および式（９）を拡張して４クラスとして再分類される。
【００３９】
そして、ＳＤ信号領域２９では、再分類されたＨＤ画素の空間的位置に対してＳＤ画素の位置が対応されることで、ＳＤ信号領域における分類が行われる。さらに、４つのクラスに分類されたＳＤ信号毎に、ＳＤ信号自身のＳＤ予測係数が式（２）に基づいて生成される。次に、上述した式（４）、式（５）および式（６）と同じく予測誤差をしきい値判定することで、４クラスをそれぞれ２つに分類し合計８クラスが生成され、ＳＤ信号領域３０となる。すなわち、このＳＤ信号領域３０は、８組のクラスと４組のＳＤ予測係数を有する状態となる。
【００４０】
ＨＤ信号領域３１では、ＨＤ信号領域２３および２７と同様にＳＤ画素の空間的位置に対してＨＤ画素の位置を対応させる。すなわち、ＳＤ信号の生成された８組のクラスに対応してＨＤ信号も８組のクラスが生成される。さらに、ＨＤ信号領域３１では、８組のクラスに対応するＨＤ予測係数が式（１）に基づいて生成される。すなわち、ＨＤ信号領域３１は、８組のクラスと８組のＨＤ予測係数を有する状態となる。
【００４１】
さらに、ＳＤ信号領域とＨＤ信号領域との循環型学習が行われ、最終的にＨＤ信号領域３２において、上述したように式（７）により、クラスｉの予測結果ＨＤ´と真値ＨＤとの予測誤差ｅi が検出される。このＨＤ信号領域３２では、クラス数はＣＬＡＳＳとなるので、式（８）および式（９）を拡張して再分類される。
【００４２】
そして、ＳＤ信号領域３３では、再分類されたＨＤ画素の空間的位置に対してＳＤ画素の位置が対応されることで、ＳＤ信号領域における分類が行われる。さらに、４つのクラスに分類されたＳＤ信号毎に、ＳＤ信号自身のＳＤ予測係数が式（２）に基づいて生成される。このように、ＳＤ信号領域の予測誤差しきい値判定とＨＤ信号領域の予測誤差判定を繰り返し最終的に所望のクラス数ＣＬＡＳＳに至るまで分類する。
【００４３】
ここで、予測精度クラス分類の学習法をソフトウェアで行う場合の一例を図４のフローチャートに示す。ステップ４１からこのフローチャートは始まり、このステップ４１において、全ＳＤ信号自身の単一クラスのＳＤ予測係数が生成される。このＳＤ予測係数とは、上述した式（２）に用いられるＳＤ自身を予測する予測係数が生成される。さらに、ステップ４１では、クラス数を計数するためのクラス数カウンタＣを初期化、すなわち１とする。ステップ４１からステップ４２へ制御が移ると、ＳＤ信号領域において、上述のＳＤ予測係数を用いた予測誤差しきい値判定が行われ、各クラスが２つに分割される。そして、ステップ４３では、ＳＤ信号のクラスに対応するＨＤ信号のクラスに関して、式（１）に用いられるＨＤ自身を予測するＨＤ予測係数が生成される。
【００４４】
ステップ４４では、各ＨＤ画素に関し、この予測係数の中から予測誤差を最小とするＨＤ予測係数が検出される。その結果、ＨＤ信号領域におけるクラスの再分類が行われる。ステップ４５では、その再分類結果に対応するＳＤ信号の各クラス毎に、式（２）に用いられるＳＤ自身を予測するＳＤ予測係数が生成される。そして、このＳＤ予測係数を用いた予測演算の予測誤差しきい値判定により、ステップ４６において、各クラス内のデータを２つに分類されるので、全ＳＤ信号のクラス数が２倍になる。すなわち、ＳＤ信号領域におけるクラスの再分類が行われる。
【００４５】
ステップ４７では、目的のクラス数ＣＬＡＳＳに達するまでクラス分類、すなわちこの再分類、クラス分類のループを繰り返し行う。ステップ４８では、こうして得られる、ＳＤ自身のＳＤ予測係数と、ＨＤ予測係数は、図１Ｂに示すようにＲＯＭに登録される。
【００４６】
ここで、上述の学習で行われるＳＤ信号領域とＨＤ信号領域における式（１）および式（２）の予測係数の生成法について説明する。式（１）および式（２）の線形一次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の式を考える。
【００４７】
観測方程式；ＸＷ＝Ｙ・・・（１０）
【数１】
【００４８】
この観測方程式により収集されたデータに最小自乗法を適用する。式（１）の例においては、ｎ＝３とし、式（２）の例においては、ｎ＝１６とし、そしてｍが学習データ数とする。そして、式（１０）の観測方程式をもとに、式（１２）の残差方程式を考える。
【００４９】
残差方程式；
【数２】
【００５０】
式（１２）の残差方程式から、各ｗi の最確値は
【数３】
を最小にする条件が成り立つ場合と考えられる。
【００５１】
すなわち、式（１３）の条件を考慮すれば良いわけである。
【数４】
【００５２】
式（１３）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（１２）から式（１４）が得られる。
【数５】
【００５３】
さらに、式（１３）および式（１４）により式（１５）が得られる。
【数６】
【００５４】
そして、式（１２）および式（１５）から、正規方程式（１６）が得られる。
【数７】
【００５５】
式（１６）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることが出来る。そして掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。以上が線形１次結合モデルに基づく予測係数を最小自乗法により生成する一例である。
【００５６】
このような学習により、アップコンバータなどにクラス分類適応処理の中の予測精度クラス分類法を用いるために要求される、ＳＤデータとＨＤデータの予測係数の学習を行うことが出来る。こうして、従来よりも高性能なアップコンバータが実現される。
【００５７】
この実施例のクラス分類適応処理の学習法において、アクティビティーの低いものは学習の対象から取り除くようにすることで、より高い精度の学習を行うことができる。
【００５８】
【発明の効果】
この発明に依れば、入力信号自身を予測係数でクラス分類する手法であり、効率良くクラス分類を実現することが可能となり、このための予測係数を予め生成することができる。
【００５９】
また、この発明に依れば、入力信号より高い解像度を有する出力信号を得ることが出来るアップコンバータを実現することが可能となり、さらにそのアップコンバータを用いることによって、クラス分類に応じ、ＨＤ信号への予測性能を向上することができる。
【図面の簡単な説明】
【図１】この発明に係る予測精度クラス分類の説明に用いる略線図である。
【図２】この発明の信号変換装置の一実施例を示すブロック図である。
【図３】この発明のクラス予測係数の学習方法の一例を説明するための略線図である。
【図４】この発明のクラス予測係数の学習方法の一例のフローチャートである。
【図５】ＳＤ信号とＨＤ信号の説明に用いる略線図である。
【図６】補間フィルタを用いた従来のアップコンバータのブロック図である。
【符号の説明】
２、８ ブロック生成部
３ クラス分類部
４ ＨＤ予測係数ＲＯＭ
５ 演算部
７ 制御部
９ ＳＤ予測係数ＲＯＭ
１０ 演算部
１１ 記憶部
１２ クラス決定部
【発明の属する技術分野】
この発明は、入力された画像情報より高い解像度を有する画像信号を得ることができる予測係数の学習方法並びに信号変換装置および方法
に関する。
【０００２】
【従来の技術】
標準ＴＶ信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）フォーマット信号に変換するアップコンバータに使用されている従来技術について以下、説明する。まず、標準ＴＶ信号（ＳＤ信号）とＨＤ信号の各画素の空間配置例を図５に示す。ここでは説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図中の◎のＳＤ画素に注目すると、近傍４種類（mode１，mode２，mode３，mode４）の位置にＨＤ画素が存在する。
【０００３】
従来のアップコンバータにおいては、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、ＳＤ信号のフィールドデータから、４種類の位置のＨＤ画素を生成することが考えられる。そこで用いられる補間フィルタの構造は、空間内２次元ノンセパラブルフィルタと、水平／垂直セパラブルフィルタに分類される。その補間フィルタの構成例を図６に示す。
【０００４】
図６Ａに示すノンセパラブル補間フィルタは、空間内２次元フィルタを使用する場合である。入力端子５１からＳＤ信号が供給され、入力ＳＤ信号は、mode１用２次元フィルタ５２、mode２用２次元フィルタ５３、mode３用２次元フィルタ５４およびmode４用２次元フィルタ５５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ５２〜５５の出力は、ＨＤ信号として選択部５６へ供給され、選択部５６において、直列化がなされ、出力端子５７から出力ＨＤ信号が取り出される。
【０００５】
また、図６Ｂに示す補間フィルタは、水平／垂直セパラブルフィルタを使用する場合である。入力端子６１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ６２および６４へ供給される。垂直補間フィルタ６２および６４において、ＨＤ信号の２本の走査線データが生成される。例えば、垂直フィルタ６２では、mode１用およびmode２用の処理が行われ、垂直フィルタ６４では、mode３用およびmode４用の処理が行われる。
【０００６】
これらの処理が行われると垂直補間フィルタ６２および６４からの出力信号は、水平補間フィルタ６３および６５へ供給される。この水平補間フィルタ６３および６５では、各走査線毎に水平フィルタを用い４種類の位置のＨＤ画素が補間され、選択部６６へ供給される。選択部６６では、供給されたＨＤ信号の直列化がなされ、出力端子６７から出力ＨＤ信号が取り出される。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には理想フィルタを用いることが出来ないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしか出来ないという問題がある。
【０００８】
そこで、これを改善するため、補間フィルタにクラス分類適応処理を適用することが提案された。これは入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する処理である。今回の提案は、このクラス分類適応処理の学習法に係わるものである。ただし、この発明は、アップコンバータ以外のサブサンプリングで間引かれた画素を補間するためのクラス分類適応処理等に対しても適用することができる。
【０００９】
入力ＳＤ信号をＨＤフォーマット信号へ変換するアップコンバージョン方式として、クラス分類適応処理を導入することが提案されている。従来の周波数フィルタを用いたアップコンバージョン方式に比べ、クラス分類適応処理を用いたアップコンバージョン方式は、良好な画質が得られることが確認されている。
【００１０】
従って、この発明は、信号変換装置および方法に適用される予測精度クラス分類法と呼ばれるクラス分類構造を持つ手法の予測係数の学習方法の提供を目的とする。
【００１１】
さらに、この発明は、補間フィルタにクラス分類適応処理を適用することでＳＤ信号から最適なＨＤ信号を得ることができる信号変換装置および方法の提供を目的とする。
【００１２】
【課題を解決するための手段】
請求項１に記載の発明は、入力信号中の注目画素の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、クラスに対応する予測係数と注目画素の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理における予測係数の学習方法において、第１の学習用入力信号中に含まれる注目画素に対して空間的および／または時間的に近傍の複数の参照画素による予測精度に基づいてクラス分類を行い、クラス分類に基づいて、各クラスの第１の学習用入力信号と対応する、第１の学習用信号よりも高品質な第２の学習用信号に対する予測を行い、第２の学習用信号に対する予測精度を考慮して、クラス分類適応処理におけるクラス分類に利用されるクラス予測係数を生成することを特徴とする予測係数の学習方法である。
【００１３】
さらに、請求項２に記載の発明は、入力信号中の注目画素の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、クラスに対応する予測係数と注目画素の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理における予測係数の学習方法において、第１の学習用入力信号中に含まれる注目画素に対して空間的および／または時間的に近傍の複数の参照画素による予測精度に基づいて第１のクラス分類を行うステップと、第１のクラス分類ステップの各クラスの第１の学習用入力信号に対応する、第１の学習用信号よりも高品質な第２の学習用信号を用いて予測精度の評価を行うステップと、予測精度の評価結果に基づき、再び第１の学習用入力信号の第２のクラス分類を行うステップとからなり、第１および第２のクラス分類を繰り返すことによって、所望のクラス数までクラス分類を行い、分類されたクラス毎にクラス分類適応処理のクラス分類に利用されるクラス予測係数および予測値を予測するための予測係数を生成することを特徴とする予測係数の学習方法である。
【００１４】
そして、請求項８に記載の発明は、入力信号中の注目位置の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、クラスに対応する予測係数と注目位置の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理を用いた信号変換装置において、予め学習された複数のクラス予測係数を出力する第１のメモリ手段と、入力信号と複数のクラス予測係数から予測誤差を演算する手段と、予測誤差が最小となるクラス予測係数を決定クラスとして出力する手段と、決定クラスに応じた予測係数を出力する第２のメモリ手段と、入力信号と第２のメモリ手段からの予測係数とから予測信号を生成する手段と、を有することを特徴とする信号変換装置である。
【００１５】
また、請求項９に記載の発明は、入力信号中の注目位置の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、クラスに対応する予測係数と注目位置の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理を用いた信号変換方法において、第１のメモリから予め学習された複数のクラス予測係数を出力するステップと、入力信号と複数のクラス予測係数から予測誤差を演算するステップと、予測誤差が最小となるクラス予測係数を決定クラスとして出力するステップと、第２のメモリから決定クラスに応じた予測係数を出力するステップと、入力信号と第２のメモリからの予測係数とから予測信号を生成するステップと、を有することを特徴とする信号変換方法である。
【００１６】
この発明は、入力信号自身をクラス予測係数でクラス分類する予測精度クラス分類という効率の良いクラス分類のＳＤ予測係数を予め求めることができる。また、この発明は、信号変換装置および方法に適用される予測精度クラス分類法のクラス予測係数の学習によって得られるＳＤ予測係数を用いてアップコンバージョンを行うことで、入力信号より高い解像度を有する出力信号を得ることができる。
【００１７】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。信号変換装置および方法に適用される予測精度クラス分類の一例を図１に示す。この図１Ａは、説明を容易にするため１次元の構造例である。入力ＳＤ信号から出力ＨＤ信号をクラス分類適応処理により生成する。まず、入力ＳＤ信号がクラスに分類される。このクラスは、信号の特徴により分類されるグループであり、図１Ｂに示すように、予め学習によりクラス毎にクラス予測係数（ＳＤ予測係数）およびそのＳＤ予測係数に対応する予測係数（ＨＤ予測係数）を用意しておく。
【００１８】
入力ＳＤ信号が分類されたクラスに応じ、ＲＯＭなどに記憶されているＨＤ予測係数を読み出し、入力ＳＤ信号とＨＤ予測係数による予測演算を実行し、出力ＨＤ信号を得るものである。図１Ｂの例では、ｎ個の各クラスに対し、ＨＤ予測係数ｗ1 、ｗ2 、ｗ3 が用意されている。この予測演算は、図１Ａの画素配置においては式（１）で表される。
【００１９】
ＨＤ´＝ｗ1 ×sd7 ＋ｗ2 ×sd8 ＋ｗ3 ×sd9 ・・・（１）
ＨＤ´：推定ＨＤ画素値
sdi ：ＳＤ信号予測タップ画素値
ｗi ：予測係数
【００２０】
このクラス分類法として、入力信号の波形特性を反映した手法が考えられ、例えば次のようなものが挙げられる。
１）ＰＣＭデータを直接使用する。
２）ＡＤＲＣ（適応的ダイナミックレンジ符号化）を適用し、クラス数を削減する。
３）ＤＰＣＭ（予測符号化）を適用し、クラス数を削減する。
４）ＶＱ（ベクトル量子化）を適用し、クラス数を削減する。
【００２１】
これらのクラス分類の方法では、複数の画素値の組合せが一括して表現される。しかしながら、これらの方法には、回路規模の制約の問題がある。図１Ａの例では、クラス分類に１７タップのＳＤ画素が用いられる。上述の１）のクラス分類法に従い、各画素を１ビットで表したとしても、２の１７乗という膨大なクラス数が必要となる。そこで提案されたのがこの発明の信号変換装置および方法に適用される予測精度クラス分類法である。
【００２２】
すなわち、式（１）で用いた予測手法を入力信号の分類自体にも利用するものである。図１の例では、予め学習により入力ＳＤ信号自身を表現するＳＤ予測係数ｋ1 〜ｋ17の組を、ｎクラス分、すなわちｎ種類だけ用意しておく。例えば、式（２）のように注目画素ＨＤ´に対応するＳＤ画素ＳＤ´の画素値を周辺の１６画素から予測する。
【００２３】
図１の例では、ｎ種類のクラスから式（２）の演算の結果、ＳＤ自身の表現に最適なクラスを検出する。この場合の最適というのは、例えば式（３）のように、式（２）により特定された画素値ＳＤ´と、入力ＳＤ画素値の予測誤差Ｅが最小となるＨＤ予測係数ｋ1 〜ｋ17の組を検出する手法であり、これを予測精度クラス分類法と呼ぶ。
【００２５】
ＥMIN ＝ＭＩＮ（｜ＳＤ´−ＳＤ｜）・・・（３）
ＳＤ´：推定ＳＤ画素値
ＳＤ：入力ＳＤ画素値
ＥMIN ：ＳＤ値の予測誤差最小値
【００２６】
この予測精度クラス分類法を用いることにより、効率良く、広い範囲のＳＤ信号の変化を表すクラス表現が可能となる。
【００２７】
ここで、この予測精度クラス分類法を用いたアップコンバータの一例を図２に示す。まず、１で示す入力端子からＳＤ信号が供給され、入力ＳＤ信号ｄ０は、ブロック生成部２およびクラス分類部３へ供給される。クラス分類部３は、制御部７、ブロック生成部８、ＳＤ予測係数ＲＯＭ９、演算部１０、記憶部１１およびクラス決定部１２から構成されている。入力ＳＤ信号ｄ０が供給されたブロック生成部８では、クラス分類用のブロックが生成される。例えば、式（２）に基づいて、水平１６画素のＳＤデータが選択され、信号ｄ４として演算部１０へ供給される。
【００２８】
演算部１０では、信号ｄ４とＳＤ予測係数ＲＯＭ９から供給される信号ｄ５（ＳＤ予測係数）とを用いて、式（２）の予測演算が行われる。このとき、式（３）に基づく最適予測係数の組を検出するために制御部７によって、ブロック生成部８からの信号ｄ４（ＳＤデータ）と、ＳＤ予測係数ＲＯＭ９からの信号ｄ５との出力の制御が行われる。すなわち、１組の信号ｄ４に対して複数組の信号ｄ５が演算部１０へ供給される。その複数の演算結果は、信号ｄ６（予測誤差）として、記憶部１１に供給される。記憶部１１において、信号ｄ６が登録され、図１の例では、ｎ個のクラスに対応するＳＤ予測誤差が記憶される。各ＳＤ予測誤差は、信号ｄ７として、クラス決定部１２へ供給され、その最小値が検出される。検出されたＳＤ予測誤差に対応する予測係数の属するクラスが決定クラス（信号ｄ８）として、ＨＤ予測係数ＲＯＭ４へ供給される。
【００２９】
また、入力ＳＤ信号ｄ０は、ブロック生成部２において、例えば式（１）に用いられるようなＳＤデータが選択される。そのＳＤデータは、信号ｄ１として演算部５へ供給される。すなわち、ブロック生成部２では、３つのＳＤ画素が選択される。演算部５において、この信号ｄ１（ＳＤデータ）とＨＤ予測係数ＲＯＭ４から決定クラスに対応するＨＤ予測係数（信号ｄ９）とを用いて、式（１）のＨＤ予測演算が行われ、アップコンバートされたＨＤ予測値は、信号ｄ１０として出力端子６から取り出される。
【００３０】
ここで、この発明の予測精度クラス分類法のＳＤ予測係数およびＨＤ予測係数の学習の一例を図３を用いて説明する。この予測精度クラス分類法の学習は、従来のＡＤＲＣなどのクラス分類による学習と異なり、ＳＤ信号のクラスと対応するＨＤ信号のクラスの組合せが徐々に変化する構造である。これを循環型学習と呼び、図３には、その学習の順序の一例を示す。
【００３１】
まず、学習の対象としてのＳＤ信号全てを含むＳＤ信号領域２１において、全信号から式（２）に基づくＳＤ信号自身のＳＤ予測係数が生成される。この生成には、最小自乗法などが用いられるが、詳しくは後述する。すなわち、このＳＤ信号領域２１では、全ＳＤ信号を１つのクラスとして１組のＳＤ予測係数を用いて、式（４）の演算が行われ、予測誤差Ｅが算出される。この予測誤差Ｅは、式（５）および式（６）によって、２組のクラスに分類され、ＳＤ信号領域２２となる。すなわち、このＳＤ信号領域２２は、予測誤差しきい値判定を使用して、２組のクラスと１組のＳＤ予測係数を有する状態となる。
【００３２】
Ｅ＝｜ＳＤ´−ＳＤ｜・・・（４）
Ｃ0 ：Ｅ≦ＴＨ・・・（５）
Ｃ1 ：Ｅ＞ＴＨ・・・（６）
ＳＤ´：推定ＳＤ画素値
ＳＤ：入力ＳＤ画素値
Ｅ：ＳＤ値の予測誤差
Ｃ0 ：クラス０の予測誤差条件
Ｃ1 ：クラス１の予測誤差条件
ＴＨ：ＳＤ値の予測誤差判定しきい値
【００３３】
次に、ＳＤ画素の空間的位置に対応するＨＤ画素を対応させる。すなわち、ＳＤ信号の生成された２組のクラスに対応してＨＤ信号領域２３も２組のクラスを有する。さらに、ＨＤ信号領域２３では、２組のクラスに対応するＨＤ予測係数が式（１）に基づいて生成される。すなわち、ＨＤ信号領域２３は、２組のクラスと２組のＨＤ予測係数を有する状態となる。
【００３４】
そして、ＨＤ信号領域において、この分類の評価を行う。すなわち、式（１）の予測結果ＨＤ´と真値ＨＤとの予測誤差判定による、ＨＤ信号領域の再分類を行う。具体的には、式（７）により、クラスｉの予測結果ＨＤ´と真値ＨＤとの予測誤差ｅi が検出される。このとき、クラス数は２種類しかないので、式（８）および式（９）によりクラス０とクラス１に再分類され、ＨＤ信号領域２４が得られる。ここで、ＭＩＮi とは、クラスｉのＨＤ予測係数に対する誤差値が最小となるＨＤ画素が再分類されたクラスｉに含まれることを意味する。
【００３５】
ｅi ＝｜ＨＤ´i −ＨＤ｜・・・（７）
Ｃ0 ：ＭＩＮ0 （ｅi ）・・・（８）
Ｃ1 ：ＭＩＮ1 （ｅi ）・・・（９）
ＨＤ´：推定ＨＤ画素値
ＨＤ：入力ＨＤ画素値
ｅi ：クラスｉの予測係数によるＨＤ値の予測誤差
Ｃ0 ：クラス０の選択予測誤差条件
Ｃ1 ：クラス１の選択予測誤差条件
【００３６】
そして、ＳＤ信号領域２５では、再分類されたＨＤ画素の空間的位置に対してＳＤ画素を対応させることで、ＳＤ信号領域における再分類が行われる。さらに、２つのクラスに分類されたＳＤ信号毎に、ＳＤ信号自身のＳＤ予測係数が式（２）に基づいて生成される。次に、上述した式（４）、式（５）および式（６）と同じく予測誤差をしきい値判定することで、２クラスをそれぞれ２つに分類し、合計４クラスが生成され、ＳＤ信号領域２６となる。すなわち、このＳＤ信号領域２６は、４組のクラスと２組のＳＤ予測係数を有する状態となる。
【００３７】
ＨＤ信号領域２７では、ＨＤ信号領域２３と同様にＳＤ画素の空間的位置とＨＤ画素を対応させる。すなわち、ＳＤ信号の生成された４組のクラスに対応してＨＤ信号も４組のクラスが生成される。さらに、ＨＤ信号領域２７では、４組のクラスに対応するＨＤ予測係数が式（１）に基づいて生成される。すなわち、ＨＤ信号領域２７は、４組のクラスと４組のＨＤ予測係数を有する状態となる。
【００３８】
そして、ＨＤ信号領域において、この分類の評価を行う。すなわち、式（１）の予測結果ＨＤ´と真値ＨＤとの予測誤差判定による、ＨＤ信号領域の再分類を行う。具体的には、式（７）により、クラスｉの予測結果ＨＤ´と真値ＨＤとの予測誤差ｅi が検出される。このＨＤ信号領域２８では、クラス数は４種類となるので、式（８）および式（９）を拡張して４クラスとして再分類される。
【００３９】
そして、ＳＤ信号領域２９では、再分類されたＨＤ画素の空間的位置に対してＳＤ画素の位置が対応されることで、ＳＤ信号領域における分類が行われる。さらに、４つのクラスに分類されたＳＤ信号毎に、ＳＤ信号自身のＳＤ予測係数が式（２）に基づいて生成される。次に、上述した式（４）、式（５）および式（６）と同じく予測誤差をしきい値判定することで、４クラスをそれぞれ２つに分類し合計８クラスが生成され、ＳＤ信号領域３０となる。すなわち、このＳＤ信号領域３０は、８組のクラスと４組のＳＤ予測係数を有する状態となる。
【００４０】
ＨＤ信号領域３１では、ＨＤ信号領域２３および２７と同様にＳＤ画素の空間的位置に対してＨＤ画素の位置を対応させる。すなわち、ＳＤ信号の生成された８組のクラスに対応してＨＤ信号も８組のクラスが生成される。さらに、ＨＤ信号領域３１では、８組のクラスに対応するＨＤ予測係数が式（１）に基づいて生成される。すなわち、ＨＤ信号領域３１は、８組のクラスと８組のＨＤ予測係数を有する状態となる。
【００４１】
さらに、ＳＤ信号領域とＨＤ信号領域との循環型学習が行われ、最終的にＨＤ信号領域３２において、上述したように式（７）により、クラスｉの予測結果ＨＤ´と真値ＨＤとの予測誤差ｅi が検出される。このＨＤ信号領域３２では、クラス数はＣＬＡＳＳとなるので、式（８）および式（９）を拡張して再分類される。
【００４２】
そして、ＳＤ信号領域３３では、再分類されたＨＤ画素の空間的位置に対してＳＤ画素の位置が対応されることで、ＳＤ信号領域における分類が行われる。さらに、４つのクラスに分類されたＳＤ信号毎に、ＳＤ信号自身のＳＤ予測係数が式（２）に基づいて生成される。このように、ＳＤ信号領域の予測誤差しきい値判定とＨＤ信号領域の予測誤差判定を繰り返し最終的に所望のクラス数ＣＬＡＳＳに至るまで分類する。
【００４３】
ここで、予測精度クラス分類の学習法をソフトウェアで行う場合の一例を図４のフローチャートに示す。ステップ４１からこのフローチャートは始まり、このステップ４１において、全ＳＤ信号自身の単一クラスのＳＤ予測係数が生成される。このＳＤ予測係数とは、上述した式（２）に用いられるＳＤ自身を予測する予測係数が生成される。さらに、ステップ４１では、クラス数を計数するためのクラス数カウンタＣを初期化、すなわち１とする。ステップ４１からステップ４２へ制御が移ると、ＳＤ信号領域において、上述のＳＤ予測係数を用いた予測誤差しきい値判定が行われ、各クラスが２つに分割される。そして、ステップ４３では、ＳＤ信号のクラスに対応するＨＤ信号のクラスに関して、式（１）に用いられるＨＤ自身を予測するＨＤ予測係数が生成される。
【００４４】
ステップ４４では、各ＨＤ画素に関し、この予測係数の中から予測誤差を最小とするＨＤ予測係数が検出される。その結果、ＨＤ信号領域におけるクラスの再分類が行われる。ステップ４５では、その再分類結果に対応するＳＤ信号の各クラス毎に、式（２）に用いられるＳＤ自身を予測するＳＤ予測係数が生成される。そして、このＳＤ予測係数を用いた予測演算の予測誤差しきい値判定により、ステップ４６において、各クラス内のデータを２つに分類されるので、全ＳＤ信号のクラス数が２倍になる。すなわち、ＳＤ信号領域におけるクラスの再分類が行われる。
【００４５】
ステップ４７では、目的のクラス数ＣＬＡＳＳに達するまでクラス分類、すなわちこの再分類、クラス分類のループを繰り返し行う。ステップ４８では、こうして得られる、ＳＤ自身のＳＤ予測係数と、ＨＤ予測係数は、図１Ｂに示すようにＲＯＭに登録される。
【００４６】
ここで、上述の学習で行われるＳＤ信号領域とＨＤ信号領域における式（１）および式（２）の予測係数の生成法について説明する。式（１）および式（２）の線形一次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の式を考える。
【００４７】
観測方程式；ＸＷ＝Ｙ・・・（１０）
【数１】
この観測方程式により収集されたデータに最小自乗法を適用する。式（１）の例においては、ｎ＝３とし、式（２）の例においては、ｎ＝１６とし、そしてｍが学習データ数とする。そして、式（１０）の観測方程式をもとに、式（１２）の残差方程式を考える。
【００４９】
残差方程式；
【数２】
式（１２）の残差方程式から、各ｗi の最確値は
【数３】
【００５１】
すなわち、式（１３）の条件を考慮すれば良いわけである。
【数４】
式（１３）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（１２）から式（１４）が得られる。
【数５】
さらに、式（１３）および式（１４）により式（１５）が得られる。
【数６】
そして、式（１２）および式（１５）から、正規方程式（１６）が得られる。
【数７】
式（１６）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることが出来る。そして掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。以上が線形１次結合モデルに基づく予測係数を最小自乗法により生成する一例である。
【００５６】
このような学習により、アップコンバータなどにクラス分類適応処理の中の予測精度クラス分類法を用いるために要求される、ＳＤデータとＨＤデータの予測係数の学習を行うことが出来る。こうして、従来よりも高性能なアップコンバータが実現される。
【００５７】
この実施例のクラス分類適応処理の学習法において、アクティビティーの低いものは学習の対象から取り除くようにすることで、より高い精度の学習を行うことができる。
【００５８】
【発明の効果】
この発明に依れば、入力信号自身を予測係数でクラス分類する手法であり、効率良くクラス分類を実現することが可能となり、このための予測係数を予め生成することができる。
【００５９】
また、この発明に依れば、入力信号より高い解像度を有する出力信号を得ることが出来るアップコンバータを実現することが可能となり、さらにそのアップコンバータを用いることによって、クラス分類に応じ、ＨＤ信号への予測性能を向上することができる。
【図面の簡単な説明】
【図１】この発明に係る予測精度クラス分類の説明に用いる略線図である。
【図２】この発明の信号変換装置の一実施例を示すブロック図である。
【図３】この発明のクラス予測係数の学習方法の一例を説明するための略線図である。
【図４】この発明のクラス予測係数の学習方法の一例のフローチャートである。
【図５】ＳＤ信号とＨＤ信号の説明に用いる略線図である。
【図６】補間フィルタを用いた従来のアップコンバータのブロック図である。
【符号の説明】
２、８ ブロック生成部
３ クラス分類部
４ ＨＤ予測係数ＲＯＭ
５ 演算部
７ 制御部
９ ＳＤ予測係数ＲＯＭ
１０ 演算部
１１ 記憶部
１２ クラス決定部
Claims (9)
- 入力信号中の注目画素の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、上記クラスに対応する予測係数と上記注目画素の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理における予測係数の学習方法において、
第１の学習用入力信号中に含まれる注目画素に対して空間的および／または時間的に近傍の複数の参照画素による予測精度に基づいてクラス分類を行い、上記クラス分類に基づいて、各クラスの上記第１の学習用入力信号と対応する、上記第１の学習用信号よりも高品質な第２の学習用信号に対する予測を行い、上記第２の学習用信号に対する予測精度を考慮して、上記クラス分類適応処理におけるクラス分類に利用されるクラス予測係数を生成することを特徴とする予測係数の学習方法。 - 入力信号中の注目画素の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、上記クラスに対応する予測係数と上記注目画素の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理における予測係数の学習方法において、
第１の学習用入力信号中に含まれる注目画素に対して空間的および／または時間的に近傍の複数の参照画素による予測精度に基づいて第１のクラス分類を行うステップと、
上記第１のクラス分類ステップの各クラスの上記第１の学習用入力信号に対応する、上記第１の学習用信号よりも高品質な第２の学習用信号を用いて上記予測精度の評価を行うステップと、
上記予測精度の評価結果に基づき、再び上記第１の学習用入力信号の第２のクラス分類を行うステップとからなり、
上記第１および第２のクラス分類を繰り返すことによって、所望のクラス数までクラス分類を行い、上記分類されたクラス毎に上記クラス分類適応処理のクラス分類に利用されるクラス予測係数および上記予測値を予測するための予測係数を生成する
ことを特徴とする予測係数の学習方法。 - 請求項２に記載の予測係数の学習方法において、
上記予測係数と上記クラス予測係数を生成するときに、上記第２の学習用信号のアクティビティーの小さいデータを学習対象から除外することを特徴とする予測係数の学習方法。 - 請求項２に記載の予測係数の学習方法において、
上記第１のクラス分類ステップは、上記第１の学習用入力信号中に含まれる注目画素に対して空間的および／または時間的に近傍の複数の参照画素による予測精度に対して、しきい値を用いてクラス分類を行うことを特徴とする予測係数の学習方法。 - 請求項２に記載の予測係数の学習方法において、
上記第１のクラス分類ステップの各クラスの上記第１の学習用入力信号に対応する上記第２の学習用信号を用いて上記予測精度の評価を行う場合に、予測誤差比較を用いて評価を行うことを特徴とする予測係数の学習方法。 - 請求項２に記載の予測係数の学習方法において、
上記第１のクラス分類ステップは、上記第１の学習用入力信号中に含まれる注目画素に対して空間的および／または時間的に近傍の複数の参照画素による予測精度に対して、しきい値を用いてクラス分類を行い、
上記第１のクラス分類ステップの各クラスの上記第１の学習用入力信号に対応する上記第２の学習用信号を用いて上記予測精度の評価を行う場合に、予測誤差比較を用いて評価を行う
ことを特徴とする予測係数の学習方法。 - 請求項２に記載の予測係数の学習方法において、
上記第１のクラス分類ステップおよび上記評価ステップは、上記予測係数による予測値と真値との差分絶対値に基づいてクラス分類および評価を行うことを特徴とする予測係数の学習方法。 - 入力信号中の注目位置の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、上記クラスに対応する予測係数と上記注目位置の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理を用いた信号変換装置において、
予め学習された複数のクラス予測係数を出力する第１のメモリ手段と、
入力信号と上記複数のクラス予測係数から予測誤差を演算する手段と、
上記予測誤差が最小となる上記クラス予測係数を決定クラスとして出力する手段と、
上記決定クラスに応じた予測係数を出力する第２のメモリ手段と、
上記入力信号と上記第２のメモリ手段からの上記予測係数とから予測信号を生成する手段と、
を有することを特徴とする信号変換装置。 - 入力信号中の注目位置の空間的および／または時間的に近傍に存在する複数の画素に基づいてクラス分類してクラスを検出し、上記クラスに対応する予測係数と上記注目位置の近傍に存在する複数の画素とを用いた演算を用いて予測値を生成するクラス分類適応処理を用いた信号変換方法において、
第１のメモリから予め学習された複数のクラス予測係数を出力するステップと、
入力信号と上記複数のクラス予測係数から予測誤差を演算するステップと、
上記予測誤差が最小となる上記クラス予測係数を決定クラスとして出力するステップと、
第２のメモリから上記決定クラスに応じた予測係数を出力するステップと、
上記入力信号と上記第２のメモリからの上記予測係数とから予測信号を生成するステップと、
を有することを特徴とする信号変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26484495A JP3671469B2 (ja) | 1995-09-19 | 1995-09-19 | 予測係数の学習方法並びに信号変換装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26484495A JP3671469B2 (ja) | 1995-09-19 | 1995-09-19 | 予測係数の学習方法並びに信号変換装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0983961A JPH0983961A (ja) | 1997-03-28 |
| JP3671469B2 true JP3671469B2 (ja) | 2005-07-13 |
Family
ID=17409005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26484495A Expired - Lifetime JP3671469B2 (ja) | 1995-09-19 | 1995-09-19 | 予測係数の学習方法並びに信号変換装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3671469B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030020094A (ko) * | 2001-09-01 | 2003-03-08 | 엘지전자 주식회사 | 디스플레이 시스템의 해상도 변환 장치 및 방법 |
| JP4238516B2 (ja) | 2002-04-26 | 2009-03-18 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
| JP3702464B2 (ja) | 2002-05-08 | 2005-10-05 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
| US7627198B2 (en) | 2003-05-29 | 2009-12-01 | Sony Corporation | Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods |
| JP4311166B2 (ja) * | 2003-11-05 | 2009-08-12 | ソニー株式会社 | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 |
| KR100700982B1 (ko) * | 2005-05-24 | 2007-03-29 | 삼성전자주식회사 | 영상처리방법과, 영상처리장치와 이를 포함하는영상처리시스템 및 그 제어방법 |
| JP5347862B2 (ja) * | 2008-09-29 | 2013-11-20 | ソニー株式会社 | 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3271101B2 (ja) * | 1993-09-21 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号処理装置および処理方法 |
| JP3590996B2 (ja) * | 1993-09-30 | 2004-11-17 | ソニー株式会社 | ディジタル画像信号の階層符号化および復号装置 |
-
1995
- 1995-09-19 JP JP26484495A patent/JP3671469B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0983961A (ja) | 1997-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100465559B1 (ko) | 신호변환장치및신호변환방법 | |
| WO1994014278A1 (en) | Image signal converter | |
| US8331710B2 (en) | Image processing apparatus and method, learning apparatus and method, and program | |
| JP3669530B2 (ja) | 画像信号変換装置及び画像信号変換方法 | |
| JP3794505B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3864400B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3671469B2 (ja) | 予測係数の学習方法並びに信号変換装置および方法 | |
| JPH0787481A (ja) | 異常検出装置 | |
| JP3859089B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3743077B2 (ja) | 画像信号変換装置および方法 | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3796844B2 (ja) | 画像処理装置、画像処理方法、パラメータ生成装置およびパラメータ生成方法 | |
| JP3669522B2 (ja) | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 | |
| JP4016138B2 (ja) | 画像信号変換装置及び画像信号変換方法 | |
| US8228995B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2007251690A (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JP4131049B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP3543339B2 (ja) | 符号化装置およびその復号装置 | |
| JPH1070709A (ja) | 画像信号変換装置および方法 | |
| JP3772408B2 (ja) | 画像信号変換装置および方法 | |
| JP3856244B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP4235918B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4016140B2 (ja) | 係数生成装置及び係数生成方法 | |
| JP4016139B2 (ja) | 係数生成装置及び係数生成方法 | |
| JPH1056622A (ja) | 画像信号変換装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050411 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080428 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |