JP4352298B2 - 演算装置及び変換装置並びにそれらの方法 - Google Patents

Description

技術分野
本発明は演算装置及び変換装置並びにそれらの方法に関し、例えば第１のデータを当該第１のデータよりも高質な第２のデータに変換する変換装置及びその変換処理に用いられる予測係数を演算する演算装置に適用して好適なものである。
背景技術
様々なディジタル機器が出現する中、信号フォーマットの異なる機器間の接続においては機器間での信号変換を実現する信号変換装置が必要となる。例えば低解像度の画像データを高解像度のモニタで表示する場合には、低解像度の画像データを高解像度の画像データにフォーマット変換する画像データ変換装置が必要となる。従来、この種の画像データ変換装置においては、低解像度の画像データに対して補間フィルタによる周波数補間処理を施して画素補間を行うことにより高解像度の画像データを形成している。
ところで画像データ変換装置としては、低解像度の画像データをその各画素の信号レベル分布に応じたクラスに分類した後、予測係数と呼ばれるデータが予め格納されているメモリからそのクラスに対応する予測係数を読み出し、当該予測係数と低解像度の画像データとから高解像度の画像データを予測演算するいわゆるクラス分類適応処理を採用したアップコンバータがある。
メモリに格納されている予測係数は、学習と呼ばれるデータ処理によって予め生成されている。この予測係数を生成する学習回路は、教師画像としての高解像度の画像データをディジタルフィルタによってダウンコンバートすることにより生徒画像としての低解像度の画像データを生成し、高解像度の画像データと低解像度の画像データとの間で学習を行って予測係数を生成するようになされている。
ところでこのディジタルフィルタの周波数特性は、高解像度の画像データが複数の信号特性を有する場合には、それぞれの信号特性に応じて周波数特性を変えることが望ましい。すなわち低解像度の画像データから高解像度の画像データを生成する際、静止画部分は、視覚的な分解能が向上することから、ディジタルフィルタは解像度を向上させるような周波数特性のものが望ましいのに対して、動画部分は、解像度をあまり向上させると高帯域の不要な信号成分が動いてしまい画質が劣化することから、ディジタルフィルタは解像度の向上を抑えるような周波数特性のものが望ましい。
従って、１つのディジタルフィルタを用いて高解像度の画像データを低解像度の画像データにダウンコンバートして予測係数を生成する場合には、高解像度の画像データが複数の信号特性を有すると、それぞれの信号特性に応じた予測係数を生成することができず、その結果、低解像度の画像データから高解像度の画像データを生成する際、画質の向上を妨げる問題があった。
また、静止画部分及び動画部分でディジタルフィルタの周波数特性を変えることに限らず、他の要因によってもディジタルフィルタの周波数特性を変える方が良い場合があった。
発明の開示
本発明は以上の点を考慮してなされたもので、従来に比して一段と第１のデータの特徴に合った変換処理を行うための予測係数を演算する演算装置及び当該演算装置によって演算された予測係数を用いて第２のデータを生成する変換装置並びにそれらの方法を提案しようとするものである。
かかる課題を解決するため本発明においては、第１の画像データを、第１の画像データより高質な第２の画像データに変換するための予測係数を演算する演算装置において、第１の画像データより高質な教師画像データを、その特徴に基づいて複数のクラスに分類するクラス決定部と、クラス決定部で決定されたクラス毎に異なるフィルタ処理を、教師画像データに対して行うことで、第１の画像データと同質の生徒画像データを生成する生徒画像データ生成部と、生徒画像データと教師画像データとに基づいて予測係数を生成する予測係数生成部とを設けるようにする。
クラス毎に異なるフィルタ処理を教師画像データに対して行うことにより、第１の画像データ及び教師画像データの特徴に合った生徒画像データが生成される。この生徒画像データ及び教師画像データに基づいて予測係数を生成することにより、第１の画像データ及び教師画像データの特徴に合った予測係数が生成される。
この予測係数を、変換装置において第１の画像データの特徴に合わせて用いることにより、第１の画像データから第２の画像データを変換するにつき、第１の画像データの特徴に合った変換処理を行うことができる。
発明を実施するための最良の形態
以下図面について、本発明の一実施例を詳述する。
（１）クラス分類適応処理の原理
ここで図１は、クラス分類適応処理を実現するアップコンバータ５１の回路構成を示す。アップコンバータ５１では、外部から供給される例えば８ビットのパルス符号変調（ＰＣＭ：Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）データでなるＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）画像データＳ５１がクラス分類部５２及び予測演算部５３に入力される。クラス分類部５２は、例えば図２に示すように、ＳＤ画像データＳ５１のうち注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計７画素（タップ）をクラス分類用の画素（以下、これをクラスタップと呼ぶ）として設定し、それら画素の信号レベル分布に基づいてクラスコードＳ５２を生成する。因みに、図中実線は第１フィールドを示し、点線は第２フィールドを示す。
このクラス分類部５２によってクラスコードＳ５２を生成する方法としては、ＰＣＭデータを直接使用する（すなわちＰＣＭデータをそのままクラスデータＳ５２とする）方法や、ＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）等のデータ圧縮方法を用いてクラス数を削減するような方法が考えられる。このうちＰＣＭデータをそのままクラスコードＳ５２とする方法では、クラスタップとして８ビットのＰＣＭデータを７タップ用いることから、クラス数が２^５６という膨大な数となり、回路規模が大きくなる。
そこで、クラス分類部５２は、ＡＤＲＣのようなデータ圧縮処理（すなわち再量子化処理）を施すことによりクラス数を削減するようになされている。このＡＤＲＣによる分類法は、注目画素を中心とする近傍領域内の数タップからＡＤＲＣコードを、次式

によって求め、当該ＡＤＲＣコードに基づいてクラスコードＳ５２を生成する手法を用いている。ここで、ｃ_ｉはＡＤＲＣコード、ｘ_ｉは各クラスタップの入力画素値、ＭＩＮはＡＤＲＣにおけるブロックにある各クラスタップの入力画素値のうちの最小画素値、ＤＲは領域内のダイナミックレンジ（最大画素値と最小画素値との差分）、ｋは再量子化ビット数である。
すなわちＡＤＲＣによる分類法は、領域内のダイナミックレンジから再量子化ビット数に応じた量子化ステップ幅を算出し、入力画素値から最小画素値を減算した画素値を量子化ステップ幅に応じて再量子化するものである。例えば領域内の７タップにおいて各クラスタップを１ビットに再量子化する１ビットＡＤＲＣを行う場合では、領域内のダイナミックレンジに基づいて７タップの各入力画素値を適応的に１ビット量子化し、その結果、７タップの入力画素値を７ビットのデータに削減することができるので、全体としてクラス数を１２８クラスにまで削減することができる。この１ビットＡＤＲＣについては、特開平７−８７４８１号及びその対応米国特許第５４８８６１８号に開示されている。
図１に戻って、予測係数ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５４は、後述する学習回路６０によって予め生成された各クラス毎に対応する予測係数データＳ５３を格納しており、クラス分類部５２から供給されるクラスコードＳ５２に応じた予測係数データＳ５３を読み出し、これを予測演算部５３に送出する。予測演算部５３は、例えば図３に示すように、外部から入力されるＳＤ画像データＳ５１のうち、注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計１３タップを予測演算用の画素（以下、これを予測タップと呼ぶ）として選定し、当該予測タップの各画素値と予測係数データＳ５３とを用いて、線形一次結合でなる次式

によって表される積和演算を行うことにより、予測タップには存在しないＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画素の集まりであるＨＤ画像データＳ５４を生成し、これを外部に出力する。ここで、ｘ′は各ＨＤ画素値、ｘ_ｉは各予測タップの画素値、ｗ_ｉは予測係数、ｎは予測タップ数であり、この場合ｎは１３である。
ところで図４は、予測係数ＲＯＭ５４に格納されている予測係数データを生成する学習回路６０の回路構成を示し、当該学習回路６０は、予測係数データを予め生成して、これを予測係数ＲＯＭ５４に格納するようになされている。学習回路６０では、教師信号としてのＨＤ画像データＳ６０が垂直間引きフィルタ６１及び予測係数算出回路６２に入力される。学習回路６０は、ＨＤ画像データＳ６０を垂直間引きフィルタ６１及び水平間引きフィルタ６２によって間引くことにより、生徒信号としてのＳＤ画像データＳ６１を生成し、これをクラス分類部６４及び予測係数算出回路６２に入力するようになされている。
クラス分類部６４は、図１に示すアップコンバータのクラス分類部５２と同様の構成でなり、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラスコードＳ６２を生成し、これを予測係数算出回路６２に送出する。予測係数算出回路６２は、ＨＤ画像データＳ６０及びＳＤ画像データＳ６１を基に、クラスコードＳ６２が示すクラスに応じた予測係数をクラス毎に算出し、その結果得た予測係数データＳ６３を予測係数ＲＯＭ５４に格納する。
この場合、予測係数算出回路６２は、上述の（２）式における予測係数ｗを最小自乗法によって求めるようになされている。具体的には予測係数算出回路６２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素値として、いわゆる観測方程式と呼ばれる次式
ＸＷ＝Ｙ ．．．．．（３）
但し

を生成するように各データを収集する。ここでｍは予測するＨＤ画素の画素数を示す学習データ数、ｎは予測タップ数である。
次に予測係数算出回路６２は、この（３）式を基に、次式
ＸＷ＝Ｙ＋Ｅ ．．．．．（４）
但し、

に示す残差方程式を立てる。従って各予測係数ｗ_ｉは、この（４）式から、次式

が最小のときに最適な値となることがわかる。すなわち次式

を満たすように予測係数ｗ_ｉが算出される。
そこで予測係数算出回路６２は、このｎ個ある（６）式を満たすようなｗ_１、ｗ_２、……、ｗ_ｎを算出すればよいことになり、上述の（４）式から、次式

を得、これら（６）及び（７）式から、次式

を求める。そして予測係数算出回路６２は、上述の（４）及び（８）式から、次式

によって表される正規方程式を生成する。このようにして予測係数算出回路６２は、予測タップ数ｎと同一次数の連立方程式でなる正規方程式を生成し、掃き出し法（Ｇａｕｓｓ Ｊｏｒｄａｎの消去法）を用いてこの正規方程式を解くことにより、各予測係数ｗ_ｉを算出する。
以下、学習回路６０による予測係数生成手順について図５に示すフローチャートを用いて説明する。ステップＳＰ６１から入ったステップＳＰ６２において、学習回路６０は、教師信号としてのＨＤ画像データＳ６０から生徒信号としてのＳＤ画像データＳ６１を生成することにより、予測係数を生成するのに必要な学習データを生成すると共に、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラス分類を行う。
そして、ステップＳＰ６３において、学習回路６０は、予測係数を生成するのに必要十分な数の学習データが得られたか否か判定し、その結果、未だ必要十分な学習データが得られていないと判断された場合にはステップＳＰ６３において否定結果を得ることによりステップＳＰ６５に移行する。
ステップＳＰ６５において、学習回路６０は、各クラス毎に上述の（９）式でなる正規方程式を生成し、ステップＳＰ６２に戻って同様の処理手順を繰り返すことにより、予測係数を生成するのに必要十分な正規方程式を生成する。
これに対してステップＳＰ６３において肯定結果が得られると、このことは必要十分な学習データが得られたことを表しており、このとき学習回路６０はステップＳＰ６６に移って、上述の（９）式でなる正規方程式を掃き出し法によって解くことにより、予測係数ｗ_１、ｗ_２、……、ｗ_ｎを各クラス毎に生成する。そしてステップＳＰ６７において、学習回路６０は、生成した各クラス毎の予測係数ｗ_１、ｗ_２、……、ｗ_ｎを予測係数ＲＯＭ５４に格納し、ステップＳＰ６８に移って処理を終了する。
（２）第１の実施例
学習回路は、教師画像としてのＨＤ画像データを生徒画像としてのＳＤ画像データにダウンコンバートし、これらＨＤ画像データとＳＤ画像データとの間で学習を行うことにより各クラス毎の予測係数を生成するようになされている。以下、学習回路６０による予測係数生成手順について図６に示すフローチャートを用いて説明する。
ステップＳＰ７１から入ったステップＳＰ７２において、学習回路は、教師画像としてのＨＤ画像データから生徒画像としてのＳＤ画像データを生成することにより、予測係数を生成するのに必要な学習データを生成する。このステップＳＰ７２において、学習回路は、図７に示すように、通過帯域の異なる複数のダウンフィルタＦ１〜Ｆ４を使って１つのＨＤ画像データＨＤから複数のＳＤ画像データＳＤ１〜ＳＤ４を生成する。この場合、ダウンフィルタＦ１の通過帯域が最も高く、ダウンフィルタＦ２、Ｆ３及びＦ４の順に通過帯域が低くなるように設定されている。
ステップＳＰ７３において、学習回路は、予測係数を生成するのに必要十分な数の学習データが得られたか否かを判定し、その結果、未だ必要十分な学習データが得られていないと判断された場合にはステップＳＰ７３において否定結果を得ることによりステップＳＰ７５に移る。
ステップＳＰ７５において、学習回路は、各ＳＤ画像データＳＤ１〜ＳＤ４ごとに上述の（９）式でなる正規方程式を生成し、ステップＳＰ７２に戻って同様の処理手順を繰り返すことにより、予測係数を生成するのに必要十分な数の正規方程式を生成する。
これに対してステップＳＰ７３において肯定結果が得られると、このことは必要十分な数の学習データが得られたことを表しており、このとき学習回路はステップＳＰ７６に移って、上述のステップＳＰ７５において生成された正規方程式を掃き出し法によって解くことにより、各ＳＤ画像データＳＤ１〜ＳＤ４ごとに予測係数を生成する。
このステップＳＰ７６の処理において、学習回路は、図８に示すように、ＨＤ画像データＨＤとＳＤ画像データＳＤ１との間で学習ＳＴ１を行うことにより予測係数Ｙ１を生成し、これを係数メモリＭ１に格納する。以下、同様に学習回路は、ＨＤ画像データＨＤとＳＤ画像データＳＤ２〜ＳＤ４との間でそれぞれ学習ＳＴ２〜ＳＴ４を行うことにより予測係数Ｙ２〜Ｙ４をそれぞれ生成し、これらを係数メモリＭ２〜Ｍ４にそれぞれ格納する。
ここでダウンフィルタＦの周波数特性は、ＨＤ画像データＨＤのうち動きの小さい領域に対しては通過帯域を高く、動きの大きい領域に対しては通過帯域を低くすることが望ましい。従って学習回路は、図６のステップＳＰ７７において、ＨＤ画像データＨＤをその動きの度合いに応じて４つの動きクラスＣ１〜Ｃ４に分類し、係数メモリＭ１に格納されている予測係数Ｙ１のうち動きクラスＣ１に対応するものを予測係数メモリＭ５に格納する。同様に、係数メモリＭ２に格納されている予測係数Ｙ２のうち動きクラスＣ２に対応するものを係数メモリＭ５に格納し、係数メモリＭ３に格納されている予測係数Ｙ３のうち動きクラスＣ３に対応するものを係数メモリＭ５に格納し、係数メモリＭ４に格納されている予測係数Ｙ４のうち動きクラスＣ４に対応するものを係数メモリＭ５に格納することにより係数メモリＭ５への予測係数の登録を行い、続くステップＳＰ７８において予測係数生成手順を終了する。
図９は、学習によって生成された係数メモリＭ５を採用したアップコンバータ１００の構成を示す。アップコンバータ１００は、入力されるＳＤ画像データＳ１００をクラス分類部１０１及びディレイ回路１０２に入力する。クラス分類部１０１は、ＳＤ画像データＳ１００をクラス分類することによりクラスコードＳ１０１を発生し、これを係数メモリＭ５に送出する。
係数メモリＭ５は、供給されたクラスコードＳ１０１に基づいて、動きクラスＣ１〜Ｃ４のうちクラスコードＳ１０１に応じた動きクラスＣの予測係数を読み出し、その予測係数データＳ１０２をマッピング回路１０３に送出する。ディレイ回路１０２は、ＳＤ画像データＳ１００を所定時間遅延し、マッピング回路１０３に送出する。マッピング回路１０３は、ＳＤ画像データＳ１００と予測係数データＳ１０２との積和演算を行うことによりＨＤ画像データＳ１０３を生成し、外部に出力するようになされている。
以上の構成において、学習回路は、通過帯域の異なる複数のダウンフィルタＦ１〜Ｆ４を使って１つのＨＤ画像データＨＤから複数のＳＤ画像データＳＤ１〜ＳＤ４を生成した後、ＨＤ画像データＨＤとＳＤ画像データＳＤ１〜ＳＤ４との間でそれぞれ学習を行って予測係数Ｙ１〜Ｙ４をそれぞれ生成し、当該予測係数Ｙ１〜Ｙ４のうち動きクラスＣ１〜Ｃ４に相当するものをそれぞれ抽出して係数メモリＭ５に格納することにより、ＨＤ画像データＨＤの動きに応じた予測係数を係数メモリＭ５に格納することになる。かくして、ＳＤ画像データＳ１００の動きに応じた予測係数を用いてＨＤ画像データＳ１０３を生成することになり、従来のように１つのダウンフィルタによって生成された予測係数を用いてマッピングを行う場合に比して、ＨＤ画像データＳ１０３の画質が向上する。
以上の構成によれば、通過帯域の異なる複数のダウンフィルタＦ１〜Ｆ４を使って複数の予測係数Ｙ１〜Ｙ４をそれぞれ生成し、当該予測係数Ｙ１〜Ｙ４の中から動きクラスＣ１〜Ｃ４に相当するものを抽出して係数メモリＭ５に格納することにより、ＳＤ画像データＳ１００の動きを考慮した予測係数を用いてＨＤ画像データＳ１０３を生成することができ、かくして従来に比して一段とＨＤ画像データＳ１０３の画質を向上し得る。
（３）第２の実施例
図７との対応部分に同一符号を付して示す図１０は、第２の実施例によるダウンコンバータ１１０の構成を示す。ダウンコンバータ１１０は、教師画像としてのＨＤ画像データＨＤをスイッチＳＷ１及びクラス分類部１１１に入力する。クラス分類部１１１は、ＨＤ画像データＨＤをその動き量に応じた動きクラスＣ１〜Ｃ４に分類することによりクラスデータＳ１１０を生成し、これをスイッチＳＷ１及びＳＷ２に供給する。この場合、クラス分類部１１１は、最も動き量が小さいものを動きクラスＣ１に分類し、当該動き量が大きくなることに応じて動きクラスＣ２〜Ｃ４に分類し、最も動き量の大きいものを動きクラスＣ４に分類する。なお、動き量によってクラス分類を行う画像信号変換装置は、特開平９−７４５４３号に記載されている。
スイッチＳＷ１及びＳＷ２は、供給されるクラスデータＳ１１０が示す動きクラスＣに基づいて画素毎に通過帯域の異なる複数のダウンフィルタＦ１〜Ｆ４を適応的に切り換えながら選択する。ダウンコンバータ１１０は、切り換えられたダウンフィルタＦによってＨＤ画像データＨＤをダウンコンバートすることにより１つのＳＤ画像データＳＤを生成する。その際、ＨＤ画像データＨＤの動き量が小さい場合には、通過帯域が高いダウンフィルタＦ１を選択し、動き量が大きくなることに応じて通過帯域の低いダウンフィルタＦ２〜Ｆ４を選択する。このようにダウンコンバータ１１０は、ＨＤ画像データＨＤの動き量に応じてダウンフィルタＦを適応的に切り換えながらＳＤ画像データＳＤを生成する。
次いで図１１に示すように、学習回路は、教師画像としてのＨＤ画像データＨＤと生徒画像としてのＳＤ画像データＳＤとの間で学習ＳＴを行うことにより予測係数Ｙを生成し、これを係数メモリＭに格納する。
図９との対応部分に同一符号を付して示す図１２は、上述の係数メモリＭを使ったアップコンバータ１２０の構成を示す。アップコンバータ１２０は、入力されるＳＤ画像データＳ１００をクラス分類部１０１及びディレイ回路１０２に入力する。クラス分類部１０１は、ＳＤ画像データＳ１００をクラス分類することによりクラスコードＳ１０１を発生し、これを係数メモリＭに送出する。
係数メモリＭは、供給されたクラスコードＳ１０１に基づいて予測係数を読み出し、その予測係数データＳ１２０をマッピング回路１０３に送出する。ディレイ回路１０２は、ＳＤ画像データＳ１００を所定時間遅延し、マッピング回路１０３に送出する。マッピング回路１０３は、ＳＤ画像データＳ１００と予測係数データＳ１２０との積和演算を行うことにより、ＨＤ画像データＳ１２１を生成し、外部に出力するようになされている。 ここでアップコンバータ１２０のクラス分類部１０１（図１２）によるクラス分類について図１３を用いて説明する。クラス分類部１０１は、ＳＤ画像データのうち、同一フィールド内に存在する９画素と、当該９画素と同一位置に存在する１フレーム前の９画素に注目して、各画素のフレーム間差分をそれぞれ求めた上でそれらの絶対値和をとり、当該絶対値和を閾値に基づいて判定することによりＳＤ画像データを４クラスに分類する。
続いてダウンコンバータ１１０のクラス分類部１１１（図１０）によるクラス分類について図１４を用いて説明する。クラス分類部１１１は、ＳＤ画像データの４倍の画素数を有するＨＤ画像データをクラス分類することから、ＳＤ画像データの場合と同一の面積でなる領域から１画素おきに９画素を抽出して、その各画素のフレーム間差分の絶対値和をとることにより４クラスに分類する。
従って、ＳＤ画像データをアップコンバータ１２０のクラス分類部１０１によって分類したクラスと、当該ＳＤ画像データと対応関係にあるＨＤ画像データをダウンコンバータ１１０のクラス分類部１１１によって分類したクラスとは、同一とはならない場合があるが、ほぼ同一の領域のクラスタップを抽出してクラス分類していることから、両クラス間の不整合はほとんどなく無視できる程度である。
以上の構成において、ダウンコンバータ１１０は、ＨＤ画像データＨＤの動き量に応じて複数の周波数特性のダウンフィルタＦを適応的に切り換えながら、ＨＤ画像データＨＤをダウンコンバートすることにより１つのＳＤ画像データＳＤを生成する。学習回路は、これらＨＤ画像データＨＤとＳＤ画像データＳＤとの間で学習ＳＴ行うことにより予測係数を生成し、係数メモリＭに格納する。
ところでアップコンバータ１００のクラス分類部１０１は、全てのＳＤ画像データＳ１００について完全に正しくクラス分類し得るわけではなく、実際上は、完全なクラス分類は困難である。従って、上述の第１の実施例によるアップコンバータ１００では、同じような信号レベル分布のＳＤ画像データＳ１００からＨＤ画像データＳ１０３を生成する場合であっても、クラス分類が正確に行われずに、全く周波数特性の異なるダウンフィルタＦを用いて生成された予測係数によってマッピングするおそれがあり、その際、予測係数の値が大きく変化してしまい、生成されるＨＤ画像データＳ１０３の画質が劣化することがある。
これに対して、第２の実施例によるアップコンバータ１２０では、同じような信号レベル分布のＳＤ画像データＳ１００を異なるクラスに分類しても、予測係数が大きく変化することはなく、その結果、生成されるＨＤ画像データＳ１２１の画質が劣化することがなくなる。
また学習ＳＴを行う際には、生徒画像として１つのＳＤ画像データＳＤを用いるだけで済むため、学習ＳＴにかかる時間が短縮される。
以上の構成によれば、ＨＤ画像データＨＤをクラス分類してそのクラスに応じて複数の周波数特性のダウンフィルタＦを適応的に切り換えながら、ＨＤ画像データＨＤをＳＤ画像データＳＤに変換して予測係数を生成することにより、マッピング時に、使用される予測係数がＳＤ画像データＳ１００のクラスによって大きく変化することを回避することができ、従って第１の実施例の場合に比して一段と画質を向上し得る。
（４）他の実施例
なお上述の実施例においては、本発明をＳＤ画像データＳ１００からＨＤ画像データＳ１０３及びＳ１２１を生成する画像データ変換装置に適用した場合について述べたが、本発明はこれに限らず、要は、第１のデータから第２のデータを生成するデータ変換装置に本発明を広く適用し得る。
また上述の実施例においては、予測データの生成に学習回路を適用した場合について述べたが、本発明はこれに限らず、要は、第２の画像データに対応する教師画像データから通過帯域の異なる複数のフィルタを用いて予測データを生成すれば良い。
また上述の実施例においては、予測データ記憶機能として係数メモリＭ５及びＭを適用した場合について述べたが、本発明はこれに限らず、要は、予測データを記憶するものであれば良い。
また上述の実施例においては、クラスの決定にクラス分類部１０１を適用した場合について述べたが、本発明はこれに限らず、要は、第１の画像データから注目画素を含む複数の画素を抽出し、その抽出された複数の画素から注目画素に対するクラスを決定すれば良い。
また上述の実施例においては、読出しの制御に係数メモリＭ５及びＭを適用した場合について述べたが、本発明はこれに限らず、要は、決定されたクラスに応じた予測データを予測データ記憶部から読み出せば良い。
また上述の実施例においては、画素データの発生にマッピング回路１０３を適用した場合について述べたが、本発明はこれに限らず、要は、予測データ記憶部から読み出された予測データから第２の画像データの注目画素を発生すれば良い。
また上述の実施例においては、本発明を画像データ変換装置に適用する場合について述べたが、本発明はこれに限らず、例えば音声等近接する複数のデータ間（波形）に関連性のあるデータに対して適用して好適である。
さらに上述の実施例においては、本発明によるクラス分類適応処理をＳＤ−ＨＤ変換のように画素数（空間解像度）を変換する場合に適用したが、本発明はこれに限らず、特開平５−１６７９９１号公報に開示されているように時間解像度を創造する場合、特開平１０−３１３２５１号公報に開示されているようにサンプリング周波数を高くして音質を改善する場合、特開平７−８５２６７号公報に開示されているように量子化ビット数を多くして情報量の増加に対応した信号を生成することにより空間解像度を高くする場合、特願平１０−１２３０２１号で提案されているように画像のぼけを改善する場合にそれぞれ適用することができる。
上述のように本実施例によれば、第２の画像データに対応する教師画像データから通過帯域の異なる複数のフィルタを用いて予測データを生成することにより、第１の画像データの特徴に応じた予測データを用いて第２の画像データを生成することができ、かくして従来に比して一段と画質を向上し得る。
産業上の利用可能性
例えば低解像度の画像データから高解像度の画像データを生成する画像データ変換装置及びその変換処理に用いられる予測係数を演算する装置に適用して好適なものである。
【図面の簡単な説明】
図１は、アップコンバータの構成を示すブロック図である。
図２は、クラスタップ配置例を示す略線図である。
図３は、予測タップ配置例を示す略線図である。
図４は、学習回路の構成を示すブロック図である。
図５は、予測係数生成手順を示すフローチャートである。
図６は、第１の実施例の予測係数生成手順を示すフローチャートである。
図７は、本発明によるダウンコンバートの第１の実施例の説明に供する略線図である。
図８は、本発明による学習方法と係数メモリの第１の実施例の説明に供する路線図である。
図９は、本発明によるアップコンバータの第１の実施例を示すブロック図である。
図１０は、本発明によるダウンコンバートの第２の実施例の説明に供する略線図である。
図１１は、本発明による学習方法と係数メモリの第２の実施例の説明に供する略線図である。
図１２は、本発明によるアップコンバータの第２の実施例を示すブロック図である。
図１３は、マッピング時のクラスタップ配置例を示す路線図である。
図１４は、ダウンコンバート時のクラスタップ配置例を示す路線図である。

Claims (21)

1. 第１の画像データを、上記第１の画像データより高質な第２の画像データに変換するための予測係数を演算する演算装置において、
   上記第１の画像データより高質な教師画像データを、その特徴に基づいて複数のクラスに分類するクラス決定部と、
   上記クラス決定部で決定されたクラス毎に異なるフィルタ処理を、上記教師画像データに対して行うことで、上記第１の画像データと同質の生徒画像データを生成する生徒画像データ生成部と、
   上記生徒画像データと上記教師画像データとに基づいて上記予測係数を生成する予測係数生成部と
   を具え、
   上記生徒画像データ生成部は、上記クラス決定部で決定された上記クラス毎に異なる通過帯域を有する上記フィルタ処理を上記教師画像データに対して行う
   ことを特徴とする演算装置。
2. 上記第２の画像データ及び上記教師画像データは、上記第１の画像データより解像度が高い
   ことを特徴とする請求項１に記載の演算装置。
3. 上記第２の画像データ及び上記教師画像データは、上記第１の画像データより画素数が多い
   ことを特徴とする請求項１に記載の演算装置。
4. 上記第２の画像データと上記教師画像データは、同じ画素数である
   ことを特徴とする請求項２に記載の演算装置。
5. 上記予測係数生成部は、上記生徒画像データと上記教師画像データとの間で学習を行うことで上記予測係数を生成する
   ことを特徴とする請求項１に記載の演算装置。
6. 上記予測係数生成部は、上記クラス毎に異なる予測係数を生成する
   ことを特徴とする請求項１に記載の演算装置。
7. 上記生徒画像データ生成部は、上記クラス決定部で決定されたクラス毎に異なる通過帯域のダウンフィルタを用いてフィルタ処理を行うことで、上記生徒画像データを生成する
   ことを特徴とする請求項６に記載の演算装置。
8. 上記クラス決定部は、上記教師画像データの動きを上記特徴として、上記教師画像データを上記複数のクラスのいずれかに分類する
   ことを特徴とする請求項１に記載の演算装置。
9. 第１の画像データを、第１の画像データより高質な第２の画像データに変換するための予測係数を演算する演算方法において、
   上記第１の画像データより高質な教師画像データを、その特徴に基づいて複数のクラスに分類するステップと、
   上記複数のクラスに分類するステップにおいて決定された上記クラス毎に異なる通過帯域を有する上記フィルタ処理を上記教師画像データに対して行うことにより、当該分類されたクラス毎に異なるフィルタ処理を、上記教師画像データに対して行うことで、上記第１の画像データと同質の生徒画像データを生成するステップと、
   上記生徒画像データと上記教師画像データとに基づいて上記予測係数を生成するステップと
   を具えることを特徴とする演算方法。
10. 第１の画像データを、上記第１の画像データより高質な第２の画像データに変換する変換装置において、
    複数のクラスの各クラス毎に予測係数を記憶する記憶部と、
    上記第１の画像データをその特徴に基づいて上記複数のクラスのいずれかに対応するかを決定するクラス決定部と、
    上記クラス決定部で決定されたクラスに対応する予測係数に基づいて、上記第１の画像データを上記第２の画像データに変換する変換部とを具え、
    上記記憶部に記憶されている上記予測係数は、
    上記第１の画像データより高質な教師画像データを、その特徴に基づいて複数のクラスに分類するステップと、
    上記分類されたクラス毎に異なるフィルタ処理を上記教師画像データに対して行うことで、上記第１の画像データと同質の生徒画像データを生成するステップと、
    上記生徒画像データと上記教師画像データとに基づく学習を行うステップと
    を予め行うことにより生成され、
    上記生徒画像データを生成するステップでは、上記複数のクラスに分類するステップで決定された上記クラス毎に異なる通過帯域を有する上記フィルタ処理が上記教師画像データに対して行われる
    ことを特徴とする変換装置。
11. 上記第２の画像データ及び上記教師画像データは、上記第１の画像データより解像度が高い
    ことを特徴とする請求項１０に記載の変換装置。
12. 上記第２の画像データ及び上記教師画像データは、上記第１の画像データより画素数が多い
    ことを特徴とする請求項１０に記載の変換装置。
13. 上記第２の画像データと上記教師画像データは、同じ画素数である
    ことを特徴とする請求項１１に記載の変換装置。
14. 第１のデータを、上記第１のデータより高質な第２のデータに変換するための予測係数を演算する演算装置において、
    上記第１のデータより高質な教師データを、その特徴に基づいて複数のクラスに分類するクラス決定部と、
    上記クラス決定部で決定されたクラス毎に異なるフィルタ処理を、上記教師データに対して行うことで、上記第１のデータと同質の生徒データを生成する生徒データ生成部と、
    上記生徒データと上記教師データとに基づいて上記予測係数を生成する予測係数生成部と
    を具え、
    上記生徒データ生成部は、上記クラス決定部で決定された上記クラス毎に異なる通過帯域を有する上記フィルタ処理を上記教師データに対して行う
    ことを特徴とする演算装置。
15. 上記第１のデータは、第１のデータ数であり、上記第２のデータは上記第１のデータ数より多い第２のデータ数であり、上記教師データは、上記第１のデータ数より多い第３のデータ数である
    ことを特徴とする請求項１４に記載の演算装置。
16. 上記第２のデータ数と上記第３のデータ数は同じである
    ことを特徴とする請求項１５に記載の演算装置。
17. 上記第１のデータ、上記第２のデータ及び上記教師データは、画像データである
    ことを特徴とする請求項１４に記載の演算装置。
18. 上記予測係数生成部は、上記生徒データと上記教師データとの間で学習を行うことで上記予測係数を生成する
    ことを特徴とする請求項１４に記載の演算装置。
19. 上記予測係数生成部は、上記クラス毎に異なる予測係数を生成する
    ことを特徴とする請求項１４に記載の演算装置。
20. 上記生徒データ生成部は、上記クラス決定部で決定されたクラス毎に異なる通過帯域のダウンフィルタを用いてフィルタ処理を行うことで、上記生徒データを生成する
    ことを特徴とする請求項１９に記載の演算装置。
21. 第１のデータを、上記第１のデータより高質な第２のデータに変換するための予測係数を演算する演算方法において、
    上記第１のデータより高質な教師データを、その特徴に基づいて複数のクラスに分類するステップと、
    上記複数のクラスに分類するステップにおいて決定された上記クラス毎に異なる通過帯域を有する上記フィルタ処理を上記教師画像データに対して行うことにより、当該分類されたクラス毎に異なるフィルタ処理を、上記教師データに対して行うことで、上記第１のデータと同質の生徒データを生成するステップと、
    上記生徒データと上記教師データとに基づいて上記予測係数を生成するステップと
    を具えることを特徴とする演算方法。

Images