JP4696388B2 - 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば解像度アップ、ノイズ抑圧、復号化、信号形式の変換などの機能の処理を行う情報信号処理装置および情報信号処理方法に関する。詳しくは、複数の機能の中から一の機能を選択するパラメータの値に対応して、第１の情報信号を構成する情報データの中から第２の情報信号を構成する情報データを生成することによって、単一の装置により複数の機能の処理を実現できるようにした情報信号処理装置等に係るものである。
【０００２】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する際に適用して好適な情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、係数データ生成装置および生成方法、並びに情報記録媒体に関する。詳しくは、第１の情報信号を第２の情報信号に変換する際に、第２の情報信号を複数種類のパラメータの値に対応して生成することによって、第２の情報信号によって得られる出力の質、例えば画質の調整を複数の軸で自由に行い得るようにした情報信号処理装置等に係るものである。
【０００３】
【従来の技術】
近年、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようなテレビ受信機の開発が望まれ、この要望に応えて、いわゆるハイビジョンが開発された。ハイビジョンの走査線数は、ＮＴＳＣ方式の走査線数が５２５本であるのに対して、２倍以上の１１２５本である。また、ハイビジョンの縦横比は、ＮＴＳＣ方式の縦横比が３：４であるのに対して、９：１６となっている。このため、ハイビジョンでは、ＮＴＳＣ方式に比べて、高解像度で臨場感のある画像を表示することができる。
【０００４】
ハイビジョンはこのように優れた特性を有するが、ＮＴＳＣ方式のビデオ信号をそのまま供給しても、ハイビジョン方式による画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョンとでは規格が異なるからである。
【０００５】
そこで、ＮＴＳＣ方式のビデオ信号に応じた画像をハイビジョン方式で表示するため、本出願人は、先に、ＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換するための変換装置を提案した（特願平６−２０５９３４号参照）。この変換装置では、ＮＴＳＣ方式のビデオ信号から、ハイビジョンのビデオ信号に係る注目画素に対応するブロック（領域）の画素データを抽出し、このブロックの画素データのレベル分布パターンに基づいて上記注目画素のクラスを決定し、このクラスに対応して上記注目画素の画素データを生成するようになっている。
【０００６】
また、本出願人は、上述した変換装置と同様の構成で、コンポジット信号からコンポーネント信号に変換する変換装置（特開２０００−１３８９５０号参照）、ＭＰＥＧ(Moving Picture Experts Group)画像信号をデコードする装置（特願２０００−１３５３５６号参照）などを提案した。
【０００７】
【発明が解決しようとする課題】
上述したＮＴＳＣ方式のビデオ信号からハイビジョンのビデオ信号に変換する変換装置においては、ハイビジョンのビデオ信号による画像の解像度は固定されており、従来のコントラストやシャープネス等の調整のように、画像内容等に応じて所望の解像度とすることができなかった。
また、上述した従来の各装置は、それぞれ単一の機能の処理を行うものであり、効率的でなかった。
【０００８】
この発明は、単一の装置により複数の機能の処理を実現し得る情報信号処理装置等を提供することを目的とする。また、この発明は、例えば画像の画質の調整を、水平解像度と垂直解像度、ノイズ除去度と水平／垂直解像度等のような複数の軸で自由に行い得るようにした情報信号処理装置等を提供することを目的とする。
【００１１】
【課題を解決するための手段】
この発明においては、第１の情報信号が入力され、この第１の情報信号に対して、複数の機能の中から選択された一の機能の処理が行われて第２の情報信号が生成され、この第２の情報信号が出力される。この場合、複数の機能の中から一の機能を決定するパラメータの値が入力される。例えば、情報信号が画像信号である場合、複数の機能は、解像度アップ、ノイズ抑圧、復号化、信号形式の変換などである。
【００１２】
このように入力されたパラメータの値に対応して、第１の情報信号を構成する情報データから第２の情報信号を構成する情報データが生成される。これにより、入力されるパラメータの値によって、機能の切り換えが行われることとなる。つまり、単一の装置により複数の機能の処理を実現できる。
【００１３】
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、この第１のデータ選択手段で選択された複数の第１の情報データに基づいて、上記注目点が属するクラスを検出するクラス検出手段と、第２の情報信号によって得られる出力の質を決める複数種類のパラメータの値を調整するパラメータ調整手段と、クラス検出手段で検出されたクラスおよびパラメータ調整手段で調整された複数種類のパラメータの値に対応して、上記注目点の情報データを生成する情報データ生成手段とを備えるものである。
【００１４】
例えば、情報データ生成手段は、クラス検出手段で検出されるクラス毎に予め求められた、推定式の係数データを生成する複数種類のパラメータを含む生成式の係数データである係数種データを記憶する第１のメモリ手段と、この第１のメモリ手段に記憶されている係数種データとパラメータ調整手段で調整された複数種類のパラメータの値とを用いて上記生成式によって生成され、クラス検出手段で検出されたクラスおよびパラメータ調整手段で調整された複数種類のパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第１の情報信号から、第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、係数データ発生手段で発生された係数データと第２のデータ選択手段で選択された複数の第２の情報データとから、上記推定式を用いて注目点の情報データを算出して得る演算手段とを有するものである。
【００１５】
また例えば、情報データ生成手段は、クラス検出手段で検出されるクラスおよびパラメータ調整手段で調整される複数種類のパラメータの値の組み合わせ毎に予め生成された推定式の係数データを記憶するメモリを持ち、クラス検出手段で検出されたクラスおよびパラメータ調整手段で調整された複数種類のパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、係数データ発生手段で発生された係数データと第２のデータ選択手段で選択された複数の第２の情報データとから、上記推定式を用いて注目点の情報データを算出して得る演算手段とを有するものである。
【００１６】
また、この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理方法であって、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のステップと、この第１のステップで選択された複数の第１の情報データに基づいて、上記注目点が属するクラスを検出する第２のステップと、第２の情報信号によって得られる出力の質を決める複数種類のパラメータの値を調整する第３のステップと、第２のステップで検出されたクラスおよび第３のステップで調整された複数種類のパラメータの値に対応して、上記注目点の情報データを生成する第４のステップとを備えるものである。
【００１７】
また、この発明に係る情報記録媒体は、上述の情報信号処理方法の各ステップを実行するためのコンピュータプログラムを記録するものである。
【００１８】
また、この発明に係る画像信号処理装置は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、第１の画像信号から第２の画像信号に係る注目画素の周辺に位置する複数の画素データを選択するデータ選択手段と、このデータ選択手段で選択された複数の画素データに基づいて、上記注目画素が属するクラスを検出するクラス検出手段と、第２の画像信号によって得られる出力の質を決める複数種類のパラメータの値を調整するパラメータ調整手段と、クラス検出手段で検出されたクラスおよびパラメータ調整手段で調整された複数種類のパラメータの値に対応して、上記注目画素の画素データを生成する画素データ生成手段とを備えるものである。
【００１９】
また、この発明に係る画像表示装置は、複数の画素データからなる第１の画像信号を入力する画像信号入力手段と、この画像信号入力手段より入力された第１の画像信号を複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、この画像信号処理手段より出力される第２の画像信号による画像を画像表示素子に表示する画像表示手段と、この画像表示素子に表示される画像の画質を決める複数種類のパラメータの値を調整するパラメータ調整手段とを有してなるものである。そして、画像信号処理手段は、第１の画像信号から第２の画像信号に係る注目画素の周辺に位置する複数の画素データを選択するデータ選択手段と、このデータ選択手段で選択された複数の画素データに基づいて、上記注目画素が属するクラスを検出するクラス検出手段と、このクラス検出手段で検出されたクラスおよびパラメータ調整手段で調整された複数種類のパラメータの値に対応して、上記注目画素の画素データを生成する画素データ生成手段とを備えるものである。
【００２０】
この発明においては、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データが選択され、その複数の第１の情報データに基づいて、上記注目点が属するクラスが検出される。例えば、複数の第１の情報データのレベル分布パターンが検出され、このレベル分布パターンに基づいて上記注目点の属するクラスが検出される。ここで、情報信号は、例えば画像信号や音声信号である。
【００２１】
パラメータ調整手段で、第２の情報信号によって得られる出力の質を決める複数種類のパラメータの値が調整される。例えば、情報信号が画像信号である場合、パラメータの値が調整されて、第２の情報信号（画像信号）による画像の画質が決められる。また、情報信号が音声信号である場合、パラメータの値が調整されて、第２の情報信号（音声信号）による音声の音質が決められる。例えば、パラメータ調整手段は、複数種類のパラメータの調整位置を表示する表示手段と、この表示手段の表示を参照して複数種類のパラメータの値を調整するユーザ操作手段とを有する構成とされる。これにより、ユーザは、ユーザ操作手段、例えばポインティングデバイスを操作して、複数種類のパラメータの値を所望位置に容易に調整できる。
【００２２】
そして、検出されたクラスおよび調整された複数種類のパラメータの値に対応して、注目点の情報データが生成される。例えば、クラス毎に予め求められた推定式の係数データを生成するための生成式の係数データである係数種データがメモリ手段に記憶されており、この係数種データと調整されたパラメータの値と用いて、検出されたクラスおよび調整された複数種類のパラメータの値に対応した推定式の係数データが発生されると共に、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データが選択され、この係数データと複数の第２の情報データとから、推定式を用いて、上記注目点の情報データが生成される。
【００２３】
また例えば、クラスおよび複数種類のパラメータの値の組み合わせ毎に予め生成された推定式の係数データがメモリに記憶されており、このメモリより検出されたクラスおよび調整された複数種類のパラメータの値に対応した推定式の係数データが読み出されると共に、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データが選択され、この係数データと複数の第２の情報データとから、推定式を用いて、上記注目点の情報データが生成される。
【００２４】
このように、調整された複数種類のパラメータの値に対応した推定式の係数データが得られ、この係数データが使用されて、推定式により、第２の情報信号に係る注目点の情報データが生成される。したがって、第２の情報信号によって得られる出力の質、例えば画質の調整を、水平解像度と垂直解像度、ノイズ低減度と水平／垂直解像度等のような複数の軸で自由に行うことができる。
【００２５】
また、この発明に係る係数種データ生成装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための生成式の係数データである係数種データを生成する装置であって、第２の情報信号に対応した教師信号を処理して第１の情報信号に対応する入力信号を得る信号処理手段と、上記生成式に含まれる複数種類のパラメータに対応し、入力信号によって得られる出力の質を決める複数種類のパラメータの値を調整するパラメータ調整手段と、入力信号から、教師信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、この第１のデータ選択手段で選択された複数の第１の情報データに基づいて、上記注目点が属するクラスを検出するクラス検出手段と、入力信号から、教師信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、クラス検出手段で検出されたクラス、第２のデータ選択手段で選択された複数の第２の情報データおよび教師信号に係る注目点の情報データから、クラス毎に、係数種データを得るための正規方程式を生成する正規方程式生成手段と、正規方程式を解いてクラス毎に係数種データを得る係数種データ演算手段とを備えるものである。
【００２８】
この発明においては、第２の情報信号に対応する教師信号が処理されて、第１の情報信号に対応する入力信号が得られる。この場合、入力信号によって得られる出力の質は調整された複数種類のパラメータの値で決定される。例えば、情報信号が画像信号である場合、複数種類のパラメータの値が調整されて、入力信号による画像の画質が決められる。また、情報信号が音声信号である場合、複数種類のパラメータの値が調整されて、入力信号による音声の音質が決められる。
【００２９】
この入力信号から、教師信号に係る注目点の周辺に位置する複数の第１の情報データが選択され、その複数の第１の情報データに基づいて、上記注目点が属するクラスが検出される。また、この入力信号から、教師信号に係る注目点の周辺に位置する複数の第２の情報データが選択される。
【００３０】
そして、複数種類のパラメータの値が複数段階に調整され、教師信号に係る注目点が属するクラス、選択された複数の第２の情報データおよび教師信号に係る注目点の情報データから、クラス毎に係数種データを得るための正規方程式が生成され、この方程式を解くことで、クラス毎の係数種データが得られる。
【００３１】
ここで、係数種データは、第１の情報信号から第２の情報信号に変換する際に使用される推定式の係数データを生成する上記複数種類のパラメータを含む生成式の係数データである。この係数種データを使用することで、生成式によって、任意に調整された複数種類のパラメータの値に対応した係数データを得ることが可能となる。これにより、推定式を使用して第１の情報信号から第２の情報信号に変換する場合に、複数種類のパラメータの値を調整することで、第２の情報信号によって得られる出力の質を複数の軸で自由に調整できる。
【００３２】
また、この発明に係る係数種データ生成装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための生成式の係数データである係数種データを生成する装置であって、第２の情報信号に対応した教師信号を処理して第１の情報信号に対応する入力信号を得る信号処理手段と、上記生成式に含まれる複数種類のパラメータに対応し、入力信号によって得られる出力の質を決める複数種類のパラメータの値を調整するパラメータ調整手段と、入力信号から、教師信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、この第１のデータ選択手段で選択された複数の第１の情報データに基づいて、注目点が属するクラスを検出するクラス検出手段と、入力信号から、教師信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、クラス検出手段で検出されたクラス、第２のデータ選択手段で選択された複数の第２の情報データおよび教師信号に係る注目点の情報データから、クラスおよび複数種類のパラメータの値の組み合わせ毎に推定式の係数データを得るための第１の正規方程式を生成する第１の正規方程式生成手段と、この第１の正規方程式を解いて、上記組み合わせ毎に推定式の係数データを得る係数データ演算手段と、この係数データ演算手段で得られた上記組み合わせ毎の係数データから、クラス毎に、係数種データを得るための第２の正規方程式を生成する第２の正規方程式生成手段と、この第２の正規方程式を解いて、クラス毎に係数種データを得る係数種データ演算手段とを備えるものである。
【００３５】
この発明においては、第２の情報信号に対応する教師信号が処理されて、第１の情報信号に対応する入力信号が得られる。この場合、入力信号によって得られる出力の質は調整された複数種類のパラメータの値で決定される。例えば、情報信号が画像信号である場合、複数種類のパラメータの値が調整されて、入力信号による画像の画質が決められる。また、情報信号が音声信号である場合、複数種類のパラメータの値が調整されて、入力信号による音声の音質が決められる。
【００３６】
この入力信号から、教師信号に係る注目点の周辺に位置する複数の第１の情報データが選択され、その複数の第１の情報データに基づいて、上記注目点が属するクラスが検出される。また、この入力信号から、教師信号に係る注目点の周辺に位置する複数の第２の情報データが選択される。
【００３７】
そして、複数種類のパラメータの値が複数段階に順次調整され、教師信号に係る注目点が属するクラス、選択された複数の第２の情報データおよび教師信号に係る注目点の情報データから、クラスおよび複数種類のパラメータの値の組み合わせ毎に、推定式の係数データを得るための第１の正規方程式が生成され、この方程式を解くことで、上記組み合わせ毎の推定式の係数データが得られる。
【００３８】
そしてさらに、上記組み合わせ毎の係数データから、クラス毎に、係数種データを得るための第２の正規方程式が生成され、この方程式を解くことで、クラス毎の係数種データが得られる。
【００３９】
ここで、係数種データは、第１の情報信号から第２の情報信号に変換する際に使用される推定式の係数データを生成する上記複数種類のパラメータを含む生成式の係数データである。この係数種データを使用することで、生成式によって、任意に調整された複数種類のパラメータの値に対応した係数データを得ることが可能となる。これにより、推定式を使用して第１の情報信号から第２の情報信号に変換する場合に、複数種類のパラメータの値を調整することで、第２の情報信号によって得られる出力の質を複数の軸で自由に調整できる。
【００４０】
また、この発明に係る係数データ生成装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成する装置であって、第２の情報信号に対応する教師信号を処理して第１の情報信号に対応する入力信号を得る信号処理手段と、入力信号によって得られる出力の質を決める複数種類のパラメータの値を調整するパラメータ調整手段と、入力信号から、教師信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、この第１のデータ選択手段で選択された複数の第１の情報データに基づいて、注目点が属するクラスを検出するクラス検出手段と、入力信号から、教師信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、クラス検出手段で検出されたクラス、第２のデータ選択手段で選択された複数の第２の情報データおよび教師信号に係る注目点の情報データから、クラスおよび複数種類のパラメータの値の組み合わせ毎に、推定式の係数データを得るための正規方程式を生成する正規方程式生成手段と、この正規方程式を解いて上記組み合わせ毎の係数データを得る係数データ演算手段とを備えるものである。
【００４３】
この発明においては、第２の情報信号に対応する教師信号が処理されて、第１の情報信号に対応する入力信号が得られる。この場合、入力信号によって得られる出力の質は調整された複数種類のパラメータの値で決定される。例えば、情報信号が画像信号である場合、複数種類のパラメータの値が調整されて、入力信号による画像の画質が決められる。また、情報信号が音声信号である場合、複数種類のパラメータの値が調整されて入力信号による音声の音質が決められる。
【００４４】
この入力信号から、教師信号に係る注目点の周辺に位置する複数の第１の情報データが選択され、その複数の第１の情報データに基づいて、上記注目点が属するクラスが検出される。また、この入力信号から、教師信号に係る注目点の周辺に位置する複数の第２の情報データが選択される。
【００４５】
そして、複数種類のパラメータの値が複数段階に調整され、教師信号に係る注目点が属するクラス、選択された複数の第２の画素データおよび教師信号に係る注目点の情報データから、クラスおよび複数種類のパラメータの値の組み合わせ毎に、推定式の係数データを得るための正規方程式が生成され、この正規方程式を解くことで、上記組み合わせ毎の推定式の係数データが得られる。
【００４６】
上述したようにして第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データが生成されるが、第１の情報信号から第２の情報信号に変換する際には、第２の情報信号に係る注目点が属するクラスおよび調整された複数種類のパラメータの値に対応した係数データが選択的に使用されて、推定式により、注目点の情報データが算出される。これにより、推定式を使用して第１の情報信号から第２の情報信号に変換する場合に、複数種類のパラメータの値を調整することで、第２の情報信号によって得られる出力の質を複数の軸で自由に調整できる。
【００４７】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号よりＳＤ（Standard Definition）信号としての５２５ｉ信号を得、この５２５ｉ信号をＨＤ（High Definition）信号としての５２５ｐ信号または１０５０ｉ信号に変換し、その５２５ｐ信号または１０５０ｉ信号による画像を表示するものである。
【００４８】
ここで、５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、５２５ｐ信号は、ライン数が５２５本でプログレッシブ方式（ノンインタレース方式）の画像信号を意味し、さらに１０５０ｉ信号はライン数が１０５０本でインタレース方式の画像信号を意味している。
【００４９】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００５０】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って上述したＳＤ信号Ｖａ（５２５ｉ信号）を得るチューナ１０６と、外部よりＳＤ信号Ｖｂ（５２５ｉ信号）を入力する外部入力端子１０７と、これらＳＤ信号Ｖａ，Ｖｂのいずれかを選択的に出力する切換スイッチ１０８と、この切換スイッチ１０８より出力されるＳＤ信号を一時的に保存するためのバッファメモリ１０９とを有している。
【００５１】
チューナ１０６より出力されるＳＤ信号Ｖａは切換スイッチ１０８のａ側の固定端子に供給され、外部入力端子１０７より入力されるＳＤ信号Ｖｂは切換スイッチ１０８のｂ側の固定端子に供給される。この切換スイッチ１０８の切り換え動作は、システムコントローラ１０１によって制御される。
【００５２】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存されるＳＤ信号（５２５ｉ信号）を、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に変換する画像信号処理部１１０と、この画像信号処理部１１０より出力されるＨＤ信号による画像を表示するディスプレイ部１１１と、このディスプレイ部１１１の画面上に文字図形等の表示を行うための表示信号ＳＣＨを発生させるためのＯＳＤ（On Screen Display）回路１１２と、その表示信号ＳＣＨを、上述した画像信号処理部１１０より出力されるＨＤ信号に合成してディスプレイ部１１１に供給するための合成器１１３とを有している。
【００５３】
ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等のフラットパネルディスプレイで構成されている。また、ＯＳＤ回路１１２における表示信号ＳＣＨの発生動作は、システムコントローラ１０１によって制御される。
【００５４】
図１に示すテレビ受信機１００の動作を説明する。
ユーザのリモコン送信機２００の操作でチューナ１０６より出力されるＳＤ信号Ｖａに対応する画像表示を行うモードが選択される場合、システムコントローラ１０１の制御によって切換スイッチ１０８はａ側に接続されて、この切換スイッチ１０８よりＳＤ信号Ｖａが出力される。一方、ユーザのリモコン送信機２００の操作で外部入力端子１０７に入力されるＳＤ信号Ｖｂに対応する画像表示を行うモードが選択される場合、システムコントローラ１０１の制御によって切換スイッチ１０８はｂ側に接続されて、この切換スイッチ１０８よりＳＤ信号Ｖｂが出力される。
【００５５】
切換スイッチ１０８より出力されるＳＤ信号（５２５ｉ信号）はバッファメモリ１０９に記憶されて一時的に保存される。そして、このバッファメモリ１０９に一時的に保存されたＳＤ信号は画像信号処理部１１０に供給され、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に変換される。すなわち、画像信号処理部１１０では、ＳＤ信号を構成する画素データ（以下、「ＳＤ画素データ」という）から、ＨＤ信号を構成する画素データ（以下、「ＨＤ画素データ」という）が得られる。ここで、５２５ｐ信号または１０５０ｉ信号の選択は、ユーザのリモコン送信機２００の操作によって行われる。この画像信号処理部１１０より出力されるＨＤ信号が合成器１１３を介してディスプレイ部１１１に供給され、ディスプレイ部１１１の画面上にはそのＨＤ信号による画像が表示される。
【００５６】
また、上述せずも、ユーザは、リモコン送信機２００の操作によって、上述したようにディスプレイ部１１１の画面上に表示される画像の水平および垂直の解像度を無段階になめらかに調整できる。画像信号処理部１１０では、後述するように、ＨＤ画素データが推定式によって算出されるが、この推定式の係数データとして、ユーザのリモコン送信機２００の操作によって調整された水平、垂直の解像度を決めるパラメータｈ，ｖに対応したものが、これらパラメータｈ，ｖを含む生成式によって生成されて使用される。これにより、画像信号処理部１１０より出力されるＨＤ信号による画像の水平、垂直の解像度は、調整されたパラメータｈ，ｖに対応したものとなる。
【００５７】
図２は、パラメータｈ，ｖを調整するためのユーザインタフェースの一例を示している。調整時には、ディスプレイ部１１１に、パラメータｈ，ｖの調整位置を☆印のアイコン１１５ａで示した調整画面１１５が、ＯＳＤ表示される。また、リモコン送信機２００は、ユーザ操作手段としてのジョイスティック２００ａを備えている。
【００５８】
ユーザは、ジョイスティック２００ａを操作することで、調整画面１１５上でアイコン１１５ａの位置を動かすことができ、水平、垂直の解像度を決定するパラメータｈ，ｖの値を任意に調整できる。図３は、調整画面１１５の部分を拡大して示している。アイコン１１５ａが左右に動かされることで水平解像度を決定するパラメータｈの値が調整され、一方アイコン１１５ａが上下に動かされることで垂直解像度を決定するパラメータｖの値が調整される。ユーザは、ディスプレイ部１１１に表示される調整画面１１５を参照してパラメータｈ，ｖの値を調整でき、その調整を容易に行うことができる。
【００５９】
なお、リモコン送信機２００は、ジョイスティック２００ａの代わりに、マウスやトラックボール等のその他のポインティングデバイスを備えていてもよい。さらに、ユーザによって調整されたパラメータｈ，ｖの値を、調整画面１１５上に数値表示してもよい。
【００６０】
次に、画像信号処理部１１０の詳細を説明する。この画像信号処理部１１０は、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号または５２５ｐ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１２１〜１２３を有している。
【００６１】
第１のタップ選択回路１２１は、予測に使用するＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、ＳＤ画素データのレベル分布パターンに対応するクラス分類に使用するＳＤ画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きに対応するクラス分類に使用するＳＤ画素（「動きクラスタップ」と称する）のデータを選択的に取り出するものである。なお、空間クラスを複数フィールドに属するＳＤ画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００６２】
図４は、５２５ｉ信号および５２５ｐ信号の、あるフレーム（Ｆ）の奇数（ｏ）フィールドの画素位置関係を示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される５２５ｐ信号の画素である。偶数（ｅ）フィールドでは、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図４から分かるように、５２５ｐ信号の画素データとしては、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とが存在する。また、５２５ｐ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
【００６３】
図５は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される１０５０ｉ信号の画素である。図５から分かるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
【００６４】
図６および図７は、５２５ｉ信号から５２５ｐ信号に変換する場合に、第１のタップ選択回路１２１で選択される予測タップ（ＳＤ画素）の具体例を示している。図６および図７は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００６５】
図６に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの予測タップは、次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８，Ｔ９と、さらに前のフィールドＦ-1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１０である。
【００６６】
図７に示すように、フィールドＦ／ｅのラインデータＬ１，Ｌ２を予測するときの予測タップは、次のフィールドＦ+1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、フィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８，Ｔ９と、さらに前のＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１０である。
【００６７】
なお、ラインデータＬ１を予測する際にはＳＤ画素Ｔ９を予測タップとして選択しないようにし、一方ラインデータＬ２を予測する際にはＳＤ画素Ｔ４を予測タップとして選択しないようにしてもよい。
【００６８】
図８および図９は、５２５ｉ信号から１０５０ｉ信号に変換する場合に、第１のタップ選択回路１２１で選択される予測タップ（ＳＤ画素）の具体例を示している。図８および図９は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００６９】
図８に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの予測タップは、次のフィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ-1／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８である。
【００７０】
図９に示すように、フィールドＦ／ｅのラインデータＬ１′，Ｌ２′を予測するときの予測タップは、次のフィールドＦ+1／ｏに含まれ、作成すべき１０５０ｉｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８である。
【００７１】
なお、ラインデータＬ１，Ｌ１′を予測する際にはＳＤ画素Ｔ６を予測タップとして選択しないようにし、一方ラインデータＬ２，Ｌ２′を予測する際にはＳＤ画素Ｔ３を予測タップとして選択しないようにしてもよい。
【００７２】
さらに、図６〜図９に示すように複数フィールドの同一位置にあるＳＤ画素に加えて、水平方向の一または複数のＳＤ画素を、予測タップとして選択するようにしてもよい。
【００７３】
図１０および図１１は、５２５ｉ信号から５２５ｐ信号に変換する場合に、第２のタップ選択回路１２２で選択される空間クラスタップ（ＳＤ画素）の具体例を示している。図１０および図１１は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００７４】
図１０に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの空間クラスタップは、次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ６，Ｔ７である。
【００７５】
図１１に示すように、フィールドＦ／ｅのラインデータＬ１，Ｌ２を予測するときの空間クラスタップは、次のフィールドＦ+1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ６，Ｔ７である。
【００７６】
なお、ラインデータＬ１を予測する際にはＳＤ画素Ｔ７を空間クラスタップとして選択しないようにし、一方ラインデータＬ２を予測する際にはＳＤ画素Ｔ６を空間クラスタップとして選択しないようにしてもよい。
【００７７】
図１２および図１３は、５２５ｉ信号から１０５０ｉ信号に変換する場合に、第２のタップ選択回路１２２で選択される空間クラスタップ（ＳＤ画素）の具体例を示している。図１２および図１３は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００７８】
図１２に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの空間クラスタップは、フィールドＦ／ｏに含まれ、作成すべき１０５０ｉ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、前のフィールドＦ-1／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６，Ｔ７である。
【００７９】
図１３に示すように、フィールドＦ／ｅのラインデータＬ１′，Ｌ２′を予測するときの空間クラスタップは、フィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、前のフィールドＦ／ｏに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６，Ｔ７である。
【００８０】
なお、ラインデータＬ１，Ｌ１′を予測する際にはＳＤ画素Ｔ７を空間クラスタップとして選択しないようにし、一方ラインデータＬ２，Ｌ２′を予測する際にはＳＤ画素Ｔ４を空間クラスタップとして選択しないようにしてもよい。
【００８１】
さらに、図１０〜図１３に示すように複数フィールドの同一位置にあるＳＤ画素に加えて、水平方向の一または複数のＳＤ画素を、空間クラスタップとして選択するようにしてもよい。
【００８２】
図１４は、５２５ｉ信号から５２５ｐ信号に変換する場合に、第３のタップ選択回路１２３で選択される動きクラスタップ（ＳＤ画素）の具体例を示している。図１４は、時間的に連続するフレームＦ-1，Ｆの奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。図１４に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの動きクラスタップは、次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素ｎ２，ｎ４，ｎ６と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素ｎ１，ｎ３，ｎ５と、前のフィールドＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ２，ｍ４，ｍ６と、さらに前のフィールドＦ-1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ１，ｍ３，ｍ５である。ＳＤ画素ｎ１〜ｎ６のそれぞれの垂直方向の位置は、ＳＤ画素ｍ１〜ｍ６のそれぞれの垂直方向の位置は一致する。
【００８３】
図１５は、５２５ｉ信号から１０５０ｉ信号に変換する場合に、第３のタップ選択回路１２３で選択される動きクラスタップ（ＳＤ画素）の具体例を示している。図１５は、時間的に連続するフレームＦ-1，Ｆの奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。図１５に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの動きクラスタップは、次のフィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｎ２，ｎ４，ｎ６と、フィールドＦ／ｏに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｎ１，ｎ３，ｎ５と、前のフィールドＦ-1／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ２，ｍ４，ｍ６と、さらに前のフィールドＦ-1／ｏに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ１，ｍ３，ｍ５である。ＳＤ画素ｎ１〜ｎ６のそれぞれの垂直方向の位置は、ＳＤ画素ｍ１〜ｍ６のそれぞれの垂直方向の位置は一致する。
【００８４】
図１に戻って、また、画像信号処理部１１０は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００８５】
空間クラス検出回路１２４では、例えば、各ＳＤ画素データを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１２４からは、各ＳＤ画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。
【００８６】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータ（ＳＤ画素データ）の最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータとしての各ＳＤ画素データｋｉに対して、（１）式の演算により、圧縮データとしての再量子化コードｑｉが得られる。ただし、（１）式において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個のＳＤ画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）．２^P／ＤＲ］ ・・・（１）
【００８７】
また、画像信号処理部１１０は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００８８】
この動きクラス検出回路１２５では、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）ｍｉ，ｎｉからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えば上述したように１２個のＳＤ画素データｍ１〜ｍ６，ｎ１〜ｎ６が取り出されるとき、（２）式におけるＮｂは６である。
【００８９】
【数１】

【００９０】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。
【００９１】
また、画像信号処理部１１０は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべきＨＤ信号（５２５ｐ信号または１０５０ｉ信号）の画素（注目画素）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【００９２】
このクラス合成回路１２６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは空間クラスタップのデータ（ＳＤ画素データ）の個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【００９３】
【数２】

【００９４】
また、画像信号処理部１１０は、レジスタ１３０〜１３３と、係数メモリ１３４とを有している。後述する線順次変換回路１２９は、５２５ｐ信号を出力する場合と、１０５０ｉ信号を出力する場合とで、その動作を切り換える必要がある。レジスタ１３０は、線順次変換回路１２９の動作を指定する動作指定情報を格納するものである。線順次変換回路１２９は、レジスタ１３０より供給される動作指定情報に従った動作をする。
【００９５】
レジスタ１３１は、第１のタップ選択回路１２１で選択される予測タップのタップ位置情報を格納するものである。第１のタップ選択回路１２１は、レジスタ１３１より供給されるタップ位置情報に従って予測タップを選択する。タップ位置情報は、例えば選択される可能性のある複数のＳＤ画素に対して番号付けを行い、選択するＳＤ画素の番号を指定するものである。以下のタップ位置情報においても同様である。
【００９６】
レジスタ１３２は、第２のタップ選択回路１２２で選択される空間クラスタップのタップ位置情報を格納するものである。第２のタップ選択回路１２２は、レジスタ１３２より供給されるタップ位置情報に従って空間クラスタップを選択する。
【００９７】
ここで、レジスタ１３２には、動きが比較的小さい場合のタップ位置情報Ａと、動きが比較的大きい場合のタップ位置情報Ｂとが格納される。これらタップ位置情報Ａ，Ｂのいずれを第２のタップ選択回路１２２に供給するかは、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択される。
【００９８】
すなわち、動きがないか、あるいは動きが小さいためにＭＶ＝０またはＭＶ＝１であるときは、タップ位置情報Ａが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、図１０〜図１３に示すように、複数フィールドに跨るものとされる。また、動きが比較的大きいためにＭＶ＝２またはＭＶ＝３であるときは、タップ位置情報Ｂが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、図示せずも、作成すべき画素と同一フィールド内のＳＤ画素のみとされる。
【００９９】
なお、上述したレジスタ１３１にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第１のタップ選択回路１２１に供給されるタップ位置情報が動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択されるようにしてもよい。
【０１００】
レジスタ１３３は、第３のタップ選択回路１２３で選択される動きクラスタップのタップ位置情報を格納するものである。第３のタップ選択回路１２３は、レジスタ１３３より供給されるタップ位置情報に従って動きクラスタップを選択する。
【０１０１】
さらに、係数メモリ１３４は、後述する推定予測演算回路１２７で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、ＳＤ信号としての５２５ｉ信号を、ＨＤ信号としての５２５ｐ信号または１０５０ｉ信号に変換するための情報である。係数メモリ１３４には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１３４からはクラスコードＣＬに対応した係数データが読み出され、推定予測演算回路１２７に供給されることとなる。
【０１０２】
また、画像信号処理部１１０は、情報メモリバンク１３５を有している。この情報メモリバンク１３５には、レジスタ１３０に格納するための動作指定情報と、レジスタ１３１〜１３３に格納するためのタップ位置情報が予め蓄えられている。
【０１０３】
ここで、レジスタ１３０に格納するための動作指定情報として、情報メモリバンク１３５には、線順次変換回路１２９を５２５ｐ信号を出力するように動作させるための第１の動作指定情報と、線順次変換回路１２９を１０５０ｉ信号を出力するように動作させるための第２の動作指定情報とが予め蓄えられている。
【０１０４】
ユーザはリモコン送信機２００を操作することで、ＨＤ信号として５２５ｐ信号を出力する第１の変換方法、またはＨＤ信号として１０５０ｉ信号を出力する第２の変換方法を選択できる。情報メモリバンク１３５にはシステムコントローラ１０１よりその変換方法の選択情報が供給され、この情報メモリバンク１３５よりレジスタ１３０にはその選択情報に従って第１の動作指定情報または第２の動作指定情報がロードされる。
【０１０５】
また、情報メモリバンク１３５には、レジスタ１３１に格納するための予測タップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３１には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【０１０６】
また、情報メモリバンク１３５には、レジスタ１３２に格納するための空間クラスタップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。なお、第１および第２のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報とからなっている。この情報メモリバンク１３５よりレジスタ１３２には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【０１０７】
また、情報メモリバンク１３５には、レジスタ１３３に格納するための動きクラスタップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３３には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【０１０８】
また、情報メモリバンク１３５には、第１および第２の変換方法のそれぞれに対応した各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ１３４に格納するための係数データを生成するための生成式の係数データである。
【０１０９】
後述する推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、（４）式の推定式によって、作成すべきＨＤ画素データｙが演算される。第１のタップ選択回路１２１で選択される予測タップが、図４および図７に示すように１０個であるとき、（４）式におけるｎは１０となる。
【０１１０】
【数３】

【０１１１】
そして、この推定式の係数データＷｉ（ｉ＝１〜ｎ）は、（５）式に示すように、パラメータｈ，ｖを含む生成式によって生成される。情報メモリバンク１３５には、この生成式の係数データである係数種データｗ₁₀〜ｗ_n9が、変換方法毎かつクラス毎に、記憶されている。この係数種データの生成方法については後述する。
【０１１２】
【数４】

【０１１３】
また、画像信号処理部１１０は、各クラスの係数種データおよびパラメータｈ，ｖの値とを用い、（５）式によって、クラス毎に、パラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路１３６を有している。この係数生成回路１３６には、情報メモリバンク１３５より、上述した変換方法の選択情報に従って第１の変換方法または第２の変換方法に対応した各クラスの係数種データがロードされる。また、この係数生成回路１３６には、システムコントローラ１０１より、パラメータｈ，ｖの値が供給される。
【０１１４】
この係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ１３４に格納される。この係数生成回路１３６における各クラスの係数データＷｉの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機２００の操作によってパラメータｈ，ｖの値が変更されても、係数メモリ１３４に格納される各クラスの係数データＷｉを、そのパラメータｈ，ｖの値に対応したものに即座に変更でき、ユーザによる解像度の調整がスムーズに行われる。
【０１１５】
また、画像信号処理部１１０は、係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓを、（６）式によって、演算する正規化係数生成回路１３７と、ここで生成された正規化係数Ｓを、クラス毎に格納する正規化係数メモリ１３８を有している。正規化係数メモリ１３８には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓが読み出され、後述する正規化演算回路１２８に供給されることとなる。
【０１１６】
【数５】

【０１１７】
また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号の画素（注目画素）のデータを演算する推定予測演算回路１２７を有している。
【０１１８】
この推定予測演算回路１２７では、５２５ｐ信号を出力する場合、上述した図４に示すように、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とを生成し、また各ラインの画素数を２倍とする必要がある。また、この推定予測演算回路１２７では、１０５０ｉ信号を出力する場合、上述した図５に示すように、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とを生成し、また各ラインの画素数を２倍とする必要がある。
【０１１９】
従って、推定予測演算回路１２７では、ＨＤ信号を構成する４画素のデータが同時的に生成される。例えば、４画素のデータはそれぞれ係数データを異にする推定式を使用して同時的に生成されるものであり、係数メモリ１３４からはそれぞれの推定式の係数データが供給される。ここで、推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、上述の（４）式の推定式によって、作成すべきＨＤ画素データｙが演算される。
【０１２０】
また、画像信号処理部１１０は、推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙを、正規化係数メモリ１３８より読み出され、それぞれの生成に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路１２８を有している。上述せずも、係数生成回路１３６で係数種データより生成式で推定式の係数データを求めるものであるが、生成される係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１〜ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路１２７で演算されるＨＤ画素データｙは、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路１２８で正規化することで、その変動を除去できる。
【０１２１】
また、画像信号処理部１１０は、水平周期を１／２倍とするライン倍速処理を行って、推定予測演算回路１２７より正規化演算回路１２８を介して供給されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を線順次化する線順次変換回路１２９を有している。
【０１２２】
図１６は、５２５ｐ信号を出力する場合のライン倍速処理をアナログ波形を用いて示すものである。上述したように、推定予測演算回路１２７によってラインデータＬ１，Ｌ２が生成される。ラインデータＬ１には順にａ１，ａ２，ａ３，・・・のラインが含まれ、ラインデータＬ２には順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。線順次変換回路１２９は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータを交互に選択することによって、線順次出力ａ０，ｂ０，ａ１，ｂ１，・・・を形成する。
【０１２３】
なお、１０５０ｉ信号を出力する場合には、奇数フィールドおよび偶数フィールドでインタレース関係を満たすように、線順次変換回路１２９が線順次出力を発生する。したがって、線順次変換回路１２９は、５２５ｐ信号を出力する場合と、１０５０ｉ信号を出力する場合とで、その動作を切り換える必要がある。その動作指定情報は、上述したようにレジスタ１３０より供給される。
【０１２４】
次に、画像信号処理部１１０の動作を説明する。
【０１２５】
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第２のタップ選択回路１２２では、レジスタ１３２より供給される、ユーザによって選択された変換方法、および動きクラス検出回路１２５で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１２６】
この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０１２７】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１２３では、レジスタ１３３より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１２８】
この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１２９】
この動き情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動き情報ＭＶと再量子化コードｑｉとから、作成すべきＨＤ信号（５２５ｐ信号または１０５０ｉ信号）の画素（注目画素）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。そして、このクラスコードＣＬは、係数メモリ１３４および正規化係数メモリ１３８に読み出しアドレス情報として供給される。
【０１３０】
係数メモリ１３４には、例えば各垂直ブランキング期間に、ユーザによって調整されたパラメータｈ，ｖの値に対応した各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）が係数生成回路１３６で生成されて格納される。また、正規化係数メモリ１３８には、上述したように係数生成回路１３６で生成された各クラスの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが正規化係数生成回路１３７で生成されて格納される。
【０１３１】
係数メモリ１３４に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１３４からクラスコードＣＬに対応した係数データＷｉが読み出されて推定予測演算回路１２７に供給される。また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第１のタップ選択回路１２１で、予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１２１では、レジスタ１３１より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。この第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉは推定予測演算回路１２７に供給される。
【０１３２】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号の画素（注目画素）のデータ（ＨＤ画素データ）ｙが演算される（（４）式参照）。この場合、ＨＤ信号を構成する４画素のデータが同時的に生成される。
【０１３３】
これにより、５２５ｐ信号を出力する第１の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とが生成される（図４参照）。また、１０５０ｉ信号を出力する第２の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが生成される（図５参照）。
【０１３４】
このように推定予測演算回路１２７で生成されたラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）は正規化演算回路１２８に供給される。正規化係数メモリ１３８に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この正規化係数メモリ１３８からクラスコードＣＬに対応した正規化係数Ｓ、つまり推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙの生成に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが読み出されて推定予測演算回路１２７に供給される。正規化演算回路１２８では、推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙがそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数種データを用いて生成式（（５）式参照）で推定式（（４）式参照）の係数データを求める際の丸め誤差による注目点の情報データのレベル変動が除去される。
【０１３５】
このように正規化演算回路１２８で正規化されたラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）は、線順次変換回路１２９に供給される。そして、この線順次変換回路１２９では、ラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）が線順次化されてＨＤ信号が生成される。この場合、線順次変換回路１２９は、レジスタ１３０より供給される、ユーザによって選択された変換方法に対応した動作指示情報に従った動作をする。そのため、ユーザによって第１の変換方法（５２５ｐ）が選択されているときは、線順次変換回路１２９より５２５ｐ信号が出力される。一方、ユーザによって第２の変換方法（１０５０ｉ）が選択されているときは、線順次変換回路１２９より１０５０ｉ信号が出力される。
【０１３６】
上述したように、係数生成回路１３６で、情報メモリバンク１３５よりロードされる係数種データを用いて、クラス毎に、パラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が生成され、これが係数メモリ１３４に格納される。そして、この係数メモリ１３４より、クラスコードＣＬに対応して読み出される係数データＷｉ（ｉ＝１〜ｎ）を用いて推定予測演算回路１２７でＨＤ画素データｙが演算される。
【０１３７】
このように、画像信号処理部１１０では、調整された複数種類のパラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が使用されて、ＨＤ画素データｙが演算される。したがって、ユーザは、パラメータｈ，ｖの値を調整することで、ＨＤ信号による画像の画質を水平解像度および垂直解像度の軸で自由に調整できる。また、ユーザは、パラメータｈ，ｖの値を調整することで、ＨＤ信号による画像の水平および垂直の画質を、無段階になめらかに調整することができる。なお、この場合、調整されたパラメータｈ，ｖの値に対応した各クラスの係数データをその都度係数生成回路１３６で生成して使用するものであり、大量の係数データを格納しておくメモリを必要としない。
【０１３８】
上述したように、情報メモリバンク１３５には、係数種データが、変換方法毎かつクラス毎に、記憶されている。この係数種データは、予め学習によって生成されたものである。
【０１３９】
まず、この生成方法の一例について説明する。（５）式の生成式における係数データである係数種データｗ₁₀〜ｗ_n9を求める例を示すものとする。
【０１４０】
ここで、以下の説明のため、（７）式のように、ｔｉ（ｉ＝０〜９）を定義する。
ｔ₀＝１，ｔ₁＝ｖ，ｔ₂＝ｈ，ｔ₃＝ｖ²，ｔ₄＝ｖｈ，ｔ₅＝ｈ²，
ｔ₆＝ｖ³，ｔ₇＝ｖ²ｈ，ｔ₈＝ｖｈ²，ｔ₉＝ｈ³
・・・（７）
この（７）式を用いると、（５）式は、（８）式のように書き換えられる。
【０１４１】
【数６】

【０１４２】
最終的に、学習によって未定係数ｗ_xyを求める。すなわち、変換方法毎かつクラス毎に、複数のＳＤ画素データとＨＤ画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅ_k、二乗誤差の総和をＥとすると、（４）式および（５）式を用いて、Ｅは（９）式で表される。ここで、ｘ_ikはＳＤ画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応するｋ番目のＨＤ画像の画素データを表している。
【０１４３】
【数７】

【０１４４】
最小二乗法による解法では、（９）式のｗ_xyによる偏微分が０になるようなｗ_xyを求める。これは、（１０）式で示される。
【０１４５】
【数８】

【０１４６】
以下、（１１）式、（１２）式のように、Ｘ_ipjq、Ｙ_ipを定義すると、（１０）式は、行列を用いて（１３）式のように書き換えられる。
【０１４７】
【数９】

【０１４８】
【数１０】

【０１４９】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗ_xyについて解かれ、係数種データが算出される。
【０１５０】
図１７は、上述した係数種データの生成方法の概念を示している。ＨＤ信号から複数のＳＤ信号を生成する。例えば、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータｈ，ｖをそれぞれ９段階に可変して、合計８１種類のＳＤ信号を生成している。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。
【０１５１】
図１８は、上述した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。
【０１５２】
この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（５２５ｐ信号／１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、入力信号としてのＳＤ信号を得るＳＤ信号生成回路１５２とを有している。
【０１５３】
このＳＤ信号生成回路１５２には、変換方法選択信号が制御信号として供給される。第１の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される（図４参照）。一方、第２の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される（図５参照）。
【０１５４】
また、ＳＤ信号生成回路１５２には、パラメータｈ，ｖが制御信号として供給される。このパラメータｈ，ｖに対応して、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域とが可変される。ここで、フィルタの詳細について、いくつかの例を示す。
【０１５５】
例えば、フィルタを、水平帯域を制限する帯域フィルタと垂直帯域を制限する帯域フィルタとから構成することが考えられる。この場合、図１９に示すように、パラメータｈまたはｖの段階的な値に対応した周波数特性を設計し、逆フーリエ変換をすることにより、パラメータｈまたはｖの段階的な値に対応した周波数特性を持つ１次元フィルタを得ることができる。
【０１５６】
また例えば、フィルタを、水平帯域を制限する１次元ガウシアンフィルタと垂直帯域を制限する１次元ガウシアンフィルタとから構成することが考えられる。この１次元ガウシアンフィルタは（１４）式で示される。この場合、パラメータｈまたはｖの段階的な値に対応して標準偏差σの値を段階的に変えることにより、パラメータｈまたはｖの段階的な値に対応した周波数特性を持つ１次元ガウシアンフィルタを得ることができる。
【０１５７】
【数１１】

【０１５８】
また例えば、フィルタを、パラメータｈ，ｖの両方で水平および垂直の周波数特性が決まる２次元フィルタＦ(ｈ，ｖ）で構成することが考えられる。この２次元フィルタの生成方法は、上述した１次元フィルタと同様に、パラメータｈ，ｖの段階的な値に対応した２次元周波数特性を設計し、２次元の逆フーリエ変換をすることにより、パラメータｈ，ｖの段階的な値に対応した２次元周波数特性を持つ２次元フィルタを得ることができる。
【０１５９】
また、係数種データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号または５２５ｐ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。
【０１６０】
これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。これら第１〜第３のタップ選択回路１５３〜１５５で選択されるタップは、タップ選択制御部１５６からのタップ位置情報によって指定される。
【０１６１】
タップ選択制御回路１５６には、変換方法選択信号が制御信号として供給される。第１の変換方法が選択される場合と第２の変換方法が選択される場合とで、第１〜第３のタップ選択回路１５３〜１５５に供給されるタップ位置情報が異なるようにされている。また、タップ選択制御回路１５６には後述する動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶが供給される。これにより、第２のタップ選択回路１５４に供給されるタップ位置情報が動きが大きいか小さいかによって異なるようにされる。
【０１６２】
また、係数種データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述した画像信号処理部１１０の空間クラス検出回路１２４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードｑｉが空間クラスを示すクラス情報として出力される。
【０１６３】
また、係数種データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述した画像信号処理部１１０の動きクラス検出回路１２５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
【０１６４】
また、係数種データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述した画像信号処理部１１０のクラス合成回路１２６と同様に構成される。
【０１６５】
また、係数種データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、各クラス毎に、係数種データｗ₁₀〜ｗ_n9を得るための正規方程式（（１３）式参照）を生成する正規方程式生成部１６０を有している。
【０１６６】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、ＳＤ信号生成回路１５２へのパラメータｈ，ｖが順次変更されていって水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていき、これにより正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。
【０１６７】
ここで、ＨＤ信号と、そのＨＤ信号から帯域が狭いフィルタを作用させて生成したＳＤ信号との間で学習して算出した係数種データは、解像度の高いＨＤ信号を得るためのものとなる。逆に、ＨＤ信号と、そのＨＤ信号から帯域が広いフィルタを作用させて生成したＳＤ信号との間で学習して算出した係数種データは解像度の低いＨＤ信号を得るためのものとなる。上述したように複数のＳＤ信号を順次生成して学習データを登録することで、連続した解像度のＨＤ信号を得るための係数種データを求めることが可能となる。
【０１６８】
なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせを行うことができる。
【０１６９】
また、係数種データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ₁₀〜ｗ_n9を求める係数種データ決定部１６１と、この求められた係数種データｗ₁₀〜ｗ_n9を記憶する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗ₁₀〜ｗ_n9が求められる。
【０１７０】
図１８に示す係数種データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（５２５ｐ信号または１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて入力信号としてのＳＤ信号（５２５ｉ信号）が生成される。
【０１７１】
この場合、第１の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される。一方、第２の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される。またこの場合、ＳＤ信号生成回路１５２にはパラメータｈ，ｖが制御信号として供給され、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０１７２】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、選択された変換方法、および動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１７３】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０１７４】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１７５】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１７６】
この動き情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードｑｉとから、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０１７７】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１７８】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１６０では、各クラス毎に、係数種データｗ₁₀〜ｗ_n9を生成するための正規方程式（（１３）式参照）が生成される。
【０１７９】
そして、係数種データ決定部１６１でその正規方程式が解かれ、各クラス毎の係数種データｗ₁₀〜ｗ_n9が求められ、その係数種データｗ₁₀〜ｗ_n9はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０１８０】
このように、図１８に示す係数種データ生成装置１５０においては、図１の画像信号処理部１１０の情報メモリバンク１３５に記憶される各クラスの係数種データｗ₁₀〜ｗ_n9を生成することができる。この場合、ＳＤ信号生成回路１５２では、選択された変換方法によって５２５ｐ信号または１０５０ｉ信号を使用してＳＤ信号（５２５ｉ信号）が生成されるものであり、第１の変換方法（画像信号処理部１１０で５２５ｉ信号より５２５ｐ信号を得る）および第２の変換方法（画像信号処理部１１０で５２５ｉ信号より１０５０ｉ信号を得る）に対応した係数種データを生成できる。
【０１８１】
次に、係数種データの生成方法の他の例について説明する。この例においても、上述した（５）式の生成式における係数データである係数種データｗ₁₀〜ｗ_n9を求める例を示すものとする。
【０１８２】
図２０は、この例の概念を示している。ＨＤ信号から複数のＳＤ信号を生成する。例えば、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータｈ，ｖをそれぞれ９段階に可変して、合計８１種類のＳＤ信号を生成する。このようにして生成した各ＳＤ信号とＨＤ信号との間で学習を行って、（４）式の推定式の係数データＷｉを生成する。そして、各ＳＤ信号に対応して生成された係数データＷｉを使用して係数種データを生成する。
【０１８３】
まず、推定式の係数データの求め方を説明する。ここでは、（４）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を最小二乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを係数データ、Ｙを予測値として、（１５）式の観測方程式を考える。この（１５）式において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
【０１８４】
【数１２】

【０１８５】
（１５）式の観測方程式により収集されたデータに最小二乗法を適用する。この（１５）式の観測方程式をもとに、（１６）式の残差方程式を考える。
【０１８６】
【数１３】

【０１８７】
（１６）式の残差方程式から、各Ｗiの最確値は、（１７）式のｅ²を最小にする条件が成り立つ場合と考えられる。すなわち、（１８）式の条件を考慮すればよいわけである。
【０１８８】
【数１４】

【０１８９】
つまり、（１８）式のｉに基づくｎ個の条件を考え、これを満たす、Ｗ₁，Ｗ₂，・・・，Ｗ_nを算出すればよい。そこで、（１６）式の残差方程式から、（１９）式が得られる。さらに、（１９）式と（１５）式とから、（２０）式が得られる。
【０１９０】
【数１５】

【０１９１】
そして、（１６）式と（２０）式とから、（２１）式の正規方程式が得られる。
【０１９２】
【数１６】

【０１９３】
（２１）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各Ｗiの最確値を求めることができる。この場合、掃き出し法（Gauss-Jordanの消去法）等を用いて連立方程式を解くことになる。
【０１９４】
次に、各ＳＤ信号に対応して生成された係数データを使用して、係数種データの求め方を説明する。
パラメータｈ，ｖに対応したＳＤ信号を用いた学習による、あるクラスの係数データが、ｋ_vhiとなったとする。ここで、ｉは予測タップの番号である。このｋ_vhiから、このクラスの係数種データを求める。
【０１９５】
各係数データＷｉ（ｉ＝１〜ｎ）は、係数種データｗ₁₀〜ｗ_n9を使って、上述した（５）式で表現される。ここで、係数データＷｉに対して最小二乗法を使用することを考えると、残差は、（２２）式で表される。
【０１９６】
【数１７】

【０１９７】
ここで、ｔ_jは、上述の（７）式に示されている。（２２）式に最小二乗法を作用させると、（２３）式が得られる。
【０１９８】
【数１８】

【０１９９】
ここで、Ｘ_jk，Ｙ_jをそれぞれ（２４）式、（２５）式のように定義すると、（２３）式は（２６）式のように書き換えられる。この（２６）式も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データｗ₁₀〜ｗ_n9を算出することができる。
【０２００】
【数１９】

【０２０１】
図２１は、図２０に示す概念に基づいて係数種データを生成する係数種データ生成装置１５０′の構成を示している。この図２１において、図２０と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２０２】
係数種データ生成装置１５０′は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（２１）式参照）を生成する正規方程式生成部１７１を有している。
【０２０３】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、ＳＤ信号生成回路１５２へのパラメータｈ，ｖが順次変更されていって水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていき、ＨＤ信号と各ＳＤ信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１７１では、各ＳＤ信号のそれぞれ対応して、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０２０４】
また、係数種データ生成装置１５０′は、正規方程式生成部１７１で生成された正規方程式のデータが供給され、その正規方程式を解いて、各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉを求める係数データ決定部１７２と、この各ＳＤ信号に対応した各クラスの係数データＷｉを使用して、クラス毎に、係数種データｗ₁₀〜ｗ_n9を得るための正規方程式（（２６）式参照）を生成する正規方程式生成部１７３とを有している。
【０２０５】
また、係数種データ生成装置１５０′は、正規方程式生成部１７３でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ₁₀〜ｗ_n9を求める係数種データ決定部１７４と、この求められた係数種データｗ₁₀〜ｗ_n9を記憶する係数種メモリ１６２とを有している。
【０２０６】
図２１に示す係数種データ生成装置１５０′のその他は、図１８に示す係数種データ生成装置１５０と同様に構成される。
【０２０７】
図２１に示す係数種データ生成装置１５０′の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（５２５ｐ信号または１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて入力信号としてのＳＤ信号（５２５ｉ信号）が生成される。
【０２０８】
この場合、第１の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される。一方、第２の変換方法（図１の画像信号処理部１１０で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される。またこの場合、ＳＤ信号生成回路１５２にはパラメータｈ，ｖが制御信号として供給され、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０２０９】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、選択された変換方法、および動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２１０】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０２１１】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２１２】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０２１３】
この動き情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードｑｉとから、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０２１４】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２１５】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１７１では、ＳＤ信号生成回路１５２で生成される各ＳＤ信号のそれぞれ対応して、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（２１）式参照）が生成される。
【０２１６】
そして、係数データ決定部１７２でその正規方程式が解かれ、各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉが求められる。正規方程式生成部１７３では、この各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉから、クラス毎に、係数種データｗ₁₀〜ｗ_n9を得るための正規方程式（（２６）式参照）が生成される。
【０２１７】
そして、係数種データ決定部１７４でその正規方程式が解かれ、各クラスの係数種データｗ₁₀〜ｗ_n9が求められ、その係数種データｗ₁₀〜ｗ_n9はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０２１８】
このように、図２１に示す係数種データ生成装置１５０′においても、図１の画像信号処理部１１０の情報メモリバンク１３５に記憶される各クラスの係数種データｗ₁₀〜ｗ_n9を生成することができる。この場合、ＳＤ信号生成回路１５２では、選択された変換方法によって５２５ｐ信号または１０５０ｉ信号を使用してＳＤ信号（５２５ｉ信号）が生成されるものであり、第１の変換方法（画像信号処理部１１０で５２５ｉ信号より５２５ｐ信号を得る）および第２の変換方法（画像信号処理部１１０で５２５ｉ信号より１０５０ｉ信号を得る）に対応した係数種データを生成できる。
【０２１９】
なお、図１の画像信号処理部１１０では、係数データＷｉ（ｉ＝１〜ｎ）を生成するために（５）式の生成式を使用したが、例えば、（２７）式、（２８）式などを使用してもよく、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２２０】
【数２０】

【０２２１】
また、図１の画像信号処理部１１０では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、例えばノイズ除去度（ノイズ低減度）を指定するパラメータｚを設け、このパラメータｚの値を調整することで画像のノイズ除去度を調整し得るものも同様に構成することができる。
【０２２２】
この場合、係数データＷｉ（ｉ＝１〜ｎ）を生成する生成式として、例えば、（２９）式、（３０）式などを使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２２３】
【数２１】

【０２２４】
なお、上述したようにパラメータｚを含む生成式の係数データである係数種データは、上述したパラメータｈ，ｖを含む生成式の係数データである係数種データを生成する場合と同様に、図１８に示す係数種データ生成装置１５０あるいは図２１に示す係数種データ生成装置１５０′により生成できる。
【０２２５】
その場合、ＳＤ信号生成回路１５２には、パラメータｚが制御信号として供給され、このパラメータｚの値に対応して、ＨＤ信号からＳＤ信号を生成する際に、ＳＤ信号に対するノイズ付加状態が段階的に可変される。このようにＳＤ信号に対するノイズ付加状態を段階的に可変させて学習データを登録することで、連続したノイズ除去度を得るための係数種データを生成することができる。
【０２２６】
ここで、パラメータｚの値に対応したノイズ付加方法の詳細について、いくつかの例を示す。
【０２２７】
例えば、図２２Ａに示すように、ＳＤ信号に振幅レベルを段階的に変化させたノイズ信号を加えて、段階的にノイズレベルが変化するＳＤ信号を生成する。
【０２２８】
また例えば、図２２Ｂに示すように、ＳＤ信号に一定振幅レベルのノイズ信号を加えるが、加える画面領域を段階的に可変する。
【０２２９】
さらに例えば、図２２Ｃに示すように、ＳＤ信号（１画面分）として、ノイズが含まれていないものと、ノイズが含まれているものとを用意する。そして、正規方程式を生成する際に、それぞれのＳＤ信号に対して複数回の学習を行う。
【０２３０】
例えば、「ノイズ０」ではノイズなしのＳＤ信号に対して１００回の学習を行い、「ノイズｉ」ではノイズなしのＳＤ信号に対して３０回の学習を行うと共にノイズありのＳＤ信号に対して７０回の学習を行う。この場合、「ノイズｉ」の方がノイズ除去度が高い係数種データを算出する学習系になる。このように、ノイズなしとノイズありのＳＤ信号に対する学習回数を段階的に変化させて学習を行うことにより、連続したノイズ除去度を得るための係数種データを得ることができる。
【０２３１】
この手法を、上述せずも、正規方程式の加算という形で実現することもできる。
【０２３２】
まず、「ノイズ０」〜「ノイズｉ」における推定式の係数データを算出するような学習を行う。このときの正規方程式は、上述した（２１）式に示すようになる。ここで、Ｐ_ij，Ｑ_jをそれぞれ（３１）式、（３２）式のように定義すると、（２１）式は（３３）式のように書き換えられる。ここで、ｘ_ijはｊ番目の予測タップ位置のＳＤ画素データのｉ番目の学習値、ｙ_iはＨＤ画素データのｉ番目の学習値、Ｗ_iは係数を表している。
【０２３３】
【数２２】

【０２３４】
このような学習を用いて、ノイズなしのＳＤ信号を学習した場合における、（３３）式の左辺を[Ｐ１_ij]、右辺を[Ｑ１_i]と定義し、同様に、ノイズありのＳＤ信号を学習した場合における、（３３）式の左辺を[Ｐ２_ij]、右辺を[Ｑ２_i]と定義する。このような場合に、（３４）式、（３５）式のように、[Ｐ_aij]、[Ｑ_ai]を定義する。ただし、ａ（０≦ａ≦１）である。
【０２３５】
[Ｐ_aij]＝（１−ａ）[Ｐ１_ij]＋ａ[Ｐ２_ij] ・・・（３４）
[Ｑ_ai] ＝（１−ａ）[Ｑ１_i] ＋ａ[Ｑ２_i] ・・・（３５）
ここで、ａ＝０の場合の正規方程式は（３６）式で表され、これは図２２Ｃの「ノイズ０」の場合の正規方程式と等価になり、ａ＝０．７の場合は「ノイズｉ」の場合の正規方程式と等価になる。
[Ｐ_aij][Ｗ_i]＝[Ｑ_ai] ・・・（３６）
【０２３６】
このａを段階的に変化させて各ノイズレベルの正規方程式を作ることにより、目的とする係数種データを得ることができる。この場合、図２１の係数種データ生成装置１５０′で説明したと同様に、各ノイズレベルの正規方程式よりそれぞれ係数データをＷｉを算出し、この各段階の係数データを使用して係数種データを求めることができる。
【０２３７】
また、各ノイズレベルの正規方程式を組み合わせることにより、上述した（１３）式のような係数種データを得るための正規方程式を生成することも可能である。この手法については、以下に具体的に説明する。ここでは、上述した（３０）式を用いて、係数種データを求める正規方程式を生成する場合を考える。
【０２３８】
予め、予め何種類かのパラメータｚに対応したノイズレベルのＳＤ信号を生成して学習を行い、上述した（３４）式、（３５）式に表される[Ｐ]、[Ｑ]を用意しておく。それらを、[Ｐ_nij]、[Ｑ_ni]と表す。また、また、上述した（７）式は、（３７）式のように書き換えられる。
ｔ₀＝１，ｔ₁＝ｚ，ｔ₂＝ｚ² ・・・（３７）
【０２３９】
この場合、上述した（２４）式、（２５）式は、それぞれ（３８）式、（３９）式のように書き換えられる。これらの式に対し、（４０）式を解くことで、係数種データｗ_ijを求めることができる。ここで、予測タップの総数を表す変数はｍに書き換えている。
【０２４０】
【数２３】

【０２４１】
また、図１の画像信号処理部１１０では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、水平および垂直の解像度を１個のパラメータで調整するように構成することもできる。例えば、水平および垂直の解像度を指定する１個のパラメータｒを設定する。この場合、例えば、ｒ＝１はｈ＝１、ｖ＝１、ｒ＝２はｈ＝２、ｖ＝２、・・・、あるいはｒ＝１はｈ＝１、ｖ＝２、ｒ＝２はｈ＝２、ｖ＝３、・・・のような対応関係とされる。この場合、係数データＷｉ（ｉ＝１〜ｎ）を生成する生成式としては、ｒの多項式等が使用されることとなる。
【０２４２】
また、図１の画像信号処理部１１０では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、上述した水平および垂直の解像度を指定するパラメータｒと、上述ノイズ除去度（ノイズ低減度）を指定するパラメータｚとを設定し、これら複数種類のパラメータｒ，ｚの値を調整することで、画像の水平および垂直の解像度とノイズ除去度とを調整し得るものも同様に構成することができる。
【０２４３】
この場合、係数データＷｉ（ｉ＝１〜ｎ）を生成する生成式として、例えば、（４１）式等を使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２４４】
【数２４】

【０２４５】
このように複数種類のパラメータｒ，ｚを調整するためのユーザインタフェースも、図２に示すように構成できる。ユーザは、ジョイスティック２００ａを操作することで、調整画面１１５上でアイコン１１５ａの位置を動かすことができ、解像度を指定するパラメータｒの値とノイズ除去度（ノイズ低減度）を指定するパラメータｚの値とを任意に調整できる。図２４は、調整画面１１５の部分を拡大して示している。アイコン１１５ａが左右に動かされることで解像度を決定するパラメータｒの値が調整され、一方アイコン１１５ａが上下に動かされることでノイズ除去度を決定するパラメータｚの値が調整される。
【０２４６】
ユーザは、ディスプレイ部１１１（図２参照）に表示される調整画面１１５を参照してパラメータｒ，ｚを調整でき、その調整を容易に行うことができる。なお、ユーザによって調整されたパラメータｒ，ｚの値を、調整画面１１５上に数値表示してもよい。
【０２４７】
このようにパラメータｒ，ｚを含む生成式の係数データである係数種データは、上述したパラメータｈ，ｖを含む生成式の係数データである係数種データを生成する場合と同様に、図１８に示す係数種データ生成装置１５０あるいは図２１に示す係数種データ生成装置１５０′により生成できる。
【０２４８】
その場合、ＳＤ信号生成回路１５２には、パラメータｒ，ｚが制御信号として供給され、このパラメータｒ，ｚの値に対応して、ＨＤ信号からＳＤ信号を生成する際に、ＳＤ信号の水平、垂直の帯域と、ＳＤ信号に対するノイズ付加状態とが段階的に可変される。
【０２４９】
図２３は、パラメータｒ，ｚの値に対応したＳＤ信号の生成例を示している。この例では、パラメータｒ，ｚはそれぞれ９段階に可変され、合計８１種類のＳＤ信号が生成される。なお、パラメータｒ，ｚを９段階よりもさらに多くの段階に可変するようにしてもよい。その場合には、算出される係数種データの精度は良くなるが、計算量は増えることとなる。
【０２５０】
また、図１の画像信号処理部１１０では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、これらパラメータｈ，ｖの他に、さらに上述したノイズ除去度（ノイズ低減度）を指定するパラメータｚを設定し、これら複数種類のパラメータｈ，ｖ，ｚの値を調整することで、画像の水平および垂直の解像度とノイズ除去度とを調整し得るものも同様に構成することができる。
【０２５１】
この場合、係数データＷｉ（ｉ＝１〜ｎ）を生成する生成式として、例えば、（４２）式等を使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２５２】
【数２５】

【０２５３】
このようにパラメータｈ，ｖ，ｚを調整するためのユーザインタフェースも、図２に示すように構成できる。ユーザは、ジョイスティック２００ａを操作することで、調整画面１１５上でアイコン１１５ａの位置を動かすことができ、解像度を指定するパラメータｈ，ｖの値とノイズ除去度（ノイズ低減度）を指定するパラメータｚの値とを任意に調整できる。
【０２５４】
図２６は、調整画面１１５の部分を拡大して示している。アイコン１１５ａが左右に動かされることで水平の解像度を決定するパラメータｈの値が調整され、一方アイコン１１５ａが上下に動かされることで垂直の解像度を決定するパラメータｖの値が調整され、さらにアイコン１１５ａが奥行き方向に動かされることでノイズ除去度を決定するパラメータｚの値が調整される。アイコン１１５ａを奥行き方向に動かすには、例えばジョイスティック２００ａを斜め方向に操作すればよい。
【０２５５】
この場合、アイコン１１５ａの大きさや色の濃さ、あるいは色合い等を変化させることで、奥行き方向を表現することが可能である。図中の破線で示されるアイコン１１５ａは、その大きさを変えることで、実線で示されるアイコン１１５ａが奥行き方向に移動された状態を示している。
【０２５６】
ユーザは、ディスプレイ部１１１（図２参照）に表示される調整画面１１５を参照してパラメータｈ，ｖ，ｚを調整でき、その調整を容易に行うことができる。なお、ユーザによって調整されたパラメータｈ，ｖ，ｚの値を、調整画面１１５上に数値表示してもよい。
【０２５７】
このようにパラメータｈ，ｖ，ｚを含む生成式の係数データである係数種データは、上述したパラメータｈ，ｖを含む生成式の係数データである係数種データを生成する場合と同様に、図１８に示す係数種データ生成装置１５０あるいは図２１に示す係数種データ生成装置１５０′により生成できる。
【０２５８】
その場合、ＳＤ信号生成回路１５２には、パラメータｈ，ｖ，ｚが制御信号として供給され、このパラメータｈ，ｖ，ｚの値に対応して、ＨＤ信号からＳＤ信号を生成する際に、ＳＤ信号の水平、垂直の帯域と、ＳＤ信号に対するノイズ付加状態とが段階的に可変される。
【０２５９】
図２５は、パラメータｈ，ｖ，ｚの値に対応したＳＤ信号の生成例を示している。この例では、パラメータｈ，ｖ，ｚはそれぞれ９段階に可変され、合計７２９種類のＳＤ信号が生成される。なお、パラメータｈ，ｖ，ｚを９段階よりもさらに多くの段階に可変するようにしてもよい。その場合には、算出される係数種データの精度は良くなるが、計算量は増えることとなる。
【０２６０】
なお、図１の画像信号処理部１１０における処理を、例えば図２７に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０２６１】
まず、図２７に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラムや係数種データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０２６２】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（Ｒ）ディスク３０６をドライブするフロッピー（Ｒ）ディスクドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０２６３】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０２６４】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０２６５】
また、画像信号処理装置３００は、ＳＤ信号を入力するための入力端子３１４と、ＨＤ信号を出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０２６６】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピー（Ｒ）ディスク３０６で提供するようにしてもよい。
【０２６７】
また、処理すべきＳＤ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０２６８】
図２８のフローチャートを参照して、図２７に示す画像信号処理装置３００における、ＳＤ信号よりＨＤ信号を得るため処理手順を説明する。
【０２６９】
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、ＳＤ画素データをフレーム単位またはフィールド単位で入力する。このＳＤ画素データが入力端子３１４より入力される場合には、このＳＤ画素データをＲＡＭ３０３に一時的に格納する。また、このＳＤ画素データがハードディスクに記録されている場合には、ハードディスクドライブ３０７でこのＳＤ画素データを読み出し、ＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３で、入力ＳＤ画素データの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。
【０２７０】
このステップＳＴ５では、ユーザがリモコン送信機２００を操作して入力した画質指定値（例えばパラメータｈ，ｖの値など）を例えばＲＡＭ３０３より読み込む。そして、ステップＳＴ６で、読み込んだ画質指定値および各クラスの係数種データを使用して、生成式（例えば（５）式）によって、各クラスの推定式（（４）式参照）の係数データＷｉを生成する。
【０２７１】
次に、ステップＳＴ７で、ステップＳＴ２で入力されたＳＤ画素データより、生成すべき各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ８で、入力されたＳＤ画素データの全領域においてＨＤ画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２に戻り、次のフレームまたはフィールドのＳＤ画素データの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ９に進む。
【０２７２】
このステップＳＴ９では、ステップＳＴ７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ１０で、そのクラスコードＣＬに対応した係数データと予測タップのＳＤ画素データを使用して、推定式により、ＨＤ画素データを生成し、その後にステップＳＴ７に戻って、上述したと同様の処理を繰り返す。
【０２７３】
このように、図２８に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号を構成するＳＤ画素データを処理して、ＨＤ信号を構成するＨＤ画素データを得ることができる。上述したように、このように処理して得られたＨＤ信号は出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０２７４】
また、処理装置の図示は省略するが、図１８の係数種データ生成装置１５０における処理を、ソフトウェアで実現することも可能である。
【０２７５】
図２９のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、学習に使われる、画質パターン（例えば、パラメータｈ，ｖで特定される）を選択する。そして、ステップＳＴ２３で、全ての画質パターンに対して学習が終わったか否かを判定する。全ての画質選択パターンに対して学習が終わっていないときは、ステップＳＴ２４に進む。
【０２７６】
このステップＳＴ２４では、既知のＨＤ画素データをフレーム単位またはフィールド単位で入力する。そして、ステップＳＴ２５で、全てのＨＤ画素データについて処理が終了したか否かを判定する。終了したときは、ステップＳＴ２２に戻って、次の画質パターンを選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＴ２６に進む。
【０２７７】
このステップＳＴ２６では、ステップＳＴ２４で入力されたＨＤ画素データより、ステップＳＴ２２で選択された画質パターンに基づいて、ＳＤ画素データを生成する。そして、ステップＳＴ２７で、ステップＳＴ２６で生成されたＳＤ画素データより、ステップＳＴ２４で入力された各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ２８で、生成されたＳＤ画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ２４に戻って、次のＨＤ画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ２９に進む。
【０２７８】
このステップＳＴ２９では、ステップＳＴ２７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ３０で、正規方程式（（１３）式参照）を生成する。その後に、ステップＳＴ２７に戻る。
【０２７９】
また、ステップＳＴ２３で、全ての画質パターンに対して学習が終わったときは、ステップＳＴ３１に進む。このステップＳＴ３１では、正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップＳＴ３２で、その係数種データをメモリに保存し、その後にステップＳＴ３３で、処理を終了する。
【０２８０】
このように、図２９に示すフローチャートに沿って処理をすることで、図１８に示す係数種データ生成装置１５０と同様の手法によって、各クラスの係数種データを得ることができる。
また、処理装置の図示は省略するが、図２１の係数種データ生成装置１５０′における処理も、ソフトウェアで実現可能である。
【０２８１】
図３０のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ４１で、処理を開始し、ステップＳＴ４２で、学習に使われる、画質パターン（例えば、パラメータｈ，ｖで特定される）を選択する。そして、ステップＳＴ４３で、全ての画質パターンに対する係数データの算出処理が終了したか否かを判定する。終了していないときは、ステップＳＴ４４に進む。
【０２８２】
このステップＳＴ４４では、既知のＨＤ画素データをフレーム単位またはフィールド単位で入力する。そして、ステップＳＴ４５で、全てのＨＤ画素データについて処理が終了したか否かを判定する。終了していないときは、ステップＳＴ４６で、ステップＳＴ４４で入力されたＨＤ画素データより、ステップＳＴ４２で選択された画質パターンに基づいて、ＳＤ画素データを生成する。
【０２８３】
そして、ステップＳＴ４７で、ステップＳＴ４６で生成されたＳＤ画素データより、ステップＳＴ４４で入力された各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ４８で、生成されたＳＤ画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ４４に戻って、次のＨＤ画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ４９に進む。
【０２８４】
このステップＳＴ４９では、ステップＳＴ４７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ５０で、係数データを得るための正規方程式（（２１）式参照）を生成する。その後に、ステップＳＴ４７に戻る。
【０２８５】
上述したステップＳＴ４５で、全てのＨＤ画素データについて処理が終了したときは、ステップＳＴ５１で、ステップＳＴ５０で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。その後に、ステップＳＴ４２に戻って、次の画質パターンを選択して、上述したと同様の処理を繰り返し、次の画質パターンに対応した、各クラスの係数データを求める。
【０２８６】
また、上述のステップＳＴ４３で、全ての画質パターンに対する係数データの算出処理が終了したときは、ステップＳＴ５２に進む。このステップＳＴ５２では、全ての画質パターンに対する係数データから、係数種データを求めるための正規方程式（（２６）式参照）を生成する。
【０２８７】
そして、ステップＳＴ５３で、ステップＳＴ５２で生成された正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップＳＴ５４で、その係数種データをメモリに保存し、その後にステップＳＴ５５で、処理を終了する。
【０２８８】
このように、図３０に示すフローチャートに沿って処理をすることで、図２１に示す係数種データ生成装置１５０′と同様の手法によって、各クラスの係数種データを得ることができる。
【０２８９】
次に、この発明の他の実施の形態について説明する。図３１は、他の実施の形態としてのテレビ受信機１００′の構成を示している。このテレビ受信機１００′も、放送信号よりＳＤ信号としての５２５ｉ信号を得、この５２５ｉ信号をＨＤ信号としての５２５ｐ信号または１０５０ｉ信号に変換し、その５２５ｐ信号または１０５０ｉ信号による画像を表示するものである。この図３１において、図１と対応する部分には同一符号を付して示している。
【０２９０】
テレビ受信機１００′は、図１に示すテレビ受信機１００の画像信号処理部１１０が画像信号処理部１１０′に置き換えられたものであって、テレビ受信機１００と同様の動作をする。
【０２９１】
画像信号処理部１１０′の詳細を説明する。この画像信号処理部１１０′において、図１に示す画像信号処理部１１０と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２９２】
この画像信号処理部１１０′は、情報メモリバンク１３５′を有している。この情報メモリバンク１３５′には、図１に示す画像信号処理部１１０における情報メモリバンク１３５と同様に、レジスタ１３０に格納するための動作指定情報と、レジスタ１３１〜１３３に格納するためのタップ位置情報が予め蓄えられている。さらに、この情報メモリバンク１３５′には、第１の変換方法（５２５ｐ）および第２の変換方法（１０５０ｉ）のそれぞれに対応した、クラスおよびパラメータｈ，ｖの値の組み合わせ毎の係数データが予め蓄えられている。この係数データの生成方法については後述する。
【０２９３】
この画像信号処理部１１０′の動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第２のタップ選択回路１２２では、レジスタ１３２より供給される、ユーザによって選択された変換方法、および動きクラス検出回路１２５で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２９４】
この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０２９５】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１２３では、レジスタ１３３より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２９６】
この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０２９７】
この動き情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動き情報ＭＶと再量子化コードｑｉとから、作成すべきＨＤ信号（５２５ｐ信号または１０５０ｉ信号）の画素（注目画素）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。そして、このクラスコードＣＬは係数メモリ１３４に読み出しアドレス情報として供給される。
【０２９８】
係数メモリ１３４には、例えば垂直ブランキング期間に、ユーザによって調整されたパラメータｈ，ｖの値および変換方法に対応した各クラスの係数データが、情報メモリバンク１３５′よりロードされて格納される。上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１３４からクラスコードＣＬに対応した係数データＷｉが読み出されて推定予測演算回路１２７に供給される。
【０２９９】
なお、情報メモリバンク１３５′に、調整されたパラメータｈ，ｖの値に対応した係数データが蓄えられていない場合には、その調整されたパラメータｈ，ｖの値の前後の値に対応した係数データを情報メモリバンク１３５′より読み出し、それらを用いた補間演算処理によって、調整されたパラメータｈ，ｖの値に対応した係数データを得るようにしてもよい。
【０３００】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第１のタップ選択回路１２１で、予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１２１では、レジスタ１３１より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。この第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉは推定予測演算回路１２７に供給される。
【０３０１】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号の画素（注目画素）のデータ（ＨＤ画素データ）ｙが演算される（（４）式参照）。この場合、ＨＤ信号を構成する４画素のデータが同時的に生成される。
【０３０２】
これにより、５２５ｐ信号を出力する第１の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とが生成される（図４参照）。また、１０５０ｉ信号を出力する第２の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが生成される（図５参照）。
【０３０３】
このように推定予測演算回路１２７で生成されたラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）は線順次変換回路１２９に供給される。そして、この線順次変換回路１２９では、ラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）が線順次化されてＨＤ信号が生成される。この場合、線順次変換回路１２９は、レジスタ１３０より供給される、ユーザによって選択された変換方法に対応した動作指示情報に従った動作をする。そのため、ユーザによって第１の変換方法（５２５ｐ）が選択されているときは、線順次変換回路１２９より５２５ｐ信号が出力される。一方、ユーザによって第２の変換方法（１０５０ｉ）が選択されているときは、線順次変換回路１２９より１０５０ｉ信号が出力される。
【０３０４】
このように、画像信号処理部１１０′では、調整されたパラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が使用されて、ＨＤ画素データｙが演算される。したがって、ユーザは、パラメータｈ，ｖの値を調整することで、ＨＤ信号による画像の画質を水平解像度および垂直解像度の軸で自由に調整できる。
【０３０５】
上述したように、情報メモリバンク１３５′には、第１、第２の変換方法のそれぞれに対応した、クラスおよびパラメータｈ，ｖの値の組み合わせ毎の係数データが予め蓄えられている。この係数データは、予め学習によって生成されたものである。
【０３０６】
上述では、係数種データの生成方法の他の例として、まずパラメータｈ，ｖの値を段階的に可変して得られるＳＤ信号毎に、それを用いた学習によって各クラスの係数データを生成し、次にＳＤ信号毎の各クラスの係数データを使用して各クラスの係数種データを求めるものを説明した。情報メモリバンク１３５′に予め蓄えられる、クラスおよびパラメータｈ，ｖの値の組み合わせ毎の係数データは、この係数種データの生成方法における、前半部分と同様の方法で生成することができる。
【０３０７】
図３２は、係数データ生成装置１８０を示している。この係数データ生成装置１８０において、図２１に示す係数種データ生成装置１５０′と対応する部分には同一符号を付し、その詳細説明は省略する。
【０３０８】
この係数データ生成装置１８０では、係数メモリ１６２を有している。この係数メモリ１６２には、係数データ決定部１７２で決定された各ＳＤ信号に対応した各クラスの係数データＷｉが記憶される。この係数データ生成装置１８０のその他は、図２１に示す係数種データ生成装置１５０′と同様に構成される。
【０３０９】
図３２に示す係数データ生成装置１８０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（５２５ｐ信号または１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて入力信号としてのＳＤ信号（５２５ｉ信号）が生成される。
【０３１０】
この場合、第１の変換方法（図３１の画像信号処理部１１０′で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される。一方、第２の変換方法（図３１の画像信号処理部１１０′で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される。またこの場合、ＳＤ信号生成回路１５２にはパラメータｈ，ｖが制御信号として供給され、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０３１１】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、選択された変換方法、および動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０３１２】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラスのクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０３１３】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０３１４】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラスのクラス情報ＭＶが得られる。
【０３１５】
この動き情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードｑｉとから、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０３１６】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０３１７】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１７１では、ＳＤ信号生成回路１５２で生成される各ＳＤ信号のそれぞれ対応して、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（２１）式参照）が生成される。
【０３１８】
そして、係数データ決定部１７２でその正規方程式が解かれ、各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉが求められる。すなわち、係数データ決定部１７２からは、クラスおよびパラメータｈ，ｖの値の組み合わせ毎の係数データＷｉが得られる。この係数データＷｉは、クラスおよびパラメータｈ，ｖの値の組み合わせ別にアドレス分割された係数メモリ１６２に記憶される。
【０３１９】
このように、図３２に示す係数データ生成装置１８０においては、図３１の画像信号処理部１１０′の情報メモリバンク１３５′に記憶される、クラスおよびパラメータｈ，ｖの値の組み合わせ毎の係数データＷｉを生成することができる。この場合、ＳＤ信号生成回路１５２では、選択された変換方法によって５２５ｐ信号または１０５０ｉ信号を使用してＳＤ信号（５２５ｉ信号）が生成されるものであり、第１の変換方法および第２の変換方法に対応した係数データを生成できる。
【０３２０】
なお、図３１の画像信号処理部１１０′では、水平解像度を指定するパラメータｈと、垂直解像度を指定するパラメータｖとを設定し、これらパラメータｈ，ｖの値を調整することで画像の水平、垂直の解像度を調整し得るものを示したが、図１のテレビ受信機１００の部分で説明したと同様に、水平および垂直の解像度を指定するパラメータｒと、ノイズ除去度（ノイズ低減度）を指定するパラメータｚとを設定し、これらのパラメータｒ，ｚの値を調整することで、画像の水平および垂直の解像度とノイズ除去度とを調整し得るものも同様に構成できる。この場合、画像信号処理部１１０′の情報メモリバンク１３５′には、各変換方法にそれぞれ対応した、クラスおよびパラメータｒ，ｚの値の組み合わせ毎の係数データが予め蓄えられることとなる。
【０３２１】
この係数データは、上述したパラメータｈ，ｖの値に対応した係数データを生成する場合と同様に、図３２に示す係数データ生成装置１８０により生成できる。その場合、ＳＤ信号生成回路１５２には、パラメータｒ，ｚが制御信号として供給され、これらのパラメータｒ，ｚの値に対応して、ＨＤ信号からＳＤ信号を生成する際に、ＳＤ信号の水平、垂直の帯域と、ＳＤ信号に対するノイズ付加状態とが段階的に可変される。
【０３２２】
また、図３１の画像信号処理部１１０′では、水平解像度を指定するパラメータｈと、垂直解像度を指定するパラメータｖとを設定し、これらパラメータｈ，ｖの値を調整することで画像の水平、垂直の解像度を調整し得るものを示したが、図１のテレビ受信機１００の部分で説明したと同様に、水平、垂直の解像度をそれぞれ指定するパラメータｈ，ｖと、ノイズ除去度（ノイズ低減度）を指定するパラメータｚとを設定し、これらのパラメータｈ，ｖ，ｚの値を調整することで、画像の水平、垂直の解像度およびノイズ除去度とを調整し得るものも同様に構成できる。この場合、画像信号処理部１１０′の情報メモリバンク１３５′には、各変換方法にそれぞれ対応した、クラスおよびパラメータｈ，ｖ，ｚの値の組み合わせ毎の係数データが予め蓄えられることとなる。
【０３２３】
この係数データも、上述したパラメータｈ，ｖの値に対応した係数データを生成する場合と同様に、図３２に示す係数データ生成装置１８０により生成できる。その場合、ＳＤ信号生成回路１５２には、パラメータｈ，ｖ，ｚが制御信号として供給され、これらのパラメータｈ，ｖ，ｚの値に対応して、ＨＤ信号からＳＤ信号を生成する際に、ＳＤ信号の水平、垂直の帯域およびＳＤ信号に対するノイズ付加状態とが段階的に可変される。
【０３２４】
なお、図３１の画像信号処理部１１０′における処理を、図１の画像信号処理部１１０における処理と同様に、例えば図２７に示す画像信号処理装置３００によって、ソフトウェアで実現することも可能である。この場合、ＲＯＭ３０２等に、係数データが予め格納されて使用される。
【０３２５】
図３３のフローチャートを参照して、図２７に示す画像信号処理装置における、ＳＤ信号よりＨＤ信号を得るための処理手順を説明する。
まず、ステップＳＴ６１で、処理を開始し、ステップＳ６２で、ＳＤ画素データをフレーム単位またはフィールド単位で入力する。このＳＤ画素データが入力端子３１４より入力される場合には、このＳＤ画素データをＲＡＭ３０３に一時的に格納する。また、このＳＤ画素データがハードディスクに記録されている場合には、ハードディスクドライブ３０７でこのＳＤ画素データを読み出し、ＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ６３で、入力ＳＤ画素データの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ６４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ６５に進む。
【０３２６】
このステップＳＴ６５では、ユーザがリモコン送信機２００を操作して入力した画質指定値（例えばパラメータｈ，ｖの値など）を例えばＲＡＭ３０３より読み込む。そして、ステップＳＴ６６で、読み込んだ画質指定値に基づいて、ＲＯＭ３０２等からその画質指定値に対応した各クラスの係数データＷｉを読み出し、ＲＡＭ３０３に一時的に格納する。
【０３２７】
次に、ステップＳＴ６７で、ステップＳＴ６２で入力されたＳＤ画素データより、生成すべき各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ６８で、入力されたＳＤ画素データの全領域においてＨＤ画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ６２に戻り、次のフレームまたはフィールドのＳＤ画素データの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ６９に進む。
【０３２８】
このステップＳＴ６９では、ステップＳＴ６７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ７０で、そのクラスコードＣＬに対応した係数データと予測タップのＳＤ画素データを使用して、推定式により、ＨＤ画素データを生成し、その後にステップＳＴ６７に戻って、上述したと同様の処理を繰り返す。
【０３２９】
このように、図３３に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号を構成するＳＤ画素データを処理して、ＨＤ信号を構成するＨＤ画素データを得ることができる。上述したように、このように処理して得られたＨＤ信号は出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
また、処理装置の図示は省略するが、図３２の係数データ生成装置１８０における処理も、ソフトウェアで実現可能である。
【０３３０】
図３４のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ８１で、処理を開始し、ステップＳＴ８２で、学習に使われる、画質パターン（例えば、パラメータｈ，ｖで特定される）を選択する。そして、ステップＳＴ８３で、全ての画質パターンに対する係数データの算出処理が終了したか否かを判定する。終了していないときは、ステップＳＴ８４に進む。
【０３３１】
このステップＳＴ８４では、既知のＨＤ画素データをフレーム単位またはフィールド単位で入力する。そして、ステップＳＴ８５で、全てのＨＤ画素データについて処理が終了したか否かを判定する。終了していないときは、ステップＳＴ８６で、ステップＳＴ８４で入力されたＨＤ画素データより、ステップＳＴ８２で選択された画質パターンに基づいて、ＳＤ画素データを生成する。
【０３３２】
そして、ステップＳＴ８７で、ステップＳＴ８６で生成されたＳＤ画素データより、ステップＳＴ８４で入力された各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ８８で、生成されたＳＤ画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ８４に戻って、次のＨＤ画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ８９に進む。
【０３３３】
このステップＳＴ８９では、ステップＳＴ８７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ９０で、係数データを得るための正規方程式（（２１）式参照）を生成する。その後に、ステップＳＴ８７に戻る。
【０３３４】
上述したステップＳＴ８５で、全てのＨＤ画素データについて処理が終了したときは、ステップＳＴ９１で、ステップＳＴ９０で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。その後に、ステップＳＴ８２に戻って、次の画質パターンを選択して、上述したと同様の処理を繰り返し、次の画質パターンに対応した、各クラスの係数データを求める。
【０３３５】
また、上述のステップＳＴ８３で、全ての画質パターンに対する係数データの算出処理が終了したときは、ステップＳＴ９２で、全ての画質パターンに対する各クラスの係数データをメモリに保存し、その後にステップＳＴ９３で、処理を終了する。
【０３３６】
このように、図３４に示すフローチャートに沿って処理をすることで、図３２に示す係数データ生成装置１８０と同様の手法によって、全ての画質パターンに対する各クラスの係数データを得ることができる。
【０３３７】
なお、上述実施の形態においては、ＨＤ信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０３３８】
また、上述実施の形態においては、ＳＤ信号（５２５ｉ信号）をＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
【０３３９】
なお、上述実施の形態においては、入力されるパラメータの値を変化させることで、解像度アップやノイズ抑圧（ノイズ除去）の機能を連続して切り換えることができるが、これら解像度アップやノイズ抑圧の他に、さらに復号化や信号形式の変換などの機能にも切り換えできるものも同様に構成できる。
【０３４０】
図３５は、解像度アップ、ノイズ抑圧、ＭＰＥＧ信号のデコード、ＪＰＥＧ(Joint Photographic Experts Group)信号のデコード、コンポジット信号からコンポーネント信号への変換などの機能を切り換えることができる画像信号処理装置５００を示している。
【０３４１】
この画像信号処理装置５００は、入力ビデオ信号Ｖinが入力される入力端子５０１と、この入力端子５０１に入力される入力ビデオ信号Ｖinに対して処理をして出力ビデオ信号Ｖoutを得る画像信号処理部５０２と、この画像信号処理部５０２で得られる出力ビデオ信号Ｖoutを出力する出力端子５０３とから構成されている。
【０３４２】
画像信号処理部５０２には、パラメータＰが入力される。このパラメータＰは、画像信号処理部５０２の機能を選択するためのものである。例えば、図３６に示すように、Ｐ＝Ｐ₁であるときは解像度アップの機能が選択され、Ｐ＝Ｐ₂であるときはノイズ抑圧の機能が選択され、Ｐ＝Ｐ₃であるときはＭＰＥＧ信号（レートａ）のデコードの機能が選択され、Ｐ＝Ｐ₄であるときはＭＰＥＧ信号（レートｂ）のデコードの機能が選択され、Ｐ＝Ｐ₅であるときはコンポジット信号からコンポーネント信号への変換の機能が選択され、Ｐ＝Ｐ₆であるときはＪＰＥＧ信号のデコードの機能が選択される。画像信号処理部５０２では、選択された機能の処理が行われる。
【０３４３】
また、画像信号処理部５０２は、図１の画像信号処理部１１０と同様に、入力画像信号Ｖinより抽出されたクラスタップのデータからクラスＣＬを検出するクラス検出部５０２ａと、このクラス検出部５０２ａで検出されるクラスＣＬとパラメータＰとから、それらに対応した推定式の係数データＷｉを発生する係数データ発生部５０２ｂと、この係数データ発生部５０２ｂで発生された係数データと入力ビデオ信号Ｖinより抽出された予測タップのデータから出力画像信号Ｖoutを構成するデータを生成するデータ生成部５０２ｃとを有している。係数データ発生部５０２ｂは、例えばパラメータＰの値、すなわちＰ₁〜Ｐ₆にそれぞれ対応した、各クラスの係数データＷｉが格納されたメモリを持っており、このメモリからクラス検出部５０２ａで検出されたクラスＣＬおよび入力されたパラメータＰの値に対応した係数データＷｉを読み出して出力する。
【０３４４】
なお、（４３）式に示すような推定式の係数データＷｉを生成するための生成式を設定し、メモリには当該生成式の係数データである係数種データｗ₀〜ｗ_nをクラス毎に格納しておき、この生成式によってクラス検出部５０２ａで検出されたクラスＣＬおよび入力されたパラメータＰの値に対応した係数データＷｉを演算して得るようにしてよい。
Ｗｉ＝ｗ₀＋ｗ₁Ｐ＋ｗ₂Ｐ²＋・・・＋ｗ_nＰⁿ ・・・（４３）
【０３４５】
図３５に示す画像信号処理装置５００の動作を説明する。
入力端子５０１に供給される入力画像信号Ｖinは画像信号処理部５０２に供給される。この画像信号処理部５０２に供給される入力画像信号Ｖinはクラス検出部５０２ａに供給される。このクラス検出部５０２ａでは、入力画像信号Ｖinから抽出されたクラスタップのデータに基づいてクラスＣＬの検出が行われる。このようにクラス検出部５０２で検出されたクラスＣＬは係数データ発生部５０２ｂに供給される。
【０３４６】
この係数データ発生部５０２には、画像信号処理部５０２に入力されたパラメータＰも供給される。そして、係数データ発生部５０２ｂでは、クラスＣＬに対応し、かつパラメータＰの値に対応した推定式の係数データＷｉが発生される。この推定式の係数データＷｉはデータ生成部５０２ｃに供給される。
【０３４７】
また、入力画像信号Ｖinはデータ生成部５０２ｃに供給される。このデータ生成部５０２ｃでは、入力画像信号Ｖinから予測タップのデータが抽出されると共に、係数データＷｉを使用して、推定式により、出力画像信号Ｖoutを構成するデータが生成される。そして、このデータ生成部５０２ｃで生成されるデータが画像信号処理部５０２から出力画像信号Ｖoutとして出力され、この出力画像信号Ｖoutが出力端子５０３に出力される。
【０３４８】
上述したように、画像信号処理部５０２の係数データ発生部５０２ｂでは、入力されたパラメータＰの値に対応した係数データＷｉが発生され、データ生成部５０２ｃではその係数データＷｉを使用して出力画像信号Ｖoutを構成するデータが生成される。したがって、画像信号処理部５０２では、パラメータＰで選択された機能の処理が行われることとなる。換言すれば、パラメータＰの値を変更することで、画像信号処理装置５００の機能を切り換えることができる。
【０３４９】
このように、図３５に示す画像信号処理装置５００によれば、単一の装置で、解像度アップ、ノイズ抑圧、ＭＰＥＧ信号のデコード、ＪＰＥＧ(Joint Photographic Experts Group)信号のデコード、コンポジット信号からコンポーネント信号への変換の各機能を実現することができる。
【０３５０】
また、解像度アップとして、今回は空間方向の解像度を例に挙げたが、時間方向の解像度も考えられる。また、一次元Ｙ／Ｃ分離、二次元Ｙ／Ｃ分離、三次元Ｙ／Ｃ分離等の間で機能の切り換えをすることができる。
【０３５１】
なお、図３５の画像信号処理装置５００において、パラメータＰはユーザが入力するように設計してもよく、また入力ビデオ信号Ｖinの特徴に応じて、自動的にパラメータが設定されるようにしてもよい。また、クラス検出部５０２ａ内のクラスタップ選択回路やデータ生成部５０２ｃ内の予測タップ選択回路では、パラメータＰの値に応じて、各タップを選択するようにしてもよい。
【０３５２】
また、図３５の画像信号処理回路５００では、パラメータＰが離散的な値をとるものを示したが、このパラメータＰが連続的な値をとるものも考えることができる。この場合、パラメータＰに対応した係数データＷｉは、離散的な係数データを使用した線形補間、あるいは係数種データを用いるものにあってはそのパラメータＰの値を代入することで得ることができる。このようにパラメータＰが連続的な値をとるようにすることで、例えば図３６に示すように、レートａ，ｂのＭＰＥＧ信号の復号をするものにあって、さらにこのレートａ，ｂの間の任意のレートのＭＰＥＧ信号の復号も可能となる。
【０３５３】
また、図３５の画像信号処理装置５００で切り換えが行われる機能は一例であり、これに限定されるものではない。同様の構成によってその他の機能の切り換えもできることは勿論である。
【０３５４】
また、上述実地の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
【０３５６】
【発明の効果】
この発明によれば、第１の情報信号を第２の情報信号に変換する際に、第２の情報信号を複数種類のパラメータの値に対応して生成するものであり、第２の情報信号によって得られる出力の質を複数の軸で自由に調整することができる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】画質を調整するためのユーザインタフェース例を示す図である。
【図３】調整画面を拡大して示した図である。
【図４】５２５ｉ信号と５２５ｐ信号の画素位置関係を説明するための図である。
【図５】５２５ｉ信号と１０５０ｉ信号の画素位置関係を説明するための図である。
【図６】５２５ｉと５２５ｐの画素位置関係と、予測タップの一例を示す図である。
【図７】５２５ｉと５２５ｐの画素位置関係と、予測タップの一例を示す図である。
【図８】５２５ｉと１０５０ｉの画素位置関係と、予測タップの一例を示す図である。
【図９】５２５ｉと１０５０ｉの画素位置関係と、予測タップの一例を示す図である。
【図１０】５２５ｉと５２５ｐの画素位置関係と、空間クラスタップの一例を示す図である。
【図１１】５２５ｉと５２５ｐの画素位置関係と、空間クラスタップの一例を示す図である。
【図１２】５２５ｉと１０５０ｉの画素位置関係と、空間クラスタップの一例を示す図である。
【図１３】５２５ｉと１０５０ｉの画素位置関係と、空間クラスタップの一例を示す図である。
【図１４】５２５ｉと５２５ｐの画素位置関係と、動きクラスタップの一例を示す図である。
【図１５】５２５ｉと１０５０ｉの画素位置関係と、動きクラスタップの一例を示す図である。
【図１６】５２５ｐ信号を出力する場合のライン倍速処理を説明するための図である。
【図１７】係数種データの生成方法の一例の概念を示す図である。
【図１８】係数種データ生成装置の構成例を示すブロック図である。
【図１９】帯域フィルタの周波数特性の一例を示す図である。
【図２０】係数種データの生成方法の他の例の概念を示す図である。
【図２１】係数種データ生成装置の他の構成例を示すブロック図である。
【図２２】ノイズ付加方法を説明するための図である。
【図２３】ＳＤ信号（パラメータｒ，ｚ）の生成例を示す図である。
【図２４】パラメータｒ，ｚの調整画面の一例を示す図である。
【図２５】ＳＤ信号（パラメータｈ，ｖ，ｚ）の生成例を示す図である。
【図２６】パラメータｈ，ｖ，ｚの調整画面の一例を示す図である。
【図２７】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図２８】画像信号の処理手順を示すフローチャートである。
【図２９】係数種データ生成処理（その１）を示すフローチャートである。
【図３０】係数種データ生成処理（その２）を示すフローチャートである。
【図３１】他の実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図３２】係数データ生成装置の構成例を示すブロック図である。
【図３３】画像信号の処理手順を示すフローチャートである。
【図３４】係数データ生成処理を示すフローチャートである。
【図３５】他の実施の形態としての画像信号処理装置の構成を示すブロック図である。
【図３６】パラメータＰの値と機能との対応関係を示す図である。
【符号の説明】
１００，１００′・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ、１０７・・・外部入力端子、１１０，１１０′・・・画像信号処理部、１１１・・・ディスプレイ部、１１２・・・ＯＳＤ回路、１１５・・・調整画面、１１５ａ・・・アイコン、１２１・・・第１のタップ選択回路、１２２・・・第２のタップ選択回路、１２３・・・第３のタップ選択回路、１２４・・・空間クラス検出回路、１２５・・・動きクラス検出回路、１２６・・・クラス合成回路、１２７・・・推定予測演算回路、１２８・・・正規化演算回路、１２９・・・線順次変換回路、１３０〜１３３・・・レジスタ、１３４・・・係数メモリ、１３５，１３５′・・・情報メモリバンク、１３６・・・係数生成回路、１３７・・・正規化係数生成回路、１３８・・・正規化係数メモリ、１５０，１５０′・・・係数種データ生成装置、１５１・・・入力端子、１５２・・・ＳＤ信号生成回路、１５３・・・第１のタップ選択回路、１５４・・・第２のタップ選択回路、１５５・・・第３のタップ選択回路、１５６・・・タップ選択制御回路、１５７・・・空間クラス検出回路、１５８・・・動きクラス検出回路、１５９・・・クラス合成回路、１６０，１７１，１７３・・・正規方程式生成部、１６１，１７４・・・係数種データ決定部、１６２・・・係数種メモリ、１７２・・・係数データ決定部、１８０・・・係数データ生成装置、２００・・・リモコン送信機、２００ａ・・・ジョイスティック、３００・・・画像信号処理装置、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３０４・・・バス、３０５・・・ハードディスクドライブ、３０７・・・フロッピー（Ｒ）ディスクドライブ、３０８・・・通信部、３０９，３１２，３１３，３１６，３１７・・・インタフェース、３１０・・・リモコン信号受信回路、３１１・・・ディスプレイ、３１４・・・入力端子、３１５・・・出力端子、４００・・・通信網、５００・・・画像信号処理装置、５０１・・・入力端子、５０２・・・画像信号処理部、５０３・・・出力端子、５０２ａ・・・クラス検出部、５０２ｂ・・・係数データ発生部、５０２ｃ・・・データ生成部

Claims (14)

1. 複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、
   上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
   上記第１のデータ選択手段で選択された上記複数の第１の情報データに基づいて、上記注目点が属するクラスを検出するクラス検出手段と、
   上記第２の情報信号によって得られる出力の質を決める複数種類のパラメータの値を調整するパラメータ調整手段と、
   上記クラス検出手段で検出されたクラスおよび上記パラメータ調整手段で調整された複数種類のパラメータの値に対応して、上記注目点の情報データを生成する情報データ生成手段と
   を備えることを特徴とする情報信号処理装置。
2. 上記情報データ生成手段は、
   上記クラス検出手段で検出されるクラス毎に予め求められた、推定式の係数データを生成する上記複数種類のパラメータを含む生成式の係数データである係数種データを記憶する第１のメモリ手段と、
   上記第１のメモリ手段に記憶されている係数種データと上記パラメータ調整手段で調整された複数種類のパラメータの値とを用いて上記生成式によって生成され、上記クラス検出手段で検出されたクラスおよび上記パラメータ調整手段で調整された複数種類のパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、
   上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、
   上記係数データ発生手段で発生された上記係数データと上記第２のデータ選択手段で選択された上記複数の第２の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る演算手段と
   を有することを特徴とする請求項１に記載の情報信号処理装置。
3. 上記係数データ発生手段は、
   上記第１のメモリ手段に記憶されている係数種データと上記調整された複数種類のパラメータの値とを用い、上記生成式により、上記クラス検出手段で検出されるクラス毎に上記推定式の係数データを生成する係数データ生成手段と、
   上記係数データ生成手段で生成された各クラスにおける上記推定式の係数データを記憶する第２のメモリ手段と、
   上記第２のメモリ手段より上記クラス検出手段で検出されたクラスに対応した上記推定式の係数データを読み出して出力する係数データ読み出し手段と
   を有してなることを特徴とする請求項２に記載の情報信号処理装置。
4. 上記係数データ発生手段で発生される上記推定式の係数データの総和を求める加算手段と、
   上記演算手段で得られた上記注目点の情報データを上記総和で除算して正規化する正規化手段とをさらに備える
   ことを特徴とする請求項２に記載の情報信号処理装置。
5. 上記情報データ生成手段は、
   上記クラス検出手段で検出されるクラスおよび上記パラメータ調整手段で調整される複数種類のパラメータの値の組み合わせ毎に予め生成された推定式の係数データを記憶するメモリを持ち、上記クラス検出手段で検出されたクラスおよび上記パラメータ調整手段で調整された複数種類のパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、
   上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、
   上記係数データ発生手段で発生された上記係数データと上記第２のデータ選択手段で選択された上記複数の第２の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る演算手段と
   を有することを特徴とする請求項１に記載の情報信号処理装置。
6. 上記係数データ発生手段は、
   上記クラス検出手段で検出されるクラスおよび上記パラメータ調整手段で調整される複数種類のパラメータの値の組み合わせ毎に予め生成された上記推定式の係数データを記憶する第１のメモリ部と、
   上記第１のメモリ部より上記パラメータ調整手段で調整された複数種類のパラメータの値に対応する各クラスの係数データを読み出す第１のデータ読み出し手段と、
   上記第１のデータ読み出し手段で読み出された各クラスの係数データを記憶する第２のメモリ部と、
   上記第２のメモリ部より上記クラス検出手段で検出されたクラスに対応する係数データを読み出す第２のデータ読み出し手段と
   を有してなることを特徴とする請求項５に記載の情報信号処理装置。
7. 上記パラメータ調整手段は、
   上記複数種類のパラメータの調整位置を表示する表示手段と、
   上記表示手段の表示を参照して上記複数種類のパラメータの値を調整するユーザ操作手段と
   を有してなることを特徴とする請求項１に記載の情報信号処理装置。
8. 複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
   上記第１の画像信号から、上記第２の画像信号に係る注目画素の周辺に位置する複数の画素データを選択するデータ選択手段と、
   上記データ選択手段で選択された上記複数の画素データに基づいて、上記注目画素が属するクラスを検出するクラス検出手段と、
   上記第２の画像信号によって得られる出力の質を決める複数種類のパラメータの値を調整するパラメータ調整手段と、
   上記クラス検出手段で検出されたクラスおよび上記パラメータ調整手段で調整された複数種類のパラメータの値に対応して、上記注目画素の画素データを生成する画素データ生成手段と
   を備えることを特徴とする画像信号処理装置。
9. 複数の画素データからなる第１の画像信号を入力する画像信号入力手段と、
   上記画像信号入力手段より入力された上記第１の画像信号を複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、
   上記画像信号処理手段より出力される上記第２の画像信号による画像を画像表示素子に表示する画像表示手段と、
   上記画像表示素子に表示される上記画像の画質を決める複数種類のパラメータの値を調整するパラメータ調整手段とを有してなり、
   上記画像信号処理手段は、
   上記第１の画像信号から、上記第２の画像信号に係る注目画素の周辺に位置する複数の画素データを選択するデータ選択手段と、
   上記データ選択手段で選択された上記複数の画素データに基づいて、上記注目画素が属するクラスを検出するクラス検出手段と、
   上記クラス検出手段で検出されたクラスおよび上記パラメータ調整手段で調整された複数種類のパラメータの値に対応して、上記注目画素の画素データを生成する画素データ生成手段とを備える
   ことを特徴とする画像表示装置。
10. 複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理方法であって、
    上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のステップと、
    上記第１のステップで選択された上記複数の第１の情報データに基づいて、上記注目点が属するクラスを検出する第２のステップと、
    上記第２の情報信号によって得られる出力の質を決める複数種類のパラメータの値を調整する第３のステップと、
    上記第２のステップで検出されたクラスおよび上記第３のステップで調整された複数種類のパラメータの値に対応して、上記注目点の情報データを生成する第４のステップと
    を備えることを特徴とする情報信号処理方法。
11. 複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換するために、
    上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の情報データを選択する第１のステップと、
    上記第１のステップで選択された上記複数の情報データに基づいて、上記注目点が属するクラスを検出する第２のステップと、
    上記第２の情報信号によって得られる出力の質を決める複数種類のパラメータの値を調整する第３のステップと、
    上記第２のステップで検出されたクラスおよび上記第３のステップで調整された複数種類のパラメータの値に対応して、上記注目点の情報データを生成する第４のステップと
    を実行するためのコンピュータプログラムを記録する情報記録媒体。
12. 複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための生成式の係数データである係数種データを生成する装置であって、
    上記第２の情報信号に対応した教師信号を処理して上記第１の情報信号に対応する入力信号を得る信号処理手段と、
    上記生成式に含まれる複数種類のパラメータに対応し、上記入力信号によって得られる出力の質を決める複数種類のパラメータの値を調整するパラメータ調整手段と、
    上記入力信号から、上記教師信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
    上記第１のデータ選択手段で選択された上記複数の第１の情報データに基づいて、上記注目点が属するクラスを検出するクラス検出手段と、
    上記入力信号から、上記教師信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、
    上記クラス検出手段で検出されたクラス、上記第２のデータ選択手段で選択された上記複数の第２の情報データおよび上記教師信号に係る注目点の情報データから、クラス毎に、上記係数種データを得るための正規方程式を生成する正規方程式生成手段と、
    上記正規方程式を解いて上記クラス毎に上記係数種データを得る係数種データ演算手段と
    を備えることを特徴とする係数種データ生成装置。
13. 複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための生成式の係数データである係数種データを生成する装置であって、
    上記第２の情報信号に対応した教師信号を処理して上記第１の情報信号に対応する入力信号を得る信号処理手段と、
    上記生成式に含まれる複数種類のパラメータに対応し、上記入力信号によって得られる出力の質を決める複数種類のパラメータの値を調整するパラメータ調整手段と、
    上記入力信号から、上記教師信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
    上記第１のデータ選択手段で選択された上記複数の第１の情報データに基づいて、上記注目点が属するクラスを検出するクラス検出手段と、
    上記入力信号から、上記教師信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、
    上記クラス検出手段で検出されたクラス、上記第２のデータ選択手段で選択された上記複数の第２の情報データおよび上記教師信号に係る注目点の情報データから、上記クラスおよび上記複数種類のパラメータの値の組み合わせ毎に上記推定式の係数データを得るための第１の正規方程式を生成する第１の正規方程式生成手段と、
    上記第１の正規方程式を解いて、上記組み合わせ毎に上記推定式の係数データを得る係数データ演算手段と、
    上記係数データ演算手段で得られた上記組み合わせ毎の係数データから、クラス毎に、上記係数種データを得るための第２の正規方程式を生成する第２の正規方程式生成手段と、
    上記第２の正規方程式を解いて、上記クラス毎に上記係数種データを得る係数種データ演算手段と
    を備えることを特徴とする係数種データ生成装置。
14. 複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成する装置であって、
    上記第２の情報信号に対応する教師信号を処理して上記第１の情報信号に対応する入力信号を得る信号処理手段と、
    上記入力信号によって得られる出力の質を決める複数種類のパラメータの値を調整するパラメータ調整手段と、
    上記入力信号から、上記教師信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
    上記第１のデータ選択手段で選択された上記複数の第１の情報データに基づいて、上記注目点が属するクラスを検出するクラス検出手段と、
    上記入力信号から、上記教師信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、
    上記クラス検出手段で検出されたクラス、上記第２のデータ選択手段で選択された上記複数の第２の情報データおよび上記教師信号に係る注目点の情報データから、上記クラスおよび上記複数種類のパラメータの値の組み合わせ毎に、上記推定式の係数データを得るための正規方程式を生成する正規方程式生成手段と、
    上記正規方程式を解いて上記組み合わせ毎の上記係数データを得る係数データ演算手段と
    を備えることを特徴とする係数データ生成装置。

Images