WO2002041630A1

WO2002041630A1 - Procede et dispositif de traitement de signaux d'informations, dispositif de traitement de signaux d'image et dispositif d'affichage d'affichage l'utilisant, procede et dispositif de creation de donnees type coefficients et support de generation d'information

Info

Publication number: WO2002041630A1
Application number: PCT/JP2001/009942
Authority: WO
Inventors: Tetsujiro Kondo; Yasushi Tatehira; Kei Hiraizumi; Nobuyuki Asakura; Takuo Morimura; Wataru Niitsuma; Takahide Ayata
Original assignee: Sony Corporation
Priority date: 2000-11-15
Filing date: 2001-11-14
Publication date: 2002-05-23
Also published as: KR20020074201A; CN1395796A; US7212245B2; CN1625236A; EP1750443A3; KR100847185B1; EP1335596A1; JP4670169B2; EP1737232B1; US20030133039A1; EP1750443A2; US7688383B2; US7852404B2; US20070159553A1; JP2002218414A; CN100340108C; US20070132882A1; EP1335596B1; CN1254102C; EP1737232A3

Description

明細書情報信号処理装置、情報信号処理方法、画像信号処理装置おょぴそれを使用した画像表示装置、それに使用される係数種データ生成装置おょぴ生成方法、並びに情報提供媒体技術分野

この発明は、例えば N T S C方式のビデオ信号をハイビジヨンのビデオ信号に変換する際に適用して好適な情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに情報提供媒体に関する。詳しくは、第 1の情報信号を第 2の情報信号に変換する際に使用される推定式で用いられる係数データを、所定のパラメータを含む生成式における係数データである係数種データと入力されたパラメータの値とを用いて当該生成式により生成することによって、大量の係数データを格納しておくメモリを必要とすることなく、任意のパラメータの値に対応した推定式の係数データを生成でき、メモリの節約を図るようにした情報信号処理装置等に係るものである。背景技術

近年、オーディオ · ビジュアル指向の高まりから、より高解像度の画像を得ることができるようなテレビ受信機の開発が望まれ、この要望に応えて、いわゆるハイビジョンが開発された。ハイビジョンの走査線数は、 N T S C方式の走査線数が 5 2 5本であるのに対して、 2倍以上の 1 1 2 5本である。また、ハイビジヨンの縦横比は、 N T S C方式の縦横比が 3 ： 4であるのに対して、 9 ： 1 6となっている。このため、ハイビジョンでは、 N T S C方式に比べて、高解像度で臨場感のある画像を表示することができる。

ハイビジヨンはこのように優れた特性を有するが、 N T S C方式のビデオ信号をそのまま供給しても、ハイビジョン方式による画像表示を行うことはできない。これは、上述のように N T S C方式とハイビジョンとでは規格が異なるからである。

そこで、 N T S C方式のビデオ信号に応じた画像をハイビジョン方式で表示するため、本出願人は、先に、 N T S C方式のビデオ信号をハイビジョンのビデオ信号に変換するための変換装置を提案した（特願平 6 - 2 0 5 9 3 4号参照）。この変換装置では、 N T S C方式のビデオ信号から、ハイビジョンのビデオ信号における注目位置に対応するブロック（領域）の画素データを抽出し、このプロックの画素データのレベル分布パターンに基づいて上記注目位置の画素データのクラスを決定し、このクラスに対応して上記注目位置の画素データを生成するようになっている。

上述した変換装置においては、各クラスの推定式の係数データを予めメモリに格納しておくものであり、分類されるクラス数が多くなると、必要とする推定式の係数データの数も増加し、大容量のメモリが必要となる。

また、上記した変換装置においては、ハイビジョンのビデオ信号による画像の解像度は固定されており、従来のコントラストゃシャープネス等の調整のように、画像内容等に応じて所望の解像度とすることができなかった。このように所望の画質を得るために、各画質の推定式の係数データを予めメモリに格納しておくことが考えられるが、必要とする推定式の係数データの数が増加し、大容量のメモリが必要となる。発明の開示

この発明は、第 1の情報信号を推定式を使用して第 2の情報信号に変換する際に、大量の係数データを格納しておくメモリを必要とせず、メモリ容量を節約し得る情報信号処理装置等を提供することを目的とする。また、この発明は、例えば画像の画質を無段階になめらかに調整可能にした情報処理装置等を提供することを目的とする。

この発明に係る情報信号処理装置は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する情報信号処理装置であつて、予め求められた推定式で用いられる係数データを生成する所定のパラメ一タを含む生成式における係数データである係数種データを格納するメモリ手段と、パラメータの値を入力するパラメータ入力手段と、メモリ手段に格納されている係数種データとパラメータ入力手段で入力されたパラメータの値とを用いて生成式によつて生成され、入力されたパラメータの値に対応した推定式の係数データを発生する係数データ発生手段と、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、係数データ発生手段で発生された係数データとデータ選択手段で選択された複数の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る演算手段とを備えるものである。

また、この発明に係る情報信号処理方法は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する情報信号処理方法であって、予め求められた推定式で用いられる係数データを生成する所定のパラメータを含む生成式における係数データである係数種データと入力されたパラメータの値とを用いて、生成式により、パラメータの値に対応した推定式の係数データを生成する第 1のステップと、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の情報データを選択する第 2のステップと、第 1のステップで生成された係数データと第 2のステツプで選択された複数の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る第 3のステップとを備えるものである。

この発明においては、予め求められた推定式で用いられる係数データを生成する所定のパラメータを含む生成式における係数データである係数種データがメモリ手段に格納されている。例えば、パラメータは、第 2の情報信号による出力の質（解像度、ノイズ抑圧度など）を決めるためのもの、あるいは第 2の情報信号の注目位置の情報データが属するクラスに対応したものである。

そして、メモリ手段に格納されている係数種データと、入力されたパラメータの値とを用いて、生成式により、パラメータの値に対応した推定式の係数データが生成される。この係数データと複数の第 2の情報データとを用いて、推定式に基づいて、注目位置の情報データが生成される。

このように、大量の係数データを格納しておくメモリを必要とすることなく、任意のパラメータの値に対応した推定式の係数データを生成でき、メモリの節約を図ることができる。

この発明に係る情報信号処理装置は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する情報信号処理装置であつて、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のデータ選択手段と、この第 1のデータ選択手段で選択された複数の第 1の情報データに基づいて、注目位置の情報データが属するクラスを検出するクラス検出手段と、第 2の情報信号によつて得られる出力の質を決めるパラメータの値を調整するパラメータ調整手段と、クラス検出手段で検出されるクラス毎に予め求められた、推定式で用いられる係数データを生成する上記パラメータを含む生成式における係数データである係数種データを格納する第 1のメモリ手段と、この第 1のメモリ手段に格納されている係数種データとパラメータ調整手段で調整されたパラメータの値とを用レ、て上記生成式によって生成され、クラス検出手段で検出されたクラスおよび上記調整されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 2のデータ選択手段と、係数データ発生手段で発生された係数データと第 2のデータ選択手段で選択された複数の第 2の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る演算手段とを備えるものである。

例えば、係数データ発生手段は、第 1のメモリ手段に格納されている係数種データと上記調整されたパラメータの値とを用い、上記生成式により、クラス検出手段で検出されるクラス毎に推定式の係数データを生成する係数データ生成手段と、この係数データ生成手段で生成された各クラスにおける推定式の係数データを格納する第 2のメモリ手段と、この第 2のメモリ手段よりクラス検出手段で検出されたクラスに対応した推定式の係数データを読み出して出力する係数データ読み出し手段とを有してなるものである。

また、この発明に係る情報信号処理方法は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する情報信号処理方法であって、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のステップと、この第 1のステツプで選択された複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスを検出する第 2のステップと、第 2の情報信号によって得られる出力の質を決めるパラメータの値を調整する第 3のステップと、第 2のステップで検出されるクラス毎に予め求められた、推定式で用いられる係数データを生成する上記パラメータを含む生成式における係数データである係数種データと第 3のステップで調整されたパラメータの値とを用いて、上記生成式により、第 2のステツプで検出されたクラスおよぴ上記調整されたパラメータの値に対応した上記推定式の係数データを生成する第 4のステップと、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 5のステップと、第 4のステップで生成された係数データと第 5のステップで選択された複数の第 2の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る第 6のステップとを備えるものである。

また、この発明に係る情報提供媒体は、上述の情報信号処理方法の各ステップを実行するためのコンピュータプログラムを提供するものである。

また、この発明に係る画像信号処理装置は、複数の画素データからなる第 1の画像信号を複数の画素データからなる第 2の画像信号に変換する画像信号処理装置であって、第 1の画像信号に基づいて第 2の画像信号における注目位置の周辺に位置する複数の第 1の画素データを選択する第 1のデータ選択手段と、この第 1のデータ選択手段で選択された上記複数の第 1の画素データに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段と、第 2の画像信号によって得られる画像の画質を決めるパラメータの値を調整するパラメータ調整手段と、クラス検出手段で検出されるクラス毎に予め求められた、推定式で用いられる係数データを生成する上記パラメータを含む生成式における係数データである係数種データを格納するメモリ手段と、このメモリ手段に格納されている係数種データとパラメータ調整手段で調整されたパラメータの値とを用いて上記生成式によって生成され、クラス検出手段で検出されたクラスおょぴ上記調整されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第 1の画像信号に基づいて第 2の画像信号における注目位置の周辺に位置する複数の第 2の画素データを選択する第 2のデータ選択手段と、係数デ一タ発生手段で発生された上記係数データと第 2のデータ選択手段で選択された複数の第 2の画素データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出して得る演算手段とを備えるものである。

また、この発明に係る画像表示装置は、複数の画素データからなる第 1の画像信号を入力する画像信号入力手段と、この画像信号入力手段手段より入力された第 1の画像信号を複数の画素データからなる第 2の画像信号に変換して出力する画像信号処理手段と、この画像信号処理手段より出力される第 2の画像信号による画像を画像表示素子に表示する画像表示手段と、画像表示素子に表示される画像の画質を決めるパラメータの値を調整するパラメータ調整手段とを有してなるものである。そして、画像信号処理手段は、第 1の画像信号に基づいて第 2の画像信号における注目位置の周辺に位置する複数の第 1の画素データを選択する第 1のデータ選択手段と、この第 1のデータ選択手段で選択された複数の第 1の画素データに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段と、このクラス検出手段で検出されるクラス毎に予め求められた、推定式で用いられる係数データを生成する上記パラメータを含む生成式における係数データである係数種データを格納する第 1のメモリ手段と、この第 1のメモリ手段に格納されている係数種データとパラメータ調整手段で調整されたパラメ一タの値とを用いて上記生成式によって生成され、クラス検出手段で検出されたクラスおょぴパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第 1の画像信号に基づいて第 2の画像信号における注目位置の周辺に位置する複数の第 2の画素データを選択する第 2のデータ選択手段と、係数データ発生手段で発生された係数データと第 2のデータ選択手段で選択された複数の第 2の画素データとを用いて、上記推定式に基づいて上記注目画素の画素データを算出して得る演算手段とを備えるものである。

この発明においては、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の第 1の情報データが選択され、その複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスが検出される。例えば、複数の第 1の情報データのレベル分布パターンが検出され、このレベル分布パターンに基づいて上記注目位置の情報データの属するクラスが検出される。また、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の第 2の情報データが選択される。第 1および第 2のデータ選択手段が共通に構成され、従って複数の第 1の情報データと複数の第 2の情報データとが同じであってもよい。ここで、情報信号は、例えば画像信号や音声信号である。パラメータ調整手段により、第 2の情報信号によって得られる出力の質を決めるパラメータの値が調整される。例えば、情報信号が画像信号である場合、パラメータの値が調整されて、第 2の情報信号（画像信号）による画像の画質が決められる。また、情報信号が音声信号である場合、パラメータの値が調整されて、第 2の情報信号（音声信号）による音声の音質が決められる。例えば、パラメ一タ調整手段は、パラメータの調整位置を表示する表示手段と、この表示手段の表示を参照してパラメータの値を調整するユーザ操作手段とを有するものとされる。これにより、ユーザは、ユーザ操作手段、例えばポインティングデバイスを操作して、パラメータの値を所望位置に容易に調整できる。

そして、検出されたクラスおよび調整されたパラメータの値に対応して、注目位置の情報データが生成される。すなわち、クラス毎に予め求められた推定式で用いられる係数データを生成するための生成式における係数データである係数種データがメモリ手段に格納されており、この係数種データと調整されたパラメ一タの値と用いて、検出されたクラスおよぴ調整されたパラメータの値に対応した推定式の係数データが発生され、この係数データと複数の第 2の情報データとを用いて、推定式に基づいて、注目位置の情報データが生成される。

このように、第 1の情報信号を第 2の情報信号に変換する際に使用される推定式の係数データを係数種データを用いて生成するものであり、検出されたクラスおよび調整されたパラメータの値に対応した係数データを容易に得ることができ、第 2の情報信号によって得られる出力の質、例えば画像の画質等を無段階になめらかに調整することが可能となる。

なお、係数種データを用いて生成された推定式の係数データの総和を求め、上述したように推定式を用いて生成された注目位置の情報データをその総和で除算して正規化することで、係数種データを用いて生成式で推定式の係数データを求める際の丸め誤差による注目位置の情報データのレベル変動を除去できる。また、この発明に係る情報処理装置は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する情報信号処理装置であって、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のデータ選択手段と、この第 1のデータ選択手段で選択された複数の第 1の情報データに基づいて、注目位置の情報データが属するクラスを検出するクラス検出手段と、このクラス検出手段で検出されるクラスに対応したパラメータを持ち、推定式で用いられる係数データを生成する生成式における係数データである係数種データを格納する第 1のメモリ手段と、この第 1のメモリ手段に格納されている係数種データとクラス検出手段で検出されるクラスの値とを用いて上記生成式によって生成され、クラス検出手段で検出されたクラスの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 2のデータ選択手段と、係数データ発生手段で発生された係数データと第 2のデータ選択手段で選択された複数の第 2の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る演算手段とを備えるものである。

例えば、クラス検出手段にクラス分類の細かさを決めるパラメータの値を入力するパラメータ入力手段をさらに備えるものである。また例えば、係数データ発生手段は、第 1のメモリ手段に格納されている係数種データと入力されたパラメータの値とを用い、上記生成式により、クラス検出手段で検出されるクラス毎に推定式の係数データを生成する係数データ生成手段と、この係数データ生成手段で生成された各クラスにおける推定式の係数データを格納する第 2のメモリ手段と、この第 2のメモリ手段よりクラス検出手段で検出されたクラスに対応した推定式の係数データを読み出して出力する係数データ読み出し手段とを有してなるものである。

また、この発明に係る情報信号処理方法は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する情報信号処理方法であって、第 1の情報信号に基づいて上記第 2の情報信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のステップと、この第 1 のステップで選択された複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスを検出する第 2のステップと、この第 2のステップで検出されるクラスに対応したパラメータを持ち、推定式で用いられる係数データを生成する生成式における係数データである係数種データを用いて、上記生成式により、第 2のステツプで検出されたクラスの値に対応した上記推定式の係数データを生成する第 3のステップと、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 4のステツプと、第 3のステップで生成された係数データと第 4のステツプで選択された複数の第 2の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る第 5のステップとを備えるものである。

この発明に係る情報提供媒体は、上述の情報信号処理方法の各ステップを実行するためのコンピュータプログラムを提供するものである。

また、この発明に係る画像信号処理装置は、複数の画素データからなる第 1の画像信号を複数の画素データからなる第 2の画像信号に変換する画像信号処理装置であって、第 1の画像信号に基づいて第 2の画像信号における注目位置の周辺に位置する複数の第 1の画素データを選択する第 1のデータ選択手段と、この第 1のデータ選択手段で選択された複数の第 1の画素データに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段と、このクラス検出手段で検出されるクラスに対応したパラメータを持ち、推定式で用いられる係数データを生成する生成式における係数データである係数種データを格納するメモリ手段と、このメモリ手段に格納されている係数種データとクラス検出手段で検出されるクラスの値とを用いて上記生成式によって生成され、クラス検出手段で検出されたクラスの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第 1の画像信号に基づいて第 2の画像信号における注目位置の周辺に位置する複数の第 2の画素データを選択する第 2のデータ選択手段と、係数データ発生手段で発生された係数データと第 2のデータ選択手段で選択された複数の第 2の画素データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出して得る演算手段とを備えるものである。

また、この発明に係る画像表示装置は、複数の画素データからなる第 2の画像信号を入力する画像信号入力手段と、この画像信号入力手段で入力された第 1の画像信号を複数の画素データからなる第 2の画像信号に変換して出力する画像信号処理手段と、この画像信号処理手段から出力される第 2の画像信号による画像を画像表示装置に表示する画像表示手段とを有してなるものである。そして、画像信号処理手段は、第 1の画像信号に基づいて第 2の画像信号における注目位置の周辺に位置する複数の第 1の画素データを選択する第 1のデータ選択手段と、この第 1のデータ選択手段で選択された複数の第 1の画素データに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段と、このクラス検出手段で検出されるクラスに対応したパラメータを持ち、推定式で用いられる係数データを生成する生成式における係数データである係数種データを格納する第 1のメモリ手段と、この第 1のメモリ手段に格納されている係数種データとクラス検出手段で検出されるクラスの値とを用いて上記生成式によって生成され、クラス検出手段で検出されたクラスの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第 1の画像信号に基づいて第 2の画像信号における注目位置の周辺に位置する複数の第 2の画素データを選択する第 2のデータ選択手段と、係数データ発生手段で発生された係数データと第 2のデータ選択手段で選択された複数の第 2の画素データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出して得る演算手段とを備えるものである。

この発明においては、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の第 1の情報データが選択され、その複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスが検出される。例えば、複数の第 1の情報データのレベル分布パターンが検出され、このレベル分布パターンに基づいて上記注目位置の情報データの属するクラスが検出される。また、第 1の情報信号に基づいて第 2の情報信号における注目位置の周辺に位置する複数の第 2の情報データが選択される。第 1およぴ第 2のデータ選択手段が共通に構成され、従って複数の第 1の情報データと複数の第 2の情報データとが同じであってもよい。ここで、情報信号は、例えば画像信号や音声信号である。そして、検出されたクラスに対応して、注目位置の情報データが生成される。すなわち、クラス検出手段で検出されるクラスに対応したパラメータを持ち、推定式で用いられる係数データを生成する生成式における係数データである係数種データがメモリ手段に格納されており、この係数種データとクラス検出手段で検出されたクラスの値と用いて、検出されたクラスの値に対応した推定式の係数データが発生され、この係数データと複数の第 2の情報データとを用いて、推定式に基づいて、注目位置の情報データが生成される。

このように、第 1の情報信号を第 2の情報信号に変換する際に使用される、各クラスの推定式の係数データを、係数種データを用いて生成式により生成するものであり、大量の係数データを格納しておくメモリを必要とせず、メモリ容量を節約できる。

なお、係数種データを用いて生成された推定式の係数データの総和を求め、上述したように推定式を用いて生成された注目位置の情報データをその総和で除算して正規化することで、係数種データを用いて生成式で推定式の係数データを求める際の丸め誤差による注目位置の情報データのレベル変動を除去できる。また、クラス検出手段にクラス分類の細かさを決めるパラメータの値を入力することで、クラス検出手段で検出されるクラスの分類の細かさを変更することができる。例えば、このパラメータの値はユーザ操作手段によって調整される。また例えば、このパラメータの値は、第 1の情報信号から検出された所定の特徴量に対応して自動的に変更される。また例えば、このパラメータの値は、第 1の情報信号から抽出された情報に基づいて自動的に変更される。

一般的に、クラス検出手段で検出されるクラスの分類を細かくするほど、第 2 の情報信号による出力の質を高めることができる。しかし、学習時のクラス分類の細かさによっては、クラス検出手段で検出されるクラス分類を細かくしても、動画、静止画、アニメーション画などの第 1の情報信号によっては、第 2の情報信号による出力の質を高めることができず、却ってその出力の質を低下させるおそれがある。クラス検出手段にクラス分類の細かさを決めるパラメータの値を入力する構成とすることで、第 2の情報信号による出力の質の最適に調整できるようになる。また、この発明に係る係数種データ生成装置は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成するための生成式における係数データである係数種データを生成する装置であって、第 2の情報信号に対応した教師信号を処理して第 1の情報信号に対応する入力信号を得る信号処理手段と、上記生成式に含まれるパラメータに対応し、入力信号によつて得られる出力の質を決めるパラメータの値を調整するパラメータ調整手段と、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のデータ選択手段と、この第 1のデータ選択手段で選択された複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスを検出するクラス検出手段と、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 2のデータ選択手段と、クラス検出手段で検出されたクラス、第 2のデータ選択手段で選択された複数の第 2の情報データおよび教師信号における注目位置の情報データを用いて、クラス毎に、係数種データを得るための正規方程式を生成する正規方程式生成手段と、正規方程式を解いてクラス毎に係数種データを得る係数種データ演算手段とを備えるものである。また、この発明に係る係数種データ生成方法は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成するための生成式における係数データである係数種データを生成する方法であって、第 2の情報信号に対応する教師信号を処理して第 1の情報信号に対応する入力信号を得る第 1のステップと、上記生成式に含まれるパラメータに対応し、入力信号によつて得られる出力の質を決めるパラメータの値を調整する第 2のステップと、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 3のステツプと、この第 3のステツプで選択された複数の第 1の情報データに基づいて、注目位置の情報データが属するクラスを検出する第 4のステップと、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 5のステップと、第 4のステップで検出されたクラス、第 5のステツプで選択された複数の第 2の情報データおよぴ教師信号における注目位置の情報データを用いて、クラス毎に、係数種データを得るための正規方程式を生成する第 6のステップと、正規方程式を解いてクラス毎に係数種データを得る第 7のステツプとを備えるものである。

また、この発明に係る情報提供媒体は、上述の係数種データ生成方法の各ステップを実行するためのコンピュータプログラムを提供するものである。

この発明においては、第 2の情報信号に対応する教師信号が処理されて、第 1 の情報信号に対応する入力信号が得られる。この場合、入力信号によって得られる出力の質は調整されたパラメータの値で決定される。例えば、情報信号が画像信号である場合、パラメータの値が調整されて、入力信号による画像の画質が決められる。また、情報信号が音声信号である場合、パラメータの値が調整されて、入力信号による音声の音質が決められる。

この入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 1の情報データが選択され、その複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスが検出される。また、この入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 2の情報データが選択される。

そして、パラメータの値が複数段階に調整され、教師信号における注目位置の情報データが属するクラス、選択された複数の第 2の情報データおよぴ教師信号における注目位置の情報データを用いて、クラス毎に係数種データを得るための正規方程式が生成され、この方程式を解くことで、クラス毎の係数種データが得られる。

ここで、係数種データは、第 1の情報信号から第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する上記パラメータを含む生成式における係数データである。この係数種データを使用することで、生成式によつて、任意に調整されたパラメータの値に対応した係数データを得ることが可能となる。これにより、推定式を使用して第 1の情報信号から第 2の情報信号に変換する場合に、パラメータの値を調整することで、第 2の情報信号によって得られる出力の質、例えば画像の画質等を無段階になめらかに調整することが可能となる。また、この発明に係る係数種データ生成装置は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成するための生成式における係数データである係数種データを生成する装置であって、第 2の情報信号に対応した教師信号を処理して第 1の情報信号に対応する入力信号を得る信号処理手段と、上記生成式に含まれるパラメータに対応し、入力信号によつて得られる出力の質を決めるパラメータの値を調整するパラメータ調整手段と、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のデータ選択手段と、この第 1のデータ選択手段で選択された複数の第 1の情報データに基づいて、注目位置の情報データが属するクラスを検出するクラス検出手段と、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 2のデータ選択手段と、クラス検出手段で検出されたクラス、第 2のデータ選択手段で選択された複数の第 2の情報データおよぴ教師信号における注目位置の情報データを用いて、クラス検出手段で検出されるクラスおよぴパラメータ調整手段で調整されるパラメータの値の組み合わせ毎に推定式の係数データを得るための第 1の正規方程式を生成する第 1の正規方程式生成手段と、この第 1の正規方程式を解いて、上記組み合わせ毎に推定式の係数データを得る係数データ演算手段と、この係数データ演算手段で得られた上記組み合わせ毎の係数データを用いて、クラス毎に、係数種データを得るための第 2の正規方程式を生成する第 2の正規方程式生成手段と、この第 2の正規方程式を解いて、クラス毎に係数種データを得る係数種データ演算手段とを備えるものである。

この発明に係る係数種データ生成方法は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成するための生成式における係数データである係数種データを生成する方法であって、第 2の情報信号に対応した教師信号を処理して第 1の情報信号に対応する入力信号を得る第 1のステップと、上記生成式に含まれるパラメータに対応し、入力信号によつて得られる出力の質を決めるパラメータの値を調整する第 2のステップと、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 3のステップと、この第 3のステップで選択された複数の第 1の情報データに基づいて、注目位置の情報データが属するクラスを検出する第 4のステップと、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 5のステップと、第 4のステップで検出されたクラス、第 5のステップで選択された複数の第 2の情報データおよぴ教師信号における注目位置の情報データを用いて、クラスおよびパラメータの値の組み合わせ毎に推定式の係数データを得るための第 1の正規方程式を生成する第 6のステップと、この第 1の正規方程式を解いて、上記組み合わせ毎に推定式の係数データを得る第 7のステップと、この第 7のステツプで得られた上記組み合わせ毎の係数データを用いて、クラス毎に、係数種データを得るための第 2の正規方程式を生成する第 8のステップと、この第 2の正規方程式を解レ、て、クラス毎に係数種データを得る第 9のステップとを備えるものである。

そして、パラメータの値が複数段階に順次調整され、教師信号における注目位置の情報データが属するクラス、選択された複数の第 2の情報データおよぴ教師信号における注目位置の情報データを用いて、クラスおょぴパラメータの値の組み合わせ毎に、推定式の係数データを得るための第 1の正規方程式が生成され、この方程式を解くことで、上記組み合わせ毎の推定式の係数データが得られる。そしてさらに、上記組み合わせ毎の係数データを用いて、クラス毎に、係数種データを得るための第 2の正規方程式が生成され、この方程式を解くことで、クラス毎の係数種データが得られる。

ここで、係数種データは、第 1の情報信号から第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する上記パラメータを含む生成式における係数データである。この係数種データを使用することで、生成式によつて、任意に調整されたパラメータの値に対応した係数データを得ることが可能となる。これにより、推定式を使用して第 1の情報信号から第 2の情報信号に変換する場合に、パラメータの値を調整することで、第 2の情報信号によって得られる出力の質、例えば画像の画質等を無段階になめらかに調整することが可能となる。

また、この発明に係る係数種データ生成装置は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する、第 2の情報信号に対応した教師信号における注目位置の情報データが属するクラスに対応したパラメータを持つ生成式における係数データである係数種データを生成する装置であって、第 1の情報信号に対応する入力信号を得る信号処理手段と、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のデータ選択手段と、この第 1のデータ選択手段で選択された複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスを検出するクラス検出手段と、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 2のデータ選択手段と、クラス検出手段で検出されたクラス、第 2のデータ選択手段で選択された複数の第 2の情報データおよぴ教師信号における注目位置の情報データを用いて、係数種データを得るための正規方程式を生成する正規方程式生成手段と、正規方程式を解いて係数種データを得る係数種データ演算手段とを備えるものである。

また、この発明に係る係数種データ生成方法は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する、第 2の情報信号に対応した教師信号における注目位置の情報データが属するクラスに対応したパラメータを持つ生成式における係数データである係数種データを生成する方法であって、第 1の情報信号に対応する入力信号を得る第 1のステップと、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 2 のステップと、この第 2のステツプで選択された複数の第 1の情報データに基づいて、注目位置の情報データが属するクラスを検出する第 3のステップと、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 4のステップと、第 3のステップで検出されたクラス、第 4のステツプで選択された複数の第 2の情報データおよぴ教師信号における注目位置の情報データを用いて、係数種データを得るための正規方程式を生成する第 5のステップと、この正規方程式を解！/ヽて係数種データを得る第 6のステップとを備えるものである。

この発明においては、第 2の情報信号に対応する教師信号が処理されて、第 1 の情報信号に対応する入力信号が得られる。この入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 1の情報データが選択され、その複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスが検出される。また、この入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 2の情報データが選択される。

そして、教師信号における注目位置の情報データが属するクラス、選択された複数の第 2の情報データおょぴ教師信号における注目位置の情報データから係数種データを得るための正規方程式が生成され、この正規方程式を解くことで係数種データが得られる。

ここで、係数種データは、第 1の情報信号から第 2の情報信号に変換する際に使用される各クラスの推定式の係数データを生成するものである。この係数種データを使用することで、生成式により、各クラスの推定式の係数データを得ることが可能となる。

また、この発明に係る係数種データ生成装置は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する、第 2の情報信号に対応した教師信号における注目位置の情報データが属するクラスに対応したパラメータを持つ生成式における係数データである係数種データを生成する装置であって、第 1の情報信号に対応する入力信号を得る信号処理手段と、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のデータ選択手段と、この第 1のデータ選択手段で選択された複数の第 1の情報データに基づいて、注目位置の情報データが属するクラスを検出するクラス検出手段と、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 2のデータ選択手段と、クラス検出手段で検出されたクラス、第 2のデータ選択手段で選択された複数の第 2の情報データおよぴ教師信号における注目位置の情報データを用いて、クラス検出手段で検出されるクラス毎に推定式の係数データを得るための第 1の正規方程式を生成する第 1の正規方程式生成手段と、この第 1の正規方程式を解いてクラス毎に推定式の係数データを得る係数データ演算手段と、この係数データ演算手段で得られたクラス毎の係数データを用いて係数種データを得るための第 2の正規方程式を生成する第 2の正規方程式生成手段と、この第 2の正規方程式を解いて係数種データを得る係数種データ演算手段とを備えるものである。

この発明に係る係数種データ生成方法は、複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する、第 2の情報信号に対応した教師信号における注目位置の情報データが属するクラスに対応したパラメータを持つ生成式における係数データである係数種データを生成する方法であって、第 1の情報信号に対応する入力信号を得る第 1のステップと、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 2のステップと、この第 2のステップで選択された複数の第 1の情報データに基づいて、注目位置の情報データが属するクラスを検出する第 3のステップと、入力信号に基づいて教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 4のステップと、第 3のステップで検出されたクラス、第 4のステツプで選択された複数の第 2の情報データおよび教師信号における注目位置の情報データを用いて、クラス毎に推定式の係数データを得るための第 1の正規方程式を生成する第 5のステップと、この第 1の正規方程式を解いて、クラス毎に推定式の係数データを得る第 6のステップと、この第 6のステツプで得られたクラス毎の係数データを用いて係数種データを得るための第 2の正規方程式を生成する第 7のステップと、この第 2の正規方程式を解レ、て係数種データを得る第 8のステツプとを備えるものである。

そして、教師信号における注目位置の情報データが属するクラス、選択された複数の第 2の情報データおよぴ教師信号における注目位置の情報データを用いて、クラス毎に、推定式の係数データを得るための第 1の正規方程式が生成され、この方程式を解くことで、クラス毎の推定式の係数データが得られる。

そしてさらに、クラス毎の係数データを用いて係数種データを得るための第 2 の正規方程式が生成され、この方程式を解くことで、係数種データが得られる。ここで、係数種データは、第 1の情報信号から第 2の情報信号に変換する際に使用される各クラスの推定式の係数データを生成するものである。この係数種データを使用することで、生成式により、各クラスの推定式の係数データを得ることが可能となる。図面の簡単な説明図 1は、実施の形態としてのテレビ受信機の構成を示すブロック図である。図 2は、画質を調整するためのユーザインタフェース例を示す図である。図 3は、調整画面を拡大して示した図である。図 4は、 525 i信号と 525 p信号の画素位置関係を説明するための図である。図 5は、 525 i信号と 1050 i信号の画素位置関係を説明するための図である。図 6は、 525 iと 525 pの画素位置関係と、予測タップの一例を示す図である。図 7は、 525 iと 525 pの画素位置関係と、予測タップの一例を示す図である。図 8は、 525 iと 1 05

0 iの画素位置関係と、予測タップの一例を示す図である。図 9は、 525 iと

1050 1の画素位置関係と、予測タップの一例を示す図である。図 10は、 5

25 iと 525 pの画素位置関係と、空間クラスタップの一例を示す図である。図 1 1は、 525 iと 525 pの画素位置関係と、空間クラスタップの一例を示す図である。図 1 2は、 525 iと 1050 iの画素位置関係と、空間クラスタップの一例を示す図である。図 13は、 525 iと 1 050 iの画素位置関係と、空間クラスタップの一例を示す図である。図 14は、 525 iと 525 pの画素位置関係と、動きクラスタップの一例を示す図である。図 15は、 525 iと 1 050 iの画素位置関係と、動きクラスタップの一例を示す図である。図 16は、 525 p信号を出力する場合のライン倍速処理を説明するための図である。図 1 7は、係数種データの生成方法の一例の概念を示す図である。図 18は、係数種データ生成装置の構成例を示すプロック図である。図 19は、帯域フィルタの周波数特性の一例を示す図である。図 20は、係数種データの生成方法の他の例の概念を示す図である。図 21は、係数種データ生成装置の他の構成例を示すプロック図である。図 22A〜図 22Cは、ノイズ付加方法を説明するための図である。図 23は、 SD信号（パラメータ r， z) の生成例を示す図である。図 24 は、パラメータ！：， zの調整画面の一例を示す図である。図 25は、 SD信号

(パラメータ h， V, z) の生成例を示す図である。図 26は、パラメータ h， v， zの調整画面の一例を示す図である。図 27は、ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。図 28は、画像信号の処理手順を示すフローチャートである。図 29は、係数種データ生成処理（その 1) を示すフローチャートである。図 30は、係数種データ生成処理（その 2) を示すフローチャートである。図 3 1は、他の実施の形態としてのテレビ受信機の構成を示すブロック図である。図 3 2は、係数種データ生成装置の構成例を示すプロック図である。図 3 3は、係数種データ生成方法の概念を示す図である。発明を実施するための最良の形態

以下、図面を参照しながら、この発明の実施の形態について説明する。図 1は、実施の形態としてのテレビ受信機 1 0 0の構成を示している。このテレビ受信機 1 0 0は、放送信号よ S D (Standard Definition) 信号としての 5 2 5 i信号を得、この 5 2 5 i信号を H D (High Definition) 信号としての 5 2 5 p信号または 1 0 5 0 i信号に変換し、その 5 2 5 p信号または 1 0 5 0 i信号による画像を表示するものである。

ここで、 5 2 5 i信号は、ライン数が 5 2 5本でィンタレース方式の画像信号を意味し、 5 2 5 p信号は、ライン数が 5 2 5本でプログレッシブ方式（ノンィンタレース方式）の画像信号を意味し、さらに 1 0 5 0 i信号はライン数が 1 0 5 0本でィンタレース方式の画像信号を意味している。

テレビ受信機 1 0 0は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ 1 0 1と、リモートコントロール信号を受信するリモコン信号受信回路 1 0 2とを有している。リモコン信号受信回路 1 0 2は、システムコントローラ 1 0 1に接続され、リモコン送信機 2 0 0よりユーザの操作に応じて出力されるリモートコントロール信号 RMを受信し、その信号 RMに対応する操作信号をシステムコントローラ 1 0 1に供給するように構成されている。

また、テレビ受信機 1 0 0は、受信アンテナ 1 0 5と、この受信アンテナ 1 0 5で捕らえられた放送信号（R F変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って上述した S D信号 V a ( 5 2 5 i信号）を得るチューナ 1 0 6と、外部より S D信号 V b ( 5 2 5 i信号）を入力する外部入力端子 1 0 7と、これら S D信号 V a , V bのいずれかを選択的に出力する切換スイツチ 1 0 8と、この切換スィツチ 1 0 8より出力される S D信号を一時的に保存するためのバッファメモリ 1 0 9とを有している。チューナ 106より出力される SD信号 V aは切換スィッチ 108の a側の固定端子に供給され、外部入力端子 107より入力される SD信号 Vbは切換スィツチ 108の b側の固定端子に供給される。この切換スィツチ 108の切り換え動作は、システムコントローラ 101によって制御される。

また、テレビ受信機 100は、バッファメモリ 109に一時的に保存される S D信号（525 i信号）を、 HD信号（525 p信号または 1050 i信号）に変換する画像信号処理部 1 10と、この画像信号処理部 1 10より出力される H D信号による画像を表示するディスプレイ部 1 1 1と、このディスプレイ部 1 1 1の画面上に文字図形等の表示を行うための表示信号 S CHを発生させるための OSD (On Screen Display) 回路 1 1 2と、その表示信号 SCHを、上述した画像信号処理部 1 10より出力される HD信号に合成してディスプレイ部 1 1 1に供給するための合成器 1 13とを有している。

ディスプレイ部 1 1 1は、例えば CRT (cathode-ray tube)ディスプレイ、あるいは LCD (liquid crystal display) 等のフラットパネルディスプレイで構成されている。また、 OSD回路 1 12における表示信号 SCHの発生動作は、システムコントローラ 101によって制御される。

図 1に示すテレビ受信機 100の動作を説明する。

ユーザのリモコン送信機 200の操作でチューナ 106より出力される SD信号 V aに対応する画像表示を行うモードが選択される場合、システムコントローラ 101の制御によって切換スィツチ 108は a側に接続されて、この切換スィツチ 108より SD信号 Vaが出力される。一方、ユーザのリモコン送信機 20 0の操作で外部入力端子 107に入力される SD信号 Vbに対応する画像表示を行うモードが選択される場合、システムコントローラ 101の制御によって切換スィツチ 108は b側に接続されて、この切換スィツチ 108より 30信号 13 が出力される。

切換スィッチ 108より出力される SD信号 (525 i信号）はバッファメモリ 109に記憶されて一時的に保存される。そして、このバッファメモリ 109 に一時的に保存された SD信号は画像信号処理部 1 10に供給され、 HD信号

(525 p信号または 1050 i信号）に変換される。すなわち、画像信号処理部 1 1 0では、 S D信号を構成する画素データ（以下、「S D画素データ」という）力ら、 HD信号を構成する画素データ（以下、「HD画素データ」という）が得られる。ここで、 5 2 5 p信号または 1 0 5 0 i信号の選択は、ユーザのリモコン送信機 2 0 0の操作によって行われる。この画像信号処理部 1 1 0より出力される HD信号が合成器 1 1 3を介してディスプレイ部 1 1 1に供給され、デイスプレイ部 1 1 1の画面上にはその HD信号による画像が表示される。

また、上述せずも、ユーザは、リモコン送信機 2 0 0の操作によって、上述したようにディスプレイ部 1 1 1の画面上に表示される画像の水平および垂直の解像度を無段階になめらかに調整できる。画像信号処理部 1 1 0では、後述するように、 HD画素データが推定式によって算出されるが、この推定式の係数データとして、ユーザのリモコン送信機 2 0 0の操作によって調整された水平、垂直の解像度を決めるパラメータ h , Vに対応したものが、これらパラメータ h , Vを含む生成式によって生成されて使用される。これにより、画像信号処理部 1 1 0 より出力される HD信号による画像の水平、垂直の解像度は、調整されたパラメータ h， Vに対応したものとなる。

図 2は、パラメータ h , Vを調整するためのユーザインタフヱースの一例を示している。調整時には、ディスプレイ部 1 1 1に、パラメータ h， Vの調整位置を☆印のアイコン 1 1 5 aで示した調整画面 1 1 5が、 O S D表示される。また、リモコン送信機 2 0 0は、ユーザ操作手段としてのジョイスティック 2 0 0 aを備えている。

ユーザは、ジョイスティック 2 0 0 aを操作することで、調整画面 1 1 5上でアイコン 1 1 5 aの位置を動かすことができ、水平、垂直の解像度を決定するパラメータ h , Vの値を任意に調整できる。図 3は、調整画面 1 1 5の部分を拡大して示している。アイコン 1 1 5 aが左右に動かされることで水平解像度を決定するパラメータ hの値が調整され、一方アイコン 1 1 5 aが上下に動かされることで垂直解像度を決定するパラメータ Vの値が調整される。ユーザは、ディスプレイ部 1 1 1に表示される調整画面 1 1 5を参照してパラメータ h , Vの値を調整でき、その調整を容易に行うことができる。

なお、リモコン送信機 2 0 0は、ジョイスティック 2 0 0 aの代わりに、マウスゃトラックボー^"等のその他のポィンティングデバイスを備えていてもよい。さらに、ユーザによって調整されたパラメータ h， Vの値を、調整画面 1 1 5上に数値表示してもよい。

次に、画像信号処理部 1 1 0の詳細を説明する。この画像信号処理部 1 1 0は、バッファメモリ 1 0 9に記憶されている S D信号（5 2 5 i信号）より、 H D信号（1 0 5 0 i信号または 5 2 5 p信号）における注目位置の周辺に位置する複数の S D画素のデータを選択的に取り出して出力する第 1〜第 3のタップ選択回路 1 2 1〜1 2 3を有している。

第 1のタップ選択回路 1 2 1は、予測に使用する S D画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第 2のタップ選択回路 1 2 2 は、 S D画素データのレベル分布パターンに対応するクラス分類に使用する S D 画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第 3のタップ選択回路 1 2 3は、動きに対応するクラス分類に使用する S D画素

( 「動きクラスタップ」と称する）のデータを選択的に取り出するものである。なお、空間クラスを複数フィールドに属する S D画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。

図 4は、 5 2 5 i信号および 5 2 5 p信号の、あるフレーム（F ) の奇数 ( o ) フィールドの画素位置関係を示している。大きなドットが 5 2 5 i信号の画素であり、小さいドットが出力される 5 2 5 p信号の画素である。偶数（e ) フィールドでは、 5 2 5 i信号のラインが空間的に 0 . 5ラインずれたものとなる。図 4から分かるように、 5 2 5 p信号の画素データとしては、 5 2 5 i信号のラインと同一位置のラインデータ L 1と、 5 2 5 i信号の上下のラインの中間位置のラインデータ L 2とが存在する。また、 5 2 5 p信号の各ラインの画素数は、 5 2 5 i信号の各ラインの画素数の 2倍である。

図 5は、 5 2 5 i信号および 1 0 5 0 i信号のあるフレーム（F ) の画素位置関係を示すものであり、奇数（o ) フィールドの画素位置を実線で示し、偶数

( e ) フィールドの画素位置を破線で示している。大きなドットが 5 2 5 i信号の画素であり、小さいドットが出力される 1 0 5 0 i信号の画素である。図 5から分かるように、 1 0 5 0 i信号の画素データとしては、 5 2 5 i信号のラインに近い位置のラインデータ L 1， L 1' と、 5 2 5 i信号のラインから遠い位置のラインデータ L 2, L 2' とが存在する。ここで、 L l， L 2は奇数フィールドのラインデータ、 L 1' ， L 2' は偶数フィールドのラインデータである。また、 1 05 0 i信号の各ラインの画素数は、 5 2 5 i信号の各ラインの画素数の

2倍である。

図 6およぴ図 7は、 5 25 i信号から 52 5 p信号に変換する場合に、第 1のタップ選択回路 1 2 1で選択される予測タップ（SD画素）の具体例を示している。図 6およぴ図 7は、時間的に連続するフレーム F-l， F, F+1の奇数（o) 、偶数（e) のフィールドの垂直方向の画素位置関係を示している。

図 6に示すように、フィールド F/oのラインデータ L 1, L 2を予測するときの予測タップは、次のフィールド FZeに含まれ、作成すべき 525 p信号の画素（注目位置の画素）に対して空間的に近傍位置の SD画素 T 1, T 2, T 3 と、フィーノレド F/oに含まれ、作成すべき 5 25 p信号の画素に対して空間的に近傍位啬の SD画素 T 4， T 5, T 6と、前のフィールド F- 1/eに含まれ、作成すべき 5 2 5 p信号の画素に対して空間的に近傍位置の SD画素 T 7， T 8, T 9と、さらに前のフィールド F - lZoに含まれ、作成すべき 525 p信号の画素に対して空間的に近傍位置の SD画素 T 1 0である。

図 7に示すように、フィールド Fゾ eのラインデータ L 1， L 2を予測するときの予測タップは、次のフィールド F+1/οに含まれ、作成すべき 52 5 p信号の画素に対して空間的に近傍位置の SD画素 T 1, T 2, T 3と、フィールド F Zeに含まれ、作成すべき 525 p信号の画素に対して空間的に近傍位置の SD 画素 T4， Τ 5， Τ 6と、前のフィールド FZoに含まれ、作成すべき 52 5 ρ 信号の画素に対して空間的に近傍位置の SD画素 Τ 7， T 8, T 9と、さらに前の F- 1/eに含まれ、作成すべき 525 p信号の画素に対して空間的に近傍位置の SD画素 T 1 0である。

なお、ラインデータ L 1を予測する際には SD画素 T 9を予測タップとして選択しないようにし、一方ラインデータ L 2を予測する際には SD画素 T 4を予測タップとして選択しないようにしてもよい。

図 8およぴ図 9は、 5 25 i信号から 1 0 50 i信号に変換する場合に、第 1 のタップ選択回路 1 21で選択される予測タップ（SD画素）の具体例を示している。図 8および図 9は、時間的に連続するフレーム F-l， F， F+lの奇数

(o) 、偶数（e) のフィールドの垂直方向の画素位置関係を示している。

図 8に示すように、フィールド FZoのラインデータ L 1, L 2を予測するときの予測タップは、次のフィールド FZeに含まれ、作成すべき 1050 i信号の画素（注目位置の画素）に対して空間的に近傍位置の SD画素 Tl， Τ2と、フィールド FZoに含まれ、作成すべき 525 p信号の画素に対して空間的に近傍位置の SD画素 T3, T4, T 5, T6と、前のフィールド F- lZeに含まれ、作成すべき 1050 i信号の画素に対して空間的に近傍位置の SD画素 T 7, T 8である。

図 9に示すように、フィールド F/eのラインデータ L 1' , L 2' を予測するときの予測タップは、次のフィールド F+1/οに含まれ、作成すべき 1050 i P信号の画素に対して空間的に近傍位置の SD画素 T 1， T 2と、フィールド F/eに含まれ、作成すべき 1050 i信号の画素に対して空間的に近傍位置の SD画素 T3, T4, T 5, T6と、前のフィールド FZoに含まれ、作成すベき 525 p信号の画素に対して空間的に近傍位置の SD画素 T 7， T 8である。なお、ラインデータ L l， L 1' を予測する際には SD画素 T 6を予測タップとして選択しないようにし、一方ラインデータ L 2, L 2' を予測する際には S D画素 T 3を予測タップとして選択しないようにしてもよい。

さらに、図 6〜図 9に示すように複数フィールドの同一位置にある S D画素に加えて、水平方向の一または複数の SD面素を、予測タップとして選択するようにしてもよレ、。

図 10およぴ図 1 1は、 525 i信号から 525 p信号に変換する場合に、第 2のタップ選択回路 1 22で選択される空間クラスタップ（SD画素）の具体例を示している。図 1 0およぴ図 1 1は、時間的に連続するフレーム F - 1, F, F +1の奇数 (o) 、偶数（e) のフィールドの垂直方向の画素位置関係を示している。

図 10に示すように、フィールド FZoのラインデータ L 1 , L 2を予測するときの空間クラスタップは、次のフィールド FZeに含まれ、作成すべき 525 p信号の画素（注目位置の画素）に対して空間的に近傍位置の SD画素 Tl, T 2と、フィールド FZoに含まれ、作成すべき 525 p信号の画素に対して空間的に近傍位置の SD画素 T 3， T4, T 5と、前のフィールド F- 1/eに含まれ、作成すべき 525 p信号の画素に対して空間的に近傍位置の SD画素 T 6， T7 である。

図 1 1に示すように、フィールド F/eのラインデータ L 1， L 2を予測するときの空間クラスタップは、次のフィールド F+lZoに含まれ、作成すべき 52 5 p信号の画素に対して空間的に近傍位置の SD画素 T 1， T2と、フィールド FZeに含まれ、作成すべき 525 p信号の画素に対して空間的に近傍位置の S D画素 T3， Τ 4, Τ 5, Τ6と、前のフィールド FZ οに含まれ、作成すべき 525 ρ信号の画素に対して空間的に近傍位置の SD画素 Τ 6, Τ7である。なお、ラインデータ L 1を予測する際には S D画素 Τ 7を空間クラスタップとして選択しないようにし、一方ラインデータ L 2を予測する際には SD画素 Τ 6 を空間クラスタップとして選択しないようにしてもよい。

図 1 2およぴ図 13は、 525 i信号から 1050 i信号に変換する場合に、第 2のタップ選択回路 122で選択される空間クラスタップ（SD画素）の具体例を示している。図 1 2および図 13は、時間的に連続するフレーム F-1, F, F+1の奇数（o) 、偶数（e) のフィールドの垂直方向の画素位置関係を示している。

図 1 2に示すように、フィールド F/oのラインデータ L 1, L 2を予測するときの空間クラスタップは、フィールド FZoに含まれ、作成すべき 1050 i 信号の画素（注目位置の画素）に対して空間的に近傍位置の SD画素 T l, T2, T3と、前のフィールド F- 1/eに含まれ、作成すべき 1050 i信号の画素に対して空間的に近傍位置の SD画素 T 4， T5, T6， Τ7である。

図 1 3に示すように、フィールド FZeのラインデータ L 1' ， L 2' を予測するときの空間クラスタップは、フィールド F/eに含まれ、作成すべき 105 0 i信号の画素に対して空間的に近傍位置の SD画素 T 1, T 2, T3と、前のフィールド Fノ oに含まれ、作成すべき 1050 i信号の画素に対して空間的に近傍位置の SD画素 T4, T 5, T 6, T7である。なお、ラインデータ L I, L 1' を予測する際には SD画素 T 7を空間クラスタップとして選択しないようにし、一方ラインデータ L 2, L2' を予測する際には SD画素 Τ 4を空間クラスタップとして選択しないようにしてもよい。

さらに、図 10〜図 13に示すように複数フィールドの同一位置にある SD画素に加えて、水平方向の一または複数の SD画素を、空間クラスタップとして選択するようにしてもよい。

図 14は、 525 i信号から 525 ρ信号に変換する場合に、第 3のタップ選択回路 123で選択される動きクラスタップ（SD画素）の具体例を示している。図 14は、時間的に連続するフレーム F-l， Fの奇数（o) 、偶数（e) のフィ一ルドの垂直方向の画素位置関係を示している。図 14に示すように、フィールド FZoのラインデータ L 1, L 2を予測するときの動きクラスタップは、次のフィールド FZeに含まれ、作成すべき 525 p信号の画素（注目位置の画素）に対して空間的に近傍位置の SD画素 n 2， n 4, n 6と、フィールド F/oに含まれ、作成すべき 525 p信号の画素に対して空間的に近傍位置の SD画素 n 1 , n 3, n 5と、前のフィールド F - lZeに含まれ、作成すべき 525 p信号の画素に対して空間的に近傍位置の SD画素 m 2, m4, m6と、さらに前のフィールド F- lZoに含まれ、作成すべき 525 p信号の画素に対して空間的に近傍位置の SD画素 ml, m3， m5である。 S D画素 n 1〜！ i 6のそれぞれの垂直方向の位置は、 S D画素 m 1〜m 6のそれぞれの垂直方向の位置は一致する。図 1 5は、 525 i信号から 1050 i信号に変換する場合に、第 3のタップ選択回路 1 23で選択される動きクラスタップ（SD画素）の具体例を示している。図 1 5は、時間的に連続するフレーム F-l， Fの奇数 (o) 、偶数（e) のフィールドの垂直方向の画素位置関係を示している。図 15に示すように、フィ一ルド FZoのラインデータ L 1， L 2を予測するときの動きクラスタップは、次のフィールド FZeに含まれ、作成すべき 1050 i信号の画素に対して空間的に近傍位置の SD画素 n 2, n 4, n 6と、フィールド F oに含まれ、作成すべき 1050 i信号の画素に対して空間的に近傍位置の SD画素 n 1, n 3, n 5と、前のフィールド F- lZeに含まれ、作成すべき 1050 i信号の画素に対して空間的に近傍位置の SD画素 m 2， m4, m6と、さらに前のフィールド F-L oに含まれ、作成すべき 1050 i信号の画素に対して空間的に近傍位置の SD画素 ml， m3， m5である。 S D画素 n 1〜n 6のそれぞれの垂直方向の位置は、 S D画素 m 1〜m 6のそれぞれの垂直方向の位置は一致する。

図 1に戻って、また、画像信号処理部 1 10は、第 2のタップ選択回路 1 22 で選択的に取り出される空間クラスタップのデータ（SD画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路 124を有している。

空間クラス検出回路 124では、例えば、各 SD画素データを、 8ビットデータから 2ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路 124からは、各 SD画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、 ADRC (Adaptive Dynamic Range Coding) によって、データ圧縮が行われる。なお、情報圧縮手段としては、 0 じ以外に13卩〇]^ (予測符号化）、 VQ (ベクトル量子化）等を用いてもよい。

本来、 ADRCは、 VTR (Video Tape Recorder) 向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。 AD RCを使用する場合、空間クラスタップのデータ（SD画素データ）の最大値を MAX, その最小値を MI N、空間クラスタップのデータのダイナミックレンジを DR (=MAX— MI N+ 1) 、再量子ィ匕ビット数を Pとすると、空間クラスタップのデータとしての各 SD画素データ k iに対して、（1) 式の演算により、圧縮データとしての再量子化コード q iが得られる。ただし、（1) 式において、 [ ]は切り捨て処理を意味している。空間クラスタップのデータとして、 Na個の SD画素データがあるとき、 i =l〜Naである。

q i = [ (k i -MI N+0. 5) . 2 VDR] · · · (1) また、画像信号処理部 110は、第 3のタップ選択回路 123で選択的に取り出される動きクラスタップのデータ（SD画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路 1 25を有している。この動きクラス検出回路 125では、第 3のタップ選択回路 123で選択的に取り出される動きクラスタップのデータ（SD画素データ） m i , n iからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路 125では、（2) 式によって、差分の絶対値の平均値 A Vが算出される。第 3のタップ選択回路 1 23で、例えば上述したように 12個の SD画素データ ml〜！ n6, n 1〜！ 6が取り出されるとき、（ 2 ) 式における N bは 6である。

Nb

L I m i— n i I

A V= ⁱ⁼¹ _M … 匿 (2)

N b そして、動きクラス検出回路 125では、上述したように算出された平均値 A Vが 1個または複数個のしきい値と比較されて動きクラスのクラス情報 MVが得られる。例えば、 3個のしきい値 t h l， t h 2, t h 3 (t h l< t h 2< t h 3) が用意され、 4つの動きクラスを検する場合、八 ≤ 1: 111のときは]^ V=0、 t h 1 <AV≤ t h 2のときは MV= 1、 t h 2く A V≤ t h 3のときは MV=2、 t h 3く AVのときは MV=3とされる。

また、画像信号処理部 1 10は、空間クラス検出回路 124より出力される空間クラスのクラス情報としての再量子化コード q iと、動きクラス検出回路 12 5より出力される動きクラスのクラス情報 MVに基づき、作成すべき HD信号 (525 p信号または 1050 i信号）の画素データ、つまり注目位置の画素データが属するクラスを示すクラスコード CLを得るためのクラス合成回路 126 を有している。

このクラス合成回路 1 26では、（3) 式によって、クラスコード CLの演算が行われる。なお、（3) 式において、 N aは空間クラスタップのデータ（SD 画素データ）の個数、 Pは ADRCにおける再量子化ビット数を示している。

Na p ； _pNa

C L = ∑ q i (2「） +MV ■ 2· ■ ' ' (3)

i =1 また、画像信号処理部 1 1 0は、レジスタ 1 3 0〜 1 3 3と、係数メモリ 1 3 4とを有している。後述する線順次変換回路 1 2 9は、 5 2 5 p信号を出力する場合と、 1 0 5 0 i信号を出力する場合とで、その動作を切り換える必要がある。レジスタ 1 3 0は、線順次変換回路 1 2 9の動作を指定する動作指定情報を格納するものである。線順次変換回路 1 2 9は、レジスタ 1 3 0より供給される動作指定情報に従った動作をする。

レジスタ 1 3 1は、第 1のタップ選択回路 1 2 1で選択される予測タップのタップ位置情報を格納するものである。第 1のタップ選択回路 1 2 1は、レジスタ 1 3 1より供給されるタップ位置情報に従って予測タップを選択する。タップ位置情報は、例えば選択される可能性のある複数の S D画素に対して番号付けを行い、選択する S D画素の番号を指定するものである。以下のタップ位置情報においても同様である。

レジスタ 1 3 2は、第 2のタップ選択回路 1 2 2で選択される空間クラスタツプのタップ位置情報を格納するものである。第 2のタツプ選択回路 1 2 2は、レジスタ 1 3 2より供給されるタップ位置情報に従って空間クラスタップを選択する。

ここで、レジスタ 1 3 2には、動きが比較的小さい場合のタップ位置情報 Aと、動きが比較的大きい場合のタツプ位置情報 Bとが格納される。これらタツプ位置情報 A， Bのいずれを第 2のタップ選択回路 1 2 2に供給するかは、動きクラス検出回路 1 2 5より出力される動きクラスのクラス情報 MVによって選択される。すなわち、動きがないか、あるいは動きが小さいために MV = 0または MV = 1であるときは、タップ位置情報 Aが第 2のタップ選択回路 1 2 2に供給され、この第 2のタップ選択回路 1 2 2で選択される空間クラスタップは、図 1 0〜図 1 3に示すように、複数フィールドに跨るものとされる。また、動きが比較的大きいために M V = 2または M V = 3であるときは、タツプ位置情報 Bが第 2のタップ選択回路 1 2 2に供給され、この第 2のタップ選択回路 1 2 2で選択される空間クラスタップは、図示せずも、作成すべき画素と同一フィールド内の S D画素のみとされる。

なお、上述したレジスタ 1 3 1にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第 1のタップ選択回路 1 2 1に供給されるタップ位置情報が動きクラス検出回路 1 2 5より出力される動きクラスのクラス情報 MVによって選択されるようにしてもよい。レジスタ 1 3 3は、第 3のタップ選択回路 1 2 3で選択される動きクラスタツプのタップ位置情報を格納するものである。第 3のタップ選択回路 1 2 3は、レジスタ 1 3 3より供給されるタップ位置情報に従って動きクラスタップを選択する。

さらに、係数メモリ 1 3 4は、後述する推定予測演算回路 1 2 7で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、 S D信号としての 5 2 5 i信号を、 HD信号としての 5 2 5 p信号または 1 0 5 0 i信号に変換するための情報である。係数メモリ 1 3 4には上述したクラス合成回路 1 2 6より出力されるクラスコード C Lが読み出しァドレス情報として供給され、この係数メモリ 1 3 4からはクラスコード C Lに対応した係数データが読み出され、推定予測演算回路 1 2 7に供給されることとなる。

また、画像信号処理部 1 1 0は、情報メモリバンク 1 3 5を有している。この情報メモリパンク 1 3 5には、レジスタ 1 3 0に格納するための動作指定情報と、レジスタ 1 3 1〜 1 3 3に格納するためのタップ位置情報が予め蓄えられている。ここで、レジスタ 1 3 0に格納するための動作指定情報として、情報メモリバンク 1 3 5には、線順次変換回路 1 2 9を 5 2 5 p信号を出力するように動作させるための第 1の動作指定情報と、線順次変換回路 1 2 9を 1 0 5 0 i信号を出力するように動作させるための第 2の動作指定情報とが予め蓄えられている。ユーザはリモコン送信機 2 0 0を操作することで、 HD信号として 5 2 5 p信号を出力する第 1の変換方法、または H D信号として 1 0 5 0 i信号を出力する第 2の変換方法を選択できる。情報メモリバンク 1 3 5にはシステムコントローラ 1 0 1よりその変換方法の選択情報が供給され、この情報メモリバンク 1 3 5 よりレジスタ 1 3 0にはその選択情報に従って第 1の動作指定情報または第 2の動作指定情報がロードされる。

また、情報メモリパンク 1 3 5には、レジスタ 1 3 1に格納するための予測タップのタップ位置情報として、第 1の変換方法（5 2 5 p ) に対応する第 1のタップ位置情報と、第 2の変換方法（1 0 5 0 1 ) に対応する第 2のタップ位置情報とが予め蓄えられている。この情報メモリバンク 1 3 5よりレジスタ 1 3 1には、上述した変換方法の選択情報に従って第 1のタップ位置情報または第 2のタップ位置情報がロードされる。

また、情報メモリパンク 1 3 5には、レジスタ 1 3 2に格納するための空間クラスタップのタップ位置情報として、第 1の変換方法（5 2 5 p ) に対応する第 1のタップ位置情報と、第 2の変換方法（1 0 5 0 i ) に対応する第 2のタップ位置情報とが予め蓄えられている。なお、第 1およぴ第 2のタップ位置情報は、それぞれ動きが比較的小さレ、場合のタップ位置情報と、動きが比較的大き、場合のタップ位置情報とからなつている。この情報メモリバンク 1 3 5よりレジスタ 1 3 2には、上述した変換方法の選択情報に従って第 1のタップ位置情報または第 2のタツプ位置情報がロードされる。

また、情報メモリパンク 1 3 5には、レジスタ 1 3 3に格納するための動きクラスタップのタップ位置情報として、第 1の変換方法（5 2 5 _P ) に対応する第 1のタップ位置情報と、第 2の変換方法（1 0 5 0 i ) に対応する第 2のタップ位置情報とが予め蓄えられている。この情報メモリパンク 1 3 5よりレジスタ 1 3 3には、上述した変換方法の選択情報に従って第 1のタップ位置情報または第 2のタツプ位置情報がロードされる。

また、情報メモリバンク 1 3 5には、第 1および第 2の変換方法のそれぞれに対応した各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ 1 3 4に格納するための係数データを生成するための生成式の係数データである。

後述する推定予測演算回路 1 2 7では、予測タップのデータ（S D画素データ） X iと、係数メモリ 1 3 4より読み出される係数データ W iとから、（4 ) 式の推定式によって、作成すべき H D画素データ yが演算される。第 1のタップ選択回路 1 2 1で選択される予測タップが、図 4および図 7に示すように 1 0個であるとき、（4 ) 式における nは 1 0となる。 y Wi X i ( 4 )

I一そして、この推定式の係数データ W i (1 =1〜11) は、（5) 式に示すように、パラメータ h, Vを含む生成式によって生成される。情報メモリパンク 1 3 5には、この生成式の係数データである係数種データ w_{1 ()}〜w_{n 9}が、変換方法毎かつクラス毎に、格納されている。この係数種データの生成方法については後述する。

= W₁₀ +W11V +Wi2h +Wi3V^ + Wi4V h +Wi5h²

+w₁₆v +W17V h + W|₈v h +W|₉h

W2 = W20 + W21 V + W2h + W23V ² + W24V h + W25h²

+ w₂₆v³ +w₂₇v² h +w₂₈v h² +w₂₉h³

Wj = Wjo +w_Mv +Wj₂ +Wj₃v²+Wj₄v h +w_i5h^

+Wj6V +Wj7V h+Wjgv h +Wj₉h

W_n = w_n0 +w_n1v+w_n2h +w_n3v²+w_n4v h +w_n5h²

+w_nev +w_n7V h+w_n8V h +wgh

■ ■ ■ ( 5 ) また、画像信号処理部 110は、各クラスの係数種データおよびパラメータ h， Vの値とを用い、（5) 式によって、クラス毎に、パラメータ h， Vの値に対応した推定式の係数データ W i ( i = 1〜！ 1) を生成する係数生成回路 136を有している。この係数生成回路 1 36には、情報メモリバンク 1 35より、上述した変換方法の選択情報に従って第 1の変換方法または第 2の変換方法に対応した各クラスの係数種データがロードされる。また、この係数生成回路 136には、システムコントローラ 101より、パラメータ h, Vの値が供給される。この係数生成回路 136で生成される各クラスの係数データ Wi (i =1〜 n) は、上述した係数メモリ 134に格納される。この係数生成回路 136における各クラスの係数データ W iの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機 200の操作によってパラメータ h, Vの値が変更されても、係数メモリ 134に格納される各クラスの係数データ W iを、そのパラメータ h， Vの値に対応したものに即座に変更でき、ユーザによる解像度の調整がスムーズに行われる。

また、画像信号処理部 1 10は、係数生成回路 136で生成される各クラスの係数データ Wi ( i = 1〜！ 1) に対応した正規化係数 Sを、（6) 式によって、演算する正規化係数生成回路 1 37と、ここで生成された正規化係数 Sを、クラス毎に格納する正規化係数メモリ 138を有している。正規化係数メモリ 138 には上述したクラス合成回路 126より出力されるクラスコード CLが読み出しアドレス情報として供給され、この正規化係数メモリ 1 38からはクラスコード CLに対応した正規化係数 Sが読み出され、後述する正規化演算回路 128に供給されることとなる。

S =∑ Wi (6 )

i=1 また、画像信号処理部 1 10は、第 1のタップ選択回路 1 21で選択的に取り出される予測タップのデータ（SD画素データ） X iと、係数メモリ 134より読み出される係数データ Wiとから、作成すべき HD信号の画素データ（注目位置の画素データ）を演算する推定予測演算回路 1 27を有している。

この推定予測演算回路 127では、 525 p信号を出力する場合、上述した図 4に示すように、奇数（o) フィールドおよび偶数（e) フィールドで、 525 i信号のラインと同一位置のラインデータ L 1と、 525 i信号の上下のラインの中間位置のラインデータ L 2とを生成し、また各ラインの画素数を 2倍とする必要がある。また、この推定予測演算回路 127では、 1050 i信号を出力する場合、上述した図 5に示すように、奇数 (o) フィールドおよび偶数（e) フィールドで、 525 i信号のラインに近い位置のラインデータ L 1， L 1' と、 5 25 i信号のラインから遠い位置のラインデータ L 2， L 2' とを生成し、また各ラィンの画素数を 2倍とする必要がある。

従って、推定予測演算回路 12 7では、 HD信号を構成する 4画素のデータが同時的に生成される。例えば、 4画素のデータはそれぞれ係数データを異にする推定式を使用して同時的に生成されるものであり、係数メモリ 134からはそれぞれの推定式の係数データが供給される。ここで、推定予測演算回路 1 27では、予測タップのデータ（SD画素データ） X iと、係数メモリ 134より読み出される係数データ W iとから、上述の（4) 式の推定式によって、作成すべき HD 面素データ yが演算される。

また、画像信号処理部 1 1 0は、推定予測演算回路 1 27より出力されるラインデータ L l， L 2 (L 1' ， L 2' ) を構成する各 HD画素データ yを、正規化係数メモリ 1 3 8より読み出され、それぞれの生成に使用された係数データ W

1 ( i = l〜n) に対応した正規化係数 Sで除算して正規化する正規化演算回路 128を有している。上述せずも、係数生成回路 13 6で係数種データより生成式で推定式の係数データを求めるものであるが、生成される係数データは丸め誤差を含み、係数データ Wi ( i = l〜n) の総和が 1. 0になることは保証されない。そのため、推定予測演算回路 1 2 7で演算される HD画素データ yは、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路 1

2 8で正規化することで、その変動を除去できる。

また、画像信号処理部 110は、水平周期を 1Z2倍とするライン倍速処理を行って、推定予測演算回路 1 27より正規化演算回路 1 28を介して供給されるラインデータ L I, L 2 (L I' , L 2' ) を線順次化する線順次変換回路 1 2 9を有している。

図 1 6は、 5 2 5 p信号を出力する場合のライン倍速処理をアナログ波形を用いて示すものである。上述したように、推定予測演算回路 1 2 7によってラインデータ L I, L 2が生成される。ラインデータ L 1には順に a 1, a 2, a 3, • · 'のラインが含まれ、ラインデータ L 2には順に b 1， b 2, b 3, · · · のラインが含まれる。線順次変換回路 1 29は、各ラインのデータを時間軸方向に 1Z2に圧縮し、圧縮されたデータを交互に選択することによって、線順次出力 a 0， b 0 , a l， b 1 , · · ·を形成する。

なお、 1 0 5 0 i信号を出力する場合には、奇数フィールドおよび偶数フィールドでィンタレース関係を満たすように、線順次変換回路 1 2 9が線順次出力を発生する。したがって、線順次変換回路 1 2 9は、 5 2 5 p信号を出力する場合と、 1 0 5 0 i信号を出力する場合とで、その動作を切り換える必要がある。その動作指定情報は、上述したようにレジスタ 1 3 0より供給される。

次に、画像信号処理部 1 1 0の動作を説明する。

バッファメモリ 1 0 9に記憶されている S D信号（5 2 5 i信号）より、第 2 のタップ選択回路 1 2 2で、空間クラスタップのデータ（S D画素データ）が選択的に取り出される。この場合、第 2のタップ選択回路 1 2 2では、レジスタ 1 3 2より供給される、ユーザによって選択された変換方法、および動きクラス検出回路 1 2 5で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 2のタップ選択回路 1 2 2で選択的に取り出される空間クラスタップのデータ（S D画素データ）は空間クラス検出回路 1 2 4に供給される。この空間クラス検出回路 1 2 4では、空間クラスタップのデータとしての各 S D画素データに対して A D R C処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コード q iが得られる（（1 ) 式参照）。

また、バッファメモリ 1 0 9に記憶されている S D信号（5 2 5 i信号）より、第 3のタップ選択回路 1 2 3で、動きクラスタップのデータ（S D画素データ）が選択的に取り出される。この場合、第 3のタップ選択回路 1 2 3では、レジスタ 1 3 3より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 3のタップ選択回路 1 2 3で選択的に取り出される動きクラスタップのデータ（S D画素データ）は動きクラス検出回路 1 2 5に供給される。この動きクラス検出回路 1 2 5では、動きクラスタップのデータとしての各 S D画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報 MV が得られる。この動き情報 MVと上述した再量子化コード q iはクラス合成回路 1 26に供給される。このクラス合成回路 126では、これら動き情報 MVと再量子化コード q iとから、作成すべき HD信号（525 p信号または 1050 i信号）の画素データ（注目位置の画素データ）が属するクラスを示すクラスコード CLが得られる（（3) 式参照）。そして、このクラスコード CLは、係数メモリ 1 34 および正規化係数メモリ 138に読み出しアドレス情報として供給される。

係数メモリ 1 34には、例えば各垂直ブランキング期間に、ユーザによって調整されたパラメータ h， Vの値および変換方法に対応した各クラスの推定式の係数データ Wi ( i = l〜！ 1) が係数生成回路 136で生成されて格納される。また、正規化係数メモリ 1 38には、上述したように係数生成回路 136で生成された各クラスの係数データ W i ( i = l〜n) に対応した正規化係数 Sが正規化係数生成回路 1 37で生成されて格納される。

係数メモリ 1 34に上述したようにクラスコード CLが読み出しアドレス情報 . として供給されることで、この係数メモリ 134からクラスコード CLに対応した係数データ Wiが読み出されて推定予測演算回路 127に供給される。また、バッファメモリ 109に記憶されている SD信号（525 i信号）より、第 1のタップ選択回路 121で、予測タップのデータ（SD画素データ）が選択的に取り出される。この場合、第 1のタップ選択回路 121では、レジスタ 1 31より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。この第 1のタップ選択回路 121で選択的に取り出される予測タップのデータ（SD画素データ） x iは推定予測演算回路 1 27に供給される。

推定予測演算回路 1 27では、予測タップのデータ（SD画素データ） _X iと、係数メモリ 134より読み出される係数データ Wiと力ら、作成すべき HD信号の画素データ、つまり注目位置の画素データ（HD画素データ） yが演算される ( (4) 式参照）。この場合、 HD信号を構成する 4画素のデータが同時的に生成される。

これにより、 525 p信号を出力する第 1の変換方法が選択されているときは、奇数（o) フィールドおよび偶数（e) フィールドで、 525 i信号のラインと同一位置のラインデータ L 1と、 525 i信号の上下のラインの中間位置のラインデータ L2とが生成される（図 4参照）。また、 1050 i信号を出力する第 2の変換方法が選択されているときは、奇数 (o) フィールドおよび偶数（e) フィールドで、 525 i信号のラインに近い位置のラインデータ L 1， L \' と、 525 i信号のラインから遠い位置のラインデータ L 2, L 2' とが生成される (図 5参照）。

このように推定予測演算回路 127で生成されたラインデータ Ll， L 2 (L 1' , L2' ) は正規化演算回路 128に供給される。正規化係数メモリ 1 38 に上述したようにクラスコード CLが読み出しアドレス情報として供給されることで、この正規化係数メモリ 138からクラスコード CLに対応した正規化係数 S、つまり推定予測演算回路 1 27より出力されるラインデータ Ll， L2 (L 1' , L2' ) を構成する各 HD画素データ yの生成に使用された係数データ W i (i =l〜n) に対応した正規化係数 Sが読み出されて推定予測演算回路 12 7に供給される。正規化演算回路 128では、推定予測演算回路 127より出力されるラインデータ L 1, L 2 (L 1' ， L 2' ) を構成する各 HD画素データ yがそれぞれ対応する正規化係数 Sで除算されて正規化される。これにより、係数種データを用いて生成式（（5) 式参照）で推定式（（4) 式参照）の係数データを求める際の丸め誤差による注目位置の情報データのレベル変動が除去される。

このように正規化演算回路 128で正規化されたラインデータ LI, L2 (L 1' , L 2' ) は、線順次変換回路 129に供給される。そして、この線順次変換回路 129では、ラインデータ L I, L 2 (L 1' , L 2' ) が線順次化されて HD信号が生成される。この場合、線順次変換回路 129は、レジスタ 130 より供給される、ユーザによって選択された変換方法に対応した動作指示情報に従った動作をする。そのため、ユーザによって第 1の変換方法（525 p) が選択されているときは、線順次変換回路 129より 525 p信号が出力される。一方、ユーザによって第 2の変換方法（1050 i) が選択されているときは、線順次変換回路 129より 1050 i信号が出力される。

上述したように、係数生成回路 136で、情報メモリパンク 1 35よりロードされる係数種データを用いて、クラス毎に、パラメータ h, Vの値に対応した推定式の係数データ Wi (i = l〜！ 1) が生成され、これが係数メモリ 134に格納される。そして、この係数メモリ 134より、クラスコード CLに対応して読み出される係数データ Wi (i = l~n) を用いて推定予測演算回路 127で H D画素データ yが演算される。したがって、ユーザは、パラメータ h, Vの値を調整することで、 HD信号によって得られる画像の水平および垂直の画質を、無段階になめらかに調整することができる。なお、この場合、調整されたパラメ一タ h, Vの値に対応した各クラスの係数データをその都度係数生成回路 136で生成して使用するものであり、大量の係数データを格納しておくメモリを必要としない。

上述したように、情報メモリバンク 1 35には、係数種データが、変換方法毎かつクラス毎に、格納されている。この係数種データは、予め学習によって生成されたものである。

まず、この生成方法の一例について説明する。（5) 式の生成式における係数データである係数種データ w₁₀〜w_n9を求める例を示すものとする。

ここで、以下の説明のため、（7) 式のように、 t i (i =0〜9) を定義する。

t o = 1 , t 1 = V , t 2 = h, t 3 = v % ' t 4 = v h , t 5 = h ², t Θ= v ³, t 7 = v ²h, t 8 = v h ², t ₉=h³

• · · (7) この（7) 式を用いると、（5) 式は、（8) 式のように書き換えられる。

Wj =∑ Wjitj ■ ■ ■ (。

i=0 最終的に、学習によって未定係数 Wxyを求める。すなわち、変換方法毎かつクラス毎に、複数の SD画素デタと HD画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数を m、 k (1≤k≤m) 番目の学習データにおける残差を e_k、二乗誤差の総和を Eとすると、（4) 式おょぴ（5) 式を用いて、 Eは（9) 式で表される。ここで、 x_ik は SD画像の i番目の予測タップ位置における k番目の画素データ、 y_kはそれ対応する k番目の HD画像の画素データを表している。

X1K +W2X2K+ * * -+W_n X_nK ) ]'

+ w" + . · ·+ t₉w】9) Xik +·

+ ( t o w_no + 11 w_ni + · · · + 19 w_n9) X_nk ] }

∑ {yk— C(wio +W11V + · · · +w₁₉h ) xik +

k=1

■ ■ ■ (9) 最小二乗法による解法では、（9) 式の w_xyによる偏微分が 0になるような w ,を求める。これは、（10) 式で示される。

( 1 0) 以下、（1 1) 式、（12) 式のように、 X_iPj。、 Yipを定義すると、（1 0) 式は、行列を用いて（13) 式のように書き換えられる。

X ipjq二 ∑ Xikt_DXjkt( ( 1 1 )

k=1

Yip = L xikt_Pyk ( 1 2)

k=1 X1010 X1011 X1012 · ·• X1019 X1020 · ' · Xl0n9 W10 Y10

X 111 n X 111 X 1 I 1 I 1I 9 i · · • X 111111 a 3 X 11 n · • · X 111 n1Q3 wi 1 Y11 ズ 1210 X1211 X1212 · · • X1219 1220 · • · l2n9 W12 Y12

•

₌

X1910 Xl91l Xl912 · · • X1919 X1920 · ' · Xl9n9 l9 丫19

2010 2011 X2012 · · • 2019 2020 · • · 20n9 W20 Y20

Xn910 Xn911 Xn912 · · • Xn919 Xn920 · ' · Xn9n9 w_n9 Yn9 （1 3) この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、 w_xyについて解かれ、係数種データが算出される。

図 1 7は、上述した係数種データの生成方法の概念を示している。 HD信号から複数の SD信号を生成する。例えば、 HD信号から SD信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータ h, Vをそれぞれ 9 段階に可変して、合計 81種類の SD信号を生成している。このようにして生成した複数の S D信号と H D信号との間で学習を行つて係数種データを生成する。図 18は、上述した概念で係数種データを生成する係数種データ生成装置 1 5 0の構成を示している。

この係数種データ生成装置 150は、教師信号としての HD信号（525 p信号 Zl 050 i信号）が入力される入力端子 151と、この HD信号に対して水平おょぴ垂直の間引き処理を行って、入力信号としての SD信号を得る SD信号生成回路 152とを有している。

この SD信号生成回路 152には、変換方法選択信号が制御信号として供給される。第 1の変換方法（図 1の画像信号処理部 1 10で 525 i信号より 525 P信号を得る）が選択される場合、 SD信号生成回路 152では 525 p信号に対して間引き処理が施されて SD信号が生成される（図 4参照）。一方、第 2の変換方法（図 1の画像信号処理部 1 10で 525 i信号より 1050 i信号を得る）が選択される場合、 SD信号生成回路 1 5≤では 1050 i信号に対して間引き処理が施されて SD信号が生成される（図 5参照）。

また、 SD信号生成回路 152には、パラメータ h， Vが制御信号として供給される。このパラメータ h, Vに対応して、 HD信号から SD信号を生成する際に使用するフィルタの水平帯域と垂直帯域とが可変される。ここで、フィルタの詳細について、いくつかの例を示す。

例えば、フィルタを、水平帯域を制限する帯域フィルタと垂直帯域を制限する帯域フィルタとから構成することが考えられる。この場合、図 1 9に示すように、パラメータ hまたは Vの段階的な値に対応した周波数特性を設計し、逆フーリエ変換をすることにより、パラメータ hまたは Vの段階的な値に対応した周波数特性を持つ 1次元フィルタを得ることができる。

また例えば、フィルタを、水平帯域を制限する 1次元ガウシアンフィルタと垂直帯域を制限する 1次元ガウシアンフィルタとから構成することが考えられる。この 1次元ガウシアンフィルタは（14) 式で示される。この場合、パラメータ hまたは Vの段階的な値に対応して標準偏差ひの値を段階的に変えることにより、パラメータ hまたは Vの段階的な値に対応した周波数特性を持つ 1次元ガウシァンフィルタを得ることができる。

- (4.0X-37) ²

O u t = —— ^ e 2.0σ²

2.0π

■ ■ ■ ( 1 4) また例えば、フィルタを、パラメータ h， Vの両方で水平および垂直の周波数特性が決まる 2次元フィルタ F (h, v) で構成することが考えられる。この 2次元フィルタの生成方法は、上述した 1次元フィルタと同様に、パラメータ h， V の段階的な値に対応した 2次元周波数特性を設計し、 2次元の逆フーリェ変換をすることにより、パラメータ h， Vの段階的な値に対応した 2次元周波数特性を持つ 2次元フィルタを得ることができる。

また、係数種データ生成装置 150は、 S D信号生成回路 152より出力される S D信号（ 5 2 5 i信号）より、 HD信号（ 1 0 5 0 i信号または 5 2 5 p信号）における注目位置の周辺に位置する複数の S D画素のデータを選択的に取り出して出力する第 1〜第 3のタップ選択回路 1 5 3〜 1 5 5を有している。

これら第 1〜第 3のタツプ選択回路 1 5 3〜 1 5 5は、上述した画像信号処理部 1 1 0の第 1〜第 3のタップ選択回路 1 2 1 〜 1 2 3と同様に構成される。これら第 1〜第 3のタップ選択回路 1 5 3〜 1 5 5で選択されるタップは、タップ選択制御部 1 5 6からのタップ位置情報によって指定される。

タップ選択制御回路 1 5 6には、変換方法選択信号が制御信号として供給される。第 1の変換方法が選択される場合と第 2の変換方法が選択される場合とで、第 1〜第 3のタップ選択回路 1 5 3〜 1 5 5に供給されるタップ位置情報が異なるようにされている。また、タップ選択制御回路 1 5 6には後述する動きクラス検出回路 1 5 8より出力される動きクラスのクラス情報 MVが供給される。これにより、第 2のタップ選択回路 1 5 4に供給されるタップ位置情報が動きが大きいか小さいかによつて異なるようにされる。

また、係数種データ生成装置 1 5 0は、第 2のタップ選択回路 1 5 4で選択的に取り出される空間クラスタップのデータ（S D画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路 1 5 7を有している。この空間クラス検出回路 1 5 7は、上述した画像信号処理部 1 1 0の空間クラス検出回路 1 2 4と同様に構成される。この空間クラス検出回路 1 5 7からは、空間クラスタップのデータとしての各 S D画素データ毎の再量子化コード q iが空間クラスを示すクラス情報として出力される。

また、係数種データ生成装置 1 5 0は、第 3のタップ選択回路 1 5 5で選択的に取り出される動きクラスタップのデータ（S D画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報 MVを出力する動きクラス検出回路 1 5 8を有している。この動きクラス検出回路 1 5 8は、上述した画像信号処理部 1 1 0の動きクラス検出回路 1 2 5と同様に構成される。この動きクラス検出回路 1 5 8では、第 3のタップ選択回路 1 5 5で選択的に取り出される動きクラスタップのデータ（S D画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。

また、係数種データ生成装置 1 5 0は、空間クラス検出回路 1 5 7より出力される空間クラスのクラス情報としての再量子化コード q iと、動きクラス検出回路 1 5 8より出力される動きクラスのクラス情報 MVに基づき、 HD信号（5 2 5 p信号または 1 0 5 0 i信号）における注目位置の画素データが属するクラスを示すクラスコード C Lを得るためのクラス合成回路 1 5 9を有している。このクラス合成回路 1 5 9も、上述した画像信号処理部 1 1 0のクラス合成回路 1 2 6と同様に構成される。

また、係数種データ生成装置 1 5 0は、入力端子 1 1に供給される HD信号より得られる注目位置の画素データとしての各 H D画素データ yと、この各 H D 画素データ yにそれぞれ対応して第 1のタップ選択回路 1 5 3で選択的に取り出される予測タップのデータ（S D画素データ） X iと、各 H D画素データ yにそれぞれ対応してクラス合成回路 1 5 9より出力されるクラスコード C Lとから、各クラス毎に、係数種データ w ^ w ^を得るための正規方程式（（1 3 ) 式参照）を生成する正規方程式生成部 1 6 0を有している。

この場合、一個の HD画素データ yとそれに対応する n個の予測タップ画素データとの組み合わせで学習データが生成されるが、 S D信号生成回路 1 5 2へのパラメータ h， Vが順次変更されていつて水平および垂直の帯域が段階的に変化した複数の S D信号が順次生成されていき、これにより正規方程式生成部 1 6 0 では多くの学習データが登録された正規方程式が生成される。

ここで、 HD信号と、その H D信号から帯域が狭いフィルタを作用させて生成した S D信号との間で学習して算出した係数種データは、解像度の高い HD信号を得るためのものとなる。逆に、 HD信号と、その H D信号から帯域が広いフィルタを作用させて生成した S D信号との間で学習して算出した係数種データは解像度の低い HD信号を得るためのものとなる。上述したように複数の S D信号を順次生成して学習データを登録することで、連続した解像度の HD信号を得るための係数種データを求めることが可能となる。

なお、図示せずも、第 1のタップ選択回路 1 5 3の前段に時間合わせ用の遅延回路を配置することで、この第 1のタップ選択回路 153から正規方程式生成部 160に供給される SD画素データ X iのタイミング合わせを行うことができる。また、係数種データ生成装置 150は、正規方程式生成部 1 60でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データ W _{1 0}〜Wn ₉を求める係数種データ決定部 161と、この求められた係数種データ w₁₀〜w_n9を格納する係数種メモリ 162とを有している。係数種データ決定部 161では、正規方程式が例えば掃き出し法などによって解かれて、係数データ w₁₀〜w_n9が求められる。

図 18に示す係数種データ生成装置 150の動作を説明する。入力端子 1 51 には教師信号としての HD信号（525 p信号または 1050 i信号）が供給され、そしてこの HD信号に対して SD信号生成回路 152で水平および垂直の'間引き処理が行われて入力信号としての SD信号 (525 i信号）が生成される。この場合、第 1の変換方法（図 1の画像信号処理部 1 10で 525 i信号より 525 p信号を得る）が選択される場合、 SD信号生成回路 1 52では 525 p 信号に対して間引き処理が施されて SD信号が生成される。一方、第 2の変換方法（図 1の画像信号処理部 1 10で 525 i信号より 1050 i信号を得る）力 S 選択される場合、 SD信号生成回路 152では 1050 i信号に対して間引き処理が施されて SD信号が生成される。またこの場合、 SD信号生成回路 1 52にはパラメータ h, Vが制御信号として供給され、水平および垂直の帯域が段階的に変化した複数の S D信号が順次生成されていく。

この SD信号 (525 i信号）より、第 2のタップ選択回路 154で、 HD信号（525 p信号または 1050 i信号）における注目位置の周辺に位置する空間クラスタップのデータ（SD画素データ）が選択的に取り出される。この第 2 のタップ選択回路 154では、タップ選択制御回路 156より供給される、選択された変換方法、および動きクラス検出回路 158で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 2のタップ選択回路 154で選択的に取り出される空間クラスタップのデータ（SD画素データ）は空間クラス検出回路 157に供給される。この空間クラス検出回路 157では、空間クラスタップのデータとしての各 SD画素データに対して AD R C処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コード q iが得られる（（1 ) 式参照）。

また、 S D信号生成回路 1 5 2で生成された S D信号より、第 3のタップ選択回路 1 5 5で、 HD信号における注目位置の周辺に位置する動きクラスタップのデータ（S D画素データ）が選択的に取り出される。この場合、第 3のタップ選択回路 1 5 5では、タップ選択制御回路 1 5 6より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 3のタップ選択回路 1 5 5で選択的に取り出される動きクラスタップのデータ（S D画素データ）は動きクラス検出回路 1 5 8に供給される。この動きクラス検出回路 1 5 8では、動きクラスタップのデータとしての各 S D画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報 MV が得られる。

この動き情報 MVと上述した再量子化コード q iはクラス合成回路 1 5 9に供給される。このクラス合成回路 1 5 9では、これら動き情報 MVと再量子化コード q iとから、 H D信号（5 2 5 p信号または 1 0 5 0 i信号）における注目位置の画素データが属するクラスを示すクラスコード C Lが得られる（（3 ) 式参照）。

また、 S D信号生成回路 1 5 2で生成される S D信号より、第 1のタップ選択回路 1 5 3で、 H D信号における注目位置の周辺に位置する予測タップのデータ ( S D画素データ）が選択的に取り出される。この場合、第 1のタップ選択回路 1 5 3では、タップ選択制御回路 1 5 6より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。

そして、入力端子 1 5 1に供給ざれる HD信号より得られる注目位置の画素データとしての各 HD画素データ yと、この各 H D画素データ yにそれぞれ対応して第 1のタップ選択回路 1 5 3で選択的に取り出される予測タップのデータ（S D画素データ） X iと、各 HD画素データ yにそれぞれ対応してクラス合成回路 1 5 9より出力されるクラスコード C Lとから、正規方程式生成部 1 6 0では、各クラス毎に、係数種データ w _{1 ()}〜w_{n 9}を生成するための正規方程式（（1 3 ) 式参照）が生成される。

そして、係数種データ決定部 161でその正規方程式が解かれ、各クラス毎の係数種データ w₁₍₎〜w_n9が求められ、その係数種データ w₁₀〜w_n9はクラス別にァドレス分割された係数種メモリ 162に格納される。

このように、図 18に示す係数種データ生成装置 1 50においては、図 1の画像信号処理部 1 10の情報メモリパンク 135に格納される各クラスの係数種データ _Wl。〜w_n9を生成することができる。この場合、 SD信号生成回路 152では、選択された変換方法によって.525 p信号または 1050 i信号を使用して SD信号（525 i信号）が生成されるものであり、第 1の変換方法（画像信号処理部 1 10で 525 i信号より 525 p信号を得る）およぴ第 2の変換方法

(画像信号処理部 1 10で 525 i信号より 1050 i信号を得る）に対応した係数種データを生成できる。

次に、係数種データの生成方法の他の例について説明する。この例においても、上述した（5) 式の生成式における係数データである係数種データ ^〜 ^を求める例を示すものとする。

図 20は、この例の概念を示している。 HD信号から複数の SD信号を生成する。例えば、 HD信号から SD信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータ h， Vをそれぞれ 9段階に可変して、合計 81 種類の SD信号を生成する。このようにして生成した各 SD信号と HD信号との間で学習を行って、（4) 式の推定式の係数データ W iを生成する。そして、各 SD信号に対応して生成された係数データ W iを使用して係数種データを生成する。

まず、推定式の係数データの求め方を説明する。ここでは、（4) 式の推定式の係数データ Wi ( i = l〜n) を最小二乗法により求める例を示すものとする。 —般化した例として、 Xを入力データ、 Wを係数データ、 Yを予測値として、

(15) 式の観測方程式を考える。この（1 5) 式において、 mは学習データの数を示し、 nは予測タップの数を示している。 X W= Y ( 1 5)

X =

(1 5) 式の観測方程式により収集されたデータに最小二乗法を適用する ₍ の（15) 式の観測方程式をもとに、（16) 式の残差方程式を考える。 e 1

e 2

X W= Y + E ( 1 6)

e m

(16) 式の残差方程式から、各 Wiの最確値は、（1 7) 式の e ²を最小にする条件が成り立つ場合と考えられる。すなわち、（18) 式の条件を考慮すればよいわけである。 m

2

e e i ( 1 7)

6 e 1 . a e 2 , d en

e 1 +e 2 + + e, = 0 (i=1,2, -·'，η)

3Wi 3Wi 6Wi

• · · ( 1 8) つまり、（1 8) 式の iに基づく n個の条件を考え、これを満たす、 Wi, W_2: • · ·， W_nを算出すればよい。そこで、（16) 式の残差方程式から、（19) 式が得られる。さらに、（1 9) 式と（1 5) 式と力ら、（20) 式が得られる _c a e d e d e

= x i 1 = X i 2 = x i n (i=1, 2,■■ ·, m)

3W1 ' 3W2 ' ' 3Wn

■ · ■ ( 1 9) m m m

∑ e i X i 1 = 0 , ∑ e i X i 2= 0, ■ ■ ∑ e i X i n = 0 i=1 i=1 i=1

■ ■ ■ (20) そして、（16) 式と（20) 式とから、（21) 式の正規方程式が得られる。 X j 1 y j ) ゾ X j 2 y j)

X j n y j

■ ■ ■ (2 1 )

(21) 式の正規方程式は、未知数の数 nと同じ数の方程式を立てることが可能であるので、各 Wiの最確値を求めることができる。この場合、掃き出し法等を用いて連立方程式を解くことになる。

次に、各 SD信号に対応して生成された係数データを使用して、係数種データの求め方を説明する。

パラメータ h， Vに対応した SD信号を用いた学習による、あるクラスの係数データが、 k_vhiとなったとする。ここで、 iは予測タップの番号である。この k _vhiから、このクラスの係数種データを求める。

各係数データ Wi ( i = l〜n) は、係数種データ w₁₍₎〜w_n9を使って、上述した（5) 式で表現される。ここで、係数データ Wiに対して最小二乗法を使用することを考えると、残差は、（22) 式で表される。 e_vhi = kv j— (WjO + WiiV +Wi2h +Wi3V +Wi4V h +Wj5h

+Wj₆v³+w_j7v ²h +w_i8v h²+w_i9hT )

⁼ kvh i ∑ w I J

j=o (22) ここで、は、上述の（7) 式に示されている。（22) 式に最小二乗法を作用させると、（23) 式が得られる。

∑h i e_vhi

2

= 0 (23)

ここで、 X_{i k}, Yiをそれぞれ (24) 式、 (25) 式のように定義すると、 (23) 式は（26) 式のように書き換えられる。この（26) 式も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データ w₁₀ 〜w_n9を算出することができる。 x_{jk jtk} (24)

ΟΟ Χ01 Χ09

Χ10 Χ11 Χ19

(26)

Χ90 Χ91 Χ99

図 21は、図 20に示す概念に基づいて係数種データを生成する係数種データ生成装置 1 50' の構成を示している。この図 21において、図 20と対応する部分には同一符号を付し、その詳細説明は省略する。係数種データ生成装置 150' は、入力端子 151に供給される HD信号より得られる注目位置の画素データとしての各 HD画素データ yと、この各 HD画素データ yにそれぞれ対応して第 1のタップ選択回路 153で選択的に取り出される予測タップのデータ（SD画素データ） X iと、各 HD画素データ yにそれぞれ対応してクラス合成回路 159より出力されるクラスコード C とから、クラス毎に、係数データ Wi (i = l〜n) を得るための正規方程式（（21) 式参照）を生成する正規方程式生成部 171を有している。

この場合、一個の HD画素データ yとそれに対応する n個の予測タップ画素データとの組み合わせで学習データが生成されるが、 SD信号生成回路 1 52へのパラメータ h， Vが順次変更されていつて水平およぴ垂直の帯域が段階的に変化した複数の SD信号が順次生成されていき、 HD信号と各 SD信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部 171では、各 SD信号のそれぞれ対応して、クラス毎に、係数データ Wi ( i = l〜！ ) を得るための正規方程式が生成される。

また、係数種データ生成装置 150' は、正規方程式生成部 1 71で生成された正規方程式のデータが供給され、その正規方程式を解いて、各 SD信号にそれぞれ対応した各クラスの係数データ Wiを求める係数データ決定部 1 72と、この各 SD信号に対応した各クラスの係数データ Wiを使用して、クラス毎に、係数種データ w₁₍₎〜w_n9を得るための正規方程式（（26) 式参照）を生成する正規方程式生成部 1 73とを有している。

また、係数種データ生成装置 150' は、正規方程式生成部 1 73でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解レヽて、各クラスの係数種データ _Wl。〜w_n9を求める係数種データ決定部 174と、この求められた係数種データ W^ WnSを格納する係数種メモリ 162とを有している。

図 21に示す係数種データ生成装置 1 50' のその他は、図 18に示す係数種データ生成装置 1 50と同様に構成される。

図 21に示す係数種データ生成装置 150' の動作を説明する。入力端子 1 5 1には教師信号としての HD信号（525 p信号または 1050 i信号）が供給され、そしてこの H D信号に対して S D信号生成回路 1 5 2で水平おょぴ垂直の間引き処理が行われて入力信号としての S D信号（5 2 5 i信号）が生成される。この場合、第 1の変換方法（図 1の画像信号処理部 1 1 0で 5 2 5 i信号より 5 2 5 p信号を得る）が選択される場合、 S D信号生成回路 1 5 2では 5 2 5 p 信号に対して間引き処理が施されて S D信号が生成される。一方、第 2の変換方法（図 1の画像信号処理部 1 1 0で 5 2 5 i信号より 1 0 5 0 i信号を得る）が選択される場合、 S D信号生成回路 1 5 2では 1 0 5 0 i信号に対して間引き処理が施されて S D信号が生成される。またこの場合、 S D信号生成回路 1 5 2にはパラメータ h , Vが制御信号として供給され、水平および垂直の帯域が段階的に変化した複数の S D信号が順次生成されていく。

この S D信号（5 2 5 i信号）より、第 2のタップ選択回路 1 5 4で、 Hひ信号（5 2 5 p信号または 1 0 5 0 i信号）における注目位置の周辺に位置する空間クラスタップのデータ（S D画素データ）が選択的に取り出される。この第 2 のタップ選択回路 1 5 4では、タップ選択制御回路 1 5 6より供給される、選択された変換方法、および動きクラス検出回路 1 5 8で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 2のタップ選択回路 1 5 4で選択的に取り出される空間クラスタップのデータ（S D画素データ）は空間クラス検出回路 1 5 7に供給される。この空間クラス検出回路 1 5 7では、空間クラスタップのデータとしての各 S D画素データに対して AD R C処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コード q iが得られる（（1 ) 式参照）。

また、 S D信号生成回路 1 5 2で生成された S D信号より、第 3のタップ選択回路 1 5 5で、 H D信号における注目位置の周辺に位置する動きクラスタップのデータ（S D画素データ）が選択的に取り出される。この場合、第 3のタップ選択回路 1 5 5では、タップ選択制御回路 1 5 6より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 3のタップ選択回路 1 5 5で選択的に取り出される動きクラスタップのデータ（S D画素データ）は動きクラス検出回路 1 5 8に供給される。この動きクラス検出回路 1 58では、動きクラスタップのデータとしての各 SD画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報 MV が得られる。

この動き情報 MVと上述した再量子化コード q iはクラス合成回路 159に供給される。このクラス合成回路 159では、これら動き情報 MVと再量子化コード q iと力ゝら、 HD信号（525 p信号または 1050 i信号）における注目位置の画素データが属するクラスを示すクラスコード CLが得られる（（3) 式参照）。

また、 SD信号生成回路 1 52で生成される SD信号より、第 1のタップ選択回路 153で、 HD信号における注目位置の周辺に位置する予測タップのデータ (SD画素データ）が選択的に取り出される。この場合、第 1のタップ選択回路 153では、タップ選択制御回路 156より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。

そして、入力端子 151に供給される HD信号より得られる注目位置の画素データとしての各 HD画素データ yと、この各 HD画素データ yにそれぞれ対応して第 1のタップ選択回路 153で選択的に取り出される予測タップのデータ（S D画素データ） X iと、各 HD画素データ yにそれぞれ対応してクラス合成回路 159より出力されるクラスコード Cしとから、正規方程式生成部 1 71では、 SD信号生成回路 152で生成される各 SD信号のそれぞれ対応して、クラス毎に、係数データ Wi (i =l〜n) を得るための正規方程式（（21) 式参照）が生成される。

そして、係数データ決定部 1 72でその正規方程式が解かれ、各 SD信号にそれぞれ対応した各クラスの係数データ W iが求められる。正規方程式生成部 1 7 3では、この各 SD信号にそれぞれ対応した各クラスの係数データ W iから、クラス毎に、係数種データ w₁₍₎〜w_n9を得るための正規方程式（（26) 式参照）が生成される。

そして、係数種データ決定部 174でその正規方程式が解かれ、各クラスの係数種データ _Wl。〜_Wn9が求められ、その係数種データ _Wl。〜_Wn9はクラス別にァドレス分割された係数種メモリ 162に格納される。このように、図 21に示す係数種データ生成装置 150' においても、図 1の画像信号処理部 1 10の情報メモリパンク 135に格納される各クラスの係数種データを生成することができる。この場合、 SD信号生成回路 1 52 では、選択された変換方法によって 525 p信号または 1050 i信号を使用して SD信号（525 i信号）が生成されるものであり、第 1の変換方法（画像信号処理部 1 10で 525 i信号より 525 p信号を得る）およぴ第 2の変換方法 (画像信号処理部 1 10で 525 i信号より 1050 i信号を得る）に対応した係数種データを生成できる。

なお、図 1の画像信号処理部 1 10では、係数データ W i ( i == 1 n) を生成するために（5) 式の生成式を使用したが、例えば、（27) 式、（28) 式などを使用してもよく、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。

Wi =

W 2 = W20 + W21 + W22h + W23V ² + W24h² + W95V³ + W2fih³

Wi = w; w_i4h²+w_i5v³+w_i6h⁵

W_n = w_nC w_n4h²+w_n5V³+w_n6h^c

(27)

= W10TW11V

W2 — W20 + W21 v + W22h + W23V ² + W24V h + W25h²

W_n = w_r

(28) また、図 1の画像信号処理部 1 10では、水平解像度を指定するパラメータ h と垂直解像度を指定するパラメータ Vとを設定し、これらパラメータ h, Vの値を調整することで画像の水平おょぴ垂直の解像度を調整し得るものを示したが、例えばノイズ除去度（ノイズ低減度）を指定するパラメータ _Zを設け、このパラメータ _Zの値を調整することで画像のノィズ除去度を調整し得るものも同様に構成することができる。

この場合、係数データ Wi ( i = l〜n) を生成する生成式として、例えば、 (29) 式、（30) 式などを使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。

= W₁₀+WnZ+Wi2Z² +W₁₃Z³

2 = W20 + W21 z + W22Z² + w₂₃z³

Wj = Wjo + WjiZ + Wj Z² +Wji¾Z°

W_n = W_n0 + W_n1Z +W_n2Zム +W_n3Z³

(29 )

= W10 +W"Z +W12Z²

W2 = W20 + W₂1 Z + W22Z²

Wi = Wj₀ +W_i1Z + \N₂Zⁱ -

W_n 二 W_n0 +W_n1Z +W_n2Z²

(30) なお、上述したようにパラメータ zを含む生成式の係数データである係数種データは、上述したパラメータ h， Vを含む生成式の係数データである係数種データを生成する場合と同様に、図 1 8に示す係数種データ生成装置 1 5 0あるいは図 2 1に示す係数種データ生成装置 1 5 0 ' により生成できる。

その場合、 S D信号生成回路 1 5 2には、パラメータ _Zが制御信号として供給され、このパラメータ zの値に対応して、 H D信号から S D信号を生成する際に、 S D信号に対するノィズ付加状態が段階的に可変される。このように S D信号に対するノィズ付加状態を段階的に可変させて学習データを登録することで、連続したノィズ除去度を得るための係数種データを生成することができる。

ここで、パラメータ zの値に対応したノイズ付加方法の詳細について、いくつかの例を示す。

例えば、図 2 2 Aに示すように、 S D信号に振幅レベルを段階的に変化させたノィズ信号を加えて、段階的にノィズレベルが変化する S D信号を生成する。また例えば、図 2 2 Bに示すように、 S D信号に一定振幅レベルのノイズ信号を加えるが、加える画面領域を段階的に可変する。

さらに例えば、図 2 2 Cに示すように、 S D信号（1画面分）として、ノイズが含まれていないものと、ノイズが含まれているものとを用意する。そして、正規方程式を生成する際に、それぞれの S D信号に対して複数回の学習を行う。例えば、「ノイズ 0」ではノイズなしの S D信号に対して 1 0 0回の学習を行い、「ノイズ i」ではノイズなしの S D信号に対して 3 0回の学習を行うと共にノイズありの S D信号に対して 7 0回の学習を行う。この場合、「ノイズ i」の方がノイズ除去度が高い係数種データを算出する学習系になる。このように、ノィズなしとノイズありの S D信号に対する学習回数を段階的に変化させて学習を行うことにより、連続したノィズ除去度を得るための係数種データを得ることができる。

この手法を、上述せずも、正規方程式の加算という形で実現することもできる。まず、「ノイズ 0」〜「ノイズ i」における推定式の係数データを算出するような学習を行う。このときの正規方程式は、上述した（2 1 ) 式に示すようになる。ここで、 P u , Q jをそれぞれ（3 1 ) 式、（3 2 ) 式のように定義すると、 (21) 式は（33) 式のように書き換えられる。ここで、は j番目の予測タップ位置の SD画素データの i番目の学習値、 y；は HD画素データの i番目の学習値、は係数を表している。

このような学習を用いて、ノイズなしの S D信号を学習した場合における、 (33) 式の左辺を [Ρ 1 υ]、右辺を [Q 1 i]と定義し、同様に、ノイズありの S D信号を学習した場合における、（33) 式の左辺を [P 2ij]、右辺を [Q2i]と定義する。このような場合に、（34) 式、（35) 式のように、 [P_{a i j}] [Q 。；]を定義する。ただし、 a (0≤ a≤ 1) である。

[Pa, j]= (1一 a) [P 1 i j]+ a [P 2 ϋ] · · · (34)

[Qai] = ( 1 - a) [Q 1 i] + a [Q 2 i] · · · (35) ここで、 a = 0の場合の正規方程式は（36) 式で表され、これは図 22 Cの「ノイズ 0」の場合の正規方程式と等価になり、 a ==0. 7の場合は「ノイズ i」の場合の正規方程式と等価になる。

[Pa_U][Wi] = [Q_{a i}] · · · (36)

この aを段階的に変化させて各ノイズレベルの正規方程式を作ることにより、目的とする係数種データを得ることができる。この場合、図 21の係数種データ生成装置 150' で説明したと同様に、各ノィズレベルの正規方程式よりそれぞれ係数データを Wiを算出し、この各段階の係数データを使用して係数種データを求めることができる。

また、各ノイズレベルの正規方程式を組み合わせることにより、上述した（1 3) 式のような係数種データを得るための正規方程式を生成することも可能である。この手法については、以下に具体的に説明する。ここでは、上述した（3 0) 式を用いて、係数種データを求める正規方程式を生成する場合を考える。

予め、予め何種類かのパラメータ zに対応したノイズレベルの SD信号を生成して学習を行い、上述した（34) 式、（3 5) 式に表される [P] [Q]を用意しておく。それらを、 [Pnn] [Q_ni]と表す。また、また、上述した（7) 式は、 (3 7) 式のように書き換えられる。

t o = 1 , t i= z t 2 = z ² · · · (3 7)

この場合、上述した（24) 式、（25) 式は、それぞれ（38) 式、（3 9) 式のように書き換えられる。これらの式に対し、（40) 式を解くことで、係数種データ W i jを求めることができる。ここで、予測タップの総数を表す変数は mに書き換えている。

X ipjq =

:pt_qFzi j ( 3 8)

Yip = ∑ ( 3 9)

X1010 X1011 X1012 X1020

1110 X1111 ズ 1112 1120

X1210 X1211 X1212 1220

X2010 2011 X2012 X2020

Xm210 Xm211 Xm212 Xm220

(40) また、図 1の画像信号処理部 1 1 0では、水平解像度を指定するパラメータ h と垂直解像度を指定するパラメータ Vとを設定し、これらパラメータ h, Vの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、水平および垂直の解像度を 1個のパラメータで調整するように構成することもできる。例えば、水平および垂直の解像度を指定する 1個のパラメータ rを設定する。この場合、例えば、 r =lは h = l、 v = l、 r = 2は h = 2、 v = 2、 · • ·、あるいは r =lは h=l、 v = 2、 r = 2は h = 2、 v = 3、 · · 'のような対応関係とされる。この場合、係数データ Wi (i =l〜n) を生成する生成式としては、 rの多項式等が使用されることとなる。

また、図 1の画像信号処理部 1 10では、水平解像度を指定するパラメータ h と垂直解像度を指定するパラメータ Vとを設定し、これら複数種類のパラメータ h, Vの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、上述した水平および垂直の解像度を指定するパラメータ rと、上述ノィズ除去度（ノイズ低減度）を指定するパラメータ zとを設定し、これら複数種類のパラメータ r， zの値を調整することで、画像の水平および垂直の解像度とノィズ除去度とを調整し得るものも同様に構成することができる。

この場合、係数データ Wi ( i = l〜n) を生成する生成式として、例えば、 (41) 式等を使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。

\N、 = w₁₀ +w"r +w₁₂z +w₁₃r ²+w₁₄r z +w₁₅z²

+ Wi6r +Wi7「 Z +Wisr Z +W19Z

W₂ = w₂o +w₂i「 +w₂₂z+w₂3r ²+w₂4r z+w₂₅z²

+ w₂6r³ +w₂₇r² z +w₂sr ,3

29

Wj = Wj₀ +w_ilr +w_i2z +w_i3r ²+w_i4r z +w_i5z²

+ w_i6r³ +w '_ii₇7r² z +w_i i_R8r' 7 'Ϊ9'

W_n = w_n0 + w_n1 r + w_n2 z + w_n3 r ² + w_n4 r z + w_n5 z ²

+ w_n6r³+w_n7r²z+w_n8r z²+w_n ，³

(4 1 ) このようにパラメータ！：， zを調整するためのユーザインタフェースも、図 2 に示すように構成できる。ユーザは、ジョイスティック 200 aを操作することで、調整画面 1 1 5上でアイコン 11 5 aの位置を動かすことができ、解像度を指定するパラメータ rの値とノイズ除去度（ノイズ低減度）を指定するパラメ一タ _Zの値とを任意に調整できる。図 24は、調整画面 1 15の部分を拡大して示している。アイコン 1 15 aが左右に動かされることで解像度を決定するパラメータ rの値が調整され、一方アイコン 1 15 aが上下に動かされることでノイズ除去度を決定するパラメータ zの値が調整される。

ユーザは、ディスプレイ部 1 1 1 (図 2参照）に表示される調整画面 1 1 5を参照してパラメータ r， . _Zを調整でき、その調整を容易に行うことができる。なお、ユーザによって調整されたパラメータ r， zの値を、調整画面 1 1 5上に数値表示してもよい。このようにパラメータ r , ζを含む生成式の係数データである係数種データは、上述したパラメータ h , Vを含む生成式の係数データである係数種データを生成する場合と同様に、図 1 8に示す係数種データ生成装置 1 5 0あるいは図 2 1に示す係数種データ生成装置 1 5 により生成できる。

その場合、 S D信号生成回路 1 5 2には、パラメータ r , zが制御信号として供給され、このパラメータ r， _Zの値に対応して、 H D信号から S D信号を生成する際に、 S D信号の水平、垂直の帯域と、 S D信号に対するノイズ付加状態とが段階的に可変される。

図 2 3は、パラメータ zの値に対応した S D信号の生成例を示している。この例では、パラメータ ]：, _Zはそれぞれ 9段階に可変され、合計 8 1種類の S D信号が生成される。なお、パラメータ r， _Zを 9段階よりもさらに多くの段階に可変するようにしてもよい。その場合には、算出される係数種データの精度は良くなるが、計算量は増えることとなる。

また、図 1の画像信号処理部 1 1 0では、水平解像度を指定するパラメータ h と垂直解像度を指定するパラメータ Vとを設定し、これら複数種類のパラメータ h , Vの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、これらパラメータ h， Vの他に、さらに上述したノィズ除去度 (ノィズ低減度）を指定するパラメータ _Zを設定し、これら複数種類のパラメータ h , V , zの値を調整することで、画像の水平および垂直の解像度とノイズ除去度とを調整し得るものも同様に構成することができる。

この場合、係数データ W i ( i = l〜n ) を生成する生成式として、例えば、 ( 4 2 ) 式等を使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。 Wi = w_{1 0}

+ w₁ ^ +w_{1 2}h +w_{1 3}z

+ w_{1 4}v² +w_{1 5}h² +w_{1 6}z² +w_{1 7}v h +w_{1 8} z +w_{1 9}z v

+ ^W1J0^{v3 + W}1J1^{h3 + W}U2^z3+W1J3^{v2 h +W}1J4^{V h2 + W}1J5^{V h Z}

+ w_1J6v z²+w_1J7h²z+w_1J8h z²+w_1J9z³

W₂ = w₂— o

+ w₂ +w₂₂h +w₂₃z

+ w₂₄v² +w₂₅h² +w₂₆z² +w₂— ₇v h +w₂₈h z +w₂₉z v

+ w₂ j ₀ v ³ + w ₂ j ₁ h ³ + w₂ j ₂ z ³ + w₂ j 3 v ² h + w₂₁₄v h²+w_{2 15}v h z

+ w_2J6v z² +w_2J7h² z +w_2J8h z²+w_2J9z³

+ Wj ^ +Wj ₂h +Wj

+ w_{j 4}v² +w_{i 5} +w_L6z + w_L7v h+w_{j 8}h z +Wj ₉z v

+ w_U0v³+_Wuih³+_WiJ2Z ³ + _{Wi 13V} ²h+_WL14V h²+w_{L 15}v h z

+ w_L16v z²+w_;し ₁1₇7h' +w_L18h • 十 ^Wi— 19

+ w_nJvH-w_{n 2}h+w_n_₃z

+ w_{n 4}v² +w_{n 5}h² +w_{n 6}z² +w_{n 7}v h +w_{n 8}h z +w_{n 9}z V

+ ^w _njo^v3+w _nji^h。^+w _nj₂ ^z3 + w_nJ3v²h+_WnJ4v h²+_WnJ5v h z

+ _{n 16}v z² +w_{n 17}h² z +w_{n 18}h z²+w_{n 19}z³

一一 _ ■ ■ ■ (42) このようにパラメータ h, V , Zを調整するためのユーザインタフェースも、図 2に示すように構成できる。ユーザは、ジョイスティック 2 00 aを操作することで、調整画面 1 1 5上でアイコン 1 1 5 aの位置を動かすことができ、解像度を指定するパラメータ h， Vの値とノイズ除去度（ノイズ低減度）を指定するパラメータ zの値とを任意に調整できる。

図 26は、調整画面 1 15の部分を拡大して示している。アイコン 1 15 aが左右に動かされることで水平の解像度を決定するパラメータ hの値が調整され、一方アイコン 1 15 aが上下に動かされることで垂直の解像度を決定するパラメータ Vの値が調整され、さらにアイコン 1 1 5 aが奥行き方向に動かされることでノイズ除去度を決定するパラメータ zの値が調整される。アイコン 1 15 aを奥行き方向に動かすには、例えばジョイスティック 200 aを斜め方向に操作すればよい。

この場合、アイコン 1 15 aの大きさや色の濃さ、あるいは色合い等を変化させることで、奥行き方向を表現することが可能である。図中の破線で示されるァイコン 1 15 aは、その大きさを変えることで、実線で示されるアイコン 1 1 5 aが奥行き方向に移動された状態を示している。

ユーザは、ディスプレイ部 1 1 1 (図 2参照）に表示される調整画面 1 1 5を参照してパラメータ h， V , _Zを調整でき、その調整を容易に行うことができる。なお、ユーザによって調整されたパラメータ h , V , zの値を、調整画面 1 15 上に数値表示してもよい。

このようにパラメータ h, V , zを含む生成式の係数データである係数種データは、上述したパラメータ h， Vを含む生成式の係数データである係数種データを生成する場合と同様に、図 18に示す係数種データ生成装置 150あるいは図 21に示す係数種データ生成装置 150' により生成できる。

その場合、 SD信号生成回路 1 52には、パラメータ h, V , zが制御信号として供給され、このパラメータ h, v， zの値に対応して、 HD信号から SD信号を生成する際に、 SD信号の水平、垂直の帯域と、 SD信号に対するノイズ付加状態とが段階的に可変される。

図 25は、パラメータ h, V , zの値に対応した SD信号の生成例を示している。この例では、パラメータ h, v， zはそれぞれ 9段階に可変され、合計 72 9種類の SD信号が生成される。なお、パラメータ h, V , zを 9段階よりもさらに多くの段階に可変するようにしてもよい。その場合には、算出される係数種データの精度は良くなるが、訐算量は増えることとなる。

なお、図 1の画像信号処理部 1 10における処理を、例えば図 27に示すような画像信号処理装置 300によって、ソフトウェアで実現することも可能である。まず、図 27に示す画像信号処理装置 300について説明する。この画像信号処理装置 300は、装置全体の動作を制御する CPU301と、この CPU30 1の動作プログラムや係数種データ等が格納された ROM (read only memory) 302と、 CPU301の作業領域を構成する RAM (random access memory) 303とを有している。これら CPU301、 ROM302および RAM303 は、それぞれバス 304に接続されている。

また、画像信号処理装置 300は、外部記憶装置としてのハードディスクドラィプ（HDD) 305と、フロッピー（R) ディスク 306をドライプするフロッピー（R) ディスクドライブ（FDD) 307とを有している。これらドライプ 305， 307は、それぞれバス 304に接続されている。

また、画像信号処理装置 300は、ィンターネット等の通信網 400に有線または無線で接続する通信部 308を有している。この通信部 308は、インタフエース 309を介してバス 304に接続されている。

また、画像信号処理装置 300は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機 200からのリモコン信号 RMを受信するリモコン信号受信回路 310と、 LCD (liquid crystal display) 等からなるディスプレイ 3 1 1とを有している。受信回路 310はインタフェース 31 2を介してバス 304に接続され、同様にディスプレイ 31 1はインタフエース 313を介してバス 304に接続されている。

また、画像信号処理装置 300は、 SD信号を入力するための入力端子 314 と、 HD信号を出力するための出力端子 315とを有している。入力端子 3 14 はインタフェース 316を介してバス 304に接続され、同様に出力端子 315 はインタフェース 317を介してバス 304に接続される。

ここで、上述したように ROM 302に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばィンターネットなどの通信網 400より通信部 308を介してダウンロードし、ハードディスクや RAM303に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピー (R) ディスク 306で提供するようにしてもよい。

また、処理すべき SD信号を入力端子 314より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網 400より通信部 308を介してダウンロードしてもよい。また、処理後の HD信号を出力端子 315に出力する代わり、あるいはそれと並行してディスプレイ 3 1 1に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部 308を介してインターネットなどの通信網 400に送出するようにしてもよい。

図 28のフローチャートを参照して、図 27に示す画像信号処理装置 300における、 S D信号より H D信号を得るため処理手順を説明する。

まず、ステップ ST 1で、処理を開始し、ステップ ST2で、 SD画素データをフレーム単位またはフィールド単位で入力する。この S D画素データが入力端子 314より入力される場合には、この SD画素データを RAM 303に一時的に格納する。また、この SD画素データがハードディスクに記録されている場合には、ハードディスクドライブ 307でこの SD画素データを読み出し、 RAM 303に一時的に格納する。そして、ステップ ST 3で、入力 SD画素データの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップ ST 4で、処理を終了する。一方、処理が終わつていないときは、ステップ ST 5に進む。

このステップ ST 5では、ユーザがリモコン送信機 200を操作して入力した画質指定値（例えばパラメータ h， Vの値など）を例えば R AM 303より読み込む。そして、ステップ ST 6で、読み込んだ画質指定値おょぴ各クラスの係数種データを使用して、生成式（例えば（5) 式）によって、各クラスの推定式 ( (4) 式参照）の係数データ Wiを生成する。

次に、ステップ ST 7で、ステップ ST2で入力された SD画素データより、生成すべき各 HD画素データに対応して、クラスタップおょぴ予測タップの画素データを取得する。そして、ステップ ST 8で、入力された SD画素データの全領域において HD画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップ ST2に戻り、次のフレームまたはフィールドの SD画素データの入力処理に移る。一方、処理が終了していないときは、ステップ ST9 に進む。

このステップ ST9では、ステップ ST7で取得されたクラスタツプの SDH 素データからクラスコード CLを生成する。そして、ステップ ST10で、そのクラスコード CLに対応した係数データと予測タップの S D画素データを使用して、推定式により、 HD画素データを生成し、その後にステップ ST 7に戻って、上述したと同様の処理を繰り返す。

このように、図 28に示すフローチャートに沿って処理をすることで、入力された S D信号を構成する S D画素データを処理して、 110信号を構成する110画素データを得ることができる。上述したように、このように処理して得られた H D信号は出力端子 315に出力されたり、ディスプレイ 31 1に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ 305に供給されてハードディスクに記録されたりする。

また、処理装置の図示は省略するが、図 18の係数種データ生成装置 150における処理を、ソフトウェアで実現することも可能である。

図 29のフローチャートを参照して、係数種データを生成するための処理手 Ml を説明する。

まず、ステップ ST 21で、処理を開始し、ステップ ST 22で、学習に使われる、画質パターン（例えば、パラメータ h, Vで特定される）を選択する。そして、ステップ ST23で、全ての画質パターンに対して学習が終わったか否かを判定する。全ての画質選択パターンに対して学習が終わっていないときは、ステツプ S T 24に進む。

このステップ ST 24では、既知の HD画素データをフレーム単位またはフィ一ルド単位で入力する。そして、ステップ ST25で、全ての HD画素データについて処理が終了したか否かを判定する。終了したときは、ステップ ST22に戻って、次の画質パターンを選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップ ST 26に進む。

このステップ ST 26では、ステップ ST 24で入力された HD画素データより、ステップ ST 22で選択された画質パターンに基づいて、 SD画素データを生成する。そして、ステップ ST 27で、ステップ ST 26で生成された SD画素データより、ステップ ST 24で入力された各 HD画素データに対応して、クラスタップおょぴ予測タップの画素データを取得する。そして、ステップ ST 2 8で、生成された SD画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップ ST 24に戻って、次の HD画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップ ST 29に進む。

このステップ ST 29では、ステップ ST27で取得されたクラスタップの S D画素データからクラスコード CLを生成する。 'そして、ステップ ST 30で、正規方程式（（1 3) 式参照）を生成する。その後に、ステップ ST27に戻る。また、ステップ ST23で、全ての画質パターンに対して学習が終わったときは、ステップ ST 3 1に進む。このステップ ST 31では、正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップ ST 32 で、その係数種データをメモリに保存し、その後にステップ ST 33で、処理を終了する。

このように、図 29に示すフローチャートに沿って処理をすることで、図 18 に示す係数種データ生成装置 1 50と同様の手法によって、各クラスの係数種データを得ることができる。

また、処理装置の図示は省略するが、図 21の係数種データ生成装置 150' における処理も、ソフトウェアで実現可能である。

図 30のフローチャートを参照して、係数種データを生成するための処理手順を説明する。

まず、ステップ ST41で、処理を開始し、ステップ ST42で、学習に使われる、画質パターン（例えば、パラメータ h, Vで特定される）を選択する。そして、ステップ ST43で、全ての画質パターンに対する係数データの算出処理が終了したか否かを判定する。終了していないときは、ステップ ST44に進む。このステップ S T 44では、既知の HD画素データをフレーム単位またはフィ一ルド単位で入力する。そして、ステップ ST45で、全ての HD画素データについて処理が終了したか否かを判定する。終了していないときは、ステップ ST 46で、ステップ ST44で入力された HD画素データより、ステップ ST 42 で選択された画質パターンに基づいて、 S D画素データを生成する。

そして、ステップ ST 47で、ステップ ST 46で生成された SD画素データより、ステップ ST44で入力された各 HD画素データに対応して、クラスタツプおよび予測タップの画素データを取得する。そして、ステップ ST48で、生成された S D画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップ ST 44に戻って、次の HD画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップ ST49に進む。

このステップ ST 49では、ステップ ST47で取得されたクラスタップの S D画素データからクラスコード CLを生成する。そして、ステップ ST 50で、係数データを得るための正規方程式（（21) 式参照）を生成する。その後に、ステップ ST47に戻る。

上述したステップ ST 45で、全ての HD画素データについて処理が終了したときは、ステップ ST 51で、ステップ ST 50で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。その後に、ステップ S T42に戻って、次の画質パターンを選択して、上述したと同様の処理を繰り返し、次の画質パターンに対応した、各クラスの係数データを求める。

また、上述のステップ ST43で、全ての画質パターンに対する係数データの算出処理が終了したときは、ステップ ST52に進む。このステップ ST52では、全ての画質パターンに対する係数データから、係数種データを求めるための正規方程式（（26) 式参照）を生成する。

そして、ステップ ST 53で、ステップ ST 52で生成された正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップ ST

54で、その係数種データをメモリに保存し、その後にステップ ST 55で、処理を終了する。

このように、図 30に示すフローチャートに沿って処理をすることで、図 21 に示す係数種データ生成装置 150' と同様の手法によって、各クラスの係数種データを得ることができる。次に、この発明の他の実施の形態について説明する。図 3 1は、他の実施の形態としてのテレビ受信機 10 OAの構成を示している。このテレビ受信機 10〇 Aは、放送信号より SD信号としての 525 i信号を得、この 525 i信号を H D信号としての 525 p信号または 1050 i信号に変換し、その 525 p信号または 1050 i信号による画像を表示するものである。この図 31において、図 1と対応する部分には同一符号を付して示している。

テレビ受信機 100 Aは、図 1に示すテレビ受信機 100の画像信号処理部 1 10が画像信号処理部 1 1 OAに置き換えられたものであって、テレビ受信機 1 00と略同様の動作をする。

画像信号処理部 1 1 OAの詳細を説明する。この画像信号処理部 1 1 OAにおいて、図 1に示す画像信号処理部 1 10と対応する部分には同一符号を付し、その詳細説明は省略する。

この画像信号処理部 1 10Aは、情報メモリバンク 135 Aを有している。この情報メモリバンク 1 35 Aには、図 1に示す画像信号処理部 1 10における情報メモリバンク 135と同様に、レジスタ 130に格納するための動作指定情報と、レジスタ 1 31〜133に格納するためのタップ位置情報が予め蓄えられている。さらに、この情報メモリバンク 135 Aには、第 1の変換方法（525 P) およぴ第 2の変換方法（1050 i) のそれぞれに対応した係数種データが予め蓄えられている。この係数種データは、係数メモリ 134に格納するための係数データを生成するための生成式の係数データである。

推定予測演算回路 127では、予測タップのデータ（SD画素データ） X iと、係数メモリ 134より読み出される係数データ Wiとから、（4) 式の推定式によって、作成すべき HD画素データ yが演算される。ここでは、この推定式の係数データ Wi ( i = l〜n) 力（43) 式に示すように、パラメータ cを含む生成式によって生成される。このパラメータ cは、クラス合成回路 125より出力されるクラスコード CLに対応している。情報メモリパンク 135 Aには、この生成式の係数データである係数種データ w_i0〜w_i3が、変換方法毎に、格納されている。この係数種データの生成方法については後述する。

Wi = W i o + W i i c+W i a c ² + W i 3 C ³ · · · (43) また、画像信号処理部 11 OAでは、システムコントローラ 101より、空間クラス検出回路 124、クラス合成回路 126に、パラメータ Pが供給される。このパラメータ Pは、再量子化ビット数を示すものである。

空間クラス合成回路 126では、上述の（1) 式の演算で空間クラスのクラス情報としての再量子化コード q iが演算され、クラス合成回路 126では、

(3) 式の演算でクラスコード CLを得るものであるが、パラメータ Pの値は、 (1) 式、（3) 式の再量子化ビット数として使用される。このパラメータ Pの値は、ユーザの操作によって、変更可能とされ、例えば P=l, 2， 3の変更が可能とされている。

このように、パラメータ Pの値を変更することで、クラスコード CLで示されるクラス分類の細かさが変化する。例えば、 P=lであるとき 2⁶クラスに分類され、 P = 2のとき（2²) ⁶= 2¹²クラスに分類され、 P=3のとき（2³) ⁶=2 ¹⁸クラスに分類される。ここで、パラメータ Pの値が変更されても、クラスコード CLの変化範囲が変わらないようにするため、クラス合成回路 126で（3) 式の演算を行う際に、演算で求められたクラスコードじが（2^P— ^βで除算される。

また、画像信号処理部 11 OAは、係数種データ W i。〜w_i3およびパラメータ Pの値とを用い、（43) 式によって、クラス毎に、推定式の係数データ Wi

( i =l〜n) を生成する係数生成回路 136 Aを有している。この係数生成回路 136 Aには、情報メモリパンク 135Aより、上述した変換方法の選択情報に従つて第 1の変換方法または第 2の変換方法に対応した係数種データ w i。〜w _i3がロードされる。また、この係数生成回路 136 Aには、システムコントローラ 101より、パラメータ Pの値が供給される。

この係数生成回路 136 Aでは、パラメータ Pの値によって、係数データ Wi を求めるべきクラスの値（クラスコード CLの値）が分かる。例えば、 P= lであるとき係数データ Wiを求めるべき 64クラスの値が分かり、それらの値を

(43) 式の cに代入することで、 64クラス分の係数データ Wiを求めることができる。同様にし、 P = 2、 P= 3であるとき、それぞれ係数データ Wiを求めることができる。事前に、情報メモリバンク 135 Aに格納されている係数種データが P= 1の 64クラスで学習されたものでも、 P=2、 P = 3を入力することで、それぞれ 64クラスを、（2²) ⁶クラス、（2³) ⁶クラスに分類し直したときの係数データ Wiを求めることができる。これは、 P= 2を入力することで（2²) ⁶クラス分の係数データ、 P=3を入力することで（2³) ⁶クラス分の係数データを、 64クラスの係数データから生成することである。

この係数生成回路 136 Aで生成される各クラスの係数データ Wi ( i = 1〜 n) は、係数メモリ 134に格納される。係数生成回路 136 Aにおける各クラスの係数データ Wiの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機 200の操作によってパラメータ Pの値が変更されても、係数メモリ 134に格納される各クラスの係数データ Wiを、そのパラメータ Pの値に対応したものに即座に変更でき、ユーザによる調整がスムーズに行われる。

画像信号処理部 1 10 Aは以上のように構成され、その他は図 1の画像信号処理部 1 10と同様に構成される。

次に、画像信号処理部 1 1 OAの動作を説明する。

ノッファメモリ 109に記憶されている SD信号（525 i信号）より、第 2 のタップ選択回路 122で、空間クラスタップのデータ（SD画素データ）が選択的に取り出される。この場合、第 2のタップ選択回路 122では、レジスタ 1 32より供給される、ユーザによって選択された変換方法、および動きクラス検出回路 125で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 2のタップ選択回路 122で選択的に取り出される空間クラスタップのデータ（SD画素データ）は空間クラス検出回路 1 24に供給される。この空間クラス検出回路 1 24では、空間クラスタップのデータとしての各 SD画素データに対して A D R C処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コード q iが得られる（（1) 式参ハ昭、、）ノ o

また、ノッファメモリ 109に記憶されている SD信号（525 i信号）より、第 3のタップ選択回路 123で、動きクラスタップのデータ（SD画素データ）が選択的に取り出される。この場合、第 3のタップ選択回路 1 2 3では、レジスタ 1 3 3より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 3のタップ選択回路 1 2 3で選択的に取り出される動きクラスタップのデータ（S D画素データ）は動きクラス検出回路 1 2 5に供給される。この動きクラス検出回路.1 2 5では、動きクラスタップのデータとしての各 S D画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報 MV が得られる。

この動き情報 MVと上述した再量子化コード q iはクラス合成回路 1 2 6に供給される。このクラス合成回路 1 2 6では、これら動き情報 MVと再量子化コード q iとから、作成すべき H D信号（5 2 5 p信号または 1 0 5 0 i信号）の画素データ（注目位置の画素データ）が属するクラスを示すクラスコード C Lが得られる（（3 ) 式参照）。そして、このクラスコード C Lは、係数メモリ 1 3 4 および正規化係数メモリ 1 3 8に読み出しァドレス情報として供給される。

係数メモリ 1 3 4には、例えば各垂直プランキング期間に、ユーザによって調整されたパラメータ; Pの値に対応した各クラスの推定式の係数データ W i ( i = l〜n ) が係数生成回路 1 3 6 Aで生成されて格納される。また、正規化係数メモリ 1 3 8には、係数生成回路 1 3 6 Aで生成された各クラスの係数データ W i ( i = 1〜！ i ) に対応した正規化係数 Sが正規化係数生成回路 1 3 7で生成されて格納される。

係数メモリ 1 3 4に上述したようにクラスコード C Lが読み出しァドレス情報として供給されることで、この係数メモリ 1 3 4からクラスコード C Lに対応したクラスの係数データ W iが読み出されて推定予測演算回路 1 2 7に供給される。また、バッファメモリ 1 0 9に記憶されている S D信号（5 2 5 i信号）より、第 1のタツプ選択回路 1 2 1で、予測タップのデ一タ（ S D画素データ）が選択的に取り出される。この場合、第 1のタップ選択回路 1 2 1では、レジスタ 1 3 1より供給される、ユーザによつて選択された変換方法に対応したタツプ位置情報に基づいて、タップの選択が行われる。この第 1のタップ選択回路 1 2 1で選択的に取り出される予測タップのデータ（S D画素データ） x iは推定予測演算回路 1 27に供給される。

推定予測演算回路 127では、予測タップのデータ（SD画素データ） X iと、係数メモリ 134より読み出される係数データ W iとから、作成すべき HD信号の画素データ、つまり注目位置の画素データ（HD画素データ） yが演算される ( (4) 式参照）。この場合、 HD信号を構成する 4画素のデータが同時的に生成される。

これにより、 525 p信号を出力する第 1の変換方法が選択されているときは、奇数（o) フィールドおよび偶数（e) フィールドで、 525 i信号のラインと同一位置のラインデータ L 1と、 525 i信号の上下のラインの中間位置のラインデータ L 2とが生成される（図 4参照）。また、 1050 i信号を出力する第 2の変換方法が選択されているときは、奇数（o) フィールドおよび偶数（e) フィールドで、 525 i信号のラインに近い位置のラインデータ L 1， L 1' と、 525 i信号のラインから遠い位置のライシデータ L 2， L 2^r とが生成される (図 5参照）。

このように推定予測演算回路 127で生成されたラインデータ L l， L2 (L 1' ， L2' ) は正規化演算回路 128に供給される。正規化係数メモリ 1 38 に上述したようにクラスコード CLが読み出しァドレス情報として供給されることで、この正規化係数メモリ 1 38からクラスコード CLに対応した正規ィ匕係数 S、つまり推定予測演算回路 1 27より出力されるラインデータ L l， L 2 (L 1' , L 2' ) を構成する各 HD画素データ yの生成に使用された係数データ W i ( i = l〜n) に対応した正規化係数 Sが読み出されて推定予測演算回路 12 7に供給される。正規化演算回路 128では、推定予測演算回路 127より出力されるラインデータ L I, L 2 (L 3 , L 2' ) を構成する各 HD画素データ yがそれぞれ対応する正規化係数 Sで除算されて正規化される。これにより、係数種データを用いて生成式（（43) 式参照）で推定式（（4) 式参照）の係数データを求める際の丸め誤差による注目位置の情報データのレベル変動が除去される。

このように正規化演算回路 1 28で正規化されたラインデータ L 1， L 2 (L 1' , L 2' ) は、線順次変換回路 129に供給される。そして、この線順次変換回路 129では、ラインデータ L I， L 2 (L 1' , L 2' ) が線順次化されて HD信号が生成される。この場合、線順次変換回路 129は、レジスタ 130 より供給される、ユーザによって選択された変換方法に対応した動作指示情報に従った動作をする。そのため、ユーザによって第 1の変換方法（525 p) が選択されているときは、線順次変換回路 129より 525 p信号が出力される。一方、ユーザによって第 2の変換方法（1050 i) が選択されているときは、線順次変換回路 129より 1050 i信号が出力される。

上述したように、係数生成回路 136 Aで、情報メモリパンク 135 Aより口ードされる係数種データ Wi。〜W _{i 3}を用いて、クラス毎に、推定式の係数データ Wi ( i = l〜n) が生成され、これが係数メモリ 1 34に格納される。そして、この係数メモリ 1 34より、クラスコード CLに対応して読み出される係数データ Wi (i = l〜n) を用いて推定予測演算回路 127で HD画素データ yが演算される。

このように、画像信号処理部 1 1 OAでは、係数生成回路 136 Aで、各クラスの係数データ Wiを、情報メモリバンク 1 35 Aに格納されている係数種データ W i。〜w_i3を用い、（43) 式の生成式によって生成するものである。したがつて、分類されるクラス数が多くても、大量の係数データを格納しておくメモリを必要とせず、メモリの節約を図ることができる。

また、一般的に、クラスの分類を細かくするほど、 HD信号による画質を高めることができる。し力し、学習時のクラス分類の細かさによっては、クラス分類を細かくしても、動画、静止画、アニメーション画などの SD信号によっては、 HD信号による画質を高めることができず、却ってその出力の質を低下させるおそれがある。上述画像信号処理部 1 10 Aでは、クラス分類の細かさを決めるパラメータ Pの値を入力する構成としているので、ユーザはパラメータ Pの値を調整して HD信号による画質を最適に調整できる。

なお、図 31に示すテレビ受信機 10 OAでは、パラメータ Pの値をユーザが設定するようにしたものであるが、このパラメータ Pの値が、 SD信号から検出された所定の特徴量（動画、静止画、ァ-メーシヨン画などを区別できる）に対応して自動的に変更されるようにしてもよい。また例えば、このパラメータ Pの値が、 SD信号に付カ卩されているパラメータ Pの値を示す情報を抽出し、これに基づいて自動的に変更されるようにしてもよい。

また、図 31に示すテレビ受信機 100 Aでは、係数生成回路 136 Aで各クラスの係数データ Wiを生成して係数メモリ 134に格納し、クラス合成回路 1 26より出力されるクラスコード CLに対応した係数データ Wiをこの係数メモリ 134より読み出して使用するものであつたが、係数生成回路 136 Aでクラス合成回路 126からのクラスコード CLに対応した係数データ Wiをその都度生成し、これを推定予測演算回路 127で使用するようにしてもよい。その場合には、係数メモリ 1 34は不要となる。また、係数生成回路 136 Aにパラメ一タ Pを供給することが不要となる。

次に、情報メモリバンク 135 Aに格納される、係数種データ w_i0〜w_{i 3}の生成について説明する。図 32は、係数種データ W i。〜w_i3を求めるための係数種データ生成装置 15 OAの構成を示している。この図 32において、図 21と対応する部分には同一符号を付し、その詳細説明は省略する。

まず、図 33を使用して、この例の生成方法の概念を説明する。 HD信号から複数の SD信号を生成する。そして、 SD信号と HD信号との間で学習を行って、クラス毎に、（4) 式の推定式の係数データ Wiを生成する。そして、クラス毎に生成された係数データ W iを使用して係数種データ w i。〜 w i ₃を生成する。図 32に戻って、係数種データ生成装置 15 OAは、入力端子 151に供給される HD信号より得られる注目位置の画素データとしての各 HD画素データ yと、この各 HD画素データ yにそれぞれ対応して第 1のタップ選択回路 153で選択的に取り出される予測タップのデータ（SD画素データ） X iと、各 HD画素データ yにそれぞれ対応してクラス合成回路 159より出力されるクラスコード C とから、クラス毎に、係数データ Wi (i = l〜！ 1) を得るための正規方程式 ( (21) 式参照）を生成する正規方程式生成部 1 71 Aを有している。

また、係数種データ生成装置 15 OAは、正規方程式生成部 1 71 Aで生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データ Wiを求める係数データ決定部 172 Aと、各クラスの係数データ Wiを使用して、係数種データ W i。〜W i 3を得るための正規方程式を生成する正規方程式生成部 1 Ί 3 Αとを有している。

また、係数種データ生成装置 15 OAは、正規方程式生成部 1 73 Aで生成された正規方程式のデータが供給され、正規方程式を解いて、係数種データ w_{i 0}〜 Wi ₃を求める係数種データ決定部 1 74 Aと、この求められた係数種データ Wi。〜Wi ₃を格納する係数種メモリ 162 Aとを有している。

図 32に示す係数種データ生成装置 1 50 Aのその他は、図 21に示す係数種データ生成装置 150' と同様に構成される。

図 32に示す係数種データ生成装置 1 5 OAの動作を説明する。入力端子 15 1には教師信号としての HD信号（525 p信号または 1050 i信号）が供給され、そしてこの HD信号に対して SD信号生成回路 152で水平おょぴ垂直の間引き処理が行われて入力信号としての SD信号（525 i信号）が生成される。この場合、第 1の変換方法（図 31の画像信号処理部 1 10で 525 i信号より 525 p信号を得る）が選択される場合、 SD信号生成回路 152では 525 P信号に対して間引き処理が施されて SD信号が生成される。一方、第 2の変換方法（図 31の画像信号処理部 1 10で 525 i信号より 1050 i信号を得る）が選択される場合、 SD信号生成回路 152では 1050 i信号に対して間引き処理が施されて SD信号が生成される。

この SD信号（525 i信号）より、第 2のタップ選択回路 154で、 HD信号（525 p信号または 1050 i信号）における注目位置の周辺に位置する空間クラスタップのデータ（SD画素データ）が選択的に取り出される。この第 2 のタップ選択回路 154では、タップ選択制御回路 156より供給される、選択された変換方法、および動きクラス検出回路 1 58で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 2のタップ選択回路 154で選択的に取り出される空間クラスタップのデータ（SD画素データ）は空間クラス検出回路 1 57に供給される。この空間クラス検出回路 1 57では、空間クラスタップのデータとしての各 SD画素データに対して ADRC処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コード q iが得られる（（1) 式参照）。また、 SD信号生成回路 152で生成された SD信号より、第 3のタップ選択回路 1 55で、 HD信号における注目位置の周辺に位置する動きクラスタップのデータ（SD画素データ）が選択的に取り出される。この場合、第 3のタップ選択回路 155では、タップ選択制御回路 156より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 3のタップ選択回路 155で選択的に取り出される動きクラスタップのデータ（SD画素データ）は動きクラス検出回路 1 58に供給される。この動きクラス検出回路 1 58では、動きクラスタップのデータとしての各 SD画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報 MV が得られる。

この動き情報 MVと上述した再量子化コード q iはクラス合成回路 1 59に供給される。このクラス合成回路 1 59では、これら動き情報 MVと再量子化コード q iとから、 HD信号（525 p信号または 1050 i信号）における注目位置の画素データが属するクラスを示すクラスコード CLが得られる（（3) 式参照）。

また、 SD信号生成回路 152で生成される SD信号より、第 1のタップ選択回路 153で、 HD信号における注目位置の周辺に位置する予測タップのデータ (SD画素データ）が選択的に取り出される。この場合、第 1のタップ選択回路 1 53では、タップ選択制御回路 156より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。

そして、入力端子 1 51に供給される HD信号より得られる注目位置の画素データとしての各 HD画素データ yと、この各 HD画素データ yにそれぞれ対応して第 1のタップ選択回路 153で選択的に取り出される予測タップのデータ（S D画素データ） X iと、各 HD画素データ yにそれぞれ対応してクラス合成回路 159より出力されるクラスコード CLとから、正規方程式生成部 1 71Aでは、クラス毎に、係数データ Wi ( i = l〜n) を得るための正規方程式（（21) 式参照）が生成される。

そして、係数データ決定部 172 Aでその正規方程式が解かれ、各クラスの係数データ Wiが求められる。正規方程式生成部 1 73 Aでは、この各クラスの係数データ W iから、係数種データ Wi。〜w_{i 3}を得るための正規方程式が生成される。

そして、係数種データ決定部 1 74 Aでその正規方程式が解かれ、係数種データ Wi。〜w_{i 3}が求められ、その係数種データ Wi。〜w_{i 3}は係数種メモリ 162A に格納される。

このように、図 32に示す係数種データ生成装置 15 OAにおいては、図 31 の画像信号処理部 1 1 OAの情報メモリパンク 135 Aに格納される係数種データ Wi。〜w_i3を生成することができる。この場合、 SD信号生成回路 152では、選択された変換方法によって 525 p信号または 1050 i信号を使用して SD 信号（525 i信号）が生成されるものであり、第 1の変換方法（画像信号処理部 1 10 Aで 525 i信号より 525 p信号を得る）および第 2の変換方法（画像信号処理部 1 10 Aで 525 i信号より 1050 i信号を得る）に対応した係数種データを生成できる。

教師画像から生徒画像を生成する例を用いて、学習（係数データ、種係数データ生成を) を説明した。しかし、画像取得時に、教師画像と生徒画像を取得できる撮像装置を利用するなどして、独立して得られた教師画像、生徒画像を用いて学習を行ってもよい。

詳細説明は省略するが、係数種データ Wi。〜w_i3は、上述した図 21に対応した係数種データ生成装置で生成できる他、図 18に対応した係数種データ生成装置でも生成できる。

また、詳細説明は省略するが、図 31の画像信号処理部 1 1 OAにおける処理を、図 1の画像信号処理部 1 10における処理と同様に、図 27に示すような、画像信号処理装置 300を使用して、ソフトウェアで実現することも可能である (図 28のフローチャート参照）。

なお、上述実施の形態においては、 HD信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。

また、上述実施の形態においては、 SD信号（525 i信号）を HD信号 (5 25 p信号または 1050 i信号）に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第 1の画像信号を第 2の画像信号に変換するその他の場合にも同様に適用できることは勿論である。

また、上述実地の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。

この発明によれば、第 1の情報信号を第 2の情報信号に変換する際に使用される推定式の係数データを、所定のパラメータを含む生成式の係数データである係数種データと入力されたパラメータの値とを用いて当該生成式により生成するものであり、大量の係数データを格納しておぐメモリを必要とすることなく、任意のパラメータの値に対応した推定式の係数データを生成でき、メモリの節約を図ることができる。産業上の利用可能性

以上のように、この発明に係る情報信号処理装置、情報信号処理方法、画像信号処理装置おょぴそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、係数データ生成装置および生成方法、並びに情報提供媒体は、例えば N T S C方式のビデオ信号をハイビジョンのビデオ信号に変換する際に適用して好適なものとなる。

Claims

請求の範囲

1 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2 の情報信号に変換する情報信号処理装置であって、

予め求められた推定式で用いられる係数データを生成する所定のパラメータを含む生成式における係数データである係数種データを格納するメモリ手段と、上記パラメータの値を入力するパラメータ入力手段と、

上記メモリ手段に格納されている係数種データと上記パラメータ入力手段で入力された上記パラメータの値とを用、て上記生成式によって生成され、上記入力されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、

上記第 1の情報信号に基づいて、上記第 2の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、

上記係数データ発生手段で発生された上記係数データと上記データ選択手段で選択された上記複数の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る演算手段と

を備えることを特徴とする情報信号処理装置。

2 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2 の情報信号に変換する情報信号処理方法であって、

予め求められた推定式で用いられる係数データを生成する所定のパラメータを含む生成式における係数データである係数種データと入力された上記パラメータの値とを用いて、上記生成式により、上記パラメータの値に対応した上記推定式の係数データを生成する第 1のステップと、

上記第 1の情報信号に基づいて、上記第 2の情報信号における注目位置の周辺に位置する複数の情報データを選択する第 2のステップと、

上記第 1のステップで生成された上記係数データと上記第 2のステップで選択された上記複数の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る第 3のステップとを備えることを特徴とする情報信号処理方法。

3 . 複数の情報データからなる第 1の情報信号を複数の情報データカらなる第 2 の情報信号に変換する情報信号処理装置であつて、

上記第 1の情報信号に基づいて、上記第 2の情報信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のデータ選択手段と、上記第 1のデータ選択手段で選択された上記複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスを検出するクラス検出手段と、上記第 2の情報信号によって得られる出力の質を決めるパラメータの値を調整するパラメータ調整手段と、

上記クラス検出手段で検出されるクラス毎に予め求められた、推定式で用いられる係数データを生成する上記パラメータを含む生成式における係数データである係数種データを格納する第 1のメモリ手段と、

上記第 1のメモリ手段に格納されている係数種データと上記パラメータ調整手段で調整された上記パラメータの値とを用いて上記生成式によって生成され、上記クラス検出手段で検出されたクラスおよび上記調整されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、

上記第 1の情報信号に基づいて、上記第 2の情報信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 2のデータ選択手段と、上記係数データ発生手段で発生された上記係数データと上記第 2のデータ選択手段で選択された上記複数の第 2の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る演算手段と

を備えることを特徴とする情報信号処理装置。

4 . 上記係数データ発生手段は、

上記第 1のメモリ手段に記憶されている係数種データと上記調整されたパラメータの値とを用い、上記生成式により、上記クラス検出手段で検出されるクラス毎に上記推定式の係数データを生成する係数データ生成手段と、

上記係数データ生成手段で生成された各クラスにおける上記推定式の係数データを格納する第 2のメモリ手段と、

上記第 2のメモリ手段より上記クラス検出手段で検出されたクラスに対応した上記推定式の係数データを読み出して出力する係数データ読み出し手段とを有してなることを特徴とする請求項 3に記載の情報信号処理装置。

5 . 上記係数データ発生手段で発生される上記推定式の係数データの総和を求める加算手段と、

上記演算手段で得られた上記注目位置の情報データを上記総和で除算して正規化する正規化手段とをさらに備える

ことを特徴とする請求の範囲第 3項に記載の情報信号処理装置。

6 . 上記パラメータ調整手段は、

上記パラメータの調整位置を表示する表示手段と、

上記表示手段の表示を参照して上記パラメータの値を調整するユーザ操作手段とを有してなる

7 . 複数の画素データからなる第 1の画像信号を複数の画素データからなる第 2 の画像信号に変換する画像信号処理装置であつて、

上記第 1の画像信号に基づいて、上記第 2の画像信号における注目位置の周辺に位置する複数の第 1の画素データを選択する第 1のデータ選択手段と、上記第 1のデータ選択手段で選択された上記複数の第 1の画素データに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段と、上記第 2の画像信号によって得られる画像の画質を決めるパラメータの値を調整するパラメータ調整手段と、

上記クラス検出手段で検出されるクラス毎に予め求められた、推定式で用いられる係数データを生成する上記パラメータを含む生成式における係数データである係数種データを格納するメモリ手段と、

上記メモリ手段に格納されている係数種データと上記パラメータ調整手段で調整された上記パラメータの値とを用いて上記生成式によつて生成され、上記クラス検出手段で検出されたクラスおょぴ上記調整されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、

上記第 1の画像信号に基づいて、上記第 2の画像信号における注目位置の周辺に位置する複数の第 2の画素データを選択する第 2のデータ選択手段と、

上記係数データ発生手段で発生された上記係数データと上記第 2のデータ選択手段で選択された上記複数の第 2の画素データとを用いて、上記推定式に基づ 1ヽて上記注目位置の画素データを算出して得る演算手段と

を備えることを特徴とする画像信号処理装置。

8 . 複数の画素データからなる第 1の画像信号を入力する画像信号入力手段と、上記画像信号入力手段より入力された上記第 1の画像信号を複数の画素データからなる第 2の画像信号に変換して出力する画像信号処理手段と、

上記画像信号処理手段より出力される上記第 2の画像信号による画像を画像表示素子に表示する画像表示手段と、

上記画像表示素子に表示される上記画像の画質を決めるパラメータの値を調整するパラメータ調整手段とを有してなり、

上記画像信号処理手段は、

上記第 1の画像信号に基づいて、上記第 2の画像信号における注目位置の周辺に位置する複数の第 1の画素データを選択する第 1のデータ選択手段と、

上記第 1のデータ選択手段で選択された上記複数の第 1の画素データに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段と、上記クラス検出手段で検出されるクラス毎に予め求められた、推定式で用いられる係数データを生成する上記パラメータを含む生成式における係数データである係数種データを格納する第 1のメモリ手段と、

上記第 1のメモリ手段に格納されている係数種データと上記パラメータ調整手段で調整された上記パラメータの値とを用いて上記生成式によって生成され、上記クラス検出手段で検出されたクラスおょぴ上記パラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、上記第 1の画像信号に基づいて、上記第 2の画像信号における注目位置の周辺に位置する複数の第 2の画素データを選択する第 2のデータ選択手段と、上記係数データ発生手段で発生された上記係数データと上記第 2のデータ選択手段で選択された上記複数の第 2の画素データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出して得る演算手段とを備える

ことを特徴とする画像表示装置。

9 . 上記係数データ発生手段は、

上記第 1のメモリ手段に格納されている係数種データと上記パラメータの値とを用い、上記生成式により、上記クラス検出手段で検出されるクラス毎に上記推定式の係数データを生成する係数データ生成手段と、

上記第 2のメモリ手段より上記クラス検出手段で検出されたクラスに対応した上記推定式の係数データを読み出して出力する係数データ読み出し手段とを有してなることを特徴とする請求の範囲第 8項に記載の画像表示装置。

1 0 . 上記画像信号処理手段は、

上記係数データ発生手段で発生される上記推定式の係数データめ総和を求める加算手段と、

上記演算手段で得られた上記注目位置の画素データを上記総和で除算して正規化する正規化手段とをさらに備える

ことを特徴とする請求の範囲第 8項に記載の画像表示装置。

1 1 . 上記パラメータ調整手段は、

上記パラメータの調整位置を上記画像表示素子に表示する表示制御手段と、上記画像表示素子に表示される上記パラメータの調整位置を参照して上記パラメータの値を調整するユーザ操作手段と

を有してなることを特徴とする請求の範囲第 8項に記載の画像表示装置。

1 2 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する情報信号処理方法であって、

上記第 1の情報信号に基づいて、上記第 2の情報信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のステップと、

上記第 1のステップで選択された上記複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスを検出する第 2のステップと、

上記第 2の情報信号によって得られる出力の質を決めるパラメータの値を調整する第 3のステップと、

上記第 2のステップで検出されるクラス毎に予め求められた、推定式で用いられる係数データを生成する上記パラメータを含む生成式における係数データである係数種データと上記第 3のステツプで調整された上記パラメータの値とを用いて、上記生成式により、上記第 2のステップで検出されたクラスおょぴ上記調整されたパラメータの値に対応した上記推定式の係数データを生成する第 4のステップと、

上記第 1の情報信号に基づいて、上記第 2の情報信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 5のステップと、

上記第 4のステップで生成された上記係数データと上記第 5のステップで選択された上記複数の第 2の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る第 6のステップと

を備えることを特徴する情報信号処理方法。

1 3 . 上記第 4のステップでは、

上記第 2のステツプで検出されるクラス毎に予め求められた推定式で用いられる係数データを生成するための生成式における係数データである係数種データと上記第 3のステツプで調整された上記パラメータの値とを用いて、上記生成式により、上記クラス毎に上記推定式の係数データを生成するステップと、

上記生成された各クラスにおける上記推定式の係数データをメモリ手段に格納するステップと、上記メモリ手段より上記第 2のステツプで検出されたクラスに対応した上記推定式の係数データを読み出して出力するステップとを有する

ことを特徴とする請求の範囲第 1 2項に記載の情報信号処理方法。

1 4 . 上記第 4のステップで発生される上記推定式の係数データの総和を求める第 7のステップと、

上記第 6のステップで得られた上記注目位置の情報データを上記第 7のステツプで求められた上記総和で除算して正規化する第 8のステップとをさらに備えることを特徴とする請求の範囲第 1 2項に記載の情報信号処理方法。

1 5 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換するために、

上記第 2のステップで検出されるクラス毎に予め求められた、推定式で用いられる係数データを生成する上記パラメータを含む生成式における係数データである係数種データと上記第 3のステツプで調整された上記パラメータの値とを用いて、上記生成式により、上記第 2のステップで検出されたクラスおょぴ上記パラメータの値に対応した上記推定式の係数データを生成する第 4のステップと、上記第 1の情報信号に基づいて、上記第 2の情報信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 5のステップと、

上記第 4のステップで生成された上記係数データと上記第 5のステツプで選択された上記複数の第 2の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る第 6のステップと

を実行するためのコンピュータプログラムを提供する情報提供媒体。

1 6 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する情報信号処理装置であって、

上記第 1の情報信号に基づいて、上記第 2の情報信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のデータ選択手段と、上記第 1のデータ選択手段で選択された上記複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスを検出するクラス検出手段と、上記クラス検出手段で検出されるクラスに対応したパラメータを持ち、推定式で用いられる係数データを生成する生成式における係数データである係数種データを格納する第 1のメモリ手段と、

上記第 1のメモリ手段に格納されている係数種データと上記クラス検出手段で検出されるクラスの値とを用いて上記生成式によって生成され、上記クラス検出手段で検出されたクラスの値に対応した上記推定式の係数データを発生する係数データ発生手段と、

を備えることを特徴とする情報信号処理装置。

1 7 . 上記クラス検出手段に上記クラス分類の細かさを決めるパラメータの値を入力するパラメータ入力手段をさらに備える

ことを特徴とする請求の範囲第 1 6項に記載の情報信号処理装置。

1 8 . 上記係数データ発生手段は、

上記第 1のメモリ手段に格納されている係数種データと上記入力されたパラメータの値とを用い、上記生成式により、上記クラス検出手段で検出されるクラス毎に上記推定式の係数データを生成する係数データ生成手段と、上記係数データ生成手段で生成された各クラスにおける上記推定式の係数データを格納する第 2のメモリ手段と、

上記第 2のメモリ手段より上記クラス検出手段で検出されたクラスに対応した上記推定式の係数データを読み出して出力する係数データ読み出し手段と

を有してなることを特徴とする請求の範囲第 1 7項に記載の情報信号処理装置。

1 9 . 上記係数データ発生手段で発生される上記推定式の係数データの総和を求める加算手段と、

2 0 . 上記パラメータ入力手段は、

上記パラメータの値を表示する表示手段と、

ことを特徴とする請求の範囲第 1 7項に記載の情報信号処理装置。

2 1 . 上記パラメータ入力手段は、

上記第 1の情報信号から所定の特徴量を検出する特徴量検出手段を有し、上記特徴量検出手段で検出された上記所定の特徴量に対応したパラメ一タの値を入力する

2 2 . 上記パラメータ入力手段は、

上記第 1の情報信号に含まれる上記パラメータの値の情報を抽出する情報抽出手段を有し、

上記情報抽出手段で抽出された情報で示されたパラメータの値を入力することを特徴とする請求の範囲第 1 7項に記載の情報信号処理装置。

2 3 . 複数の画素データからなる第 1の画像信号を複数の画素データからなる第' 2の画像信号に変換する画像信号処理装置であって、

上記第 1のデータ選択手段で選択された上記複数の第 1の画素データに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段と、上記クラス検出手段で検出されるクラスに対応したパラメータを持ち、推定式で用いられる係数データを生成する生成式における係数データである係数種データを格納するメモリ手段と、

上記メモリ手段に記憶されている係数種データと上記クラス検出手段で検出されるクラスの値とを用いて上記生成式によって生成され、上記クラス検出手段で検出されたクラスの値に対応した上記推定式の係数データを発生する係数データ発生手段と、

上記係数データ発生手段で発生された上記係数データと上記第 2のデータ選択手段で選択された上記複数の第 2の画素データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出して得る演算手段と

を備えることを特徴とする画像信号処理装置。

2 4 . 複数の画素データからなる第 2の画像信号を入力する画像信号入力手段と、上記画像信号入力手段で入力された上記第 1の画像信号を複数の画素データからなる第 2の画像信号に変換して出力する画像信号処理手段と、

上記画像信号処理手段から出力される上記第 2の画像信号による画像を画像表示装置に表示する画像表示手段とを有してなり、

上記画像信号処理手段は、

上記第 1の画像信号に基づいて、上記第 2の画像信号における注目位置の周辺に位置する複数の第 1の画素データを選択する第 1のデータ選択手段と、上記第 1のデータ選択手段で選択された上記複数の第 1の画素データに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段と、上記クラス検出手段で検出されるクラスに対応したパラメータを持ち、推定式で用いられる係数データを生成する生成式における係数データである係数種データを格納する第 1のメモリ手段と、

上記第 1の画像信号に基づいて、上記第 2の画像信号における注目位置の周辺に位置する複数の第 2の画素データを選択する第 2のデータ選択手段と、上記係数データ発生手段で発生された上記係数データと上記第 2のデータ選択手段で選択された上記複数の第 2の画素データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出して得る演算手段とを備える

ことを特徴とする画像表示装置。

2 5 . 上記クラス検出手段に上記クラス分類の細かさを決めるパラメータの値を入力するパラメータ入力手段をさらに備える

ことを特徴とする請求の範囲第 2 4項に記載の画像表示装置。

2 6 . 上記係数データ発生手段は、

上記第 1のメモリ手段に記憶されている係数種データと上記入力されたパラメータの値とを用い、上記生成式により、上記クラス検出手段で検出されるクラス毎に上記推定式の係数データを生成する係数データ生成手段と、

上記第 2のメモリ手段より上記クラス検出手段で検出されたクラスに対応した上記推定式の係数データを読み出して出力する係数データ読み出し手段とを有してなることを特徴とする請求の範囲第 2 5項に記載の画像表示装置。

2 7 . 上記係数データ発生手段で発生される上記推定式の係数データの総和を求める加算手段と、

2 8 . 上記パラメータ入力手段は、

上記パラメ一タの値を上記画像表示素子に表示する表示制御手段と、上記画像表示素子に表示を参照して上記パラメータの値を調整するユーザ操作手段とを有してなる

ことを特徴とする請求の範囲第 2 5項に記載の画像表示装置。

2 9 . 上記パラメータ入力手段は、

上記第 1の画像信号から所定の特徴量を検出する特徴量検出手段を有し、上記特徴量検出手段で検出された上記所定の特徴量に対応したパラメータの値を入力する

3 0 . 上記パラメータ入力手段は、

上記第 1の画像信号に含まれる上記パラメータの値の情報を抽出する情報抽出手段を有し、

上記情報抽出手段で抽出された情報で示されたパラメータの値を入力することを特徴とする請求の範囲第 2 5項に記載の画像表示装置。

3 1 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する情報信号処理方法であって、

上記第 1の情報信号に基づいて、上記第 2の情報信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第：上記第 1のステップで選択された上記複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスを検出する第 2のステップと、

上記第 2のステップで検出されるクラスに対応したパラメータを持ち、推定式で用いられる係数データを生成する生成式における係数データである係数種データを用いて、上記生成式により、上記第 2のステップで検出されたクラスの値に対応した上記推定式の係数データを生成する第 3のステップと、

上記第 1の情報信号に基づいて、上記第 2の情報信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 4のステップと、

上記第 3のステップで生成された上記係数データと上記第 4のステップで選択された上記複数の第 2の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る第 5のステップと

を備えることを特徴とする情報信号処理方法。

3 2 . 上記第 2のステップで検出される上記クラスの分類の細かさを決めるパラメータの値を入力する第 6のステップをさらに備える

ことを特徴とする請求の範囲第 3 1項に記載の情報信号処理方法。

3 3 . 上記第 3のステップでは、

上記係数種データと上記第 6のステツプで入力された上記パラメータの値とを用いて、上記生成式により、上記第 2のステップで検出されるクラス毎に上記推定式の係数データを生成するステップと、

上記生成された各クラスにおける上記推定式の係数データをメモリ手段に格納上記メモリ手段より上記第 2のステツプで検出されたクラスに対応した上記推定式の係数データを読み出して出力するステップとを有する

ことを特徴とする請求の範囲第 3 2項に記載の情報信号処理方法。

3 4 . 上記第 3のステップで発生される上記推定式の係数データの総和を求める第 7 上記第 5のステツプで得られた上記注目位置の情報データを上記第 7のステツプで求められた上記総和で除算して正規化する第 8のステップとをさらに備えることを特徴とする請求の範囲第 3 1項に記載の情報信号処理方法。

3 5 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換するために、

上記第 2のステップで検出されるクラスに対応したパラメータを持ち、推定式の係数データを用いて、上記生成式により、上記第 2のステップで検出されたクラスの値に対応した上記推定式の係数データを生成する第 3のステップと、上記第 1の情報信号に基づいて、上記第 2の情報信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 4のステップと、

上記第 3のステツプで生成された上記係数データと上記第 4のステツプで選択された上記複数の第 2の情報データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出して得る第 5のステップと

を実行するコンピュータプログラムを提供する情報提供媒体。

3 6 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成するための生成式における係数データである係数種データを生成する装置であって、上記第 1の情報信号に対応する入力信号を得る信号処理手段と、

上記生成式に含まれるパラメータに対応し、上記入力信号によって得られる出力の質を決めるパラメータの値を調整するパラメータ調整手段と、

上記入力信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 1のデータ選択手段と、

上記第 1のデータ選択手段で選択された上記複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスを検出するクラス検出手段と、上記入力信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 2のデータ選択手段と、

上記クラス検出手段で検出されたクラス、上記第 2のデータ選択手段で選択された上記複数の第 2の情報データおよび上記教師信号における注目位置の情報データを用いて、クラス毎に、上記係数種データを得るための正規方程式を生成する正規方程式生成手段と、

上記正規方程式を解いて上記クラス毎に上記係数種データを得る係数種データ演算手段と

を備えることを特徴とする係数種データ生成装置。

3 7 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成するための生成式における係数データである係数種データを生成する方法であって、上記第 1の情報信号に対応する入力信号を得る第 1のステップと、

上記生成式に含まれるパラメータに対応し、上記入力信号によって得られる出力の質を決めるパラメータの値を調整する第 2のステップと、

上記入力信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 3のステップと、

上記第 3のステップで選択された上記複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスを検出する第 4のステップと、

上記入力信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 5のステップと、

上記第 4のステップで検出されたクラス、上記第 5のステツプで選択された上記複数の第 2の情報データおよび上記教師信号における注目位置の情報データを用いて、クラス毎に、上記係数種データを得るための正規方程式を生成する第 6 上記正規方程式を解いて上記クラス毎に係数種データを得る第 7のステップとを備えることを特徴とする係数種データ生成方法。

3 8 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成するための生成式における係数データである係数種データを生成するために、上記第 1の情報信号に対応する入力信号を得る第 1のステップと、

上記第 4のステップで検出されたクラス、上記第 5のステツプで選択された上記複数の第 2の情報データおょぴ上記教師信号における注目位置の情報データを用いて、クラス毎に、上記係数種データを得るための正規方程式を生成する第 6 上記正規方程式を解いて上記クラス毎に係数種データを得る第 7のステップとを実行するためのコンピュータプログラムを提供する情報提供媒体。

3 9 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成するための生成式における係数データである係数種データを生成する装置であって、上記第 1の情報信号に対応する入力信号を得る信号処理手段と、

上記クラス検出手段で検出されたクラス、上記第 2のデータ選択手段で選択された上記複数の第 2の情報データおよび上記教師信号における注目位置の情報データを用いて、上記クラス検出手段で検出されるクラスおよび上記パラメータ調整手段で調整されるパラメータの値の組み合わせ毎に上記推定式の係数データを得るための第 1の正規方程式を生成する第 1の正規方程式生成手段と、

上記第 1の正規方程式を解いて、上記組み合わせ毎に上記推定式の係数データを得る係数データ演算手段と、

上記係数データ演算手段で得られた上記組み合わせ毎の係数データを用いて、クラス毎に、上記係数種データを得るための第 2の正規方程式を生成する第 2の正規方程式生成手段と、

上記第 2の正規方程式を解いて、上記クラス毎に上記係数種データを得る係数種データ演算手段と

を備えることを特徴とする係数種データ生成装置。

4 0 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成するための生成式における係数データである係数種データを生成する方法であつて、上記第 1の情報信号に対応する入力信号を得る第 1のステップと、

上記入力信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 5 上記第 4のステップで検出されたクラス、上記第 5のステツプで選択された上記複数の第 2の情報データおょぴ上記教師信号における注目位置の情報データを用いて、クラスおょぴパラメータの値の組み合わせ毎に上記推定式の係数データを得るための第 1の正規方程式を生成する第 6のステップと、

上記第 1の正規方程式を解いて、上記組み合わせ毎に上記推定式の係数データを得る第 7のステップと、

上記第 7のステップで得られた上記組み合わせ毎の係数データを用いて、クラス毎に、上記係数種データを得るための第 2の正規方程式を生成する第 8のステップと、

上記第 2の正規方程式を解いて、上記クラス毎に上記係数種データを得る第 9 を備えることを特徴とする係数種データ生成方法。

4 1 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成するための生成式における係数データである係数種データを生成するために、上記第 1の情報信号に対応する入力信号を得る第 1のステップと、

上記第 4のステツプで検出されたクラス、上記第 5のステツプで選択された上記複数の第 2の情報データおよぴ上記教師信号における注目位置の情報データを用いて、クラスおよびパラメータの値の組み合わせ毎に上記推定式の係数データを得るための第 1の正規方程式を生成する第 6のステップと、上記第 1の正規方程式を解いて、上記組み合わせ毎に上記推定式の係数データを得る第 7のステップと、

上記第 7のステップで得られた上記組み合わせ毎の係数データを用いて、クラス毎に上記係数種データを得るための第 2の正規方程式を生成する第 8のステツプと、

上記第 2の正規方程式を解いて、上記クラス毎に上記係数種データを得る第 9 を実行するためのコンピュータプログラムを提供する情報提供媒体。

4 2 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する、上記第 2の情報信号に対応した教師信号における注目位置の情報データが属するクラスに対応したパラメータを持つ生成式における係数データである係数種データを生成する装置であって、

上記第 1の情報信号に対応する入力信号を得る信号処理手段と、

上記クラス検出手段で検出されたクラス、上記第 2のデータ選択手段で選択された上記複数の第 2の情報データおよぴ上記教師信号における注目位置の情報データを用いて、上記係数種データを得るための正規方程式を生成する正規方程式生成手段と、

上記正規方程式を解いて上記係数種データを得る係数種データ演算手段とを備えることを特徴とする係数種データ生成装置。

4 3 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する、上記第 2の情報信号に対応した教師信号における注目位置の情報データが属するクラスに対応したパラメータを持つ生成式における係数データである係数種データを生成する方法であって、

上記第 1の情報信号に対応する入力信号を得る第 1のステップと、

上記入力信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の第 1の情報データを選択する第 2のステップと、

上記第 2のステップで選択された上記複数の第 1の情報データに基づいて、上記注目位置の情報データが属するクラスを検出する第 3のステップと、

上記入力信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 4のステップと、

上記第 3のステツプで検出されたクラス、上記第 4のステツプで選択された上記複数の第 2の情報データおよぴ上記教師信号における注目位置の情報データを用いて、上記係数種データを得るための正規方程式を生成する第 5のステップと、上記正規方程式を解いて上記係数種データを得る第 6のステップと

を備えることを特徴とする係数種データ生成方法。

4 4 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する、上記第 2の情報信号に対応した教師信号における注目位置の情報データが属するクラスに対応したパラメータを持つ生成式における係数データである係数種データを生成するために、

上記入力信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の第 2の情報データを選択する第 4のステップと、上記第 3のステツプで検出されたクラス、上記第 4のステツプで選択された上記複数の第 2の情報データおよび上記教師信号における注目位置の情報データを用いて、上記係数種データを得るための正規方程式を生成する第 5のステップと、上記正規方程式を解レ、て上記係数種データを得る第 6のステップと

4 5 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する、上記第 2の情報信号に対応した教師信号における注目位置の情報データが属するクラスに対応したパラメータを持つ生成式における係数データである係数種データを生成する装置であって、

上記クラス検出手段で検出されたクラス、上記第 2のデータ選択手段で選択された上記複数の第 2の情報データおよび上記教師信号における注目位置の情報データを用いて、上記クラス検出手段で検出されるクラス毎に上記推定式の係数データを得るための第 1の正規方程式を生成する第 1の正規方程式生成手段と、上記第 1の正規方程式を解いて、上記クラス毎に上記推定式の係数データを得る係数データ演算手段と、

上記係数データ演算手段で得られた上記クラス毎の係数データを用いて、上記係数種データを得るための第 2の正規方程式を生成する第 2の正規方程式生成手段と、

上記第 2の正規方程式を解いて、上記係数種データを得る係数種データ演算手段とを備えることを特徴とする係数種データ生成装置。

4 6 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する、上記第 2の情報信号に対応した教師信号における注目位置の情報データが属するクラスに対したパラメータを持つ生成式における係数データである係数種データを生成する方法であって、

上記第 3のステツプで検出されたクラス、上記第 4のステツプで選択された上記複数の第 2の情報データおよび上記教師信号における注目位置の情報データを用いて、クラス毎に上記推定式の係数データを得るための第 1の正規方程式を生成する第 5のステップと、

上記第 1の正規方程式を解いて、上記クラス毎に上記推定式の係数データを得る第 6のステップと、

上記第 6のステップで得られた上記クラス毎の係数データを用いて、上記係数種データを得るための第 2の正規方程式を生成する第 7のステップと、

上記第 2の正規方程式を解いて、上記係数種データを得る第 8のステップとを備えることを特徴とする係数種データ生成方法。

4 7 . 複数の情報データからなる第 1の情報信号を複数の情報データからなる第 2の情報信号に変換する際に使用される推定式で用いられる係数データを生成する、上記第 2の情報信号に対応した教師信号における注目位置の情報データが属するクラスに対したパラメータを持つ生成式における係数データである係数種データを生成するために、

上記第 3のステップで検出されたクラス、上記第 4のステツプで選択された上記複数の第 2の情報データおよぴ上記教師信号における注目位置の情報データを用いて、クラス毎に上記推定式の係数データを得るための第 1の正規方程式を生成する第 5のステップと、

上記第 6のステツプで得られた上記クラス毎の係数データを用いて、上記係数種データを得るための第 2の正規方程式を生成する第 7のステップと、

上記第 2の正規方程式を解いて、上記係数種データを得る第 8のステップとを実行するためのコンピュータプログラムを提供する情報提供媒体。