JP4055655B2 - 係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データまたはこの係数データを生成するための生成式における係数データである係数種データ（係数データ等）であって、複数個の特徴量のうち任意の一個または複数個の特徴量からなる対象クラス構成における各クラスの係数データ等を、複数個の特徴量の全てからなる基本クラス構成における各クラスの係数データ等をそれぞれ算出するための正規方程式を用意しておき、対象クラス構成が含む特徴量だけ見て、それが同じになる基本クラス構成におけるクラスの正規方程式に基づき、対象クラス構成における各クラスの係数データ等をそれぞれ算出する正規方程式を生成して求めることによって、一回だけの学習で任意のクラス構成における各クラスの係数データ等を効率よく生成できるようにした係数生成装置等に係るものである。
【０００３】
また、この発明は、第１の情報信号を第２の情報信号に変換する際に、この第２の情報信号における注目位置の情報データをクラス分類して生成するために用いられるクラス構成を、ｎ個（ｎは整数）の特徴量からｒ個（ｒは整数であって、ｒ＜ｎ）の特徴量を選択して得るものにあって、既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成する動作と、そしてこの（ｎ−ｉ）個のクラス構成の中から任意の評価値を使って最適なクラス構成を選ぶ動作とを、選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、ｉを０からｒ−１まで順次変化させて繰り返し、ｒ個の特徴量からなるクラス構成を得ることによって、人間の経験に頼ることなく、最適なクラス構成を短時間で得ることができるようにしたクラス構成生成装置等に係るものである。
【０００４】
また、この発明は、第１の情報信号を第２の情報信号に変換する際に、この第２の情報信号における注目位置の情報データをクラス分類して生成するものであって、そのために用いられるクラス構成はｎ個（ｎは整数）の特徴量から選択されたｒ個（ｒは整数であって、ｒ＜ｎ）の特徴量からなり、このｒ個の特徴量を、既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成する動作と、そしてこの（ｎ−ｉ）個のクラス構成の中から任意の評価値を使って最適なクラス構成を選ぶ動作とを、選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、ｉを０からｒ−１まで順次変化させて繰り返すことで得られたものとすることによって、最適なクラス構成によるクラス分類を伴う変換処理を行って、第１の情報信号から第２の情報信号に変換できるようにした情報信号処理装置に係るものである。
【０００５】
【従来の技術】
近年において、画像信号や音声信号の解像度あるいはサンプリング周波数などを向上させる技術が種々提案されている。例えば、標準あるいは低解像度に相当する標準テレビジョン信号から、高解像度のいわゆるＨＤＴＶ信号にアップコンバージョンを行う場合や、サブサンプル補間を行う場合には、従来の線形補間による手法よりも、クラス分類を伴う変換処理を行う方が、性能的に良好な結果が得られることが知られている（特許文献１、特許文献２参照）。
【０００６】
このクラス分類を伴う変換処理とは、例えば、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する場合に、ＨＤ信号の注目位置の画素データが属する、所定のクラス構成におけるクラスを検出し、このクラスに対応した推定式の係数データを用い、当該推定式に基づいて、ＳＤ信号の複数の画素データから、ＨＤ信号の注目位置の画素データを生成するものである。そして、このクラス分類を伴う変換処理で使用される推定式の係数データは、予めクラス毎に最小二乗法等の学習によって決定される。
【０００７】
【特許文献１】
特開平７−９５５９１号公報
【特許文献２】
特開２０００−５９７４０号公報
【０００８】
【発明が解決しようとする課題】
ところで、上述したクラス分類を伴う変換処理を行うためには、クラス分類を行うためのクラス構成（特徴量の組み合わせ）を決めなければならない。このとき使う特徴量が多い程一般的に性能は良くなるが、その代わり係数データあるいはこの係数データを生成するための生成式の係数データである係数種データのデータ量が膨大になったり、その計算時間が膨大になったりする。そこで、適切なクラス構成を決めることが重要になる。
【０００９】
従来は、このクラス構成を決めるためには、人間がそれまでの経験からいくつかのクラス構成の候補を考えて、クラス構成毎に別々に学習を行って、その結果を見て、その中から一番良いと思われるクラス構成を選ばなければならなかった。そのため、人間の経験に頼らなくてはならず、またクラス構成を変更する度に学習をやり直さなくてはならないので、膨大な時間がかかっていた。
【００１０】
この発明の目的は、一回だけの学習で任意のクラス構成における各クラスの係数データ等を効率よく生成することにある。また、この発明の他の目的は、人間の経験に頼ることなく、最適なクラス構成を短時間で得ることにある。また、この発明の別な目的は、最適なクラス構成によるクラス分類を伴う変換処理を行って第１の情報信号から第２の情報信号に変換することにある。
【００１１】
【課題を解決するための手段】
この発明に係る係数生成装置は、複数の情報データからなる第１の情報信号を、第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データ、または該係数データを生成するための生成式における係数データである係数種データを生成する装置であって、第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく複数個の特徴量からなる基本クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式を記憶しておく記憶手段と、複数個の特徴量のうち、選択された任意の一個または複数個の特徴量からなる対象クラス構成が含む特徴量だけを見て、それが同じになる基本クラス構成におけるクラスの、記憶手段に記憶されている正規方程式を用いて、対象クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式を生成する正規方程式生成手段と、正規方程式生成手段で生成された、対象クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式をそれぞれ解いて、該各クラスの係数データまたは係数種データを求める演算手段とを備え、複数個の特徴量は、少なくとも複数の画素それぞれの画素値特徴量であることを特徴とするものである。
【００１２】
この発明に係る係数生成方法は、複数の情報データからなる第１の情報信号を、第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データ、または該係数データを生成するための生成式における係数データである係数種データを生成する方法であって、第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく複数個の特徴量の全てからなる基本クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式が用意され、複数個の特徴量のうち、選択された任意の一個または複数個の特徴量からなる対象クラス構成が含む特徴量だけを見て、それが同じになる基本クラス構成におけるクラスの正規方程式を用いて、対象クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式を生成する工程と、生成された、対象クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式をそれぞれ解いて、該各クラスの係数データまたは係数種データを求める工程とを備え、複数個の特徴量は、少なくとも複数の画素それぞれの画素値特徴量であることを特徴とするものである。
【００１３】
また、この発明に係るプログラムは、上述の係数生成方法をコンピュータに実行させるためのものである。
【００１４】
この発明においては、複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データまたはこの係数データを生成するための生成式における係数データである係数種データ（係数データ等）が生成される。ここで、情報信号は、例えば画像信号や音声信号である。
【００１５】
複数個の特徴量の全てからなる基本クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式が用意される。この正規方程式は、予めクラス毎に学習によって得られる。そして、複数個の特徴量のうち任意の一個または複数個の特徴量からなる対象クラス構成の情報に基づき、この対象クラス構成が含む特徴量だけを見て、それが同じになる基本クラス構成におけるクラスの正規方程式に基づき、対象クラス構成における各クラスの係数データ等をそれぞれ算出するための正規方程式が生成される。
【００１６】
この場合、例えば、対象クラス構成の情報に基づき、対象クラス構成が含む特徴量だけを見て、それが同じになる基本クラス構成におけるクラスを検出することで、対象クラス構成における各クラスにそれぞれ対応した基本クラス構成におけるクラスが検出される。そして、この検出された対象クラス構成における各クラスに対応した基本クラス構成におけるクラスの正規方程式を、クラス毎に足し合わせて、対象クラス構成における各クラスの係数データ等をそれぞれ算出するための正規方程式が得られる。
【００１７】
またこの場合、基本クラス構成にｎ個の特徴量が含まれ、この基本クラス構成における各クラスが、それぞれの特徴量を１ビットで表したｎビットデータで示されるときは、対象クラス構成に含まれる特徴量に対応するビットを“１”としたｎビットのマスクビットパターンデータが生成され、基本クラス構成における各クラスを示すｎビットデータおよびこのマスクビットパターンデータのビット毎の論理積を計算し、計算結果が同じビットパターンとなった基本クラス構成におけるクラスを同じ分類として、対象クラス構成における各クラスにそれぞれ対応した基本クラス構成におけるクラスが検出される。
【００１８】
上述したように生成された、対象クラス構成における各クラスの係数データ等をそれぞれ算出するための正規方程式がそれぞれ解かれ、対象クラス構成における各クラスの係数データ等が求められる。
【００１９】
このように、この発明は、複数個の特徴量のうち任意の一個または複数個の特徴量からなる対象クラス構成における各クラスの係数データ等を、複数個の特徴量の全てからなる基本クラス構成における各クラスの係数データ等をそれぞれ算出するための正規方程式を用意しておき、対象クラス構成が含む特徴量だけ見て、それが同じになる基本クラス構成におけるクラスの正規方程式を足し合わせて、対象クラス構成における各クラスの係数データ等をそれぞれ算出する正規方程式を生成して求めるものであり、一回だけの学習で任意のクラス構成における各クラスの係数データ等を効率よく生成できる。
【００２０】
この発明に係るクラス構成生成装置は、複数の情報データからなる第１の情報信号を、第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する際に第２の情報信号における注目位置の情報データをクラス分類して生成するために用いられるクラス構成を、ｎ個（ｎは整数）の第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく特徴量からｒ個（ｒは整数であって、ｒ＜ｎ）の該特徴量を選択して得るクラス構成生成装置であって、既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成するクラス構成生成手段と、クラス構成生成手段で生成された（ｎ−ｉ）個の生成クラス構成の中から任意の評価値を使って最適なクラス構成を選ぶクラス構成選択手段とを備え、特徴量は、少なくとも複数の画素それぞれの画素値特徴量であり、クラス構成選択手段で選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、クラス構成生成手段およびクラス構成選択手段の動作をｉを０からｒ−１まで順次変化させて繰り返し、ｒ個の特徴量からなるクラス構成を得るものである。
【００２１】
この発明に係るクラス構成生成方法は、複数の情報データからなる第１の情報信号を、第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する際に第２の情報信号における注目位置の情報データをクラス分類して生成するために用いられるクラス構成を、ｎ個（ｎは整数）の第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく特徴量からｒ個（ｒは整数であって、ｒ＜ｎ）の該特徴量を選択して得るクラス構成生成方法であって、既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成するクラス構成生成工程と、クラス構成生成工程で生成された（ｎ−ｉ）個の生成クラス構成の中から任意の評価値を使って最適なクラス構成を選ぶクラス構成選択工程とを備え、特徴量は、少なくとも複数の画素それぞれの画素値特徴量であり、クラス構成選択工程で選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、クラス構成生成工程およびクラス構成選択工程の動作をｉを０からｒ−１まで順次変化させて繰り返し、ｒ個の特徴量からなるクラス構成を得るものである。
【００２２】
また、この発明に係るプログラムは、上述のクラス構成生成方法をコンピュータに実行させるためのものである。
【００２３】
この発明においては、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に第２の情報信号における注目位置の情報データをクラス分類して生成するために用いられるクラス構成が、ｎ個の特徴量からｒ個の特徴量が選択されることで得られる。
【００２４】
既に選ばれているｉ個の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成する動作と、この（ｎ−ｉ）個の生成クラス構成の中から任意の評価値を使って最適なクラス構成を選ぶ動作とを、選ばれたクラス構成で使われた特徴を既に選ばれた特徴量とし、ｉを０からｒ−１まで順次変化させて繰り返し、ｒ個の特徴量からなるクラス構成が得られる。
【００２５】
第２の情報信号における注目位置の情報データは、この注目位置の情報データが属するクラスに対応した推定式の係数データを用い、この推定式に基づいて生成される。例えば、最適なクラス構成の選択は以下のように行われる。
【００２６】
すなわち、（ｎ−ｉ）個の生成クラス構成のそれぞれにおける各クラスの係数データが生成される。そして、クラス構成毎に、その生成された係数データを用いて、第２の情報信号に対応した評価用情報信号から作成された、第１の情報信号に対応した情報信号が、第２の情報信号に対応した情報信号に変換される。そして、クラス構成毎に、この変換されて得られた情報信号と評価用情報信号との情報データ毎の差に基づく評価値が求められる。そして、この各クラス構成の評価値に基づいて最適なクラス構成が選ばれる。
【００２７】
この場合、（ｎ−ｉ）個の生成クラス構成のそれぞれにおける各クラスの係数データを得る際に、上述したように複数個の特徴量の全てからなる基本クラス構成における各クラスの係数データ等をそれぞれ算出するための正規方程式を利用する係数生成装置あるいは方法を用いることで、（ｎ−ｉ）個の生成クラス構成のそれぞれにおける各クラスの係数データ等を一回だけの学習のみで得ることができ、処理の効率化を図ることができる。
【００２８】
このように、この発明は、既に選ばれているｉ個の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成する動作と、そしてこの（ｎ−ｉ）個のクラス構成の中から任意の評価値を使って最適なクラス構成を選ぶ動作とを、選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、ｉを０からｒ−１まで順次変化させて繰り返し、ｒ個の特徴量からなるクラス構成を得るものであり、人間の経験に頼ることなく、最適なクラス構成を短時間で得ることができる。
【００２９】
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を、第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、第１の情報信号から、第２の情報信号における注目位置の情報データが属する所定のクラス構成におけるクラスを検出するクラス検出手段と、クラス検出手段で検出されたクラスに対応して、第２の情報信号における注目位置の情報データを生成する情報データ生成手段とを備えるものである。
【００３０】
そして、所定のクラス構成は、ｎ個（ｎは整数）の第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく特徴量から選択されたｒ個（ｒは整数であって、ｒ＜ｎ）の特徴量からなり、特徴量は、少なくとも複数の画素それぞれの画素値特徴量であり、ｒ個の特徴量は、既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成する動作と、この生成された（ｎ−ｉ）個の生成クラス構成の中から任意の評価値を使って最適なクラス構成を選ぶ動作とを、選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、ｉを０からｒ−１まで順次変化させて繰り返すことで得られたものである。
【００３１】
この発明においては、複数の情報データからなる第１の情報信号が複数の情報データからなる第２の情報信号に変換される。この場合、第１の情報信号に基づいて、第２の情報信号における注目位置の情報データが属する所定のクラス構成におけるクラスが検出され、この検出されたクラスに対応して、第２の情報信号における注目位置の情報データが生成される。
【００３２】
例えば、第２の情報信号における注目位置の情報データの生成は以下のように行われる。すなわち、検出されたクラスに対応した、推定式で用いられる係数データが発生される。第１の情報信号に基づいて、第２の情報信号における注目位置の周辺に位置する複数の情報データが選択される。そして、発生された係数データおよび選択された複数の情報データを用い、推定式に基づいて第２の情報信号における注目位置の情報データが算出される。
【００３３】
ここで、所定のクラス構成は、ｎ個の特徴量から選択されたｒ個の特徴量からなるものであり、このｒ個の特徴量は以下のようにして得られたものである。すなわち、既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成する動作と、生成された（ｎ−ｉ）個の生成クラス構成の中から任意の評価値を使って最適なクラス構成を選ぶ動作とを、選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、ｉを０からｒ−１まで順次変化させて繰り返すことで、ｒ個の特徴量が得られる。
【００３４】
これにより、この発明は、ｎ個の特徴量から選択されたｒ個の特徴量からなる最適なクラス構成によるクラス分類を伴う変換処理を行って第１の情報信号から第２の情報信号に変換でき、第２の情報信号を良好に得ることができる。
【００３５】
【発明の実施の形態】
第１の実施の形態について説明する。図１は、画像信号処理装置１００の構成を示している。この画像信号処理装置１００は、５２５ｉ信号というＳＤ(Standard Definition)信号を１０５０ｉ信号というＨＤ(High Definition)信号に変換する。
【００３６】
図２は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが１０５０ｉ信号の画素である。図２からわかるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。
【００３７】
ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
【００３８】
図１に戻って、画像信号処理装置１００は、ＳＤ信号が入力される入力端子１０１と、この入力端子１０１に入力されるＳＤ信号に基づいて、ＨＤ信号における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１、第２のタップ選択回路１０２，１０３とを有している。
【００３９】
第１のタップ選択回路１０２は、予測に使用する複数のＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１０３は、クラス分類に使用する複数のＳＤ画素（「クラスタップ」と称する）のデータを選択的に取り出すものである。
【００４０】
また、画像信号処理装置１００は、第２のタップ選択回路１０３で選択的に取り出されるクラスタップのデータから、ＨＤ信号における注目位置の画素データが属するクラスを検出するクラス検出回路１０４を有している。
【００４１】
本実施の形態においては、図３に示すように、ＨＤ信号における注目位置の周辺に位置する５個のＳＤ画素のデータが、クラスタップのデータとして取り出して使用される。図３において、「×」はＨＤ信号における注目位置を示しており、「０」〜「４」はタップ位置番号を示している。この場合、４個の注目位置に対応して、同一の５個のＳＤ画素のデータがクラスタップのデータとして取り出される。
【００４２】
本実施の形態において、クラス検出回路１０４は、基本クラス構成が含む１２個の特徴量から選択された例えば６個の特徴量からなる対象クラス構成におけるクラスＣＬを検出する。
【００４３】
ここで、基本クラス構成が含む１２個の特徴量について説明する。この１２個の特徴量は、画素値特徴量およびダイナミックレンジ（ＤＲ）特徴量から構成される。
【００４４】
画素値特徴量は、５個のＳＤ画素のデータがそれぞれ８ビットデータから２ビットデータに圧縮されて得られる２ビットコードで構成される。このデータ圧縮は、例えばＡＤＲＣ（Adaptive Dynamic Range Coding）によって行われる。このデータ圧縮を、ＡＤＲＣ以外、例えばＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いていってもよい。
【００４５】
ＡＤＲＣを使用する場合、クラスタップとして５個のＳＤ画素のデータの最大値をＭＡＸ、その最小値をＭＩＮ、ダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、５個のＳＤ画素データｋｉ（ｉ＝０〜４）のそれぞれに対して、（１）式の演算により、圧縮データとしてのＰビットの再量子化コードＱｉが得られる。
Ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）・２^P／ＤＲ］ ・・・（１）
【００４６】
上述したように２ビットデータに圧縮される場合、Ｐ＝２となり、２ビットのコードＱｉが得られる。５個のＳＤ画素のデータに係る２ビットコードＱｉ（ｉ＝０〜４）の上位ビットＭおよび下位ビットＬのそれぞれが画素値特徴量となる。
【００４７】
また、ＤＲ特徴量は、クラスタップとしての５個のＳＤ画素のデータのダイナミックレンジＤＲが、図４に示すように、予め決められた４つの領域のどこに属するかを示す２ビットコード（ＤＲクラス）によって構成される。すなわち、ダイナミックレンジＤＲが０〜３１，３２〜６３，６４〜１２７，１２８〜２５５のそれぞれの領域に属する場合、ＤＲクラスは、“００”，“０１”，“１０”，“１１”となる。この場合、ＤＲクラスの上位ビットＭおよび下位ビットＬのそれぞれがＤＲ特徴量となる。
【００４８】
図５は、画素値特徴量を構成する２ビットコードＱｉ（ｉ＝０〜４）と、ＤＲ特徴量を構成するＤＲクラス（２ビットコード）を連結した１２ビットのビットパターンデータを示している。この１２ビットのビットパターンデータの各１ビットが、基本クラス構成が含む、０〜１１の特徴量番号の１２個の特徴量に対応している。この１２ビットのビットパターンデータは、基本クラス構成におけるクラスを示すものとなる。
【００４９】
クラス検出回路１０４は、上述した１０個の画素値特徴量および２個のＤＲ特徴量の中から選択された一個または複数個、例えば６個の特徴量からなる対象クラス構成におけるクラスＣＬを出力する。つまりこの場合、クラスＣＬは、その選択された６個の特徴量に対応した６ビットのビットパターンデータである。１２個の特徴量から６個の特徴量をどのようにして選択するかは、後述する。
【００５０】
図１に戻って、また、画像信号処理装置１００は、係数メモリ１０５を有している。この係数メモリ１０５は、後述する推定予測演算回路１０６で使用される推定式で用いられる、上述した対象クラス構成における各クラスの係数データＷｉを、格納するものである。この係数データＷｉは、ＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換するための情報である。
【００５１】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。この場合、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている。
【００５２】
図６は、奇数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素ＨＤ１〜ＨＤ４における中心予測タップＳＤ０からの位相ずれを示している。ここで、ＨＤ１〜ＨＤ４の位置は、それぞれ、ＳＤ０の位置から水平方向にｋ１〜ｋ４、垂直方向にｍ１〜ｍ４だけずれている。
【００５３】
図７は、偶数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素ＨＤ１′〜ＨＤ４′における中心予測タップＳＤ０′からの位相ずれを示している。ここで、ＨＤ１′〜ＨＤ４′の位置は、それぞれ、ＳＤ０′の位置から水平方向にｋ１′〜ｋ４′、垂直方向にｍ１′〜ｍ４′だけずれている。
【００５４】
そのため、係数メモリ１０５には、クラスおよび出力画素（ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）の組み合わせ毎に、係数データＷｉが格納されている。この係数データＷｉの生成方法については、後述する。
【００５５】
係数メモリ１０５には、上述したクラス検出回路１０４より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１０５からはクラスコードＣＬに対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が読み出され、推定予測演算回路１０６に供給される。推定予測演算回路１０６では、予測タップのデータｘｉと、係数メモリ１０５より読み出される係数データＷｉとから、（２）式の推定式によって、作成すべきＨＤ画素のデータｙが演算される。（２）式のｎは、第１のタップ選択回路１０２で選択される予測タップの数を表している。
【００５６】
【数１】

【００５７】
また、画像信号処理装置１００は、第１のタップ選択回路１０２で選択的に取り出される予測タップのデータｘｉと、係数メモリ１０５より読み出される係数データＷｉとから、（２）式の推定式によって、作成すべきＨＤ信号の画素データ（注目位置の画素データ）を演算する推定予測演算回路１０６を有している。
【００５８】
上述したように、ＳＤ信号をＨＤ信号に変換する際には、ＳＤ信号の１画素に対してＨＤ信号の４画素（図６のＨＤ₁〜ＨＤ₄、図７のＨＤ₁′〜ＨＤ₄′参照）を得る必要がある。この推定予測演算回路１０６では、ＨＤ信号を構成する２×２の単位画素ブロック毎に、画素データが生成される。
【００５９】
すなわち、この推定予測演算回路１０６には、第１のタップ選択回路１０２より単位画素ブロック内の４画素（注目画素）に対応した予測タップのデータｘｉと、係数メモリ１０５よりその単位画素ブロックを構成する４画素に対応した係数データＷｉとが供給され、単位画素ブロックを構成する４画素のデータｙ₁〜ｙ₄は、それぞれ個別に上述した（２）式の推定式で演算される。
【００６０】
また、画像信号処理装置１００は、推定予測演算回路１０６より順次出力される、単位画素ブロック内の４画素のデータｙ₁〜ｙ₄を線順次化して１０５０ｉ信号のフォーマットで出力する後処理回路１０７を有している。
【００６１】
次に、画像信号処理装置１００の動作を説明する。
入力端子１０１に入力されるＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１０３で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する、クラスタップとしての５個のＳＤ画素のデータが選択的に取り出される。
【００６２】
この第２のタップ選択回路１０３で選択的に取り出されるクラスタップのデータはクラス検出回路１０４に供給される。クラス検出回路１０４では、クラスタップとしての５個のＳＤ画素のデータに対してそれぞれＡＤＲＣ処理が施されて２ビットコードＱｉが得られ、またクラスタップとしての５個のＳＤ画素のデータのダイナミックレンジＤＲから２ビットコード（ＤＲクラス）が得られる。
【００６３】
これにより、クラス検出回路１０４では、各１ビットが、０〜１１の特徴量番号の１２個の特徴量に対応した１２ビットのビットパターンが得られる。そして、クラス検出回路１０４では、この１２ビットのビットパターンから、対象クラス構成に含まれる６個の特徴量にそれぞれ対応したビットが取り出され、対象クラス構成におけるクラスＣＬとしての６ビットのビットパターンデータが得られる。このクラスＣＬは、係数メモリ１０５に読み出しアドレス情報として供給される。
【００６４】
なお、クラス検出回路１０４では、２ビットコードＱｉ（ｉ＝０〜４）およびＤＲクラスの全てを得るのではなく、対象クラス構成に含まれる特徴量に対応したもののみを得るようにしてもよい。
【００６５】
係数メモリ１０５にクラスＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１０５からクラスコードＣＬに対応した４出力画素（奇数フィールドではＨＤ１〜ＨＤ４、偶数フィールドではＨＤ１′〜ＨＤ４′）分の推定式の係数データＷｉが読み出されて推定予測演算回路１０６に供給される。
【００６６】
また、入力端子１０１に入力されるＳＤ信号から、第１のタップ選択回路１０２で、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）ｘｉが選択的に取り出される。
【００６７】
推定予測演算回路１０６では、予測タップのデータｘｉと、係数メモリ１０５より読み出される４出力画素位置分の係数データＷｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）のデータｙ₁〜ｙ₄が演算される（（２）式参照）。そして、この推定予測演算回路１０６より順次出力されるＨＤ信号を構成する単位画素ブロック内の４画素のデータｙ₁〜ｙ₄は後処理回路１０７に供給される。
【００６８】
この後処理回路１０７では、推定予測演算回路１０６より順次供給される単位画素ブロック内の４画素のデータｙ₁〜ｙ₄が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、後処理回路１０７からは、ＨＤ信号としての１０５０ｉ信号が出力され、この信号は出力端子１０８に導出される。
【００６９】
次に、係数メモリ１０５に格納される、対象クラス構成における各クラスの係数データＷｉ（ｉ＝１〜ｎ）の生成方法について説明する。
まず、１２個の特徴量の全てからなる基本クラス構成における各クラスの係数データをそれぞれ算出するための正規方程式が用意される。この正規方程式は、予め学習によって得られる。
【００７０】
学習方法について説明する。上述の（２）式において、学習前は係数データＷ₁，Ｗ₂，‥‥，Ｗ_nは未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（２）式に従って、以下に示す（３）式が設定される。ｎは予測タップの数を示している。
ｙ_k＝Ｗ₁×ｘ_k1＋Ｗ₂×ｘ_k2＋‥‥＋Ｗ_n×ｘ_kn ・・・（３）
（ｋ＝１，２，‥‥，ｍ）
【００７１】
ｍ＞ｎの場合、係数データＷ₁，Ｗ₂，‥‥，Ｗ_nは、一意に決まらないので、誤差ベクトルｅの要素ｅ_kを、以下の式（４）で定義し、（５）式のｅ²を最小にする係数データを求める。いわゆる最小二乗法によって係数データを一意に定める。
ｅ_k＝ｙ_k−｛Ｗ₁×ｘ_k1＋Ｗ₂×ｘ_k2＋‥‥＋Ｗ_n×ｘ_kn｝ ・・・（４）
（ｋ＝１，２，‥‥ｍ）
【００７２】
【数２】

【００７３】
（５）式のｅ²を最小とする係数データを求めるための実際的な計算方法としては、まず、（６）式に示すように、ｅ²を係数データＷｉ(ｉ＝１〜ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【００７４】
【数３】

【００７５】
（７）式、（８）式のようにＸji，Ｙiを定義すると、（６）式は、（９）式の行列式の形に書くことができる。この（９）式が、係数データを算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１〜ｎ）を求めることができる。
【００７６】
【数４】

【００７７】
【数５】

【００７８】
次に、基本クラス構成に含まれる１２個の特徴量のうち、対象クラス構成が含む６個の特徴量だけを見て、それが同じになる基本クラス構成におけるクラスの正規方程式を足し合わせて、対象クラス構成における各クラスの係数データをそれぞれ算出するための正規方程式を生成する。
【００７９】
ここで、基本クラス構成におけるクラス数は２¹²＝４０９６であり、基本クラス構成における各クラスの係数データを算出するための正規方程式は４０９６個ある。これに対して、６個の特徴量を含む対象クラス構成におけるクラス数は２⁶＝６４であり、対象クラス構成における各クラスの係数データを算出するための正規方程式は６４個である。
【００８０】
対象クラス構成が含む６個の特徴量だけを見て、それが同じになる基本クラス構成におけるクラスの数は、６４個となる。つまり、対象クラス構成における各クラスの係数データを算出するための正規方程式は、それぞれ、基本クラス構成における６４クラス分の正規方程式を足し合わせることで生成される。６４個の正規方程式が（１０-1）式〜（１０-64）式で示されるとき、それを足し合わせて得られる正規方程式は（１１）式に示すようになる。
【００８１】
【数６】

【００８２】
【数７】

【００８３】
次に、上述したように生成された、対象クラス構成におけるクラスの係数データをそれぞれ算出するための正規方程式をそれぞれ解いて、各クラスの係数データを求める。この場合、この正規方程式を、掃き出し法等の一般解法で解く。
【００８４】
図８は、１２個の特徴量の全てからなる基本クラス構成における各クラスの係数データをそれぞれ算出するための正規方程式を生成する正規方程式生成装置２００の構成を示している。
【００８５】
この正規方程式生成装置２００は、教師信号としてのＨＤ信号が入力される入力端子２０１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路２０２とを有している。
【００８６】
また、正規方程式生成装置２００は、ＳＤ信号生成回路２０２より出力されるＳＤ信号に基づいて、ＨＤ信号における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１、第２のタップ選択回路２０３，２０４とを有している。
【００８７】
この第１、第２のタップ選択回路２０３，２０４は、上述した図１の画像信号処理装置１００の第１、第２のタップ選択回路１０２，１０３と同様に構成される。すなわち、第１のタップ選択回路２０３は、予測に使用する複数のＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路２０４は、クラス分類に使用する複数のＳＤ画素（「クラスタップ」と称する）のデータを選択的に取り出すものである。
【００８８】
また、正規方程式生成装置２００は、第２のタップ選択回路２０４で選択的に取り出されるクラスタップのデータから、ＨＤ信号における注目位置の画素データが属するクラスを検出するクラス検出回路２０５を有している。このクラス検出回路２０５は、上述した図１の画像信号処理装置１００のクラス検出回路１０４と略同様の構成とされている。
【００８９】
クラス検出回路１０４は、基本クラス構成が含む１２個の特徴量から選択された例えば６個の特徴量からなる対象クラス構成におけるクラスＣＬを検出するが、このクラス検出回路２０５は、基本クラス構成におけるクラスＣＬｒを検出する。
【００９０】
すなわち、クラス検出回路２０５は、例えばＡＤＲＣを使用して、クラスタップとしての５個のＳＤ画素のデータをそれぞれ８ビットデータから２ビットデータに圧縮して、画素値特徴量を構成する２ビットコードＱｉ（ｉ＝０〜４）を得る。また、クラス検出回路２０５は、クラスタップとしての５個のＳＤ画素のデータのダイナミックレンジＤＲが予め決められた４つの領域のどこに属するかにより２ビットのコード（ＤＲクラス）を得る（図４参照）。
【００９１】
そして、クラス検出回路２０５は、画素値特徴量を構成する２ビットコードＱｉ（ｉ＝０〜４）と、ＤＲ特徴量を構成するＤＲクラス（２ビットコード）を連結した１２ビットのビットパターンデータを得（図５参照）、この１２ビットのビットパターンをクラスＣＬｒとして出力する。
【００９２】
また、正規方程式生成装置２００は、入力端子２０１に入力されるＨＤ信号の時間調整を行うための遅延回路２０６と、正規方程式生成部２０７とを有している。正規方程式生成部２０７は、遅延回路２０６で時間調整されたＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙ、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路２０３で選択的に取り出される予測タップのデータとしてのｎ個のＳＤ画素データｘｉおよび各ＨＤ画素データｙにそれぞれ対応してクラス検出回路２０５より出力されるクラスＣＬｒから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（９）式参照）を生成する。
【００９３】
この場合、１個のＨＤ画素データｙとそれに対応する予測タップのデータｘｉとの組み合わせで学習データが生成されるが、教師信号としてのＨＤ信号と生徒信号としてのＳＤ信号との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部２０７では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【００９４】
またこの場合、正規方程式生成部２０７では、出力画素（図６のＨＤ１〜ＨＤ４、図７のＨＤ１′〜ＨＤ４′参照）毎に、正規方程式が生成される。例えば、ＨＤ１に対応した正規方程式は、中心予測タップに対するずれ値がＨＤ１と同じ関係にあるＨＤ画素データｙから構成される学習データから生成される。結果的に正規方程式生成部２０７では、クラスおよび出力画素位置の組み合わせ毎に、正規方程式が生成される。
【００９５】
また、正規方程式生成装置２００は、正規方程式生成部２０７で生成された正規方程式のデータを格納するための正規方程式メモリ２０８を有している。この正規方程式メモリ２０８に格納された基本クラス構成における各クラスの係数データＷｉ（ｉ＝１〜ｎ）を算出するための正規方程式は、対象クラス構成における各クラスの係数データＷｉ（ｉ＝１〜ｎ）を生成する際に用いられる。
【００９６】
次に、図８に示す正規方程式生成装置２００の動作を説明する。
入力端子２０１には教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される。このＨＤ信号に対して、ＳＤ信号生成回路２０２で、水平および垂直の間引き処理が行われて、生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。
【００９７】
ＳＤ信号生成回路２０２で得られるＳＤ信号より、第２のタップ選択回路２０４で、ＨＤ信号における注目位置の周辺に位置するクラスタップとしての５個のＳＤ画素のデータが選択的に取り出される。
【００９８】
この第２のタップ選択回路２０４で選択的に取り出されるクラスタップのデータはクラス検出回路２０５に供給される。クラス検出回路２０５では、クラスタップとしての５個のＳＤ画素のデータに対してそれぞれＡＤＲＣ処理が施されて２ビットコードＱｉが得られ、またクラスタップとしての５個のＳＤ画素のデータのダイナミックレンジＤＲから２ビットコード（ＤＲクラス）が得られ、さらにこれらを結合した１２ビットのビットパターンデータがクラスＣＬｒとして得られる。
【００９９】
また、ＳＤ信号生成回路２０２で得られるＳＤ信号より、第１のタップ選択回路２０３で、ＨＤ信号における注目位置の周辺に位置する予測タップのデータｘｉが選択的に取り出される。
【０１００】
そして、遅延回路２０６で時間調整されたＨＤ信号から得られる各注目位置のＨＤ画素データｙ、この各注目位置のＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路２０３で選択的に取り出される予測タップのデータｘｉおよび各注目位置のＨＤ画素データｙにそれぞれ対応してクラス検出回路２０５で得られるクラスＣＬｒを用いて、正規方程式生成部２０７では、クラスおよび出力画素位置の組み合わせ毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（９）式参照）が個別に生成される。そして、この正規方程式のデータは、正規方程式メモリ２０８に格納される。
【０１０１】
図９は、図１の画像信号処理装置１００の係数メモリ１０５に格納すべき、対象クラス構成における各クラスの係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成装置３００の構成を示している。
【０１０２】
この係数生成装置３００は、基本クラス構成における各クラスの係数データを算出するための正規方程式のデータが記憶されている、記憶手段としてのＲＯＭ(read only memory)３０１を有している。この正規方程式のデータは、例えば、上述した図８の正規方程式生成装置２００で生成されたものである。
【０１０３】
また、係数生成装置３００は、対象クラス構成の情報ＩＮＦに基づいて、マスクビットパターンデータＭＢＰを生成するマスクビット生成部３０２を有している。ここで、情報ＩＮＦは、対象クラス構成が含む例えば６個の特徴量が、基本クラス構成が含む１２個の特徴量のうちいずれであるかを示す情報である。
【０１０４】
マスクビット生成部３０２は、対象クラス構成に含まれる特徴量に対応するビットを“１”とした１２ビットのマスクビットパターンデータＭＢＰを生成する。図１０Ｂは、例えば対象クラス構成が２個の特徴量を含み、その２個の特徴量は２ビットコードＱ₂の下位ビットＬおよびＤＲクラスの下位ビットＬ（図５参照）である場合におけるデータＭＢＰを示している。
【０１０５】
また、係数生成装置３００は、ＲＯＭ３０１に記憶されている基本クラス構成における各クラスの係数データを算出するための正規方程式を、対象クラス構成における各クラスにそれぞれ対応した正規方程式に分類する正規方程式分類部３０３を有している。
【０１０６】
この場合、正規方程式分類部３０３は、対象クラス構成が含む特徴量だけを見て、それが同じになる基本クラス構成におけるクラスを検出することで、対象クラス構成における各クラスに対応した基本クラス構成におけるクラスを検出し、基本クラス構成における各クラスの正規方程式を、対象クラス構成における各クラスにそれぞれ対応した正規方程式に分類する。
【０１０７】
正規方程式分類部３０３は、対象クラス構成における各クラスに対応した基本クラス構成におけるクラスを検出するために、上述したマスクビットパターンデータＭＢＰを用いる。ここで、マスクビット生成部３０２と正規方程式分類部３０３とで、クラス検出手段が構成されている。
【０１０８】
この場合、図１０Ａに示す基本クラス構成の各クラスを示す１２ビットデータ（４０９６個）と１２ビットのマスクビットパターンデータＭＢＰとのビット毎の論理積を計算し、計算結果が同じビットパターンとなった基本クラス構成におけるクラスを同じ分類とし、対象クラス構成における各クラスに対応した基本クラス構成におけるクラスを検出する。
【０１０９】
例えば、マスクビットパターンデータＭＢＰが図１０Ｂに示すようであるとき、論理積を計算した結果は図１０Ｃに示すようになる。この場合、計算結果としては、「000000000000」、「000000000001」、「000001000000」、「000001000001」の４種類のビットパターンが得られる。この４種類のビットパターンにそれぞれ対応した基本クラス構成におけるクラスが同じ分類とされ、それぞれに分類された基本クラス構成におけるクラスは、対象クラス構成における４個のクラス、つまり「00」、「01」、「10」、「11」にそれぞれ対応したものとなる。
【０１１０】
図１０は、簡単化のために、対象クラス構成が２個の特徴量を含む場合を示したが、例えば対象クラス構成が６個の特徴量を含む場合には、計算結果として６４種類のビットパターンが得られる。そして、この６４種類のビットパターンにそれぞれ対応した基本クラス構成におけるクラスが同じ分類とされ、それぞれに分類された基本クラス構成におけるクラスは、対象クラス構成における６４個のクラスにそれぞれ対応したものとなる。
【０１１１】
また、係数生成装置３００は、正規方程式分類部３０３で対象クラス構成における各クラスにそれぞれ対応するように分類された、基本クラス構成における各クラスの係数データを算出するための正規方程式を、分類毎に足し合わせて、対象クラス構成における各クラスの係数データを算出するための正規方程式を生成する正規方程式足し合わせ部３０４を有している。ここで、上述したマスクビット生成部３０２および正規方程式分類部３０３で構成されるクラス検出手段と、正規方程式足し合わせ部３０４により、正規方程式生成手段が構成されている。
【０１１２】
この場合、対象クラス構成が６個の特徴量を含む場合には、６４個のクラスにそれぞれ対応した正規方程式が生成されるが、各クラスの正規方程式は基本クラス構成の６４個のクラスの係数データを算出するための正規方程式を足し合わせることで生成される（（１０-1）式〜（１０-64）式、（１１）式参照）。
【０１１３】
なおこの場合、正規方程式足し合わせ部３０４では、出力画素（図６のＨＤ１〜ＨＤ４、図７のＨＤ１′〜ＨＤ４′参照）毎に、正規方程式の足し合わせが行われる。したがって、正規方程式足し合わせ部３０４では、対象クラス構成における各クラスの係数データを算出するための正規方程式が、クラスおよび出力画素位置の組み合わせ毎に生成される。
【０１１４】
また、係数生成装置３００は、正規方程式足し合わせ部３０４で生成された、クラスおよび出力画素位置の組み合わせ毎に生成された正規方程式のデータが供給され、その正規方程式を解いて、クラスおよび出力画素位置の組み合わせ毎に、係数データＷｉを求める演算部３０５と、この演算部３０５で求められた係数データＷｉを格納する係数メモリ３０６とを有している。演算部３０５では、正規方程式が例えば掃き出し法などによって解かれて、係数データＷｉが得られる。
【０１１５】
図９に示す係数生成装置３００の動作を説明する。
対象クラス構成の情報ＩＮＦがマスクビット生成部３０２に供給される。マスクビット生成部３０２では、対象クラス構成に含まれる特徴量に対応するビットを“１”とした１２ビットのマスクビットパターンデータＭＢＰが生成される。このデータＭＢＰは正規方程式分類部３０３に供給される。
【０１１６】
正規方程式分類部３０３では、ＲＯＭ３０１に記憶されている基本クラス構成における各クラスの係数データを算出するための正規方程式が、対象クラス構成における各クラスにそれぞれ対応した正規方程式に分類される。
【０１１７】
この分類のために、正規方程式分類部３０３では、対象クラス構成が含む特徴量だけを見て、それが同じになる基本クラス構成におけるクラスを検出することで、対象クラス構成における各クラスに対応した基本クラス構成におけるクラスが検出される。
【０１１８】
この場合、基本クラス構成の各クラスを示す１２ビットデータ（４０９６個）と１２ビットのマスクビットパターンデータＭＢＰとのビット毎の論理積が計算され、計算結果が同じビットパターンとなった基本クラス構成におけるクラスが同じ分類とされ、対象クラス構成における各クラスに対応した基本クラス構成におけるクラスが検出される。
【０１１９】
正規方程式足し合わせ部３０４では、正規方程式分類部３０３で対象クラス構成における各クラスにそれぞれ対応するように分類された、基本クラス構成における各クラスの係数データを算出するための正規方程式が、分類毎に足し合わされ、対象クラス構成における各クラスの係数データを算出するための正規方程式が生成される。この場合、基本クラス構成における各クラスに対応した正規方程式のデータは、ＲＯＭ３０１より読み出され、正規方程式分類部３０３を通じて正規方程式足し合わせ部３０４に供給される。
【０１２０】
またこの場合、出力画素（図６のＨＤ１〜ＨＤ４、図７のＨＤ１′〜ＨＤ４′参照）毎に、正規方程式の足し合わせが行われる。そのため、正規方程式足し合わせ部３０４では、対象クラス構成における各クラスの係数データを算出するための正規方程式が、クラスおよび出力画素位置の組み合わせ毎に生成される。
【０１２１】
そして、正規方程式足し合わせ部３０４で生成された、クラスおよび出力画素位置の組み合わせ毎に生成された正規方程式のデータは演算部３０５に供給される。この演算部３０５では、その正規方程式が解かれ、クラスおよび出力画素位置の組み合わせ毎に、係数データＷｉが求められる。この係数データＷｉは、係数メモリ３０６に格納される。
【０１２２】
このように、図９に示す係数生成装置３００においては、図１の画像信号処理装置１００の係数メモリ１０５に格納される、クラスおよび出力画素（ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）の組み合わせ毎の、推定式で用いられる係数データＷｉを生成することができる。
【０１２３】
この場合、ＲＯＭ３０１に１２個の特徴量を含む基本クラス構成における各クラスの係数データを算出するための正規方程式を記憶しておき、対象クラス構成が含む特徴量だけ見て、それが同じになる基本クラス構成におけるクラスの正規方程式を足し合わせて、対象クラス構成における各クラスの係数データをそれぞれ算出する正規方程式を生成し、この正規方程式を解くことで、対象クラス構成における各クラスの係数データを効率よく生成できるものであり、一回だけの学習で任意のクラス構成における各クラスの係数データを生成できる。したがって、対象クラス構成が含む特徴量を変更する場合に、改めて学習を行う必要はなく、短時間で容易に係数データを生成できる。
【０１２４】
上述したように、図１に示す画像信号処理装置１００では、１２個の特徴量から例えば６個の特徴量が選択され、この選択された６個の特徴量を含む対象クラス構成におけるクラス分類が行われる。
【０１２５】
ここで、一般的に、ｎ個（ｎは整数）の特徴量から、ｒ個（ｒは整数であって、ｒ＜ｎ）の特徴量を選択し、ｒ個の特徴量を含む対象クラス構成を生成する処理について説明する。
図１１のフローチャートは、その処理手順を示している。
まず、ステップＳＴ１で、ｉ＝０に設定する。そして、ステップＳＴ２で、既に選ばれているｉ個（ｉは整数）の特徴量に加えて、残りの（ｎ−ｉ）個の特徴量から１つ選んで、それぞれ（ｉ＋１）個の特徴量を含む（ｎ−ｉ）個のクラス構成を作る。
【０１２６】
次に、ステップＳＴ３で、（ｎ−ｉ）個のクラス構成の中から、任意の評価値を使って、最適なクラス構成を選ぶ。例えば、この最適なクラス構成の選択処理は、以下のように行う。
まず、（ｎ−ｉ）個のクラス構成における各クラスの係数データを生成する。この係数データの生成は、例えば上述した図９に示す係数生成装置３００を用いて行う。
【０１２７】
次に、クラス構成毎に、生成された各クラスの係数データを用いて、ＳＤ信号に対応した画像信号を、上述した図１に示す画像信号処理装置１００を用いて、ＨＤ信号に対応した画像信号に変換する。ここで、ＳＤ信号に対応した画像信号は、ＨＤ信号に対応した評価用画像信号に対して水平および垂直の間引き処理をして作成されたものとする。
【０１２８】
次に、クラス構成毎に、変換された画像信号と評価用画像信号との画素データ毎の差に基づく評価値を求める。（１２）式は、評価値の一例としてのＳＮＲ(Signal to Noise Ratio）を示している。（１２）式において、ｙｉは変換された画像信号におけるｉ番目の画素データ、Ｙｉは評価用画像信号におけるｉ番目の画素データ、Ｎは画素数を示している。
【０１２９】
【数８】

【０１３０】
次に、各クラス構成の評価値に基づいて、最適クラス構成を選ぶ。評価値が（１２）式で示すＳＮＲであるときは、このＳＮＲが最大となるクラス構成を最適クラス構成とする。
【０１３１】
図１１に戻って、ステップＳＴ３の処理の後に、ステップＳＴ４で、選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、ステップＳＴ５で、ｉを１だけ増加する。そして、ステップＳＴ６で、ｉ＝ｒであるか否かを判定する。ｉ＝ｒであるときは、既に対象クラス構成に含まれるｒ個の特徴量が選択されたことになるので、処理を終了する。一方、ｉ＝ｒでないときは、ステップＳＴ２に戻って、上述したと同様の処理を繰り返す。
【０１３２】
図１２は、対象クラス構成生成装置４００の構成を示している。
この対象クラス構成生成装置４００は、既に選ばれているｉ個（ｉは整数）の特徴量に加えて、残りの（ｎ−ｉ）個の特徴量から１つ選んで、それぞれ（ｉ＋１）個の特徴量を含む（ｎ−ｉ）個のクラス構成を生成するクラス構成生成部４０１と、この（ｎ−ｉ）個のクラス構成（生成クラス構成）の中から、任意の評価値を使って、最適なクラス構成を選ぶクラス構成選択部４０２とを有している。
【０１３３】
また、この対象クラス構成生成装置４００は、選択された特徴量の個数がｒ個になったか否かを判定する選択済み特徴量数判定部４０３と、選択された特徴量の個数がｒ個になったとき、選択されたｒ個の特徴量の情報を対象クラス構成の情報ＩＮＦとして出力する対象クラス構成出力部４０４と、この情報ＩＮＦを出力する出力端子４０５とを有している。
【０１３４】
この場合、クラス構成選択部４０２で選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、上述したクラス構成生成部４０１およびクラス構成選択部４０２の動作を、ｉ＝０〜ｒ−１まで順次変化させて繰り返すことで、ｒ個の特徴量が選択され、対象クラス構成が生成される。
【０１３５】
クラス構成選択部４０２は、係数生成部４２１と、画像信号処理部４２２と、評価値算出部４２３と、評価値判定部４２４とから構成される。係数生成部４２１は、クラス構成生成部４０１で生成された（ｎ−ｉ）個のクラス構成における各クラスの係数データＷｉを生成する。この係数生成部４２１は、例えば上述した図９に示す係数生成装置３００を利用して、（ｎ−ｉ）個のクラス構成における各クラスの係数データＷｉを生成する。これにより、（ｎ−１）個の生成クラス構成のそれぞれにおける各クラスの係数データを一回だけの学習のみで得ることができ、処理の効率化を図ることができる。
【０１３６】
画像信号処理部４２２は、クラス構成毎に、係数生成部４２１で生成された各クラスの係数データを用いて、ＳＤ信号に対応した画像信号を、ＨＤ信号に対応した画像信号に変換する。この画像信号処理部４２２は、図１に示す画像信号処理装置１００を用いて、ＳＤ信号に対応した画像信号をＨＤ信号に対応した画像信号に変換する。この場合、係数メモリ１０５には、係数生成部４２１で生成された係数データＷｉが予め格納される。また、ＳＤ信号に対応した画像信号は、ＨＤ信号に対応した評価用画像信号Ｖｒに対して水平および垂直の間引き処理をして作成されたものとされる。
【０１３７】
評価値算出部４２３は、クラス構成毎に、画像信号処理部４２２で変換されて得られた画像信号Ｖｏと評価用画像信号Ｖｒとの画素データ毎の差に基づく評価値を求める。例えば、評価値は、上述した（１２）式で示すＳＮＲである。評価値判定部４２４は、評価値算出部４２３で求められた、各クラス構成の評価値に基づいて、最適クラス構成を選ぶ。評価値が（１２）式で示すＳＮＲであるときは、このＳＮＲが最大となるクラス構成が最適クラス構成として選択される。
【０１３８】
図１２に示す対象クラス構成生成装置４００の動作を説明する。
最初、判定部４０３は、ｉ＝０とし、クラス構成部４０１に、１個の特徴量を含むｎ個のクラス構成を生成するように指示を与える。クラス構成生成部４０１は、その指示に従って、クラス構成を生成し、生成された各クラス構成の情報をクラス構成選択部４０２に供給する。
【０１３９】
クラス構成選択部４０２は、クラス構成生成部４０１で生成されたクラス構成（生成クラス構成）の中から、任意の評価値を使って、最適なクラス構成を選択する。この場合、それに依るクラス分類を行った際に、ＳＤ信号を最も良好にＨＤ信号に変換し得るクラス構成が、最適なクラス構成として選択される。
【０１４０】
クラス構成選択部４０２で選択されたクラス構成の情報は判定部４０３に供給される。判定部４０３は、ｉに１を加えてｉ＝２とし、ｉ＝ｒでないときは、クラス構成部４０１に、クラス構成選択部４０２で選択されたクラス構成に含まれる特徴量の情報を、既に選ばれた特徴量の情報として供給し、２個の特徴量を含む（ｎ−１）個のクラス構成を生成するように指示を与える。
【０１４１】
クラス構成生成部４０１は、その指示に従って、クラス構成を生成し、生成された各クラス構成の情報をクラス構成選択部４０２に供給する。クラス構成選択部４０２は、クラス構成生成部４０１で生成されたクラス構成（生成クラス構成）の中から、最適なクラス構成を選択する。
【０１４２】
クラス構成選択部４０２で選択されたクラス構成の情報は判定部４０３に供給される。判定部４０３は、ｉに１を加えてｉ＝３とし、ｉ＝ｒでないときは、クラス構成部４０１に、クラス構成選択部４０２で選択されたクラス構成に含まれる特徴量の情報を、既に選ばれた特徴量の情報として供給し、３個の特徴量を含む（ｎ−２）個のクラス構成を生成するように指示を与える。
【０１４３】
以下、判定部４０３でｉ＝ｒであると判定されるまで、上述した動作が繰り返し行われる。判定部４０３は、ｉ＝ｒであると判定するとき、クラス構成選択部４０２で最終的に選択されたクラス構成の情報（ｒ個の特徴量の情報）を対象クラス構成出力部４０４に供給する。この出力部４０４は、対象クラス構成の情報ＩＮＦを出力端子４０５に出力する。
【０１４４】
図１３は、実際に、１２個の特徴量から６個の特徴量を選択して対象クラス構成を生成した場合の処理例を示している。「↓」は、各回で選択された特徴量を示している。
【０１４５】
１回目には、１個の特徴量からなる１２個のクラス構成が生成され、ＳＮＲで評価した結果、特徴量６を含むクラス構成が最適クラス構成として選ばれた。２回目には、特徴量６と他の１つの特徴量を含む２個の特徴量からなる１１個のクラス構成が生成され、ＳＮＲで評価した結果、特徴量６，２を含むクラス構成が最適クラス構成として選ばれた。３回目には、特徴量６，２と他の１つの特徴量を含む３個の特徴量からなる１０個のクラス構成が生成され、ＳＮＲで評価した結果、特徴量６，２，１０を含むクラス構成が最適クラス構成として選ばれた。
【０１４６】
４回目には、特徴量６，２，１０の他に１つの特徴量を含む４個の特徴量からなる９個のクラス構成が生成され、ＳＮＲで評価した結果、特徴量６，２，１０，５を含むクラス構成が最適クラス構成として選ばれた。５回目には、特徴量６，２，１０，５の他に１つの特徴量を含む５個の特徴量からなる８個のクラス構成が生成され、ＳＮＲで評価した結果、特徴量６，２，１０，５，７を含むクラス構成が最適クラス構成として選ばれた。６回目には、特徴量６，２，１０，５，７の他に１つの特徴量を含む６個の特徴量からなる７個のクラス構成が生成され、ＳＮＲで評価した結果、特徴量６，２，１０，５，７，３を含むクラス構成が最適クラス構成として選ばれた。
この結果、特徴量６，２，１０，５，７，３を含むクラス構成が、対象クラス構成として得られた。
【０１４７】
このように、図１２に示す対象クラス構成生成装置４００においては、既に選ばれているｉ個の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成する動作と、そしてこの（ｎ−ｉ）個のクラス構成の中から任意の評価値を使って最適なクラス構成を選ぶ動作とを、選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、ｉを０からｒ−１まで順次変化させて繰り返し、ｎ個の特徴量からｒ個の特徴量を選択して、ｒ個の特徴量からなる対象クラス構成を得るものであり、人間の経験に頼ることなく、最適なクラス構成を短時間で得ることができる。
【０１４８】
ここで、ｎ個の特徴量からｒ個の特徴量を選んでクラス構成を作りたい場合、考えられるクラス構成の数は、ｎＣｒ＝ｎ！／｛(ｎ−ｒ)！ｒ！｝となる。例えば、１２個の特徴量から６個の特徴量を選んでクラス構成を作りたい場合、考えられるクラス構成の数は、１２Ｃ６＝９２４となる。このクラス構成の数は、ｎが多くなるほど、莫大な数になる。そのため、全てのクラス構成について総当たりで最適かどうかの評価を行うには莫大な時間が必要になり、困難である。
【０１４９】
しかし、図１２に示す対象クラス構成生成装置４００で最適なクラス構成を生成する場合には、比較のために必要となるクラス構成の数は、ｎ＋（ｎ−１）＋（ｎ−２）＋・・・＋（ｎ−ｒ＋１）となる。例えば、１２個の特徴量から６個の特徴量を選んでクラス構成を生成する場合、比較のために必要なクラス構成の数は、１２＋１１＋１０＋９＋８＋７＝５７となり、総当たりで最適かどうか評価する場合に比べて大幅に削減される。したがって、最適なクラス構成を短時間で得ることができる。
【０１５０】
なお、図１２に示す対象クラス構成生成装置４００でｒ個の特徴量を選択して対象クラス構成を生成した場合と、総当たりによってｒ個の特徴量を含む対象クラス構成を得た場合とでは、含まれるｒ個の特徴量が略一致することが実験で確認されている。
【０１５１】
処理装置の図示は省略するが、図１２の対象クラス構成生成装置４００における処理も、ソフトウェアで実現可能である。その場合、上記した図１１のフローチャートで示す手順によって対象クラス構成を生成する処理が行われる。
【０１５２】
上述した図１に示す画像信号処理装置１００では、図１２に示す対象クラス構成生成装置４００により、１２個の特徴量から例えば６個の特徴量が選択され、この選択された６個の特徴量を含む対象クラス構成におけるクラス分類が行われる。上述したように、この対象クラス構成は、人間の経験に頼るものでなく、最適なクラス構成となる。したがって、画像信号処理装置１００では、最適なクラス構成によるクラス分類を伴う変換処理を行ってＳＤ信号からＨＤ信号に変換できる。
【０１５３】
なお、図１の画像信号処理装置１００における処理を、例えば図１４に示すような画像信号処理装置５００によって、ソフトウェアで実現することも可能である。
【０１５４】
まず、図１４に示す画像信号処理装置５００について説明する。この画像信号処理装置５００は、装置全体の動作を制御するＣＰＵ５０１と、このＣＰＵ５０１の制御プログラムや係数データ等が格納されたＲＯＭ（Read Only Memory）５０２と、ＣＰＵ５０１の作業領域を構成するＲＡＭ（Random Access Memory）５０３とを有している。これらＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、それぞれバス５０４に接続されている。
【０１５５】
また、画像信号処理装置５００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）５０５と、フロッピー（登録商標）ディスクドライブ５０６とを有している。これらドライブ５０５，５０６は、それぞれバス５０４に接続されている。
【０１５６】
また、画像信号処理装置５００は、インターネット等の通信網５０７に有線または無線で接続する通信部５０８を有している。この通信部５０８は、インタフェース５０９を介してバス５０４に接続されている。
【０１５７】
また、画像信号処理装置５００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機５１０からのリモコン信号ＲＭを受信するリモコン信号受信回路５１１と、ＣＲＴ（Cathode-Ray Tube）、ＬＣＤ（liquid Crystal Display）等からなるディスプレイ５１３とを有している。受信回路５１１はインタフェース５１２を介してバス５０４に接続され、同様にディスプレイ５１３はインタフェース５１４を介してバス５０４に接続されている。
【０１５８】
また、画像信号処理装置５００は、ＳＤ信号を入力するための入力端子５１５と、ＨＤ信号を出力するための出力端子５１７とを有している。入力端子５１５はインタフェース５１６を介してバス５０４に接続され、同様に出力端子５１７はインタフェース５１８を介してバス５０４に接続される。
【０１５９】
ここで、上述したようにＲＯＭ５０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網５０７より通信部５０８を介してダウンロードし、ハードディスクドライブ５０５やＲＡＭ３０３に格納して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスクで提供するようにしてもよい。
【０１６０】
また、処理すべきＳＤ信号を入力端子５１５より入力する代わりに、予めハードディスクドライブ５０５に記録しておき、あるいはインターネットなどの通信網５０７より通信部５０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子５１７に出力する代わり、あるいはそれと並行してディスプレイ５１３に供給して画像表示をしたり、さらにはハードディスクドライブ５０５に格納したり、通信部５０８を介してインターネットなどの通信網５０７に送出するようにしてもよい。
【０１６１】
図１５のフローチャートを参照して、図１４に示す画像信号処理装置５００における、ＳＤ信号からＨＤ信号を得るための処理手順を説明する。
まず、ステップＳＴ１１で、処理を開始し、ステップＳＴ１２で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分のＳＤ信号を入力する。このように入力されるＳＤ信号はＲＡＭ５０３に一時的に記憶される。なお、このＳＤ信号が装置内のハードディスクドライブ５０５に予め記録されている場合には、このドライブ５０５からＳＤ信号を読み出し、読み出されたＳＤ信号をＲＡＭ５０３に一時的に記憶する。
【０１６２】
そして、ステップＳＴ１３で、ＳＤ信号の全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ１４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ１５に進む。
【０１６３】
ステップＳＴ１５では、ＳＤ信号からＨＤ信号における注目位置の周辺に位置するクラスタップのデータを取得し、このクラスタップのデータに基づいて、ＨＤ信号における注目位置の画素データが属するクラスＣＬを生成する。この場合例えば、クラスタップのデータとして５個のＳＤ画素のデータを取り出し、６個の特徴量を含む対象クラス構成におけるクラスＣＬを生成する。
【０１６４】
次に、ステップＳＴ１６で、ＳＤ信号からＨＤ信号における注目位置の周辺に位置する予測タップのデータを取得する。そして、ステップＳＴ１７で、ステップＳＴ１５で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ１６で取得された予測タップのデータｘｉを使用して、（２）式の推定式に基づいて、ＨＤ信号における注目位置の画素データｙを生成する。
【０１６５】
次に、ステップＳＴ１８で、ステップＳＴ１２で入力された１フレーム分または１フィールド分のＳＤ信号の画素データの全領域においてＨＤ信号の画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ１２に戻り、次の１フレーム分または１フィールド分のＳＤ信号の入力処理に移る。一方、処理が終了していないときは、ステップＳＴ１５に戻って、次の注目位置についての処理に移る。
【０１６６】
このように、図１５に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号の画素データを処理して、ＨＤ信号の画素データを得ることができる。このように処理して得られたＨＤ信号は出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
【０１６７】
また、処理装置の図示は省略するが、図８の正規方程式生成装置２００における処理も、ソフトウェアで実現可能である。
【０１６８】
図１６のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、教師信号ＳＴとしてのＨＤ信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳとしてのＳＤ信号を生成する。
【０１６９】
そして、ステップＳＴ３５で、生徒信号ＳＳから教師信号ＳＴにおける注目位置の周辺に位置するクラスタップのデータを取得し、このクラスタップのデータに基づいて、教師信号ＳＴにおける注目位置の画素データが属するクラスＣＬｒを生成する。この場合例えば、クラスタップのデータとして５個のＳＤ画素のデータを取り出し、１２個の特徴量を含む基本クラス構成におけるクラスＣＬｒを生成する。
【０１７０】
次に、ステップＳＴ３６で、生徒信号ＳＳから教師信号ＳＴにおける注目位置の周辺に位置する予測タップのデータを取得する。そして、ステップＳＴ３７で、ステップＳＴ３５で生成されたクラスコードＣＬｒ、ステップＳＴ３６で取得された予測タップのデータｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、（９）式に示す正規方程式を得るための加算をする（（７）式、（８）式参照）。
【０１７１】
次に、ステップＳＴ３８で、ステップＳＴ３２で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３５に戻って、次の注目位置についての処理に移る。
【０１７２】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ３９で、上述のステップＳＴ３７の加算処理によって生成された、基本クラス構成における各クラスの正規方程式のデータをメモリに保存し、その後にステップＳＴ４０で、処理を終了する。
【０１７３】
このように、図１６に示すフローチャートに沿って処理をすることで、図８に示す正規方程式生成装置２００と同様の手法によって、基本クラス構成における各クラスの係数データＷｉをそれぞれ算出するための正規方程式を生成できる。
【０１７４】
また、処理装置の図示は省略するが、図９の係数生成装置３００における処理も、ソフトウェアで実現可能である。
【０１７５】
図１７のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ４１で、処理を開始し、ステップＳＴ４２で、対象クラス構成を設定する。そして、ステップＳＴ４３で、設定された対象クラス構成の情報ＩＮＦに基づいて、対象クラス構成に含まれる特徴量に対応するビットを“１”とした１２ビットのマスクビットパターンデータＭＢＰを生成する。
【０１７６】
次に、ステップＳＴ４４で、基本クラス構成における各クラスの係数データを算出するための正規方程式を、対象クラス構成における各クラスにそれぞれ対応した正規方程式に分類する。そのため、基本クラス構成の各クラスを示す１２ビットデータ（４０９６個）と１２ビットのマスクビットパターンデータＭＢＰとのビット毎の論理積を計算し、計算結果が同じビットパターンとなった基本クラス構成におけるクラスを同じ分類とし、対象クラス構成における各クラスに対応した基本クラス構成におけるクラスを検出する。
【０１７７】
次に、ステップＳＴ４５で、対象クラス構成における各クラスにそれぞれ対応するように分類された、基本クラス構成における各クラスの係数データを算出するための正規方程式を、分類毎に足し合わせて、対象クラス構成における各クラスの係数データを算出するための正規方程式を生成する。
【０１７８】
次に、ステップＳＴ４６で、ステップＳＴ４５で生成された各正規方程式を解いて、対象クラス構成における各クラスの係数データＷｉを求め、ステップＳＴ４７で、その係数データＷｉを係数メモリに保存し、ステップＳＴ４８で処理を終了する。
【０１７９】
このように、図１７に示すフローチャートに沿って処理をすることで、図９に示す係数生成装置３００と同様の手法によって、対象クラス構成における各クラスの係数データＷｉを得ることができる。
【０１８０】
次に、第２の実施の形態について説明する。図１８は、画像信号処理装置１００Ａの構成を示している。図１に示す画像信号処理装置１００では、係数メモリ１０５に対象クラス構成における各クラスの係数データＷｉを格納しておくものであるが、図１８に示す画像信号処理装置１００Ａでは、対象クラス構成における各クラスの係数データＷｉを生成するための生成式における係数データである係数種データをＲＯＭに格納しておき、この係数種データを用いて係数データＷｉを生成するものである。この図１８において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１８１】
画像信号処理装置１００Ａは、ＲＯＭ１１０を有している。このＲＯＭ１１０には、対象クラス構成における各クラスの係数種データが予め蓄えられている。この係数種データは、係数メモリ１０５に格納する係数データＷｉを生成するための生成式の係数データである。
【０１８２】
上述したように、推定予測演算回路１０６では、予測タップのデータｘｉと、係数メモリ１０５より読み出される係数データＷｉとから、（２）式の推定式によって、作成すべきＨＤ画素データｙが演算される。
【０１８３】
この推定式の係数データＷｉ（ｉ＝１〜ｎ）は、（１３）式に示すように、パラメータｒ，ｚを含む生成式によって生成される。ここで、ｒは解像度を決めるパラメータであり、ｚはノイズ除去度を決めるパラメータである。ＲＯＭ１１０には、この生成式の係数データである係数種データｗｉ０〜ｗｉ９（ｉ＝１〜ｎ）が、クラスおよび画素位置（図６のＨＤ１〜ＨＤ４，図７のＨＤ１′〜ＨＤ４′参照）の組み合わせ毎に、記憶されている。この係数種データの生成方法については後述する。
【０１８４】
【数９】

【０１８５】
また、画像信号処理装置１００Ａは、対象クラス構成における各クラスの係数種データおよびパラメータｒ，ｚの値とを用い、（１３）式によって、クラスおよび出力画素位置の組み合わせ毎に、パラメータｒ，ｚの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路１０９を有している。この係数生成回路１０９には、ＲＯＭ１１０から係数種データｗｉ０〜ｗｉ９がロードされる。また、この係数生成回路１０９には、パラメータｒ，ｚの値が供給される。
【０１８６】
この係数生成回路１０９で生成される対象クラス構成における各クラスの係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ１０５に格納される。この係数生成回路１０９における係数データＷｉの生成は、例えば垂直ブランキング期間毎に行われる。これにより、ユーザの操作によってパラメータｒ，ｚの値が変更されても、係数メモリ１０５に格納される各クラスの係数データＷｉを、そのパラメータｒ，ｚの値に対応したものに即座に変更でき、ユーザによる解像度、ノイズ除去度の調整がスムーズに行われる。
【０１８７】
画像信号処理装置１００Ａのその他は、図１に示す画像信号処理装置１００と同様に構成され、同様の動作をする。
【０１８８】
次に、ＲＯＭ１１０に格納される、対象クラス構成における各クラスの係数種データｗｉ０〜ｗｉ９（ｉ＝１〜ｎ）の生成方法について説明する。
まず、１２個の特徴量の全てからなる基本クラス構成における各クラスの係数種データをそれぞれ算出するための正規方程式が用意される。この正規方程式は、予め学習によって得られる。学習方法について説明する。
【０１８９】
ここで、以下の説明のため、（１４）式のように、ｔｊ（ｊ＝０〜９）を定義する。

この（１４）式を用いると、（１３）式は、（１５）式のように書き換えられる。
【０１９０】
【数１０】

【０１９１】
最終的に、学習によって未定係数ｗｉｊを求める。すなわち、クラスおよび出力画素位置の組み合わせ毎に、複数のＳＤ画素データとＨＤ画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅｋ、二乗誤差の総和をＥとすると、（２）式および（１３）式を用いて、Ｅは（１６）式で表される。ここで、ｘｉｋはＳＤ画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙｋはそれに対応するｋ番目のＨＤ画像の画素データを表している。
【０１９２】
【数１１】

【０１９３】
最小二乗法による解法では、（１６）式のｗｉｊによる偏微分が０になるようなｗｉｊを求める。これは、（１７）式で示される。
【０１９４】
【数１２】

【０１９５】
以下、（１８）式、（１９）式のように、Ｘｉｐｊｑ、Ｙｉｐを定義すると、（１７）式は、行列を用いて、（２０）式のように書き換えられる。
【０１９６】
【数１３】

【０１９７】
【数１４】

【０１９８】
この（２０）式が、係数種データを算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数種データｗｉ０〜ｗｉ９（ｉ＝１〜ｎ）を求めることができる。
【０１９９】
図１９は、上述した係数種データを算出するための正規方程式の生成方法の概念を示している。教師信号ＳＴとしてのＨＤ信号から、生徒信号ＳＳとしての複数のＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるＳＤ信号を生成する。
【０２００】
解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数種データが生成される。
【０２０１】
また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。
【０２０２】
ノイズを加える量としては、例えば（２１）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ ・・・（２１）
【０２０３】
例えば、周波数特性を可変するパラメータｒを０〜８の９段階に可変し、ノイズを加える量を可変するパラメータｚを０〜８の９段階に可変し、合計８１種類のＳＤ信号を生成する。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。このパラメータｒ，ｚは、図１８の画像信号処理装置１００Ａにおけるパラメータｒ，ｚに対応するものである。
【０２０４】
次に、基本クラス構成に含まれる１２個の特徴量のうち、対象クラス構成が含む６個の特徴量だけを見て、それが同じになる基本クラス構成におけるクラスの正規方程式を足し合わせて、対象クラス構成における各クラスの係数種データをそれぞれ算出するための正規方程式を生成する。この正規方程式の足し合わせ方は、上述した対象クラス構成における各クラスの係数データを算出するための生成方程式を生成する場合と同様である（（１０-1）式〜（１０-64)式、（１１）式参照）。
【０２０５】
次に、上述したように生成された、対象クラス構成におけるクラスの係数種データをそれぞれ算出するための正規方程式をそれぞれ解いて、各クラスの係数種データを求める。この場合、この正規方程式を、掃き出し法等の一般解法で解く。
【０２０６】
図２０は、１２個の特徴量の全てからなる基本クラス構成における各クラスの係数種データをそれぞれ算出するための正規方程式を生成する正規方程式生成装置２００Ａの構成を示している。この図２０において、図８と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２０７】
正規方程式生成装置２００Ａは、入力端子２０１に入力される教師信号としてのＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路２０２Ａを有している。このＳＤ信号生成回路２０２Ａには、パラメータｒ，ｚが供給される。パラメータｒに対応して、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚに対応して、ＳＤ信号に加えるノイズの量が可変される。このＳＤ信号生成回路２０２Ａで生成されたＳＤ信号は、第１のタップ選択回路２０３および第２のタップ選択回路２０４に供給される。
【０２０８】
また正規方程式生成装置２００Ａは、正規方程式生成部２０７Ａを有している。この正規方程式生成部２０７Ａは、時間調整用の遅延回路２０６で遅延されたＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路２０３で選択的に取り出される予測タップのデータｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス検出回路２０５で得られるクラスコードＣＬｒと、パラメータｒ，ｚとから、クラスおよび出力画素位置の組み合わせ毎に、基本クラス構成における各クラスの係数種データｗｉ０〜ｗｉ９（ｉ＝１〜ｎ）を得るための正規方程式（（２０）式参照）を生成する。正規方程式メモリ２０８には、この正規方程式生成部２０７Ａで生成される正規方程式のデータが格納される。
【０２０９】
図２０に示す正規方程式生成装置２００Ａのその他は、図８に示す正規方程式生成装置２００と同様に構成される。
図２０に示す正規方程式生成装置２００Ａの動作を説明する。
入力端子２０１に入力されるＨＤ信号に対してＳＤ信号生成回路２０２Ａで水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号が生成される。この場合、ＳＤ信号生成回路２０２Ａにはパラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０２１０】
ＳＤ信号生成回路２０２Ａで得られるＳＤ信号より、第２のタップ選択回路２０４で、ＨＤ信号における注目位置の周辺に位置するクラスタップとしての５個のＳＤ画素のデータが選択的に取り出される。このクラスタップのデータはクラス検出回路２０５に供給される。クラス検出回路２０５では、クラスタップとしての５個のＳＤ画素のデータに対してそれぞれＡＤＲＣ処理が施されて２ビットコードＱｉが得られ、またクラスタップとしての５個のＳＤ画素のデータのダイナミックレンジＤＲから２ビットコード（ＤＲクラス）が得られ、さらにこれらを結合した１２ビットのビットパターンデータがクラスＣＬｒとして得られる。
【０２１１】
また、ＳＤ信号生成回路２０２Ａで得られるＳＤ信号より、第１のタップ選択回路２０３で、ＨＤ信号における注目位置の周辺に位置する予測タップのデータｘｉが選択的に取り出される。そして、遅延回路２０６で時間調整されたＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路２０３で選択的に取り出される予測タップのデータｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス検出回路２０５より出力されるクラスコードＣＬｒと、パラメータｒ，ｚとから、正規方程式生成部２０７Ａでは、クラスおよび出力画素位置の組み合わせ毎に、係数種データｗｉ０〜ｗｉ９（ｎ＝１〜９）を生成するための正規方程式（（２０）式参照）が生成される。この正規方程式のデータは、正規方程式メモリ２０８に格納される。
【０２１２】
図１８の画像信号処理装置１００ＡのＲＯＭ１１０に格納すべき、対象クラス構成における各クラスの係数種データｗｉ０〜ｗｉ９（ｎ＝１〜９）は、上述した図１の画像信号処理装置１００の係数メモリ１０５に格納すべき、対象クラス構成における各クラスの係数データＷｉ（ｉ＝１〜ｎ）を生成する場合と同様に、上述した図９の係数生成装置３００で生成することができる。
【０２１３】
ただしこの場合、ＲＯＭ３０１には、図８に示す正規方程式生成装置２００で生成された、係数データを算出するための正規方程式のデータの代わりに、図２０の正規方程式生成装置２００Ａで生成された、係数種データを算出するための正規方程式のデータが記憶される。
【０２１４】
この場合、正規方程式足し合わせ部３０４では、正規方程式分類部３０３で対象クラス構成における各クラスにそれぞれ対応するように分類された、基本クラス構成における各クラスの係数種データを算出するための正規方程式が、分類毎に足し合わされ、対象クラス構成における各クラスの係数種データを算出するための正規方程式が生成される。
【０２１５】
またこの場合、出力画素（図６のＨＤ１〜ＨＤ４、図７のＨＤ１′〜ＨＤ４′参照）毎に、正規方程式の足し合わせが行われる。そのため、正規方程式足し合わせ部３０４では、対象クラス構成における各クラスの係数種データを算出するための正規方程式が、クラスおよび出力画素位置の組み合わせ毎に生成される。
【０２１６】
そして、正規方程式足し合わせ部３０４で生成された、クラスおよび出力画素位置の組み合わせ毎に生成された正規方程式のデータは演算部３０５に供給される。この演算部３０５では、その正規方程式が解かれ、クラスおよび出力画素位置の組み合わせ毎に、係数種データｗｉ０〜ｗｉ９（ｎ＝１〜９）が求められる。この係数種データｗｉ０〜ｗｉ９は、係数メモリ３０６に格納される。
【０２１７】
このように、図９に示す係数生成装置３００を用いて、図１８の画像信号処理装置１００ＡのＲＯＭ１１０に格納される、クラスおよび出力画素位置の組み合わせ毎の、係数種データｗｉ０〜ｗｉ９を生成できる。
【０２１８】
この場合、ＲＯＭ３０１に１２個の特徴量を含む基本クラス構成における各クラスの係数種データを算出するための正規方程式を記憶しておき、対象クラス構成が含む特徴量だけ見て、それが同じになる基本クラス構成におけるクラスの正規方程式を足し合わせて、対象クラス構成における各クラスの係数種データをそれぞれ算出する正規方程式を生成し、この正規方程式を解くことで、対象クラス構成における各クラスの係数種データを生成できるものであり、一回だけの学習で任意のクラス構成における各クラスの係数種データを効率よく生成できる。したがって、対象クラス構成が含む特徴量を変更する場合に、改めて学習を行う必要はなく、短時間で容易に係数種データを生成できる。
【０２１９】
なお、図１８の画像信号処理装置１００Ａにおける処理を、例えば図１４に示すような画像信号処理装置５００によって、ソフトウェアで実現することも可能である。
【０２２０】
図２１のフローチャートを参照して、図１４に示す画像信号処理装置５００における、ＳＤ信号からＨＤ信号を得るため処理手順を説明する。
【０２２１】
まず、ステップＳＴ５１で、処理を開始し、ステップＳＴ５２で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分のＳＤ信号を入力する。このように入力されるＳＤ信号はＲＡＭ５０３に一時的に記憶される。なお、このＳＤ信号が装置内のハードディスクドライブ５０５に予め記録されている場合には、このドライブ５０５からＳＤ信号を読み出し、読み出されたＳＤ信号をＲＡＭ５０３に一時的に記憶する。
【０２２２】
そして、ステップＳＴ５３で、ＳＤ信号の全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ５４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５５に進む。
【０２２３】
ステップＳＴ５５では、ユーザがリモコン送信機５１０を操作して入力したパラメータｒ，ｚの値を例えばＲＡＭ５０３より読み込む。そして、ステップＳＴ５６で、取得したパラメータｒ，ｚおよび各クラスの係数種データを使用して、生成式（例えば（１３）式）によって、各クラスの推定式（（２）式参照）の係数データＷｉを生成する。
【０２２４】
次に、ステップＳＴ５７で、ＳＤ信号からＨＤ信号における注目位置の周辺に位置するクラスタップのデータを取得し、このクラスタップのデータに基づいて、ＨＤ信号における注目位置の画素データが属するクラスＣＬを生成する。この場合例えば、クラスタップのデータとして５個のＳＤ画素のデータを取り出し、６個の特徴量を含む対象クラス構成におけるクラスＣＬを生成する。
【０２２５】
次に、ステップＳＴ５８で、ＳＤ信号からＨＤ信号における注目位置の周辺に位置する予測タップのデータを取得する。そして、ステップＳＴ５９で、ステップＳＴ５７で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ５８で取得された予測タップのデータｘｉを使用して、（２）式の推定式に基づいて、ＨＤ信号における注目位置の画素データｙを生成する。
【０２２６】
次に、ステップＳＴ６０で、ステップＳＴ５２で入力された１フレーム分または１フィールド分のＳＤ信号の画素データの全領域においてＨＤ信号の画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ５２に戻り、次の１フレーム分または１フィールド分のＳＤ信号の入力処理に移る。一方、処理が終了していないときは、ステップＳＴ５７に戻って、次の注目位置についての処理に移る。
【０２２７】
このように、図２１に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号の画素データを処理して、ＨＤ信号の画素データを得ることができる。このように処理して得られたＨＤ信号は出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
【０２２８】
また、処理装置の図示は省略するが、図２０の正規方程式生成装置２００Ａにおける処理も、ソフトウェアで実現可能である。
【０２２９】
図２２のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ６１で、処理を開始し、ステップＳＴ６２で、学習に使われる、パラメータｒ，ｚの値を選択する。そして、ステップＳＴ６３で、全てのパラメータｒ，ｚの値の組み合わせに対して学習が終わったか否かを判定する。全ての組み合わせに対して学習が終わっていないときは、ステップＳＴ６４に進む。
【０２３０】
このステップＳＴ６４では、既知のＨＤ信号を１フレーム分または１フィールド分入力する。そして、ステップＳＴ６５で、全てのフレームまたはフィールドのＨＤ信号について処理が終了したか否かを判定する。終了したときは、ステップＳＴ６２に戻って、次のパラメータｒ，ｚの値を選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＴ６６に進む。
【０２３１】
ステップＳＴ６６では、ステップＳＴ６４で入力された教師信号ＳＴから、ステップＳＴ６２で選択されたパラメータｒ，ｚの値に対応した周波数特性およびノイズ加算量を持つ、生徒信号ＳＳとしてのＳＤ信号を生成する。
【０２３２】
そして、ステップＳＴ６７で、生徒信号ＳＳから教師信号ＳＴにおける注目位置の周辺に位置するクラスタップのデータを取得し、このクラスタップのデータに基づいて、教師信号ＳＴにおける注目位置の画素データが属するクラスＣＬｒを生成する。この場合例えば、クラスタップのデータとして５個のＳＤ画素のデータを取り出し、１２個の特徴量を含む基本クラス構成におけるクラスＣＬｒを生成する。
【０２３３】
次に、ステップＳＴ６８で、生徒信号ＳＳから教師信号ＳＴにおける注目位置の周辺に位置する予測タップのデータを取得する。そして、ステップＳＴ６９で、ステップＳＴ６７で生成されたクラスコードＣＬｒ、ステップＳＴ６８で取得された予測タップのデータｘｉ、ステップＳＴ６２で選択されたパラメータｒ，ｚの値および教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、（２０）式に示す正規方程式を得るための加算をする（（１８）式、（１９）式参照）。
【０２３４】
次に、ステップＳＴ７０で、ステップＳＴ６４で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ６４に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ６７に戻って、次の注目位置についての処理に移る。
【０２３５】
上述したステップＳＴ６３で、パラメータｒ，ｚの値の全ての組み合わせに対して学習が終わったときは、ステップＳＴ７１に進む。このステップＳＴ７１では、上述のステップＳＴ６９の加算処理によって生成された、基本クラス構成における各クラスの正規方程式のデータをメモリに保存し、その後にステップＳＴ７２で、処理を終了する。
【０２３６】
このように、図２２に示すフローチャートに沿って処理をすることで、図２０に示す正規方程式生成装置２００Ａと同様の手法によって、各クラスにおける係数種データを算出するための正規方程式を生成できる。
【０２３７】
なお、上述実施の形態においては、基本クラス構成に１２個の特徴量が含まれるものを示したが、この発明はこれに限定されない。また、１個の特徴量が１ビットで表されるものを示したが、１個の特徴量が２ビット以上で表されるものにもこの発明を同様に適用できる。
【０２３８】
また、上述実施の形態においては、ＳＤ信号をＨＤ信号に変換する例を示したが、この発明はそれに限定されるものではなく、クラス分類を伴う変換処理を行って第１の画像信号を第２の画像信号に変換するその他の場合にも適用できる。
【０２３９】
また、上述実施の形態においては、評価値として（１２）式で示すＳＮＲを用いるものを示したが、評価値はこれに限定されるものではない。要は、それに依るクラス分類を行った際に、ＳＤ信号を最も良好にＨＤ信号に変換し得るクラス構成が、最適なクラス構成として選択されるような、評価値であればよい。
【０２４０】
また、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
【０２４１】
【発明の効果】
この発明によれば、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データまたはこの係数データを生成するための生成式における係数データである係数種データ（係数データ等）であって、複数個の特徴量のうち任意の一個または複数個の特徴量からなる対象クラス構成における各クラスの係数データ等を、複数個の特徴量の全てからなる基本クラス構成における各クラスの係数データ等をそれぞれ算出するための正規方程式を用意しておき、対象クラス構成が含む特徴量だけ見て、それが同じになる基本クラス構成におけるクラスの正規方程式を足し合わせて、対象クラス構成における各クラスの係数データ等をそれぞれ算出する正規方程式を生成して求めるものであり、一回だけの学習で任意のクラス構成における各クラスの係数データ等を効率よく生成できる。したがって、対象クラス構成が含む特徴量を変更する場合に、改めて学習を行う必要はなく、短時間で容易に係数データを生成できる。
【０２４２】
また、この発明によれば、第１の情報信号を第２の情報信号に変換する際に、この第２の情報信号における注目位置の情報データをクラス分類して生成するために用いられるクラス構成を、ｎ個（ｎは整数）の特徴量からｒ個（ｒは整数であって、ｒ＜ｎ）の特徴量を選択して得るものにあって、既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成する動作と、そしてこの（ｎ−ｉ）個のクラス構成の中から任意の評価値を使って最適なクラス構成を選ぶ動作とを、選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、ｉを０からｒ−１まで順次変化させて繰り返し、ｒ個の特徴量からなるクラス構成を得るものであり、人間の経験に頼ることなく、最適なクラス構成を短時間で得ることができる。
【０２４３】
また、この発明によれば、第１の情報信号を第２の情報信号に変換する際に、この第２の情報信号における注目位置の情報データをクラス分類して生成するものであって、そのために用いられるクラス構成はｎ個（ｎは整数）の特徴量から選択されたｒ個（ｒは整数であって、ｒ＜ｎ）の特徴量からなり、このｒ個の特徴量を、既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成する動作と、そしてこの（ｎ−ｉ）個のクラス構成の中から任意の評価値を使って最適なクラス構成を選ぶ動作とを、選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、ｉを０からｒ−１まで順次変化させて繰り返すことで得られるものとするものであり、最適なクラス構成によるクラス分類を伴う変換処理を行って第１の情報信号から第２の情報信号に良好に変換できる。
【図面の簡単な説明】
【図１】画像信号処理装置の構成を示すブロック図である。
【図２】５２５ｉ信号と１０５０ｉ信号の画素位置関係を示す図である。
【図３】クラスタップを説明するための図である。
【図４】ダイナミックレンジＤＲクラスを説明するための図である。
【図５】基本クラス構成のビットパターンデータを示す図である。
【図６】ＨＤ信号の単位画素ブロック内の４画素の中心予測タップからの位相ずれ（奇数フィールド）を示す図である。
【図７】ＨＤ信号の単位画素ブロック内の４画素の中心予測タップからの位相ずれ（偶数フィールド）を示す図である。
【図８】正規方程式生成装置の構成を示すブロック図である。
【図９】係数生成装置の構成を示すブロック図である。
【図１０】対象クラス構成における各クラスに対応した基本クラス構成のクラス検出処理を説明するための図である。
【図１１】対象クラス構成生成処理の手順を示すフローチャートである。
【図１２】対象クラス構成生成装置の構成を示すブロック図である。
【図１３】対象クラス構成の生成処理例を示す図である。
【図１４】ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。
【図１５】画像信号処理を示すフローチャートである。
【図１６】正規方程式生成処理を示すフローチャートである。
【図１７】係数生成処理を示すフローチャートである。
【図１８】画像信号処理装置の構成を示すブロック図である。
【図１９】係数種データ用の正規方程式の生成方法を説明するための図である。
【図２０】正規方程式生成装置の構成を示すブロック図である。
【図２１】画像信号処理を示すフローチャートである。
【図２２】正規方程式生成処理を示すフローチャートである。
【符号の説明】
１００，１００Ａ・・・画像信号処理装置、１０１・・・入力端子、１０２・・・第１のタップ選択回路、１０３・・・第２のタップ選択回路、１０４・・・クラス検出回路、１０５・・・係数メモリ、１０６・・・推定予測演算回路、１０７・・・後処理回路、１０８・・・出力端子、１０９・・・係数生成回路、１１０・・・ＲＯＭ、２００，２００Ａ・・・正規方程式生成装置、２０１・・・入力端子、２０２，２０２Ａ・・・ＳＤ信号生成回路、２０３・・・第１のタップ選択回路、２０４・・・第２のタップ選択回路、２０５・・・クラス検出回路、２０６・・・遅延回路、２０７，２０７Ａ・・・正規方程式生成部、２０８・・・正規方程式メモリ、３００・・・係数生成装置、３０１・・・ＲＯＭ、３０２・・・マスクビット生成部、３０３・・・正規方程式分類部、３０４・・・正規方程式足し合わせ部、３０５・・・演算部、３０６・・・係数メモリ、４００・・・対象クラス構成生成装置、４０１・・・クラス構成生成部、４０２・・・クラス構成選択部、４０３・・・選択済特徴量数判定部、４０４・・・対象クラス構成出力部、４０５・・・出力端子、４２１・・・係数生成部、４２２・・・画像信号処理部、４２３・・・評価値算出部、４２４・・・評価値判定部、５００・・・画像信号処理装置

Claims (12)

1. 複数の情報データからなる第１の情報信号を、当該第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データ、または該係数データを生成するための生成式における係数データである係数種データを生成する装置であって、
   上記第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく複数個の特徴量からなる基本クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式を記憶しておく記憶手段と、
   上記複数個の特徴量のうち、選択された任意の一個または複数個の特徴量からなる対象クラス構成が含む特徴量だけを見て、それが同じになる上記基本クラス構成におけるクラスの、上記記憶手段に記憶されている正規方程式を用いて、上記対象クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式を生成する正規方程式生成手段と、
   上記正規方程式生成手段で生成された、上記対象クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式をそれぞれ解いて、該各クラスの係数データまたは係数種データを求める演算手段とを備え、
   上記複数個の特徴量は、少なくとも上記複数の画素それぞれの画素値特徴量である
   ことを特徴とする係数生成装置。
2. 上記正規方程式生成手段は、
   上記対象クラス構成が含む特徴量だけを見て、それが同じになる上記基本クラス構成におけるクラスを検出することで、上記対象クラス構成における各クラスにそれぞれ対応した上記基本クラス構成におけるクラスを検出するクラス検出手段と、
   上記クラス検出手段で検出された上記対象クラス構成における各クラスに対応した上記基本クラス構成におけるクラスの正規方程式を、クラス毎に足し合わせて、該対象クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式を得る正規方程式足し合わせ手段とを有する
   ことを特徴とする請求項１に記載の係数生成装置。
3. 上記基本クラス構成にｎ個の特徴量が含まれ、該基本クラス構成における各クラスが、それぞれの特徴量を１ビットで表したｎビットデータで示され、
   上記クラス検出手段は、
   上記対象クラス構成に含まれる特徴量に対応するビットを“１”としたｎビットのマスクビットパターンデータを生成するマスクビット生成手段と、
   上記基本クラス構成における各クラスを示すｎビットデータおよび上記マスクビット生成手段で生成されたマスクビットパターンデータのビット毎の論理積を計算し、計算結果が同じビットパターンとなった上記基本クラス構成におけるクラスを同じ分類として、上記対象クラス構成における各クラスにそれぞれ対応した上記基本クラス構成におけるクラスを検出するクラス検出手段とを有する
   ことを特徴とする請求項２に記載の係数生成装置。
4. 複数の情報データからなる第１の情報信号を、当該第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データ、または該係数データを生成するための生成式における係数データである係数種データを生成する方法であって、
   上記第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく複数個の特徴量の全てからなる基本クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式が用意され、
   上記複数個の特徴量のうち、選択された任意の一個または複数個の特徴量からなる対象クラス構成が含む特徴量だけを見て、それが同じになる上記基本クラス構成におけるクラスの上記正規方程式を用いて、上記対象クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式を生成する工程と、
   上記生成された、上記対象クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式をそれぞれ解いて、該各クラスの係数データまたは係数種データを求める工程とを備え、
   上記複数個の特徴量は、少なくとも上記複数の画素それぞれの画素値特徴量である
   ことを特徴とする係数生成方法。
5. 複数の情報データからなる第１の情報信号を、当該第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データ、または該係数データを生成するための生成式における係数データである係数種データを生成するために、
   上記第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく複数個の特徴量の全てからなる基本クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式が用意され、
   上記複数個の特徴量のうち、選択された任意の一個または複数個の特徴量からなる対象クラス構成が含む特徴量だけを見て、それが同じになる上記基本クラス構成におけるクラスの上記正規方程式を用いて、上記対象クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式を生成する工程と、
   上記生成された、上記対象クラス構成における各クラスの正規方程式をそれぞれ解いて、該各クラスの係数データまたは係数種データを求める工程とを備え、
   上記複数個の特徴量は、少なくとも上記複数の画素それぞれの画素値特徴量である
   る係数生成方法をコンピュータに実行させるためのプログラム。
6. 複数の情報データからなる第１の情報信号を、当該第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する際に上記第２の情報信号における注目位置の情報データをクラス分類して生成するために用いられるクラス構成を、ｎ個（ｎは整数）の上記第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく特徴量からｒ個（ｒは整数であって、ｒ＜ｎ）の該特徴量を選択して得るクラス構成生成装置であって、
   既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成するクラス構成生成手段と、
   上記クラス構成生成手段で生成された（ｎ−ｉ）個の生成クラス構成の中から任意の評価値を使って最適なクラス構成を選ぶクラス構成選択手段とを備え、
   上記特徴量は、少なくとも上記複数の画素それぞれの画素値特徴量であり、
   上記クラス構成選択手段で選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、上記クラス構成生成手段および上記クラス構成選択手段の動作を上記ｉを０からｒ−１まで順次変化させて繰り返し、ｒ個の特徴量からなるクラス構成を得る
   ことを特徴とするクラス構成生成装置。
7. 上記第２の情報信号における注目位置の情報データは、該注目位置の情報データが属するクラスに対応した推定式の係数データを用い、該推定式の演算により生成され、
   上記クラス構成選択手段は、
   上記（ｎ−ｉ）個の生成クラス構成のそれぞれにおける各クラスの係数データを生成する係数生成部と、
   クラス構成毎に、上記係数生成部で生成された係数データを用いて、上記第２の情報信号に対応した評価用情報信号から作成された、上記第１の情報信号に対応した情報信号を、上記第２の情報信号に対応した情報信号に変換する情報信号処理部と、
   クラス構成毎に、上記情報信号処理部で得られる情報信号および上記評価用情報信号との情報データ毎の差を用いて評価値を求める評価値算出部と、
   上記評価値算出部で得られる各クラス構成の評価値を使って上記最適なクラス構成を選ぶ評価値判定部とを有する
   ことを特徴とする請求項６に記載のクラス構成生成装置。
8. 上記係数生成部は、
   ｎ個の特徴量の全てからなる基本クラス構成における各クラスの係数データまたは該係数データを生成するための生成式における係数データである係数種データをそれぞれ算出するための正規方程式を記憶しておく記憶手段と、
   上記（ｎ−ｉ）個の生成クラス構成の情報に従って、クラス構成毎に、該生成クラス構成が含む特徴量だけを見て、それが同じになる上記基本クラス構成におけるクラスの、上記記憶手段に記憶されている正規方程式を足し合わせて、上記生成クラス構成における各クラスの係数データまたは係数種データをそれぞれ算出するための正規方程式を生成する正規方程式生成手段と、
   クラス構成毎に、上記正規方程式生成手段で生成された、上記生成クラス構成における各クラスの正規方程式をそれぞれ解いて、該各クラスの係数データまたは係数種データを求める演算手段とを有する
   ことを特徴とする請求項７に記載のクラス構成生成装置。
9. 複数の情報データからなる第１の情報信号を、当該第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する際に上記第２の情報信号における注目位置の情報データをクラス分類して生成するために用いられるクラス構成を、ｎ個（ｎは整数）の上記第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく特徴量からｒ個（ｒは整数であって、ｒ＜ｎ）の該特徴量を選択して得るクラス構成生成方法であって、
   既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成するクラス構成生成工程と、
   上記クラス構成生成工程で生成された（ｎ−ｉ）個の生成クラス構成の中から任意の評価値を使って最適なクラス構成を選ぶクラス構成選択工程とを備え、
   上記特徴量は、少なくとも上記複数の画素それぞれの画素値特徴量であり、
   上記クラス構成選択工程で選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、上記クラス構成生成工程および上記クラス構成選択工程の動作を上記ｉを０からｒ−１まで順次変化させて繰り返し、ｒ個の特徴量からなるクラス構成を得る
   ことを特徴とするクラス構成生成方法。
10. 複数の情報データからなる第１の情報信号を、当該第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する際に上記第２の情報信号における注目位置の情報データをクラス分類して生成するために用いられるクラス構成を、ｎ個（ｎは整数）の上記第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく特徴量からｒ個（ｒは整数であって、ｒ＜ｎ）の該特徴量を選択して得るために、
    既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成するクラス構成生成工程と、
    上記クラス構成生成工程で生成された（ｎ−ｉ）個の生成クラス構成の中から任意の評価値を使って最適なクラス構成を選ぶクラス構成選択工程とを備え、
    上記特徴量は、少なくとも上記複数の画素それぞれの画素値特徴量であり、
    上記クラス構成選択工程で選ばれたクラス構成で使われた特徴量を既に選ばれた特徴量とし、上記クラス構成生成工程および上記クラス構成選択工程の動作を上記ｉを０からｒ−１まで順次変化させて繰り返し、ｒ個の特徴量からなるクラス構成を得るクラス構成生成方法をコンピュータに実行させるためのプログラム。
11. 複数の情報データからなる第１の情報信号を、当該第１の情報信号よりも高品質な信号である複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、
    上記第１の情報信号から、上記第２の情報信号における注目位置の情報データが属する所定のクラス構成におけるクラスを検出するクラス検出手段と、
    上記クラス検出手段で検出されたクラスに対応して、上記第２の情報信号における注目位置の情報データを生成する情報データ生成手段とを備え、
    上記所定のクラス構成は、ｎ個（ｎは整数）の上記第２の情報信号における情報データのクラス分類に用いられる複数の画素の画素値に基づく特徴量から選択されたｒ個（ｒは整数であって、ｒ＜ｎ）の特徴量からなり、
    上記特徴量は、少なくとも上記複数の画素それぞれの画素値特徴量であり、
    上記ｒ個の特徴量は、
    既に選ばれているｉ個（ｉは整数）の特徴量に加えて残りの（ｎ−ｉ）個の特徴量から一つ選んだ（ｎ−ｉ）個のクラス構成を生成する動作と、この生成された（ｎ−ｉ）個の生成クラス構成の中から任意の評価値を使って最適なクラス構成を選ぶ動作とを、上記選ばれたクラス構成で使われた特徴量を上記既に選ばれた特徴量とし、上記ｉを０からｒ−１まで順次変化させて繰り返すことで得られた
    ことを特徴とする情報信号処理装置。
12. 上記情報データ生成手段は、
    上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
    上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
    上記係数データ発生手段で発生された係数データおよび上記データ選択手段で選択された複数の情報データを用い、上記推定式の演算により上記第２の情報信号における注目位置の情報データを算出して得る演算手段とを有する
    ことを特徴とする請求項１１に記載の情報信号処理装置。

Images