WO2001065847A1 - Data processing device and method, and recording medium and program - Google Patents

Description

明細書 データ処理装置及び方法、 並びに記録媒体及びプログラム 技術分野 本発明は、 データ処理装置及び方法、 並びに記録媒体及びプログラムに関し、 特に、 例えば、 各種の画質の画像を提供すること等ができるようにするデータ処 理装置及び方法、 並びに記録媒体及びプログラムに関する。 背景技術 近年、 わが国においても、 ケーブルテレビジョン放送や、 ディ ジタル衛星放送 といった、 有料での番組放送サービスの提供が浸透しつつある。

ところで、 有料での番組放送サービスにおいては、 視聴可能な番組に応じて、 あるいは実際に視聴した番組に応じて、 課金が行われるのが一般的であるが、 さ らに、 番組としての画像の画質を、 ユーザが支払う視聴料等に応じて変えること ができれば、 よりきめ細やかなサービスを提供することができる。 発明の開示 本発明は、 このような状況に鑑みてなされたものであり、 各種の画質の画像を 提供すること等ができるようにするものである。

本発明に係るデータ処理装置は、 デ一夕の品質を向上させるための向上情報を 生成する向上情報生成手段と、 データに対して向上情報を埋め込む埋込手段とを 備える。

向上情報生成手段は、 データの品質を向上させた品質向上データの予測値を予 測するのに用いる予測係数を、 向上情報として生成するようにしてもよい。 向上情報生成手段は、 予測係数を所定のクラスごとに生成するようにしてもよ い

向上^報生成手段は、 教師となる教師データのうちの注目している注目教師デ —夕のクラスを求めるのに fflいるクラスタ ヅブを、 生徒となる生徒データを用い て構成するクラスタップ構成手段と、 クラスタ ップに基づいて、 注目教師デ一夕 のクラスを求めるクラス分類を行うクラス分類手段と、 注目教師データを予測す るのに、 予測係数とともに川いる予測タップを、 生徒データを用いて構成する予 測タップ構成手段と、 教師データ及び予測タップを用いて、 クラスごとの予測係 数を求める予測係数演算手段とを備えるようにしてもよい。

向上惜報生成手段は、 複数種類の向上情報を生成するようにしてもよい。 向上†r 報生成手段は、 異なるクラス数についての予測係数を、 複数種類の向上 情報として生成するようにしてもよい。

向上情報生成手段は、 ¾なる品質の生徒データ又は教師データを用いることに より求められる複数種類の予測係数を、 複数種類の向上情報として生成するよう にしてもよい。

向上情報生成手段は、 少なく とも、 予測係数と、 線形補間を行うための情報と を、 複数種類の向上悄報として生成するようにしてもよい。

向上情報生成手段は、 異なる構成のクラスタップ又は予測タッブを用いること により求められる複数種類の予測係数を、 複数種類の向上情報として生成するよ うにしてもよい。

向上情報生成手段は、 クラス分類を異なる方法で行うことによ り求められる複 数種類の予測係数を、 複数種類の向上情報として生成するようにしてもよい。 向上情報生成手段は、 データの品質を向上させた品質向上データの予測値を予 測するのに用いる、 データのクラスを表すクラスコードを、 向上情報として生成 するようにしてもよい。

向上情報生成手段は、 学習の教師となる教師データのうちの注目している注目 教師データを予測するのに用いる予測タッブを、 学習の生徒となる生徒データを 用いて構成する予測タップ構成手段と、 学習を行うことにより求められたクラス コードごとの予測係数を記憶する予測係数記 手段と、 予測タ ップ及び予測係数 を用いて、 s教師データの予測値を求める予測演算手段と、 注目教師データの 予測値を最小にする 測係数のクラスコ一ドを検出するクラスコ一 ド検出手段と を備え、 クラスコード検出手段において検出されたクラスコードを、 向上情報と して出力するようにしてもよい。

向上 ½報生成 段は、 習の教師となる教師データのうちの注目 している注目 教師データのクラスを求めるのに fflいるクラス夕 ッブを、 教師デ一夕を用いて構 成するクラスタ ップ構成手段と、 クラスタップに基づいて、 注目教師データのク ラスを求めるクラス分類を行うクラス分類手段とを備え、 クラス分類手段におい て求められたクラスに対応するクラスコードを、 向上情報として出力するように してもよい。

.込！¹段は、 データが^するエネルギの偏りを利 fflして、 データ及び向上情報 を元に戻すことができるように、 データに向上 ½報を埋め込むようにしてもよい c 埋込手段は、 スペク トラム拡散を行うことにより、 データに向上情報を埋め込 むようにしてもよい。

埋込手段は、 データの 1 ビッ ト以上を、 向上情報に変更することにより、 デ一 夕に向上情報を ϋめ込むようにしてもよい。

データは、 画像データであり、 向上情報は、 画像データの画質を向上させる情 報であるようにしてもよい。

本発明に係るデータ処 方法は、 データの品質を向上させるための向上情報を 生成する 上 ·報 成ステツプと、 データに対して向上情報を埋め込む埋込ステ ップとおする。

本発明に係る記録媒体は、 データの品質を向上させるための向上情報を生成す る向上情報生成ステツプと、 データに対して向上情報を埋め込む埋込ステツブと を有するプログラムが記 されている。

本発明に係るプログラムは、 データの品質を向上させるための向上情報を生成 する向上 報生成ステップと、 データに対して向上情報を埋め込む埋込ステップ とを有する。

本発明に係るデータ処理装 は、 埋込デ一夕から向上情報を抽出する抽出手段 と、 データの ι„ を h t,'j を川いて向上させる向上手段とを備える。

向上怙報は、 データの品 を向上させた品質向上データの予測値を予測するの に用いる予測係数であるようにしてもよく、 この場合、 向上手段は、 データ及び 予測係数を用いることにより、 品質向上データの予測値を求めるようにしてもよ い。

向上情報は、 所定のクラスごとに求められた予測係数であるようにしてもよく、 この場合、 向上手段は、 データ及びクラスごとの予測係数を用いることにより、 品質向上データの予測値を求めるようにしてもよい。

向上手段は、 注目している品質向上データである注目品質向上データのクラス を求めるのに用いるクラスタップを、 データを用いて構成するクラスタツブ構成 手段と、 クラスタップに基づいて、 注目品質向上データのクラスを求めるクラス 分類を行うクラス分類手段と、 注目品質向上データを予測するのに、 予測係数と ともに用いる予測タップを、 データを用いて構成する予測タップ構成手段と、 注 目品質向上データの予測値を、 その注目品質向上データのクラスの予測係数と、 予測タップとを用いて求める予測手段とを備えるようにしてもよい。

向上情報は、 データの品質を向上させた品質向上データの予測値を予測するの に用いる所定のクラスごとの予測係数の、 そのクラスを表すクラスコ一ドである ようにしてもよく、 この場合、 向上手段は、 データ及びクラスコードに対応する 予測係数を用いることにより、 品質向上データの予測値を求めるようにしてもよ い。

向上手段は、 注 tlしている品質向上データである注目品質向上データを予測す るのに、 予測係数とともに fflいる予測タ ップを、 データを用いて構成する予測タ ップ構成手段と、 注目品質向上データの予測値を、 向上情報としてのクラスコー ドに対応する予測係数と、 予測タ ップとを用いて求める予測手段とを備えるよう にしてもよい。

埋込データには、 複数種類の向上情報が埋め込まれるようにしてもよい。

埋込データには、 異なるクラス数についての予測係数が、 複数種類の向上情報 として埋め込まれるようにしてもよい。

予測係数は、 生徒となる生徒データと、 教師となる教師データとを用いて生成 されるようにしてもよく、 この場合、 埋込データには、 異なる品質の生徒データ 又は教師データを用いることによ り求められる複数種類の予測係数が、 複数種類 の向上情報として埋め込まれるようにしてもよい。

埋込データには、 少なく とも、 予測係数と、 線形補間を行うための情報とが、 複数種類の向上情報として埋め込まれるようにしてもよい。

埋込データには、 異なる構成のクラスタップ又は予測タ ップを用いることによ り求められる複数種類の予測係数が、 複数種類の向上情報として埋め込まれるよ うにしてもよい。

埋込データには、 クラス分類を¾なる方法で行うことにより求められる複数種 類の予測係数が、 複数種類の向上情報として埋め込まれるようにしてもよい。 本発明に係るデータ処理装置は、 複数種類の向上情報から、 データの品質を向 上させるのに用いるものを選択する向上情報選択手段をさらに備えるようにして もよい。

抽出手段は、 データが有するエネルギの偏りを利用して、 埋込データから向上 情報を抽出するようにしてもよい。

抽出手段は、 逆スペク トラム拡散を行うことにより、 埋込データから向上情報 を抽出するようにしてもよい。

抽出手段は、 埋込データの 1 ビッ ト以上を、 向上情報として抽出するようにし てもよい。

データは、 画像データであり、 向上情報は、 画像データの画質を向上させる情 報であるようにしてもよい。

本発明に係るデータ処理方法は、 埋込データから向上情報を抽出する抽出ステ ップと、 データの品質を向上情報を用いて向上させる向上ステツプとを有する。 本発明に係る記録媒体は、 埋込データから向上情報を抽出する抽出ステツプと、 データの品質を向上情報を用いて向上させる向上ステップとを有するプログラム が記録されている。

本発明に係るプログラムは、 埋込データから向上情報を抽出する抽出ステツプ と、 データの品質を向上情報を用いて向上させる向上ステップとを有する。

本発明に係るデ一夕処理装置は、 データの品質を向上させるための複数種類の 向上情報を生成する向上情報生成手段と、 データと、 1種類以上の向上情報とを 送信する送信手段とを備える。 本発明に係るデータ処理装置は、 複数種類の向上 ½報の中から、 データととも に送信するものを選択する向上情報選択手段をさらに備えるようにしてもよい。 向上 報透択丁:段は、 データを受信する受信装 Eからの要求に応じて、 向上情 報を選択するようにしてもよい。

本発明に係るデータ処理装置は、 向上情報選択手段が選択する向上情報に応じ て、 課金処理を行う課金手段をさらに i えるようにしてもよい。

向上情報生成手段は、 少なく とも、 データの品質を 上させた品質向上データ の予測値を予測するのに用いる予測係数を、 向上情報として生成するようにして もよい。

向上情報生成！ 段は、 予測係数を所定のクラスごとに生成するようにしてもよ レ、。

向上 ½報生成 段は、 教師となる教師データのうちの注目している注目教師デ —夕のクラスを求めるのに用いるクラスタップを、 生徒となる生徒データを用い て構成するクラスタップ構成手段と、 クラスタップに基づいて、 注目教師データ のクラスを求めるクラス分類を行うクラス分類手段と、 注目教師データを予測す るのに、 ？測係数とともに用いる予測タップを、 生徒データを用いて構成する予 測.タップ構成手段と、 教師データ及び予測タップを用いて、 クラスごとの予測係 数を求める ]''測係数演^了ニ段とを備えるようにしてもよい。

向上情報生成-丁:段は、 Kなるクラス数についての予測係数を、 複数種類の向上 情報として生成するようにしてもよい。

向上情報生成手段は、 κなる品質の生徒データ又は教師データを用いることに より求められる複数種類の予測係数を、 複数種類の向上情報として生成するよう にしてもよい。

向上情報生成手段は、 少なく とも、 予測係数と、 線形補問を行うための情報と を、 複数種類の向上' i報として生成するようにしてもよい。

向上情報生成手段は、 異なる構成のクラスタップ又は予測夕 ップを用いること により求められる複数種類の予測係数を、 複数種類の向上情報として生成するよ うにしてもよい。

向上情報生成手段は、 クラス分類を異なる方法で行うことにより求められる複 数種類の予測係数を、 ¾数極類の向上 報として ' 成するようにしてもよい。 送 段は、 データが ίίするエネルギの (0りを利川して、 データ及び向上情報 を元に Κすことができるように、 データに向上 報^め込んで、 データ及び 1種 類以上の向上^報を送 ϋするようにしてもよい。

送 ί 手段は、 スペク トラム拡散を行うことによ り、 データに向上情報埋め込ん で、 データ及び I f 類以 ヒの向上情報を送信するようにしてもよい。

送 段は、 データの 1 ビッ ト以上を、 向上悄報に変更することにより、 デー タに向 ヒ½報埤め込んで、 データ及び 1種類以上の向上情報を送信するようにし てもよい。

送^丁:段は、 データと、 複数砘類の 上情報のすべてを送 するようにしても よい。

データは、 画像データであり、 向上怙報は、 画像データの画質を向上させる情 報であるようにしてもよい。

本発明に係るデータ処理/ J法は、 データの品質を向上させるための複数種類の 向上情報を生成する向上' 報 ' 成ステツプと、 データと、 1種類以上の向上情報 とを送信する送信ステップとを冇する。

本発明に係る記録媒体は、 データの品質を向上させるための複数種類の向上情 報を生成する向 h怙報 'Γ:成ステップと、 デ一夕と、 1種類以上の向上情報とを送 する送 βステップとをィ ίするプログラムが記録されている。

本発明に係るプログラムは、 データの品質を向上させるための複数種類の向上 情報を生成する ίή卜 報 ΐ成ステツプと、 デ一夕と、 1種類以上の向上情報とを 送信する送信ステツプとを冇する。

本発明に係るデータ処 J 装 ΪΗは、 デ一夕及び 1種類以上の向上情報を受信する 受信手段と、 データの,¹ π',質を、 1種類以上の向上情報のうちのいずれかを用いて 向上させる 上手段と、 データの品質を向上させるのに川し、た向上情報に応じて、 課金処理を irう, 段とを備える。

受信手段は、 ¾数砘類の ] 報を受信するようにしてもよく、 この場合、 本 発明に係るデータ処 P1!装 IRは、 複数種類の向 ヒ ^: 報の中から、 データの品質を向 ヒさせるのに川いるものを選択する向上' 報選択手段をさらに ( えるようにして もよい。

向上情報選択手段は、 ュ一ザからの要求に応じて、 向上情報を選択するように してもよい。

本発明に係るデータ処理装置は、 データの品質を向上させるのに用いる向上情 報を、 データ及び 1種類以上の向上情報を送信する送信装置に要求する要求手段 をさらに備えるようにしてもよく、 この場合、 受信手段は、 送信装置が要求手段 の要求に応じて送 してく る向上情報を受信するようにしてもよい。

向上情報は、 データの品質を向上させた品質向上データの予測値を予測するの に用いる予測係数であるようにしてもよく、 この場合、 向上手段は、 データ及び 予測係数を用いることにより、 品質向上データの予測値を求めるようにしてもよ い。

向上† 報は、 所定のクラスごとに求められた予測係数であるようにしてもよく、 この場合、 向上手段は、 データ及びクラスごとの予測係数を用いることにより、 品質向上データの予測値を求めるようにしてもよい。

向上手段は、 注目している品質向上データである注目品質向上データのクラス を求めるのに用いるクラスタップを、 データを用いて構成するクラスタップ構成 手段と、 クラスタップに基づいて、 注目品質向上データのクラスを求めるクラス 分類を行うクラス分類手段と、 注目品質向上データを予測するのに、 予測係数と ともに fflいる予測タップを、 データを用いて構成する予測タップ構成手段と、 注 目品質向上データの予測値を、 その注目品質向上データのクラスの予測係数と、 予測タップとを用いて求める予測手段とを備えるようにしてもよい。

受信手段は、 複数種類の向上情報を受信するようにしてもよい。

受信手段は、 異なるクラス数についての予測係数を、 複数種類の向上情報とし て受信するようにしてもよい。

予測係数は、 生徒となる生徒デ一夕と、 教師となる教師データとを用いて生成 されるようにしてもよく、 この場合、 受信手段は、 異なる品質の生徒データ又は 教師データを用いることにより求められる複数種類の予測係数を、 複数種類の向 上情報として受信するようにしてもよい。

受信手段は、 少なく とも、 予測係数と、 線形補間を行うための情報とを、 複数 種類の向上情報として受信するようにしてもよい。

受信手段は、 Sなる構成のクラスタ ップ又は予測タップを用いることにより求 められる複数種類の予測係数を、 複数種類の向上情報として受信するようにして もよい。

受信手段は、 クラス分類を異なる方法で行うことにより求められる複数種類の 予測係数を、 複数種類の向上情報として受信するようにしてもよい。

受信手段は、 データに、 1種類以上の向上情報が ¾め込まれた埋込データを受 ί言するようにしてもよく、 この場合、 データ処理装置は、 埋込データから向上情 報を抽出する抽出手段をさらに備えるようにしてもよい。

抽出手段は、 データが有するエネルギの偏りを利用して、 埋込データから向上 情報を抽出するようにしてもよい。

抽出手段は、 逆スペク トラム拡散を行うことにより、 埋込データから向上情報 を抽出するようにしてもよい。

抽出手段は、 埋込データの 1 ビッ ト以上を、 向上情報として抽出するようにし てもよい。

データは、 画像データであり、 向上情報は、 画像データの画質を向上させる情 報であるようにしてもよい。

本発明に係るデータ処理方法は、 データ及び 1種類以上の向上情報を受信する 受信ステップと、 データの品質を、 1種類以上の向上情報のうちのいずれかを用 いて向上させる向上ステップと、 データの品質を向上させるのに用いた向上情報 に応じて、 課金処理を行う課金ステツブとを有する。

本発明に係る記録媒体は、 データ及び 1種類以上の向上情報を受信する受信ス チップと、 データの品質を、 1種類以上の向上情報のうちのいずれかを用いて向 上させる向上ステップと、 データの品質を向上させるのに用いた向上情報に応じ て、 課金処理を行う課金ステップとを有するプログラムが記録されている。 本発明に係るプログラムは、 データ及び 1種類以上の向上情報を受信する受信 ステップと、 データの品質を、 1種類以上の向上情報のうちのいずれかを用いて 向上させる向上ステップと、 データの品質を向上させるのに用いた向上情報に応 じて、 課金処理を行う課金ステップとを有する。 本発明に係るデータ処理装置及び方法、 並びに^録媒体及びプログラムにおい ては、 データの品質を向上させるための向上情報が^成され、 データに対して向 上情報が ifめ込まれる。

本発明に (系るデータ処理装置及び方法、 並びに記録媒体及びプログラムにおい ては、 埋込データから向上情報が抽出され、 デ一夕の品質が、 向上情報を用いて 向上される。

本発明に係るデータ処理装 及び方法、 並びに記録媒体及びプログラムにおい ては、 データの品 Kを向上させるための複数種類の向上情報が生成され、 デ一夕 と、 1 類以上の向上情報とが送信される。

本発明に係るデータ処理装 ϋ及び方法、 並びに記録媒体及びプログラムにおい ては、 データ及び 1種類以 ヒの向上情報が受信され、 データの品質が、 1種類以 上の向上^報のうちのいずれかを用いて向上される一方、 そのデータの品質を向 上させるのに fflいた向上情報に応じて、 課金処理が行われる。 図面の簡単な説明 図 1は、 本発明を適用した放送システムの一実施の形態の構成例を示す図であ る。

図 2は、 送^ [S 1 の構成例を示すブロック図である。

図 3は、 送信装^ 1の処理を説明するフ口一チヤ一トである。

図 4は、 受信装 ^ 3の構成例を示すブロック図である。

図 5は、 受信装置 3の処理を説明するフローチヤ一トである。

図 6は、 向上情報生成部 1 1の第 1の構成例を示すブロック図である。

図 7は、 予測タップ （クラスタ ップ） の構成を示す図である。

図 8 A , 8 B , 8 。及び8 0は、 方式選択信号と向上方式との対応関係を示す 図である。

図 9は、 図 6の向上佶報生成部 1 1 の処理を説明するフローチャートである。 図 1 ◦は、 向上 報生成部 1 1の第 2の構成例を示すブロック図である。 図 1 1は、 図 1 0の向上 報生成部 1 1 の処理を説明するフローチャートであ る。

m l 2：ま、 品 fr>] ヒ部 2 4の^ l の構成例を示すブロック図である。

図 1 3は、 m 1 2の,', , f|向上部 2 4の処理を説明するフローチャートである。 図 1 4は、 向上 報 成部 1 1の第 3の構成例を示すブロック図である。

図 1 5は、 図 1 4の向上 ½報生成部 1 1の処理を説明するフローチャートであ る。

図 1 6は、 Γ'測係数を求める :習装匿の第 1の構成例を示すブロック図である 図 1 7：ま、 品質向 ヒ; 2 4の第 2の構成例を示すブロック図である。

図 1 8は、 図 1 7の品 fi i I: i¾ 2 4の処现を説明するフローチャートである。 図 1 9は、 ίή] ヒ '\ 成部 1 1の第 4の構成例を示すブロック図である。

図 2 0：ま、 図 1 9の I:† 報生成部 1 1 の処理を説明するフローチャートであ る。

図 2 1は、 品質 [ ] ヒ部 2 4の第 3の構成例を示すプロック図である。

図 2 2は、 予測係数を求める学習装置の第 2の構成例を示すブロック図である, 図 2 3は、 統合部 1 2の構成例を示すブロック図である。

図 2 4は、 図 2 4の統合部 1 2の処理を説明するフローチヤ一トである。

図 2 5 乃至 2 5 Κは、 両像の列の入れ替えを説明する図である。

図 2 6：ま、 抽出部 2 2の構成例を示すブロック図である。

図 2 7ば、 [X] 2 6の杣出¾ 2 2の処理を説明するフローチャートである。

図 2 8 :ま、 統合部 1 2の他の構成例を示すブロック図である。

図 2 9は、 抽出部 2 2の他の構成例を示すブロック図である。

図 3 0は、 本発明を適川したコンピュータの一実施の形態の構成例を示すプロ ック図である。 允明を^施するための の形態 図 1は、 本 ¾ Π刀を適川したディ ジタル衛星放送システム （システムとは、 複数 の装 ISが論理的に ίβ合したものをいい、 各構成の装置が同一筐体中にあるか否か は問わない） の づ 施の形態の構成例を示している。 送信装置 1では、 番組放送に対応する電波としての衛星放送波が、 アンテナ (パラボラアンテナ） 1 Aから衛星 2に送出される。 衛星 （通信衛星又は放送衛 星） 2は、 送信装置 1からの衛星放送波を受信し、 その衛星放送波に対して、 増 幅その他の必要な処理を行って送出する。

衛星 2から送出された衛星放送波は、 受信装置 3のアンテナ （パラボラアンテ ナ） 3 Aで受 され、 表示等される。

また、 送信 i 1 と受信装置 3 とは、 例えば、 公衆回線、 イ ンタ一ネッ ト、 C A T V ( Cab l e Te levi s i on) 網、 無線通信網等の双方向の通信が可能なネッ トヮ ーク 4を介して通信可能となっており、 送信装置 1 と受信装置 3との間では、 ネ ッ 卜ワーク 4を介しての課金の情報のやり とり等の課金処理が行われる。

なお、 図 1の実施の形態では、 説明を簡単にするために、 1つの受信装置 3 し か図示していないが、 受信装置 3 と同一構成の受信装置は、 複数設けることが可 能である。

次に、 図 2は、 図 1の送信装置 1の構成例を示している。

向上情報生成部 1 1には、 番組として放送される画像データ （以下、 適宜、 放 送用画像データという） 、 又はその放送用画像データと内容が同一で、 画質がよ り高い画像データ （高画質の画像データ） が入力されるようになっている。 向上 情報生成部 1 1は、 受信装置 3において、 放送用画像データの画質を向上させる ための.向上情報を生成する。

即ち、 向上情報生成部 1 1には、 放送用画像データの画質を向上させる向上方 式を選択する方式選択信号も供給されるようになっている。 向上情報生成部 1 1 は、 そこに供給される方式選択信号に従って、 1種類以上の向上情報を生成する。 向上情報生成部 1 1 が生成する向上情報は、 統合部 1 2に供給されるようになつ ている。

統合部 1 2には、 向上情報生成部 1 1 から向上情報が供給される他、 放送用画 像データも ί共給されるようになっている。 統合部 1 2は、 放送用画像データと向 上情報を統合し、 統合信号を生成して、 送信部 1 3に供給する。

ここで、 放送用画像データと向上情報の統合の方法としては、 例えば、 時分割 多重化や、 周波数多重化の他、 後述するような埋込 （embedded coding) 等を用い ることが可能である。 また、 放送用画像データと向上情報を統合せずに、 別の番 組として送信することも可能である。

送信部 1 3は、 統合部 1 2が出力する統合信号に対して、 変調、 増幅、 その他 の必要な処理を施して、 アンテナ 1 Aに供給する。

課金処理部 1 4は、 通信ィンタフエース 1 5及びネッ トワーク 4を介して、 受 信装置 3と通 ί言することにより、 受信装置 3への番組提供に対する課金処理を行 ラ。

通信ィ ンタフヱ一ス 1 5は、 ネッ トワーク 4を介しての通信制御を行う。 次に、 図 3のフローチャートを参照して、 図 2の送信装置 1で行われる番組の 送信処理について説明する。

まず最初に、 ステップ S 1において、 向上情報生成部 1 1は、 そこに供給され る方式選択信号に従って、 放送用画像データの画質を向上させるための 1種類以 上の向上情報を生成し、 統合部 1 2に供給する。 ここで、 向上情報を生成する放 送用画像データの単位 （以下、 適宜、 向上情報生成単位という） は、 例えば、 1 フレーム単位でもよいし、 1番組単位等でもよい。

統合部 1 2は、 向上情報生成部 1 1から向上情報が供給されると、 ステップ S 2において、 放送用画像データと向上情報を統合し、 統合信号を生成して、 送信 部 1 3に供給する。 送信部 1 3では、 ステツプ S 3において、 統合部 1 2が出力 する統合信号に対して、 変調、 増幅、 その他の必要な処理を施して、 アンテナ 1 Αに供給する。 これにより、 統合信号は、 衛星放送波として、 アンテナ 1 Aから 送出される。

その後、 ステップ S 1 に戻り、 以下、 同様の処理が繰り返される。

次に、 図 4は、 図 1の受信装置 3の構成例を示している。

衛星 2を介して放送されている衛星放送波は、 アンテナ 3 Aで受信され、 その 受信信号は、 受信部 2 1 に供給されるようになっている。 受信部 2 1は、 アンテ ナ 3 Aからの受信信号に対して、 増幅、 復調、 その他の必要な処理を施し、 統合 信号を得て、 抽出部 2 2に供給する。

抽出部 2 2は、 受信部 2 1からの統合信号から、 放送用画像データと、 1種類 以上の向上情報とを抽出し、 放送用画像データを、 品質向上部 2 4に供給すると ともに、 1種類以上の ί 上怙報を、 選択部 2 3に供給する。

選択部 2 3は、 抽出部 2 2からの 1種類以上の向上 報から、 _u 金処理部 2 7 からの画 !レベル信 Sに対応する種類のものを選択し、 その向上情報とともに、 その向上情報によって画質を向上させる向上方式を選択する方式選択信号を、 品 質向上部 2 4に供給する。

品質向上部 2 4は、 抽出部 2 2から供給される放送 ffl i像データに対して、 方 式選択信号が示す方式の処理を、 選択部 2 3から供給される向上情報を用いて施 す。 これにより、 品質向上部 2 4は、 画質を向上させた画像データを得て、 表示 部 2 5に供給する。 衷示部 2 5は、 例えば、 C R T ( Cathode Ray Tube) や、 液 晶パネル、 D M D ( Dynami c Mi rror Dev i ce) で構成され、 品質向上部 2 4から 供給される画像データに対応する画像を表示する。

操作部 2 6は、 表示部 2 5に表示される画像の画質を選択するとき等に、 ュ一 ザによって操作され、 その操作に対応する操作信号は、 _u 金処理部 2 7に供給さ れるようになっている。

課金処理部 2 7は、 操作部 2 6からの操作信号に基づいて、 ユーザが選択した 画質に対する課金処理を行う。 βΠち、 課金処理部 2 7は、 操作部 2 6からの操作 信号に基づいて、 ユーザが要求する画質を識別し、 その画質の程度を表す画質レ ベル信号を、 選択部 2 3に ί 給する。 これにより、 選択部 2 3では、 ユーザが要 求する画質を得るのに適した向上情報を遗択する。 さらに、 金処理部 2 7は、 画質レベル ίί!号を、 通信ィンタフヱース 2 8及びネッ 卜ワーク 4を介して、 送信 装置 1 に送信する。

ここで、 このようにして、 課金処理部 2 7から送信装 ϋ 1に対して送信される 画質レベル信号は、 送信装置 1 (図 2 ) において、 通信ィ ン夕フヱ一ス 1 5を介 して、 課金処理部 1 4で受信される。 課金処理部 1 4では、 その画質レベル信号 に応じて、 受信装置 3のユーザに対する課金が行われる。 即ち、 課金処理部 1 4 は、 例えば、 ユーザごとの視聴料金を計算し、 送信装置 1側の口座番号、 ユーザ の口座番号、 及び ¾ ^された視聴料金を少なく とも含む課金 ίΓί号を、 通信イ ンタ フェース 1 5及びネッ トワーク 4を介して、 図示せぬ課金センタ （銀行センタ） に送信する。 _π 金センタは、 ^金信号を受信すると、 視聴料金に対応する金額を、 ユーザの口座から引き落とすとともに、 送信装置 1側の口座に入金するような決 济処理を行う。

通信イ ンタフェース 2 8は、 ネッ ト ワーク 4を介しての通 制御を行う。

次に、 図 5のフローチャートを参照して、 図 4の' 装置 3で行われる番組の 受信処理について説明する。

アンテナ 3 Aが衛星放送波を受信することにより出力する受信信号は、 受信部 2 1 に供給される。 受信部 2 1では、 ステップ S 1 1 において、 その受信信号が 受信され、 統合^ に変換される。 この統合 ί Τ号は、 抽出部 2 2に供給される。 抽出部 2 2では、 ステップ S 1 2において、 受信部 2 1からの統合信号から、 放送 ffl l l像データと、 1稀類以 I：の向 h情報とが抽出される。 そして、 放送用画 像データは、 品 i \ΰ]上部 2 4に供給され、 1種類以上の向上情報は、 選択部 2 3 に供給される。

選択部 2 3は、 ステップ S 1 3において、 抽出部 2 2からの 1種類以上の向上 情報から、 課金処理部 2 7からの画質レベル ί言号に対応する種類のものを選択し、 その向上' til報とともに、 その向上情報によって画質を向上させる向上方式を示す 方式選択^号を、 品質向上部 2 4に供給する。

品質向七部 2 4は、 ステップ S 1 4において、 抽出部 2 2から供給される放送 用画像データに対して、 //式選択信号が示す方式の処理を、 選択部 2 3から供給 される向上怙報を川いて施す。 これにより、 品質向上部 2 4は、 画質を向上させ た画像データを得て、 部 2 5に供給して表示させる。 そして、 ステップ S 1 1 に戻り、 以下、 同様の処理が繰り返される。

以上の受信処理において、 課金処理部 2 7が出力する画質レベル信号は、 ュ一 ザが操作部 2 6を操作することにより要求した画質に対応したものである。 した がって、 ^示部 2 5では、 ユーザが要求する画質の画像が衷示されることになる 次に、 I®像データの画質を向上させる手法と しては、 例えば、 本件出願人が先 に提案した特開平 8— 5 1 6 2 2号公報記載のクラス分類適応処理を用いること ができる。

クラス分類適応処理は、 クラス分類処理と適応処理とからなり、 クラス分類処 理によって、 データを、 その性 Κに基づいてクラス分けし、 各クラスごとに適応 処理を施すものである。 適応処理は、 以下のような手法のものである。

即ち、 適応処理では、 例えば、 標準解像度あるいは低解像度の S D (Standard Definition) 画像を構成する画素 （以下、 適宜、 S D画素という） と、 所定の予 測係数との線形結合により、 その S D画像の解像度を向上させた H D (High Def inition) 画像の画素の予測値を求めることで、 その S D画像の解像度を向上させ た画像が得られる。

具体的には、 例えば、 いま、 ある H D画像を教師データとするとともに、 その H D画像の画素数を少なくする等して解像度等の画質を劣化させた S D画像を生 徒データとする。 そして、 HD画像を構成する画素 （以下、 適宜、 HD画素とい う） の画素値 yの予測値 E [y ] を、 幾つかの S D画素 （SD画像を構成する画 素） の画素) ϋχΐ, χ2， . · ' の集合と、 所定の予測係数 wl， w2, · · · の線 形結合により規定される線形 1次結合モデルにより求めることを考える。 この場 合、 予測値 E [y] は、 次式で表すことができる。

E [y ] = wlx 1 + W2X2+ · · ·

… ( 1 ) 式 （ 1 ) を一般化するために、 予測係数 wjの集合でなる行列 W、 生徒データ X Uの集合でなる行列 X、 及び予測値 E [yj] の集合でなる行列 Y' を、

で定義すると、 次のような観測方程式が成立する

X W= Υ '

( 2 ) ここで、 行列 Xの成分 xijは、 i件目の生徒データの集合 （ i件目の教師データ yiの予測に用いる生徒データの集合） の中の j番目の生徒データを意味し、 行列 Wの成分 wjは、 生徒データの集合の中の j番目の生徒データとの積が演算される 予測係数を表す。 また、 yiは、 i件目の教師データを表し、 したがって、 E [y i] は、 i件目の教師データの予測値を表す。 なお、 式 （ 1 ) の左辺における yは、 行列 Yの成分 yiのサフィ ックス iを省略したものであり、 また、 式 （ 1 ) の右辺 における xl, χ2, · · ' も、 行列 Xの成分 X ijのサフィ ックス iを省略したも のである。

式 （ 2 ) の観測方程式に最小自乗法を適用して、 HD画素の画素値 yに近い予 測値 E [y] を求めることを考える。 この場合、 教師データとなる HD画素の真 の画素値 yの集合でなる行列 Y、 及び H D画素の画素値 yに対する予測値 E

[y] の残差 eの集合でなる行列 Eを、

で定義すると、 式 （2 ) から、 次のような残差方程式が成立する

XW= Y+E

(3)

この場合、 HD画素の画素値 yに近い予測値 E [y ] を求めるための予測係数 wjは、 自乗誤差

を最小にすることで求めることができる。

したがって、 上述の自乗誤差を予測係数 wjで微分したものが 0になる場合、 即 ち、 次式を満たす予測係数 wjが、 HD画素の画素値 yに近い予測値 E [y] を求 めるため最適値ということになる。

0(/= 1,2,...,J)

• · · (4) そこで、 まず、 式 （ 3 ) を、 予測係数 w jで微分することにより、 次式が成立す る。

e.

■ = x . - = . = χ ,( = !, 2, ...,/)

Λ'

( 5) 式 （ 4 ) 及び （ 5 ) より、 式 （ 6 ) が得られる ^^e,^xn = ⁰ ,∑ , . = 0, ... ,∑ , ,..

6) さらに、 （ 3 ) の残； 力程式における生徒データ X ij、 予測係数 w j、 教師デ —タ yi及び残^ e iの関係を考慮すると、 式 （ 6 ) から、 次のような正規方程式 を得ることができる。

(7) 式 （7 ) の正規方程式を構成する各式は、 生徒データ X ij及び教師データ y iの セッ トを、 ある程度の数だけ用意することで、 求めるべき予測係数 _W jの数 jと同 じ数だけ立てることができる。 したがって、 式 （ 7 ) を解くことで （但し、 式

( 7 ) を解くには、 式 （ 7 ) において、 ？測係数 w jに係る係数で構成される行列 が正則である必要がある） 、 最適な予測係数 w jを求めることができる。 なお、 式

( 7 ) を解くに当たっては、 例えば、 掃出し法 （ Gayss- Jordanの消去法等） など を用いればよい。

以上のようにして、 最適な予測係数 w jを求めておき、 さらに、 その予測係数 W- jを用い、 式 （ 1 ) により、 H D画素の画素値 yの予測値 E [y] を求めるのが適 応処理である。

なお、 適応 ¾ は、 S D両像には まれていないが、 H D lfi像に含まれる成分 が丙現される点で、 例えば、 ^f なる袖問処 ¾とは 5 なる。 即ち、 適応処理では、 式 （ 1 ) だけを る限りは、 いわゆる補問フィルタを川いての補間処理と同一で あるが、 その補間フ ィル夕のタ ップ係数に相当する予測係数 wが、 教師データ y を用いての、 いわゆる学習により求められるため、 H D画像に含まれる成分を再 現することができる。 このことから、 適応処理は、 いわば画像の創造 （解像度想 像） 作用がある処 ということができる。

また、 ここでは、 適応処 について、 解像度を向上させる場合を例にして説明 したが、 適応処 は、 その他、 例えば、 適応処理 ¾と後とで Ιίΐί素数が変わらなく ても構わす、 両像からノィズやぼけを除去した画像の '測値を求めること等に用 いることができる。 こ

適応処 ί¾1によれば、 ノイズの除去や、 ぼけの改善 等の阀 !の向上を 1ることが "J能となる。

図 6は、 以上のようなクラス分類適応処理によ り、 「ή]上情報として、 予測係数 を求める場合の、 図 2の向 Ι: ·報生成部 1 1の構成例を示している。

なお、 図 6の突施の形態においては、 放送用画像データと同一内容の高画質の 画像データが存在し、 これが、 予測係数を学習するための教師データとして、 向 ヒ情報生成部 1 1 に fj 給されるものとする。

教師データとしての A l f!の闹像データは、 例えば、 フレーム単位で、 フレー ムメモリ 3 1 に供給され、 フ レームメモリ 3 1は、 そこに供給される教師データ を順次記憶する。

ダウンコンバータ 3 2は、 フ レームメモリ 3 1 に記憶された教師データを、 例 えば、 フ レーム ^位で読み出し、 L P F ( Low Pass F i l ter) をかけたり、 間引き 等を行うことで、 本的には、 放送 ffl画像データと同一画質、 即ち、 ここでは低 画質の画像データを、 f'測係数を学習するための生徒データとして ΐ成し、 フ レ —ムメモリ 3 3に供給する。

フレームメモリ 3 3は、 ダウンコンバ一タ 3 2が出力する生徒データとしての 低画質の画像データを、 例えば、 フ レーム準位で順次記 t する。

予測タ ソプ構成回路 3 4は、 フ レームメモリ 3 1 に記憶された教師データとし ての画像 （以下、 適宜、 教師画像という） を構成する画素 （以下、 適宜、 教師画 素という） を、 順次、 注目画素とし、 その注目画素の位置に対応する、 生徒デ一 夕としての画像 （以下、 適宜、 生徒画像という） の位置から空間的又は時間的に 近い位置にある幾つかの生徒データの画素 （以下、 適宜、 生徒画素という） を、 制御回路 4 0からの制御信号に従って、 フレームメモリ 3 3から読み出し、 予測 係数との乗算に用いる予測タップとして構成する。

即ち、 例えば、 図 7に示すように、 生徒画像が、 教師画像の画素を、 1 / 4に 間引いたものであるとすると、 予測タップ構成回路 3 4は、 制御回路 4 0からの、 ある制御信^に従って、 例えば、 注目画素の位置に対応する、 生徒画像の位置か ら空間的に近い位置にある 4つの生徒画素 a , b， c， dを、 予測タップとする _t また、 予測タップ構成回路 3 4は、 制御回路 4 0からの、 他の制御信号に従って、 例えば、 ；' t冃画素の位置に対応する、 生徒画像の位置から空間的に近い位置にあ る 9つの生徒画素 a , b， c , d， e， f , g , h， iを、 予測タ ヅプとする。 なお、 基本的には、 予測タップとして、 4つの生徒画素 a乃至 dを用いるより は、 9つの生徒画素を用いる方が、 教師画素の予測精度が高くなり、 より高画質 の画像 （を得るための予測係数） が得られる。

ここで、 予測タップ （後述するクラスタップについても同様） は、 図 7に示し たように、 長方形状となる画素で構成する他、 十字形状、 ひし形状、 その他の任 意の形状となる画素で構成することが可能である。 また、 予測タップは、 隣接す る画素ではなく、 1つおき等の画素で構成することも可能である。

図 6に戻り、 予測タ ップ構成回路 3 4で構成された予測タップは、 正規方程式 加算回路 3 7に供給されるようになっている。

クラスタップ構成回路 3 5は、 注目画素を、 幾つかのクラスのうちのいずれか に分類するためのクラス分類に用いる生徒画素を、 フ レームメモリ 3 3から読み 出す。 即ち、 クラスタ ップ構成回路 3 5は、 注目画素の位置に対応する、 生徒画 像の位置から空間的又は時間的に近い位置にある幾つかの生徒画素を、 制御回路 4 0からの制御信号に従って、 フレームメモリ 3 3から読み出し、 クラス分類に 用いるクラスタップとして、 クラス分類回路 3 6に供給する。

なお、 測タップとクラスタップとは、 同一の生徒画素で構成することもでき る し、 異なる生徒画素で構成することもできる。

クラス分類回路 3 6は、 クラスタップ構成回路 3 5からのクラスタ ップに基づ き、 制御回路 40からの制御信号に従った方法で、 注目画素をクラス分類し、 そ の結果得られる注 Ξ画素のクラスに対応するクラスコードを、 正規方程式加算回 路 3 7に供給する。

ここで、 クラス分類を行う方法としては、 例えば、 閾値を用いる方法や、 AD R C (Adaptive Dynamic Range Coding) を用レヽる方云等力 ^sある。

閾値を用いる方法では、 例えば、 クラスタップを構成する生徒画素の画素値力 所定の閾値より大きいか （閾値以上か） 否かによって 2値化され、 その 2値化結 果に従って、 注目画素のクラスが決定される。

また、 ADR Cを用いる方法では、 クラスタップを構成する生徒画素が、 AD R C処理され、 その結果得られる ADR Cコードに従って、 注目画素のクラスが 決定される。

なお、 Kビッ ト A D R Cにおいては、 例えば、 クラスタヅブを構成する生徒画 素の画素値の最大値 MAXと最小値 M I Nが検出され、 DR = MAX— MI Nを、 クラスタツプの局所的なダイナミ ックレンジとされる。 そして、 このダイナミ ツ クレンジ D Rに基づいて、 クラスタツプを構成する生徒画素が Kビッ トに再量子 化される。 即ち、 クラスタ ップを構成する画素の画素値の中から、 最小値 M I N が減算され、 その減算値が D R/ 21 (で除算 （量子化） される。 したがって、 クラ スタップが、 例えば、 1 ビッ ト A D R C処理された場合には、 そのクラスタップ を構成する各生徒画素の画素値は 1 ビッ トとされることになる。 そして、 この場 合、 以上のようにして得られる、 クラスタヅブを構成する各画素についての 1 ビ ッ トの画素値を、 所定の順番で並べたビッ ト列が、 A D R Cコードとして出力さ れる。

したがって、 ADR Cによれば、 クラスタップが、 N個の生徒画素で構成され、 そのクラスタップの Kビ ヅ ト A D R C処理結果がクラスコードとされる場合には、 注目画素は、 （ 2N) Kクラスのうちのいずれかのクラスにクラス分類されること になる。

正規方程式加算回路 3 7は、 フレームメモリ 3 1から、 注目画素となっている 教師画素を読み出し、 測タップ （を構成する生徒画素） 、 注目画素 （教師画 素） を対象とした足し込みを行う。

即ち、 正規方程式加^回路 3 7は、 クラス分類回路 3 6から供給されるクラス コードに対応するクラスごとに、 予測タップ （生徒画素） を用い、 式 （ 7 ) の正 規方程式の左辺における、 予測係数の乗数となっている、 生徒画素どう しの乗算 ( x in x X ini) と、 サメ一シヨン （∑) に相当する演算を行う。

さらに、 正規方程式加算回路 3 7は、 やはり、 クラス分類回路 3 6から供給さ れるクラスコードに対応するクラスごとに、 予測夕ッブ （生徒画素） 及び注目画 素 （教師画素） を用い、 式 （ 7 ) の正規方程式の右辺における、 生徒画素と注目 画素 （教師画素） の乗算 （x i n x y i ) と、 サメーシヨン （∑ ) に相当する演算を 行う。

正規方程式加算回路 3 7は、 以上の足し込みを、 フ レームメモリ 3 1 に記憶さ れた教師画素すベてを、 注 5画素として行い、 これにより、 クラスごとに、 式 ( 7 ) に示した正規方程式がたてられる。 そして、 この正規方程式に基づいて、 所定の教師画素数ごとに向上情報が生成される。

予測係数決定回路 3 8は、 正規方程式加算回路 3 7においてクラスごとに生成 された正規方程式を解く ことにより、 クラスごとの予測係数を求め、 メモリ 3 9 の、 各クラスに対応するア ドレスに供給する。 メモリ 3 9は、 予測係数決定回路 3 8から供給される子測係数を、 向上情報として記憶し、 必要に応じて、 統合部 1 2 (図 2 ) に供給する。

なお、 正規方程式加算回路 3 7において、 予測係数を求めるのに必要な数の正 規方程式が得られないクラスが生じる場合があり得る。 予測係数決定回路 3 8は、 そのようなクラスについては、 例えば、 デフォル トの予測係数 （例えば、 比較的 多くの教師画像を用いて、 予め求められた予測係数など） を出力する。

制御回路 4 0には、 放送用画像データの画質を向上させる向上方式を選択する 方式選択信号 （図 2 ) が供給されるようになっている。 制御回路 4 0は、 その方 式選択信号が示す向上方式によって、 放送用画像データの画質を向上させるのに 必要な向上情報が生成されるように、 予測タップ構成回路 3 4、 クラスタ ップ構 - 成回路 3 5及びクラス分類回路 3 6を制御する。 ここで、 本実施の形態では、 受信装置 3で使用される向上方式 （に用いられる 向上 '報） によって、 課金処理部 1 4が課金する金額 （視聴料等） が異なるよう になっている。

課金される金額 （^金額） は、 向上方式として、 例えば、 クラス分類処理を使 fflするかどうかによつて設定することができる。 即ち、 例えば、 図 8 Aに示すよ うに、 向上:な式として、 線形補間を使用する場合、 適応処理のみを使用する場合、 クラス分類適応処理を使川する埸台の 3つの場合で、 課金額を異なる額にするこ とができる。

なお、 適応処理のみを使川する埸合とは、 クラス分類を行わずに、 適応処理の みを行う ¾合を, S味し、 したがって、 クラス分類適応処理におけるクラスが 1つ (モノクラス） しかない ¾合に ffl する。

また、 向 ヒ方式として、 線形補問を使川する場合には、 了測係数は必要ないた め、 向上情報生成部 1 1 では、 特に処理は行われず、 例えば、 線形補間を指示す る旨が、 向上情報として出力される。

課金額は、 さらに、 向上方式として使用するクラス分類適応処理におけるクラ ス数によって設定することもできる。 即ち、 例えば、 図 8 Bに示すように、 向上 方式として、 線形補問を使 ]]する場合、 クラス数の少ないクラス分類適応処理を 使用する場合、 クラス数の多いクラス分類適応処理を使用する場合の 3つの場合 で、 課金 lを異なる額にすることができる。

また、 課金額は、 向上方式として使用するクラス分類適応処理における予測係 数を生成するのに川いる^徒 I面像又は教師画像の画質によって設定することもで きる。 即ち、 例えば教師 L面像の画質が良い場合には、 放送用画像データの画質を 大きく向上させることのできる、 いわば性能の高い予測係数が得られるし、 逆に、 教師画像の画質があまり ^くない場合には、 放送 ffl画像データの画質を少ししか 向上させない、 いわば性能の低い予測係数が得られる。 そこで、 例えば、 図 8 C に示すように、 向上方式として、 線形補間を使用する場合、 性能の低い予測係数 によるクラス分類適応処理を使用する場合、 性能の高い予測係数によるクラス分 類適応処理を使用する場合の 3つの場合で、 課金額を異なる額にすることができ る。 さらに、 課金額は、 向上方式として使用するクラス分類適応処理において構成 されるクラスタップや予測タップによって設定することも可能である。 即ち、 ク ラスタップや予測タ ップの構成の仕方 （タップの形状や、 タップを構成する画素 数、 空問方向若しくは時問方向の一方又は両方の画素から夕ップを構成する等） によっては、 上述したように、 得られる画像の画質が異なるので、 この構成の仕 方によって、 課金額を異なる額にすることができる。

また、 ， 金額は、 向上方式として使用するクラス分類適応処理におけるクラス 分類の方法によって設定することも可能である。 即ち、 図 8 Dに示すように、 向 上方式として、 線形補間を使用する場合、 上述の閾値によるクラス分類を用いた 適応処理を使用する場合、 A D R C処理によるクラス分類を用いた適応処理を使 用する場合の 3つの場合で、 課金額を異なる額とすることができる。

向上方式と方式選択^号は、 例えば、 図 8 A乃至 8 Dに示すように対応付ける ことができ、 制御回路 4 0は、 そこに供給される方式選択信号に対応する向上方 式に用いる向上情報が得られるように指示を行う制御信号を、 予測タップ構成回 路 3 4、 クラスタップ構成回路 3 5及びクラス分類回路 3 6に出力する。 なお、 向上方式としては、 上述したものの複数の組み合わせを採用することも可能であ る。

次に、 図 9のフローチャートを参照して、 図 6の向上情報生成部 1 1 により行 われる、 向上情報を生成する向上情報生成処理について説明する。

まず最初に、 ステップ S 2 1 において、 向上情報生成単位に相当する分の教師 画像がフレームメモリ 3 1 に記憶される。 そして、 ステップ S 2 2に進み、 制御 回路 4 ◦は、 そこに供給される方式選択信号に対応する向上方式に用いる向上情 報が得られるように指示を行う制御信号を、 予測タップ構成回路 3 4、 クラスタ ップ構成回路 3 5及びクラス分類回路 3 6に供給する。 これにより、 予測タップ 構成回路 3 4、 クラスタップ構成回路 3 5及びクラス分類回路 3 6は、 制御信号 に従った向上方式に用いる向上情報としての予測係数が得られるような処理を行 うように設定される。

なお、 制御回路 4 0に供給される方式選択信号には、 複数の向上方式を表す情 報が含まれており、 制御回路 4 0は、 その複数の向上方式に対応する制御信号を、 ステップ S 2 2の処理が行われるごとに、 順次出力する。

また、 制御回路 4 0が出力する制御信号が、 線形補間を表す場合には、 メモリ 3 9に、 線形補間を指示する旨が、 向上情報として記憶される。 そして、 ステツ プ S 2 3乃至 S 2 8の処理はスキヅプされ、 ステップ S 2 9に進む。

ステップ S 2 2の処理後は、 ステップ S 2 3に進み、 ダウンコンバータ 3 2に おいて、 フ レームメモリ 3 1に記憶された教師画像に対して、 必要に応じて、 L P F ( Low Pass F i l ter) がかけられ、 あるいは間引きが行われ、 放送用画像デ一 夕と同一画質の画像が、 生徒画像として生成されて、 フレームメモリ 3 3に供給 されて記憶される。

なお、 生徒画像は、 放送用画像データと異なる画質の画像とすることもでき、 その場合には、 その旨の制御信号が、 制御回路 4 0からダウンコンバータ 3 2に 供給され、 ダウンコンバータ 3 2では、 制御回路 4 0からの制御信号に従った画 質の生徒画像が生成される。

そして、 ステップ S 2 4に進み、 フレームメモリ 3 1に記憶された教師画素の うちの、 まだ注目画素とされていないものが、 注目画素とされ、 予測タップ構成 回路 3 4において、 制御回路 4 ◦からの制御信号に従った構成の、 注目画素につ いての予測夕ップが、 フレームメモリ 3 3に記憶された生徒画素を用いて構成さ れる。 さらに、 ステツプ S 2 4では、 クラスタツプ構成回路 3 5において、 制御 回路 4 0からの制御信号に従った構成の、 注目画素についてのクラスタツプが、 フ レームメモリ 3 3に記憶された生徒画素を用いて構成される。 そして、 予測夕 ップは、 正規方程式加算回路 3 7に供給され、 クラスタップは、 クラス分類回路 3 6に供給される。

クラス分類回路 3 6は、 ステップ S 2 5において、 クラスタップ構成回路 3 5 からのクラスタップに基づき、 制御回路 4 0からの制御信号に従った方法で、 注 目画素をクラス分類し、 その結果得られるクラスに対応するクラスコードを、 正 規方程式加算回路 3 7に供給し、 ステップ S 2 6に進む。

ステップ S 2 6では、 正規方程式加算回路 3 7において、 フレームメモリ 3 1 から、 注目画素となっている教師画素が読み出され、 予測タップ （を構成する生- 徒画素） 、 注目画素 （教師画素） を対象として、 上述したような足し込みが行わ れる。

そして、 ステップ S 2 7に進み、 制御回路 4 0により、 フレームメモリ 3 1 に 記憶された、 向上情報生成 i! の教師画素すベてを 画素として、 足し込みを 行ったかどうかが判定され、 まだ、 教師画素のすべてを S画素として、 足し込 みを行っていないと判定された場合、 ステップ S 2 4に戻る。 この場合、 まだ注 目画素とされていない教師画素のうちの 1つが、 新たに注目画素とされ、 ステツ ブ S 2 4乃至 S 2 7の処理が繰り返される。

また、 ステップ S 2 7において、 制御回路 4 0により、 向上情報生成単位の教 師画素すベてを注目画素として、 足し込みを行ったと判定された場合、 即ち、 正 規方程式加算回路 3 7においてクラスごとの正規方 R式が得られた場合、 ステツ プ S 2 8に進み、 予測係数決定回路 3 8は、 そのクラスごとに生成された正規方 程式をそれそれ解くことにより、 クラスごとの予測係数を求め、 メモリ 3 9の、 各クラスに対応するア ドレスに供給する。 メモリ 3 9は、 予測係数诀定回路 3 8 から供給される予測係数を、 向上情報として記憶する。

なお、 メモリ 3 9は、 複数バンクを有しており、 これにより、 複数種類の向上 情報を同時に記憶することができるようになつている。

その後、 ステップ S 2 9に進み、 制御回路 4 0は、 そこに供給された方式選択 信号に含まれる複数の向上方式のすべてについて、 向上情報が得られたかどうか を判定する。

ステツプ S 2 9において、 方式選択信号に含まれる複数の向上方式に用いられ る複数の向上情報の中で、 まだ得られていないものがあると判定された場合、 ス テツブ S 2 2に戻り、 制御回路 4 0は、 まだ向上情報が得られていない向上方式 に対応する制御信号を出力し、 以下、 上述の場合と同様の処理が繰り返される。 一方、 ステップ S 2 9において、 方式選択信号に含まれる複数の向上方式のす ベてについて、 向上 報が得られたと判定された場合、 即ち、 方式選択信号に含 まれる複数の向上方式それそれに用いられる複数種類の向上情報が、 メモリ 3 9 に記憶された場合、 ステップ S 3 0に進み、 メモリ 3 9から、 その複数種類の向 上情報が読み出され、 統合部 1 2 (図 2 ) に供給されて処理を終了する。

なお、 図 9の向上情報生成処理は、 フ レームメモリ 3 1 に、 向上情報生成単位 分の教師画像が供給されるごとに繰り返し行われる。

ところで、 図 6の 施の形態においては、 放送川闹像データと同一内容の高画 !の雨像データが^在することを前提としたが、 そのような β両質の画像データ が存在しない場合 （例えば、 几の U面像をそのまま放送 ffl画像データとして用い る場合） がある。 この場合には、 教師画像が存在しないこととなるため、 図 6の 向上 ' i報生成部 1 1 では、 向 h怙報としての予測係数を生成することができない ことになる。

そこで、 冈 1 0は、 送信装^ 1 が原両像と同じサイズの画像を送出する際、 教 師両像となる高画 のゆ i像データなしで、 向上情報としての予測係数を生成可能 な向 h† 報 ΐ成部 1 1の他の構成例を している。 なお、 冈中、 図 6における場 合と対応する部分については、 ']一の符^を付してあり、 以下では、 その説明は、 適宜 ¾略する。 即ち、 図 1 0の^ ヒ怙報^成部 1 1は、 ダウンコンバータ 3 2が 設けられておらず、 フレームメモ リ 4 1、 特徴量推定回路 4 2、 仮教師データ生 成回路 4 3及び仮生徒データ生成回路 4 4が新たに設けられている他は、 基本的 に、 図 6における場合と同様に構成されている。

図 1 0の向上^報生成部 1 1では、 ¾の教師画像が存在しないため、 真の教師 画像と、 生徒画像としての放送用画像データとの関係と同様の関係となるような 仮の教師画像と、 仮の 面像 （以下、 適宜、 それそれを、 仮教師画像と、 仮生 徒画像という） とを、 放送川 像データから生成し、 これらの仮教師画像及び仮 生徒画像を用いて、 向上 'i報としての予測係数を生成するようになつている。 即ち、 フ レームメモリ 4 1 には、 放送 ffl画像データが供給されるようになって おり、 フ レームメモリ 4 1は、 そこに供給される放送用画像データを、 向上情報 生成単位で記憶するようになっている。

特徴量推定回路 4 2は、 フレームメモリ 4 1 に記憶された放送用画像データの 特徴 を求め、 仮教師データ生成回路 4 3及び仮生徒デ一夕生成回路 4 4に供給 するようになっている。

ここで、 放送用画像データの特徴量としては、 例えば、 水平方向や、 垂直方向 の自 桕関係数、 両素値のヒス トグラム、 隣接する画素どう しの差分値のヒス ト グラム （アクティ ビティのヒス トグラム） 等を用いることができる。 仮教師データ生成回路 4 3は、 特徴量推定回路 4 2からの放送用画像データの 特徴量に基づいて、 放送用画像データに対する本来の教師画像 （真の教師画像） の特徴 ffi (以下、 適宜、 推定教帥特徴量という） を推定する。 さらに、 仮教師デ —夕生成回路 4 3は、 フレームメモリ 4 1に記憶された放送用画像データに対し て、 L P Fをかけ、 さらに間引き等を行うことで、 推定教師特徴量と同様の特徴 量を有する画像を生成し、 その画像を、 仮教師画像として、 フレームメモリ 3 1 及び仮生徒データ生成回路 4 4に供給する。

仮生徒データ生成回路 4 4は、 仮教師データ生成回路 4 3から供給される仮教 師画像に対して、 L P Fをかけることで、 特徴量推定回路 4 2から供給される、 本来の生徒画像である放送用画像データの特徴量と同様の特徴量を有する画像を 生成し、 その画像を、 仮生徒画像として、 フレームメモリ 3 3に供給する。

次に、 図 1 1のフローチヤ一トを参照して、 図 1 ◦の向上情報生成部 1 1 によ り行われる、 向上情報を生成する向上情報生成処理について説明する。

フレームメモリ 4 1に、 放送用画像データが供給されて記憶されると、 まず最 初に、 ステップ S 4 1において、 特徴量推定回路 4 2は、 フレームメモリ 4 1に 記憶された放送用画像データの特徴量を抽出し、 仮教師データ生成回路 4 3及び 仮生徒データ生成回路 4 4に供給する。

仮教師データ生成回路 4 3は、 特徴量推定回路 4 2から放送用画像データの特 徴量が供給されると、 ステップ S 4 2において、 その特徴量に基づいて、 放送用 画像データに対する本来の教師画像の特徴量 （推定教師特徴量） を推定し、 ステ ップ S 4 3に進む。 ステツプ S 4 3では、 仮教師データ生成回路 4 3は、 推定教 師特徴量に基づいて、 推定教師特徴量と同様の特徴量を有する画像を放送用画像 データから得るための、 L P Fのフィル夕特性と間引き幅 （間引き率） を設定し、 ステップ S 4 4に進む。

ステップ S 4 4では、 仮教師データ生成回路 4 3は、 設定された間引き幅で、 フレームメモリ 4 1 に記憶された放送用画像データを間引き、 さらに、 その間引 き後の画像に対して、 設定されたフィルタ特性の L P Fをかけ、 仮教師画像を生 成する。

ここで、 ステップ S 4 4において、 放送用画像データを間引くのは、 高画質の 画像は、 それより画質の低い同じサイズの画像に比較して、 自己相関の形状が急 峻になることから、 空間周波数が高く、 自己相関の形状が急峻になるような画像 を、 仮教師画像として得るためである。

ステップ S 4 4の処理後は、 ステップ S 4 5に進み、 仮教師データ生成回路 4 3は、 ステップ S 4 4で生成した仮教師画像の特徴量を求め、 その特徴量が、 推 定教師特徴量に近似するかどうかを判定する。 ステップ S 4 5において、 仮教師 画像の特徴量が、 推定教師特徴量に近似していないと判定された場合、 ステップ S 4 6に進み、 仮教師データ生成回路 4 3は、 放送用画像デ一夕にかける L P F のフィルタ特性又は問引き幅の設定値を変更し、 ステップ S 4 4に戻る。 これに より、 仮教師画像の生成をやり直す。

一方、 ステップ S 4 5において、 仮教師画像の特徴量が、 推定教師特徴量に近 似すると判定された場合、 その仮教師画像を、 フレームメモリ 3 1 に供給して記 憶させるとともに、 仮生徒データ生成回路 4 4に供給し、 ステップ S 4 7に進む _c ステップ S 4 7では、 仮^徒データ生成回路 4 4は、 仮教師データ生成回路 4 3から供給される仮教師画像に対してかける L P Fのフィルタ特性を設定し、 ス テツブ S 4 8に進む。

ステップ S 4 8では、 仮生徒データ生成回路 4 4は、 仮教師画像に対して、 設 定されたフィルタ特性の L P Fをかけ、 仮生徒画像を生成する。

そして、 ステップ S 4 9に進み、 仮生徒デ一夕生成回路 4 4は、 ステップ S 4 8で生成した仮生徒画像の特徴量を求め、 その特徴量が、 特徴量推定回路 4 2か ら供給される放送用画像データの特徴量に近似するかどうかを判定する。 ステツ プ S 4 9において、 仮生徒画像の特徴量が、 放送用画像データの特徴量に近似し ていないと判定された場合、 ステップ S 5 0に進み、 仮生徒データ生成回路 4 4 は、 仮教師画像にかける L P Fのフィルタ特性の設定値を変更し、 ステップ S 4 8に戻る。 これにより、 仮生徒画像の生成をやり直す。

一方、 ステップ S 4 9において、 仮生徒画像の特徴量が、 放送用画像データの 特徴量に近似すると判定された場合、 その仮生徒画像を、 フレームメモリ 3 3に 供給して記憶させ、 ステップ S 5 1 に進む。

ステップ S 5 1乃至 S 5 8では、 フレームメモリ 3 1 に記憶された仮教師画像 を、 本来の教師画像とするとともに、 フ レームメモリ 3 3に記憶された仮生徒画 像を、 本来の ΐ徒画像として、 図 9のステップ S 2 2 , S 2 4乃至 S 3 0におけ る場合とそれぞれ同様の処 I が行われ、 これによ り、 複数種類の向上情報が生成 され、 メモリ 3 9に記憶される。 そして、 この複数種類の向上† 報が、 メモリ 3 9から読み出され、 統合部 1 2 (図 2 ) に供給されて処理を終了する。 ここで、 図 1 1 の実施の形態においては、 教師画像と生徒 lifii像のサイズが同一であるため、 構成されるクラスタ ップ及び予測タップは、 図 7に^した場合と異なる力 教師 画像の中の;: E H画素の位 iSの周辺に位置する生徒画像の複数の画素から、 クラス 夕ップ及び 7'測タ ップを構成する点については、 図 9の実施の形態における場合 と同様である。

なお、 図 1 1の向上情報生成処理も、 図 9における場合と同様に、 フレームメ モリ 4 1 に、 向上^報生成^位分の放送用画像データが供給されるごとに繰り返 し行われる。

次に、 図 1 2は、 送信装置 1 (図 2 ) の向上情報生成部 1 1力 図 6や図 1 0 に示したように構成される場合の、 受信装置 3 (図 4 ) の品質向上部 2 4の構成 例を示している。

フレームメモリ 5 1には、 抽出部 2 2 (図 4 ) が出力する放送用画像データが 供給されるようになっている。 フレームメモリ 5 1は、 その放送用画像データを、 向上 ½報生成^位で^^する。

予測タ 'ノプ構成回路 5 2は、 制御回路 5 7からの制御信 に従い、 図 6の予測 タ ップ構成回路 3 4 と同様の処理を行い、 これにより、 フレームメモリ 5 1 に記 憶された放送用画像データを用いて、 ？測タップを構成し、 予測演算回路 5 6に 供給する。

クラスタ ツプ構成回路 5 3は、 制御回路 5 7からの制御信号に従い、 図 6のク ラスタ ップ構成回路 3 5 と同様の処理を行い、 これにより、 フレームメモリ 5 1 に記憶された放送 ffl画像データを用いて、 クラスタップを構成し、 クラス分類回 路 5 4に供給する。

クラス分類回路 5 4は、 制御回路 5 7からの制御信号に従い、 図 6のクラス分 類回路 3 6 と同様の処理を行い、 これにより、 クラスタップ構成回路 5 3からの クラスタ ップを fflいたクラス分類結 ¾としてのクラスコードを、 ア ドレスとして メモリ 5 5に 給する。

メモリ 5 5は、 選択部 2 3 (図 4 ) から ί共給される向上 報としての予測係数 を記 t,Sする。 さらに、 メモリ 5 5は、 クラス分類回路 5 4からのクラスコードに 対応するア ドレスに, icitSされている予測係数を読み出し、 予測演算回路 5 6に供 給する。

予測演算回路 5 6は、 ί'測タップ構成回路 5 2から供給される予測タップと、 メモリ 5 5から供給される子測係数とを用いて、 式 （ 1 ) に示した線形予測演算 (積和演^ ) を行い、 その結！ β られる画素値を、 放送 ffl画像データの画質を向 ヒさせた 画 ΤΪ幽像 (教師両像 ) の ί'測値として出力する。

制御问路 5 7には、 遗択部 2 3 (図 4 ) が出力する方式選択 号が供給される ようになつている。 制御 Μ路 5 7は、 その方式選択信^に基づいて、 図 6の制御 回路 4 0における J¾合と Iri] の制御 ί を、 予測タ ップ構成回路 5 2、 クラスタ ップ構成回路 5 3及びクラス分類回路 5 4に出力する。

ここで、 選択部 2 3から制御回路 5 7に供給される方式選択信号は、 図 6の制 御回路 4 0に供給される方式選択信号に含まれる複数の向上方式を表す情報のう ち、 ユーザの要求に応じて 金処理部 2 7 (図 4 ) が出力する画質レベル信号に 対応する 1つの ' 報だけを むものである。 したがって、 制御回路 5 7は、 ユー ザが要求する画 f!の litjj像が られるように、 予測タ ップ構成回路 5 2、 クラスタ ップ構成回路 5 3及びクラス分類回路 5 4を制御する。

次に、 図 1 3のフローチャートを参照して、 図 1 2の品質向上部 2 4において 行われる、 放送 m両像の画 Kを向上させる品質向上処理について説明する。 受信装匿 3 ( M 4 ) において、 抽出部 2 2から品質向上部 2 4に対して、 向上 情報生成単位の放送川画像データが供給されると、 選択部 2 3から品質向上部 2 4に対して、 複数の |ή]上. ½報の中から、 画質レベル信号に基づいて選択された 1 種類 （ 1セッ ト） の向 ヒ怡報が、 その向上情報を fflいて画質を向上させる向上方 式を示す方式選択 とともに供給される。

そして、 ステップ S 6 1 において、 フ レームメモリ 5 1 に、 抽出部 2 2から供 給される放送 幽像データが、 上情報生成単位で記憶される。 また、 ステップ S 6 1では、 選択部 2 3から供給される向上情報が、 メモリ 5 5に記憶される。 さらに、 ステップ S 6 1では、 制御回路 5 7は、 選択部 2 3から方式選択信号が 供給され、 その方式選択信号に対応する向上方式によって、 放送用画像データの 画質を向上させるように指示を行う制御信号を、 予測タップ構成回路 5 2、 クラ スタップ構成回路 5 3及びクラス分類回路 5 4に供給する。 これによ り、 予測夕 ップ構成问路5 2、 クラスタップ構成回路 5 3及びクラス分類回路 5 4は、 制御 回路 5 7からの制御信号が示す向上方式に従った処理を行うように設定される。 なお、 本実施の形態では、 制御回路 5 7に供給される方式選択信号が、 線形補 問を表す場合を除いて、 メモリ 5 5に記憶される向上† 報は、 予測係数である。 また、 制御回路 5 7に供給される方式選択信号が、 線形補間を表す場合には、 制御回路 5 7は、 予測演算回路 5 6に対して、 フレームメモリ 5 1 に記憶された 放送川画像データを線形補問することを指示する制御信号を供給する。 この場合、 予測演算回路 5 6は、 フレームメモリ 5 1 に記憶された放送用画像データを、 予 測タップ構成冋路 5 2を介して読み出し、 線形補間を行って出力する。 そして、 この場合、 ステップ S 6 2以降の処理は行われない。

ステップ S 6 1の処理後は、 ステップ S 6 2に進み、 フレームメモリ 5 1に記 憶された放送用画像データの画質を向上させた高画質画像を構成する画素のうち の、 まだ注目画素とされていないものの 1つが、 注目画素とされ、 予測タップ構 成回路.5 2において、 制御回路 5 7からの制御信号に従った構成の、 注目画素に ついての予測タップが、 フ レームメモリ 5 1に記憶された放送用画像データの画 素を用いて構成される。 さらに、 ステップ S 6 2では、 クラスタ ップ構成回路 5 3において、 制御回路 5 7からの制御信号に従った構成の、 注目画素についての クラスタツプが、 フレームメモリ 5 1 に記憶された放送用画像データの画素を用 いて構成される。 そして、 予測タ ップは、 予測演算回路 5 6に供給され、 クラス タップは、 クラス分類回路 5 4に供給される。

クラス分類回路 5 4は、 ステップ S 6 3において、 クラスタ ップ構成回路 5 3 からのクラスタップを用いて、 制御回路 5 7からの制御信号に従った方法で、 注 目画素をクラス分類し、 その結果得られるクラスに対応するクラスコードを、 メ モリ 5 5に対して、 アドレスとして供給し、 ステップ S 6 4に進む。 ステップ S 6 4では、 メモリ 5 5において、 ステップ S 6 1で記憶された向上 情報としての予測係数のうち、 クラス分類回路 5 4からのクラスコードで表示さ れるア ドレスに記憶されているものが読み出され、 予測演算回路 5 6に供給され る。

予測演算回路 5 6は、 ステップ S 6 5において、 予測タップ構成回路 5 2から 供給される予測タップと、 メモリ 5 5から供給される予測係数とを用いて、 式

( 1 ) に示した線形予測演算を行い、 その結果得られる画素値を、 注目画素の予 測値として、 一時記憶する。

そして、 ステップ S 6 6に進み、 制御回路 5 7により、 フレームメモリ 5 1 に 記憶された放送用画像データのフ レームに対応する高画質画像のフ レ一ムを構成 する画素すベてを注目画素として、 その予測値を求めたかどうかが判定される。 ステップ S 6 6において、 高画質画像のフレームを構成する画素すベてを注目画 素として、 まだ予測値を求めていないと判定された場合、 ステップ S 6 2に戻り、 高画質画像のフレームを構成する画素のうち、 まだ注目画素とされていないもの が、 新たに注目画素とされ、 以下、 同様の処理が繰り返される。

一方、 ステップ S 6 6において、 高画質画像のフレームを構成する画素すベて を注目画素として、 予測値を求めたと判定された場合、 ステップ S 6 7に進み、 予測演算回路 5 6は、 それまでに求めた予測値でなる高画質の画像を、 表示部 2 5 (図.4 ) に順次出力し、 処理を終了する。

なお、 図 1 3の品質向上処理は、 フ レームメモリ 5 1に、 向上情報生成単位分 の放送用画像データが供給されるごとに繰り返し行われる。

以上のように、 送信装置 1から、 複数種類の向上情報を送信し、 受信装置 3に おいて、 その複数種類の向上情報から、 ユーザの要求に応じた画質に対応するも のを選択し、 その選択した向上情報を用いて、 画質を向上させるようにしたので、 ユーザの要求に応じた画質の画像の提供が可能となり、 さらに、 ユーザに提供し た画像の画質に応じて、 きめ細かな課金を行うことができる。

なお、 上述の場合においては、 送信装置 1から、 複数種類の向上情報を送信し、 受信装置 3において、 その複数種類の向上情報から、 ユーザの要求に応じた画質 に対応するものを選択するようにしたが、 その他、 例えば、 送信装置 1 において は、 受信装匿 3からユーザの要求を、 前もって受け付け、 その要求に応じた画質 に対応する向上 ^報だけを、 受信装置 3に送信するようにすることが可能である ₍ この場 、 図 2に点線で示したように、 課金処理部 1 4からの制御に従って、 統 合部 1 2において、 ユーザからの要求に応じた画質に対応する向上情報だけが、 統合 に含められる。

さらに、 上述の場合には、 ¾数種類の向上情報として、 複数種類の予測係数や 線形補問を指示する Rを送信するようにしたが、 その他、 例えば、 複数種類の予 測係数は、 送信装 Ε 1から送信せずに、 受信装^ 3のメモリ 5 5に予め求めた予 測係数を記憶させておき、 複数種類の向上情報としては、 メモリ 5 5に記億され た複数稀類の予測係数のいずれを用いるかに関する情報を送^するようにするこ とが可能である。

また、 ヒ述の場合には、 向 ヒ方式として、 クラス分類適応処理及び線形補間を 用いるようにしたが、 その他の処理を、 向上方式として採用することも可能であ る。

さらに、 上述の場合には、 向上情報生成部 1 1 において、 予測係数を向上情報 として生成し、 品質向上部 2 4において、 その予測係数を用いてクラス分類適応 処理を行うことにより、 画像の画質を向上させるようにしたが、 その他、 例えば、 向上情報生成部 1 1では、 Θ画素の予測に用いるのに適切な予測係数のクラス コードを、 上 ½報として求め、 品質向上部 2 4では、 そのクラスコードの予測 係数を用いて適応処理を うことにより、 画像の画質を向上させることが可能で ある。

即ち、 向上愦報生成部 1 1及び品質向上部 2 4には、 予め学習を行うことによ り得られる、 クラスごとの予測係数を記憶させておく。 そして、 向上情報生成部 1 1では、 め記憶している各クラスの予測係数を用いて、 適応処理を行うこと により、 高画質の画像の予測値を求め、 各画素ごとに、 最も真値に近い予測値が 得られたときの f'測係数のクラスコードを、 向上情^として求める。 一方、 品質 向上部 2 4では、 予め記憶している予測係数のうち、 向上情報としてのクラスコ ードに対応するものを用いて、 高画質の画像の予測値を求め、 画質を向上させた 画像を得る。 この場合、 受信装置 3では、 送 ί言装置 1 (向上情報生成部 1 1 ) に おいて得られるのと同一 liii] f!の画像が得られることになる。

なお、 この ¾ vには、 上怙報生成部 1 1 及び品 K向上部 2 4において、 上述 したようなクラス分類は、 われないことになる。 即ち、 向上 ½報生成部 1 1で は、 f'測値を求めるのに適切な予測係数のクラスコードが、 例えば、 すべてのク ラスの予測係数を用いて適応処 ( '測演^ ) を行うことにより求められ、 品質 向上部 2 4では、 そのようなクラスコードを向上 tr!報として、 そのクラスコード の T'測係数を川いて適応処 を行うことにより、 像の品質が向上されるので、 向上^報 ΐ成部 1 1 及び品質向上部 2 4のいずれにおいても、 クラス分類を行う 必要がない。

即ち、 Μ 1 4は、 ； i.: β'ι Μの予測に Π 'るのに適切な '測係数のクラスコード を、 向上 ·银として求める '' J ヒ ff 報 ΐ成部 1 1 の構成例を示している。 なお、 図 中、 図 6における ¾ と対応する部分については、 同一の符号を付してあり、 以 下では、 その説明は、 適 'fY f 略する。

メモリ 1 0 1 には、 後述する学習装^ (図 1 6 ) において学習が行われること により求められるクラスごとの予測係数が記憶されている。 メモリ 1 0 1は、 制 御回路 4 0によ り制御され、 各クラスの予測係数を、 順次読み出し、 予測演算回 路 1 ◦ 2に ί共給する。

予測演 冋路 1 0 2には、 メモリ 1 0 1 から 了'測係数が供給される他、 予測タ ッブ構成回路 3 4から 測タップが供給されるようになつている。 予測演算回路 1 0 2は、 図 1 2の f M 57.回路 5 6 と同様に、 予測タップ構成回路 3 4から供 給される予測タ ップと、 メモリ 1 0 1 から供給される予測係数とを用いて、 式

( 1 ) に示した線形？"，測演 n (積和演算） を行う。 但し、 予測演算回路 1 0 2は、 ある予測タ ップについて、 メモリ 1 0 1 から順次供給される各クラスの予測係数 それぞれとの線形 f'測演 を行い、 教師画素の予測値を求める。 したがって、 予 測演算回路 1 0 2では、 教師画素について、 全クラス数と同一の数の予測値が 求められることになる。

予測演算回路 1 0 2で求められた Γ'測値は、 比較回路 1 0 3に供給されるよう になっている。 さらに、 比'晈回路 1 0 3には、 フレームメモリ 3 1 から教師画像 も供給されるようになつている。 比敉回路 1 ◦ 3は、 フレームメモリ 3 1から供 給される教師画像を構成する教師画素と、 予測演算回路 1 0 2から供給される、 その教師画素の、 各クラスの予測係数から求められた予測値それそれとを比較す ることにより、 予測誤差を求め、 検出回路 1 0 4に供給する。

検出回路 1 0 4は、 比較回路 1 0 3から供給される予測誤差を最も小さくする 教師画素の f'測値を検出する。 さらに、 検出回路 1 0 4は、 その予測値が得られ たときの予測係数のクラスを表すクラスコ一ドを検出し、 向上情報として出力す る。

次に、 図 1 5のフローチャートを参照して、 図 1 4の向上情報生成部 1 1によ り行われる、 向上情報を生成する向上情報生成処理について説明する。

まず最初に、 ステップ S 1 1 1 において、 向上情報生成単位に相当する分の教 師画像がフレームメモリ 3 1に記憶される。 そして、 ステップ S 1 1 2に進み、 制御回路 4 0は、 そこに供給される方式選択信号に対応する向上方式に用いる向 上情報が得られるように指示を行う制御信号を、 予測夕ップ構成回路 3 4に供給 する。 これにより、 予測タ ップ構成回路 3 4は、 制御信号に従った向上方式に用 いる向上情報としてのクラスコードが得られるような処理を行うように設定され る。

なお、 制御回路 4 0に供給される方式選択信号には、 複数の向上方式を表す情 報が含まれており、 制御回路 4 0は、 その複数の向上方式に対応する制御信号を、 ステップ S 1 1 2の処理が行われるごとに、 順次出力する。

また、 制御回路 4 0が出力する制御信号が、 線形補間を表す場合には、 メモリ 3 9に、 線形補間を指示する旨が、 向上情報として記憶される。 そして、 ステツ プ S 1 1 3乃至 S 1 2 2の処理はスキップされ、 ステップ S 1 2 3に進む。

ステップ S 1 1 2の処理後は、 ステップ S 1 1 3に進み、 ダウンコンバ一タ 3 2において、 フ レームメモリ 3 1 に記憶された教師画像に対して、 必要に応じて、 L P F ( Low Pass F i l ter) がかけられ、 あるいは間引きが行われ、 放送用画像デ 一夕と同一画質の画像が、 生徒画像として生成されて、 フレームメモリ 3 3に供 給されて記億される。

なお、 図 1 5の実施の形態においても、 図 9の実施の形態と同様に、 生徒画像 は、 放送用画像データと異なる画質の画像とすることもでき、 その場合には、 そ の旨の制御信号が、 制御回路 4 0からダウンコンバータ 3 2に供給され、 ダウン コンバータ 3 2では、 制御回路 4 0からの制御信号に従った画質の生徒画像が生 成される。

そして、 ステップ S 1 1 4に進み、 フレームメモリ 3 1 に記憶された教師画素 のうちの、 まだ注目画素とされていないものが、 ；'主目画素とされ、 予測タップ構 成回路 3 4において、 制御回路 4 0からの制御信号に従った構成の、 注目画素に ついての予測タ 'ソプが、 フレームメモリ 3 3に記憶された生徒画素を用いて構成 される。 この予測タップは、 予測演算回路 1 0 2に供給される。

その後、 ステップ S 1 1 5に進み、 制御回路 4 0は、 クラスをカウン トする変 数 iに、 初期値としての 0をセッ ト し、 ステップ S 1 1 6に進む。 ステップ S 1 1 6では、 制御回路 4 0力 変数 iをァ ドレスとして、 メモリ 1 ◦ 1 に与える。 これにより、 ステップ S 1 1 6では、 メモリ 1 0 1から、 クラスコード # iに対 応する予測係数が読み出され、 予測演算回路 1 ◦ 2に供給される。

予測演算回路 1 0 2は、 ステップ S 1 1 7において、 予測タップ構成回路 3 4 から供給される予測タップと、 メモリ 1 0 1から供給される予測係数とを用いて、 式 （ 1 ) に示した線形予測演算を行い、 その結果得られる画素値を、 注目画素の 予測値として、 比較回路 1 0 3に供給する。

比較回路 1 0 3は、 ステップ S 1 1 8において、 注目画素の画素値を、 フレー 厶メモリ 3 1から読み出し、 予測演算回路 1 0 2からの予測値と比較することで、 その予測値の予測誤差を求める。 さらに、 ステップ S 1 1 8において、 比較回路 1 0 3は、 了，測誤差を、 検出回路 1 0 4に供給し、 ステップ S 1 1 9に進む。 ステップ S 1 1 9では、 制御回路 4 0力 変数 iを 1だけインク リメン ト して、 ステップ S 1 2 0に進む。 ステップ S 1 2 0では、 制御回路 4 0力 変数 iが、 全クラス数である N未満であるかどうかを判定し、 変数 iが N未満であると判定 した場合、 ステップ S 1 1 6に戻り、 以下、 同様の処理を繰り返す。

また、 ステップ S 1 2 0において、 変数 iが N未満でないと判定された場合、 即ち、 注目画素について、 すべてのクラスに対応する予測係数を用いて、 予測値 の予測誤差が求められた場合、 ステップ S 1 2 1 に進み、 検出回路 1 0 4は、 注 目画素について、 その予測誤差を最小にする予測係数のクラスを検出し、 そのク ラスに対応するクラスコードを、 向上情報として記憶する。

そして、 ステップ S 1 2 3に進み、 制御回路 4 0は、 そこに供給された方式選 択信号に含まれる複数の向上方式のすべてについて、 向上情報が得られたかどう かを判定する。

ステップ S 1 2 3において、 方式選択信号に含まれる複数の向上方式に用いら れる複数の向上情報の中で、 まだ^られていないものがあると判定された場合、 ステップ S 1 1 2に戻り、 制御回路 4 0は、 まだ向上情報が得られていない向上 方式に対応する制御信 を出力し、 以下、 上述の場合と同様の処理が繰り返され る。

- - 、 ステップ S 1 2 3において、 方式選択 ί言号に含まれる複数の向 ヒ方式の すべてにつ て、 向上情報が ί られたと判定された場合、 即ち、 方式選択信号に 含まれる複数の向上方式それそれに川いられる複数種類の向上佶報が、 検出回路 1 0 4に記憶された場合、 ステップ S 1 2 4に進み、 検出回路 1 0 4から、 その 複数種類の向上情報が^み出され、 統合部 1 2 (図 2 ) に供給されて処理を終了 する。

なお、 図 1 5の向上情報生成処理は、 図 9の実施の形態と同様に、 フ レームメ モリ 3 1 ：こ、 向上情報生成単位分の教師画像 （例えば、 1 フレーム分の教師画 像） が供給されるごとに繰り返し行われる。

次に、 図 1 6は、 [ 1 4のメモリ 1 0 1 に記憶させるクラスごとの予測係数を 求める学習装置のー¾施の形態の構成例を示している。

図 1 6の実施の形態において、 フレームメモリ 1 1 1、 ダウンコンバータ 1 1 2、 フレームメモリ 1 1 3、 ？測タ ツプ構成回路 1 1 4、 クラスタツブ構成回路 1 1 5、 クラス分類回路 1 1 6、 正規方程式加算回路 1 1 7、 予測係数決定回路 1 1 8、 メモリ 1 1 9は、 図 6に示した向上情報生成部 1 1のフ レームメモリ 3 1、 ダウンコンバータ 3 2、 フレームメモリ 3 3、 予測タ ップ構成回路 3 4、 ク ラスタップ構成回路 3 5、 クラス分類回路 3 6、 正規方程式加算回路 3 7、 予測 係数決定回路 3 8、 メモ リ 3 9 とそれそれ同様に構成されている。

したがって、 図 1 6の学習装置では、 基本的には、 図 6の向上情報生成部 1 1 と同様の 理が行われることにより、 クラスごとの予測係数が求められる。 図 1 4のメモリ 1 0 1 には、 1 1 6の 装 Eにおいて ； r'め学習を行うことにより求 められたクラスごとの予測係数が記憶されている。

なお、 1 6の '上施の形態では、 ダウンコンバータ 1 1 2、 了'測タップ構成回 路 1 1 4、 クラスタ ツプ構成 W路 1 1 5及びクラス分類回路 1 1 6を制御するこ とにより、 タ ップ構成やクラス分類方法を変えて、 浚数嵇類の予測係数を求める ことが 能である。

次に、 図 1 7は、 報生成部 1 1が図 1 4に示したように構成される場合 の、 ' 装 3 ( ¾ 4 ) の品 t' |nj I：部 2 4の構成例を示している。 なお、 図中、 図 1 2における場合と対応する 分については、 ^一の符号を付してあり、 以下 では、 その説明は、 適: 略する。

クラスコード記惊部 1 2 1は、 上^報としてのクラスコードを記憶する。 即 ち、 いまの 合、 送 ίΓί装^ 1 からは、 放送) Π画像データの画質を向上させた高画 質画像の^ liiし斗ごとに、 クラスコードが、 向上 報として送信される。 この向上 情報としてのクラスコードは、 '3信装 IS 3 (図 4 ) の選択部 2 3から品質向上部 2 4 (図 1 7 ) に供給され、 クラスコード記憶部 1 2 1は、 この向上情報として のクラスコードを記億する。 そして、 クラスコード記憶部 1 2 1は、 記憶したク ラスコードを、 制御回路 5 7からの制御に従って、 メモリ 1 2 2にアドレスとし て える。

メモリ 1 2 2は、 1 1 6の "^ ?装 ISにおいて求められたクラスごとの予測係数 を記†,'3しており、 クラスコード d憶部 1 2 1からア ドレスとして与えられるクラ スコードに対応する予測係数を み出し、 予測演^回路 5 6に供給する。

次に、 冈 1 8のフローチャー トを参照して、 図 1 7の品質向上部 2 4において 行われる、 放送 ffl両像の 質を向上させる品質向上処理について説明する。 受信装置 3 (図 4 ) において、 抽出部 2 2から品質向上部 2 4に対して、 向上 情報 成単位の放送川両像データが供給されると、 透択部 2 3から品質向上部 2 4に対して、 複数の r【',J ヒ怙報から、 画質レベル信号に基づいて選択された 1種類 ( 1セッ ト） の向上' 報が、 その向上情報を用いて画質を 上させる向上方式を 示す 式選択 とともに供給される。

そして、 ステップ S 1 3 1 において、 フレー厶メモリ 5 1には、 抽出部 2 2カ ら供給される放送用画像データが、 向上情報生成単位で記億される。 また、 ステ ップ S 1 3 1では、 選択部 2 3から供給される向上情報が、 メモリ 1 2 1に記憶 される。 さらに、 ステップ S 1 3 1では、 制御回路 5 7は、 選択部 2 3から方式 選択信号が供給され、 その方式選択信号に対応する向上方式によって、 放送用画 像データの画質を向上させるように指示を行う制御信号を、 予測タップ構成回路 5 2に供給する。 これにより、 予測タップ構成回路 5 2は、 制御回路 5 7からの 制御信号が示す向上方式に従った処理を行うように設定される。

なお、 本実施の形態では、 制御回路 5 7に供給される方式選択信号が、 線形補 間を表す場合を除いて、 メモリ 1 2 1に記憶される向上情報は、 クラスコードで ある。

また、 制御回路 5 7に供給される方式選択信号が、 線形補間を表す場合には、 制御回路 5 7は、 予測演算回路 5 6に対して、 フレームメモリ 5 1に記憶された 放送用画像データを線形補間することを指示する制御信号を供給する。 この場合、 予測演算回路 5 6は、 フレームメモリ 5 1 に記憶された放送用画像データを、 予 測タ ップ構成回路 5 2を介して読み出し、 線形補間を行って出力する。 そして、 この場合、 ステップ S 1 3 2以降の処理は行われない。

ステップ S 1 3 1の処理後は、 ステップ S 1 3 2に進み、 フレームメモリ 5 1 に記憶された放送用画像データの画質を向上させた高画質画像を構成する画素の うちの、 まだ注目画素とされていないものの 1つが、 注目画素とされ、 予測タツ ブ構成回路 5 2において、 制御回路 5 7からの制御信号に従った構成の、 注目画 素についての予測タップが、 フレームメモリ 5 1 に記憶された放送用画像データ の画素を用いて構成される。 この予測タップは、 予測演算回路 5 6に供給される そして、 ステツプ S 1 3 3に進み、 制御回路 5 7は、 注目画素に対する向上情 報としてのクラスコードを読み出すように、 クラスコード記憶部 1 2 1 を制御す る。 これにより、 クラスコード記憶部 1 2 1からは、 注目画素に対する向上情報 としてのクラスコードが読み出され、 メモリ 1 2 2に供給される。

メモリ 1 2 2では、 ステップ S 1 3 3において、 クラスコ一ド記憶部 1 2 1か らのクラスコ一ドで示されるァ ドレスに記憶されている予測係数が読み出され、 予測演算回路 5 6に供給される。 予測演算回路 5 6は、 ステップ S 1 3 5において、 予測タップ構成回路 5 2か ら供給される予測タップと、 メモリ 5 5から供給される予測係数とを用いて、 式 ( 1 ) に示した線形予測演算を行い、 その結果得られる画素値を、 ί主目画素の予 測値として、 一時記憶する。

そして、 ステップ S 1 3 6に進み、 制御回路 5 7により、 フレームメモリ 5 1 に記憶された放送用画像データのフ レームに対応する高画質画像のフ レームを構 成する画素すベてを注目両素として、 その予測値を求めたかどうかが判定される _t ステップ S 1 3 6において、 高画質画像のフレームを構成する画素すベてを注目 画素として、 まだ予測値を求めていないと判定された場合、 ステップ S 1 3 2に 戻り、 高画質画像のフ レームを構成する画素のうち、 まだ注目画素とされていな いものが、 新たに注目画素とされ、 以下、 同様の処理が繰り返される。

一方、 ステップ S 1 3 6において、 高画質画像のフレームを構成する画素すベ てを注目画素として、 予測値を求めたと判定された場合、 ステップ S 1 3 7に進 み、 予測演算回路 5 6は、 それまでに求めた予測値でなる高画質の画像を、 表示 部 2 5 (図 4 ) に順次出力し、 処理を終了する。

なお、 図 1 8の品質向上処理は、 図 1 3の実施の形態と同様に、 フ レームメモ リ 5 1に、 向上情報生成単位分の放送用画像データが供給されるごとに繰り返し 行われる。

次に、 図 1 4及び図 1 7の実施の形態において、 図 1 4のメモリ 1 0 1及び図 1 7のメモリ 1 2 2に共通して記憶させておく予測係数は、 図 1 6の学習装置に おいて、 クラスタップを、 S D画像を用いて構成してクラス分類を行うことによ り得られたものであるが、 メモリ 1 0 1及び 1 2 2に共通して記憶させておく予 測係数は、 S D画像ではなく、 H D画像を用いて、 クラスタップを構成してクラ ス分類を行うことにより得られるものを採用することができる。 この場合、 向上 情報生成部 1 1 において、 向上情報とするクラスコードは、 上述したように、 各 クラスの予測係数それそれ用いて、 注目画素の予測値を求めることなく得ること が可能である。 即ち、 この場合は、 向上情報生成部 1 1において、 H D画像を構 成する各画素について、 その H D画像を用いてクラス夕ップを構成してクラス分 類を行い、 その結果得られるクラスコードを、 向上情報とすればよい。 そこで、 図 1 9は、 H D画像 （教師画像） からクラスタ ップを構成してクラス 分類を行うことにより、 向上 報としてのクラスコードを求める向上佶報生成部 1 1の構成例を している。 なお、 図中、 図 6：こおける場合と c、応ずる部分につ いては同一の符¾を付してあり、 以下では、 その説明は、 適宜 ¾略する。 即ち、 図 1 9の向上情報生成部 1 1は、 ダウンコンバータ 3 2、 フレームメモリ 3 3、 予測タップ構成「"1路 3 4、 規方 式加算回路 3 7及び了，測係数決定回路 3 8が 設けられていない他は、 図 6における場合と同様に構成されている。

次に、 図 2 0のフローチャー トを参照して、 図 1 9の向上情報生成部 1 1 によ り行われる、 向上 f_f 報を .成する向上情報生成 ¾ ί^[Ι-'について説明する。

まず最初に、 ステップ S 1 4 1 において、 向上情報生成単位に相 する分の教 師画像がフレームメモリ 3 1に記憶される。 そして、 ステップ S 1 4 2に進み、 制御回路 4 0は、 そこに供給される方式選択信号に対応する向上方式に用いる向 上情報が得られるように指示を行う制御信 ^を、 クラスタツプ構成回路 3 5及び クラス分類回路 3 6に供給する。 これにより、 クラスタ ップ構成回路 3 5及びク ラス分類回路 3 6は、 制御信号に従った向上方式に用いる向上情報としてのクラ スコードが得られるような処理を行うように設定される。

なお、 制御回路 4 ◦に供給される方式選択信号には、 上述した場合と同様に、 複数の向上方式を す f 報が含まれており、 制御回路 4 0は、 その複数の向上方 式に対.応する制御信 を、 ステップ S 1 4 2の ¾理が行われるごとに、 順次出力 する。

また、 制御回路 4 0が出力する制御信号が、 裸形補間を衷す場合には、 メモリ 3 9に、 線形補間を指示する旨が、 向上情報として記億される。 そして、 ステツ ブ S 1 4 3乃至 S 1 4 5の処理はスキップされ、 ステップ S 1 4 6に進む。 ステップ S 1 4 2の処理後は、 ステップ S 1 4 3に進み、 フレームメモリ 3 1 に記憶された教師画^のうちの、 まだ注目画素とされていないものが、 注目画素 とされ、 クラスタップ構成回路 3 5において、 ^御回路 4 0からの制御信号に従 つた構成の、 ； 目画素についてのクラスタップが、 フレームメモリ 3 1 に記憶さ れた教師画素を川いて構成される。 そして、 クラスタップは、 クラス分類回路 3 6に供給される。 クラス分類回路 3 6は、 ステップ S 1 4 4において、 クラスタ ツプ構成回路 3 5からのクラスタ ップに ½づき、 （ 御冋路 4 0からの制御 i, '}に従った方法で、 i t li両 をクラス分類し、 その結 βίϋられるクラスに対応するクラスコードを、 メモリ 3 9に供給して ^tSさせ、 ステップ S 1 4 5に進む。

ステップ S 1 4 5では、 制御回路 4 0により、 フ レームメモリ 3 1 に記憶され た、 向上 報 ;成 ^位の教師阀素すべてを注 画素として、 クラス分類を行った かどうかが判^され、 まだ、 教師画桌のすベてを □画素として、 クラス分類を ίίつていないと判定された場合、 ステップ S 1 4 3に る。 この場合、 まだ注目 闹桌とされていない教師阀^のうちの 1 つが、 新たに;' t El画素とされ、 ステップ S 1 4 4及び S 1 4 5の処 ¾が繰り返される。

また、 ステップ S 1 4 5において、 制御回路 4 0によ り、 向上情報生成単位の 教師幽— ^すべてを;' Έ \ } m ^として、 足し込みを行ったと判定された場合、 ステツ プ S 1 4 6に進み、 制御 M路 4 0は、 そこに供給された方式選択信^に含まれる 複数の向上方式のすべてについて、 向上 報が得られたかどうかを判定する。 ステップ S 1 4 6において、 方式選択信号に含まれる複数の向上方式に用いら れる複数の 上怙報の中で、 まだ得られていないものがあると判定された場合、 ステップ S 1 4 2に戻り、 制御回路 4 0は、 まだ向上情報が得られていない向上 方式に対応する制御 f_t 1 ' を出力し、 以下、 上述の場合と同様の処理が繰り返され る。

一/ i、 ステップ S 1 4 6において、 式選択信 に含まれる複数の向上方式の すべてについて、 上 ½報としてのクラスコードが得られたと判定された場合、 即ち、 方式選択 に^まれる複数の向上方式それそれに用いられる複数種類の 向上情報としてのクラスコードが、 メモリ 3 9に記憶された場合、 ステップ S 1 4 7に進み、 メモリ 3 9から、 その複数嵇類の向上情報が み出され、 統合部 1 2 (図 2 ) に供給されて処理を終了する。

なお、 W 2 0の向 ヒ情報 ΐ成処理も、 フレームメモリ 3 1 に、 向上情報生成単 位分の教帥 LiHl像が 給されるごとに繰り返し行われる。

次に、 2 1は、 ]上† 報 成部 1 1 が図 1 9に示したように構成される場合 の、 受 β装 i 3 ( [¾ι 4 ) の品 fnj 卜-部 2 4の構成例を示している。 なお、 図中、 図 1 7における場合と対応する部分については、 同一の符号を付してあり、 以下 では、 その説明は、 適宜省略する。 即ち、 図 2 1の品質向上部 2 4は、 メモリ 1 2 2に替えて、 メモリ 1 3 1が設けられている他は、 図 1 7における場合と同様 に構成されている。

図 1 7の実施の形態では、 メモリ 1 2 2に、 図 1 6の学習装置において、 生徒 画素から構成されるクラスタップを用いてクラス分類を行う学習を行うことによ り得られるクラスごとの予測係数が記憶されていたが、 図 2 1の実施の形態では、 メモリ 1 3 1 に、 教師画素から構成されるクラスタップを用いてクラス分類を行 う学習を行うことにより得られるクラスごとの予測係数が記憶されている。

即ち、 図 2 2は、 教師画素から構成されるクラスタップを用いてクラス分類を 行う学習を行う学習装置の一実施の形態の構成例を示している。 なお、 図中、 図 1 6における場合と対応する部分については、 同一の符号を付してあり、 以下で は、 その説明は、 適宜省略する。 即ち、 図 2 2の学習装置は、 基本的に、 図 1 6 における場合と同様に構成されている。

但し、 図 2 2の学習装置においては、 クラスタ ップ構成回路 1 1 5力;、 フレー ムメモリ 1 1 3に記憶された生徒画像ではなく、 フレームメモリ 1 1 1 に記憶さ れた教師画像からクラスタ ップを構成するようになっている。 なお、 クラスタツ プ構成回路 1 1 5は、 図 1 9の向上情報生成部 1 1 を構成するクラスタップ構成 回路 3 5と同一のクラスタ ップを構成する。

以上のように、 向上情報として、 クラスコードを用いる場合においても、 ユー ザの要求に応じて画質を向上させることができる。 したがって、 この場合も、 ュ —ザの要求に応じた画質の画像の提供が可能となり、 さらに、 ユーザに提供した 画像の画質に応じて、 きめ細かな課金を行うことができる。

なお、 上述のように、 向上情報としてクラスコードを用いる場合も、 放送用画 像データと同一内容の高画質の画像データが存在しないケースに対し、 向上情報 として予測係数を用いる場合と同様にして対処可能である。

次に、 t述したように、 放送用画像データと向上情報は、 例えば、 時分割多重 化や周波数多重化等によって統合 ί言号とすることが可能であるが、 放送用画像デ —夕に対して向上情報を埋め込む （embed) ことによって、 統合信号とすることも 可能である。

そこで、 放送用画像データに対して向上情報を埋め込む埋込方法、 及びその方 法によって埋め込まれた向上情報を復号する復号方法について説明する。

一般に、 情報と呼ばれるものは、 エネルギ （エン トロピ一） の偏り （普遍性） を有し、 この偏り力、 情報 （価値ある情報） として認識される。 即ち、 例えば、 ある風景を撮影して得られる画像が、 そのような風景の画像であると人によって 認識されるのは、 画像 （画像を構成する各画素の画素値など） 力 その風景に対 応したエネルギの偏りを有するからであり、 エネルギの偏りがない画像は、 雑音 等にすぎず、 情報としての利用価値はない。

したがって、 価値ある情報に対して、 何らかの操作を施し、 その情報が有する 本来のエネルギの偏りを、 いわば破壊した場合でも、 その破壊されたエネルギの 偏りを元に戻すことで、 何らかの操作が施された情報も、 元の情報に戻すことが できる。 即ち、 情報を操作して得られる操作結果データは、 その情報が有する本 来のエネルギの偏りを利用して、 元の価値ある情報に復号することができる。 ここで、 情報が有するエネルギ （の偏り） を表すものとしては、 例えば、 相関 性がある。

情報の相関性とは、 その情報の構成要素 （例えば、 画像であれば、 その画像を 構成する画素やラインなど） どう しの相関 （例えば、 自己相関や、 ある構成要素 と他の構成要素との距離など） を意味する。 例えば、 画像の相関性を表すものと しては、 画像のライ ン間の相関があり、 この相関を表す相関値としては、 例えば、 2つのライ ンにおける、 対応する各画素値の差分の 2乗和等を用いることができ る （この場合、 相関値が小さいことは、 ライン間の相関が大きいことを表し、 相 関値が大きいことは、 ライ ン間の相関が小さいことを表す） 。

即ち、 画像については、 例えば、 その上から 1行目のライン （第 1 ライン） と、 他のライ ンとの相関は、 一般に、 第 1 ライ ンとの距離が近いラインほど大きくな り、 第 1 ラインとの距離が遠いライ ンほど小さ くなる。 したがって、 第 1 ライン から近いほど、 第 1 ラインとの相関が大き くなり、 遠いほど相関が小さ くなると いう相関の偏りがある。

そこで、 いま、 第 1 ライ ンから比較的近い第 Mラインと、 第 1 ライ ンから比較 的遠い第 Nライ ンとの画素値を入れ替える操作を行い （ 1 < M < N ) 、 その入れ 替え後の画像について、 51 1 ラインと、 他のライ ンとの相関を計算値すると、 第 1 ライ ンから近い第 Mライ ン （入れ替え前の第 Nライ ン） との相関が小さくなり , 第 1 ライ ンから い第 Nライ ン （入れ替え前の第 Mライ ン） との相関が大き くな る。

したがって、 入れ替え後の画像では、 第 1 ライ ンから近いほど相関が大きくな り、 遠いほど相関が小さくなるという相関性の偏りが破壊されている。 しかしな がら、 画像については、 一般に、 第 1 ラインから近いほど相関が大きくなり、 遠 いほど相関が小さ くなるという相関性の偏りを利用することにより、 破壊された 相関性の りを復元することができる。 即ち、 人れ替え後の画像において、 第 1 ライ ンから近い第 Mライ ンとの相関が小さ く、 第 1 ライ ンから遠い第 Nライ ンと の相関が大きいのは、 画像が有する本来の相関性の偏りからすれば、 明らかに不 自然であり （おかしく） 、 第 Mライ ンと第 Nライ ンとは入れ替えるべきである。 そして、 入れ替え後の画像における第 Mラインと第 Nライ ンとを入れ替えること で、 本来の相関性の偏りを有する画像、 即ち、 元の画像を復号することができる： この場合、 例えば、 画像の何ライン Ξを移動するかや、 どのライ ンどう しを入 れ替えるかなどが、 向上情報に従って決定され、 そのようなライ ンの移動や入れ 替え力 画像に向上情報を埋め込むことになる。 また、 そのようにして向上情報 が埋め込まれた画像、 即ち、 ライ ンの入れ替えられた画像を、 その相関を利用し て、 ライ ンを元の位置に入れ替えることにより、 元の画像に戻すことが、 画像及 び向上情報を復号することとなる。 即ち、 元の画像に戻すときに、 何ライン目を 移動したかや、 どのライ ンどう しを入れ替えたかなどを検出すること力、 向上情 報を復号することになる。

以上のように、 画像が有するエネルギの偏りを利用して復号を行うことができ るように、 その画像に対して、 向上情報を埋め込む場合には、 その埋込が行われ た画像を、 元の画像が有するエネルギの偏りを利用することにより、 復号のため のオーバへッ ドなしで、 元の画像及び向上情報に復号することができる。

また、 画像に対して、 向上情報を埋め込むことにより得られる画像 （以下、 適 宜、 埋込画像という） は、 元の画像と異なる画像とされ、 人が価値ある情報とし て認識することのできる画像ではなくなることから、 元の画像については、 ォ一 バへッ ドなしの暗- -化を: ^現することができる。

次に、 図 2 3は、 上述のように、 放送用画像データに対して向上情報を埋め込 むことにより統合 ί,? ¹を '上成する図 2の統合部 1 2の構成例を^している。

フレームメモリ 6 1は、 放送用画像データを、 例えば、 1 フ レーム単位で記憶 する。 なお、 フ レームメモリ 6 1は、 複数バンクで構成され、 バンク切り替えを 行うことにより、 そこに ί -給される放送川画像データの記憶、 後述するような列 の入れ替え、 及びフ レー厶メモリ 6 1 からのデータの 出を、 同時に行うことが できるようになっている。

スワ ップ怡報' 成部 6 2は、 Ιή]上 報生成部 1 1 (図 2 ) から向上^報が供給 され、 その ^上 報に ½づいて、 フ レームメモリ 6 1 に記憶された 1 フレームの ILfii像 （放送川両像データ） の各列の位匿を、 どのように入れ替えるかを表すスヮ ップ · ¾を 成する。 !)ち、 フ レームメモリ 6 1 に記億された 1 フ レームの画像 が、 Μ行 Ν列の幽素で構成される場合において、 その画像の第 η列 （左から η番 目の列） を、 第 η， 列に入れ替えるときには、 スワップ情報生成部 6 2において、 ηと η ' とが対応付けられたスワ ップ情報が生成される （η， η ' は、 1以上 Ν 以下の整数） 。

ここで、 1 フ レー厶の^像の列数が Ν列である場合、 その人れ替え方は、 その すべての列を人れ^えの対象とすると、 Ν ! ( ！ は、 階乗を表す） 通りだけある。 したがって、 この場 、 1 フレームには、 最大で、 1 0 g 2 ( Ν ！ ) ビッ トの向上 † 報の埋込が可能となる。

スヮップ怡報生成部 6 2で生成されたスヮップ情報は、 スヮッビング部 6 3に 供給されるようになっており、 スワッピング部 6 3は、 スヮップ情報生成部 6 2 から供給されるスヮヅプ 報に従って、 フレームメモリ 6 1 に記憶された 1 フレ —ムの画像の^列の位;^:を入れ替える。 これにより、 フレームメモリ 6 1 に記憶 された放送 ffl画像デ一夕に、 向上情報が埤め込まれる。

次に、 図 2 4のフローチャートを参照して、 図 2 3の統合部 1 2において行わ れる埋込処 について説明する。

フレームメモリ 6 1 には、 放送用画像データが供給され、 フレームメモリ 6 1 では、 その放送用画像データが、 順次記憶される。

一方、 スワップ情報生成部 6 2 では、 ステップ S 7 1 において、 1 フレームの 画像 （放送用画像データ） に埋込可能なデ一夕量の向上情報が、 向上情報生成部 1 1から供給される。 即ち、 例えば、 上述したように、 1 フレームの放送用画像 データの列数が N列であり、 そのすベての列を入れ替えの対象とする場合には、 1 フ レームには、 最大で、 l o g 2 ( N ! ) ビッ トの向上情報の埋込が可能である から、 そのようなビッ ト数 （以下） の向上情報が供給される。

そして、 スワップ情報生成部 6 2は、 ステップ S 7 2に進み、 ステップ S 7 1 で供給された向上情報に基づいて、 スワ ップ情報を生成する。 即ち、 スワップ情 報生成部 6 2は、 向上情報に基づき、 フ レームメモリ 6 1 に記憶された埋込処理 の対象となっているフレーム （以下、 適宜、 処理対象フレームという） の第 1列 乃至第 N列のうちの、 例えば、 第 1列を除く第 2列乃至第 N列それぞれを、 第何 列に入れ替えるかを表すスワップ情報を生成する。 このスワップ情報は、 スヮッ ビング部 6 3に供給される。

スヮッビング部 6 3は、 スヮ ッブ情報生成部 6 2からスヮップ情報が供給され ると、 ステップ S 7 3に進み、 そのスワップ情報に従って、 フレームメモリ 6 1 に記憶された処理対象フレームの各列の位置を入れ替える。 これにより、 処理対 象フレームに、 向上情報が埋め込まれ、 このようにして向上情報が埋め込まれた 放送 ffl画像デ一夕 （埋込画像） は、 フ レームメモリ 6 1から読み出され、 統合信 号として、 送信部 1 3 (図 2 ) に供給される。

なお、 フ レームの各列の位置の入れ替えは、 フレームメモリ 6 1 における画像 データ （を構成する画素） の記億位置を変更することで行うことができるが、 そ の他、 例えば、 フレームメモリ 6 1 からフレームを読み出すときのア ドレスを制 御することによって、 結果として、 列の位置の入れ替えが行われたフ レームが、 フレームメモリ 6 1から読み出されるようにしてもよい。

また、 本実施の形態では、 上述したように、 スワップ情報には、 第 2列乃至第 N列それそれを、 第何列に入れ替えるかを表す情報が含まれているが、 第 1列を、 第何列に入れ替えるかを表す情報は含まれていない。 したがって、 スワッピング 部 6 3 ?では、 第 2列乃至第 N列それぞれの入れ替えは行われるが、 第 1列の入 れ替えは行われない。 この理由については後述する。

処理対象フレームの第 2列乃至第 N列すベての入れ替えが終了すると、 ステツ プ S 7 4に進み、 フレームメモリ 6 1 に、 まだ処理対象フレームとされていない 放送用画像データのフレームが記憶されているかどうかが判定され、 記憶されて いると判定された場合、 ステップ S 7 1 に戻り、 まだ処理対象フ レームとされて いないフ レームを新たに処理対象フ レームとして、 以下、 同様の処理が繰り返さ れる。

また、 ステップ S 7 4において、 フ レームメモリ 6 1 に、 処理対象フ レームと されていないフレームが記憶されていないと判定された場合、 埋込処理を終了す る。

以上のような埋込処理によれば、 ある 1 フレームの画像 （ここでは、 放送用画 像データ） は、 次のような埋込画像としての統合信号とされる。

即ち、 いま、 向上情報が、 例えば、 図 2 5に示すように、 N列 （図 2 5 A ) の 処理対象フレームの第 2列を第 6列に （図 2 5 B ) 、 第 3列を第 9列に （図 2 5 C ) 、 第 4列を第 7列に （図 2 5 D ) 、 第 5列を第 3列に （図 2 5 E ) 、 第 6列 を第 8列に （図 2 5 F ) 、 第 7列を第 4列に （図 2 5 G ) 、 第 8列を第 5列に (図 2 5 H ) 、 第 9列を第 2列に （図 2 5 I ) 、 · · · 、 第 N列を第 N列に、 そ れそれ入れ替えるものに対応するとすると、 そのような入れ替えを表すスヮップ 情報が _、 スワップ情報生成部 6 2 において生成される。 そして、 スワッ ピング部 6 3では、 例えば、 図 2 5 Jに示すようなフレームが、 上述のようなスワップ情 報に従い、 第 2列が第 6列に、 第 3列が第 9列に、 第 4列が第 7列に、 第 5列が 第 3列に、 第 6列が第 8列に、 第 7列が第 4列に、 第 8列を第 5列に、 第 9列が 第 2列に、 · · · 、 第 N列が第 N列に、 それそれ入れ替えられる。 その結果、 図 2 5 Jの画像は、 図 2 5 Kに示すような埋込画像とされる。

以上のように、 フレームメモリ 6 1 に記憶された画像を構成する 1以上の画素 の集合としての、 各列の画素の位置を、 向上情報に対応して入れ替えることによ り、 各列に、 向上情報を埋め込む場合には、 その逆の入れ替えを行うことで、 元 の画像を復号することができ、 さらに、 どのような入れ替えを行ったかというこ とが向上情報となる。 したがって、 画像の画質の劣化を極力なく し、 かつデータ 量を増加せずに、 画像に向上 報を埋め込むことができる。

即ち、 向上 報が ±1め込まれた画像である、 列の位;！の人れ替えが行われた画 像の各列は、 その画像の ffl関性、 即ち、 ここでは、 元の両像と冋様の正しい位置 にある列との問の ffl llを利用することにより、 オーバへッ ドなしで、 元の位置に 入れ替えることができ、 さらに、 その入れ替え方により、 向上情報を復号ことが できる。 したがって、 その結 ¾得られる復号画像 （再生画像） には、 基本的に、 i'''J上情報を埋め込むことによる画質の劣化は生じない。

なお、 埋込画像に、 正しい位匿にある列が存在しない場合には、 ヒ述のように 画像の ffl関性を利用して、 画像と向上情報を復号するのは困難である。 そこで、 ここでは、 図 2 4の埋込処理において、 各フレームの第 1列は、 入れ えを行わ ないようにしている。

但し、 第 1列を含むすべての列を入れ替えの対象として、 埋込を行うことも可 能であり、 この場合、 入れ锊ぇ後の列の少なく とも 1以！:の元の位置を、 オーバ ヘッ ドとして、 埋込画像としての統合信号に含めることで、 画像と向上情報の復 号が容易に可能となる。

また、 向上情報は、 列を、 順次入れ替えることにより、 画像に埋め込んでいく ことも可能であるし、 すべての列を一度に入れ替えることにより、 画像に埋め込 むことも可能である。 βΠち、 向上情報に基づいて、 ある列を入れ替え、 次の向上 情報に基づいて、 次の列を人れ えるといったことを繰り返すことで、 向上情報 を画像に埋め込むことも ¾能であるし、 すべての列の人れ替えパターンを、 向上 情報に基づいて決定し、 そのような入れ替えを一度に行うことで、 向上情報を画 像に埋め込むことも可能である。

次に、 図 2 6は、 送信装置 1 (図 2 ) の統合部 1 2が図 2 3に示したように構 成される場合の、 受信装 ? 3 (図 4 ) の抽出部 2 2の構成例を示している。

フレー厶メモリ 7 1は、 図 2 3のフレームメモリ 6 1 と同様に構成されており、 受信部 2 1 (図 4 ) が出力する統合信号としての埋込画像を、 例えば、 フレーム 単位で順次記憶する。

スヮ 'ソピング部 7 2は、 フレームメモリ 7 1 に記憶された埋込画像のうちの、 処理の対象となっているフ レーム （処理対象フ レーム） における、 既に元の位置 に入れ^えられた it新の列と、 他の列 （まだ元の位 ίΞに戻されていない列） との 相関を計^し、 その相関に づいて、 処理対象フ レームの中の、 まだ元の位置に

^されていない列の位 を入れ えることで元に Κす （列の位匠を復号する） 。 さらに、 スワッピング部 7 2は、 フ レームの各列をどのように入れ替えたかを表 すスヮップ情報を、 スヮ ソプ^報変換部 7 3に供給する。

スヮップ½報変換部 7 3は、 スヮッピング部 7 2からのスヮ ップ情報、 即ち、 処理対象フ レームの各列の、 人れ え前の位置と、 入れ^え後の位置との対応関 係に^づいて、 込 m像に押.め込まれた向上† 報を復号する。

次に、 ['ズ 1 2 7のフローチャートを参照して、 図 2 6の抽出部 2 2において行わ れる、 ^込 ^像を復 して、 几の放送用画像データと向上情報を抽出する復号処 理について説明する。

フ レームメモリ 7 1では、 そこに供給される埋込画像 （符号化データ） が、 例 えば、 1 フ レーム単位で她 1次 ^ される。

一方、 スワッピング部 7 2では、 ステップ S 8 1 において、 フレームの列数を カウン トするための変数 nに、 初期値としての、 例えば、 1がセッ トされ、 ステ ップ S 8 2に進み、 変数 nが、 フレームの列数である Nから 1 を減算した N— 1 以下であるかどうかが判定される。

ステップ S 8 2において、 変数 nが N— 1以下であると判定された場合、 ステ ップ S 8 3に進み、 スワ ッ ピング部 7 2は、 フ レームメモリ 7 1 に記憶された処 理対象のフ レームから、 ί?¾ η列の凼尜 （画素列） を読み出し、 その第 η列の各画 素 （の画素値） を要素と して並べたベク トル （以下、 適宜、 列ベク トルという） v nを生成する。 ここで、 本実施の形態では、 上述したように、 フ レームが M行の 画素で構成されるから、 列ベク トル v n (後述する列ベク トル v kも同様） は、 M 次元のべク トルとなる。

その後、 ステップ S 8 4において、 第 n列より右側にある列をカウン トするた めの変数 kに、 初期値と しての n + 1がセッ トされ、 ステップ S 8 5に進み、 ス ヮッビング部 7 2は、 第 k列の画素を読み出し、 その第 k列の画素を要素とする 列ベク トル V kを生成して、 ステップ S 8 6に進む。

ステップ S 8 6では、 スワッピング部 7 2において、 列ベク トル v n及び v kを 用いて、 第 n列と第 k列との相関が求められる。

即ち、 スワッピング部 72では、 列ベク トル vnと vkとの距離 d (n, k) が、 次式に従って計算される。

d n, k ) = I v n— v k I

= (∑ (A (m, n) 一 A (m， k) ) 2) 1/2

• · · ( 8 )

但し、 上式において、 ∑は、 mを、 1から Mに変化させてのサメ一シヨンを表す _c また、 また、 A ( i， j ) は、 処理対象になつているフ レームの第 i行第 j列の 画素 （画素値） を表す。

そして、 スワッピング部 72では、 列ベク トル vnと vkとの距離 d (n, k ) の逆数 1 /d (n, k) せ、 第 n列と第 k列との相関 （を表す相関値） として求 められる。

第 n列と第 k列との相関の算出後は、 ステップ S 87に進み、 変数 kが、 フレ —ムの列数である Nから 1を減算した N— 1以下であるかどうかが判定される。 ステップ S 8 7において、 変数 kが N— 1以下であると判定された場合、 ステツ プ S 8 8に進み、 変数 kが 1だけイ ンクリメン トされ、 ステップ S 8 5に戻り、 以下、 ステップ S 87において、 変数 kが N— 1以下でないと判定されるまで、 ステップ S 8 5乃至 S 88の処理を繰り返す。 即ち、 これにより、 第 n列と、 そ れより右側にある埋込画像の列それそれとの相関が求められる。

その後、 ステップ S 87において、 変数 kが N— 1以下でないと判定されると、 ステップ S 88に進み、 スワッピング部 7 2において、 第 n列との相関を最大に する kが求められる。 そして、 第 n列との相関を最大にする kを、 例えば Kと表 すと、 スワッピング部 72は、 ステップ S 90において、 フレームメモリ 7 1に 記憶された処理対象のフレームの第 n+ 1列と第 K列とをスヮッビング、 即ち、 第 K列を、 第 n列の右隣の第 n + 1列に入れ替える。

その後、 ステツプ S 9 1において、 変数 nが 1だけィンクリメン トされ、 ステ ヅプ S 82に戻り、 以下、 ステップ S 8 2において、 変数 nが N— 1以下でない と判定されるまで、 ステップ S 8 2乃至 S 9 1の処理を繰り返す。

ここで、 本実施の形態では、 埋込画像の第 1列は、 元の画像の第 1列のままで あるから、 変数 nが、 初期値である 1のときは、 第 1列との相関が最も高い埋込 画像の列が、 第 1列の右隣の第 2列に入れ替えられる。 第 1列との相関が最も高 い列は、 画像の相関性から、 基本的に、 元の画像の第 2列であるから、 この場合、 埋込処理において、 埋込画像のどこかの列に入れ替えられた元の画像の第 2列は、 元の位置に戻される （復号される） ことになる。

そして、 変数 nが 2 となると、 上述したようにして元の位置に入れ替えられた 第 2列との相関が最も高い埋込画像の列が、 その第 2列の右隣の第 3列に入れ替 えられる。 第 2列との相関が最も高い列は、 やはり、 画像の相関性から、 基本的 に、 元の画像の第 3列であるから、 この場合、 埋込符^化処理において、 埋込画 像のどこかの列に入れ替えられた元の画像の第 3列は、 元の位置に戻されること になる。

以下、 同様にして、 フレームメモリ 7 1 に記憶された埋込画像は、 元の画像 (放送用画像データ） に復号されていく。

そして、 ステップ S 8 2において、 変数 nが N— 1以下でないと判定された場 合、 即ち、 埋込画像を構成する第 2列乃至第 N列すべてが、 画像の相関性を利用 して元の位置に戻され、 これにより、 フ レームメモリ 7 1に記憶された埋込画像 が、 元の画像 （放送用画像データ） が復号された場合、 ステップ S 9 2に進み、 その復号された画像が、 フレームメモリ 7 1から読み出される。 さらに、 ステツ プ S 9 .2では、 スワッピング部 7 2力 埋込画像を元の画像に復号した際の、 埋 込画像の第 2列乃至第 N列それそれの入れ替え方を表すスヮッブ情報が、 スヮッ プ情報変換部 7 3に出力される。 そして、 スワップ情報変換部 7 3では、 スヮッ ビング部 7 2からのスヮップ情報に基づいて、 埋込画像に埋め込まれていた向上 情報が復号されて出力される。

その後、 ステップ S 9 3に進み、 フレームメモリ 7 1 に、 まだ処理の対象とさ れていない埋込画像のフレームが記憶されているかどうかが判定され、 記憶され ていると判定された場合、 ステップ S 8 1 に戻り、 まだ処理の対象とされていな ぃ埋込画像のフレームを新たに処理対象として、 以下、 同様の処理が繰り返され る。

また、 ステップ S 9 3において、 フレームメモリ 7 1 に、 処理の対象とされて いないフ レームが記憶されていないと判定された場合、 復号処理を終了する。 以上のように、 向上' t 報が埋め込まれた画像である埋込画像を、 画像の相関性 を利用して、 元の両像と向上 報に復号するようにしたので、 その復号のための オーバヘッ ドがなくても、 埋込画像を、 元の画像と向上情報に復号することがで きる。 したがって、 その復号画像には、 基本的に、 向上情報を埋め込むことによ る画 Rの劣化は生じない。

なお、 図 2 7の復号処理においては、 既に復号された最新の 1列 （例えば、 n = 1の場合においては、 fl!込時に入れ^えられていない第 1列） と、 まだ復号さ れていない列との相関を求め、 その相関に基づいて、 既に復号された最新の列の 右隣の位 に入れ ¾えられるべき列を検出するようにしたが、 その他、 例えば、 既に復号された複数の列と、 まだ復^されていない列との相関を演算することに より、 既に復号された最新の列の右隣に人れ替えられるべき列を検出するように することも可能である。

また、 上述の場合には、 列の入れ替えにより、 放送用画像データに向上情報を 埋め込むようにしたが、 埋込は、 行の入れ替えや、 時間方向に並ぶ所定数のフレ ームの同一位置にある画素列の位置の入れ替え、 さらには、 列と行の両方の入れ 替え等によって行うことも可能である。

さらに、 埋込は、 列等を人れ替えるという操作ではなく、 画素値を、 向上情報 に基づいて操作したり、 水'] ^ライ ン等を、 向上情報に基づいてローテシヨンした りすること等によって行うことも可能である。 いずれの場合にも、 エネルギの偏 りを利用して、 元の情報を復号することができる。

なお、 このように、 エネルギの偏りを利用して、 元の情報を復号することがで きるように埋込を行う方法については、 本件出願人が先に提案した、 例えば、 特 願平 1 0— 2 0 0 0 9 3 や、 特願平 1 0— 2 2 2 9 5 1 、 特願平 1 0— 3 3

3 7 0 0号、 特願平 1 1 — 1 2 9 9 1 9号、 特願平 1 1 — 1 6 0 5 2 9号、 特願 平 1 1 一 1 6 0 5 3 0号、 特願平 1 1 — 2 8 4 1 9 8号 （特願平 1 0— 2 8 5 3 1 0号を基礎とする国内優先権主張出願） 、 特願平 1 1 — 2 8 4 1 9 9号 （特願 平 1 0— 2 8 5 3 0 9号を基礎とする国内優先権主張出願） 、 特願平 1 1 一 2 8

4 2 0 0号 （特願平 1 0— 2 8 5 3 0 8号を基礎とする国内優先権主張出願） 等 に、 その 細が, kl , I されており、 これらに ^載されている方法は、 統合部 1 2及 び抽出部 2 2において採川することができる。

次に、 放送用画像データに対して向上 ½報を埋め込む埋込方法としては、 スぺ ク トラム拡散を採 ίΠすることもできる。

そこで、 1 2 8は、 スペク トラム拡散を利 fflして、 放送 ffl画像データに向上情 報を埋め込む ¾合の、 送 ^装^ (図 2 ) の統合部 1 2の構成例を示している。 向上 ' 報 ¾成部 1 1 ( 2 ) が出力する向上愔報は、 スペク トラム拡散信号生 成回路 8 1 に供給されるようになっており、 スペク トラム拡散 ί言号生成回路 8 1 は、 所定のタイ ミ ングで、 例えば、 Μ系列等の P N ( Pseudo random No ise) 符号 列を顺次 成する。 そ して、 スペク ト ラム拡散信 ^ ΐ成回路 8 1は、 その Ρ Ν符 号列によって、 ヒ をスぺク トラ厶拡散し、 スぺク トラ厶拡散信 を得て、 加算冋路 8 2に ift給する。

加算回路 8 2には、 スぺク トラム拡敗^ 成回路 8 1 からスぺク トラム拡散 信号が供給される他、 放送川画像データも供給されるようになっており、 加算回 路 8 2は、 放送川画像データに、 スペク トラム拡散信号を重畳し、 これにより、 放送用画像データに向上 ½報を现め込んだ統合 ί言^を得て、 送信部 1 3 (図 2 ) に出力する。

なお、 放送川隨像データ及びスペク トラム拡散

は、 D / A ( D i gi tal to A nal og) 変換した後に、 加^问路 8 2に供給するようにすることもできる。

次に、 図 2 9は、 送信装^ 1 (図 2 ) の統合部 1 2が図 2 8に示したように構 成される場合の、 ' 装^ 3 (図 4 ) の抽出部 2 2の構成例を示している。

受信部 2 1 (図 4 ) が出力する統合 ί 号は、 逆スぺク トラ厶拡散回路 9 1 と復 号回路 9 2に供給されるようになつている。

逆スぺク トラ厶拡改回路 9 1は、 図 2 8のスぺク トラム拡散信号生成回路 8 1 が生成するのと 様の P N符^列を生成し、 その P N符号列に基づいて、 統合信 号を逆スペク トラム拡敗し、 これによ り、 向上情報を復号する。 この復号された 向上†, 報は、 選択部 2 3 (図 4 ) に供給される。

さらに、 逆スペク トラム拡散回路 9 1 は、 生成した P N符号列を、 ¾号回路 9 2に供給する。 復号回路 9 2は、 逆スぺク トラ厶拡散回路 9 1からの PN符号列に基づいて、 統合信号に重畳されているスペク トラム拡散信号を除去し、 これにより、 放送用 画像データを復号する。 この復号された放送用画像データは、 品質向上部 24 (図 4 ) に供給される。

なお、 図 2 9において、 抽出部 2 2は、 復号回路 9 2を設けずに構成すること が可能である。 この場合、 品質向上部 24に対しては、 スペク トラム拡散信号が 重畳された放送用画像データが供給されることになる。

以上、 エネルギの偏りを利用して、 元の情報を復号することができるように埋 込を行う方法と、 スぺク トラム拡散を利用して埋込を行う方法について説明した 力 、 放送用画像データに対する向上情報の埋込には、 その他、 例えば、 従来の電 子透かしを利用することも可能である。

即ち、 放送用両像データを構成する画素の、 例えば、 下位 1 ビッ トや 2ビッ ト 等を、 向上情報に変更 （置換） することで、 放送用画像データに向上情報埋め込 むことが可能である。

次に、 上述した一連の処理は、 ハードゥヱァにより行うこともできるし、 ソフ トウエアにより行うこともできる。 一連の処理をソフ トウエアによって行う場合 には、 そのソフ トウェアを構成するプログラムが、 汎用のコンピュータ等にイ ン ス トールされる。

そこで、 図 3 0は、 上述した一連の処理を実行するプログラムがイ ンス ト一ル されるコンピュー夕の一実施の形態の構成例を示している。

プログラムは、 コンピュータに内蔵されている記録媒体としてのハードデイス ク 20 5や ROM2 03に予め記録しておくことができる。

あるいはまた、 プログラムは、 フロッピ一ディスク、 CD— ROM (Compact Disc Read Only Memory) , MO (Magneto optical) ディスク， DVD (Digita 1 Versatile Disc) 、 磁気ディスク、 半導体メモリなどのリム一バブル記録媒体 2 1 1に、 一時的あるいは永続的に格納 （記録） しておく ことができる。 このよ うなリム一バブル記録媒体 2 1 1は、 いわゆるパッケージソフ トウェアとして提 供することができる。

なお、 プログラムは、 上述したようなリム一バブル記録媒体 2 1 1からコンビ ユー夕にイ ンス トールする他、 ダウン口一ドサイ トから、 ディジタル衛星放送用 の人工衛星を介して、 コンピュータに無線で転送したり、 LAN (Local Area N etwork) 、 インターネッ トといったネッ トワークを介して、 コンピュータに有線 で転送し、 コンビュ一夕では、 そのようにして転送されてくるプログラムを、 通 信部 2 0 8で受信し、 内蔵するハ一ドディスク 2 0 5にイ ンス トールすることが できる。

コンピュータは、 C P U (Central Processing Unit) 2 02を内蔵している。 C P U 2 0 2には、 バス 2 0 1を介して、 入出力インタフェース 2 1 0が接続さ れており、 CPU 2 02は、 入出力イ ンタフェース 2 1 0を介して、 ユーザによ つて、 キーボードゃマウス等で構成される入力部 2 07が操作されることにより 指令が入力されると、 それに従って、 ROM (Read Only Memory) 2 03に格納 されているプログラムを実行する。 あるいは、 また、 CPU 2 0 2は、 ハードデ イスク 2 0 5に格納されているプログラム、 衛星若しくはネッ トワークから転送 され、 通信部 2 08で受信されてハードディスク 2 0 5にィンス トールされたブ ログラム、 又はドライブ 2 09に装着されたリム一バブル記録媒体 2 1 1から読 み出されてハ一ドディスク 20 5にイ ンス トールされたプログラムを、 RAM

(Random Access Memory) 204にロードして実行する。 これにより、 CPU 2 0 2は、 上述したフローチャートに従った処理、 あるいは上述したブロック図の 構成により行われる処理を行う。 そして、 CPU 202は、 その処理結果を、 必 要に応じて、 例えば、 入出力ィ ンタフエース 2 1 0を介して、 L CD (Liquid C ryStal Display) やスピーカ等で構成される出力部 20 6から出力、 あるいは、 通信部 2 0 8から送信、 さらには、 ハードディスク 20 5に記録等させる。

ここで、 本明細書において、 コンピュータに各種の処理を行わせるためのプロ グラムを記述する処理ステップは、 必ずしもフローチヤ一トとして記載された順 序に沿って時系列に処理する必要はなく、 並列的あるいは個別に実行される処理

(例えば、 並列処理あるいはオブジェク トによる処理） も含むものである。

また、 プログラムは、 1のコンピュータにより処理されるものであってもよい し、 複数のコンピュータによって分散処理されるものであってもよい。 さらに、 プログラムは、 遠方のコンピュー夕に転送されて実行されるものであつてもよい。 なお、 本^施の形態においては、 画像データを対象としたが、 本発明は、 その 他、 例えば、 オーディオデ一夕等を対象とすることも可能である。

さらに、 本実施の形態では、 ¾込画像を、 衛星回線を介して提供する場合につ いて説明したが、 埋込画像の提供は、 その他、 地上波や、 イ ンターネッ ト、 C A T V網等の 種の伝送媒体を介して行うことも可能であるし、 光ディスクゃ光磁 ¾デイスク、 磁気テープ、 半導体メモリ等の各種の 録媒体に記録して行うこと も "J能である。 産業上の利用可能性 本発明に係るデータ処理装匿及び方法、 並びに記録媒体及びプログラムによれ ば、 データの品質を向上させるための向上怡報が生成され、 データに対して向上 情報がはめ込まれる。 したがって、 例えば、 向上情報が埤め込まれた状態のデー タ、 向上情報が抽出された状態のデータ、 向上情報によって品質が向上されたデ —タ等の提供が可能となる。

また、 本発明に係るデータ処理装置及び方法、 並びに記録媒体及びプログラム によれば、 埋込データから向上情報が抽出され、 データの品質が、 向上情報を用 いて向上される。 したがって、 品質の高いデータの提供を受けることが可能とな る。

さらに、 本発明に係るデータ処理装置及び方法、 並びに記録媒体及びプログラ ムによれば、 データの品贾を向上させるための複数種類の向上情報が生成され、 データと、 1種類以上の向上情報とが送信される。 したがって、 複数の品質のデ —夕の提供が可能となる。

さらにまた、 本発明に係るデータ処理装置及び方法、 並びに記録媒体及びプロ グラムによれば、 データ及び 1種類以上の向上情報が供給され、 データの品質力、 1種類以上の向上情報のうちのいずれかを用いて向上される一方、 そのデータの 品質を向上させるのに用いた向上情報に応じて、 課金処理が行われる。 したがつ て、 支払額に応じた品質のデータの提供を受けることが可能となる。

Claims

^求の範囲 l . データの 11を [ ヒさせるための向上 ½ を ΐ成する向上 t 報生成手段と、 データに対して、 iiij„ΐ [nJ上 報を^め込む埤込手段とを備えるデータ処理 装置。

2 . J ,ΐΰ [nj―ヒ f,¹]報 ' t成手段は、 iitj記データの品 Πを向 ヒさせた品質向上データの 測 iを 測するのに川いる f'測係数を、 - 向 ヒ情報として生成することを特 徴とする 求の範 iffl ^! 1項に記載のデータ処理装^。

3 . i id向上怙報 ΐ成手段は、 前記 7'測係数を所定のクラスごとに生成すること を特徴とする^求の [ffl n 2頌に^載のデータ処现装^。

4 , [w

成 段は、

教師となる教帥データのうちの注 している 目教師データのクラスを求める のに川いるクラスタ ップを、 'ii徒となる生徒データを用レ、て構成するクラスタツ ブ構成手段と、

前記クラスタップに基づいて、 前記注目教師データのクラスを求めるクラス分 類を行うクラス分類手段と、

前記注 H教師データを予測するのに、 前記予測係数とともに fflいる予測タップ を、 m ,id生徒データを川いて構成する予測タッブ構成手段と、

ι 記教師データ及び 測タ ップを川いて、 前^クラスごとの前記予測係数を求 める f測係数演 ^手段とを^えることを特徴とする請求の範囲第 3項に記載のデ 一夕処理装置。

5 . 前記向上怙報生成手段は、 俊数極類の前記向上 ' 報を生成することを特徴と する 求の範囲第 4 ifiに 載のデータ処理装置。

6 . iiij記向上情報 'fe成 段は、 Kなるクラス数についての前記予測係数を、 前記 複数稀類の向 ヒ怙報として ΐ成することを特徴とする詰求の範囲第 5 i lに記載の データ処理装匿。

7 . nil記向 ヒ ' i银 成丁:段は、 なる品 の前 生徒データ又は教師データを用 いることにより求められる拔数砘類の 測係数を、 前記複数種類の向上情報とし て ΐ成することを特徴とする 求の範囲第 5项に , 載のデータ処理装置。

8 . 前記向上情報生成手段は、 少なく とも、 前記予測係数と、 線形補間を行うた めの情報とを、 前記複数種類の向上†fl報として生成することを特徴とする請求の 範囲第 5項に記載のデータ処理装置。

9 . 前記向上情報生成手段は、 異なる構成の前記クラスタップ又は予測タップを 用いることにより求められる複数種類の予測係数を、 前記複数種類の向上情報と して生成することを特徴とする請求の範囲第 5項に記載のデータ処理装置。

1 0 . 前記向上情 ffi生成手段は、 前記クラス分類を異なる方法で行うことにより 求められる複数種類の予測係数を、 前記複数種類の向上情報として生成すること を特徴とする請求の範囲第 5項に記載のデータ処理装置。

1 1 . 前記向上悄報生成手段は、 前記データの品質を向上させた品質向上データ の予測値を予測するのに用いる、 データのクラスを表すクラスコードを、 前記向 上情報として生成することを特徴とする請求の範囲第 1項に記載のデータ処理装 置。

1 2 . 前記向上情報生成手段は、

学習の教師となる教師データのうちの注目している注目教師データを予測する のに用いる予測夕ップを、 学習の生徒となる生徒デ一夕を用いて構成する予測夕 ッブ構成手段と、

学習を行うことにより求められた、 前記クラスコ一ドごとの予測係数を記憶す る予測係数記億手段と、

前記予測タッブ及び予測係数を用いて、 前記注目教師データの予測値を求める 予測演算手段と、

前記注目教師データの予測値を最小にする前記予測係数のクラスコードを検出 するクラスコード検出手段とを備え、

前記クラスコード検出手段において検出された前記クラスコ一ドを、 前記向上 情報として出力することを特徴とする請求の範囲第 1 1項に記載のデータ処理装

1 3 . 前記向上情報生成手段は、

学習の教師となる教師データのうちの注目している注目教師データのクラスを 求めるのに fflいるクラスタヅプを、 前記教師データを用いて構成するクラスタッ ブ構成手段と、

前記クラスタヅ プに基づいて、 前記注目教師データのクラスを求めるクラス分 類を行うクラス分類手段とを備え、

前記クラス分類手段において求められたクラスに対応するクラスコードを、 前 記向上情報として出力することを特徴とする請求の範囲第 1 1項に記載のデータ 処理装置。

1 4 . 前記埋込手段は、 前記データが有するエネルギの偏りを利用して、 前記デ 一夕及び向上情報を元に戻すことができるように、 前記データに、 前記向上情報 を埋め込むことを特徴とする請求の範囲第 1項に記載のデータ処理装置。

1 5 . 前記埋込手段は、 スペク トラム拡散を行うことにより、 前記データに、 前 記向上情報を埋め込むことを特徴とする請求の範囲第 1項に記載のデータ処理装 置。

1 6 . 前記埋込手段は、 前記データの 1 ビッ ト以上を、 前記向上情報に変更する ことにより、 前記データに、 前記向上情報を埋め込むことを特徴とする請求の範 囲第 1項に記載のデータ処理装置。

1 7 . 前記データは、 画像データであり、 前記向上情報は、 前記画像データの画 質を向上させる情報であることを特徴とする請求の範囲第 1項に記載のデータ処 理装置。

1 8 . デ一夕の品質を向上させるための向上情報を生成する向上情報生成ステツ ブと、

前記データに対して、 前記向上情報を埋め込む埋込ステツブと有するデータ処 理方法。

1 9 . コンピュータに実行させるプログラムが記録されている記録媒体であって、 データの品質を向上させるための向上情報を生成する向上情報生成ステツプと、 前記データに対して、 前記向上情報を埋め込む埋込ステツプとを有するプログ ラムが記録されている記録媒体。

2 0 . コンピュータに実行させるプログラムであって、

データの品質を向上させるための向上情報を生成する向上情報生成ステツプと、 - 前記データに対して、 前記向上情報を埋め込む埋込ステップとを有するプログ ラム。

2 1 . データに対して、 そのデータの品質を向上させるための向上情報が埋め込 まれた埋込データを処理するデータ処理装 :であって、

前記埋込データから、 前記向上情報を抽出する抽出手段と、

前記データの品質を、 前記向上情報を用いて向上させる向上手段とを備えるデ

—タ処理装^。

2 2 . 前記向上怙報は、 記データの品 Γίを向上させた品質向上データの予測値 を予測するのに Iいる予測係数であり、 前記向上手段は、 前記データ及び予測係 数を用いることにより、 前記品質向 ヒデ一夕の 測値を求めることを特徴とする 請求の範囲第 2 1 ¾ に記載のデータ処理装匿。

2 3 . 前記向上情報は、 所定のクラスごとに求められた前記予測係数であり、 前 記向上手段は、 前記データ及びクラスごとの予測係数を用いることにより、 前記 品質向上データの予測値を求めることを特徴とする請求の範囲第 2 2項に記載の データ処理装置。

2 4 . 前記向上手段は、

注目している前記品質向上データである注目品質向上データのクラスを求める のに用いるクラスタップを、 前記データを用いて構成するクラスタッブ構成手段 と、

前記.クラス夕ップに基づいて、 前記注 S品質向上データのクラスを求めるクラ ス分類を行うクラス分類手段と、

前記注目品質向上データを予測するのに、 前記予測係数とともに用いる予測夕 ップを、 前記データを用いて構成する予測タップ構成手段と、

前記注目品質向上データの予測値を、 その注目品質向上データのクラスの前記 予測係数と、 前記予測タップとを用いて求める予測手段とを備えることを特徴と する請求の範囲第 2 3項に記載のデータ処理装置。

2 5 . 前記向上情報は、 前記データの品質を向上させた品質向上データの予測値 を予測するのに fflいる所定のクラスごとの予測係数の、 そのクラスを表すクラス コ一ドであり、 前記向上手段は、 前記データ及び前記クラスコードに対応する予 測係数を用いることにより、 前記品質向上データの予測値を求めることを特徴と する^！求の範囲第 2 1 Jfiに^战のデータ処理装置。

2 6 . ιΙ ΰ 上手段は、

注 [Ίしている前 JL品 ft向 ヒデ一夕である □品 K in] tデータを？測するのに、 []ίί記了，測係数とともに川いる予測タ ップを、 前記データを川いて構成する予測夕 ップ構成 ^段と、

前^ Π品質向上データの^測 tfiを、 前記向上佶報としてのクラスコードに対 応ずる f'測係数と、 | JD了'測タ ップとを fflいて求める予測手段とを備えることを 特徴とする 求の範 Iffl ^ 2 5項に^載のデータ処 ¾装置。

2 7 . ijij ,记埤込データには、 浚数種類の前記向上怙報が ¾め込まれていることを 特徴とする 求の範 Pfl第 2 4 に^載のデータ処理装置。

2 8 . ι¼ 埋込データには、 Wなるクラス数についての前 ΰ 測係数が、 前記複 数種類の向 htil報として埤め込まれていることを特徴とする^求の範囲第 2 7項 に記載のデータ処理装 [5。

2 9 . 前記予測係数は、 _ 徒となる生徒データと、 教師となる教師データとを用 いて生成されるものであり、 前記埋込データには、 異なる品質の前記生徒データ 又は教師データを用いることにより求められる複数種類の予測係数が、 前記複数 種類の向 ヒ情報として埋め込まれていることを特徴とする請求の範囲第 2 7項に 記載のデータ処¾装^。

3 0 . nil ,Id埋込データには、 少なく とも、 前 3 測係数と、 線形補間を行うため の情報とが、 I'iil d複数種類の向上怙報として埋め込まれていることを特徴とする 詰求の範 ffl第 2 7 ¾1に„ 載のデータ処理装置。

3 1 . ί¾—,记埋込データには、 異なる構成の前記クラスタップ又は予測タップを用 いることにより求められる複数種類の予測係数が、 前記複数種類の向上情報とし て埋め込まれていることを特徴とする請求の範囲第 2 7項に記載のデータ処理装 置。

3 2 . 前 t i]埋込データには、 前記クラス分類を異なる方法で行うことにより求め られる ¾数種類の 測係数が、 1記複数種類の向上怡報として埋め込まれている ことを特徴とする 求の範囲第 2 7項に; 載のデータ処 ί 装 。

3 3 . ι¾ ^数 ί'ίί類の ヒ 報から、 記データの品質を向上させるのに用いる ものを選択する向上†i 報選択手段をさらに備えることを特徴とする請求の範囲第 2 7 ¾に記載のデータ処理装置。

3 4 . 前記抽出手段は、 前記データが有するエネルギの偏りを利用して、 前記埋 込データから、 前記向上情報を抽出することを特徴とする詰求の範囲第 2 1項に 記載のデータ処理装置。

3 5 . 前記抽出手段は、 逆スペク トラム拡散を行うことにより、 前記埋込データ から、 前記向上情報を抽出することを特徴とする請求の範囲第 2 1項に記載のデ 一夕処理装置。

3 6 . 前記抽出手段は、 前記埋込データの 1 ビッ ト以上を、 前記向上情報として 抽出することを特徴とする^求の範囲第 2 1項に記載のデータ処理装置。

3 7 . 前記データは、 画像データであり、 前記向上情報は、 前記画像データの画 質を向上させる情報であることを特徴とする請求の範囲第 2 1項に記載のデータ 処理装置。

3 8 . データに対して、 そのデータの品質を向上させるための向上情報が埋め込 まれた埋込データを処理するデータ処理方法であって、

前記埋込データから、 前記向上情報を抽出する抽出ステツプと、

前記データの品質を、 前記向上情報を用いて向上させる向上ステツプとを有す るデータ処理方法。

3 9 . データに対して、 そのデータの品質を向上させるための向上情報が埋め込 まれた埋込データを処理するのに、 コンピュー夕に実行させるプログラムが記録 されている記録媒体であって、

前記埋込デ一夕から、 前記向上情報を抽出する抽出ステップと、

前記データの品質を、 前記向上情報を用いて向上させる向上ステツプと有する プログラムが記録されている記録媒体。

4 0 . デ一夕に対して、 そのデ一夕の品質を向上させるための向上情報が埋め込 まれた埋込データを処理するのに、 コンピュータに実行させるプログラムであつ て、

前記埋込データから、 前記向上情報を抽出する抽出ステツプと、

前記データの品質を、 前記向上情報を用いて向上させる向上ステツプとを有す るプログラム。

4 1 . データの品質を向上させるための複数種類の向上情報を生成する向上情報 生成手段と、

前記データと、 1種類以上の前記向上情報とを送信する送信手段とを備えるデ 一夕処理装置。

4 2 . 前記複数種類の向上情報の中から、 前記データとともに送信するものを選 択する向上情報選択手段をさらに i える請求の範四第 4 1項に記載のデータ処理 装置。

4 3 . 前記向上情報選択手段は、 前記データを受信する受信装置からの要求に応 じて、 前記向上情報を選択することを特徴とする請求の範囲第 4 2項に記載のデ —夕処理装置。

4 4 . 前記向上情報選択手段が選択する前記向上情報に応じて、 課金処理を行う 課金手段をさらに備えることを特徴とする請求の範囲第 4 3項に記載のデータ処 理装置。

4 5 . 前記向上情報生成手段は、 少なく とも、 前記データの品質を向上させた品 質向上データの予測値を予測するのに用いる予測係数を、 前記向上情報として生 成することを特徴とする請-求の範囲第 4 1項に記載のデータ処理装置。

4 6 . 前記向上情報生成手段は、 前記予測係数を所定のクラスごとに生成するこ とを特徴とする請求の範囲第 4 5項に記載のデータ処理装置。

4 7 . 前記向上情報生成手段は、

教師となる教師データのうちの注目している注目教師データのクラスを求める のに用いるクラスタ ップを、 生徒となる生徒データを用いて構成するクラスタヅ ブ構成手段と、

前記クラスタツプに基づいて、 前記注目教師データのクラスを求めるクラス分 類を行うクラス分類手段と、

前記注目教師データを予測するのに、 前記予測係数とともに用いる予測タップ を、 前記生徒データを用いて構成する予測タッブ構成手段と、

前記教師データ及び予測タップを用いて、 前記クラスごとの前記予測係数を求 める予測係数演算手段とを備えることを特徴とする請求の範囲第 4 6項に記載の データ処理装置。

4 8 . ι'ιίί E向上†_r 報生成手段は、 5 なるクラス数についての前記了'測係数を、 前 記複数種類の向 ヒ怙報として生成することを特徴とする ^求の範囲第 4 7項に記 載のデータ処理装置。

4 9 . ΓιίΙ記向上情報生成丁:段は、 異なる品質の前記生徒データ又は教師データを 用いることによ り求められる複数種類の予測係数を、 前記複数種類の向上情報と して生成することを特徴とする^求の範囲第 4 7項に 3己載のデータ処理装置。

5 0 . 前記向 ヒ情報生成手段は、 少なく とも、 前記予測係数と、 線形補間を行う ための愔報とを、 前記複数種類の向上情報として生成することを特徴とする請求 の範囲第 4 7項に,记載のデータ処理装置。

5 1 . 前記向上情報生成手段は、 異なる構成の前記クラスタップ又は 7'測夕ップ を用いることにより求められる複数種類の？測係数を、 前記複数種類の向上情報 として生成することを特徴とする詰求の範囲第 4 7項に記載のデータ処理装置。

5 2 . 前記向上情報生成手段は、 前記クラス分類を異なる方法で行うことにより 求められる複数種類の予測係数を、 前記複数種類の向上情報として生成すること を特徴とする 求の範囲第 4 7項に記載のデータ処理装置。

5 3 . 前記送信手段は、 前記データが有するエネルギの偏りを利用して、 前記デ 一夕及び向上怙報を元に戻すことができるように、 前記データに、 記向上情報 を埋め込んで、 前記データ及び 1種類以上の向上情報を送信することを特徴とす る請求の範囲第 4 1 ¾1に記載のデータ処理装置。

5 4 . 前記送信手段は、 スペク トラム拡散を行うことにより、 前記データに、 前 記向上情報を埋め込んで、 前記データ及び 1種類以上の向上情報を送信すること を特徴とする請求の範囲第 4 1項に記載のデータ処理装置。

5 5 . 前記送信手段は、 前記データの 1 ビッ ト以上を、 前記向上情報に変更する ことにより、 前記データに、 前記向上情報を埋め込んで、 前記データ及び 1種類 以上の向上情報を送 i することを特徴とする請求の範囲第 4 1項に記載のデータ 処理装置。

5 6 . 前記送信手段は、 前記データと、 前記複数種類の向上' 報のすべてを送信 することを特徴とする 求の範囲第 4 1項に記載のデータ処理装置。

5 7 . 前記データは、 l!fii像データであり、 ι¾記向上^報は、 前記画像データの画 を向上させる ti'i報であることを特徴とする 求の範 第 4 1項に記載のデータ 処 ¾装^。

5 8 . データの ^を向 hさせるための複数種類の向 ヒ情報を生成する向上情報 生成ステップと、

ι ί記データと、 1種類以 hの m記向上情報とを送信する送信ステツプとを有す るデータ処理方法。

5 9 . コンピュータにリ i行させるプログラムが記録されている記録媒体であって、 データの品 ftを hさせるための ¾数種類の向上情報を生成する向上情報生成 ステップと、

f¾記データと、 1稀類以 卜の前^向上情報とを送信する送信ステツブとを有す るプログラムが記録されている 錄媒休。

6 0 . コンピュータに ¾行させるプログラムであって、

データの品質を向上させるための複数種類の向上情報を生成する向上情報生成 ステップと、

前記データと、 1種類以 hの前記向上情報とを送信する送信ステップとを有す るプログラム。

6 1 . データと、 そのデータの品 を向上させるための 1種類以上の向上情報と を受 βして処理するデータ処理装甲であって、

前記データ及び 1種類以 hの向上情報を受信する受信手段と、

前記データの品質を、 ι -【 ΰ 1種類以上の向上情報のうちのいずれかを用いて向 上させる向 ヒ手段と、

前記デ一夕の品 ftを向 1:させるのに用いた前記向上情報に応じて、 課金処理を 行う課金手段とを ( えるデータ処 装置。

6 2 . 记受信手段は、 ¾数種類の向上情報を受信し、

前記複数種類の向 t愔報の中から、 前記データの品質を向上させるのに用いる ものを遗択する 上 ½報選択手段をさらに^える請求の範囲第 6 1項に記載のデ 一夕処理装 g。

6 3 . []ίί ,ίΰ inj上 ½ ffi選択 ^段は、 ユーザからの要求に応じて、 前記向上情報を選 択することを特徴とする請求の範面第 6 2項に記載のデータ処理装置。

6 4 . 前記データの品質を向上させるのに用いる前記向上情報を、 前記データ及 び 1種類以上の向上情報を送 する送信装置に要求する要求手段をさらに備え、 前記受信手段は、 前記送信装置が、 要求手段の要求に応じて送信してく る前記 向上情報を受信することを特徴とする請求の範囲第 6 1項に記載のデータ処理装 ϋ。

6 5 . 前記向上情報は、 前記データの品質を向上させた品質向上データの予測値 を予測するのに用いる予測係数であり、 前記向上手段は、 前記データ及び予測係 数を用いることにより、 前記品質向上データの予測値を求めることを特徴とする 請求の範囲第 6 1项に ¾載のデータ処理装置。

6 6 . 前記向上情報は、 所定のクラスごとに求められた前記予測係数であり、 前 記向上手段は、 前記データ及びクラスごとの予測係数を用いることにより、 前記 品質向上データの予測値を求めることを特徴とする請求の範囲第 6 5項に記載の データ処理装置。

6 7 . 前記向上手段は、

注目している前記品質向上データである注目品質向上データのクラスを求める のに用いるクラスタップを、 前記データを用いて構成するクラスタップ構成手段 と、

前記クラスタップに基づいて、 前記注目品質向上データのクラスを求めるクラ ス分類を行うクラス分類手段と、

前記注目品質向上データを予測するのに、 前記予測係数とともに用いる予測タ ップを、 前記デ一夕を用いて構成する予測タップ構成手段と、

前記 目品質向上データの予測値を、 その注目品質向上データのクラスの前記 予測係数と、 前記予測タップとを用いて求める予測手段とを備えることを特徴と する請求の範囲第 6 6項に記載のデータ処理装置。

6 8 . 前記受信手段は、 複数種類の前記向上情報を受信することを特徴とする請 求の範囲第 6 7項に記載のデータ処理装置。

6 9 . 前記受信手段は、 ¾なるクラス数についての前記予測係数を、 前記複数種 類の向上情報として受信することを特徴とする請求の範囲第 6 8項に記載のデー 夕処理装置。

7 0 . 前記予測係数は、 生徒となる生徒データと、 教師となる教師データとを用 いて生成されるものであり、 前記受信手段は、 異なる品質の前記生徒データ又は 教師データを用いることにより求められる複数種類の予測係数を、 前記複数種類 の向上情報として受信することを特徴とする請求の範囲第 6 8項に記載のデ一夕 処理装置。

7 1 . 前記受信手段は、 少なく とも、 前記予測係数と、 線形補間を行うための情 報とを、 前記複数種類の向上情報として受信することを特徴とする請求の範囲第 6 8項に記載のデータ処理装置。

7 2 . 前記受信手段は、 異なる構成の前記クラスタ ップ又は予測タップを用いる ことにより求められる複数種類の予測係数を、 前記複数種類の向上情報として受 信することを特徴とする^求の範囲第 6 8項に記載のデータ処理装置。

7 3 . 前記受信手段は、 前記クラス分類を異なる方法で行うことにより求められ る複数種類の予測係数を、 前記複数種類の向上情報として受信することを特徴と する請求の範囲第 6 8項に記載のデータ処理装置。

7 4 . 前記受信手段は、 前記データに、 前記 1種類以上の向上情報が埋め込まれ た埋込データを受信し、

前記埋込データから、 前記向上情報を抽出する抽出手段をさらに備える請求の 範囲第.6 1項に記載のデータ処理装置。

7 5 . 前記抽出手段は、 前記データが有するエネルギの偏りを利用して、 前記埋 込データから、 前記向上情報を抽出することを特徴とする請求の範囲第 7 4項に 記載のデータ処理装置。

7 6 . 前記抽出手段は、 逆スペク トラム拡散を行うことにより、 前記埋込データ から、 前記向上情報を抽出することを特徴とする請求の範囲第 7 4項に記載のデ 一夕処理装置。

7 7 . 前記抽出手段は、 前記埋込データの 1 ビッ ト以上を、 前記向上情報として 抽出することを特徴とする請求の範囲第 Ί 4項に記載のデータ処理装置。

7 8 . 前記データは、 画像データであり、 前記向上情報は、 前記画像データの画 質を向上させる情報であることを特徴とする請求の範囲第 6 1項に記載のデータ 処理装置。

7 9 . デ一夕と、 そのデータの品 を向上させるための 1種類以上の向上情報と を受信して処理するデータ処理方法であって、

前記データ及び 1種類以上の向上惜報を受 illする受信ステップと、

前記データの品質を、 前記 1種類以上の向上情報のうちのいずれかを用いて向 上させる向上ステツプと、

前記データのん',質を向上させるのに fflいた i l E向上† 報に応じて、 課金処理を 行う課金ステップとを有するデータ処理方法。

8 0 . データと、 そのデータの を向上させるための 1種類以上の向上情報と を受 ί Ϊして処 ίΐするのに、 コンピュータに; ¾行させるプログラムが記録されてい る記録媒体であって、

前記データ及び 1種類以 hの向上 1,5報を' 3 する受信ステップと、

前記データの品質を、 前記 1極類以上の向上情報のうちのいずれかを用いて向 上させる向上ステツプと、

前記データの品質を向上させるのに fflいた前記向上情報に応じて、 課金処理を 行う課金ステップとを有するプログラムが記録されている記録媒体。

8 1 . データと、 そのデータの品質を向上させるための 1種類以上の向上情報と を受信して処理するのに、 コンピュータに実行させるプログラムであって、 前記データ及び 1種類以上の 上愔報を受信する受信ステツプと、

前記データの品質を、 記 1種類以上の向上情報のうちのいずれかを fflいて向 上させる向上ステップと、

前記データの品質を向上させるのに fflいた前記向上情報に応じて、 課金処理を 行う課金ステップとを有するプログラム。