JP4419045B2 - Information processing system, information processing apparatus and method, recording medium, and program - Google Patents

Description

【００８８】
動きクラス検出部４５は、第３のタップ選択部４３で選択的に取り出された動きクラスタップのデータ（SD画素データ）より、主に、動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する。
【００８９】
この動きクラス検出部４５では、第３のタップ選択部４３で選択的に取り出された動きクラスタップのデータ（SD画素データ）ｍｉおよびｎｉからフレーム間差分が算出され、更に、その差分の絶対値の平均値に対してしきい値処理が行われて、動きの指標である動きクラスが検出される。すなわち、動きクラス検出部４５は、式（２）によって、差分の絶対値の平均値AVを算出する。第３のタップ選択部４３で、例えば、上述したように、１２個のSD画素データｍ１乃至ｍ６およびｎ１乃至ｎ６が取り出されるとき、式（２）におけるＮｂは６である。
【００９０】
【数２】

【００９１】
そして、動きクラス検出部４５では、上述したように算出された平均値AVが、１個または複数個のしきい値と比較されて、動きクラスのクラス情報MVが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，およびｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスが検出される場合、AV≦ｔｈ１のときはMV＝０、ｔｈ１＜AV≦ｔｈ２のときはMV＝１、ｔｈ２＜AV≦ｔｈ３のときはMV＝２、ｔｈ３＜AVのときはMV＝３とされる。
【００９２】
クラス合成部４６は、空間クラス検出部４４より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出部４５より出力される動きクラスのクラス情報MVに基づき、作成すべきHD信号（１０５０ｉ信号）の画素データ（注目位置の画素データ）が属するクラスを示すクラスコードCLを得る。
【００９３】
このクラス合成部４６では、以下の式（３）によって、クラスコードCLの演算が行われる。なお、式（３）において、Ｎａは空間クラスタップのデータ（SD画素データ）の個数、ＰはADRCにおける再量子化ビット数を示している。
【００９４】
【数３】

【００９５】
係数メモリ５３は、後述する推定予測演算部４７で使用される推定式で用いられる複数の係数データＷｉを、クラス毎に格納するものである。この係数データＷｉは、SD信号（５２５ｉ信号）を、HD信号（１０５０ｉ信号）に変換するための情報である。係数メモリ５３には、クラス合成部４６より出力されるクラスコードCLが、読み出しアドレス情報として供給され、係数メモリ５３からは、クラスコードCLに対応した推定式の係数データＷｉ（ｉ＝１乃至ｎ）が読み出され、推定予測演算部４７に供給される。
【００９６】
また、画像信号処理部１２は、情報メモリバンク５１を有している。後述する推定予測演算部４７では、予測タップのデータ（SD画素データ）ｘｉと、係数メモリ５３より読み出される係数データＷｉとから、以下の式（４）の推定式によって、作成すべきHD画素データｙが演算される。式（４）のｎは、第１のタップ選択部４１で選択される予測タップの数を表している。
【００９７】
ここで、タップ選択部４１で選択的に取り出された予測タップのｎ個の画素データの位置は、HD信号における注目位置に対して、空間方向（水平、垂直の方向）および時間方向に亘っている。
【００９８】
【数４】

【００９９】
そして、推定式の係数データＷｉ（ｉ＝１乃至ｎ）は、以下の式（５）に示すように、パラメータｓ、およびｚを含む生成式によって生成される。情報メモリバンク５１は、この生成式における係数データである係数種データｗ10乃至ｗn9を、クラス毎に格納する。この係数種データの生成方法については後述する。
【０１００】
【数５】

【０１０１】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、および偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。この場合、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている。
【０１０２】
図５は、奇数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素HD１乃至HD４における中心予測タップSD０からの位相ずれを示している。ここで、HD１乃至HD４の位置は、それぞれ、SD０の位置から水平方向にｋ１乃至ｋ４、垂直方向にｍ１乃至ｍ４だけずれている。
【０１０３】
図６は、偶数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素HD１′乃至HD４′における中心予測タップSD０′からの位相ずれを示している。ここで、HD１′乃至HD４′の位置は、それぞれ、SD０′の位置から水平方向にｋ１′乃至ｋ４′、垂直方向にｍ１′乃至ｍ４′だけずれている。
【０１０４】
従って、情報メモリバンク５１には、クラスおよび出力画素（HD１乃至HD４，HD１′乃至HD４′）の組み合わせ毎に、係数種データｗ10乃至ｗn9が格納されている。
【０１０５】
係数生成部５２は、各クラスの係数種データ、並びに、パラメータｓ、およびｚの値を用い、上述した式（５）によって、クラス毎に、パラメータｓ、およびｚの値に対応した推定式の係数データＷｉ（ｉ＝１乃至ｎ）を生成する。係数生成部５２には、情報メモリバンク５１より、上述した各クラスの係数種データがロードされる。また、係数生成部５２には、システムコントローラ３２より、パラメータｓ、およびｚの値が供給される。
【０１０６】
係数生成部５２で生成される各クラスの係数データＷｉ（ｉ＝１乃至ｎ）は、上述した係数メモリ５３に格納される。この係数生成部５２における各クラスの係数データＷｉの生成は、例えば、各垂直ブランキング期間で行われる。これにより、ユーザのリモートコマンダ２の操作によってパラメータｓ、およびｚの値が変更されても、係数メモリ５３に格納される各クラスの係数データＷｉを、そのパラメータｓ、およびｚの値に対応したものに即座に変更することができ、ユーザによる解像度の調整がスムーズに行われる。
【０１０７】
正規化係数演算部５４は、係数生成部５２で求められた係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓを、以下の式（６）によって演算する。正規化係数メモリ５５は、この正規化係数Ｓを格納する。正規化係数メモリ５５には、上述したクラス合成部４６より出力されるクラスコードCLが、読み出しアドレス情報として供給され、正規化係数メモリ５５からは、クラスコードCLに対応した正規化係数Ｓが読み出され、後述する正規化演算部４８に供給される。
【０１０８】
【数６】

【０１０９】
推定予測演算部４７は、第１のタップ選択部４１で選択的に取り出された予測タップのデータ（SD画素データ）ｘｉと、係数メモリ５３より読み出される係数データＷｉとから、式（４）の推定式によって、作成すべきHD信号の画素データ（注目位置の画素データ）を演算する。
【０１１０】
上述したように、SD信号（５２５ｉ信号）をHD信号（１０５０ｉ信号）に変換する際には、SD信号の１画素に対してHD信号の４画素（図４のHD１乃至HD４、図５のHD１′乃至HD４′参照）を得る必要があることから、この推定予測演算部４７では、HD信号を構成する２×２の単位画素ブロック毎に、画素データが生成される。すなわち、この推定予測演算部４７には、第１のタップ選択部４１より単位画素ブロック内の４画素（注目画素）に対応した予測タップのデータｘｉと、係数メモリ５３よりその単位画素ブロックを構成する４画素に対応した係数データＷｉとが供給され、単位画素ブロックを構成する４画素のデータｙ1乃至ｙ4は、それぞれ個別に、上述した式（４）の推定式で演算される。
【０１１１】
正規化演算部４８は、推定予測演算部４７より順次出力される４画素のデータｙ1乃至ｙ4を、正規化係数メモリ５５より読み出される、それぞれの演算に使用された係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓで除算して正規化する。上述したように、係数生成部５２は、推定式の係数データＷｉを求めるものであるが、求められる係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１乃至ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算部４７で演算される各画素のデータｙ1乃至ｙ4は、丸め誤差によってレベル変動したものとなる。従って、正規化演算部４８で正規化することで、そのレベル変動を除去することができる。
【０１１２】
後処理部４９は、正規化演算部４８で正規化されて順次供給される単位画素ブロック内の４画素のデータｙ1′乃至ｙ4′を線順次化して、１０５０ｉ信号のフォーマットで出力する。
【０１１３】
履歴情報記憶部５０は、システムコントローラ３２から係数生成部５２に入力されるパラメータｓ、およびｚの値の履歴情報を格納する。
【０１１４】
図７は、履歴情報記憶部５０の更に詳細な構成を示すブロック図である。履歴情報記憶部５０は、システムコントローラ３２から係数生成部５２に入力されるパラメータｓ、およびｚの値のそれぞれの度数分布の情報を格納する度数分布メモリ６１を備えている。度数分布メモリ６１には、パラメータｓ、およびｚの各値における度数が平均化されて格納される。この度数分布メモリ６１は、例えば、不揮発性のメモリで構成され、テレビジョン受信装置１０の電源がオフの状態となっても、その記憶内容が保持されるようになされている。
【０１１５】
そのために、履歴情報記憶部５０は、更に、パラメータｓ、およびｚの値の係数生成部５２への入力回数をカウントするカウンタ６２と、このカウンタ６２のカウント値に基づいて、パラメータｓ、およびｚの値における度数を平均化する平均化部６３とを備えている。
【０１１６】
カウンタ６２のカウントアップは、システムコントローラ１２の制御によって行われる。ユーザは、図８および図９を用いて後述するように、調整画面上でパラメータｓ、およびｚの値を調整し得るが、カウンタ６２はその調整が終了した時点でカウントアップされる。
【０１１７】
平均化部６３は、入力されたパラメータｓ、およびｚの値、カウンタ６２のカウント値および度数分布メモリ６１に格納されている前回までのパラメータｓ、およびｚの各値における度数の平均値を用いて、パラメータｓ、およびｚの各値における新たな度数の平均値を求める。
【０１１８】
この場合、入力回数がＭ、つまりカウンタ９２のカウント値がＭとなるとき、入力されるパラメータの値における度数に関しては、前回までのそのパラメータにおける度数の平均値をｎM-1とするとき、新たな度数の平均値ｎMは、次の式（７）の演算により求められる。一方、入力回数がＭであるとき、入力されるパラメータの値とは異なるパラメータの値における度数に関しては、前回までのそのパラメータにおける度数の平均値をｎM-1とするとき、新たな度数の平均値ｎMは、次の式（８）の演算により求められる。
【０１１９】
【数７】

【０１２０】
【数８】

【０１２１】
このように、度数分布メモリ６１に格納されるパラメータｓ、およびｚの値の度数分布の情報として、パラメータｓ、およびｚの各値における度数の平均値を用いることで、オーバーフローを防止することができる。
【０１２２】
なお、パラメータｓ、およびｚの各値における度数の平均値を用いる変わりに、パラメータｓ、およびｚの各値における度数を、最大度数によって正規化した値を用いるようにしても、同様にオーバーフローを防止できる。
【０１２３】
また、履歴情報記憶部５０は、システムコントローラ３２から係数生成部５２に入力されるパラメータｓ、およびｚの値のうち、所定数、例えば１０個の最新のパラメータｓ、およびｚの値を格納する経時変化メモリ６４を有している。この経時変化メモリ６４は、例えば、不揮発性のメモリで構成され、テレビジョン受信装置１０の電源がオフの状態でもその記憶内容が保持されるようになされている。
【０１２４】
経時変化メモリ６４への書き込み動作は、システムコントローラ３２の制御によって行われる。図８および図９を用いて後述するように、ユーザは、調整画面上でパラメータｓ、およびｚの値を調整することができるが、経時変化メモリ６４には、その調整が終了した時点で、新たなパラメータｓ、およびｚの値が書き込まれる。この書き込みに伴って、格納されているパラメータｓ、およびｚの値の個数が所定数を越えるときは、最も古いパラメータｓ、およびｚの値が削除される。
【０１２５】
図２に戻り、再び、テレビジョン受信装置１０の構成について説明する。
【０１２６】
OSD（On Screen Display）処理部３５は、表示部３７の画面上に文字図形などの表示を行うための表示信号SCHを発生する。合成部３６は、OSD処理部３５から出力される表示信号SCHを、画像信号処理部１２から出力されるHD信号に合成して、表示部３７に供給する。表示部３７は、例えば、CRT（cathode-ray tube）ディスプレイ、あるいはLCD（liquid crystal display）等のフラットパネルディスプレイで構成され、画像信号処理部１２より出力されるHD信号による画像と、必要に応じて合成部３６により合成された表示信号SCHとを表示する。
【０１２７】
また、システムコントローラ３２には、必要に応じてドライブ３８が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは、半導体メモリなどのリムーバブルメディア３９が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてシステムコントローラ３２にインストールされる。
【０１２８】
図２のテレビジョン受信装置１０の動作について説明する。
【０１２９】
システムコントローラ３２は、リモートコントローラ２０を用いて入力されるユーザの操作に基づいて、チューナ３３を制御する。チューナ３３は、システムコントローラ３２の制御に従って、アンテナ１１で受信された放送信号に対して、選局処理、中間周波増幅処理、および検波処理などを行い、バッファメモリ３４に出力する。
【０１３０】
チューナ３３より出力されるSD信号（５２５ｉ信号）は、バッファメモリ３４に供給されて、一時的に保存される。そして、バッファメモリ３４に一時的に記憶されたSD信号は、画像信号処理部１２に供給され、システムコントローラ３２から供給される制御信号を基に、HD信号（１０５０ｉ信号）に変換される。
【０１３１】
すなわち、画像信号処理部１２では、SD信号を構成する画素データ（以下、「SD画素データ」と称する）から、HD信号を構成する画素データ（以下、「HD画素データ」と称する）を得ることができる。画像信号処理部１２より出力されるHD信号は、必要に応じて、合成部３６において、OSD処理部３５から出力される表示信号SCHによる文字図形などと合成されて、表示部３７に供給され、表示部３７の画面上に、画像が表示される。
【０１３２】
また、ユーザは、リモートコントローラ２０の操作によって、表示部３７の画面上に表示される画像の空間方向および時間方向の解像度を調整することができる。画像信号処理部１２では、推定式によって、HD画素データが算出されるが、この推定式の係数データとして、ユーザのリモートコントローラ２０の操作によって調整された、空間方向、および時間方向の解像度を定めるパラメータｓ、およびｚに対応したものが、これらパラメータｓ、およびｚを含む生成式によって生成されて使用される。これにより、画像信号処理部１２から出力されるHD信号による画像の空間方向、および時間方向の解像度は、調整されたパラメータｓ、およびｚに対応したものとなる。
【０１３３】
図８は、パラメータｓ、およびｚを調整するためのユーザインターフェースの一例を示している。調整時には、表示部３７に、パラメータｓ、およびｚの調整位置を、図中星印のアイコン７２で示した調整画面７１が、OSD表示される。また、リモートコントローラ２０は、ユーザ操作手段としてのジョイスティック８１を備えている。
【０１３４】
ユーザは、ジョイスティック８１を操作することで、調整画面７１上でアイコン７２の位置を動かすことができ、空間方向、時間方向の解像度を決定するパラメータｓ、およびｚの値を調整することができる。
【０１３５】
図９に、図８の調整画面７１の部分を拡大して示す。アイコン７２が左右に動かされることで時間方向の解像度（時間解像度）を決定するパラメータｚの値が調整され、一方アイコン７２が上下に動かされることで空間方向の解像度（空間解像度）を決定するパラメータｓの値が調整される。ユーザは、表示部３７に表示される調整画面７１を参照して、パラメータｓ、およびｚの値の調整を容易に行うことができる。
【０１３６】
なお、リモートコントローラ２０は、ジョイスティック８１の代わりに、マウスやトラックボール等のその他のポインティングデバイスを備えるようにしてもよい。更に、ユーザによって調整されたパラメータｓ、およびｚの値が、調整画面７１上に数値表示されるようにしてもよい。
【０１３７】
次に、図４を用いて説明した画像信号処理部１２の動作を説明する。
【０１３８】
第２のタップ選択部４２は、バッファメモリ１４に記憶されているSD信号（５２５ｉ信号）の供給を受け、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）を、選択的に取り出す。第２のタップ選択部４２で選択的に取り出された空間クラスタップのデータ（ＳＤ画素データ）は、空間クラス検出部４４に供給される。空間クラス検出部４４は、空間クラスタップのデータとしての各SD画素データに対して、ADRC処理を施して、空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉを得る（式（１）参照）。
【０１３９】
また、第３のタップ選択部４３は、バッファメモリ３４に記憶されているSD信号（５２５ｉ信号）の供給を受け、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する動きクラスタップのデータ（SD画素データ）を選択的に取り出す。第３のタップ選択部４３で選択的に取り出された動きクラスタップのデータ（SD画素データ）は、動きクラス検出部４５に供給される。動きクラス検出部４５は、動きクラスタップのデータとしての各SD画素データより、動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報MVを得る。
【０１４０】
この動き情報MVと、再量子化コードｑｉとは、クラス合成部４６に供給される。クラス合成部４６は、供給された動き情報MVと再量子化コードｑｉとから、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック毎に、その単位画素ブロック内の４画素（注目画素）が属するクラスを示すクラスコードCLを得る（式（３）参照）。そして、このクラスコードCLは、係数メモリ５３および正規化係数メモリ５５に、読み出しアドレス情報として供給される。
【０１４１】
例えば、各垂直ブランキング期間に、係数生成部５２で、ユーザによって調整されたパラメータｓ、およびｚの値に対応して、クラスおよび出力画素（HD１乃至HD４，HD１′乃至HD４′）の組み合わせ毎に、係数種データｗ10乃至ｗn9を用いて、推定式の係数データＷｉ（ｉ＝１乃至ｎ）が求められて、係数メモリ５３に格納される（式（５）参照）。また、係数生成部５２で求められた推定式の係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓが、正規化係数演算部５４で生成されて、正規化係数メモリ５５に格納される（式（６）参照）。
【０１４２】
クラスコードCLが、係数メモリ５３に読み出しアドレス情報として供給されることで、この係数メモリ５３からクラスコードＣＬに対応した４出力画素（奇数フィールドではHD１乃至HD４、偶数フィールドではHD１′乃至HD４′）分の推定式の係数データＷｉが読み出されて、推定予測演算部４７に供給される。また、第１のタップ選択部４１は、バッファメモリ３４に記憶されているSD信号（５２５ｉ信号）の供給を受け、作成すべきHD信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（SD画素データ）を選択的に取り出す。
【０１４３】
推定予測演算部４７は、予測タップのデータ（SD画素データ）ｘｉと、係数メモリ５３より読み出される４出力画素分の係数データＷｉとから、作成すべきHD信号を構成する単位画素ブロック内の４画素（注目位置の画素）のデータｙ1乃至ｙ4を演算する（式（４）参照）。そして、この推定予測演算部４７より順次出力されるHD信号を構成する単位画素ブロック内の４画素のデータｙ1乃至ｙ4は、正規化演算部４８に供給される。
【０１４４】
正規化係数メモリ５５には、上述したように、クラスコードCLが読み出しアドレス情報として供給され、正規化係数メモリ５５からはクラスコードCLに対応した正規化係数Ｓ、つまり、推定予測演算部４７より出力されるHD画素データｙ1乃至ｙ4の演算に使用された係数データＷｉに対応した正規化係数Ｓが読み出されて、正規化演算部４８に供給される。正規化演算部４８は、推定予測演算部４７より出力されるHD画素データｙ1乃至ｙ4を、それぞれ対応する正規化係数Ｓで除算して正規化する。これにより、係数生成部５２で係数データＷｉを求める際の丸め誤差によるデータｙ1乃至ｙ4のレベル変動が除去される。
【０１４５】
このように、正規化演算部４８で正規化されて順次出力される単位画素ブロック内の４画素のデータｙ1′乃至ｙ4′は、後処理部４９に供給される。後処理部４９は、正規化演算部４８より順次供給される単位画素ブロック内の４画素のデータｙ1′乃至ｙ4′を線順次化し、１０５０ｉ信号のフォーマットで出力する。つまり、後処理部４９からは、HD信号としての１０５０ｉ信号が出力される。
【０１４６】
このように、画像信号処理部１２は、調整されたパラメータｓ、およびｚの値に対応した推定式の係数データＷｉ（ｉ＝１乃至ｎ）を用いて、HD画素データｙを演算するものである。従って、ユーザは、パラメータｓ、およびｚの値を調整することで、HD信号による画像の空間方向および時間方向の解像度を自由に調整することができる。また、調整されたパラメータｓ、およびｚの値に対応した各クラスの係数データは、その都度、係数生成部５２で生成されて使用されるものであるので、大量の係数データを格納しておくメモリは必要なくなり、メモリの節約を図ることができる。
【０１４７】
また、上述したように、ユーザは、調整画面７１上でパラメータｓ、およびｚの値を調整することができる。履歴情報記憶部５０の度数分布メモリ６１（図６参照）には、システムコントローラ３２から係数生成部５２に入力されるパラメータｓ、およびｚの値のそれぞれの度数分布の情報が格納される。また、履歴情報記憶部５０の経時変化メモリ６４（図６参照）には、システムコントローラ３２から係数生成部５２に入力されるパラメータｓ、およびｚの値のうち、所定数、例えば、１０個の最新のパラメータｓ、およびｚの値が格納される。
【０１４８】
このように、履歴情報記憶部５０の度数分布メモリ６１、および経時変化メモリ６４に格納される履歴情報は、例えば、テレビジョン受信装置１０のバージョンアップ等の場合において、その情報メモリバンク５１に格納される係数種データｗ10乃至ｗn9を生成する際などに利用される。
【０１４９】
次に、係数種データｗ10乃至ｗn9の生成方法の一例について説明する。この例においては、上述した式（５）の生成式における係数データである係数種データｗ10乃至ｗn9を求める例を示すものとする。
【０１５０】
ここで、以下の説明のため、式（９）のように、ｔｉ（ｉ＝０乃至９）を定義する。
【０１５１】
【数９】

【０１５２】
この式（９）を用いると、式（５）は、以下の式（１０）のように書き換えられる。
【０１５３】
【数１０】

【０１５４】
最終的に、学習によって未定係数ｗijが求められる。すなわち、クラスおよび出力画素の組み合わせ毎に、複数のSD画素データとHD画素データを用いて、二乗誤差を最小にする係数値が決定される。これは、いわゆる、最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、式（４）および式（５）を用いて、Ｅは式（１１）で表される。ここで、ｘikはＳＤ画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のHD画像の画素データを表している。
【０１５５】
【数１１】

【０１５６】
最小二乗法による解法では、式（１１）のｗijによる偏微分が０になるようなｗijを求める。これは、以下の式（１２）で示される。
【０１５７】
【数１２】

【０１５８】
以下、式（１３）、式（１４）のように、Ｘipjq、Ｙipを定義すると、式（１２）は、式（１５）のように行列を用いて書き換えられる。
【０１５９】
【数１３】

【０１６０】
【数１４】

【０１６１】
【数１５】

【０１６２】
この方程式は、一般に、正規方程式と称されている。正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗijについて解かれ、係数種データが算出される。
【０１６３】
図１０は、上述した係数種データの生成方法の一例の概念を示す図である。
【０１６４】
HD信号から、複数のSD信号が生成される。例えば、HD信号からSD信号を生成する際に使用されるフィルタの空間方向（垂直方向および水平方向）の帯域と時間方向（フレーム方向）の帯域を可変するパラメータｓ、およびｚをそれぞれ９段階に可変することによって、合計８１種類のSD信号が生成される。このようにして生成された複数のSD信号とHD信号との間で、学習が行われて、係数種データが生成される。
【０１６５】
図１１は、上述したテレビジョン受信装置１０に対応する、図１のリモートコントローラ２０の構成を示すブロック図である。
【０１６６】
リモートコントローラ２０は、図８のジョイスティック８１やボタン群等を含み、ユーザの入力を受け付ける入力部９１、CPU、RAM、およびROMを含むマイクロコントローラを備え、システム全体の動作を制御するためのシステムコントローラ９２と、テレビジョン受信装置１０と無線通信を行う通信部９３とを有している。
【０１６７】
入力部９１は、ユーザによる操作を受け付け、その操作内容（ユーザ入力）をシステムコントローラ９２に供給する。システムコントローラ９２は、入力部９１および通信部９３が接続されており、入力部９１より供給されたユーザ入力に基づいて、リモートコントローラ２０の各部を制御する。例えば、システムコントローラ９２は、入力部９１より供給されたユーザ入力に基づいて、テレビジョン受信装置１０の動作を制御する制御信号を通信部９３に供給し、通信部９３を介してテレビジョン受信装置１０に供給させる。
【０１６８】
通信部９３は、システムコントローラ９２に制御され、予め定められた所定の通信方式でテレビジョン受信装置１０と無線通信を行い、テレビジョン受信装置１０に制御信号やデータを供給したり、テレビジョン受信装置１０より出力されたパラメータ等を取得したりする。
【０１６９】
システムコントローラ９２には、また、係数種データ生成部２１が接続されている。係数種データ生成部２１は、システムコントローラ９２より供給されたパラメータ等に基づいて、係数種データを生成し、システムコントローラ９２に供給する。なお、係数種データ生成部２１の詳細な構成については後で説明する。
【０１７０】
さらに、システムコントローラ９２には、SRAM（Static Random Access Memory）、DRAM（Dynamic Random Access Memory）、またはEEPROM（Electronically Erasable and Programmable Read Only Memory）等の記憶素子により構成される記憶部９４が接続されている。
【０１７１】
システムコントローラ９２は、通信部９３より取得したパラメータ等を係数種データ生成部２１に供給し、係数種データを生成させ、生成された係数種データを取得すると、記憶部９４に供給し、記憶させる。記憶部９４は、システムコントローラ９２に制御され、係数種データ生成部２１において生成された係数種データ、入力部９１を介して入力されたユーザ入力、係数種データ生成部２１において使用される教師画像データとしてのHD画像データ、または、システムコントローラ９２により実行されるプログラムや、そのプログラムの実行に必要なデータ等の、様々な情報を記憶する。
【０１７２】
また、リモートコントローラ２０のシステムコントローラ９２には、必要に応じてドライブ９５が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは、半導体メモリなどを含むリムーバブルメディア９６が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてシステムコントローラ９２にインストールされる。また、リムーバブルメディア９６には、係数種データ生成部２１において使用される教師画像データとしてのHD画像データや、後述するフィルタに関する情報等のデータが記録されており、システムコントローラ９２は、ドライブ９５を介してそれらの情報を取得し、記憶部９４に記憶したり、係数種データ生成部２１に供給したりする。
【０１７３】
図１２は、図１１の係数種データ生成部２１の詳細な構成例を示すブロック図である。
【０１７４】
入力端子１０１には、教師信号としてのHD信号（１０５０ｉ信号）が入力される。このHD信号は、図１１の記憶部９４等に記憶されており、システムコントローラ９２によって、係数種データ生成部２１に供給される。SD信号生成部１０３は、このHD信号に対して、入力端子１０２から入力される履歴情報、並びに、パラメータｓ、およびｚの値を用いて、水平および垂直の間引き処理を行って、生徒信号としてのSD信号を得る。
【０１７５】
SD信号生成部１０３は、入力端子１０２から入力されるパラメータｓ、およびｚに基づいて、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの、空間方向および時間方向の帯域を変更する。
【０１７６】
また、このSD信号生成部１０３に入力される履歴情報は、テレビ受信装置１０の履歴情報記憶部５０の度数分布メモリ６１、経時変化メモリ６４に格納されている、入力されたパラメータｓ、およびｚの値の履歴情報である。なお、これらのパラメータや履歴情報は、テレビジョン受信装置１０の通信部３２、およびリモートコントローラ２０の通信部９３の間で行われる無線通信により、リモートコントローラ２０に供給され、システムコントローラ９２を介して、係数種データ生成部２１のSD信号生成部１０３に供給される。また、システムコントローラ９２は、テレビジョン受信装置１０より供給されたパラメータや履歴情報を、一旦、記憶部９４に記憶させるようにしてもよい。
【０１７７】
なお、使用開始前のテレビジョン受信装置１０の情報メモリバンク５１に格納される係数種データｗ10乃至ｗn9を生成する際には、いまだ履歴情報記憶部５０の度数分布メモリ６１、経時変化メモリ６４に履歴情報が格納されていないので、SD信号生成部１０３に履歴情報は入力されない。
【０１７８】
つまり、SD信号生成部１０３に履歴情報が入力されるのは、例えば、テレビジョン受信装置１０のバージョンアップ時等において、その情報メモリバンク５１に格納される係数種データｗ10乃至ｗn9を生成する際などである。
【０１７９】
ここで、入力端子１０２には、図４を用いて説明した画像信号処理部１２の履歴情報記憶部５０と情報が授受可能になされている接続端子が接続されるようにすればよい。すなわち、入力端子１０２の端子１２１および端子１２２は、システムコントローラ９２と接続されて、履歴情報の入力を受け、情報の授受が可能である。
【０１８０】
SD信号生成部１０３では、履歴情報に基づいて、入力されたパラメータｓ、およびｚの値が調整され、この調整されたパラメータｓ、およびｚの値に応じて、空間方向および時間方向の帯域が可変される。履歴情報の入力がないときは、入力されたパラメータｓ、およびｚの値そのものに応じて、空間方向および時間方向の帯域が可変される。
【０１８１】
図１３は、図１２のSD信号生成部１０３の更に詳細な構成例を示すブロック図である。
【０１８２】
図１３において、SD信号生成部１０３はHD信号より画素データを垂直方向に間引く垂直間引きフィルタ１３１と、HD信号より画素データを水平方向に間引く水平間引きフィルタ１３２とを有する、複数のダウンフィルタ１３０−１乃至１３０−ｎ、並びに、ダウンフィルタ１３０−１乃至１３０−ｎの出力信号である複数のSD信号より、出力するSD信号を選択する選択回路１３３を有している。
【０１８３】
ダウンフィルタ１３０−１乃至１３０−ｎのカットオフ周波数（ｆ１乃至ｆｎ）は、予め定められた周波数であり、フィルタ間で互いに異なっている。すなわち、ダウンフィルタ１３０−１乃至１３０−ｎにそれぞれ含まれる垂直間引きフィルタ１３１−１乃至１３１−ｎは、カットオフ周波数が互いに異なっており、それぞれ異なる帯域の信号を出力する。同様に、ダウンフィルタ１３０−１乃至１３０−ｎにそれぞれ含まれる水平間引きフィルタ１３２−１乃至１３２−ｎも、カットオフ周波数が互いに異なっており、それぞれ異なる帯域の信号を出力する。
【０１８４】
なお、これらのダウンフィルタ１３０−１乃至１３０−ｎ（すなわち、垂直間引きフィルタ１３１−１乃至１３１−ｎ、並びに水平間引きフィルタ１３２−１乃至１３２−ｎ）のカットオフ周波数（ｆ１乃至ｆｎ）の設定は、図示せぬRAM等の記憶領域に記憶されており、更新することができる。
【０１８５】
その場合、新たなカットオフ周波数に関する設定情報は、図１１のドライブ９５に装着されたリムーバブルメディア９６より、システムコントローラ９２を介して、係数種データ生成部２１のSD信号生成部１０３に供給されるようにしてもよいし、ユーザ入力として入力部９１において受け付けられ、システムコントローラ９２を介して、係数種データ生成部２１のSD信号生成部１０３に供給されるようにしてもよいし、テレビジョン受信装置１０より、通信部９３を介して取得され、システムコントローラ９２を介して、係数種データ生成部２１のSD信号生成部１０３に供給されるようにしてもよい。以上のようにして、SD信号生成部１０３に供給された新たなカットオフ周波数に関する設定情報は、対応する各フィルタに供給され、設定される。
【０１８６】
図１３の選択回路１３３は、システムコントローラ９２より供給されるパラメータｓ、およびｚや、履歴情報等に基づいて、ダウンフィルタ１３０−１乃至１３０−ｎのそれぞれを通過して生成されたSD信号の中から、出力するSD信号を選択する。なお、選択回路１３３は、履歴情報に基づいて、入力されたパラメータｓ、およびｚの値を調整し、この調整されたパラメータｓ、およびｚの値に応じて、出力するSD信号を選択する。履歴情報の入力がないときは、入力されたパラメータｓ、およびｚの値そのものに応じて、出力するSD信号を選択する。
【０１８７】
なお、SD信号生成部１０３は、ダウンフィルタ１３０−１乃至１３０−ｎ、並びに選択回路１３３を用いることにより、空間方向だけでなく時間方向の解像度も調整する。
【０１８８】
ここで、テレビジョン受信装置１０では、ユーザの操作によって、パラメータｓ、およびｚの値が、例えばそれぞれ０乃至８の範囲内で、所定のステップをもって調整され、空間方向および時間方向の解像度の調整が行われていた。
【０１８９】
この場合、SD信号生成部１０３において入力されるパラメータｓ、およびｚの値そのものに応じて空間方向および時間方向の帯域が可変されるとき、テレビジョン受信装置１０では、図１４に実線枠BFで示す範囲（空間解像度はｙ1乃至ｙ2、時間解像度はｘ1乃至ｘ2）内で解像度の調整を行い得るように、係数種データｗ10乃至ｗn9が生成される。
【０１９０】
履歴情報が入力される場合、SD信号生成部１０３では、パラメータｓ、およびｚの値のそれぞれにおける度数分布の情報が用いられて重心位置が求められる。この場合、所定数の最新のパラメータｓ、およびｚの値に対応する値のうち新しい値ほど大きな重み付けがされる。そして、SD信号生成部１０３では、この重心位置に基づいて、入力されるパラメータｓ、およびｚの値が調整される。この場合、パラメータｓ、およびｚの値が大きくなるほど帯域が狭くなるようにされる。これにより、調整されたパラメータを得たテレビジョン受信装置１０では、パラメータｓ、およびｚの値が大きくされるほど解像度が上がるように調整されるようになる。
【０１９１】
ここでは、テレビジョン受信装置１０側で調整されるパラメータｓ、およびｚの値の変化範囲の中心が、求められた重心位置に移動するように、入力されるパラメータｓ、およびｚの値が線形変換されるようになされている。例えば、テレビジョン受信装置１０側で調整されるパラメータｓ、およびｚの値の変化範囲の中心値がｓ0，ｚ0、求められる重心位置がｓm，ｚm、入力されるパラメータｓ、およびｚの値がｓ1，ｚ1であるとき、調整後のパラメータｓ、およびｚの値ｓ2，ｚ2は、次の変換式で求められる。
【０１９２】
【数１６】

【０１９３】
【数１７】

【０１９４】
このように調整されたパラメータｓ、およびｚの値に応じて、空間方向および時間方向の帯域が可変される場合、テレビジョン受信装置１０では、図１４に実線枠BFで示す範囲内の解像度調整位置（「×」印で図示）の重心位置を中心とする、図１４の一点鎖線枠AFで示す範囲（空間解像度はｙ1′乃至ｙ2′、時間解像度はｘ1′乃至ｘ2′）内で解像度の調整を行い得るように、係数種データｗ10乃至ｗn9が生成される。
【０１９５】
なお、上述した処理では、パラメータｓ、およびｚの値のそれぞれにおける度数分布の情報を用いて重心位置を求める際に、所定数の最新のパラメータｓ、およびｚの値に対応する値のうち、新しい値ほど大きな重み付けがされるものであったが、このような重み付けがされずに求められる重心位置を使用するようにしてもよい。また、度数分布の情報は用いずに、所定数の最新のパラメータｓ、およびｚの値を用い、新しい値ほど大きな重み付けがされて求められた重心位置を使用するようにしてもよい。更には、パラメータｓ、およびｚの値のそれぞれにおける度数分布の情報から最も度数の大きなパラメータｓ、およびｚの値を求め、その値を重心位置の代わりに使用するようにしてもよい。また、所定数の最新のパラメータｓ、およびｚの値のうち、最も新しいパラメータｓ、およびｚの値を、重心位置の代わりに使用するようにしてもよい。
【０１９６】
図１２に戻って、再び、係数種データ生成部２１の構成について説明する。
【０１９７】
第１のタップ選択部１０４、第２のタップ選択部１０５、および第３のタップ選択部１０６は、SD信号生成部１０３より出力されるSD信号（５２５ｉ信号）より、HD信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のSD画素のデータを選択的に取り出して出力する。これら第１のタップ選択部１０４乃至第３のタップ選択部１０６は、図４を用いて説明した画像信号処理部１２の第１のタップ選択部４１乃至第３のタップ選択部４３と、基本的に同様に構成される。
【０１９８】
空間クラス検出部１０７は、第２のタップ選択部１０５で選択的に取り出された空間クラスタップのデータ（SD画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する。この空間クラス検出部１０７は、図４を用いて説明した画像信号処理部１２の空間クラス検出部４４と基本的に同様に構成される。この空間クラス検出部１０７からは、空間クラスタップのデータとしての各SD画素データの再量子化コードｑｉが、空間クラスを示すクラス情報として出力される。
【０１９９】
動きクラス検出部１０８は、第３のタップ選択部１０６で選択的に取り出された動きクラスタップのデータ（SD画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報MVを出力する。この動きクラス検出部１０８は、図４を用いて説明した画像信号処理部１２の動きクラス検出部４５と基本的に同様に構成される。この動きクラス検出部１０８では、第３のタップ選択部１０６で選択的に取り出された動きクラスタップのデータ（SD画素データ）からフレーム間差分が算出され、更に、その差分の絶対値の平均値に対して閾値処理が行われて、動きの指標である動きクラスが検出される。
【０２００】
クラス合成部１０９は、空間クラス検出部１０７より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出部１０８より出力される動きクラスのクラス情報MVとに基づき、HD信号（１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードCLを得る。このクラス合成部１０９も、図４を用いて説明した画像信号処理部１２のクラス合成部４６と基本的に同様に構成される。
【０２０１】
正規方程式生成部１１０は、入力端子１０１に供給されるHD信号から得られる注目位置の画素データとしての各HD画素データｙ、この各HD画素データｙにそれぞれ対応して第１のタップ選択部１０４で選択的に取り出された予測タップのデータ（SD画素データ）ｘｉ、パラメータｓおよびｚの値、並びに、各HD画素データｙにそれぞれ対応してクラス合成部１０９より出力されるクラスコードCLとから、クラス毎に、係数種データｗ10乃至ｗn9を得るための正規方程式（式（１５）参照）を生成する。
【０２０２】
この場合、１個のHD画素データｙと、それに対応するｎ個の予測タップのデータ（SD画素データ）ｘｉとの組合わせで、学習データが生成されるが、調整後のパラメータｓ、およびｚの値の変化に対応して、SD信号生成部１４３における空間方向および時間方向の帯域が可変され、複数のSD信号が順次生成されて、HD信号と各SD信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１１０では、パラメータｓ、およびｚの値が異なる多くの学習データが登録された正規方程式が生成され、係数種データｗ10乃至ｗn9を求めることが可能となる。
【０２０３】
また、この場合、１個のHD画素データｙとそれに対応するｎ個の予測タップのデータ（SD画素データ）ｘｉとの組み合わせで学習データが生成されるが、正規方程式生成部１１０では、出力画素（図４のHD１乃至HD４、図５のHD１′乃至HD４′参照）毎に、正規方程式が生成される。例えば、HD１に対応した正規方程式は、中心予測タップに対するずれ値がHD１と同じ関係にあるHD画素データｙから構成される学習データから生成される。
【０２０４】
係数種データ決定部１１１は、正規方程式生成部１１０で、クラスおよび出力画素の組み合わせ毎に生成された正規方程式のデータの供給を受け、正規方程式を解いて、クラスおよび出力画素の組み合わせ毎に、係数種データｗ10乃至ｗn9を求める。係数種データ決定部１１１は、正規方程式を、例えば、掃き出し法などによって解くことにより、係数種データを求める。係数種メモリ１１２は、係数種データ決定部１１１で求められた係数種データを格納する。入出力インターフェース１１３は、必要に応じて、他の機器（例えば、図４を用いて説明した画像信号処理部１２の情報メモリバンク５１）と接続され、係数種メモリ１１２に格納されている係数種データを出力する。
【０２０５】
次に、図１１に示されるリモートコントローラ２０の動作について説明する。
【０２０６】
ユーザが入力部９１を操作し、パラメータの変更を指示すると、システムコントローラ９２は、入力部９１より取得したそのユーザ入力に基づいて、パラメータ変更処理の開始を指示する制御信号を、通信部９３を介してテレビジョン受信装置１０に供給する。
【０２０７】
テレビジョン受信装置１０は、その制御信号に基づいて、表示部３７にパラメータを変更するためのGUI（Graphical User Interface）画面を表示させる。ユーザはそのGUI画面を参照しながら、リモートコントローラ２０の入力部９１を操作し、パラメータの設定を入力する。
【０２０８】
システムコントローラ９２は、入力部９１より供給されたユーザ入力に基づいて、パラメータの設定を指示する制御信号を、通信部９３を介してテレビジョン受信装置１０に供給する。
【０２０９】
テレビジョン受信装置１０は、その制御信号に基づいて、パラメータを設定すると、そのパラメータおよび履歴情報をリモートコントローラ２０に供給する。通信部９３を介して、それらの情報を取得したシステムコントローラ９２は、取得した情報を係数種データ生成部２１に供給するとともに、記憶部９４に記憶されている教師画像データとしてのHD信号を係数種データ生成部２１に供給する。
【０２１０】
係数種データ生成部２１は、システムコントローラ９２より供給されたパラメータに関する情報、およびHD信号に基づいて、係数種データｗ10乃至ｗn9を生成し、システムコントローラ９２に供給する。システムコントローラ９２は、取得した係数種データｗ10乃至ｗn9を、通信部９３を介してテレビジョン受信装置１０に供給する。
【０２１１】
次に、図１２に示される係数種データ生成部２１の動作について説明する。
【０２１２】
入力端子１０１には、教師信号としてのHD信号（１０５０ｉ信号）が供給され、そしてこのHD信号に対して、SD信号生成部１４３で、水平および垂直の間引き処理が行われて、生徒信号としてのSD信号（５２５ｉ信号）が生成される。
【０２１３】
この場合、SD信号生成部１０３には、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向および時間方向の帯域を定めるパラメータ、換言すれば、生成されるSD信号の空間方向および時間方向の解像度を定めるパラメータｓ、およびｚの値が入力される。
【０２１４】
また、SD信号生成部１０３には、例えば、テレビジョン受信装置１０をバージョンアップする場合など、その情報メモリバンク５１に格納される係数種データｗ10乃至ｗn9を生成する際には、テレビジョン受信装置１０より供給されたパラメータｓ、およびｚの履歴情報が、入力端子１０２を介して入力される。
【０２１５】
SD信号生成部１０３では、履歴情報が入力されるときは、この履歴情報に基づいて入力されたパラメータｓ、およびｚの値が調整される。例えば、履歴情報によってパラメータｓ、およびｚの重心位置が求められ、テレビジョン受信装置１０側で調整されるパラメータｓ、およびｚの値の変化範囲の中心が、求められた重心位置に移動するように、入力されるパラメータｓ、およびｚの値が線形変換される。そして、SD信号生成部１０３では、調整されたパラメータｓ、およびｚの値に応じて、上述したように、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向および時間方向の帯域が可変される。
【０２１６】
なお、使用開始前のテレビジョン受信装置１０の情報メモリバンク５１に格納される係数種データｗ10乃至ｗn9を生成する際には、履歴情報の入力がないので、入力されたパラメータｓ、およびｚの値そのものに応じて、上述したようにHD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向および時間方向の帯域が可変される。
【０２１７】
SD信号生成部１０３に入力されるパラメータｓ、およびｚの値が順次変更されることで、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向および時間方向の帯域が変更されることから、空間方向および時間方向の帯域が段階的に変化した複数のSD信号が生成される。
【０２１８】
また、SD信号生成部１０３で生成されたSD信号（５２５ｉ信号）より、第２のタップ選択部１０５で、HD信号（１０５０ｉ信号）における注目位置の周辺に位置する空間クラスタップのデータ（SD画素データ）が選択的に取り出される。この第２のタップ選択部１０５で選択的に取り出された空間クラスタップのデータ（SD画素データ）は、空間クラス検出部１０７に供給される。空間クラス検出部１０７では、空間クラスタップのデータとしての各SD画素データに対してADRC処理が施されて、空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（式（１）参照）。
【０２１９】
また、SD信号生成部１０３で生成されたSD信号より、第３のタップ選択部１０６で、HD信号に係る注目画素の周辺に位置する動きクラスタップのデータ（SD画素データ）が選択的に取り出される。この第３のタップ選択部１０６で選択的に取り出された動きクラスタップのデータ（SD画素データ）は、動きクラス検出部１０８に供給される。この動きクラス検出部１０８では、動きクラスタップのデータとしての各SD画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報MVが得られる。
【０２２０】
クラス情報MVと再量子化コードｑｉとは、クラス合成部１０９に供給される。クラス合成部１０９は、供給されたクラス情報MVと再量子化コードｑｉとから、HD信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードCLを得る（式（３）参照）。
【０２２１】
また、SD信号生成部１０３で生成されるＳＤ信号より、第１のタップ選択部１０４で、HD信号における注目位置の周辺に位置する予測タップのデータ（SD画素データ）が選択的に取り出される。
【０２２２】
そして、正規方程式生成部１１０では、入力端子１０１に供給されるHD信号より得られる注目位置の画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択部１０４で選択的に取り出された予測タップのデータ（SD画素データ）ｘｉと、パラメータｓ、およびｚの値と、各HD画素データｙにそれぞれ対応してクラス合成部１０９より出力されるクラスコードCLとから、クラスおよび出力画素の組み合わせ毎に、係数種データｗ10乃至ｗn9を得るための正規方程式（式（１５）参照）が個別に生成される。
【０２２３】
そして、係数種データ決定部１１１で各正規方程式が解かれ、クラスおよび出力画素の組み合わせ毎の係数種データｗ10乃至ｗn9が求められ、それらの係数種データｗ10乃至ｗn9は、係数種メモリ１１２に格納され、必要に応じて、入出力インターフェース１１３を介して、外部に出力される。
【０２２４】
このように、図１２に示される係数種データ生成部２１においては、図４の画像信号処理部１２の情報メモリバンク５１に格納される、クラスおよび出力画素（HD１乃至HD４，HD１′乃至HD４′）の組み合わせ毎の、推定式で用いられる係数データＷｉを求めるための生成式（式（５）参照）における係数データである係数種データｗ10乃至ｗn9を生成することができる。
【０２２５】
また、この係数種データ生成部２１において、例えば、テレビジョン受信装置１０をバージョンアップする場合であって、その情報メモリバンク５１に格納される係数種データｗ10乃至ｗn9を生成する際には、入力端子１０２を介して、SD信号生成部１４３に、テレビジョン受信装置１０の履歴情報記憶部５０の度数分布メモリ６１、経時変化メモリ６４に格納されている、ユーザ操作によって過去に入力されたパラメータｓ、およびｚの履歴情報が入力される。
【０２２６】
SD信号生成部１０３では、この履歴情報に基づいて、入力されるパラメータｓ、およびｚの値が調整され、この調整されたパラメータｓ、およびｚによって、HD信号からSD信号を得る際に用いられる帯域制限フィルタの空間方向および時間方向の帯域が可変される。
【０２２７】
このようにして求められた係数種データｗ10乃至ｗn9を、テレビジョン受信装置１０に供給し、情報メモリバンク５１に格納して使用することで、ユーザは、パラメータｓ、およびｚの値の調整により、過去の解像度調整の重心位置を中心とする範囲（図１４の一点鎖線枠AF参照）内で解像度の調整を行うことが可能となる。すなわち、ユーザの好みに合わせた解像度調整範囲が自動的に設定され、ユーザはその範囲内で解像度の調整を行うことができる。
【０２２８】
次に、図１の画像情報処理システムによる、テレビジョン受信装置１０のバージョンアップ時に行われる、係数種データ更新処理について、図１５のフローチャートを参照して説明する。
【０２２９】
ユーザがリモートコントローラ２０の入力部９１を操作することにより、係数種データの設定の開始を指示すると、リモートコントローラ２０のシステムコントローラ９２は、ステップＳ２１において、通信部９３を介して、制御信号をテレビジョン受信装置１０に供給し、パラメータｓおよびｚの設定処理を開始させる。
【０２３０】
テレビジョン受信装置１０の通信部３１は、ステップＳ１において、リモートコントローラ２０より送信された制御信号を受信し、システムコントローラ３２に供給する。
【０２３１】
システムコントローラ３２は、取得した制御信号に基づいて、パラメータｓおよびｚの設定処理を開始し、ステップＳ２において、表示部３７を制御して、GUI画面を表示部３７に表示する。
【０２３２】
テレビジョン受信装置１０の表示部３７に表示されたGUI画面を見たユーザは、そのGUI画面に基づいてリモートコントローラ２０の入力部９１を操作し、パラメータｓおよびｚの値を決定するための情報を入力する。
【０２３３】
リモートコントローラ２０のシステムコントローラ９２は、入力部９１を介して、その情報を取得すると、ステップＳ２２において、通信部９３を介して、その情報をテレビジョン受信装置１０に転送する転送処理を行う。
【０２３４】
テレビジョン受信装置１０の通信部３１は、ステップＳ３において、その情報を受信すると、システムコントローラ３２に供給する。システムコントローラ３２は、ステップＳ４において、通信部３１を介して、ユーザの指示（リモートコントローラ２０より供給される、パラメータｓおよびｚの値を決定するための情報）を受け付けたか否かを判定し、受け付けたと判定するまで待機する。
【０２３５】
ステップＳ４において、ユーザの指示を受け付けたと判定した場合、テレビジョン受信装置１０のシステムコントローラ３２は、ステップＳ５において、取得したパラメータｓおよびｚの値を決定するための情報を画像信号処理部１２に供給するなどして、係数種データを生成するために必要なパラメータ（すなわち、上述したパラメータｓおよびｚ、または履歴情報）を生成し、ステップＳ６において、そのパラメータを、通信部３１を介してリモートコントローラ２０に供給する。
【０２３６】
ステップＳ２３において、リモートコントローラ２０のシステムコントローラ９２は、テレビジョン受信装置１０より供給されたパラメータ（すなわち、上述したパラメータｓおよびｚ、または履歴情報）を取得し、係数種データ生成部２１に供給する。また、システムコントローラ９２は、記憶部９４に予め記憶されている教師画像であるHD画像データを係数種データ生成部２１に供給する。
【０２３７】
パラメータを取得した係数種データ生成部２１は、ステップＳ２４において、係数種データ生成処理を行い、係数種データを生成する。係数種データ生成処理の詳細については、図１６のフローチャートを参照して後述する。
【０２３８】
係数種データを生成した係数種データ生成部２１は、生成した係数種データをシステムコントローラ９２に供給する。システムコントローラ９２は、ステップＳ２５において、係数種データ生成部２１より供給された係数種データを、通信部９３を介して、テレビジョン受信装置１０に供給し、係数種データ更新処理を終了する。
【０２３９】
テレビジョン受信装置１０の通信部３１は、ステップＳ７において、リモートコントローラ２０より供給された係数種データを取得し、システムコントローラ３２に供給する。ステップＳ８において、システムコントローラ３２は、通信部３１を介して取得した係数種データを画像信号処理部１２に供給し、情報メモリバンク５１に記憶させることにより、係数種データを保持する。画像信号処理部１２に係数種データを供給したシステムコントローラ３２は、係数種データ更新処理を終了する。
【０２４０】
次に、図１５のステップＳ２４において実行されるリモートコントローラ２０の係数種データ生成部２１による係数種データ生成処理の詳細について、図１６のフローチャートを参照して説明する。
【０２４１】
ステップＳ４１において、係数種データ生成部２１は、入力端子１２１より履歴情報、または、入力端子１０２よりパラメータｓおよびｚを取得し、SD信号生成部１０３において、学習に使われる画質パターン（例えば、パラメータｓ、およびｚで特定される）を選択するとともに、選択した画質パターンを履歴情報に基づいて調整する。
【０２４２】
ステップＳ４２において、係数種データ生成部２１は、全ての画質パターンに対して学習が終了したか否かを判断する。
【０２４３】
ステップＳ４２において、全ての画質パターンに対して学習が終了していないと判断された場合、ステップＳ４３において、係数種データ生成部２１は、入力端子１０１より、既知のHD画素データをフレーム単位またはフィールド単位で取得する。
【０２４４】
ステップＳ４４において、係数種データ生成部２１は、全てのHD画素データについて処理は終了したか否かを判断する。ステップＳ４４において、全てのHD画素データについて処理は終了したと判断された場合、処理は、ステップＳ４１に戻り、同様の処理が繰り返される。
【０２４５】
ステップＳ４４において、全てのHD画素データについて処理は終了していないと判断された場合、ステップＳ４５において、係数種データ生成部２１のSD信号生成部１０３は、ステップＳ４３で取得されたHD画素データより、ステップＳ４１で調整された画質パターンに基づいて、SD画素データを生成する。
【０２４６】
係数種データ生成部２１は、ステップＳ４６に処理を進め、第１のタップ選択部１０４、第２のタップ選択部１０５、および第３のタップ選択部１０６において、ステップＳ４５で生成されたSD画素データより、ステップＳ４３で取得された各HD画素データに対応して、クラスタップおよび予測タップの画素データを取得する。
【０２４７】
ステップＳ４７において、係数種データ生成部２１は、生成されたSD画素データの全領域において学習処理は終了したか否かを判断する。ステップＳ４７において、学習処理は終了したと判断された場合、処理は、ステップＳ４３に戻り、次のHD画素データが取得され、同様の処理が繰り返される。
【０２４８】
ステップＳ４７において、学習処理は終了していないと判断された場合、係数種データ生成部２１のクラス合成部１０９は、ステップＳ４８において、ステップＳ４６で取得されたクラスタップのSD画素データからクラスコードCLを生成する。そして、ステップＳ４９において、係数種データ生成部２１の正規方程式生成部１１０は、正規方程式（式（１５）参照）を生成する。ステップＳ４９の処理を終了すると、係数種データ生成部２１は、ステップＳ４６に処理を戻し、それ以降の処理を繰り返す。
【０２４９】
ステップＳ４２において、全ての画質パターンに対して学習が終了したと判断した場合、係数種データ生成部２１の係数種データ決定部１１１は、ステップＳ５０において、正規方程式を掃き出し法等で解くことによって、クラスおよび出力画素（図４のHD１乃至HD４、図５のHD１′乃至HD４′参照）の各組み合わせの係数種データを算出する。そして、ステップＳ５１において、係数種データ生成部２１の係数種メモリ１１２は、その係数種データを保存する。ステップＳ５１の処理が終了すると、係数種データ生成部２１は、係数種データ生成処理を終了し、図１５のステップＳ２５に処理を進める。
【０２５０】
図１５および図１６のフローチャートを参照して説明したように更新された係数種データを用いて、テレビジョン受信装置１０の画像信号処理部１２は、入力されたSD信号に対して画像処理を行う。
【０２５１】
図１７のフローチャートを参照して、画像信号処理部１２による、SD信号よりHD信号を得るための画像信号処理について説明する。
【０２５２】
ステップＳ７１において、画像信号処理部１２は、SD画素データをフレーム単位またはフィールド単位で取得する。
【０２５３】
ステップＳ７２において、画像信号処理部１２は、入力SD画素データの全フレームまたは全フィールドの処理が終わっているか否かを判断する。ステップＳ７２において、処理が終わっていないと判断した場合、ステップＳ７３において、画像信号処理部１２は、例えば、ユーザのリモートコントローラ２０の操作によって入力された画質指定値（例えばパラメータｓ、およびｚ）を取得する。
【０２５４】
ステップＳ７４において、画像信号処理部１２は、例えば、履歴情報記憶部５０における度数分布メモリ９１、経時変化メモリ９４等に格納されている履歴情報を、ステップＳ７３において取得された新たな画質指定値を用いて更新する。
【０２５５】
ステップＳ７５において、画像信号処理部１２の係数生成部５２は、読み込んだ画質指定値、クラスおよび出力画素（図４のHD１乃至HD４、図５のHD１′乃至HD４′参照）の各組み合わせの係数種データを使用して、例えば式（５）の生成式によって、各組み合わせの推定式（式（４）参照）の係数データＷｉを生成する。
【０２５６】
画像信号処理部１２は、ステップＳ７６において、ステップＳ７１において取得されたSD画素データより、生成すべき各HD画素データに対応して、クラスタップおよび予測タップの画素データを取得する。
【０２５７】
ステップＳ７７において、画像信号処理部１２は、取得されたSD画素データの全領域において、HD画素データを得る処理が終了したか否かを判断する。ステップＳ７７において、取得されたSD画素データの全領域において処理は終了していると判断された場合、処理は、ステップＳ７１に戻り、同様の処理が繰り返されることにより、次のフレームまたはフィールドのSD画素データに対する処理が実行される。
【０２５８】
ステップＳ７７において、取得されたSD画素データの全領域において処理は終了していないと判断された場合、ステップＳ７８において、画像信号処理部１２のクラス合成部４６は、ステップＳ７６において取得されたクラスタップのSD画素データから、クラスコードCLを生成する。
【０２５９】
ステップＳ７９において、画像信号処理部１２は、クラスコードCLに対応した係数データＷｉと予測タップのSD画素データとを使用して、推定式により、HD画素データを生成する。ステップＳ７９の処理の終了後、処理は、ステップＳ７６に戻り、上述した処理と同様の処理が繰り返される。
【０２６０】
ステップＳ７２において、全フレーム、または全フィールドの処理が終了したと判断された場合、処理が終了される。
【０２６１】
以上のようにして画像信号処理部１２が更新された係数種データを用いて画像処理を行うことにより、テレビジョン受信装置１０は、ユーザの嗜好に合ったHD画像データを生成することができる。
【０２６２】
なお、図１２に示される係数種データ生成部２１のSD信号生成部１０３は、図１３に示されるような構成であるように説明したが、これに限らず、例えば、図１８に示されるようなブロック構成であってもよい。
【０２６３】
図１８において、SD信号生成部１４０は、図１３を参照して説明したSD信号生成部１０３と同様の処理を行い、教師画像としてのHD画像データより生徒画像としてのSD画像データを生成する。
【０２６４】
SD信号生成部１４０は、SD信号生成部１０３の場合と同様のダウンフィルタ１３０−１乃至１３０−ｎを有し、さらに、そのダウンフィルタ１３０−１乃至１３０−ｎの入出力の接続を切り替えるスイッチ（SW）１４１および１４２、並びに、入力されるHD信号に対してクラス分類処理を行うクラス分類部１４３を有している。
【０２６５】
クラス分類部１４３は、SD信号生成部１４０に入力されたHD信号を、いくつかのクラスに分類し、その分類結果を出力する。スイッチ（SW）１４１および１４２は、クラス分類部１４３の出力に基づいて、互いに通過帯域の異なるダウンフィルタ１３０−１乃至１３０−ｎの内、いずれを使用するかを選択し、選択したダウンフィルタの入力端子をSD信号生成部１４０の入力端子に、出力端子をSD信号生成部１４０の出力端子に、それぞれ接続する。これにより、SD信号生成部１４０は、入力される教師画像としてのHD信号の信号特性に応じた、最適なダウンフィルタによって、生徒画像としてのSD信号を生成することができる。
【０２６６】
次に、係数種データの生成方法の他の例について説明する。この例においても、上述した式（５）の生成式における係数データである係数種データｗ10乃至ｗn9を求める第２の例を示すものとする。
【０２６７】
図１９は、係数種データの生成方法の、第２の例の概念を示している。ＨＤ信号から複数のSD信号が生成される。例えば、HD信号からSD信号を生成する際に使用するフィルタの空間方向（垂直方向および水平方向）の帯域と時間方向（フレーム方向）の帯域を可変するパラメータｓ、およびｚをそれぞれ９段階に可変することにより、合計８１種類のＳＤ信号が生成される。このようにして生成された各ＳＤ信号とＨＤ信号との間で学習を行って、式（４）の推定式の係数データＷｉが生成される。そして、各ＳＤ信号に対応して生成された係数データＷｉを使用して、係数種データが生成される。
【０２６８】
まず、推定式の係数データの求め方について説明する。ここでは、式（４）の推定式の係数データＷｉ（ｉ＝１乃至ｎ）を最小二乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを係数データ、Ｙを予測値として、式（１８）および式（１９）の観測方程式を考える。この式（１９）において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
【０２６９】
【数１８】

【０２７０】
【数１９】

【０２７１】
式（１８）および式（１９）の観測方程式により収集されたデータに最小二乗法を適用する。式（１８）および式（１９）の観測方程式をもとに、式（２０）の残差方程式を考える。
【０２７２】
【数２０】

【０２７３】
式（２０）の残差方程式から、各Ｗｉの最確値は、式（２１）のｅ2（ｅの２乗）を最小にする条件が成り立つ場合と考えられる。すなわち、式（２２）の条件を考慮すればよいわけである。
【０２７４】
【数２１】

【０２７５】
【数２２】

【０２７６】
つまり、式（２２）のｉに基づくｎ個の条件を考え、これを満たす、Ｗ1，Ｗ2，・・・，Ｗnを算出すればよい。そこで、式（２０）の残差方程式から、式（２３）が得られる。更に、式（２３）と式（１８）とから、式（２４）が得られる。
【０２７７】
【数２３】

【０２７８】
【数２４】

【０２７９】
そして、式（２０）と式（２４）とから、式（２５）の正規方程式が得られる。
【０２８０】
【数２５】

【０２８１】
式（２５）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各Ｗｉの最確値を求めることができる。この場合、掃き出し法等を用いて連立方程式を解くことになる。
【０２８２】
次に、各SD信号に対応して生成された係数データＷｉを使用した、係数種データの求め方について説明する。
【０２８３】
パラメータｓ、およびｚに対応したSD信号を用いた学習による、あるクラスの係数データが、ｋsziとなったとする。ここで、ｉは予測タップの番号である。このｋsziから、このクラスの係数種データを求める。
【０２８４】
係数データＷｉ（ｉ＝１乃至ｎ）は、係数種データｗ10乃至ｗn9を使って、上述した式（５）で表現される。ここで、係数データＷｉに対して最小二乗法を使用することを考えると、残差は、式（２６）で表される。
【０２８５】
【数２６】

【０２８６】
ここで、ｔjは、上述の式（９）に示されている。式（２６）に最小二乗法を作用させると、式（２７）が得られる。
【０２８７】
【数２７】

【０２８８】
ここで、Ｘjk，Ｙjをそれぞれ式（２８）、式（２９）のように定義すると、式（２７）は式（３０）のように書き換えられる。この式（３０）も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データｗ10乃至ｗn9を算出することができる。
【０２８９】
【数２８】

【０２９０】
【数２９】

【０２９１】
【数３０】

【０２９２】
図２０は、図１９に示す概念に基づいて係数種データを生成する係数種データ生成部１５１の構成を示している。図２０において、図１２と対応する部分には同一符号を付し、その詳細な説明は適宜省略する。
【０２９３】
すなわち、図２０の係数種データ生成部１５１は、正規方程式生成部１１０に代わって、正規方程式生成部１６１が設けられ、係数種データ決定部１１１に代わって、係数データ決定部１６２が設けられ、新たに、正規方程式生成部１６３および係数種データ決定部１６４が設けられている以外は、図１２を用いて説明した係数種データ生成部２１と、基本的に同様の構成を有している。
【０２９４】
正規方程式生成部１６１は、入力端子１０１に供給されるHD信号より得られる注目位置の画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択部１０４で選択的に取り出された予測タップのデータ（SD画素データ）ｘｉと、各HD画素データｙにそれぞれ対応してクラス合成部１０９より出力されるクラスコードCLとから、クラスおよび出力画素（図４のHD１乃至HD４、図５のHD１′乃至HD４′参照）の組み合わせ毎に、係数データＷｉ（ｉ＝１乃至ｎ）を得るための正規方程式（式（２５）参照）を生成する。
【０２９５】
この場合、１個のHD画素データｙとそれに対応するｎ個の予測タップのデータ（SD画素データ）ｘｉとの組み合わせで学習データが生成されるが、調整後のパラメータｓ、およびｚの値の変化に対応してSD信号生成部１０３における空間方向および時間方向の帯域が可変され、複数のSD信号が順次生成されていき、HD信号と各SD信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１６１では、各SD信号と対応して、クラスおよび出力画素の組み合わせ毎に、係数データＷｉ（ｉ＝１乃至ｎ）を得るための正規方程式が生成される。
【０２９６】
係数データ決定部１６２は、正規方程式生成部１６１で生成された正規方程式のデータの供給を受け、その正規方程式を解いて、各SD信号にそれぞれ対応した、クラスおよび出力画素の各組み合わせの係数データＷｉを求める。正規方程式生成部１６３は、パラメータｓ、およびｚの値、並びに各SD信号にそれぞれ対応した係数データＷｉを使用して、クラスおよび出力画素の組み合わせ毎に、係数種データｗ10乃至ｗn9を得るための正規方程式（式（２８）参照）を生成する。
【０２９７】
係数種データ決定部１６４は、正規方程式生成部１６３でクラスおよび出力画素の組み合わせ毎に生成された正規方程式のデータの供給を受け、その組み合わせ毎に正規方程式を解いて、クラスおよび出力画素の各組み合わせの係数種データｗ10乃至ｗn9を求める。係数種メモリ１５２は、係数種データ決定部１６４で求められた係数種データｗ10乃至ｗn9を格納する。
【０２９８】
図２０に示す係数種データ生成部１５１のその他の部分は、図１２に示す係数種データ生成部２１と同様に構成されるので、その詳細な説明については省略する。
【０２９９】
次に、図２０に示す係数種データ生成装置１５１の動作を説明する。
【０３００】
入力端子１０１には教師信号としてのHD信号（１０５０ｉ信号）が供給され、そして、SD信号生成部１０３で、このHD信号に対して水平および垂直の間引き処理が行われて、生徒信号としてのSD信号（５２５ｉ信号）が生成される。
【０３０１】
SD信号生成部１０３に入力されるパラメータｓ、およびｚの値が順次変更されることで、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向および時間方向の帯域が変更されることから、空間方向および時間方向の帯域が段階的に変化した複数のSD信号が生成されていく。
【０３０２】
この場合、SD信号生成部１０３では、履歴情報が入力されるときは、この履歴情報に基づいて入力されたパラメータｓ、およびｚの値が調整され、調整されたパラメータｓ、およびｚの値に応じて、上述したようにHD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向および時間方向の帯域が可変される。
【０３０３】
また、SD信号生成部１０３で生成されたSD信号（５２５ｉ信号）より、第２のタップ選択部１０５で、HD信号（１０５０ｉ信号）における注目位置の周辺に位置する空間クラスタップのデータ（SD画素データ）が選択的に取り出される。この第２のタップ選択部１０５で選択的に取り出された空間クラスタップのデータ（SD画素データ）は、空間クラス検出部１０７に供給される。この空間クラス検出部１０７では、空間クラスタップのデータとしての各SD画素データに対してADRC処理が施されて、空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（式（１）参照）。
【０３０４】
また、SD信号生成部１０３で生成されたSD信号より、第３のタップ選択部１０６で、HD信号に係る注目画素の周辺に位置する動きクラスタップのデータ（SD画素データ）が選択的に取り出される。この第３のタップ選択部１０６で選択的に取り出された動きクラスタップのデータ（SD画素データ）は、動きクラス検出部１０８に供給される。この動きクラス検出部１０８では、動きクラスタップのデータとしての各SD画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報MVが得られる。
【０３０５】
このクラス情報MVと上述した再量子化コードｑｉとは、クラス合成部１０９に供給される。このクラス合成部１０９では、これらクラス情報MVと再量子化コードｑｉとから、HD信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードCLが得られる（式（３）参照）。
【０３０６】
また、SD信号生成部１０３で生成されるSD信号より、第１のタップ選択部１４４で、HD信号における注目位置の周辺に位置する予測タップのデータ（SD画素データ）が選択的に取り出される。
【０３０７】
そして、正規方程式生成部１６１では、入力端子１０１に供給されるHD信号より得られる注目位置の画素データとしての各HD画素データｙと、この各HD画素データｙにそれぞれ対応して第１のタップ選択部１０４で選択的に取り出された予測タップのデータ（SD画素データ）ｘｉと、各HD画素データｙにそれぞれ対応してクラス合成部１０９より出力されるクラスコードCLとから、SD信号生成部１０３で生成される各SD信号のそれぞれに対応して、クラスおよび出力画素の組み合わせ毎に、係数データＷｉ（ｉ＝１乃至ｎ）を得るための正規方程式（式（２５）参照）が生成される。
【０３０８】
そして、係数データ決定部１６２で、その正規方程式が解かれ、各SD信号にそれぞれ対応したクラスおよび出力画素の各組み合わせの係数データＷｉが求められる。正規方程式生成部１６３では、この各SD信号にそれぞれ対応した各クラスの係数データＷｉから、クラスおよび出力画素の組み合わせ毎に、係数種データｗ10乃至ｗn9を得るための正規方程式（式（２８）参照）が生成される。
【０３０９】
そして、係数種データ決定部１６４でその正規方程式が解かれ、クラスおよび出力画素の各組み合わせの係数種データｗ10乃至ｗn9が求められ、その係数種データｗ10乃至ｗn9は係数種メモリ１１２に格納される。
【０３１０】
このように、図２０に示す係数種データ生成装置１５１においても、図４の画像信号処理部１２の情報メモリバンク５１に格納される、クラスおよび出力画素（HD１乃至HD４，HD１′乃至HD４′）の組み合わせ毎の係数種データｗ10乃至ｗn9を生成することができる。
【０３１１】
また、この係数種データ生成装置１５１においても、SD信号生成部１０３では、この履歴情報に基づいて、入力されるパラメータｓ、およびｚの値が調整され、この調整されたパラメータｓ、およびｚによって、HD信号からSD信号を得る際に用いられる帯域制限フィルタの空間方向および時間方向の帯域が可変されるものである。従って、このようにして求められた係数種データｗ10乃至ｗn9を、テレビジョン受信装置１のバージョンアップ時に情報メモリバンク５１に格納して使用することで、ユーザは、パラメータｓ、およびｚの値の調整により、過去の解像度調整の重心位置を中心とする範囲（図１１の一点鎖線枠ＡＦ参照）内で解像度の調整を行うことが可能となる。
【０３１２】
図２１のフローチャートを参照して、図２０を参照して説明した係数種データ生成部１５１による係数種データ生成処理について説明する。
【０３１３】
係数種データ生成部１５１は、ステップＳ９１において、学習に使われる画質パターン（例えば、パラメータｓ、およびｚで特定される画質パターン）を選択するとともに、その画質パターンを履歴情報に基づいて調整し、ステップＳ９２において、全ての画質パターンに対する係数データの算出処理が終了したか否かを判断する。
【０３１４】
ステップＳ９２において、係数データの算出処理が終了していないと判断された場合、係数種データ生成部１５１は、ステップＳ９３において、入力端子１０１より、既知のHD画素データをフレーム単位またはフィールド単位で取得し、ステップＳ９４において、全てのHD画素データについて処理が終了したか否かを判断する。
【０３１５】
ステップＳ９４において、全てのHD画素データについて処理が終了していないと判断された場合、ステップＳ９５において、係数種データ生成部１５１のSD信号生成部１０３は、ステップＳ９３において取得されたHD画素データより、ステップＳ９１において調整された画質パターンに基づいて、SD画素データを生成する。
【０３１６】
係数種データ生成部１５１は、ステップＳ９６において、ステップＳ９５で生成されたSD画素データより、ステップＳ５９３で取得された各HD画素データに対応して、クラスタップおよび予測タップの画素データを取得し、ステップＳ９７において、生成されたSD画素データの全領域において学習処理は終了しているか否かを判断する。ステップＳ９７において、学習処理は終了していると判断された場合、ステップＳ９３に戻り、次のHD画素データを取得して、上述した処理と同様の処理が繰り返される。
【０３１７】
ステップＳ９７において、学習処理は終了していないと判断された場合、係数種データ生成部１５１は、ステップＳ９８において、ステップＳ９６で取得されたクラスタップのSD画素データから、クラスコードCLを生成し、ステップＳ９９において、係数データを得るための正規方程式（式（２５）参照）を生成する。ステップＳ９９の処理の終了後、処理は、ステップＳ９６に戻り、それ以降の処理が繰り返される。
【０３１８】
ステップＳ９４において、全てのHD画素データについて処理が終了したと判断された場合、ステップＳ１００において、係数種データ生成部１５１は、ステップＳ９９において生成された正規方程式を、掃き出し法などで解いて、クラスおよび出力画素（図４のHD１乃至HD４、図５のHD１′乃至HD４′参照）の各組み合わせの係数データを算出し、処理は、ステップＳ９１に戻り、次の画質パターンの選択、および調整を行って、上述した処理と同様の処理を繰り返し、次の画質パターンに対応した、各組み合わせの係数データを求める。
【０３１９】
ステップＳ９２において、全ての画質パターンに対する係数データの算出処理が終了したと判断された場合、ステップＳ１０１において、係数種データ生成部１５１は、全ての画質パターンに対する係数データから、係数種データを求めるための正規方程式（式（２８）参照）を生成する。
【０３２０】
係数種データ生成部１５１は、ステップＳ１０２において、ステップＳ１０１で生成された正規方程式を、掃き出し法等で解くことによって、クラスおよび出力画素の各組み合わせの係数種データを算出し、ステップＳ１０３において、その係数種データを、係数種メモリ１１２に保存し、処理を終了する。
【０３２１】
図２１のフローチャートを用いて説明した処理により、図２０のブロック図を用いて説明した係数種データ生成部１５１において、係数種データを得ることができる。
【０３２２】
以上のように、図１に示される画像情報処理システムにおいて、リモートコントローラ２０は、テレビジョン受信装置１０が表示する画像を生成するための画像処理に必要な係数種データを生成し、テレビジョン受信装置１０に供給することができるので、テレビジョン受信装置１０は、効率よく画像処理を行うことができ、回路規模や製造コストを抑制することができる。また、ユーザがリモートコントローラ２０を操作するだけで、容易に、画像処理の設定を、ユーザの嗜好に応じたものに変更することができ、テレビジョン受信装置１０は、より効果的に、よりユーザの嗜好に合わせて、コンテンツデータに画像変換処理を行うことができる。
【０３２３】
なお、図４の画像信号処理部１２では、係数データＷｉ（ｉ＝１乃至ｎ）を生成するために式（５）の生成式を使用したが、次数の異なった多項式や、他の関数で表現される式でも、係数データＷｉの生成は実現可能である。
【０３２４】
また、画像信号処理部１２では、空間方向（垂直方向および水平方向）の解像度を定めるパラメータｓと時間方向（フレーム方向）の解像度を定めるパラメータｚとを設定し、これらパラメータｓ、およびｚの値を調整することで画像の空間方向および時間方向の解像度を調整し得るものとして説明したが、その他の画像の質を定めるパラメータを設けるものも、同様にして構成することができる。例えば、パラメータとしては、垂直方向の解像度を定めるパラメータ、水平方向の解像度を定めるパラメータ、ノイズ除去度を定めるパラメータ、変換後の画素の位相の変化度（垂直方向および水平方向）を定めるパラメータ、画面の明るさやコントラストを定めるパラメータ、または、再生速度を定めるパラメータなどの種々のパラメータが考えられる。
【０３２５】
これらのパラメータの値は、ユーザによる操作入力によって、直接指定されるようにしてもよいし、ユーザが編集操作した内容に基づいて、編集操作内容に関連するパラメータの値が自動的に設定されるようにしてもよい。
【０３２６】
例えば、ユーザが、リモートコントローラ２０を操作する等して、ズーム画像を表示するように指示した場合、そのときユーザが指定したズーム画像の拡大率、変化速度、またはズーム画像の中心の元画像における位置等の情報に基づいて、ズーム画像を作成する際に必要な、画素の垂直方向および水平方向の位相変化情報、ズーム画像の解像度、または、ズーム画像のノイズ除去度等のパラメータが生成されるようにしてもよい。
【０３２７】
また、ユーザが、リモートコントローラ２０を操作する等して、スローモーション再生を行うように指示した場合、そのときユーザが指定した再生速度等の情報に基づいて、画像の再生速度だけでなく、画像の解像度やノイズ除去度等のパラメータが生成されるようにしてもよい。
【０３２８】
さらに、テレビジョン受信装置１０やリモートコントローラ２０に照度計等を設置して、テレビジョン受信装置１０の周囲の明るさを測定し、その測定結果に基づいて、画像の輝度等のパラメータが生成されるようにしてもよいし、例えば、画像を表示するテレビジョン受信装置１０のディスプレイ等の種類（CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）、またはPDP（Plasma Display Panel）等）や、画面サイズ等の情報に基づいて、画像の解像度、ノイズ除去度、明るさまたはコントラスト等のパラメータが生成されるようにしてもよい。
【０３２９】
また、画像信号処理部１２では、パラメータｓ、およびｚの２つのパラメータを調整し得るものとして説明したが、１個または３個以上のパラメータを取り扱うものも同様に構成することができる。その場合も、履歴情報記憶部５０には、それぞれのパラメータの履歴情報が格納されることとなる。そして、図１２に示す係数種データ生成装置２１、あるいは図２０に示す係数種データ生成装置１５１では、それぞれのパラメータの履歴情報を使用して、上述した場合と同様の生成処理を行うことができる。
【０３３０】
図２２は、本発明を適用した画像情報処理システムの他の構成例を示す図である。図２２において、図１と対応する部分には同一符号を付し、その詳細な説明は適宜省略する。
【０３３１】
リモートコントローラ１７０は、図１のリモートコントローラ２０と基本的に同様の処理を行い、テレビジョン受信装置１０に対して同様の役割を果たすが、複数の係数種データ生成部１７１−１乃至１７１−ｍと、係数種データ算出部１７２を有しており、複数種類のパラメータに対応していることが、リモートコントローラ２０と異なる。
【０３３２】
すなわち、係数種データ生成部１７１−１乃至１７１−ｍは、例えば、垂直方向の解像度を定めるパラメータ、水平方向の解像度を定めるパラメータ、ノイズ除去度を定めるパラメータ、変換後の画素の位相の変化度（垂直方向および水平方向）を定めるパラメータ、輝度を定めるパラメータ、または、再生速度を定めるパラメータ等の、互いに異なる種類のパラメータにそれぞれ対応し、それぞれのパラメータに基づいて係数種データｗ10乃至ｗn9を生成する。
【０３３３】
なお、これらのパラメータは、上述したように、テレビジョン受信装置１０などにおいて、ユーザの操作内容など、他の情報に基づいて生成されたものであってもよい。
【０３３４】
これらの係数種データ生成部１７１−１乃至１７１−ｍで生成された複数の係数種データｗ10乃至ｗn9は、係数種データ算出部１７２に供給される。
【０３３５】
係数種データ算出部１７２は、供給された複数の係数種データｗ10乃至ｗn9に基づいて、テレビジョン受信装置１０に供給する係数種データｗ10乃至ｗn9を算出する。リモートコントローラ１７０は、この算出された係数種データｗ10乃至ｗn9をテレビジョン受信装置１０に供給する。
【０３３６】
図２３は、図２２に示されるリモートコントローラ１７０の詳細な構成例を示す図である。図２３において、図１１と対応する部分には同一符号を付し、その詳細な説明は適宜省略する。
【０３３７】
リモートコントローラ１７０のシステムコントローラ９２には、上述した複数の係数種データ生成部１７１−１乃至１７１−ｍ、および、係数種データ算出部１７２が接続されている。
【０３３８】
係数種データ生成部１７１−１乃至１７１−ｍは、互いに異なる種類のパラメータに基づいて係数種データｗ10乃至ｗn9を生成する以外は、図１２に示される係数種データ生成部２１と基本的に同様の構成であり、同様の処理を行うので、詳細な説明は省略する。すなわち、係数種データ生成部１７１−１乃至１７１−ｍは、それぞれ、対応するパラメータを、システムコントローラ９２より供給され、その供給されたパラメータに基づいて、係数種データｗ10乃至ｗn9をそれぞれ生成し、システムコントローラ９２に供給する。
【０３３９】
システムコントローラ９２は、係数種データ生成部１７１−１乃至１７１−ｍより供給された係数種データｗ10乃至ｗn9を記憶部９４に記憶させたり、係数種データ算出部１７２に供給したりする。
【０３４０】
係数種データ算出部１７２は、係数種データ生成部１７１−１乃至１７１−ｍにより生成され、システムコントローラ９２を介して供給された複数の係数種データｗ10乃至ｗn9に基づいて、テレビジョン受信装置１０に供給する係数種データｗ10乃至ｗn9を算出する。
【０３４１】
その算出方法は、例えば、各係数種データ生成部部１７１−１乃至１７１−ｍにおいて算出された係数種データｗ10乃至ｗn9毎に、予め定められた、互いに値の異なる係数を乗算したものの総和をテレビジョン受信装置１０に供給する係数種データｗ10乃至ｗn9とするようにしてもよいし、その総和と、前回算出された係数種データｗ10乃至ｗn9（または、予め定められた所定の値の基本となる係数種データｗ10乃至ｗn9）との差分値（変化量）を係数種データｗ10乃至ｗn9としてテレビジョン受信装置１０に供給するようにしてもよい。また、状況に応じて特定のパラメータに対応する係数種データｗ10乃至ｗn9を選択してから、上述した演算を行うようにしてもよい。
【０３４２】
係数種データ算出部１７２は、算出したテレビジョン受信装置１０に供給する係数種データｗ10乃至ｗn9をシステムコントローラ９２に供給する。システムコントローラ９２は、供給された係数種データｗ10乃至ｗn9を、通信部９３を介してテレビジョン受信装置１０に供給する。
【０３４３】
次に、図２３に示されるリモートコントローラ２０の動作について説明する。
【０３４４】
ユーザが入力部９１を操作したり、テレビジョン受信装置１０よりパラメータが供給されたりする等して、そのパラメータおよび履歴情報がシステムコントローラ９２に供給されると、それらの情報を取得したシステムコントローラ９２は、取得した情報を、パラメータが対応する係数種データ生成部１７１−１乃至１７１−ｍに供給するとともに、記憶部９４に記憶されている教師画像データとしてのHD信号を、パラメータを供給した係数種データ生成部部１７１−１乃至１７１−ｍに供給する。
【０３４５】
係数種データ生成部部１７１−１乃至１７１−ｍは、それぞれ、システムコントローラ９２より供給されたパラメータに関する情報、およびHD信号に基づいて、係数種データｗ10乃至ｗn9を生成し、システムコントローラ９２に供給する。システムコントローラ９２は、取得した係数種データｗ10乃至ｗn9を、係数種データ算出部１７２に供給する。
【０３４６】
係数種データ算出部１７２は、取得した複数の係数種データｗ10乃至ｗn9に基づいて、テレビジョン受信装置１０に供給する係数種データｗ10乃至ｗn9を算出し、システムコントローラ９２に供給する。システムコントローラ９２は、取得した係数種データｗ10乃至ｗn9を、通信部９３を介してテレビジョン受信装置１０に供給する。
【０３４７】
このようにして求められた係数種データｗ10乃至ｗn9を、テレビジョン受信装置１０に供給し、情報メモリバンク５１に格納して使用することで、ユーザは、様々なパラメータの値の調整により、表示画像の調整を行うことが可能となる。すなわち、ユーザの好みに合わせた画像調整範囲が自動的に設定され、ユーザはその範囲内で画像の調整を行うことができる。また、テレビジョン受信装置１０は、表示部３７（ディスプレイ）や周囲環境に最適な画質の画像が自動的に表示することができる。
【０３４８】
次に、図２２の画像情報処理システムによる、係数種データ更新処理について、図２４のフローチャートを参照して説明する。
【０３４９】
ユーザがリモートコントローラ１７０の入力部９１を操作することにより、係数種データの設定の開始を指示すると、リモートコントローラ１７０は、図１５のフローチャートを参照して説明したステップＳ２１乃至Ｓ２３の処理にそれぞれ対応するステップＳ１４１乃至１４３の処理を行い、テレビジョン受信装置１０は、図１５のフローチャートを参照して説明したステップＳ１乃至Ｓ６の処理にそれぞれ対応するステップＳ１２１乃至１２６の処理を行う。
【０３５０】
すなわち、リモートコントローラ１７０は、ユーザの操作入力に応じて制御信号をテレビジョン受信装置１０に供給し、パラメータの設定を指示する。テレビジョン受信装置１０は、その制御信号に基づいて、パラメータを生成し、リモートコントローラ１７０に供給する。
【０３５１】
ステップＳ１４３において、パラメータを取得したリモートコントローラ１７０のシステムコントローラ９２は、取得したパラメータを対応する係数種データ生成部１７１−１乃至１７１−ｍに供給し、係数種データ生成処理を実行させる。ステップＳ１４４において、係数種データ生成部１７１−１乃至１７１−ｍは、図１６を参照して説明した係数種データ生成処理を実行し、生成した係数種データｗ10乃至ｗn9を、システムコントローラ９２を介して、係数種データ算出部１７２に供給する。
【０３５２】
システムコントローラ９２は、ステップＳ１４５において、係数種データ生成部１７１−１乃至１７１−ｍが、供給した全てのパラメータについて、係数種データｗ10乃至ｗn9を生成したか否かを判定し、生成していないと判定した場合、ステップＳ１４４に処理を戻し、それ以降の処理を繰り返す。
【０３５３】
システムコントローラ９２により、供給した全てのパラメータについて、係数種データｗ10乃至ｗn9を生成したと判定された場合、係数種データ算出部１７２は、ステップＳ１４６において、テレビジョン受信装置１０に供給する係数種データｗ10乃至ｗn9を算出する。
【０３５４】
そして、リモートコントローラ１７０のシステムコントローラ９２は、ステップＳ１４７において、係数種データ算出部１７２において算出された係数種データｗ10乃至ｗn9を、通信部９３を介して、テレビジョン受信装置１０に供給し、係数種データ更新処理を終了する。
【０３５５】
テレビジョン受信装置１０の通信部３１は、ステップＳ１２７において、リモートコントローラ１７０より供給された係数種データｗ10乃至ｗn9を取得し、システムコントローラ３２に供給する。ステップＳ１２８において、システムコントローラ３２は、通信部３１を介して取得した係数種データｗ10乃至ｗn9を画像信号処理部１２に供給し、情報メモリバンク５１に記憶させることにより、係数種データｗ10乃至ｗn9を保持する。画像信号処理部１２に係数種データｗ10乃至ｗn9を供給したシステムコントローラ３２は、係数種データ更新処理を終了する。
【０３５６】
以上のように、図２２に示される画像情報処理システムにおいて、テレビジョン受信装置１０は、リモートコントローラ１７０を用いることにより、様々なパラメータに基づいて、係数種データｗ10乃至ｗn9を容易に更新することができ、より効果的に、よりユーザの嗜好に合わせて、コンテンツデータに画像変換処理を行うことができる。
【０３５７】
なお、上述した画像情報処理システムにおいて、リモートコントローラに画像を表示するディスプレイ等を設けるようにしてもよい。
【０３５８】
図２５は、本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。図２５において、図１と対応する部分には同一符号を付し、その詳細な説明は適宜省略する。
【０３５９】
図２５において、テレビジョン受信装置１８０は、リモートコントローラ１９０に対して、パラメータだけでなく、アンテナ１１を介して受信した画像信号であるコンテンツデータも供給する。このコンテンツデータは、画像信号処理部１２において画像処理される前のSD信号の画像データである。
【０３６０】
リモートコントローラ１９０は、係数種データ生成部２１の他に、画像信号処理部１２と同様の構成であり、かつ、同様の処理を行う画像信号処理部１９１、および、ディスプレイ等を含む出力部１９２を有している。
【０３６１】
リモートコントローラ１９０は、係数種データ生成部２１において生成した係数種データｗ10乃至ｗn9をテレビジョン受信装置１８０に供給するだけでなく、画像信号処理部１９１に供給する。画像信号処理部１９１は、供給された係数種データｗ10乃至ｗn9を用いて、テレビジョン受信装置１８０より供給されるコンテンツデータ（SD画素データ）に対して画像処理を行い、出力部１９２に供給し、画像を表示させる。
【０３６２】
図２６は、図２５に示されるテレビジョン受信装置１８０の詳細な構成例を示す図である。図２６において、図２に示されるテレビジョン受信装置１０の場合と対応する部分には同一符号を付し、その詳細な説明は適宜省略する。
【０３６３】
テレビジョン受信装置１８０のバッファメモリ１８２は、チューナ３３より取得したSD信号（コンテンツデータ）を画像信号処理部１２だけでなく、システムコントローラ１８３に供給する。
【０３６４】
システムコントローラ１８３は、図２に示されるテレビジョン受信装置１８０のシステムコントローラ３２の場合と同様の処理を行う以外に、バッファメモリ１８２より供給されたコンテンツデータ（SD画素データ）や、生成したパラメータを、通信部３１を介してリモートコントローラ１９０に供給する。
【０３６５】
図２７は、図２５に示されるリモートコントローラ１９０の詳細な構成例を示す図である。図２７において、図１１に示されるリモートコントローラ２０の場合と対応する部分には同一符号を付し、その詳細な説明は適宜省略する。
【０３６６】
リモートコントローラ１９０のシステムコントローラ１９３には、画像信号処理部１９１および出力部１９２が接続されている。
【０３６７】
システムコントローラ１９３は、図１１に示されるリモートコントローラ２０のシステムコントローラ９２の場合と同様の処理を行う以外に、係数種データ生成部２１において生成され、供給された係数種データｗ10乃至ｗn9を、通信部９３を介してテレビジョン受信装置１８０に供給するだけでなく、画像信号処理部１９１に供給する。また、システムコントローラ１９３は、通信部９３を介して、テレビジョン受信装置１８０より供給されたコンテンツデータやパラメータを画像信号処理部１９１に供給し、画像信号処理部１９１より供給された画像処理後のコンテンツデータ（HD画素データ）を出力部１９２に供給する。
【０３６８】
画像信号処理部１９１は、図２に示されるテレビジョン受信装置１０の画像信号処理部１２と同様の構成であり、同様の処理を行うので、その詳細な説明は省略する。画像信号処理部１９１は、システムコントローラ１９３より供給された係数種データｗ10乃至ｗn9やパラメータに基づいて、システムコントローラ１９３より供給されたコンテンツデータ（SD画素データ）に対して画像変換処理を行い、変換後のコンテンツデータ（HD画素データ）をシステムコントローラ１９３に供給する。
【０３６９】
出力部１９２は、ディスプレイ等の出力機能を有し、システムコントローラ１９３より供給されたコンテンツデータ（HD画素データ）に対応する画像を表示する。
【０３７０】
以上のように、図２５に示される画像情報処理システムにおいて、リモートコントローラ１９０は、テレビジョン受信装置１８０の画像信号処理部１２において用いられる係数種データを生成するだけでなく、テレビジョン受信装置１８０より供給されたコンテンツデータに対して画像変換処理を行い、対応する画像を表示することができる。
【０３７１】
次に、図２５の画像情報処理システムによる、係数種データ更新処理について、図２８のフローチャートを参照して説明する。
【０３７２】
ユーザがリモートコントローラ１９０の入力部９１を操作することにより、係数種データの設定の開始を指示すると、リモートコントローラ１９０は、図１５のフローチャートを参照して説明したステップＳ２１乃至Ｓ２５の処理にそれぞれ対応するステップＳ１８１乃至１８５の処理を行い、テレビジョン受信装置１８０は、図１５のフローチャートを参照して説明したステップＳ１乃至Ｓ８の処理にそれぞれ対応するステップＳ１６１乃至１６８の処理を行う。
【０３７３】
すなわち、リモートコントローラ１９０は、図１５のフローチャートの場合と同様に、係数種データｗ10乃至ｗn9を生成し、テレビジョン受信装置１８０に供給する。テレビジョン受信装置１８０は、図１５のフローチャートの場合と同様に、パラメータを生成し、リモートコントローラ１９０に供給し、リモートコントローラ１９０より供給された係数種データｗ10乃至ｗn9を保持する。
【０３７４】
なお、リモートコントローラ１９０のシステムコントローラ１９３は、ステップＳ１８５において、生成された係数種データｗ10乃至ｗn9を供給するとともに、ステップＳ１８６において、生成された係数種データｗ10乃至ｗn9を画像信号処理部１９１に供給し、画像信号処理部１９１は、供給された係数種データｗ10乃至ｗn9を保持する。係数種データｗ10乃至ｗn9を保持したリモートコントローラ１９０は、係数種データ更新処理を終了する。
【０３７５】
なお、テレビジョン受信装置１８０の画像信号処理部１２による画像信号処理、および、リモートコントローラ１９０の画像信号処理部１９１による画像信号処理は、図１７のフローチャートを参照して説明した場合と同様の処理であるので、その説明は省略する。
【０３７６】
以上のようにすることにより、図２５に示される画像情報処理システムにおいて、リモートコントローラ１９０は、生成した係数種データｗ10乃至ｗn9に基づいて、テレビジョン受信装置１８０より供給されたコンテンツデータを画像変換し、対応する画像を表示させることができる。
【０３７７】
なお、リモートコントローラ１９０において、係数種データ生成部２１が、テレビジョン受信装置１８０に供給する係数種データｗ10乃至ｗn9と、画像信号処理部１９１において用いられる係数種データｗ10乃至ｗn9とを、独立して生成する（異なるパラメータに基づいて生成する）ようにすることにより、リモートコントローラ１９０は、テレビジョン受信装置１８０に表示される画像と異なる画像、すなわち、同じコンテンツデータ（SD画素データ）を用いて、異なるパラメータの値により作成されたコンテンツデータ（HD画素データ）に対応する画像を表示することができる。
【０３７８】
例えば、テレビジョン受信装置１８０においては、表示部３７には、表示部３７に最適な画像処理が施された画像が表示され、リモートコントローラ１９０においては、出力部１９２のディスプレイに最適な画像処理が施された画像が表示されるようにすることもできるし、リモートコントローラ１９０においてのみ、ズーム画像を表示させるようなことも可能である。
【０３７９】
図２９は、本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。
【０３８０】
図２９の画像情報処理システムは、上述したテレビジョン受信装置１０または１８０と異なり、画像信号処理部１２を有していないテレビジョン受信装置２００と、上述した係数種データ生成部２１および画像信号処理部１９１を有するリモートコントローラ２１０により構成される。
【０３８１】
テレビジョン受信装置２００は、上述したテレビジョン受信装置１８０の場合と同様に、係数種データｗ10乃至ｗn9の生成に必要な各種のパラメータだけでなく、アンテナ１１を介して受信した画像信号（SD信号）であるコンテンツデータをリモートコントローラ２１０に供給する。また、テレビジョン受信装置２００は、リモートコントローラ２１０より供給された変換後のコンテンツデータ（HD信号）を取得し、表示部３７に表示させる。
【０３８２】
リモートコントローラ２１０は、テレビジョン受信装置２００より供給されたパラメータに基づいて、係数種データ生成部２１において、係数種データｗ10乃至ｗn9を生成し、画像信号処理部１９１において、その生成した係数種データｗ10乃至ｗn9を用いて、テレビジョン受信装置２００より供給されたコンテンツデータ（SD画素データ）を変換し、変換後のコンテンツデータ（HD画素データ）をテレビジョン受信装置２００に供給する。
【０３８３】
図３０は、図２９に示されるテレビジョン受信装置２００の詳細な構成例を示すブロック図である。図３０において、図２に示されるテレビジョン受信装置１０の場合と対応する部分には同一符号を付し、その詳細な説明は適宜省略する。
【０３８４】
テレビジョン受信装置２００のバッファメモリ２０１は、チューナ３３より供給されたSD信号（コンテンツデータ）を、システムコントローラ２０２に供給する。
【０３８５】
システムコントローラ２０２は、係数種データｗ10乃至ｗn9の生成に必要な各種のパラメータを生成し、通信部３１を介してリモートコントローラ２１０に供給するだけでなく、バッファメモリ２０１より供給されたコンテンツデータを、通信部３１を介してリモートコントローラ２１０に供給する。また、システムコントローラ２０２は、通信部３１を介して、リモートコントローラ２１０より供給された、変換後のコンテンツデータを取得し、合成部３６に供給する。
【０３８６】
合成部３６は、OSD処理部３５から出力される表示信号SCHを、システムコントローラ２０２から出力されるHD信号に合成して、表示部３７に供給する。
【０３８７】
なお、リモートコントローラ２１０の内部の構成は、図２７に示されるリモートコントローラ１９０の場合と比べて、出力部１９２が含まれないだけで、基本的に同様の構成であり、同様の処理が行われるので、その説明は省略する。ただし、リモートコントローラ２１０の場合、画像信号処理部１９１より出力されるコンテンツデータ（HD画素データ）は、システムコントローラ１９３により、通信部９３を介してテレビジョン受信装置２００に供給される。
【０３８８】
次に、図２９の画像情報処理システムによる、係数種データ更新処理について、図３１のフローチャートを参照して説明する。
【０３８９】
ユーザがリモートコントローラ２１０の入力部を操作することにより、係数種データの設定の開始を指示すると、リモートコントローラ２１０は、図１５のフローチャートを参照して説明したステップＳ２１乃至Ｓ２５の処理にそれぞれ対応するステップＳ２２１乃至２２４の処理を行い、テレビジョン受信装置１８０は、図１５のフローチャートを参照して説明したステップＳ１乃至Ｓ６の処理にそれぞれ対応するステップＳ２０１乃至２０６の処理を行う。
【０３９０】
すなわち、リモートコントローラ２１０は、図１５のフローチャートの場合と同様に、パラメータの設定に関する指示をテレビジョン受信装置２００に供給した後、その指示に基づいて生成されたパラメータを受信し、そのパラメータに基づいて係数種データｗ10乃至ｗn9を生成する。テレビジョン受信装置１８０は、図１５のフローチャートの場合と同様に、リモートコントローラ２１０より供給される指示に基づいてパラメータを生成し、生成したパラメータをリモートコントローラ２１０に供給する。
【０３９１】
ステップＳ２２４において、図１６のフローチャートに示されるような係数種データ生成処理を行い、係数種データ生成部２１において係数種データｗ10乃至ｗn9を生成したリモートコントローラ２１０は、ステップＳ２２５において、生成された係数種データｗ10乃至ｗn9を画像信号処理部１９１に供給して保持し、係数種データ更新処理を終了する。
【０３９２】
また、ステップＳ２０６において、生成したパラメータをリモートコントローラ２１０に供給したテレビジョン受信装置２００は、係数種データ更新処理を終了する。
【０３９３】
すなわち、この場合、テレビジョン受信装置２００に画像信号処理部１２が存在しないので、リモートコントローラ２１０は、生成した係数種データｗ10乃至ｗn9をテレビジョン受信装置２００に供給せずに、係数種データ更新処理を終了する。
【０３９４】
次に、図２９の画像情報処理システムによる、画像信号変換処理について、図３２のフローチャートを参照して説明する。
【０３９５】
図２９の画像情報処理システムにおいては、SD信号をHD信号に変換する画像変換処理は、テレビジョン受信装置２００ではなく、リモートコントローラ２１０において行われる。
【０３９６】
テレビジョン受信装置２００のシステムコントローラ２０２は、ステップＳ２４１において、アンテナ１１において受信され、チューナ３３およびバッファメモリ２０１を介して供給されたSD画素データであるコンテンツデータを、通信部３１を介してリモートコントローラ２１０に供給する。
【０３９７】
リモートコントローラ２１０は、ステップＳ２６１において、そのコンテンツデータを取得すると、そのコンテンツデータを画像信号処理部１９１に供給する。ステップＳ２６２において、画像信号処理部１９１は、供給されたコンテンツデータに対して、図１７に示されるような画像信号処理を行い、HD画素データのコンテンツデータを生成する。リモートコントローラ２１０は、ステップＳ２６３において、生成されたHD画素データ（コンテンツデータ）をテレビジョン受信装置２００に供給する。
【０３９８】
テレビジョン受信装置２００のシステムコントローラ２０２は、ステップＳ２４２において、通信部３１を介してそのHD画素データを取得すると、合成部３６を介して表示部３７に供給する。ステップＳ２４３において、表示部３７は、供給されたHD画素データに対応する画像を表示する。
【０３９９】
ステップＳ２４４において、テレビジョン受信装置２００のシステムコントローラ２０２は、アンテナ１１を介して受信した全てのSD画素データを処理したか否かを判定し、全てのデータを処理していないと判定した場合、ステップＳ２４１に戻り、それ以降の処理を繰り返す。
【０４００】
また、全てのデータを処理したと判定した場合、テレビジョン受信装置２００のシステムコントローラ２０２は、画像信号変換処理を終了する。
【０４０１】
以上のように、図２９に示される画像情報処理システムにおいては、テレビジョン受信装置２００が受信したコンテンツデータをリモートコントローラ２１０に供給し、リモートコントローラ２１０において画像変換処理を行い、変換されたコンテンツデータをテレビジョン受信装置２１０に供給して表示するようにしたので、テレビジョン受信装置２００に画像信号処理部が存在しない場合であっても、テレビジョン受信装置２００は、ユーザの嗜好に合ったHD画像データの画像を表示することができる。
【０４０２】
以上において画像情報処理システムは、テレビジョン受信装置およびリモートコントローラが１台ずつで構成されるように説明したが、これに限らず、例えば、図３３に示されるように、複数のテレビジョン受信装置と１台のリモートコントローラにより構成されるようにしてもよい。なお、図３３において、図１に示される場合と対応する部分には同一符号を付し、その説明は適宜省略する。
【０４０３】
図３３において、テレビジョン受信装置１０−１および１０−２は、図１に示される画像情報処理システムにおけるテレビジョン受信装置１０と同様の構成であり、同様の処理を行うので、その詳細な説明は省略する。なお、アンテナ１１−１および１１−２は、図１に示されるアンテナ１１に対応し、画像信号処理部１２−１および１２−２は、図１に示される画像信号処理部１２に対応する。
【０４０４】
リモートコントローラ２０は、テレビジョン受信装置１０−１より供給されたパラメータに基づいて、係数種データ生成部２１において、テレビ受信装置１０−１用の係数種データｗ10乃至ｗn9を生成し、生成した係数種データｗ10乃至ｗn9をテレビジョン受信装置１０−１に供給する。また、リモートコントローラ２０は、テレビジョン受信装置１０−２より供給されたパラメータに基づいて、係数種データ生成部２１において、テレビ受信装置１０−２用の係数種データｗ10乃至ｗn9を生成し、生成した係数種データｗ10乃至ｗn9をテレビジョン受信装置１０−２に供給する。
【０４０５】
リモートコントローラ２０より、テレビジョン受信装置１０−１専用の係数種データｗ10乃至ｗn9を供給されたテレビジョン受信装置１０−１は、画像信号処理部１２−１において、その供給された係数種データｗ10乃至ｗn9を用いて、アンテナ１１−１を介して受信した画像信号（SD信号）に画像変換処理を行い、表示部３７において、変換後の画像信号（HD信号）に対応する画像を表示する。
【０４０６】
同様に、リモートコントローラ２０より、テレビジョン受信装置１０−２専用の係数種データｗ10乃至ｗn9を供給されたテレビジョン受信装置１０−２は、画像信号処理部１２−２において、その供給された係数種データｗ10乃至ｗn9を用いて、アンテナ１１−２を介して受信した画像信号（SD信号）に画像変換処理を行い、表示部３７において、変換後の画像信号（HD信号）に対応する画像を表示する。
【０４０７】
これにより、複数のテレビジョン受信装置１０−１および１０−２は、１台のリモートコントローラ２０を共用して、互いに異なるSD信号を、互いに異なる係数種データｗ10乃至ｗn9を用いて画像変換処理を行うことができる。すなわち、リモートコントローラ２０は、テレビジョン受信装置１０−１および１０−２のそれぞれに対して、異なる係数種データｗ10乃至ｗn9を供給することにより、各テレビジョン受信装置のデバイスや周囲環境に最適な画像変換処理を行わせることができる。また、ユーザが各テレビジョン受信装置に対して異なる要求をした場合においても、リモートコントローラ２０は、テレビジョン受信装置１０−１および１０−２のそれぞれに対して、異なる係数種データｗ10乃至ｗn9を供給することにより、対応することができる。
【０４０８】
なお、リモートコントローラ２０は、上述した、各テレビジョン受信装置１０−１および１０−２に対して行う、係数種データｗ10乃至ｗn9を生成し、供給する処理は、それぞれ独立して実行されるようにしてもよいし、連続して順番に実行されるようにしてもよいし、並列的に実行されるようにしてよい。
【０４０９】
また、以上においては、画像情報処理システムには２台のテレビジョン受信装置１０−１および１０−２が含まれるように説明したが、テレビジョン受信装置の台数は何台であってもよく、３台以上であってもよい。テレビジョン受信装置が３台以上ある場合においても、リモートコントローラ２０は、それぞれのテレビジョン受信装置に対して専用の係数種データｗ10乃至ｗn9を生成し、供給する。
【０４１０】
さらに、リモートコントローラが対応可能である限り、画像情報処理システムを構成する複数のテレビジョン受信装置が、互いに異なる機能を有するようにしてもよい。
【０４１１】
図３４は、本発明を適用した画像情報処理システムの更に異なる構成例を示す図である。なお、図３４において、図１、図２５、または図２９に示される場合と対応する部分には同一符号を付し、その説明は適宜省略する。
【０４１２】
図３４において、画像情報処理システムは、図１のテレビジョン受信装置１０、図２５のテレビジョン受信装置１８０、および図２９のテレビジョン受信装置２００を有しており、さらに、これらの全てのテレビジョン受信装置に対応するリモートコントローラ２２０を有している。
【０４１３】
図１を参照して説明したように、テレビジョン受信装置１０は、リモートコントローラ２２０に係数種データｗ10乃至ｗn9を生成するための各種のパラメータを供給し、リモートコントローラ２２０より、生成された係数種データｗ10乃至ｗn9を取得する。そして、テレビジョン受信装置１０は、画像信号処理部１２において、リモートコントローラ２２０より供給された係数種データｗ10乃至ｗn9を用いて、アンテナ１１を介して取得した画像信号（SD信号）をHD信号に変換し、その画像を表示する。
【０４１４】
また、図２５を参照して説明したように、テレビジョン受信装置１８０は、リモートコントローラ２２０に係数種データｗ10乃至ｗn9を生成するための各種のパラメータを供給し、リモートコントローラ２２０より、生成された係数種データｗ10乃至ｗn9を取得する。そして、テレビジョン受信装置１０は、画像信号処理部１２において、リモートコントローラ２２０より供給された係数種データｗ10乃至ｗn9を用いて、アンテナ１１を介して取得した画像信号（SD信号）をHD信号に変換し、その画像を表示する。さらに、テレビジョン受信装置１８０は、アンテナ１１を介して受信した画像信号（SD信号）をコンテンツデータとして、リモートコントローラ２２０に供給する。
【０４１５】
さらに、図２９を参照して説明したように、テレビジョン受信装置２００は、リモートコントローラ２２０に係数種データｗ10乃至ｗn9を生成するための各種のパラメータを供給する。また、テレビジョン受信装置２００は、アンテナ１１を介して受信した画像信号（SD信号）をコンテンツデータとして、リモートコントローラ２２０に供給し、リモートコントローラ２２０において変換されたコンテンツデータ（HD信号）を取得し、その画像を表示部に表示する。
【０４１６】
リモートコントローラ２２０は、上述した図２２のリモートコントローラ１７０（図１のリモートコントローラ２０を含む）、図２５のリモートコントローラ１９０、および、図２９のリモートコントローラ２１０の全ての機能を有するリモートコントローラであり、複数の係数種データ生成部１７１−１乃至１７１−ｍ、係数種データ算出部１７２、画像信号処理部１９１、並びに、出力部１９２を有する。
【０４１７】
リモートコントローラ２２０の詳細な構成については、図２３に示されるリモートコントローラ１７０の場合の構成（図１１のリモートコントローラ２０の場合の構成を含む）、図２７に示されるリモートコントローラ１９０の場合の構成（図２９のリモートコントローラ２１０を含む）を組み合わせたものであり、各部の構成およびその動作は、基本的に上述した場合と同様であるので、その説明は省略する。
【０４１８】
すなわち、リモートコントローラ２２０は、図２２のリモートコントローラ１７０（図１のリモートコントローラ２０）と同様に、テレビジョン受信装置１０より係数種データ生成のための各種のパラメータを取得すると、それらのパラメータに対応する係数種データ生成部１７１−１乃至１７１−ｍにおいて、取得したパラメータに基づいて係数種データｗ10乃至ｗn9を生成する。そして、リモートコントローラ２２０は、係数種データ算出部１７２において、生成した各係数種データｗ10乃至ｗn9より、テレビジョン受信装置１０に供給する係数種データｗ10乃至ｗn9を算出し、算出した係数種データｗ10乃至ｗn9をテレビジョン受信装置１０に供給する。
【０４１９】
また、リモートコントローラ２２０は、テレビジョン受信装置１８０に対しても、上述した、テレビジョン受信装置１０に対する処理と同様の処理を行い、生成した係数種データｗ10乃至ｗn9をテレビジョン受信装置１８０に供給する。さらに、リモートコントローラ２２０は、図２５のリモートコントローラ１９０の場合と同様に、係数種データ算出部１７２において算出した係数種データｗ10乃至ｗn9を、画像信号処理部１９１において保持させる。そして、リモートコントローラ２２０は、その画像信号処理部１９１において、テレビジョン受信装置１８０より供給されたコンテンツデータ（SD信号）に対して画像変換処理を行い、出力部１９２において、変換後のコンテンツデータ（HD信号）の画像を表示する。
【０４２０】
さらに、リモートコントローラ２２０は、テレビジョン受信装置２００に対して、図２９のリモートコントローラ２１０（図２２のリモートコントローラ１７０）の場合と同様に、テレビジョン受信装置２００より係数種データ生成のための各種のパラメータを取得すると、それらのパラメータに対応する係数種データ生成部１７１−１乃至１７１−ｍにおいて、取得したパラメータに基づいて係数種データｗ10乃至ｗn9を生成する。そして、リモートコントローラ２２０は、係数種データ算出部１７２において、生成した各係数種データｗ10乃至ｗn9より、使用する係数種データｗ10乃至ｗn9を算出し、画像信号処理部１９１において保持する。そして、リモートコントローラ２２０は、その画像信号処理部１９１において、テレビジョン受信装置２００より供給されたコンテンツデータ（SD信号）に対して画像変換処理を行い、変換後のコンテンツデータ（HD信号）をテレビジョン受信装置２００に供給し、表示させる。
【０４２１】
以上のように、リモートコントローラ２２０は、複数の機能を有することにより、互いに機能の異なる複数のテレビジョン受信装置に対して、係数種データの生成や、コンテンツデータの生成等の処理を行うことができる。
【０４２２】
なお、リモートコントローラ２２０は、上述した、各テレビジョン受信装置１０、１８０、および２００に対して行う、係数種データｗ10乃至ｗn9を生成し、供給する処理、または、コンテンツデータを生成し、表示若しくは供給する処理は、それぞれ独立して実行されるようにしてもよいし、連続して順番に実行されるようにしてもよいし、並列的に実行されるようにしてよい。
【０４２３】
また、以上においては、画像情報処理システムには３台のテレビジョン受信装置１０、１８０および２００が含まれるように説明したが、テレビジョン受信装置の台数は何台であってもよく、４台以上であってもよい。また、テレビジョン受信装置の機能の種類は、リモートコントローラ２２０が対応可能である限り、どのような種類であってもよいし、何種類であってもよい。
【０４２４】
図３５は、本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。
【０４２５】
図３５において、画像情報処理システムは、１台のテレビジョン受信装置２３０、並びに、２台のリモートコントローラ２４０および２５０を有している。
【０４２６】
テレビジョン受信装置２３０は、後述するように、テーブル記憶部２３１を有しており、複数のリモートコントローラ２４０および２５０の優先順位を示す優先順位テーブル２３２を記憶している。テレビジョン受信装置２３０のそれ以外の構成は、図１のテレビジョン受信装置１０の構成と同様である。
【０４２７】
リモートコントローラ２４０は、上述した図１のリモートコントローラ２０の係数種データ生成部２１と同様の構成であり、同様の処理を行う係数種データ生成部２４１の他に、記憶部９４に、各リモートコントローラを識別するための固有のID情報２４２を有している。すなわち、リモートコントローラ２４０の構成は、記憶部９４にID情報２４２を記憶している以外は、図１のリモートコントローラの構成と同様である。
【０４２８】
リモートコントローラ２５０は、上述した図１のリモートコントローラ２０の係数種データ生成部２１と同様の構成であり、同様の処理を行う係数種データ生成部２５１の他に、記憶部９４に、各リモートコントローラを識別するための固有のID情報２５２を有している。すなわち、リモートコントローラ２５０の構成は、記憶部９４にID情報２５２を記憶している以外は、図１のリモートコントローラの構成と同様である。
【０４２９】
このような画像情報処理システムにおいて、テレビジョン受信装置２３０は、図１の画像情報処理システムの場合と同様に、リモートコントローラ２４０からの要求（リモートコントローラ２４０におけるユーザ入力等）に基づいて、係数種データ生成のために必要なパラメータをリモートコントローラ２４０に供給する。同様に、テレビジョン受信装置２３０は、リモートコントローラ２５０からの要求（リモートコントローラ２５０におけるユーザ入力等）に基づいて、係数種データ生成のために必要なパラメータをリモートコントローラ２５０に供給する。
【０４３０】
リモートコントローラ２４０は、図１の画像情報処理システムの場合と同様に、係数種データ生成部２４１において、供給されたパラメータに基づいて、係数種データｗ10乃至ｗn9を生成する。そして、リモートコントローラ２４０は、生成した係数種データｗ10乃至ｗn9を、記憶部９４に記憶されているID情報２４２とともに、テレビジョン受信装置２３０に供給する。
【０４３１】
同様に、リモートコントローラ２５０は、係数種データ生成部２５１において、供給されたパラメータに基づいて、係数種データｗ10乃至ｗn9を生成する。そして、リモートコントローラ２５０は、生成した係数種データｗ10乃至ｗn9を、記憶部９４に記憶されているID情報２５２とともに、テレビジョン受信装置２３０に供給する。
【０４３２】
テレビジョン受信装置２３０は、テーブル記憶部２３１に記憶されている優先順位テーブル２３２を参照し、リモートコントローラ２４０より供給されたID情報２４２、または、リモートコントローラ２５０より供給されたID情報２５２が、現在画像信号処理部１２において保持されている係数種データｗ10乃至ｗn9を供給したリモートコントローラの優先順位より上であるか否かを判定し、優先されると判定した場合、その最も優先順位の高い係数種データｗ10乃至ｗn9を画像信号処理部１２において保持する。
【０４３３】
図３６は、図３５に示されるテレビジョン受信装置２３０の詳細な構成例を示す図である。なお、図３６において、図２に示されるテレビジョン受信装置１０の場合と対応する部分には同一符号を付し、その説明は適宜省略する。
【０４３４】
テレビジョン受信装置２３０のシステムコントローラ２３３には、テーブル記憶部２３１が接続されている。
【０４３５】
テーブル記憶部２３１は、SRAM、DRAM、またはEEPROM等の記憶素子により構成され、リモートコントローラの優先順位を示す優先順位テーブル２３２を記憶している。
【０４３６】
優先順位テーブル２３２は、リモートコントローラ２４０のID情報と、そのリモートコントローラの優先順位を対応づけるテーブルである。システムコントローラ２３３は、この優先順位テーブル２３２に含まれるID情報に関連付けられた優先順位に基づいて、使用する係数種データｗ10乃至ｗn9を選択する。
【０４３７】
システムコントローラ２３３は、複数のリモートコントローラ２４０および２５０より供給された複数の係数種データｗ10乃至ｗn9の中から、使用する係数種データを選択するために、係数種データを供給したリモートコントローラの各ID情報に基づいて、テーブル記憶部２３１に記憶されている優先順位テーブル２３２を参照する。そして、システムコントローラ２３３は、現在画像信号処理部１２において保持されている係数種データｗ10乃至ｗn9が対応するリモートコントローラも含めて、最も優先順位の高いリモートコントローラが供給した係数種データｗ10乃至ｗn9を、画像信号処理部１２に供給し保持させる。なお、システムコントローラ２３３のそれ以外の処理は、図２に示されるシステムコントローラ３２の場合と同様であるので、その説明を省略する。
【０４３８】
また、リモートコントローラ２４０および２５０の詳細な構成は、それぞれの記憶部９４にID情報２４２または２５２が記憶されている以外は、図１１に示されるリモートコントローラ２０の場合と同様であるので、その説明を省略する。
【０４３９】
次に、図３５の画像情報処理システムによる、係数種データ更新処理について、図３７のフローチャートを参照して説明する。なお、図３７においては、リモートコントローラ２４０がテレビジョン受信装置２３０の係数種データを更新する場合について説明するが、リモートコントローラ２５０がテレビジョン受信装置２３０の係数種データを更新する場合の処理も、基本的に同様である。
【０４４０】
ユーザがリモートコントローラ２４０の入力部９１を操作することにより、係数種データの設定の開始を指示すると、リモートコントローラ２１０は、図１５のフローチャートを参照して説明したステップＳ２１乃至Ｓ２４の処理にそれぞれ対応するステップＳ３１１乃至３１４の処理を行い、テレビジョン受信装置１８０は、図１５のフローチャートを参照して説明したステップＳ１乃至Ｓ６の処理にそれぞれ対応するステップＳ２８１乃至２８６の処理を行う。
【０４４１】
すなわち、リモートコントローラ２４０は、図１５のフローチャートの場合と同様に、パラメータの設定に関する指示をテレビジョン受信装置２００に供給した後、その指示に基づいて生成されたパラメータを受信し、そのパラメータに基づいて係数種データｗ10乃至ｗn9を生成する。テレビジョン受信装置２３０は、図１５のフローチャートの場合と同様に、リモートコントローラ２１０より供給される指示に基づいてパラメータを生成し、生成したパラメータをリモートコントローラ２１０に供給する。
【０４４２】
ステップＳ３１４において、図１６のフローチャートに示されるような係数種データ生成処理を行い、係数種データ生成部２４１において係数種データｗ10乃至ｗn9を生成したリモートコントローラ２４０は、記憶部９４よりID情報２４２を読み出し、ステップＳ３１５において、読み出したID情報とともに、生成された係数種データｗ10乃至ｗn9をテレビジョン受信装置２３０に供給し、係数種データ更新処理を終了する。
【０４４３】
また、テレビジョン受信装置２３０のシステムコントローラ２３３は、ステップＳ２８７において、通信部３１を介して、リモートコントローラ２４０よりID情報２４２および係数種データｗ10乃至ｗn9を取得すると、ステップＳ２８８において、テーブル記憶部２３１に記憶されている優先順位テーブル２３２を参照し、今回取得した係数種データｗ10乃至ｗn9の供給元であるリモートコントローラ２４０の優先順位が、現在画像信号処理部１２において保持している係数種データｗ10乃至ｗn9を供給したリモートコントローラの優先順位より上であるか否かを判定する。
【０４４４】
今回取得した係数種データｗ10乃至ｗn9の供給元であるリモートコントローラ２４０の優先順位の方が上であると判定した場合、テレビジョン受信装置２３０のシステムコントローラ２３３は、ステップＳ２８９において、今回取得した係数種データｗ10乃至ｗn9を画像信号処理部１２に供給して保持させ、係数種データ更新処理を終了する。
【０４４５】
また、ステップＳ２８８において、現在画像信号処理部１２において保持している係数種データｗ10乃至ｗn9を供給したリモートコントローラの優先順位の方が上であると判定した場合、テレビジョン受信装置２３０のシステムコントローラ２３３は、ステップＳ２８９の処理を省略し、係数種データ更新処理を終了する。
【０４４６】
以上のように、テレビジョン受信装置２３０は、優先順テーブル２３２を用いることにより、各リモートコントローラの優先度を管理するので、複数のリモートコントローラからの係数種データ更新の要求に対応することができる。
【０４４７】
なお、図３５においては、リモートコントローラは、２台であるように説明したが、これに限らず、３台以上であってもよい。
【０４４８】
また、テレビジョン受信装置２３０は、ID情報およびその優先度を管理する優先度テーブル２３２を、リモートコントローラ側から制御信号に基づいて更新するようにしてもよい。これにより、テレビジョン受信装置２３０は、優先度テーブル２３２にID情報が登録されていない新たなリモートコントローラのID情報およびその優先度を、優先度テーブル２３２に登録することができる。また、テレビジョン受信装置２３０が、ユーザの指示等に基づいて、優先度テーブル２３２におけるID情報に対応する優先度の順番を変更できるようにしてもよい。また、例えば、使用頻度等に応じて、優先度テーブル２３２におけるID情報に対応する優先度の順番が変更されるようにしてもよい。
【０４４９】
図３５において、画像情報処理システムは、１台のテレビジョン受信装置２３０を有するように説明したが、例えば、図３８に示されるように、２台のテレビジョン受信装置２６０および２７０を有するようにしてもよい。
【０４５０】
図３８において、テレビジョン受信装置２６０および２７０の構成は、図３５に示されるテレビジョン受信装置２３０と同様であるので、その説明は省略する。なお、テレビジョン受信装置２６０および２７０は、それぞれ、優先順位テーブル２６１および２７１を有する。これらの優先順位テーブル２６１または２７１は、それぞれ、テレビジョン受信装置２６０または２７０において生成されたものであり、それらに登録されているリモートコントローラのID情報、およびその優先順位は互いに独立している。
【０４５１】
例えば、図３８に示されるように、テレビジョン受信装置２６０が有する優先順位テーブル２６１においては、リモートコントローラ２４０のID情報２４２およびリモートコントローラ２５０のID情報２５２が登録されており、リモートコントローラ２４０のID情報２４２の方が、リモートコントローラ２５０のID情報２５２より優先順位が高く登録されているが、テレビジョン受信装置２７０が有する優先順位テーブル２７１においては、リモートコントローラ２４０のID情報２４２およびリモートコントローラ２５０のID情報２５２が登録されており、リモートコントローラ２５０のID情報２５２の方が、リモートコントローラ２４０のID情報２４２より優先順位が高く登録されている。
【０４５２】
すなわち、この場合の画像情報処理システムにおいては、テレビジョン受信装置ごとに優先順位テーブルが作成され、リモートコントローラの優先順位が管理される。従って、各テレビジョン受信装置が管理するリモートコントローラの台数が異なる場合もある。
【０４５３】
なお、画像情報処理システムが有するテレビジョン受信装置の数は３台以上であってもよいし、リモートコントローラの数も３台以上であってもよい。
【０４５４】
また、図３８のテレビジョン受信装置２６０および２７０が接続されるようにし、テレビジョン受信装置２６０および２７０において、共通の優先順位テーブルを管理するようにしてもよい。その場合、テレビジョン受信装置２６０および２７０は、所定のタイミングで、それぞれが有する優先順位テーブル２６１および２７１の内容を比較し、内容が異なる場合は、それぞれが有する優先順位テーブル２６１または２７１を更新する。
【０４５５】
以上のように、画像情報処理システムにおいて、リモートコントローラが、テレビジョン受信装置が受信する画像信号を変換処理する際に必要な係数を創造する係数創造機能、または、テレビジョン受信装置が受信した画像信号に対して変換処理を行い、新たなコンテンツデータを創造するコンテンツ創造機能を有することにより、画像情報処理システムは、より効果的に、よりユーザの嗜好に合わせて、コンテンツデータに画像変換処理を行うことができる。
以上においては、画像情報処理システムのリモートコントローラが係数種データ生成部を有し、テレビジョン受信装置が受信する画像信号を変換する際に必要な係数種データを生成するように説明したが、これに限らず、テレビジョン受信装置が係数種データ生成部を有するようにしてもよい。
【０４５６】
図３９は、本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。なお、図３９において、図１に示される画像情報処理システムの場合と対応する部分には同一符号を付し、その説明は適宜省略する。
【０４５７】
図３９において、テレビジョン受信装置２８０は、画像信号処理部１２において用いられる係数種データｗ10乃至ｗn9を生成する係数種データ生成部２８１を有している。係数種データ生成部２８１の詳細な構成例は、図１２を参照して説明した係数種データ生成部２１の場合と同様であるので、その説明は省略する。
【０４５８】
また、リモートコントローラ２９１は、図１１に示されるリモートコントローラ２０より係数種データ生成部２１を削除した構成であるので、その説明を省略する。
【０４５９】
図３９において、リモートコントローラ２９１は、ユーザ入力等に基づいて、係数種データｗ10乃至ｗn9を生成するパラメータに関する指示、または、パラメータ自体をテレビジョン受信装置２８０に供給する。
【０４６０】
テレビジョン受信装置２８０は、リモートコントローラ２９１より供給されたパラメータに関する指示等に基づいて生成したパラメータ、または、リモートコントローラ２９１より供給されたパラメータを用いて、係数種データ生成部２８１において、係数種データｗ10乃至ｗn9を生成する。そして、テレビジョン受信装置２８０は、生成した係数種データｗ10乃至ｗn9を用いて、画像信号処理部１２において、アンテナ１１を介して受信した画像信号に変換処理を施す。
【０４６１】
以上のようにすることにより、リモートコントローラ２９１の回路規模の増大を抑制したまま、画像情報処理システムは、より効果的に、よりユーザの嗜好に合わせて、コンテンツデータに画像変換処理を行うことができる。
【０４６２】
さらに、図４０に示されるように、上述したテレビジョン受信装置２８０を、他のテレビジョン受信装置と接続されるようにしてもよい。
【０４６３】
図４０において、テレビジョン受信装置２８０は、通信部３１を介して、ネットワーク２９２に接続されている。また、ネットワーク２９２には、テレビジョン受信装置２８０の他に、テレビジョン受信装置１０および２００が、それぞれの通信部３１を介して接続されている。
【０４６４】
なお、図４０において、テレビジョン受信装置２８０が有するアンテナ１１−１、テレビジョン受信装置１０が有するアンテナ１１−２、および、テレビジョン受信装置２００が有するアンテナ１１−３は、いずれも、図１に示されるテレビジョン受信装置１０のアンテナ１１と同様の構成であり、同様の処理を行う。
【０４６５】
また、図４０において、テレビジョン受信装置２８０が有する画像信号処理部１２−１、および、テレビジョン受信装置１０が有する画像信号処理部１２−２は、いずれも、図１に示されるテレビジョン受信装置１０の画像信号処理部１２と同様の構成であり、同様の処理を行う。
【０４６６】
テレビジョン受信装置２８０は、係数種データ生成部２８１において生成された係数種データｗ10乃至ｗn9を、ネットワーク２９２を介して、テレビジョン受信装置１０に供給する。テレビジョン受信装置１０は、テレビジョン受信装置２８０より供給された係数種データｗ10乃至ｗn9を用いて、画像信号処理部１２−２において、アンテナ１１−２を介して取得した画像信号に変換処理を施す。
【０４６７】
また、テレビジョン受信装置２８０は、係数種データ生成部２８１において生成された係数種データｗ10乃至ｗn9を用いて、画像信号処理部１２−１において、アンテナ１１−１を介して取得した画像信号に変換処理を施し、変換された画像信号を、コンテンツデータとして、ネットワーク２９２を介してテレビジョン受信装置２００に供給する。テレビジョン受信装置２００は、テレビジョン受信装置２８０より供給されたコンテンツデータに対応する画像を、その表示部３７に表示させる。
【０４６８】
さらに、テレビジョン受信装置２００は、アンテナ１１−３を介して受信した画像信号を、コンテンツデータとして、ネットワーク２９２を介してテレビジョン受信装置２８０に供給する。テレビジョン受信装置２８０は、テレビジョン受信装置２００より供給されたコンテンツデータに対して、画像信号処理部１２−１において変換処理を施し、新たなコンテンツデータを生成し、その変換後のコンテンツデータを、ネットワーク２９２を介してテレビジョン受信装置２００に供給する。テレビジョン受信装置２００は、テレビジョン受信装置２８０より供給されたコンテンツデータに対応する画像を、その表示部３７に表示させる。
【０４６９】
以上のように、テレビジョン受信装置２８０と他のテレビジョン受信装置を接続することにより、複数のテレビジョン受信装置間において、コンテンツデータを共有したり、コンテンツデータを変換するための係数種データを共有したりすることができ、画像情報書誌システムは、複数のテレビジョン受信装置において、より効果的に、よりユーザの嗜好に合わせて画像変換処理されたコンテンツデータを表示させることができる。
【０４７０】
なお、以上において、有線通信により接続されるように説明した各装置は、無線通信により接続されるようにしてもよいし、逆に、無線通信により接続されるように説明した各装置は、有線通信により接続されるようにしてもよい。
【０４７１】
また、以上に説明したテレビジョン受信装置およびリモートコントローラは、上述した機能を有する限り、上述した以外のどのような機能を有するようにしてもよい。
【０４７２】
以上のように、いずれの実施例の場合においても、リモートコントローラまたはテレビジョン受信装置のいずれかが、画像信号を変換処理する際に必要な係数を創造（係数創造）し、画像信号に対して変換処理を行い、新たなコンテンツデータを創造（コンテンツデータ創造）することにより、画像情報処理システムは、より効果的に、よりユーザの嗜好に合わせて、コンテンツデータに画像変換処理を行うことができる。
【０４７３】
上述した一連の処理は、ハードウェアにより実行させることもできるし、上述したようにソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体等からインストールされる。
【０４７４】
図４１は、上述した処理を実行するパーソナルコンピュータの内部構成例を示す図である。
【０４７５】
パーソナルコンピュータ３００のCPU３０１は、ROM３０２に記憶されているプログラムに従って各種の処理を実行する。RAM３０３には、CPU３０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。
【０４７６】
CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３１０も接続されている。
【０４７７】
入出力インタフェース３１０は、キーボードやマウスから構成される入力部３１１が接続され、入力部３１１に入力された信号をCPU３０１に出力する。また、入出力インタフェース３１０には、ディスプレイやスピーカなどから構成される出力部３１２も接続されている。
【０４７８】
さらに、入出力インタフェース３１０には、ハードディスクなどから構成される記憶部３１３、および、インターネットなどのネットワークを介して他の装置とデータの通信を行う通信部３１４も接続されている。ドライブ３１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの記録媒体からなるリムーバブルメディア３２１よりデータを読み出したり、データを書き込んだりするときに用いられる。
【０４７９】
記録媒体は、図４１に示されるように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリなどよりなるパッケージメディアを含むリムーバブルメディア３２１により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM３０２や記憶部３１３が含まれるハードディスクなどで構成される。
【０４８０】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４８１】
【発明の効果】
以上のように、本発明によれば、画像信号を変換処理することができる。特に、より効果的に、よりユーザの嗜好に合わせて、コンテンツデータに画像変換処理を行うことができる。
【図面の簡単な説明】
【図１】本発明を適用した画像情報処理システムの構成例を示すブロック図である。
【図２】図１のテレビジョン受信装置の詳細な構成例を示す図である。
【図３】５２５ｉ信号と１０５０ｉ信号の画素位置関係を示す図である。
【図４】図２の画像信号処理部の構成例を示すブロック図である。
【図５】ＨＤ信号（１０５０ｉ信号）の単位画素ブロック内の４画素の中心予測タップからの位相ずれ（奇数フィールド）を示す図である。
【図６】ＨＤ信号（１０５０ｉ信号）の単位画素ブロック内の４画素の中心予測タップからの位相ずれ（偶数フィールド）を示す図である。
【図７】図４の履歴情報記憶部の構成を示すブロック図である。
【図８】画質を調整するためのユーザインターフェース例を示す図である。
【図９】図７の調整画面を拡大して示した図である。
【図１０】係数種データの生成方法の一例を示す図である。
【図１１】図１のリモートコントローラの詳細な構成例を示すブロック図である。
【図１２】図１１の係数種データ生成部の構成例を示すブロック図である。
【図１３】図１２のSD信号生成部の構成例を示すブロック図である。
【図１４】解像度調整範囲の変化を説明するための図である。
【図１５】図１の画像情報処理システムによる係数種データ更新処理について説明するフローチャートである。
【図１６】図１のリモートコントローラによる係数種データ生成処理について説明するフローチャートである。
【図１７】図１のテレビジョン受信装置による画像信号処理について説明するフローチャートである。
【図１８】図１２のSD信号生成部の、他の構成例を示すブロック図である。
【図１９】係数種データの生成方法の他の例を示す図である。
【図２０】図１１の係数種データ生成装置の、他の構成例を示すブロック図である。
【図２１】図１のリモートコントローラによる係数種データ生成処理の他の例について説明するフローチャートである。
【図２２】本発明を適用した画像情報処理システムの他の構成例を示す図である。
【図２３】図２２のリモートコントローラの構成例を示す図である。
【図２４】図２２の画像情報処理システムによる係数種データ更新処理について説明するフローチャートである。
【図２５】本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。
【図２６】図２５のテレビジョン受信装置の詳細な構成例を示すブロック図である。
【図２７】図２５のリモートコントローラの詳細な構成例を示すブロック図である。
【図２８】図２５の画像情報処理システムによる係数種データ更新処理について説明するフローチャートである。
【図２９】本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。
【図３０】図２９のテレビジョン受信装置の詳細な構成例を示すブロック図である。
【図３１】図２９の画像情報処理システムによる係数種データ更新処理について説明するフローチャートである。
【図３２】図２９の画像情報処理システムによる画像信号処理について説明するフローチャートである。
【図３３】本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。
【図３４】本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。
【図３５】本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。
【図３６】図３５のテレビジョン受信装置の詳細な構成例を示すブロック図である。
【図３７】図３５の画像情報処理システムによる係数種データ更新処理について説明するフローチャートである。
【図３８】本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。
【図３９】本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。
【図４０】本発明を適用した画像情報処理システムの、さらに他の構成例を示す図である。
【図４１】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１０ テレビジョン受信装置， １２ 画像信号処理部， ２０ リモートコントローラ， ２１ 係数種データ生成部， ３２ システムコントローラ， ９２ システムコントローラ， １５１ 係数種データ生成部， １７０ リモートコントローラ， １７１−１乃至１７１−ｍ 係数種データ生成部， １７２ 係数種データ算出部， １８０ テレビジョン受信装置， １８２ システムコントローラ， １９０ リモートコントローラ， １９１ 画像信号処理部， １９２ 出力部， １９３ システムコントローラ， ２００ テレビジョン受信装置， ２０２ システムコントローラ， ２１０ リモートコントローラ， ２２０ リモートコントローラ， ２３０ テレビジョン受信装置， ２３１ テーブル記憶部， ２３２ 優先順位テーブル， ２３３ システムコントローラ， ２４０ リモートコントローラ， ２４１ 係数種データ生成部，２４２ ID情報， ２５０ リモートコントローラ， ２５１ 係数種データ生成部， ２５２ ID情報， ２６０ テレビジョン受信装置， ２６１ 優先順位テーブル， ２７０ テレビジョン受信装置， ２７１ 優先順位テーブル， ２８０ テレビジョン受信装置， ２８１ 係数種データ生成部， ２９１リモートコントローラ， ３００ パーソナルコンピュータ， ３２１ リムーバブルメディア[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information processing system, an information processing apparatus and method, a recording medium, and a program, and in particular, an information processing suitable for use when image processing is performed on content data to create content data that meets user preferences. The present invention relates to a system, an information processing apparatus and method, a recording medium, and a program.
[0002]
[Prior art]
Conventionally, as an image data converter (upconverter) that converts low-resolution image data into high-resolution image data by subjecting low-resolution image data to pixel interpolation by performing frequency interpolation processing using an interpolation filter. After classifying the low-resolution image data into classes according to the signal level distribution of each pixel, the prediction coefficient corresponding to the class is read from a memory in which data called a prediction coefficient is stored in advance. There is an image data conversion apparatus that employs so-called class classification adaptive processing for predicting and calculating high resolution image data from resolution image data.
[0003]
Prediction coefficients stored in the memory of the image data converter are generated in advance by data processing called learning. The learning circuit that generates the prediction coefficient uses high-resolution image data as a teacher image using a digital filter that is selected from a plurality of digital filters having different passbands and that is optimal for the high-resolution image data as a teacher image. Is converted into low-resolution image data as a student image, and learning is performed between the high-resolution image data and the low-resolution image data to generate a prediction coefficient ( For example, see Patent Document 1).
[0004]
For example, in recent years, the development of television receivers that can obtain higher-resolution images has been desired due to the increase in audio-visual orientation. In response to this demand, so-called high definition television (HDTV) has been developed. It has been developed. The number of high-definition scan lines is 1125, which is more than twice that of 525 scan lines in the NTSC (National Television Standards Committee) system. Also, the aspect ratio of the high vision is 9:16, whereas the aspect ratio of the NTSC system is 3: 4. For this reason, high-definition images can be displayed with higher resolution and presence than in the NTSC system.
[0005]
The television receiver incorporating the above-described image data converter extracts pixel data of a block (area) corresponding to pixel data at a target position of a high-definition video signal from the NTSC video signal, and Based on the level distribution pattern of the pixel data, a class to which the above-described pixel data of the target position belongs is determined, and pixel data of the target position is generated corresponding to this class.
[0006]
[Patent Document 1]
WO00 / 19724 (pages 19-20, FIG. 10, FIG. 11)
[0007]
[Problems to be solved by the invention]
However, in the above case, adjustment values such as image quality used in the image data conversion process are determined in advance, and are recorded in the television receiver at the time of factory shipment, for example. There was a problem that it was difficult to change the value to match the preference of the user of the television receiver.
[0008]
Therefore, in the conventional case, the user controls the television receiver using, for example, a remote controller and performs image quality adjustment processing or the like on the converted image data. There is also a problem that the efficiency and the circuit scale and manufacturing cost increase.
[0009]
Further, the remote controller that controls the above-described television receiver only outputs a control signal. For example, a remote controller is provided with a display, and the display is performed on an image displayed on the television receiver. There is a problem that various processes such as displaying an image subjected to an image process different from the image process cannot be performed.
[0010]
Furthermore, in the case of a system in which a plurality of television receivers as described above exist, cooperation between the television receivers cannot be established, and image data conversion processing must be performed in each television receiver, which is an inefficient process. There was also the problem of becoming.
[0011]
In addition, there is a problem that the television receiver cannot manage the preferences of a plurality of users and cannot perform image data conversion processing according to the preferences of each user.
[0012]
The present invention has been made in view of such a situation, and more effectively enables image conversion processing to be performed on content data in accordance with user preferences.
[0013]
[Means for Solving the Problems]
  The first information processing system of the present invention communicates with the first information processing apparatus that generates the second content data based on the first content data, and the first information processing apparatus.pluralIn the information processing system configured with the second information processing apparatus, the first information processing apparatusTable storage means for storing a priority table that is information relating to the priority of the plurality of second information processing devices;Coefficient seed data from the second information processing deviceID information for identifying the second information processingCoefficient seed data acquisition means for acquiringCoefficients acquired from the second information processing apparatus having a higher priority by the coefficient seed data acquisition means based on the ID information acquired by the coefficient seed data acquisition means and the priority order table stored by the table storage means Select the seed data,Using a predetermined generation formula,SelectedUsing coefficient generation means for generating a coefficient of a predetermined estimation formula for estimating the second content data from the first content data from the coefficient seed data, and using the coefficient and the estimation formula generated by the coefficient generation means, Content data generating means for estimating and generating the second content data from the first content data, and the second information processing apparatus comprises:ID information storage means for storing ID information;Coefficient seed data generating means for solving a predetermined normal equation and generating coefficient seed data for each combination of a predetermined number of teacher data and a predetermined number of student data;In order to cause the first information processing device to generate a coefficient using the coefficient seed data acquired from the second information processing device having a higher priority,Coefficient seed data generated by coefficient seed data generation meansID information stored by ID information storage meansCoefficient coefficient data supply means for supplying the data to the first information processing apparatus.
[0014]
  A first information processing apparatus of the present invention is an information processing apparatus that generates second content data based on first content data,Table storage means for storing a priority table that is information relating to the priority of a plurality of other information processing devices;Coefficient seed data from other information processing devicesID information that identifies other information processingCoefficient seed data acquisition means for acquiringBased on the ID information acquired by the coefficient seed data acquisition means and the priority order table stored by the table storage means, the coefficient seed acquired from the other information processing apparatus having a higher priority by the coefficient seed data acquisition means Select the dataUsing a predetermined generation formula,SelectedUsing coefficient generation means for generating a coefficient of a predetermined estimation formula for estimating the second content data from the first content data from the coefficient seed data, and using the coefficient and the estimation formula generated by the coefficient generation means, Content data generating means for estimating and generating second content data from the first content data.
[0015]
  The content dataGenerationBy meansGenerationDisplay control means for controlling the display of the second content data thus obtained can be further provided.
[0025]
  Control information acquisition means for acquiring control information from the other information processing apparatusWhenBased on the control information acquired by the control information acquisition meansPredetermined parametersGenerateParameter generating means, and the coefficient generating means further generates a coefficient using the parameter generated by the parameter generating means.be able to.
  In order to use the parameter generated by the parameter generation means for generating the coefficient seed data, the apparatus may further comprise a parameter supply means for supplying the other information processing apparatus.
[0028]
  A first information processing method according to the present invention is an information processing method for an information processing device that generates second content data based on first content data, and obtains coefficient seed data from another information processing device. Coefficient seed data acquisition step;Based on the ID information acquired by the coefficient seed data acquisition step and the priority table stored by the table storage unit that stores the priority table that is information relating to the priority of a plurality of other information processing devices. , Select coefficient seed data acquired from another information processing apparatus having a higher priority by the processing of the coefficient seed data acquisition step,Using a predetermined generation formula,SelectedA coefficient generation step for generating a coefficient of a predetermined estimation formula for estimating the second content data from the first content data from the coefficient seed data, and the coefficient and the estimation formula generated by the processing of the coefficient generation step are used. A content data generation step of estimating and generating the second content data from the first content data.
[0029]
  The program of the first recording medium of the present invention is a program for causing a computer to perform processing for generating second content data based on the first content data, and for obtaining coefficient seed data from another information processing apparatus. A coefficient seed data acquisition step to be acquired;Based on the ID information acquired by the coefficient seed data acquisition step and the priority table stored by the table storage unit that stores the priority table that is information relating to the priority of a plurality of other information processing devices. , Select coefficient seed data acquired from another information processing apparatus having a higher priority by the processing of the coefficient seed data acquisition step,Using a predetermined generation formula,SelectedA coefficient generation step for generating a coefficient of a predetermined estimation formula for estimating the second content data from the first content data from the coefficient seed data, and the coefficient and the estimation formula generated by the processing of the coefficient generation step are used. And a content data generation step of estimating and generating the second content data from the first content data.
[0030]
  A first program according to the present invention is a program for causing a computer to perform processing for generating second content data based on first content data, and for obtaining coefficient seed data from another information processing apparatus. An acquisition step;Based on the ID information acquired by the coefficient seed data acquisition step and the priority table stored by the table storage unit that stores the priority table that is information relating to the priority of a plurality of other information processing devices. , Select coefficient seed data acquired from another information processing apparatus having a higher priority by the processing of the coefficient seed data acquisition step,Using a predetermined generation formula,SelectedA coefficient generation step for generating a coefficient of a predetermined estimation formula for estimating the second content data from the first content data from the coefficient seed data, and the coefficient and the estimation formula generated by the processing of the coefficient generation step are used. And causing the computer to execute a process including a content data generation step of estimating and generating the second content data from the first content data.
[0031]
  A second information processing apparatus of the present invention is an information processing apparatus that communicates with another information processing apparatus that generates second content data based on first content data,ID information storage means for storing ID information for identifying the information processing device;By generating a predetermined normal equation for each combination of a predetermined number of teacher data and a predetermined number of student data, a coefficient of a predetermined estimation formula for estimating the second content data from the first content data is generated. Coefficient seed data generating means for generating coefficient seed data to be used;To cause other information processing devices to generate coefficients using coefficient seed data acquired from information processing devices with higher priorities,Coefficient seed data generated by coefficient seed data generation meansID information stored by ID information storage meansAnd coefficient seed data supply means for supplying the information to other information processing apparatuses.
[0032]
  Input accepting means for accepting user inputAnd control information supply means for supplying control information used for generating a predetermined parameter used for generating a coefficient to another information processing apparatus based on a user input received by the input receiving means.Can be.
[0033]
  The apparatus further comprises parameter acquisition means for acquiring a predetermined parameter from the other information processing apparatus, and the coefficient seed data generation means generates coefficient seed data by solving a normal equation generated using the parameter.be able to.
[0048]
  A second information processing method according to the present invention is an information processing method for an information processing device that communicates with another information processing device that generates second content data based on the first content data. Coefficients used to generate a coefficient of a predetermined estimation formula for estimating the second content data from the first content data by solving a predetermined normal equation for each combination of teacher data and a predetermined number of student data A coefficient seed data generation step for generating seed data;To cause other information processing devices to generate coefficients using coefficient seed data acquired from information processing devices with higher priorities,Coefficient seed data generated by the process of the coefficient seed data generation stepAlong with the ID information that identifies the information processing device stored in the ID information storage unit,And a coefficient seed data supply step to be supplied to another information processing apparatus.
[0049]
  The program of the second recording medium of the present invention is a program for causing a computer to perform processing for communicating with another information processing apparatus that generates second content data based on the first content data. For generating a coefficient of a predetermined estimation formula for estimating the second content data from the first content data by solving a predetermined normal equation for each combination of a number of teacher data and a predetermined number of student data A coefficient seed data generation step for generating generated coefficient seed data;To cause other information processing devices to generate coefficients using coefficient seed data acquired from information processing devices with higher priorities,Coefficient seed data generated by the process of the coefficient seed data generation stepAlong with the ID information that identifies the information processing device stored in the ID information storage unit,And a coefficient seed data supply step to be supplied to another information processing apparatus.
[0050]
  A second program of the present invention is a program for causing a computer to perform processing for communicating with another information processing apparatus that generates second content data based on the first content data. Coefficient seed data used to generate a coefficient of a predetermined estimation formula for estimating the second content data from the first content data by solving a predetermined normal equation for each combination of a predetermined number of student data. A coefficient seed data generation step to be generated; andTo cause other information processing devices to generate coefficients using coefficient seed data acquired from information processing devices with higher priorities,Coefficient seed data generated by the process of the coefficient seed data generation stepAlong with the ID information that identifies the information processing device stored in the ID information storage unit,A computer is caused to execute processing including a coefficient seed data supply step to be supplied to another information processing apparatus.
[0061]
  In the first information processing system of the present invention, the first information processing device that generates the second content data based on the first content data and the first information processing device communicate with each other.pluralA second information processing apparatus, and in the first information processing apparatus,A priority table that is information relating to the priorities of the plurality of second information processing devices is stored;Coefficient seed data from the second information processing deviceID information for identifying the second information processingIs obtained,Based on the acquired ID information and the stored priority order table, coefficient seed data acquired from the second information processing apparatus having a higher priority order is selected,Using a predetermined generation formula,That selectedA coefficient of a predetermined estimation formula for estimating the second content data from the first content data is generated from the coefficient seed data, and the second content data is calculated from the first content data using the generated coefficient and the estimation formula. Content data is estimated and generated, and in the second information processing apparatus,ID information is stored,For each combination of a predetermined number of teacher data and a predetermined number of student data, a predetermined normal equation is solved and coefficient seed data is generated,In order to cause the first information processing device to generate a coefficient using the coefficient seed data acquired from the second information processing device having a higher priority,Generated coefficient seed dataAlong with the stored ID informationIs supplied to the first information processing apparatus.
[0062]
  In the first information processing apparatus and method, the first recording medium, and the first program of the present invention,A priority table that is information related to the priorities of a plurality of other information processing devices is stored,Coefficient seed data from other information processing devicesID information that identifies other information processingIs obtained,Based on the acquired ID information and the stored priority order table, coefficient seed data acquired from another information processing apparatus with higher priority is selected,Using a predetermined generation formula,That selectedA coefficient of a predetermined estimation formula for estimating the second content data from the first content data is generated from the coefficient seed data, and the second content data is calculated from the first content data using the generated coefficient and the estimation formula. Content data is estimated and generated.
[0063]
  In the second information processing apparatus and method, the second recording medium, and the second program of the present invention,ID information for identifying the information processing device is stored,For each combination of a predetermined number of teacher data and a predetermined number of student data, a predetermined normal equation is solved to generate a coefficient of a predetermined estimation formula for estimating the second content data from the first content data. The coefficient seed data to be used is generated,To cause other information processing devices to generate coefficients using coefficient seed data acquired from information processing devices with higher priorities,Generated coefficient seed dataAlong with the stored ID informationIs supplied to other information processing apparatuses.
[0069]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a configuration example of an image information processing system to which the present invention is applied.
[0070]
The image information processing system shown in FIG. 1 includes a television receiver 10 that receives an image signal supplied from an external broadcasting station and displays it on a built-in display, and a remote controller 20 corresponding to the television signal. The
[0071]
The television receiver 10 includes an antenna 11 and an image signal processing unit 12. An image signal which is an SD (Standard Definition) signal such as an NTSC signal supplied from the outside is supplied via the antenna 11. Receive. The television receiver 10 performs image processing using the class classification adaptive processing on the received image signal in the image signal processing unit 12 and performs processing such as conversion to an HD (High Definition) image signal. . Then, the television receiver 10 displays an image corresponding to the converted image signal on a display (not shown). Detailed description regarding image processing will be described later.
[0072]
In addition, the television receiver 10 includes a communication unit (not shown) that performs wireless communication with the remote controller 20, acquires a control signal from the remote controller 20, and, based on the control signal, for example, an image Various operations are performed such as supplying a parameter for generating coefficient seed data, which is data used in the signal processing unit 12, to the remote controller 20.
[0073]
The remote controller 20 includes an input unit operated by a user and a communication unit (none of which is shown) that performs wireless communication with the television receiver 10, and the television receiver 10 is operated by the user operating the input unit. Various control signals and the like for controlling the operation are supplied to the television receiver 10. For example, the remote controller 20 supplies the television receiver 10 with a control signal for determining the above-described parameters based on a user input. At that time, the remote controller 20 supplies not only control signals for determining parameters but also information for determining parameters such as user input.
[0074]
In addition, the remote controller 20 has a built-in coefficient seed data generation unit 21 that generates and generates coefficient seed data based on parameters supplied from the television receiver 10. The coefficient seed data is supplied to the television receiver 10 via a communication unit (not shown). The television receiver 10 performs image processing using the supplied coefficient seed data. The description of the coefficient seed data will be described later.
[0075]
FIG. 2 is a block diagram illustrating a detailed configuration example of the television receiver 10 of FIG.
[0076]
The television receiver 10 obtains an SD signal called a 525i signal from a broadcast signal, converts the 525i signal into an HD signal called a 1050i signal, and displays an image based on the HD signal.
[0077]
FIG. 3 shows the pixel position relationship of a frame (F) in which a 525i signal and a 1050i signal are present. The pixel position of an odd (o) field is indicated by a solid line, and the pixel position of an even (e) field is indicated by a broken line. ing. Large dots are pixels of 525i signal, and small dots are pixels of 1050i signal. As can be seen from FIG. 3, the pixel data of the 1050i signal includes line data L1, L1 ′ at positions close to the line of the 525i signal and line data L2, L2 ′ at positions far from the line of the 525i signal. Here, L1 and L2 are line data of odd fields, and L1 'and L2' are line data of even fields. The number of pixels in each line of the 1050i signal is twice the number of pixels in each line of the 525i signal.
[0078]
Returning to FIG. 2, the configuration of the television receiver 10 will be described. The user operates the television receiver 10 using the remote controller 20. The television receiver 10 includes a microcontroller including a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory), a system controller 32 for controlling the operation of the entire system, and a remote The communication unit 31 communicates with the controller 20. The communication unit 31 is connected to the system controller 32, receives a remote control signal output from the remote controller 20 according to a user operation, and supplies an operation signal corresponding to the signal to the system controller 32. Has been.
[0079]
The antenna 11 receives a broadcast signal (RF (Radio Frequency) modulation signal). The tuner 33 receives a broadcast signal received via the antenna 11 and selects a channel selected by the user using the remote controller 20 in accordance with a control signal input from the system controller 32. In addition, the above-described SD signal (525i signal) is obtained by performing intermediate frequency amplification processing, detection processing, and the like. The buffer memory 34 temporarily stores the SD signal output from the tuner 33.
[0080]
The image signal processing unit 12 performs image signal processing for converting an SD signal (525i signal) temporarily stored in the buffer memory 34 into an HD signal (1050i signal).
[0081]
FIG. 4 is a block diagram showing a more detailed configuration of the image signal processing unit 12.
[0082]
The first tap selection unit 41, the second tap selection unit 42, and the third tap selection unit 43 of the image signal processing unit 12 use the HD signal from the SD signal (525i signal) stored in the buffer memory 34. Data of a plurality of SD pixels located around the target position in the signal (1050i signal) is selectively extracted and output.
[0083]
The first tap selection unit 41 selectively extracts data of SD pixels (hereinafter referred to as “prediction tap”) used for prediction. The second tap selection unit 42 selectively extracts data of SD pixels (hereinafter referred to as “space class taps”) used for class classification corresponding to the level distribution pattern of the SD pixel data. The third tap selection unit 43 selectively extracts data of SD pixels (hereinafter referred to as “motion class taps”) used for class classification corresponding to motion. When the space class is determined using SD pixel data belonging to a plurality of fields, motion information is also included in this space class.
[0084]
The space class detection unit 44 detects the level distribution pattern of the space class tap data (SD pixel data) selectively extracted by the second tap selection unit 42, and detects the space class based on the level distribution pattern. And output the class information.
[0085]
In the space class detection unit 44, for example, an operation is performed to compress each SD pixel data from 8-bit data to 2-bit data. The space class detection unit 44 outputs compressed data corresponding to each SD pixel data as class information of the space class. In the present embodiment, data compression is performed by ADRC (Adaptive Dynamic Range Coding). In addition to ADRC, DPCM (predictive coding), VQ (vector quantization), or the like may be used as the information compression means.
[0086]
Originally, ADRC is an adaptive requantization method developed for high-performance coding for VTR (Video Tape Recorder), but it can express local patterns of signal level efficiently with a short word length. It is suitable for use in data compression. When using ADRC, the maximum value of space class tap data (SD pixel data) is MAX, the minimum value is MIN, the dynamic range of space class tap data is DR (= MAX-MIN + 1), and the number of requantization bits If P is P, the requantized code qi as compressed data is obtained by the calculation of Expression (1) for each SD pixel data ki as the space class tap data. However, in the formula (1), [] means a truncation process. When there are Na SD pixel data as the space class tap data, i = 1 to Na.
[0087]
[Expression 1]

[0088]
The motion class detection unit 45 mainly detects a motion class for expressing the degree of motion from the motion class tap data (SD pixel data) selectively extracted by the third tap selection unit 43. Output class information.
[0089]
In this motion class detection unit 45, the inter-frame difference is calculated from the motion class tap data (SD pixel data) mi and ni selectively extracted by the third tap selection unit 43, and the absolute value of the difference is further calculated. A threshold value process is performed on the average value of the motion vectors, and a motion class that is an index of motion is detected. In other words, the motion class detection unit 45 calculates the average value AV of the absolute values of the differences according to the equation (2). In the third tap selection unit 43, for example, as described above, when 12 pieces of SD pixel data m1 to m6 and n1 to n6 are extracted, Nb in Expression (2) is 6.
[0090]
[Expression 2]

[0091]
In the motion class detection unit 45, the average value AV calculated as described above is compared with one or a plurality of threshold values to obtain class information MV of the motion class. For example, when three threshold values th1, th2, and th3 (th1 <th2 <th3) are prepared and four motion classes are detected, MV = 0 and th1 <AV ≦ th2 when AV ≦ th1. , MV = 1, th2 <AV ≦ th3, MV = 2, and th3 <AV, MV = 3.
[0092]
The class synthesis unit 46 should be created based on the requantization code qi as the class information of the space class output from the space class detection unit 44 and the class information MV of the motion class output from the motion class detection unit 45. A class code CL indicating the class to which the pixel data (pixel data of the target position) of the HD signal (1050i signal) belongs is obtained.
[0093]
In the class composition unit 46, the class code CL is calculated by the following equation (3). In Equation (3), Na represents the number of space class tap data (SD pixel data), and P represents the number of requantization bits in ADRC.
[0094]
[Equation 3]

[0095]
The coefficient memory 53 stores, for each class, a plurality of coefficient data Wi used in the estimation formula used in the estimated prediction calculation unit 47 described later. The coefficient data Wi is information for converting an SD signal (525i signal) into an HD signal (1050i signal). The class code CL output from the class synthesizing unit 46 is supplied to the coefficient memory 53 as read address information. The coefficient memory 53 receives coefficient data Wi (i = 1 to n) of the estimation formula corresponding to the class code CL. ) Is read out and supplied to the estimated prediction calculation unit 47.
[0096]
The image signal processing unit 12 includes an information memory bank 51. In an estimated prediction calculation unit 47 to be described later, HD pixel data to be created from the prediction tap data (SD pixel data) xi and the coefficient data Wi read from the coefficient memory 53 according to the following equation (4). y is calculated. N in Expression (4) represents the number of prediction taps selected by the first tap selection unit 41.
[0097]
Here, the position of the n pixel data of the prediction tap selectively extracted by the tap selection unit 41 is in the spatial direction (horizontal and vertical directions) and the time direction with respect to the target position in the HD signal. Yes.
[0098]
[Expression 4]

[0099]
Then, coefficient data Wi (i = 1 to n) of the estimation formula is generated by a generation formula including parameters s and z as shown in the following formula (5). The information memory bank 51 stores coefficient seed data w10 to wn9, which are coefficient data in this generation formula, for each class. A method for generating the coefficient seed data will be described later.
[0100]
[Equation 5]

[0101]
As described above, when the 525i signal is converted into the 1050i signal, it is necessary to obtain four pixels of the 1050i signal corresponding to one pixel of the 525i signal in each of the odd and even fields. In this case, the four pixels in the 2 &times; 2 unit pixel block constituting the 1050i signal in each of the odd and even fields have different phase shifts with respect to the central prediction tap.
[0102]
FIG. 5 shows a phase shift from the center prediction tap SD0 in the four pixels HD1 to HD4 in the 2 &times; 2 unit pixel block constituting the 1050i signal in the odd field. Here, the positions of HD1 to HD4 are shifted from the position of SD0 by k1 to k4 in the horizontal direction and m1 to m4 in the vertical direction, respectively.
[0103]
FIG. 6 shows a phase shift from the center prediction tap SD0 ′ in the four pixels HD1 ′ to HD4 ′ in the 2 &times; 2 unit pixel block constituting the 1050i signal in the even field. Here, the positions of HD1 'to HD4' are shifted from the position of SD0 'by k1' to k4 'in the horizontal direction and m1' to m4 'in the vertical direction, respectively.
[0104]
Accordingly, the information memory bank 51 stores coefficient seed data w10 to wn9 for each combination of class and output pixels (HD1 to HD4, HD1 'to HD4').
[0105]
The coefficient generation unit 52 uses the coefficient seed data of each class and the values of the parameters s and z, and the estimation formula corresponding to the values of the parameters s and z for each class according to the above-described equation (5). Coefficient data Wi (i = 1 to n) is generated. The coefficient generation unit 52 is loaded with the above-described coefficient seed data of each class from the information memory bank 51. Further, the values of parameters s and z are supplied to the coefficient generation unit 52 from the system controller 32.
[0106]
The coefficient data Wi (i = 1 to n) of each class generated by the coefficient generation unit 52 is stored in the coefficient memory 53 described above. The generation of coefficient data Wi of each class in the coefficient generation unit 52 is performed, for example, in each vertical blanking period. Thereby, even if the values of the parameters s and z are changed by the user's operation of the remote commander 2, the coefficient data Wi of each class stored in the coefficient memory 53 corresponds to the values of the parameters s and z. It can be changed immediately, and the user can adjust the resolution smoothly.
[0107]
The normalization coefficient calculation unit 54 calculates the normalization coefficient S corresponding to the coefficient data Wi (i = 1 to n) obtained by the coefficient generation unit 52 by the following equation (6). The normalization coefficient memory 55 stores this normalization coefficient S. The normalization coefficient memory 55 is supplied with the class code CL output from the class synthesis unit 46 described above as read address information, and the normalization coefficient memory 55 reads the normalization coefficient S corresponding to the class code CL. And is supplied to a normalization calculation unit 48 described later.
[0108]
[Formula 6]

[0109]
The estimated prediction calculation unit 47 uses the prediction tap data (SD pixel data) xi selectively extracted by the first tap selection unit 41 and the coefficient data Wi read from the coefficient memory 53 to The pixel data of the HD signal to be created (pixel data at the target position) is calculated using the estimation formula.
[0110]
As described above, when an SD signal (525i signal) is converted into an HD signal (1050i signal), four pixels of the HD signal (HD1 to HD4 in FIG. 4 and HD1 in FIG. 5) with respect to one pixel of the SD signal. Therefore, the estimated prediction calculation unit 47 generates pixel data for each 2 &2; unit pixel block constituting the HD signal. That is, in the estimated prediction calculation unit 47, the first tap selection unit 41 configures the prediction pixel data xi corresponding to four pixels (target pixel) in the unit pixel block, and the unit memory block includes the coefficient memory 53. The coefficient data Wi corresponding to the four pixels to be supplied is supplied, and the data y1 to y4 of the four pixels constituting the unit pixel block are individually calculated by the estimation formula of the above-described formula (4).
[0111]
The normalization calculation unit 48 reads out the four-pixel data y1 to y4 sequentially output from the estimated prediction calculation unit 47 from the normalization coefficient memory 55, and uses coefficient data Wi (i = 1 to Normalize by dividing by the normalization coefficient S corresponding to n). As described above, the coefficient generation unit 52 calculates the coefficient data Wi of the estimation formula, but the obtained coefficient data includes a rounding error, and the sum total of the coefficient data Wi (i = 1 to n) becomes 1.0. It is not guaranteed to be. For this reason, the data y1 to y4 of each pixel calculated by the estimated prediction calculation unit 47 are those whose level has fluctuated due to a rounding error. Therefore, normalization by the normalization calculation unit 48 can eliminate the level fluctuation.
[0112]
The post-processing unit 49 line-sequentially converts the four-pixel data y1 'to y4' in the unit pixel block, which are normalized by the normalization calculation unit 48 and sequentially supplied, and outputs the data in the format of 1050i signal.
[0113]
The history information storage unit 50 stores history information of parameters s and z values input from the system controller 32 to the coefficient generation unit 52.
[0114]
FIG. 7 is a block diagram showing a more detailed configuration of the history information storage unit 50. The history information storage unit 50 includes a frequency distribution memory 61 that stores information about frequency distributions of the parameters s and z values input from the system controller 32 to the coefficient generation unit 52. In the frequency distribution memory 61, the frequencies at the respective values of the parameters s and z are averaged and stored. The frequency distribution memory 61 is constituted by, for example, a non-volatile memory, and the stored contents are retained even when the power of the television receiver 10 is turned off.
[0115]
Therefore, the history information storage unit 50 further includes a counter 62 that counts the number of times the values of the parameters s and z are input to the coefficient generation unit 52, and the parameters s and z based on the count value of the counter 62. And an averaging unit 63 that averages the frequencies in the values.
[0116]
The counter 62 is counted up by the control of the system controller 12. As will be described later with reference to FIGS. 8 and 9, the user can adjust the values of the parameters s and z on the adjustment screen, but the counter 62 is counted up when the adjustment is completed.
[0117]
The averaging unit 63 uses the input values of the parameters s and z, the count value of the counter 62, and the average value of the frequencies in the previous parameter s and z values stored in the frequency distribution memory 61. Thus, an average value of new frequencies in the respective values of the parameters s and z is obtained.
[0118]
In this case, when the number of times of input is M, that is, when the count value of the counter 92 is M, regarding the frequency of the input parameter value, when the average value of the frequency up to the previous time is nM−1, The average value nM of the correct frequencies is obtained by the calculation of the following equation (7). On the other hand, when the number of inputs is M, regarding the frequency in the parameter value different from the input parameter value, the average of the frequency in the parameter up to the previous time is nM-1, and the new frequency average The value nM is obtained by the calculation of the following equation (8).
[0119]
[Expression 7]

[0120]
[Equation 8]

[0121]
Thus, overflow is prevented by using the average value of the frequencies of the parameters s and z as the information of the frequency distribution of the values of the parameters s and z stored in the frequency distribution memory 61. it can.
[0122]
In addition, instead of using the average value of the frequencies at the values of the parameters s and z, even if the value obtained by normalizing the frequencies at the values of the parameters s and z with the maximum frequency is used, overflow similarly occurs. Can be prevented.
[0123]
The history information storage unit 50 stores a predetermined number, for example, the ten latest parameters s and z values among the parameters s and z values input from the system controller 32 to the coefficient generation unit 52. A time-change memory 64 is provided. The time-varying memory 64 is constituted by, for example, a non-volatile memory, and the stored contents are retained even when the television receiver 10 is turned off.
[0124]
The write operation to the time-change memory 64 is performed under the control of the system controller 32. As will be described later with reference to FIGS. 8 and 9, the user can adjust the values of parameters s and z on the adjustment screen. New parameters s and z are written. When the number of stored parameter s and z values exceeds a predetermined number as a result of this writing, the oldest parameter s and z values are deleted.
[0125]
Returning to FIG. 2, the configuration of the television receiver 10 will be described again.
[0126]
An OSD (On Screen Display) processing unit 35 generates a display signal SCH for displaying a character graphic on the screen of the display unit 37. The combining unit 36 combines the display signal SCH output from the OSD processing unit 35 with the HD signal output from the image signal processing unit 12 and supplies the combined signal to the display unit 37. The display unit 37 is configured by a flat panel display such as a CRT (cathode-ray tube) display or LCD (liquid crystal display), for example, and an image based on the HD signal output from the image signal processing unit 12 and, if necessary, The display signal SCH combined by the combining unit 36 is displayed.
[0127]
Further, a drive 38 is connected to the system controller 32 as necessary, and a removable medium 39 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately attached, and a computer program read from them is loaded. Installed in the system controller 32 as necessary.
[0128]
The operation of the television receiver 10 of FIG. 2 will be described.
[0129]
The system controller 32 controls the tuner 33 based on a user operation input using the remote controller 20. The tuner 33 performs channel selection processing, intermediate frequency amplification processing, detection processing, and the like on the broadcast signal received by the antenna 11 under the control of the system controller 32, and outputs the result to the buffer memory 34.
[0130]
The SD signal (525i signal) output from the tuner 33 is supplied to the buffer memory 34 and temporarily stored. The SD signal temporarily stored in the buffer memory 34 is supplied to the image signal processing unit 12 and converted into an HD signal (1050i signal) based on a control signal supplied from the system controller 32.
[0131]
That is, the image signal processing unit 12 obtains pixel data constituting the HD signal (hereinafter referred to as “HD pixel data”) from pixel data constituting the SD signal (hereinafter referred to as “SD pixel data”). Can do. The HD signal output from the image signal processing unit 12 is combined with a character graphic or the like by the display signal SCH output from the OSD processing unit 35 in the combining unit 36 as necessary, and supplied to the display unit 37. An image is displayed on the screen of the display unit 37.
[0132]
In addition, the user can adjust the spatial and temporal resolutions of the image displayed on the screen of the display unit 37 by operating the remote controller 20. In the image signal processing unit 12, HD pixel data is calculated by the estimation formula. As the coefficient data of this estimation formula, the resolution in the spatial direction and the time direction adjusted by the user's operation of the remote controller 20 is determined. Those corresponding to the parameters s and z are generated and used by a generation formula including these parameters s and z. Thereby, the resolution in the spatial direction and temporal direction of the image by the HD signal output from the image signal processing unit 12 corresponds to the adjusted parameters s and z.
[0133]
FIG. 8 shows an example of a user interface for adjusting the parameters s and z. At the time of adjustment, an adjustment screen 71 in which the adjustment positions of the parameters s and z are indicated by an asterisk icon 72 in the drawing is displayed on the display unit 37 as an OSD. The remote controller 20 includes a joystick 81 as user operation means.
[0134]
The user can move the position of the icon 72 on the adjustment screen 71 by operating the joystick 81, and can adjust the values of parameters s and z that determine the resolution in the spatial direction and the time direction.
[0135]
FIG. 9 shows an enlarged view of the adjustment screen 71 shown in FIG. The value of the parameter z for determining the resolution in the time direction (time resolution) is adjusted by moving the icon 72 to the left and right, while the parameter for determining the resolution in the space direction (spatial resolution) by moving the icon 72 up and down. The value of s is adjusted. The user can easily adjust the values of the parameters s and z with reference to the adjustment screen 71 displayed on the display unit 37.
[0136]
Note that the remote controller 20 may include other pointing devices such as a mouse and a trackball instead of the joystick 81. Furthermore, the values of the parameters s and z adjusted by the user may be displayed numerically on the adjustment screen 71.
[0137]
Next, the operation of the image signal processing unit 12 described with reference to FIG. 4 will be described.
[0138]
The second tap selection unit 42 receives the SD signal (525i signal) stored in the buffer memory 14 and receives four pixels (attention position) in the unit pixel block constituting the HD signal (1050i signal) to be generated. The space class tap data (SD pixel data) located around the pixel) is selectively extracted. The space class tap data (SD pixel data) selectively extracted by the second tap selection unit 42 is supplied to the space class detection unit 44. The space class detection unit 44 performs ADRC processing on each SD pixel data as space class tap data, and re-creates the space class (mainly class classification for waveform expression in space) as class information. A quantization code qi is obtained (see equation (1)).
[0139]
In addition, the third tap selection unit 43 receives the SD signal (525i signal) stored in the buffer memory 34, and receives four pixels (unit pixels in the unit pixel block constituting the HD signal (1050i signal) to be generated). Data of motion class taps (SD pixel data) located around the pixel at the target position) is selectively extracted. The motion class tap data (SD pixel data) selectively extracted by the third tap selection unit 43 is supplied to the motion class detection unit 45. The motion class detection unit 45 obtains class information MV of a motion class (mainly class classification for representing the degree of motion) from each SD pixel data as motion class tap data.
[0140]
The motion information MV and the requantization code qi are supplied to the class synthesis unit 46. For each unit pixel block constituting the HD signal (1050i signal) to be created from the supplied motion information MV and the requantization code qi, the class synthesis unit 46 includes four pixels (target pixel) in the unit pixel block. ) To obtain the class code CL indicating the class to which it belongs (see equation (3)). The class code CL is supplied to the coefficient memory 53 and the normalized coefficient memory 55 as read address information.
[0141]
For example, in each vertical blanking period, for each combination of class and output pixels (HD1 to HD4, HD1 ′ to HD4 ′) corresponding to the values of parameters s and z adjusted by the user in the coefficient generation unit 52. The coefficient data Wi (i = 1 to n) of the estimation formula is obtained using the coefficient seed data w10 to wn9 and stored in the coefficient memory 53 (see formula (5)). Also, the normalization coefficient S corresponding to the coefficient data Wi (i = 1 to n) of the estimation formula obtained by the coefficient generation unit 52 is generated by the normalization coefficient calculation unit 54 and stored in the normalization coefficient memory 55. (See equation (6)).
[0142]
By supplying the class code CL to the coefficient memory 53 as read address information, four output pixels corresponding to the class code CL from the coefficient memory 53 (HD1 to HD4 in the odd field, HD1 ′ to HD4 ′ in the even field). The coefficient data Wi of the estimation equation for minutes is read and supplied to the estimated prediction calculation unit 47. In addition, the first tap selection unit 41 receives the SD signal (525i signal) stored in the buffer memory 34, and receives four pixels (unit pixels) constituting the HD signal (1050i signal) to be created. Predictive tap data (SD pixel data) located around the pixel of interest position) is selectively extracted.
[0143]
The estimated prediction calculation unit 47 uses prediction tap data (SD pixel data) xi and coefficient data Wi for four output pixels read from the coefficient memory 53, and the 4 in the unit pixel block constituting the HD signal to be created. Data y1 to y4 of the pixels (pixels at the target position) are calculated (see Expression (4)). Then, the four-pixel data y1 to y4 in the unit pixel block constituting the HD signal sequentially output from the estimated prediction calculation unit 47 is supplied to the normalization calculation unit 48.
[0144]
As described above, the normalization coefficient memory 55 is supplied with the class code CL as read address information. From the normalization coefficient memory 55, the normalization coefficient S corresponding to the class code CL, that is, the estimated prediction calculation unit 47. The normalization coefficient S corresponding to the coefficient data Wi used for the calculation of the output HD pixel data y1 to y4 is read and supplied to the normalization calculation unit 48. The normalization calculation unit 48 normalizes the HD pixel data y1 to y4 output from the estimated prediction calculation unit 47 by dividing by the corresponding normalization coefficient S. Thereby, the level fluctuation of the data y1 to y4 due to the rounding error when the coefficient generation unit 52 obtains the coefficient data Wi is removed.
[0145]
As described above, the data y1 ′ to y4 ′ of the four pixels in the unit pixel block which are normalized and sequentially output by the normalization calculation unit 48 are supplied to the post-processing unit 49. The post-processing unit 49 line-sequentially converts the four-pixel data y1 ′ to y4 ′ in the unit pixel block sequentially supplied from the normalization calculation unit 48 and outputs the data in the format of 1050i signal. That is, the post-processing unit 49 outputs a 1050i signal as an HD signal.
[0146]
As described above, the image signal processing unit 12 calculates the HD pixel data y using the coefficient data Wi (i = 1 to n) of the estimation formula corresponding to the adjusted parameters s and z. is there. Therefore, the user can freely adjust the spatial and temporal resolutions of the HD signal image by adjusting the values of the parameters s and z. In addition, since the coefficient data of each class corresponding to the adjusted parameters s and z is generated and used by the coefficient generation unit 52 each time, a large amount of coefficient data is stored. Memory is not necessary, and memory saving can be achieved.
[0147]
Further, as described above, the user can adjust the values of the parameters s and z on the adjustment screen 71. The frequency distribution memory 61 (see FIG. 6) of the history information storage unit 50 stores the frequency distribution information of the parameters s and z values input from the system controller 32 to the coefficient generation unit 52. In addition, the time-varying memory 64 (see FIG. 6) of the history information storage unit 50 has a predetermined number, for example, 10 of the values of the parameters s and z input from the system controller 32 to the coefficient generation unit 52. The values of the latest parameters s and z are stored.
[0148]
As described above, the history information stored in the frequency distribution memory 61 and the time-dependent memory 64 of the history information storage unit 50 is stored in the information memory bank 51 in the case of version upgrade of the television receiver 10, for example. This is used when generating the coefficient seed data w10 to wn9.
[0149]
Next, an example of a method for generating the coefficient seed data w10 to wn9 will be described. In this example, an example is shown in which coefficient seed data w10 to wn9, which are coefficient data in the generation formula of the above-described formula (5), are obtained.
[0150]
Here, for the following description, ti (i = 0 to 9) is defined as in Expression (9).
[0151]
[Equation 9]

[0152]
Using this equation (9), equation (5) can be rewritten as the following equation (10).
[0153]
[Expression 10]

[0154]
Finally, the undetermined coefficient wij is obtained by learning. That is, for each combination of class and output pixel, a coefficient value that minimizes the square error is determined using a plurality of SD pixel data and HD pixel data. This is a so-called least square method. If the learning number is m, the residual in the kth (1 ≦ k ≦ m) learning data is ek, and the sum of the squared errors is E, E can be expressed using Equation (4) and Equation (5). ). Here, xik represents the kth pixel data at the i-th predicted tap position of the SD image, and yk represents the corresponding pixel data of the kth HD image.
[0155]
## EQU11 ##

[0156]
In the solution by the least square method, wij is obtained such that the partial differentiation by wij in equation (11) becomes zero. This is shown by the following formula (12).
[0157]
[Expression 12]

[0158]
Hereinafter, when Xipjq and Yip are defined as in Expression (13) and Expression (14), Expression (12) is rewritten using a matrix as in Expression (15).
[0159]
[Formula 13]

[0160]
[Expression 14]

[0161]
[Expression 15]

[0162]
This equation is generally referred to as a normal equation. The normal equation is solved for wij by using a sweeping method (Gauss-Jordan elimination method) or the like, and coefficient seed data is calculated.
[0163]
FIG. 10 is a diagram illustrating a concept of an example of the above-described coefficient seed data generation method.
[0164]
A plurality of SD signals are generated from the HD signal. For example, the parameters s and z for varying the spatial direction (vertical and horizontal) band and time (frame direction) band of the filter used when generating the SD signal from the HD signal are each in nine stages. By making it variable, a total of 81 types of SD signals are generated. Learning is performed between the plurality of SD signals and HD signals generated in this way, and coefficient seed data is generated.
[0165]
FIG. 11 is a block diagram showing a configuration of the remote controller 20 of FIG. 1 corresponding to the television receiver 10 described above.
[0166]
The remote controller 20 includes a joystick 81, a button group, and the like in FIG. 8, and includes a microcontroller including an input unit 91 that receives user input, a CPU, a RAM, and a ROM, and controls a system operation for controlling the entire system. 92 and a communication unit 93 that performs wireless communication with the television receiver 10.
[0167]
The input unit 91 receives an operation by the user and supplies the operation content (user input) to the system controller 92. The system controller 92 is connected to an input unit 91 and a communication unit 93, and controls each unit of the remote controller 20 based on a user input supplied from the input unit 91. For example, the system controller 92 supplies a control signal for controlling the operation of the television receiver 10 to the communication unit 93 based on the user input supplied from the input unit 91, and the television receiver via the communication unit 93. 10 is supplied.
[0168]
The communication unit 93 is controlled by the system controller 92 and performs wireless communication with the television receiver 10 by a predetermined communication method determined in advance, and supplies a control signal and data to the television receiver 10 or receives a television signal. The parameter etc. output from the apparatus 10 are acquired.
[0169]
The system controller 92 is also connected with a coefficient seed data generation unit 21. The coefficient seed data generation unit 21 generates coefficient seed data based on the parameters supplied from the system controller 92 and supplies the coefficient seed data to the system controller 92. The detailed configuration of the coefficient seed data generation unit 21 will be described later.
[0170]
Further, the system controller 92 is connected to a storage unit 94 composed of storage elements such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), or EEPROM (Electronically Erasable and Programmable Read Only Memory). Yes.
[0171]
The system controller 92 supplies parameters and the like obtained from the communication unit 93 to the coefficient seed data generation unit 21 to generate coefficient seed data. When the generated coefficient seed data is acquired, the system controller 92 supplies and stores the generated coefficient seed data. . The storage unit 94 is controlled by the system controller 92, the coefficient seed data generated in the coefficient seed data generation unit 21, the user input input via the input unit 91, and the teacher image used in the coefficient seed data generation unit 21. Various information such as HD image data as data, a program executed by the system controller 92, and data necessary for executing the program are stored.
[0172]
In addition, a drive 95 is connected to the system controller 92 of the remote controller 20 as necessary, and a removable medium 96 including a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted and read from them. The computer program thus installed is installed in the system controller 92 as necessary. In addition, the removable media 96 stores HD image data as teacher image data used in the coefficient seed data generation unit 21 and data such as information relating to filters to be described later. The information is acquired and stored in the storage unit 94 or supplied to the coefficient seed data generation unit 21.
[0173]
FIG. 12 is a block diagram illustrating a detailed configuration example of the coefficient seed data generation unit 21 in FIG. 11.
[0174]
The input terminal 101 receives an HD signal (1050i signal) as a teacher signal. The HD signal is stored in the storage unit 94 of FIG. 11 and the like, and is supplied to the coefficient seed data generation unit 21 by the system controller 92. The SD signal generation unit 103 performs horizontal and vertical thinning processing on the HD signal using the history information input from the input terminal 102 and the values of the parameters s and z to obtain a student signal. Get the SD signal.
[0175]
The SD signal generation unit 103 changes the band in the spatial direction and the time direction of the band limiting filter used when generating the SD signal from the HD signal based on the parameters s and z input from the input terminal 102. .
[0176]
Further, the history information input to the SD signal generation unit 103 is the input parameters s and z stored in the frequency distribution memory 61 and the time-change memory 64 of the history information storage unit 50 of the television receiver 10. Is history information of the value of. Note that these parameters and history information are supplied to the remote controller 20 by wireless communication performed between the communication unit 32 of the television receiver 10 and the communication unit 93 of the remote controller 20, and via the system controller 92. , And supplied to the SD signal generation unit 103 of the coefficient seed data generation unit 21. Further, the system controller 92 may temporarily store the parameters and history information supplied from the television receiver 10 in the storage unit 94.
[0177]
Note that when generating the coefficient seed data w10 to wn9 stored in the information memory bank 51 of the television receiver 10 before the start of use, the frequency distribution memory 61 and the temporal change memory 64 of the history information storage unit 50 are still used. Since no history information is stored, no history information is input to the SD signal generation unit 103.
[0178]
In other words, the history information is input to the SD signal generation unit 103 when, for example, the coefficient seed data w10 to wn9 stored in the information memory bank 51 is generated when the television receiver 10 is upgraded. Etc.
[0179]
Here, the input terminal 102 may be connected to the history information storage unit 50 of the image signal processing unit 12 described with reference to FIG. 4 and a connection terminal capable of transferring information. That is, the terminal 121 and the terminal 122 of the input terminal 102 are connected to the system controller 92, and can receive history information and exchange information.
[0180]
The SD signal generation unit 103 adjusts the values of the input parameters s and z based on the history information, and the bandwidths in the spatial direction and the time direction are adjusted according to the adjusted parameters s and z. Variable. When no history information is input, the bandwidth in the spatial direction and the time direction are varied according to the input parameters s and z values themselves.
[0181]
FIG. 13 is a block diagram illustrating a more detailed configuration example of the SD signal generation unit 103 in FIG.
[0182]
In FIG. 13, the SD signal generation unit 103 includes a plurality of down filters 130-having a vertical thinning filter 131 that thins out pixel data from the HD signal in the vertical direction and a horizontal thinning filter 132 that thins out pixel data from the HD signal in the horizontal direction. 1 to 130-n, and a selection circuit 133 that selects an SD signal to be output from a plurality of SD signals that are output signals of the down filters 130-1 to 130-n.
[0183]
The cut-off frequencies (f1 to fn) of the down filters 130-1 to 130-n are predetermined frequencies and are different from one another among the filters. That is, the vertical decimation filters 131-1 to 131-n included in the down filters 130-1 to 130-n have different cut-off frequencies and output signals in different bands. Similarly, the horizontal decimation filters 132-1 to 132-n included in the down filters 130-1 to 130-n have mutually different cut-off frequencies and output signals of different bands.
[0184]
The cut-off frequency (f1 to fn) of the down filters 130-1 to 130-n (that is, the vertical thinning filters 131-1 to 131-n and the horizontal thinning filters 132-1 to 132-n) is set. Is stored in a storage area such as a RAM (not shown) and can be updated.
[0185]
In this case, the setting information regarding the new cutoff frequency is supplied to the SD signal generation unit 103 of the coefficient seed data generation unit 21 via the system controller 92 from the removable medium 96 attached to the drive 95 in FIG. Alternatively, it may be received by the input unit 91 as a user input and supplied to the SD signal generation unit 103 of the coefficient seed data generation unit 21 via the system controller 92 or may be received by television. It may be acquired from the apparatus 10 via the communication unit 93 and supplied to the SD signal generation unit 103 of the coefficient seed data generation unit 21 via the system controller 92. As described above, the setting information regarding the new cutoff frequency supplied to the SD signal generation unit 103 is supplied to and set in each corresponding filter.
[0186]
The selection circuit 133 in FIG. 13 generates SD signals generated by passing through the down filters 130-1 to 130-n based on parameters s and z supplied from the system controller 92, history information, and the like. Select the SD signal to be output. The selection circuit 133 adjusts the values of the input parameters s and z based on the history information, and selects the SD signal to be output according to the adjusted parameters s and z. When no history information is input, the SD signal to be output is selected according to the input parameters s and z itself.
[0187]
Note that the SD signal generation unit 103 adjusts not only the spatial direction but also the time direction resolution by using the down filters 130-1 to 130-n and the selection circuit 133.
[0188]
Here, in the television receiver 10, the values of the parameters s and z are adjusted by a user operation in predetermined steps within a range of 0 to 8, for example, and the resolutions in the spatial direction and the temporal direction are adjusted. Was done.
[0189]
In this case, when the bandwidths in the spatial direction and the time direction are varied according to the parameters s and z values input in the SD signal generation unit 103, the television receiver 10 uses a solid line frame BF in FIG. The coefficient seed data w10 to wn9 are generated so that the resolution can be adjusted within the range shown (the spatial resolution is y1 to y2 and the temporal resolution is x1 to x2).
[0190]
When history information is input, the SD signal generation unit 103 uses the frequency distribution information for each of the values of the parameters s and z to obtain the position of the center of gravity. In this case, a larger value is weighted as a new value among values corresponding to a predetermined number of latest parameters s and z. Then, the SD signal generation unit 103 adjusts the input parameters s and z based on the position of the center of gravity. In this case, the band is narrowed as the values of the parameters s and z are increased. Thereby, in the television receiver 10 that has obtained the adjusted parameters, the resolution is increased as the values of the parameters s and z are increased.
[0191]
Here, the input parameters s and z are linearly set so that the center of the change range of the values of parameters s and z adjusted on the television receiver 10 side is moved to the obtained center of gravity position. It is supposed to be converted. For example, the center value of the change range of the parameter s and the value of the parameter s adjusted on the television receiver 10 side is s 0, z 0, the obtained barycentric position is sm, z m, and the input parameters s and z are the values. When s1 and z1, the adjusted parameter s and the z values s2 and z2 are obtained by the following conversion equations.
[0192]
[Expression 16]

[0193]
[Expression 17]

[0194]
When the spatial and temporal bands are varied according to the parameters s and z thus adjusted, the television receiver 10 adjusts the resolution within the range indicated by the solid line frame BF in FIG. The range of resolution (spatial resolution is y1 'to y2', temporal resolution is x1 'to x2') centered on the position of the center of gravity of the position (illustrated by "x" mark) is shown in FIG. Coefficient seed data w10 to wn9 are generated so that adjustment can be performed.
[0195]
In the above-described processing, when the barycentric position is obtained using the frequency distribution information in each of the parameters s and z, among the values corresponding to the predetermined number of the latest parameters s and z, The new value is weighted more heavily, but the center of gravity position obtained without such weighting may be used. Further, instead of using the frequency distribution information, a predetermined number of the latest parameters s and z may be used, and the centroid position obtained by weighting the new value with greater weight may be used. Furthermore, the parameter s and z having the largest frequency may be obtained from the frequency distribution information in each of the parameters s and z, and the values may be used instead of the barycentric position. Of the predetermined number of latest parameters s and z, the newest parameters s and z may be used instead of the barycentric position.
[0196]
Returning to FIG. 12, the configuration of the coefficient seed data generation unit 21 will be described again.
[0197]
The first tap selection unit 104, the second tap selection unit 105, and the third tap selection unit 106 use an HD signal (1050i signal) from an SD signal (525i signal) output from the SD signal generation unit 103. Data of a plurality of SD pixels located around the target position is selectively extracted and output. The first tap selection unit 104 to the third tap selection unit 106 are basically the same as the first tap selection unit 41 to the third tap selection unit 43 of the image signal processing unit 12 described with reference to FIG. It is configured in the same way.
[0198]
The space class detection unit 107 detects the level distribution pattern of the space class tap data (SD pixel data) selectively extracted by the second tap selection unit 105, and detects the space class based on the level distribution pattern. And output the class information. The space class detection unit 107 is basically configured in the same manner as the space class detection unit 44 of the image signal processing unit 12 described with reference to FIG. From this space class detection unit 107, the requantization code qi of each SD pixel data as space class tap data is output as class information indicating the space class.
[0199]
The motion class detection unit 108 detects a motion class mainly representing the degree of motion from the motion class tap data (SD pixel data) selectively extracted by the third tap selection unit 106, and the class Output information MV. The motion class detection unit 108 is basically configured in the same manner as the motion class detection unit 45 of the image signal processing unit 12 described with reference to FIG. In this motion class detection unit 108, the inter-frame difference is calculated from the motion class tap data (SD pixel data) selectively extracted by the third tap selection unit 106, and the average value of the absolute value of the difference is further calculated. Is subjected to threshold processing, and a motion class as a motion index is detected.
[0200]
Based on the re-quantization code qi as the class information of the space class output from the space class detection unit 107 and the class information MV of the motion class output from the motion class detection unit 108, the class synthesis unit 109 A class code CL indicating the class to which the target pixel relating to (1050i signal) belongs is obtained. The class combining unit 109 is basically configured in the same manner as the class combining unit 46 of the image signal processing unit 12 described with reference to FIG.
[0201]
The normal equation generation unit 110 corresponds to each HD pixel data y as pixel data of the target position obtained from the HD signal supplied to the input terminal 101, and the first tap selection unit 104 corresponding to each HD pixel data y. From the prediction tap data (SD pixel data) xi, parameters s and z, and the class code CL output from the class synthesis unit 109 corresponding to each HD pixel data y. For each class, a normal equation (see equation (15)) for obtaining coefficient seed data w10 to wn9 is generated.
[0202]
In this case, learning data is generated by a combination of one HD pixel data y and n prediction tap data (SD pixel data) xi corresponding thereto, but the adjusted parameters s and z In response to the change in the value, the spatial and temporal bandwidths in the SD signal generator 143 are varied, and a plurality of SD signals are sequentially generated, and each of the learning data is transferred between the HD signal and each SD signal. Generation occurs. As a result, the normal equation generation unit 110 generates a normal equation in which many learning data having different values of the parameters s and z are registered, and the coefficient seed data w10 to wn9 can be obtained.
[0203]
Further, in this case, learning data is generated by a combination of one HD pixel data y and n prediction tap data (SD pixel data) xi corresponding to the HD pixel data y. For each (see HD1 to HD4 in FIG. 4 and HD1 ′ to HD4 ′ in FIG. 5), a normal equation is generated. For example, a normal equation corresponding to HD1 is generated from learning data composed of HD pixel data y in which the deviation value with respect to the center prediction tap has the same relationship as HD1.
[0204]
The coefficient seed data determination unit 111 is supplied with normal equation data generated for each combination of class and output pixel by the normal equation generation unit 110, solves the normal equation, and for each combination of class and output pixel, The coefficient seed data w10 to wn9 are obtained. The coefficient seed data determination unit 111 obtains coefficient seed data by solving a normal equation by, for example, a sweeping method. The coefficient seed memory 112 stores the coefficient seed data obtained by the coefficient seed data determining unit 111. The input / output interface 113 is connected to other devices (for example, the information memory bank 51 of the image signal processing unit 12 described with reference to FIG. 4) as necessary, and is stored in the coefficient seed memory 112. Output data.
[0205]
Next, the operation of the remote controller 20 shown in FIG. 11 will be described.
[0206]
When the user operates the input unit 91 to instruct parameter change, the system controller 92 sends a control signal for instructing start of parameter change processing to the communication unit 93 based on the user input acquired from the input unit 91. To the television receiver 10.
[0207]
Based on the control signal, the television receiver 10 causes the display unit 37 to display a GUI (Graphical User Interface) screen for changing parameters. The user operates the input unit 91 of the remote controller 20 while referring to the GUI screen, and inputs parameter settings.
[0208]
Based on the user input supplied from the input unit 91, the system controller 92 supplies a control signal instructing parameter setting to the television receiver 10 via the communication unit 93.
[0209]
When the television receiver 10 sets parameters based on the control signal, the television receiver 10 supplies the parameters and history information to the remote controller 20. The system controller 92 that has acquired the information via the communication unit 93 supplies the acquired information to the coefficient seed data generation unit 21 and uses the HD signal as teacher image data stored in the storage unit 94 as a coefficient. This is supplied to the seed data generation unit 21.
[0210]
The coefficient seed data generation unit 21 generates coefficient seed data w10 to wn9 based on the information related to the parameters supplied from the system controller 92 and the HD signal, and supplies the coefficient seed data w10 to wn9 to the system controller 92. The system controller 92 supplies the acquired coefficient seed data w10 to wn9 to the television receiver 10 via the communication unit 93.
[0211]
Next, the operation of the coefficient seed data generation unit 21 shown in FIG. 12 will be described.
[0212]
An HD signal (1050i signal) as a teacher signal is supplied to the input terminal 101, and the HD signal is subjected to horizontal and vertical thinning processing by the SD signal generation unit 143 to obtain a student signal. An SD signal (525i signal) is generated.
[0213]
In this case, the SD signal generation unit 103 has parameters for determining the spatial direction and time direction band of the band limiting filter used when generating the SD signal from the HD signal, in other words, the spatial direction of the generated SD signal. The values of parameters s and z that define the resolution in the time direction are input.
[0214]
In addition, the SD signal generation unit 103 generates a television receiver when generating the coefficient seed data w10 to wn9 stored in the information memory bank 51, for example, when the television receiver 10 is upgraded. The history information of the parameters s and z supplied from 10 is input via the input terminal 102.
[0215]
In the SD signal generation unit 103, when history information is input, the values of the parameters s and z input based on the history information are adjusted. For example, the barycentric positions of the parameters s and z are obtained from the history information, and the center of the change range of the values of the parameters s and z adjusted on the television receiver 10 side is moved to the obtained barycentric position. The input parameters s and z are linearly transformed. Then, in the SD signal generation unit 103, according to the adjusted values of the parameters s and z, as described above, the spatial direction and time direction of the band limiting filter used when generating the SD signal from the HD signal The bandwidth is varied.
[0216]
In addition, when generating the coefficient seed data w10 to wn9 stored in the information memory bank 51 of the television receiver 10 before the start of use, since no history information is input, the input parameters s and z Depending on the value itself, the band in the spatial direction and the time direction of the band limiting filter used when generating the SD signal from the HD signal as described above is varied.
[0217]
By sequentially changing the values of parameters s and z input to the SD signal generation unit 103, the spatial and temporal bands of the band limiting filter used when generating the SD signal from the HD signal are changed. Therefore, a plurality of SD signals in which the spatial and temporal bands are changed stepwise are generated.
[0218]
In addition, from the SD signal (525i signal) generated by the SD signal generation unit 103, the second tap selection unit 105 uses the spatial class tap data (SD pixel) located around the position of interest in the HD signal (1050i signal). Data) is selectively retrieved. The space class tap data (SD pixel data) selectively extracted by the second tap selection unit 105 is supplied to the space class detection unit 107. In the space class detection unit 107, each SD pixel data as space class tap data is subjected to ADRC processing, and re-used as class information of a space class (mainly class classification for waveform expression in space). A quantization code qi is obtained (see equation (1)).
[0219]
Further, from the SD signal generated by the SD signal generation unit 103, the third tap selection unit 106 selectively extracts data of motion class taps (SD pixel data) located around the target pixel related to the HD signal. It is. The motion class tap data (SD pixel data) selectively extracted by the third tap selection unit 106 is supplied to the motion class detection unit 108. In this motion class detection unit 108, class information MV of a motion class (mainly class classification for representing the degree of motion) is obtained from each SD pixel data as motion class tap data.
[0220]
The class information MV and the requantization code qi are supplied to the class synthesis unit 109. The class synthesis unit 109 obtains a class code CL indicating the class to which the pixel data at the target position in the HD signal (1050i signal) belongs, from the supplied class information MV and the requantization code qi (see Expression (3)). .
[0221]
Also, from the SD signal generated by the SD signal generation unit 103, the first tap selection unit 104 selectively extracts data of predicted taps (SD pixel data) located around the target position in the HD signal.
[0222]
Then, in the normal equation generation unit 110, each HD pixel data y as pixel data of the target position obtained from the HD signal supplied to the input terminal 101, and the first tap corresponding to each HD pixel data y, respectively. Predictive tap data (SD pixel data) xi selectively extracted by the selection unit 104, the values of parameters s and z, and classes output from the class synthesis unit 109 corresponding to the respective HD pixel data y From the code CL, a normal equation (see Expression (15)) for obtaining coefficient seed data w10 to wn9 is individually generated for each combination of class and output pixel.
[0223]
The coefficient seed data determination unit 111 solves each normal equation to obtain coefficient seed data w10 to wn9 for each combination of class and output pixel. These coefficient seed data w10 to wn9 are stored in the coefficient seed memory 112. The data is output to the outside via the input / output interface 113 as necessary.
[0224]
As described above, in the coefficient seed data generation unit 21 shown in FIG. 12, the classes and output pixels (HD1 to HD4, HD1 ′ to HD4 ′) stored in the information memory bank 51 of the image signal processing unit 12 of FIG. ), The coefficient seed data w10 to wn9 that are coefficient data in the generation formula (see Formula (5)) for obtaining the coefficient data Wi used in the estimation formula can be generated.
[0225]
Further, in the coefficient seed data generation unit 21, for example, when the television receiver 10 is upgraded, when generating the coefficient seed data w10 to wn9 stored in the information memory bank 51, input is performed. The parameter s input in the past by a user operation stored in the frequency distribution memory 61 and the time-varying memory 64 of the history information storage unit 50 of the television receiver 10 in the SD signal generation unit 143 via the terminal 102. , And z history information is input.
[0226]
The SD signal generation unit 103 adjusts the values of the input parameters s and z based on the history information, and is used when an SD signal is obtained from the HD signal using the adjusted parameters s and z. The band in the spatial direction and time direction of the band limiting filter is varied.
[0227]
The coefficient seed data w10 to wn9 obtained in this way is supplied to the television receiver 10 and stored in the information memory bank 51, so that the user can adjust the values of the parameters s and z. The resolution can be adjusted within a range centered on the center of gravity of the past resolution adjustment (see the one-dot chain line AF in FIG. 14). That is, a resolution adjustment range according to the user's preference is automatically set, and the user can adjust the resolution within the range.
[0228]
Next, coefficient type data update processing performed when the television receiver 10 is upgraded by the image information processing system of FIG. 1 will be described with reference to the flowchart of FIG.
[0229]
When the user operates the input unit 91 of the remote controller 20 to instruct the start of the setting of coefficient seed data, the system controller 92 of the remote controller 20 transmits a control signal to the television via the communication unit 93 in step S21. To the John receiving apparatus 10 to start setting processing of the parameters s and z.
[0230]
The communication unit 31 of the television receiver 10 receives the control signal transmitted from the remote controller 20 and supplies it to the system controller 32 in step S1.
[0231]
The system controller 32 starts setting processing of the parameters s and z based on the acquired control signal, and controls the display unit 37 to display the GUI screen on the display unit 37 in step S2.
[0232]
A user who has viewed the GUI screen displayed on the display unit 37 of the television receiver 10 operates the input unit 91 of the remote controller 20 based on the GUI screen and determines information for determining the values of the parameters s and z. Enter.
[0233]
When the system controller 92 of the remote controller 20 acquires the information via the input unit 91, in step S22, the system controller 92 performs a transfer process of transferring the information to the television receiving device 10 via the communication unit 93.
[0234]
The communication part 31 of the television receiver 10 will supply the information to the system controller 32, if the information is received in step S3. In step S4, the system controller 32 determines whether or not a user instruction (information for determining values of parameters s and z supplied from the remote controller 20) has been received via the communication unit 31; Wait until it is determined that it has been accepted.
[0235]
If it is determined in step S4 that the user's instruction has been received, the system controller 32 of the television receiving apparatus 10 provides the image signal processing unit 12 with information for determining the values of the acquired parameters s and z in step S5. The parameters necessary for generating the coefficient seed data (that is, the above-described parameters s and z, or history information) are generated by supplying the parameters, and the parameters are remotely transmitted via the communication unit 31 in step S6. Supply to the controller 20.
[0236]
In step S <b> 23, the system controller 92 of the remote controller 20 acquires the parameters (that is, the parameters s and z described above or history information) supplied from the television receiver 10 and supplies them to the coefficient seed data generation unit 21. . In addition, the system controller 92 supplies HD coefficient data, which is a teacher image stored in advance in the storage unit 94, to the coefficient seed data generation unit 21.
[0237]
In step S24, the coefficient seed data generation unit 21 that has acquired the parameter performs coefficient seed data generation processing to generate coefficient seed data. Details of the coefficient seed data generation processing will be described later with reference to the flowchart of FIG.
[0238]
The coefficient seed data generation unit 21 that has generated the coefficient seed data supplies the generated coefficient seed data to the system controller 92. In step S25, the system controller 92 supplies the coefficient seed data supplied from the coefficient seed data generation unit 21 to the television receiver 10 via the communication unit 93, and ends the coefficient seed data update process.
[0239]
In step S <b> 7, the communication unit 31 of the television receiver 10 acquires the coefficient seed data supplied from the remote controller 20 and supplies it to the system controller 32. In step S <b> 8, the system controller 32 supplies the coefficient seed data acquired via the communication unit 31 to the image signal processing unit 12 and stores the coefficient seed data in the information memory bank 51, thereby holding the coefficient seed data. The system controller 32 that has supplied the coefficient seed data to the image signal processing unit 12 ends the coefficient seed data update process.
[0240]
Next, details of the coefficient seed data generation processing by the coefficient seed data generation unit 21 of the remote controller 20 executed in step S24 of FIG. 15 will be described with reference to the flowchart of FIG.
[0241]
In step S41, the coefficient seed data generation unit 21 acquires history information from the input terminal 121 or parameters s and z from the input terminal 102, and an image quality pattern (for example, parameter) used for learning in the SD signal generation unit 103. (specified by s and z) and the selected image quality pattern is adjusted based on the history information.
[0242]
In step S42, the coefficient seed data generation unit 21 determines whether learning has been completed for all image quality patterns.
[0243]
If it is determined in step S42 that learning has not been completed for all image quality patterns, in step S43, the coefficient seed data generation unit 21 converts known HD pixel data from the input terminal 101 into frame units or fields. Get in units.
[0244]
In step S44, the coefficient seed data generation unit 21 determines whether the processing has been completed for all the HD pixel data. If it is determined in step S44 that the process has been completed for all HD pixel data, the process returns to step S41, and the same process is repeated.
[0245]
If it is determined in step S44 that the processing has not been completed for all the HD pixel data, in step S45, the SD signal generation unit 103 of the coefficient seed data generation unit 21 uses the HD pixel data acquired in step S43. SD pixel data is generated based on the image quality pattern adjusted in step S41.
[0246]
The coefficient seed data generation unit 21 advances the processing to step S46, and the first pixel selection unit 104, the second tap selection unit 105, and the third tap selection unit 106 generate the SD pixel data generated in step S45. Thus, the pixel data of the class tap and the prediction tap are acquired corresponding to each HD pixel data acquired in step S43.
[0247]
In step S <b> 47, the coefficient seed data generation unit 21 determines whether the learning process has been completed in the entire region of the generated SD pixel data. If it is determined in step S47 that the learning process has ended, the process returns to step S43, the next HD pixel data is acquired, and the same process is repeated.
[0248]
If it is determined in step S47 that the learning process has not ended, the class synthesis unit 109 of the coefficient seed data generation unit 21 determines in step S48 the class code CL from the SD pixel data of the class tap acquired in step S46. Is generated. In step S49, the normal equation generation unit 110 of the coefficient seed data generation unit 21 generates a normal equation (see equation (15)). When the process of step S49 is completed, the coefficient seed data generation unit 21 returns the process to step S46 and repeats the subsequent processes.
[0249]
When it is determined in step S42 that learning has been completed for all image quality patterns, the coefficient seed data determination unit 111 of the coefficient seed data generation unit 21 solves the normal equation by a sweeping method or the like in step S50. Coefficient seed data for each combination of class and output pixel (see HD1 to HD4 in FIG. 4 and HD1 ′ to HD4 ′ in FIG. 5) is calculated. In step S51, the coefficient seed memory 112 of the coefficient seed data generation unit 21 stores the coefficient seed data. When the process of step S51 ends, the coefficient seed data generation unit 21 ends the coefficient seed data generation process, and the process proceeds to step S25 of FIG.
[0250]
Using the updated coefficient seed data as described with reference to the flowcharts of FIGS. 15 and 16, the image signal processing unit 12 of the television receiver 10 performs image processing on the input SD signal. .
[0251]
With reference to the flowchart of FIG. 17, the image signal processing for obtaining the HD signal from the SD signal by the image signal processing unit 12 will be described.
[0252]
In step S71, the image signal processing unit 12 acquires SD pixel data in frame units or field units.
[0253]
In step S72, the image signal processing unit 12 determines whether or not processing of all frames or all fields of input SD pixel data has been completed. If it is determined in step S72 that the processing has not ended, in step S73, the image signal processing unit 12 uses, for example, the image quality designation values (for example, parameters s and z) input by the user's operation of the remote controller 20. get.
[0254]
In step S74, the image signal processing unit 12 uses, for example, the history information stored in the frequency distribution memory 91, the time-varying memory 94, etc. in the history information storage unit 50 as the new image quality designation value acquired in step S73. Use to update.
[0255]
In step S75, the coefficient generation unit 52 of the image signal processing unit 12 reads the coefficient type of each combination of the read image quality designation value, class, and output pixel (see HD1 to HD4 in FIG. 4 and HD1 ′ to HD4 ′ in FIG. 5). Using the data, for example, coefficient data Wi of the estimation formula (see formula (4)) of each combination is generated by the generation formula of formula (5).
[0256]
In step S76, the image signal processing unit 12 acquires pixel data of class taps and prediction taps corresponding to each HD pixel data to be generated from the SD pixel data acquired in step S71.
[0257]
In step S77, the image signal processing unit 12 determines whether or not the processing for obtaining HD pixel data has been completed in the entire area of the acquired SD pixel data. If it is determined in step S77 that the processing has been completed in the entire area of the acquired SD pixel data, the processing returns to step S71, and the same processing is repeated, whereby the SD of the next frame or field is repeated. Processing on the pixel data is executed.
[0258]
If it is determined in step S77 that the processing has not been completed in the entire area of the acquired SD pixel data, in step S78, the class combining unit 46 of the image signal processing unit 12 acquires the class tap acquired in step S76. Class code CL is generated from the SD pixel data.
[0259]
In step S79, the image signal processing unit 12 uses the coefficient data Wi corresponding to the class code CL and the SD pixel data of the prediction tap to generate HD pixel data using an estimation formula. After the process of step S79 ends, the process returns to step S76, and the same process as described above is repeated.
[0260]
If it is determined in step S72 that all the frames or all the fields have been processed, the processing ends.
[0261]
As described above, when the image signal processing unit 12 performs image processing using the updated coefficient seed data, the television receiving device 10 can generate HD image data that suits the user's preference.
[0262]
Note that the SD signal generation unit 103 of the coefficient seed data generation unit 21 illustrated in FIG. 12 has been described as having the configuration illustrated in FIG. 13, but is not limited thereto, for example, as illustrated in FIG. 18. A simple block configuration may be used.
[0263]
18, the SD signal generation unit 140 performs the same processing as the SD signal generation unit 103 described with reference to FIG. 13, and generates SD image data as student images from HD image data as teacher images.
[0264]
The SD signal generation unit 140 includes the same down filters 130-1 to 130-n as in the case of the SD signal generation unit 103, and further switches for switching input / output connections of the down filters 130-1 to 130-n. (SW) 141 and 142, and a class classification unit 143 that performs class classification processing on the input HD signal.
[0265]
The class classification unit 143 classifies the HD signal input to the SD signal generation unit 140 into several classes and outputs the classification result. The switches (SW) 141 and 142 select which of the down filters 130-1 to 130-n having different pass bands from each other based on the output of the class classification unit 143, and the selected down filter. The input terminal is connected to the input terminal of the SD signal generation unit 140, and the output terminal is connected to the output terminal of the SD signal generation unit 140. Accordingly, the SD signal generation unit 140 can generate an SD signal as a student image by an optimal down filter according to the signal characteristics of the HD signal as an input teacher image.
[0266]
Next, another example of the coefficient seed data generation method will be described. This example also shows a second example for obtaining coefficient seed data w10 to wn9 which are coefficient data in the generation formula of the above-described formula (5).
[0267]
FIG. 19 shows a concept of a second example of the coefficient seed data generation method. A plurality of SD signals are generated from the HD signal. For example, the parameters s and z for varying the spatial direction (vertical and horizontal) band and time (frame direction) band of the filter used when generating the SD signal from the HD signal can be varied in 9 stages. As a result, a total of 81 types of SD signals are generated. Learning is performed between each SD signal generated in this way and the HD signal, and coefficient data Wi of the estimation expression of Expression (4) is generated. Then, coefficient seed data is generated using the coefficient data Wi generated corresponding to each SD signal.
[0268]
First, how to obtain coefficient data of an estimation formula will be described. Here, an example is shown in which the coefficient data Wi (i = 1 to n) of the estimation formula of Formula (4) is obtained by the least square method. As a generalized example, consider the observation equations of equations (18) and (19), where X is input data, W is coefficient data, and Y is a predicted value. In this equation (19), m represents the number of learning data, and n represents the number of prediction taps.
[0269]
[Expression 18]

[0270]
[Equation 19]

[0271]
The least square method is applied to the data collected by the observation equations of Equation (18) and Equation (19). Consider the residual equation of equation (20) based on the observation equations of equation (18) and equation (19).
[0272]
[Expression 20]

[0273]
From the residual equation of Expression (20), the most probable value of each Wi is considered to be a case where the condition for minimizing e2 (the square of e) of Expression (21) is satisfied. That is, the condition of Expression (22) should be considered.
[0274]
[Expression 21]

[0275]
[Expression 22]

[0276]
In other words, n conditions based on i in the equation (22) are considered, and W1, W2,. Therefore, Expression (23) is obtained from the residual equation of Expression (20). Furthermore, Expression (24) is obtained from Expression (23) and Expression (18).
[0277]
[Expression 23]

[0278]
[Expression 24]

[0279]
And the normal equation of Formula (25) is obtained from Formula (20) and Formula (24).
[0280]
[Expression 25]

[0281]
Since the normal equation of the equation (25) can establish the same number of equations as the unknown number n, the most probable value of each Wi can be obtained. In this case, simultaneous equations are solved using a sweeping method or the like.
[0282]
Next, how to obtain coefficient seed data using coefficient data Wi generated corresponding to each SD signal will be described.
[0283]
It is assumed that coefficient data of a certain class obtained by learning using SD signals corresponding to the parameters s and z becomes kszi. Here, i is the number of the prediction tap. Coefficient seed data of this class is obtained from this kszi.
[0284]
The coefficient data Wi (i = 1 to n) is expressed by the above equation (5) using the coefficient seed data w10 to wn9. Here, considering that the least square method is used for the coefficient data Wi, the residual is expressed by Expression (26).
[0285]
[Equation 26]

[0286]
Here, tj is shown in the above equation (9). When the least square method is applied to equation (26), equation (27) is obtained.
[0287]
[Expression 27]

[0288]
Here, if Xjk and Yj are respectively defined as Expression (28) and Expression (29), Expression (27) can be rewritten as Expression (30). This equation (30) is also a normal equation, and the coefficient seed data w10 to wn9 can be calculated by solving this equation with a general solution such as a sweep-out method.
[0289]
[Expression 28]

[0290]
[Expression 29]

[0291]
[30]

[0292]
FIG. 20 shows a configuration of a coefficient seed data generation unit 151 that generates coefficient seed data based on the concept shown in FIG. 20, portions corresponding to those in FIG. 12 are denoted by the same reference numerals, and detailed description thereof is omitted as appropriate.
[0293]
That is, the coefficient seed data generation unit 151 in FIG. 20 includes a normal equation generation unit 161 instead of the normal equation generation unit 110, and a coefficient data determination unit 162 instead of the coefficient seed data determination unit 111. The configuration is basically the same as that of the coefficient seed data generation unit 21 described with reference to FIG. 12 except that a normal equation generation unit 163 and a coefficient seed data determination unit 164 are newly provided.
[0294]
The normal equation generation unit 161 includes each HD pixel data y as pixel data of the target position obtained from the HD signal supplied to the input terminal 101, and a first tap selection unit corresponding to each HD pixel data y. From the prediction tap data (SD pixel data) xi selectively extracted at 104 and the class code CL output from the class synthesis unit 109 corresponding to each HD pixel data y, the class and output pixels (FIG. 4 for each combination of HD1 to HD4 (see HD1 ′ to HD4 ′ in FIG. 5)), a normal equation (see equation (25)) for obtaining coefficient data Wi (i = 1 to n) is generated.
[0295]
In this case, learning data is generated by a combination of one HD pixel data y and n prediction tap data (SD pixel data) xi corresponding thereto, but the adjusted parameters s and z In response to the change, the spatial and temporal bands in the SD signal generation unit 103 are varied, and a plurality of SD signals are sequentially generated, and learning data is generated between the HD signal and each SD signal. Is called. As a result, the normal equation generation unit 161 generates a normal equation for obtaining coefficient data Wi (i = 1 to n) for each combination of class and output pixel corresponding to each SD signal.
[0296]
The coefficient data determination unit 162 is supplied with data of the normal equation generated by the normal equation generation unit 161, solves the normal equation, and coefficient data of each combination of class and output pixel corresponding to each SD signal. Find Wi. The normal equation generation unit 163 obtains coefficient seed data w10 to wn9 for each combination of class and output pixel using the values of parameters s and z and coefficient data Wi corresponding to each SD signal. A normal equation (see equation (28)) is generated.
[0297]
The coefficient seed data determining unit 164 receives supply of normal equation data generated for each combination of class and output pixel by the normal equation generating unit 163, solves the normal equation for each combination, and determines each class and output pixel. Combination coefficient seed data w10 to wn9 are obtained. The coefficient seed memory 152 stores the coefficient seed data w10 to wn9 obtained by the coefficient seed data determination unit 164.
[0298]
The other parts of the coefficient seed data generation unit 151 shown in FIG. 20 are configured in the same manner as the coefficient seed data generation part 21 shown in FIG. 12, and thus detailed description thereof is omitted.
[0299]
Next, the operation of the coefficient seed data generation device 151 shown in FIG. 20 will be described.
[0300]
An HD signal (1050i signal) as a teacher signal is supplied to the input terminal 101, and the SD signal generation unit 103 performs horizontal and vertical thinning processing on the HD signal, and SD as a student signal. A signal (525i signal) is generated.
[0301]
By sequentially changing the values of parameters s and z input to the SD signal generation unit 103, the spatial and temporal bands of the band limiting filter used when generating the SD signal from the HD signal are changed. Therefore, a plurality of SD signals in which the spatial and temporal bands are changed in stages are generated.
[0302]
In this case, when the history information is input, the SD signal generation unit 103 adjusts the values of the parameters s and z input based on the history information, and sets the adjusted parameters s and z to the adjusted values. Accordingly, as described above, the spatial band and the temporal band of the band limiting filter used when generating the SD signal from the HD signal are varied.
[0303]
In addition, from the SD signal (525i signal) generated by the SD signal generation unit 103, the second tap selection unit 105 uses the spatial class tap data (SD pixel) located around the position of interest in the HD signal (1050i signal). Data) is selectively retrieved. The space class tap data (SD pixel data) selectively extracted by the second tap selection unit 105 is supplied to the space class detection unit 107. In this space class detection unit 107, each SD pixel data as space class tap data is subjected to ADRC processing, and is used as class information of a space class (mainly class classification for waveform representation in space). A requantization code qi is obtained (see equation (1)).
[0304]
Further, from the SD signal generated by the SD signal generation unit 103, the third tap selection unit 106 selectively extracts data of motion class taps (SD pixel data) located around the target pixel related to the HD signal. It is. The motion class tap data (SD pixel data) selectively extracted by the third tap selection unit 106 is supplied to the motion class detection unit 108. In this motion class detection unit 108, class information MV of a motion class (mainly class classification for representing the degree of motion) is obtained from each SD pixel data as motion class tap data.
[0305]
The class information MV and the above-described requantization code qi are supplied to the class synthesis unit 109. The class synthesis unit 109 obtains a class code CL indicating the class to which the pixel data at the target position in the HD signal (1050i signal) belongs from the class information MV and the requantization code qi (see Expression (3)). .
[0306]
Further, from the SD signal generated by the SD signal generation unit 103, the first tap selection unit 144 selectively extracts data (SD pixel data) of predicted taps located around the target position in the HD signal.
[0307]
Then, in the normal equation generation unit 161, each HD pixel data y as pixel data of the target position obtained from the HD signal supplied to the input terminal 101, and the first tap corresponding to each HD pixel data y, respectively. From the prediction tap data (SD pixel data) xi selectively extracted by the selection unit 104 and the class code CL output from the class synthesis unit 109 corresponding to each HD pixel data y, an SD signal generation unit Corresponding to each SD signal generated in 103, a normal equation (see equation (25)) for generating coefficient data Wi (i = 1 to n) is generated for each combination of class and output pixel. The
[0308]
Then, the coefficient data determination unit 162 solves the normal equation and obtains coefficient data Wi for each combination of class and output pixel corresponding to each SD signal. In the normal equation generation unit 163, a normal equation (see equation (28)) for obtaining coefficient seed data w10 to wn9 for each combination of class and output pixel from the coefficient data Wi of each class corresponding to each SD signal. ) Is generated.
[0309]
Then, the coefficient equation data determining unit 164 solves the normal equation to obtain coefficient species data w10 to wn9 for each combination of class and output pixel, and the coefficient species data w10 to wn9 are stored in the coefficient species memory 112. .
[0310]
As described above, also in the coefficient seed data generation device 151 shown in FIG. 20, the classes and output pixels (HD1 to HD4, HD1 ′ to HD4 ′) stored in the information memory bank 51 of the image signal processing unit 12 of FIG. It is possible to generate coefficient seed data w10 to wn9 for each combination.
[0311]
Also in the coefficient seed data generation device 151, the SD signal generation unit 103 adjusts the values of the input parameters s and z based on the history information, and the adjusted parameters s and z The band in the spatial direction and the time direction of the band limiting filter used when obtaining the SD signal from the HD signal is variable. Accordingly, by storing the coefficient seed data w10 to wn9 thus obtained in the information memory bank 51 when the television receiver 1 is upgraded, the user can change the values of the parameters s and z. By the adjustment, it becomes possible to adjust the resolution within a range centering on the center of gravity position of the past resolution adjustment (see the one-dot chain line frame AF in FIG. 11).
[0312]
The coefficient seed data generation process by the coefficient seed data generation unit 151 described with reference to FIG. 20 will be described with reference to the flowchart of FIG.
[0313]
In step S91, the coefficient seed data generation unit 151 selects an image quality pattern (for example, an image quality pattern specified by the parameters s and z) used for learning, adjusts the image quality pattern based on the history information, In step S92, it is determined whether coefficient data calculation processing for all image quality patterns has been completed.
[0314]
If it is determined in step S92 that the coefficient data calculation process has not been completed, the coefficient seed data generation unit 151 acquires known HD pixel data from the input terminal 101 in frame units or field units in step S93. In step S94, it is determined whether or not the processing has been completed for all the HD pixel data.
[0315]
If it is determined in step S94 that the processing has not been completed for all HD pixel data, in step S95, the SD signal generation unit 103 of the coefficient seed data generation unit 151 uses the HD pixel data acquired in step S93. The SD pixel data is generated based on the image quality pattern adjusted in step S91.
[0316]
In step S96, the coefficient seed data generation unit 151 acquires pixel data of the class tap and the prediction tap corresponding to each HD pixel data acquired in step S593 from the SD pixel data generated in step S95. In step S97, it is determined whether or not the learning process has been completed in all regions of the generated SD pixel data. If it is determined in step S97 that the learning process has been completed, the process returns to step S93, the next HD pixel data is acquired, and the same process as described above is repeated.
[0317]
If it is determined in step S97 that the learning process has not ended, the coefficient seed data generation unit 151 generates a class code CL from the SD pixel data of the class tap acquired in step S96 in step S98. In step S99, a normal equation (see equation (25)) for obtaining coefficient data is generated. After the process of step S99 is completed, the process returns to step S96, and the subsequent processes are repeated.
[0318]
If it is determined in step S94 that the processing has been completed for all the HD pixel data, in step S100, the coefficient seed data generation unit 151 solves the normal equation generated in step S99 by a sweeping method or the like, and class And coefficient data of each combination of output pixels (see HD1 to HD4 in FIG. 4 and HD1 ′ to HD4 ′ in FIG. 5), and the process returns to step S91 to select and adjust the next image quality pattern. Then, the same processing as described above is repeated to obtain coefficient data of each combination corresponding to the next image quality pattern.
[0319]
When it is determined in step S92 that the coefficient data calculation processing for all image quality patterns has been completed, in step S101, the coefficient seed data generation unit 151 obtains coefficient seed data from coefficient data for all image quality patterns. A normal equation (see equation (28)) is generated.
[0320]
In step S102, the coefficient seed data generation unit 151 calculates coefficient seed data for each combination of class and output pixel by solving the normal equation generated in step S101 by a sweeping method or the like. In step S103, the coefficient seed data generation unit 151 calculates the coefficient seed data. The coefficient seed data is stored in the coefficient seed memory 112, and the process ends.
[0321]
The coefficient seed data can be obtained in the coefficient seed data generation unit 151 described with reference to the block diagram of FIG. 20 by the processing described with reference to the flowchart of FIG.
[0322]
As described above, in the image information processing system shown in FIG. 1, the remote controller 20 generates coefficient seed data necessary for image processing for generating an image to be displayed by the television receiver 10, and receives the television. Since it can supply to the apparatus 10, the television receiver 10 can perform an image process efficiently, and can suppress a circuit scale and manufacturing cost. In addition, the user can easily change the image processing setting according to the user's preference simply by operating the remote controller 20, and the television receiver 10 can be more effectively and more user-friendly. The image conversion process can be performed on the content data according to the user's preference.
[0323]
In the image signal processing unit 12 of FIG. 4, the generation formula of Formula (5) is used to generate the coefficient data Wi (i = 1 to n). However, a polynomial having a different order or another function is used. The generation of the coefficient data Wi can be realized even by the expressed expression.
[0324]
Further, the image signal processing unit 12 sets a parameter s that determines the resolution in the spatial direction (vertical direction and horizontal direction) and a parameter z that determines the resolution in the time direction (frame direction), and values of these parameters s and z Although it has been explained that the resolution in the spatial direction and the temporal direction of the image can be adjusted by adjusting the image quality, it is possible to similarly configure other devices that provide parameters for determining the quality of the image. For example, the parameters include a parameter for determining the vertical resolution, a parameter for determining the horizontal resolution, a parameter for determining the degree of noise removal, a parameter for determining the degree of change in the phase of the pixel after conversion (vertical and horizontal directions), screen Various parameters such as a parameter for determining the brightness and contrast of the image and a parameter for determining the reproduction speed can be considered.
[0325]
The values of these parameters may be directly specified by an operation input by the user, or parameter values related to the editing operation content are automatically set based on the content edited by the user. You may do it.
[0326]
For example, when the user instructs to display a zoom image by operating the remote controller 20 or the like, in the zoom image enlargement rate, change rate, or original image at the center of the zoom image specified by the user at that time Based on the information such as the position, parameters such as vertical and horizontal phase change information of the pixel, the resolution of the zoom image, or the noise removal degree of the zoom image, which are necessary when creating the zoom image, are generated. You may do it.
[0327]
Further, when the user instructs to perform slow motion reproduction by operating the remote controller 20 or the like, not only the image reproduction speed but also the image reproduction speed is specified based on information such as the reproduction speed designated by the user at that time. Parameters such as resolution and noise removal degree may be generated.
[0328]
Furthermore, an illuminance meter or the like is installed in the television receiver 10 or the remote controller 20, the brightness around the television receiver 10 is measured, and parameters such as image brightness are generated based on the measurement result. For example, the type of display of the television receiver 10 that displays an image (CRT (Cathode Ray Tube), LCD (Liquid Crystal Display), PDP (Plasma Display Panel), etc.), Based on information such as the screen size, parameters such as image resolution, noise reduction, brightness, or contrast may be generated.
[0329]
Further, although the image signal processing unit 12 has been described as being capable of adjusting two parameters s and z, one that handles one or three or more parameters can be similarly configured. Also in that case, the history information storage unit 50 stores the history information of each parameter. Then, the coefficient seed data generating device 21 shown in FIG. 12 or the coefficient seed data generating device 151 shown in FIG. 20 can perform the same generation processing as described above using the history information of each parameter. .
[0330]
FIG. 22 is a diagram illustrating another configuration example of the image information processing system to which the present invention has been applied. 22, parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted as appropriate.
[0331]
The remote controller 170 performs basically the same processing as the remote controller 20 of FIG. 1 and plays the same role for the television receiver 10, but a plurality of coefficient seed data generation units 171-1 to 171-m. The remote controller 20 is different from the remote controller 20 in that it has a coefficient seed data calculation unit 172 and supports a plurality of types of parameters.
[0332]
That is, the coefficient seed data generation units 171-1 to 171-m include, for example, a parameter for determining the vertical resolution, a parameter for determining the horizontal resolution, a parameter for determining the noise removal degree, and the degree of change in the phase of the pixel after conversion. Corresponding to different types of parameters such as parameters for determining (vertical and horizontal directions), parameters for determining luminance, and parameters for determining playback speed, and generating coefficient seed data w10 to wn9 based on the respective parameters To do.
[0333]
Note that, as described above, these parameters may be generated based on other information such as a user operation content in the television receiver 10 or the like.
[0334]
The plurality of coefficient seed data w10 to wn9 generated by the coefficient seed data generating units 171-1 to 171-m is supplied to the coefficient seed data calculating unit 172.
[0335]
The coefficient seed data calculation unit 172 calculates coefficient seed data w10 to wn9 to be supplied to the television receiver 10 based on the plurality of supplied coefficient seed data w10 to wn9. The remote controller 170 supplies the calculated coefficient seed data w10 to wn9 to the television receiver 10.
[0336]
FIG. 23 is a diagram showing a detailed configuration example of the remote controller 170 shown in FIG. 23, parts corresponding to those in FIG. 11 are denoted by the same reference numerals, and detailed description thereof is omitted as appropriate.
[0337]
The system controller 92 of the remote controller 170 is connected to the plurality of coefficient seed data generation units 171-1 to 171-m and the coefficient seed data calculation unit 172 described above.
[0338]
The coefficient seed data generation units 171-1 to 171-m are basically the same as the coefficient seed data generation unit 21 shown in FIG. 12 except that the coefficient seed data w10 to wn9 are generated based on different types of parameters. Since the same processing is performed, detailed description is omitted. That is, the coefficient seed data generation units 171-1 to 171-m are respectively supplied with corresponding parameters from the system controller 92, and generate coefficient seed data w10 to wn9 based on the supplied parameters, respectively. This is supplied to the system controller 92.
[0339]
The system controller 92 stores the coefficient seed data w10 to wn9 supplied from the coefficient seed data generation units 171-1 to 171-m in the storage unit 94 or supplies the coefficient seed data calculation unit 172 to the coefficient seed data calculation unit 172.
[0340]
The coefficient seed data calculation unit 172 is generated by the coefficient seed data generation units 171-1 to 171 -m and based on the plurality of coefficient seed data w <b> 10 to wn <b> 9 supplied via the system controller 92. The coefficient seed data w10 to wn9 to be supplied to is calculated.
[0341]
As the calculation method, for example, the sum of the coefficient seed data w10 to wn9 calculated in each coefficient seed data generation unit 171-1 to 171-m is multiplied by a predetermined coefficient having a different value. The coefficient seed data w10 to wn9 supplied to the television receiver 10 may be used, or the sum of the coefficient seed data w10 to wn9 (or the basis of a predetermined predetermined value calculated previously). Difference values (change amounts) from the coefficient seed data w10 to wn9) may be supplied to the television receiver 10 as coefficient seed data w10 to wn9. Further, the above-described calculation may be performed after selecting coefficient seed data w10 to wn9 corresponding to a specific parameter according to the situation.
[0342]
The coefficient seed data calculation unit 172 supplies the calculated coefficient seed data w10 to wn9 to the television receiver 10 to the system controller 92. The system controller 92 supplies the supplied coefficient seed data w10 to wn9 to the television receiver 10 via the communication unit 93.
[0343]
Next, the operation of the remote controller 20 shown in FIG. 23 will be described.
[0344]
When the user operates the input unit 91 or parameters are supplied from the television receiver 10, and the parameters and history information are supplied to the system controller 92, the system controller 92 that has acquired the information. Supplies the acquired information to the coefficient seed data generation units 171-1 to 171-m corresponding to the parameters, and the HD signal as the teacher image data stored in the storage unit 94, the coefficients supplied with the parameters It supplies to the seed data generation part 171-1 thru | or 171-m.
[0345]
The coefficient seed data generation units 171-1 to 171-m generate coefficient seed data w10 to wn9 based on the information related to the parameters supplied from the system controller 92 and the HD signal, respectively, and supply them to the system controller 92. To do. The system controller 92 supplies the obtained coefficient seed data w10 to wn9 to the coefficient seed data calculation unit 172.
[0346]
The coefficient seed data calculation unit 172 calculates coefficient seed data w10 to wn9 to be supplied to the television receiver 10 based on the plurality of obtained coefficient seed data w10 to wn9, and supplies the coefficient seed data w10 to wn9 to the system controller 92. The system controller 92 supplies the acquired coefficient seed data w10 to wn9 to the television receiver 10 via the communication unit 93.
[0347]
The coefficient seed data w10 to wn9 determined in this way is supplied to the television receiver 10, stored in the information memory bank 51, and used by the user by adjusting the values of various parameters. Image adjustment can be performed. That is, an image adjustment range according to the user's preference is automatically set, and the user can adjust the image within the range. Further, the television receiver 10 can automatically display an image having an image quality optimum for the display unit 37 (display) and the surrounding environment.
[0348]
Next, coefficient seed data update processing by the image information processing system of FIG. 22 will be described with reference to the flowchart of FIG.
[0349]
When the user instructs to start the setting of coefficient seed data by operating the input unit 91 of the remote controller 170, the remote controller 170 corresponds to the processes of steps S21 to S23 described with reference to the flowchart of FIG. The television receiver 10 performs the processes of steps S121 to 126 corresponding to the processes of steps S1 to S6 described with reference to the flowchart of FIG.
[0350]
That is, the remote controller 170 supplies a control signal to the television receiver 10 in response to a user operation input and instructs parameter setting. The television receiver 10 generates a parameter based on the control signal and supplies the parameter to the remote controller 170.
[0351]
In step S143, the system controller 92 of the remote controller 170 that has acquired the parameters supplies the acquired parameters to the corresponding coefficient seed data generation units 171-1 to 171-m, and executes coefficient seed data generation processing. In step S144, the coefficient seed data generation units 171-1 to 171-m execute the coefficient seed data generation process described with reference to FIG. 16, and the generated coefficient seed data w10 to wn9 are sent via the system controller 92. To the coefficient seed data calculation unit 172.
[0352]
In step S145, the system controller 92 determines whether or not the coefficient seed data generation units 171-1 to 171-m have generated the coefficient seed data w10 to wn9 for all the supplied parameters. If it is determined, the process returns to step S144, and the subsequent processes are repeated.
[0353]
When it is determined by the system controller 92 that the coefficient seed data w10 to wn9 has been generated for all the supplied parameters, the coefficient seed data calculation unit 172 supplies the coefficient seed data to the television receiver 10 in step S146. Calculate w10 to wn9.
[0354]
Then, in step S147, the system controller 92 of the remote controller 170 supplies the coefficient seed data w10 to wn9 calculated by the coefficient seed data calculation unit 172 to the television receiver 10 via the communication unit 93. The seed data update process is terminated.
[0355]
In step S127, the communication unit 31 of the television receiver 10 acquires the coefficient seed data w10 to wn9 supplied from the remote controller 170 and supplies the coefficient seed data w10 to wn9 to the system controller 32. In step S128, the system controller 32 supplies the coefficient seed data w10 to wn9 acquired via the communication unit 31 to the image signal processing unit 12, and stores the coefficient seed data w10 to wn9 in the information memory bank 51. Hold. The system controller 32 that has supplied the coefficient seed data w10 to wn9 to the image signal processing unit 12 ends the coefficient seed data update process.
[0356]
As described above, in the image information processing system shown in FIG. 22, the television receiver 10 can easily update the coefficient seed data w10 to wn9 based on various parameters by using the remote controller 170. Thus, the image conversion process can be performed on the content data more effectively and in accordance with the user's preference.
[0357]
In the image information processing system described above, a display for displaying an image on the remote controller may be provided.
[0358]
FIG. 25 is a diagram showing still another configuration example of the image information processing system to which the present invention is applied. In FIG. 25, parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted as appropriate.
[0359]
In FIG. 25, the television receiver 180 supplies not only parameters but also content data that is an image signal received via the antenna 11 to the remote controller 190. This content data is image data of an SD signal before image processing in the image signal processing unit 12.
[0360]
In addition to the coefficient seed data generation unit 21, the remote controller 190 has an image signal processing unit 191 that has the same configuration as the image signal processing unit 12 and performs the same processing, and an output unit 192 that includes a display and the like. Have.
[0361]
The remote controller 190 not only supplies the coefficient seed data w10 to wn9 generated by the coefficient seed data generation unit 21 to the television receiver 180 but also supplies it to the image signal processing unit 191. The image signal processing unit 191 performs image processing on the content data (SD pixel data) supplied from the television receiver 180 using the supplied coefficient seed data w10 to wn9, and supplies the processed data to the output unit 192. , Display the image.
[0362]
FIG. 26 is a diagram showing a detailed configuration example of the television receiver 180 shown in FIG. In FIG. 26, parts corresponding to those of the television receiver 10 shown in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted as appropriate.
[0363]
The buffer memory 182 of the television receiver 180 supplies the SD signal (content data) acquired from the tuner 33 to the system controller 183 as well as the image signal processing unit 12.
[0364]
The system controller 183 performs processing similar to the case of the system controller 32 of the television receiver 180 shown in FIG. 2, and the content data (SD pixel data) supplied from the buffer memory 182 and the generated parameters are The remote controller 190 is supplied via the communication unit 31.
[0365]
FIG. 27 is a diagram showing a detailed configuration example of the remote controller 190 shown in FIG. In FIG. 27, parts corresponding to those of the remote controller 20 shown in FIG. 11 are denoted by the same reference numerals, and detailed description thereof will be omitted as appropriate.
[0366]
An image signal processing unit 191 and an output unit 192 are connected to the system controller 193 of the remote controller 190.
[0367]
The system controller 193 communicates the coefficient seed data w10 to wn9 generated and supplied by the coefficient seed data generation unit 21 in addition to performing the same processing as that of the system controller 92 of the remote controller 20 shown in FIG. In addition to being supplied to the television receiver 180 via the unit 93, it is supplied to the image signal processing unit 191. Further, the system controller 193 supplies the content data and parameters supplied from the television receiver 180 to the image signal processing unit 191 via the communication unit 93, and after the image processing supplied from the image signal processing unit 191. Content data (HD pixel data) is supplied to the output unit 192.
[0368]
The image signal processing unit 191 has the same configuration as that of the image signal processing unit 12 of the television receiver 10 shown in FIG. 2 and performs the same processing, and thus detailed description thereof is omitted. The image signal processing unit 191 performs image conversion processing on the content data (SD pixel data) supplied from the system controller 193 based on the coefficient seed data w10 to wn9 and parameters supplied from the system controller 193, and performs conversion. The subsequent content data (HD pixel data) is supplied to the system controller 193.
[0369]
The output unit 192 has an output function such as a display, and displays an image corresponding to the content data (HD pixel data) supplied from the system controller 193.
[0370]
As described above, in the image information processing system shown in FIG. 25, the remote controller 190 not only generates coefficient seed data used in the image signal processing unit 12 of the television receiver 180, but also the television receiver 180. It is possible to perform image conversion processing on the supplied content data and display a corresponding image.
[0371]
Next, coefficient seed data update processing by the image information processing system of FIG. 25 will be described with reference to the flowchart of FIG.
[0372]
If the user operates the input unit 91 of the remote controller 190 to instruct the start of the setting of coefficient seed data, the remote controller 190 corresponds to the processes of steps S21 to S25 described with reference to the flowchart of FIG. The television receiver 180 performs the processes of steps S161 to 168 corresponding to the processes of steps S1 to S8 described with reference to the flowchart of FIG.
[0373]
That is, the remote controller 190 generates coefficient seed data w10 to wn9 and supplies them to the television receiver 180, as in the case of the flowchart of FIG. The television receiver 180 generates parameters, supplies them to the remote controller 190, and holds the coefficient seed data w10 to wn9 supplied from the remote controller 190, as in the flowchart of FIG.
[0374]
The system controller 193 of the remote controller 190 supplies the generated coefficient seed data w10 to wn9 in step S185, and supplies the generated coefficient seed data w10 to wn9 to the image signal processing unit 191 in step S186. Then, the image signal processing unit 191 holds the supplied coefficient seed data w10 to wn9. The remote controller 190 holding the coefficient seed data w10 to wn9 ends the coefficient seed data update process.
[0375]
Note that the image signal processing by the image signal processing unit 12 of the television receiver 180 and the image signal processing by the image signal processing unit 191 of the remote controller 190 are the same as those described with reference to the flowchart of FIG. Therefore, the description thereof is omitted.
[0376]
As described above, in the image information processing system shown in FIG. 25, the remote controller 190 converts the content data supplied from the television receiver 180 into an image based on the generated coefficient seed data w10 to wn9. And corresponding images can be displayed.
[0377]
In the remote controller 190, the coefficient seed data generation unit 21 independently supplies the coefficient seed data w10 to wn9 supplied to the television receiver 180 and the coefficient seed data w10 to wn9 used in the image signal processing unit 191. The remote controller 190 uses an image different from the image displayed on the television receiver 180, that is, the same content data (SD pixel data). Images corresponding to content data (HD pixel data) created with different parameter values can be displayed.
[0378]
For example, in the television receiver 180, an image subjected to optimal image processing is displayed on the display unit 37, and the remote controller 190 performs optimal image processing on the display of the output unit 192. The applied image can be displayed, or the zoom image can be displayed only on the remote controller 190.
[0379]
FIG. 29 is a diagram showing still another configuration example of the image information processing system to which the present invention is applied.
[0380]
The image information processing system in FIG. 29 is different from the above-described television receiving device 10 or 180 in that the television receiving device 200 that does not include the image signal processing unit 12, the coefficient seed data generation unit 21, and the image signal processing described above. The remote controller 210 having the unit 191 is configured.
[0381]
As in the case of the television receiver 180 described above, the television receiver 200 not only provides various parameters necessary for generating the coefficient seed data w10 to wn9 but also the image signal (SD signal received via the antenna 11). ) Is supplied to the remote controller 210. In addition, the television receiver 200 acquires the converted content data (HD signal) supplied from the remote controller 210 and causes the display unit 37 to display it.
[0382]
The remote controller 210 generates coefficient seed data w10 to wn9 in the coefficient seed data generation unit 21 based on the parameters supplied from the television receiver 200, and the generated coefficient seed data in the image signal processing unit 191. The content data (SD pixel data) supplied from the television receiver 200 is converted using w10 to wn9, and the converted content data (HD pixel data) is supplied to the television receiver 200.
[0383]
FIG. 30 is a block diagram showing a detailed configuration example of the television receiver 200 shown in FIG. 30, parts corresponding to those of the television receiver 10 shown in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted as appropriate.
[0384]
The buffer memory 201 of the television receiver 200 supplies the SD signal (content data) supplied from the tuner 33 to the system controller 202.
[0385]
The system controller 202 generates various parameters necessary for generating the coefficient seed data w10 to wn9 and supplies the content data supplied from the buffer memory 201 to the remote controller 210 via the communication unit 31. This is supplied to the remote controller 210 via the communication unit 31. Further, the system controller 202 acquires the converted content data supplied from the remote controller 210 via the communication unit 31 and supplies it to the combining unit 36.
[0386]
The combining unit 36 combines the display signal SCH output from the OSD processing unit 35 with the HD signal output from the system controller 202 and supplies the combined signal to the display unit 37.
[0387]
The internal configuration of the remote controller 210 is basically the same as that of the remote controller 190 shown in FIG. 27 except that the output unit 192 is not included, and the same processing is performed. Therefore, the description is omitted. However, in the case of the remote controller 210, content data (HD pixel data) output from the image signal processing unit 191 is supplied to the television receiver 200 by the system controller 193 via the communication unit 93.
[0388]
Next, coefficient seed data update processing by the image information processing system of FIG. 29 will be described with reference to the flowchart of FIG.
[0389]
When the user operates the input unit of the remote controller 210 to instruct the start of the setting of coefficient seed data, the remote controller 210 corresponds to the processes of steps S21 to S25 described with reference to the flowchart of FIG. The processing of steps S221 to 224 is performed, and the television receiver 180 performs the processing of steps S201 to 206 corresponding to the processing of steps S1 to S6 described with reference to the flowchart of FIG.
[0390]
That is, as in the case of the flowchart of FIG. 15, the remote controller 210 supplies an instruction relating to parameter setting to the television receiver 200, then receives a parameter generated based on the instruction, and based on the parameter To generate coefficient seed data w10 to wn9. As in the case of the flowchart of FIG. 15, the television receiver 180 generates a parameter based on an instruction supplied from the remote controller 210, and supplies the generated parameter to the remote controller 210.
[0390]
In step S224, the coefficient type data generation processing as shown in the flowchart of FIG. 16 is performed, and the remote controller 210 that has generated the coefficient type data w10 to wn9 in the coefficient type data generation unit 21 generates the coefficient The seed data w10 to wn9 are supplied to and held in the image signal processing unit 191, and the coefficient seed data update process is terminated.
[0392]
In step S206, the television receiver 200 that has supplied the generated parameter to the remote controller 210 ends the coefficient seed data update process.
[0393]
That is, in this case, since the image signal processing unit 12 does not exist in the television receiver 200, the remote controller 210 updates the coefficient seed data without supplying the generated coefficient seed data w 10 to wn 9 to the television receiver 200. End the process.
[0394]
Next, image signal conversion processing by the image information processing system of FIG. 29 will be described with reference to the flowchart of FIG.
[0395]
In the image information processing system of FIG. 29, image conversion processing for converting an SD signal into an HD signal is performed not by the television receiver 200 but by the remote controller 210.
[0396]
In step S241, the system controller 202 of the television receiver 200 receives content data, which is SD pixel data received by the antenna 11 and supplied via the tuner 33 and the buffer memory 201, via the communication unit 31. 210 is supplied.
[0397]
When the remote controller 210 obtains the content data in step S261, the remote controller 210 supplies the content data to the image signal processing unit 191. In step S262, the image signal processing unit 191 performs image signal processing as shown in FIG. 17 on the supplied content data to generate content data of HD pixel data. In step S263, the remote controller 210 supplies the generated HD pixel data (content data) to the television receiver 200.
[0398]
In step S <b> 242, the system controller 202 of the television receiver 200 acquires the HD pixel data via the communication unit 31 and supplies the HD pixel data to the display unit 37 via the synthesis unit 36. In step S243, the display unit 37 displays an image corresponding to the supplied HD pixel data.
[0399]
In step S244, the system controller 202 of the television receiver 200 determines whether or not all SD pixel data received via the antenna 11 has been processed, and determines that all data has not been processed. Returning to step S241, the subsequent processing is repeated.
[0400]
If it is determined that all data has been processed, the system controller 202 of the television receiver 200 ends the image signal conversion process.
[0401]
As described above, in the image information processing system shown in FIG. 29, the content data received by the television receiving device 200 is supplied to the remote controller 210, the remote controller 210 performs image conversion processing, and the converted content data Is supplied to the television receiver 210 for display, and therefore, even if the television receiver 200 does not have an image signal processing unit, the television receiver 200 does not match the user's preference for HD. An image of the image data can be displayed.
[0402]
In the above, the image information processing system has been described as being configured with one television receiver and one remote controller. However, the present invention is not limited to this, and for example, as shown in FIG. 33, a plurality of television receivers. And a single remote controller. In FIG. 33, parts corresponding to those shown in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted as appropriate.
[0403]
In FIG. 33, the television receivers 10-1 and 10-2 have the same configuration as the television receiver 10 in the image information processing system shown in FIG. Is omitted. The antennas 11-1 and 11-2 correspond to the antenna 11 shown in FIG. 1, and the image signal processing units 12-1 and 12-2 correspond to the image signal processing unit 12 shown in FIG.
[0404]
The remote controller 20 generates coefficient seed data w10 to wn9 for the television receiver 10-1 in the coefficient seed data generator 21 based on the parameters supplied from the television receiver 10-1, and generates the generated coefficients. The seed data w10 to wn9 are supplied to the television receiver 10-1. Further, the remote controller 20 generates and generates coefficient seed data w10 to wn9 for the television receiver 10-2 in the coefficient seed data generator 21 based on the parameters supplied from the television receiver 10-2. The obtained coefficient seed data w10 to wn9 are supplied to the television receiver 10-2.
[0405]
The television receiver 10-1 supplied with the coefficient seed data w10 to wn9 dedicated to the television receiver 10-1 from the remote controller 20 is supplied to the coefficient seed data w10 supplied by the image signal processing unit 12-1. Through wn9, image conversion processing is performed on the image signal (SD signal) received via the antenna 11-1, and the display unit 37 displays an image corresponding to the converted image signal (HD signal).
[0406]
Similarly, the television receiver 10-2 to which coefficient type data w10 to wn9 dedicated to the television receiver 10-2 is supplied from the remote controller 20 is received by the image signal processing unit 12-2. The image data (SD signal) received via the antenna 11-2 is subjected to image conversion processing using the seed data w10 to wn9, and an image corresponding to the converted image signal (HD signal) is displayed on the display unit 37. indicate.
[0407]
As a result, the plurality of television receivers 10-1 and 10-2 share one remote controller 20, and perform image conversion processing on different SD signals using different coefficient seed data w10 to wn9. It can be carried out. That is, the remote controller 20 supplies different coefficient seed data w10 to wn9 to each of the television receivers 10-1 and 10-2, so that it is optimal for the device and the surrounding environment of each television receiver. Image conversion processing can be performed. Further, even when the user makes a different request to each television receiver, the remote controller 20 sends different coefficient seed data w10 to wn9 to each of the television receivers 10-1 and 10-2. It can respond by supplying.
[0408]
The remote controller 20 generates and supplies the coefficient seed data w10 to wn9 for the television receivers 10-1 and 10-2 as described above, and is executed independently. Alternatively, they may be executed sequentially in order, or may be executed in parallel.
[0409]
In the above description, the image information processing system has been described as including two television receivers 10-1 and 10-2. However, the number of television receivers may be any number, Three or more units may be used. Even when there are three or more television receivers, the remote controller 20 generates and supplies dedicated coefficient seed data w10 to wn9 to each television receiver.
[0410]
Furthermore, as long as the remote controller is compatible, a plurality of television receivers that constitute the image information processing system may have different functions.
[0411]
FIG. 34 is a diagram showing still another configuration example of the image information processing system to which the present invention is applied. 34, the same reference numerals are given to the portions corresponding to those shown in FIG. 1, FIG. 25, or FIG. 29, and the description thereof will be omitted as appropriate.
[0412]
34, the image information processing system includes the television receiving device 10 of FIG. 1, the television receiving device 180 of FIG. 25, and the television receiving device 200 of FIG. 29, and all these televisions. A remote controller 220 corresponding to the John receiver.
[0413]
As described with reference to FIG. 1, the television receiver 10 supplies various parameters for generating coefficient seed data w10 to wn9 to the remote controller 220, and the coefficient seed generated by the remote controller 220 is generated. Data w10 to wn9 are acquired. Then, the television receiver 10 uses the coefficient seed data w10 to wn9 supplied from the remote controller 220 in the image signal processing unit 12 to convert the image signal (SD signal) acquired via the antenna 11 into an HD signal. Convert and display the image.
[0414]
In addition, as described with reference to FIG. 25, the television receiver 180 supplies various parameters for generating coefficient seed data w10 to wn9 to the remote controller 220, and is generated by the remote controller 220. The coefficient seed data w10 to wn9 are acquired. Then, the television receiver 10 uses the coefficient seed data w10 to wn9 supplied from the remote controller 220 in the image signal processing unit 12 to convert the image signal (SD signal) acquired via the antenna 11 into an HD signal. Convert and display the image. Furthermore, the television receiver 180 supplies an image signal (SD signal) received via the antenna 11 to the remote controller 220 as content data.
[0415]
Furthermore, as described with reference to FIG. 29, the television receiver 200 supplies various parameters for generating coefficient seed data w10 to wn9 to the remote controller 220. Also, the television receiver 200 supplies the image signal (SD signal) received via the antenna 11 as content data to the remote controller 220, and acquires the content data (HD signal) converted by the remote controller 220. The image is displayed on the display unit.
[0416]
The remote controller 220 is a remote controller having all the functions of the remote controller 170 in FIG. 22 (including the remote controller 20 in FIG. 1), the remote controller 190 in FIG. 25, and the remote controller 210 in FIG. A plurality of coefficient seed data generation units 171-1 to 171-m, a coefficient seed data calculation unit 172, an image signal processing unit 191, and an output unit 192 are included.
[0417]
As for the detailed configuration of the remote controller 220, the configuration in the case of the remote controller 170 shown in FIG. 23 (including the configuration in the case of the remote controller 20 in FIG. 11), the configuration in the case of the remote controller 190 shown in FIG. 29), and the configuration and operation of each part are basically the same as those described above, and thus the description thereof is omitted.
[0418]
That is, when the remote controller 220 obtains various parameters for generating coefficient seed data from the television receiver 10 in the same manner as the remote controller 170 in FIG. 22 (remote controller 20 in FIG. 1), the remote controller 220 responds to these parameters. In the coefficient seed data generating units 171-1 to 171-m, the coefficient seed data w10 to wn9 are generated based on the acquired parameters. Then, the remote controller 220 calculates coefficient seed data w10 to wn9 to be supplied to the television receiver 10 from the generated coefficient seed data w10 to wn9 in the coefficient seed data calculation unit 172, and the calculated coefficient seed data w10. To wn9 are supplied to the television receiver 10.
[0419]
Also, the remote controller 220 performs the same processing as the processing for the television receiver 10 described above on the television receiver 180 and supplies the generated coefficient seed data w10 to wn9 to the television receiver 180. To do. Further, the remote controller 220 causes the image signal processing unit 191 to hold the coefficient seed data w10 to wn9 calculated by the coefficient seed data calculating unit 172, as in the case of the remote controller 190 of FIG. Then, the remote controller 220 performs image conversion processing on the content data (SD signal) supplied from the television receiver 180 in the image signal processing unit 191, and the converted content data (SD) in the output unit 192. (HD signal) image.
[0420]
Furthermore, the remote controller 220 performs various types for generating coefficient seed data from the television receiver 200 with respect to the television receiver 200, as in the case of the remote controller 210 in FIG. 29 (remote controller 170 in FIG. 22). Are obtained, the coefficient seed data generating units 171-1 to 171-m corresponding to these parameters generate coefficient seed data w10 to wn9 based on the acquired parameters. Then, the remote controller 220 calculates the coefficient seed data w10 to wn9 to be used from the generated coefficient seed data w10 to wn9 in the coefficient seed data calculation section 172, and holds it in the image signal processing section 191. Then, in the image signal processing unit 191, the remote controller 220 performs image conversion processing on the content data (SD signal) supplied from the television receiver 200, and converts the converted content data (HD signal) to the television. The data is supplied to the John receiver 200 and displayed.
[0421]
As described above, since the remote controller 220 has a plurality of functions, the remote controller 220 can perform processing such as generation of coefficient seed data and generation of content data for a plurality of television receivers having different functions. it can.
[0422]
The remote controller 220 generates, supplies, or displays content type data w10 to wn9, which is performed on each of the television receivers 10, 180, and 200 described above. The processes to be supplied may be executed independently of each other, may be executed sequentially in sequence, or may be executed in parallel.
[0423]
In the above description, the image information processing system has been described as including three television receivers 10, 180, and 200. However, the number of television receivers may be any number, and four. It may be the above. Moreover, as long as the remote controller 220 can respond | correspond, the kind of function of a television receiver may be what kind and what kind may be sufficient.
[0424]
FIG. 35 is a diagram showing still another configuration example of the image information processing system to which the present invention has been applied.
[0425]
In FIG. 35, the image information processing system includes one television receiver 230 and two remote controllers 240 and 250.
[0426]
As will be described later, the television receiving device 230 includes a table storage unit 231, and stores a priority table 232 indicating the priorities of the plurality of remote controllers 240 and 250. The other configuration of the television receiver 230 is the same as that of the television receiver 10 of FIG.
[0427]
The remote controller 240 has the same configuration as the coefficient seed data generation unit 21 of the remote controller 20 shown in FIG. 1 described above. In addition to the coefficient seed data generation unit 241 that performs the same processing, the remote controller 240 includes each remote controller. Unique ID information 242 for identifying. That is, the configuration of the remote controller 240 is the same as the configuration of the remote controller in FIG. 1 except that the ID information 242 is stored in the storage unit 94.
[0428]
The remote controller 250 has the same configuration as the coefficient seed data generation unit 21 of the remote controller 20 in FIG. 1 described above. In addition to the coefficient seed data generation unit 251 that performs the same processing, the remote controller 250 includes each remote controller in the storage unit 94. Unique ID information 252 for identifying the. That is, the configuration of the remote controller 250 is the same as the configuration of the remote controller in FIG. 1 except that the ID information 252 is stored in the storage unit 94.
[0429]
In such an image information processing system, the television receiving device 230, as in the case of the image information processing system in FIG. 1, is based on a request from the remote controller 240 (such as user input in the remote controller 240). Parameters necessary for data generation are supplied to the remote controller 240. Similarly, the television receiver 230 supplies parameters necessary for generating coefficient seed data to the remote controller 250 based on a request from the remote controller 250 (such as user input in the remote controller 250).
[0430]
The remote controller 240 generates coefficient seed data w10 to wn9 in the coefficient seed data generation unit 241 based on the supplied parameters, as in the case of the image information processing system of FIG. Then, the remote controller 240 supplies the generated coefficient seed data w10 to wn9 to the television receiver 230 together with the ID information 242 stored in the storage unit 94.
[0431]
Similarly, the remote controller 250 uses the coefficient seed data generation unit 251 to generate coefficient seed data w10 to wn9 based on the supplied parameters. Then, the remote controller 250 supplies the generated coefficient seed data w10 to wn9 together with the ID information 252 stored in the storage unit 94 to the television receiver 230.
[0432]
The television receiver 230 refers to the priority order table 232 stored in the table storage unit 231, and the ID information 242 supplied from the remote controller 240 or the ID information 252 supplied from the remote controller 250 is It is determined whether the priority is higher than the priority of the remote controller that supplied the coefficient seed data w10 to wn9 held in the image signal processing unit 12, and if it is determined that the priority is given, the coefficient having the highest priority The seed data w10 to wn9 are held in the image signal processing unit 12.
[0433]
FIG. 36 is a diagram showing a detailed configuration example of the television receiving device 230 shown in FIG. In FIG. 36, parts corresponding to those of the television receiver 10 shown in FIG. 2 are denoted by the same reference numerals, and description thereof is omitted as appropriate.
[0434]
A table storage unit 231 is connected to the system controller 233 of the television receiver 230.
[0435]
The table storage unit 231 includes a storage element such as SRAM, DRAM, or EEPROM, and stores a priority table 232 indicating the priority of the remote controller.
[0436]
The priority table 232 is a table that associates the ID information of the remote controller 240 with the priority of the remote controller. The system controller 233 selects the coefficient seed data w10 to wn9 to be used based on the priority order associated with the ID information included in the priority order table 232.
[0437]
The system controller 233 selects each ID of the remote controller that supplied the coefficient seed data in order to select the coefficient seed data to be used from among the plurality of coefficient seed data w10 to wn9 supplied from the plurality of remote controllers 240 and 250. Based on the information, the priority table 232 stored in the table storage unit 231 is referred to. Then, the system controller 233 includes the coefficient seed data w10 to wn9 supplied by the remote controller with the highest priority, including the remote controller to which the coefficient seed data w10 to wn9 currently held in the image signal processing unit 12 corresponds. The image signal processing unit 12 is supplied and held. The other processing of the system controller 233 is the same as that of the system controller 32 shown in FIG.
[0438]
Further, the detailed configuration of the remote controllers 240 and 250 is the same as that of the remote controller 20 shown in FIG. 11 except that the ID information 242 or 252 is stored in the respective storage units 94. Is omitted.
[0439]
Next, coefficient seed data update processing by the image information processing system of FIG. 35 will be described with reference to the flowchart of FIG. In FIG. 37, the case where the remote controller 240 updates the coefficient seed data of the television receiver 230 will be described. However, the processing when the remote controller 250 updates the coefficient seed data of the television receiver 230 is Basically the same.
[0440]
When the user operates the input unit 91 of the remote controller 240 to instruct the start of the setting of coefficient seed data, the remote controller 210 corresponds to the processes of steps S21 to S24 described with reference to the flowchart of FIG. The television receiver 180 performs the processes of steps S281 to 286 corresponding to the processes of steps S1 to S6 described with reference to the flowchart of FIG.
[0441]
That is, as in the case of the flowchart of FIG. 15, the remote controller 240 supplies an instruction relating to parameter setting to the television receiver 200, then receives a parameter generated based on the instruction, and based on the parameter To generate coefficient seed data w10 to wn9. As in the case of the flowchart of FIG. 15, the television receiving device 230 generates a parameter based on an instruction supplied from the remote controller 210, and supplies the generated parameter to the remote controller 210.
[0442]
In step S314, the remote controller 240 that has generated the coefficient seed data w10 to wn9 in the coefficient seed data generation unit 241 performs the coefficient seed data generation process as shown in the flowchart of FIG. In step S315, the generated coefficient seed data w10 to wn9 are supplied to the television receiver 230 together with the read ID information, and the coefficient seed data update process is terminated.
[0443]
Further, when the system controller 233 of the television receiver 230 acquires the ID information 242 and the coefficient seed data w10 to wn9 from the remote controller 240 via the communication unit 31 in step S287, the table storage unit 231 in step S288. , The priority order of the remote controller 240 that is the supply source of the coefficient seed data w10 to wn9 acquired this time is the coefficient seed data w10 currently held in the image signal processing unit 12. To determine whether the priority is higher than the priority of the remote controller that supplied wn9.
[0444]
When it is determined that the priority order of the remote controller 240 that is the supply source of the coefficient seed data w10 to wn9 acquired this time is higher, the system controller 233 of the television receiver 230 determines the coefficient acquired this time in step S289. The seed data w10 to wn9 are supplied to and held in the image signal processing unit 12, and the coefficient seed data update process is terminated.
[0445]
If it is determined in step S288 that the priority order of the remote controller that has supplied the coefficient seed data w10 to wn9 currently held in the image signal processing unit 12 is higher, the system controller of the television receiver 230 In step 233, the process of step S289 is omitted, and the coefficient seed data update process ends.
[0446]
As described above, the television receiving device 230 manages the priority of each remote controller by using the priority order table 232, and therefore can respond to the request for updating the coefficient seed data from a plurality of remote controllers. .
[0447]
In FIG. 35, it has been described that there are two remote controllers, but the present invention is not limited to this, and there may be three or more.
[0448]
Further, the television receiving device 230 may update the priority table 232 for managing the ID information and the priority thereof based on the control signal from the remote controller side. Accordingly, the television receiving device 230 can register the ID information of a new remote controller whose ID information is not registered in the priority table 232 and the priority thereof in the priority table 232. Further, the television receiver 230 may be configured to change the priority order corresponding to the ID information in the priority table 232 based on a user instruction or the like. For example, the priority order corresponding to the ID information in the priority table 232 may be changed according to the usage frequency or the like.
[0449]
In FIG. 35, the image information processing system has been described as having one television receiver 230. However, for example, as shown in FIG. 38, the image information processing system has two television receivers 260 and 270. May be.
[0450]
In FIG. 38, the configuration of the television receivers 260 and 270 is the same as that of the television receiver 230 shown in FIG. Note that the television receivers 260 and 270 have priority tables 261 and 271, respectively. These priority order tables 261 or 271 are generated in the television receiver 260 or 270, respectively, and the remote controller ID information registered in them and the priority order thereof are independent of each other.
[0451]
For example, as shown in FIG. 38, in the priority table 261 of the television receiver 260, ID information 242 of the remote controller 240 and ID information 252 of the remote controller 250 are registered, and the ID of the remote controller 240 is registered. The information 242 is registered with a higher priority than the ID information 252 of the remote controller 250, but in the priority table 271 of the television receiver 270, the ID information 242 of the remote controller 240 and the remote controller 250 are registered. ID information 252 is registered, and the ID information 252 of the remote controller 250 is registered with higher priority than the ID information 242 of the remote controller 240.
[0452]
That is, in the image information processing system in this case, a priority order table is created for each television receiver, and the priority order of the remote controller is managed. Therefore, the number of remote controllers managed by each television receiver may be different.
[0453]
Note that the number of television receivers included in the image information processing system may be three or more, and the number of remote controllers may be three or more.
[0454]
Also, the television receivers 260 and 270 of FIG. 38 may be connected, and a common priority table may be managed in the television receivers 260 and 270. In that case, the television receivers 260 and 270 compare the contents of the priority order tables 261 and 271 that the respective television receivers 260 and 270 have, and if the contents are different, update the priority order tables 261 and 271 that each has. .
[0455]
As described above, in the image information processing system, the remote controller creates a coefficient necessary for creating a coefficient necessary for converting the image signal received by the television receiver, or an image received by the television receiver. By having a content creation function that performs conversion processing on a signal and creates new content data, the image information processing system can perform image conversion processing on content data more effectively and in accordance with user preferences. It can be carried out.
In the above description, the remote controller of the image information processing system has the coefficient seed data generation unit and generates the coefficient seed data necessary for converting the image signal received by the television receiver. However, the present invention is not limited to this, and the television receiver may have a coefficient seed data generation unit.
[0456]
FIG. 39 is a diagram showing still another configuration example of the image information processing system to which the present invention has been applied. In FIG. 39, parts corresponding to those in the case of the image information processing system shown in FIG.
[0457]
In FIG. 39, the television receiver 280 includes a coefficient seed data generation unit 281 that generates coefficient seed data w10 to wn9 used in the image signal processing unit 12. A detailed configuration example of the coefficient seed data generation unit 281 is the same as that of the coefficient seed data generation unit 21 described with reference to FIG.
[0458]
The remote controller 291 has a configuration in which the coefficient seed data generation unit 21 is deleted from the remote controller 20 shown in FIG.
[0459]
In FIG. 39, the remote controller 291 supplies an instruction relating to a parameter for generating coefficient seed data w10 to wn9 or a parameter itself to the television receiver 280 based on a user input or the like.
[0460]
The television receiver 280 uses the parameter seed data generation unit 281 to generate coefficient seed data by using parameters generated based on an instruction related to parameters supplied from the remote controller 291 or parameters supplied from the remote controller 291. w10 to wn9 are generated. Then, the television receiver 280 uses the generated coefficient seed data w10 to wn9 to perform conversion processing on the image signal received via the antenna 11 in the image signal processing unit 12.
[0461]
By doing as described above, the image information processing system can perform the image conversion process on the content data more effectively according to the user's preference while suppressing the increase in the circuit scale of the remote controller 291. it can.
[0462]
Furthermore, as shown in FIG. 40, the above-described television receiver 280 may be connected to another television receiver.
[0463]
In FIG. 40, the television receiver 280 is connected to the network 292 via the communication unit 31. In addition to the television receiver 280, the television receivers 10 and 200 are connected to the network 292 via the respective communication units 31.
[0464]
40, the antenna 11-1 included in the television receiver 280, the antenna 11-2 included in the television receiver 10, and the antenna 11-3 included in the television receiver 200 are all shown in FIG. The same configuration as that of the antenna 11 of the television receiver 10 shown in FIG.
[0465]
In FIG. 40, both the image signal processing unit 12-1 included in the television receiving device 280 and the image signal processing unit 12-2 included in the television receiving device 10 receive the television reception shown in FIG. The configuration is the same as that of the image signal processing unit 12 of the apparatus 10, and the same processing is performed.
[0466]
The television receiver 280 supplies the coefficient seed data w10 to wn9 generated by the coefficient seed data generator 281 to the television receiver 10 via the network 292. The television receiving device 10 uses the coefficient seed data w10 to wn9 supplied from the television receiving device 280 to perform conversion processing into an image signal acquired via the antenna 11-2 in the image signal processing unit 12-2. Apply.
[0467]
In addition, the television receiver 280 uses the coefficient seed data w10 to wn9 generated by the coefficient seed data generation unit 281 to generate an image signal acquired via the antenna 11-1 in the image signal processing unit 12-1. The conversion processing is performed, and the converted image signal is supplied as content data to the television receiving device 200 via the network 292. The television receiver 200 causes the display unit 37 to display an image corresponding to the content data supplied from the television receiver 280.
[0468]
Furthermore, the television receiver 200 supplies the image signal received via the antenna 11-3 to the television receiver 280 via the network 292 as content data. The television reception device 280 performs conversion processing on the content data supplied from the television reception device 200 in the image signal processing unit 12-1, generates new content data, and converts the converted content data into the content data. , And supplied to the television receiver 200 via the network 292. The television receiver 200 causes the display unit 37 to display an image corresponding to the content data supplied from the television receiver 280.
[0469]
As described above, by connecting the television receiver 280 and other television receivers, content data can be shared among a plurality of television receivers, or coefficient seed data for converting content data can be used. The image information bibliographic system can display content data that has been subjected to image conversion processing more effectively according to user preferences in a plurality of television receivers.
[0470]
Note that, in the above, each device described as being connected by wired communication may be connected by wireless communication. Conversely, each device described as being connected by wireless communication is wired. You may make it connect by communication.
[0471]
The television receiver and remote controller described above may have any function other than those described above as long as they have the functions described above.
[0472]
As described above, in any of the embodiments, either the remote controller or the television receiver creates a coefficient necessary for converting the image signal (coefficient creation). By performing conversion processing and creating new content data (content data creation), the image information processing system can perform image conversion processing on content data more effectively and in accordance with user preferences. .
[0473]
The series of processes described above can be executed by hardware, or can be executed by software as described above. When a series of processing is executed by software, various functions can be executed by installing a computer in which the programs that make up the software are installed in dedicated hardware, or by installing various programs. For example, it is installed from a recording medium or the like into a general-purpose personal computer or the like.
[0474]
FIG. 41 is a diagram illustrating an internal configuration example of a personal computer that executes the above-described processing.
[0475]
The CPU 301 of the personal computer 300 executes various processes according to programs stored in the ROM 302. The RAM 303 appropriately stores data and programs necessary for the CPU 301 to execute various processes.
[0476]
The CPU 301, ROM 302, and RAM 303 are connected to each other via a bus 304. An input / output interface 310 is also connected to the bus 304.
[0477]
The input / output interface 310 is connected to an input unit 311 including a keyboard and a mouse, and outputs a signal input to the input unit 311 to the CPU 301. The input / output interface 310 is also connected to an output unit 312 including a display and a speaker.
[0478]
Furthermore, a storage unit 313 configured from a hard disk or the like and a communication unit 314 that performs data communication with other devices via a network such as the Internet are connected to the input / output interface 310. The drive 315 is used when data is read from or written to a removable medium 321 formed of a recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
[0479]
As shown in FIG. 41, the recording medium is distributed to provide a program to the user separately from the personal computer, and includes a magnetic disk (including a flexible disk) on which the program is recorded, an optical disk (CD-ROM). (Including compact disc-read only memory), DVD (digital versatile disc), magneto-optical disc (including MD (mini-disc) (registered trademark)), or removable media 321 including package media such as semiconductor memory And a hard disk including a ROM 302 storing a program and a storage unit 313 provided to a user in a state of being pre-installed in a computer.
[0480]
In this specification, the steps for describing the program provided by the medium are performed in parallel or individually in accordance with the described order, as well as the processing performed in time series, not necessarily in time series. The process to be executed is also included.
[0481]
【The invention's effect】
As described above, according to the present invention, an image signal can be converted. In particular, the image conversion process can be performed on the content data more effectively and in accordance with the user's preference.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an image information processing system to which the present invention is applied.
FIG. 2 is a diagram illustrating a detailed configuration example of the television receiver in FIG. 1;
FIG. 3 is a diagram illustrating a pixel position relationship between a 525i signal and a 1050i signal.
4 is a block diagram illustrating a configuration example of an image signal processing unit in FIG. 2. FIG.
FIG. 5 is a diagram illustrating a phase shift (odd field) from a center prediction tap of four pixels in a unit pixel block of an HD signal (1050i signal).
FIG. 6 is a diagram illustrating a phase shift (even field) from a center prediction tap of four pixels in a unit pixel block of an HD signal (1050i signal).
7 is a block diagram showing a configuration of a history information storage unit in FIG. 4. FIG.
FIG. 8 is a diagram illustrating an example of a user interface for adjusting image quality.
9 is an enlarged view of the adjustment screen of FIG.
FIG. 10 is a diagram illustrating an example of a coefficient seed data generation method.
FIG. 11 is a block diagram illustrating a detailed configuration example of the remote controller of FIG. 1;
12 is a block diagram illustrating a configuration example of a coefficient seed data generation unit in FIG. 11. FIG.
13 is a block diagram illustrating a configuration example of an SD signal generation unit in FIG. 12. FIG.
FIG. 14 is a diagram for explaining a change in a resolution adjustment range.
15 is a flowchart for describing coefficient seed data update processing by the image information processing system of FIG. 1; FIG.
16 is a flowchart illustrating coefficient seed data generation processing by the remote controller of FIG.
FIG. 17 is a flowchart for describing image signal processing by the television receiver of FIG. 1;
18 is a block diagram illustrating another configuration example of the SD signal generation unit in FIG. 12. FIG.
FIG. 19 is a diagram illustrating another example of a coefficient seed data generation method.
20 is a block diagram illustrating another configuration example of the coefficient seed data generation device in FIG. 11. FIG.
FIG. 21 is a flowchart for explaining another example of coefficient seed data generation processing by the remote controller of FIG. 1;
FIG. 22 is a diagram illustrating another configuration example of an image information processing system to which the present invention has been applied.
23 is a diagram illustrating a configuration example of the remote controller in FIG. 22;
24 is a flowchart for describing coefficient seed data update processing by the image information processing system of FIG.
FIG. 25 is a diagram illustrating still another configuration example of the image information processing system to which the present invention has been applied.
26 is a block diagram illustrating a detailed configuration example of the television receiver in FIG. 25. FIG.
27 is a block diagram showing a detailed configuration example of the remote controller in FIG. 25. FIG.
FIG. 28 is a flowchart for describing coefficient seed data update processing by the image information processing system of FIG. 25;
FIG. 29 is a diagram illustrating still another configuration example of the image information processing system to which the present invention has been applied.
30 is a block diagram illustrating a detailed configuration example of the television receiver in FIG. 29. FIG.
FIG. 31 is a flowchart for describing coefficient seed data update processing by the image information processing system of FIG. 29;
32 is a flowchart for describing image signal processing by the image information processing system of FIG. 29; FIG.
FIG. 33 is a diagram illustrating still another configuration example of the image information processing system to which the present invention has been applied.
FIG. 34 is a diagram illustrating still another configuration example of the image information processing system to which the present invention has been applied.
FIG. 35 is a diagram illustrating still another configuration example of the image information processing system to which the present invention has been applied.
36 is a block diagram illustrating a detailed configuration example of the television receiver in FIG. 35. FIG.
FIG. 37 is a flowchart for describing coefficient seed data update processing by the image information processing system of FIG. 35;
FIG. 38 is a diagram showing still another configuration example of the image information processing system to which the present invention has been applied.
FIG. 39 is a diagram illustrating still another configuration example of the image information processing system to which the present invention has been applied.
FIG. 40 is a diagram illustrating still another configuration example of the image information processing system to which the present invention has been applied.
FIG. 41 is a block diagram illustrating a configuration example of a personal computer.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Television receiver, 12 Image signal processing part, 20 Remote controller, 21 Coefficient seed | species data generation part, 32 System controller, 92 System controller, 151 Coefficient seed | species data generation part, 170 Remote controller, 171-1 thru | or 171-m coefficient Seed data generation unit, 172 coefficient seed data calculation unit, 180 television receiver, 182 system controller, 190 remote controller, 191 image signal processor, 192 output unit, 193 system controller, 200 television receiver, 202 system controller, 210 remote controller, 220 remote controller, 230 television receiver, 231 table storage unit, 232 priority table, 233 system controller, 240 remote controller, 241 coefficient seed data generation unit, 242 ID information, 250 remote controller, 251 coefficient seed data generation unit, 252 ID information, 260 television receiver, 261 priority table, 270 television receiver 271 priority table, 280 television receiver, 281 coefficient seed data generation unit, 291 remote controller, 300 personal computer, 321 removable media

Claims (14)

A first information processing device that generates second content data based on the first content data;
In an information processing system including a plurality of second information processing devices communicating with the first information processing device,
The first information processing apparatus includes:
Table storage means for storing a priority table that is information relating to the priority of the plurality of second information processing devices;
Coefficient seed data acquisition means for acquiring ID information for identifying the second information processing together with coefficient seed data from the second information processing apparatus;
A second information processing apparatus having a higher priority order by the coefficient seed data acquisition means based on the ID information acquired by the coefficient seed data acquisition means and the priority order table stored by the table storage means; select the coefficient seed data obtained from using the predetermined generation equation, from the coefficient seed data selected, predetermined estimation formula for estimating the second content data from the first content data Coefficient generation means for generating the coefficient of
Content data generating means for estimating and generating the second content data from the first content data using the coefficient generated by the coefficient generating means and the estimation formula,
The second information processing apparatus
ID information storage means for storing the ID information;
Coefficient seed data generating means for solving a predetermined normal equation and generating the coefficient seed data for each combination of a predetermined number of teacher data and a predetermined number of student data;
The coefficient generated by the coefficient seed data generating means so that the first information processing apparatus generates the coefficient using the coefficient seed data acquired from the second information processing apparatus having a higher priority. An information processing system comprising: coefficient seed data supply means for supplying the ID information stored in the ID information storage means together with the seed data to the first information processing apparatus. An information processing apparatus that generates second content data based on first content data,
Table storage means for storing a priority table that is information relating to the priority of a plurality of other information processing devices;
With the coefficient seed data from the other information processing apparatus, a coefficient seed data acquisition means for acquiring ID information for identifying the other information processing,
Based on the ID information acquired by the coefficient seed data acquisition means and the priority order table stored by the table storage means, from another information processing apparatus having a higher priority by the coefficient seed data acquisition means Select the obtained coefficient seed data, and use a predetermined generation formula to determine a predetermined estimation formula for estimating the second content data from the first content data from the selected coefficient seed data. Coefficient generation means for generating coefficients;
An information processing apparatus comprising: content data generating means that estimates and generates the second content data from the first content data using the coefficient generated by the coefficient generating means and the estimation formula. The information processing apparatus according to claim 2, further comprising display control means for controlling display of the second content data generated by the content data generation means. Control information acquisition means for acquiring control information from the other information processing apparatus;
Parameter generating means for generating a predetermined parameter based on the control information acquired by the control information acquiring means, and
The information processing apparatus according to claim 2, wherein the coefficient generation unit further generates the coefficient using the parameter generated by the parameter generation unit. The information processing apparatus according to claim 4, further comprising parameter supply means for supplying the parameter generated by the parameter generation means to the other information processing apparatus in order to use the parameter seed data for generating the coefficient seed data. An information processing method for an information processing apparatus that generates second content data based on first content data,
A coefficient seed data acquisition step for acquiring coefficient seed data from another information processing apparatus;
The priority order stored by the table storage unit that stores the ID information acquired by the processing of the coefficient seed data acquisition step and the priority order table that is information on the priority order of the plurality of other information processing apparatuses. based on the table, the process by the priority of the coefficient seed data obtaining step selects said coefficient seed data obtained from a higher other information processing apparatus by using a predetermined generation, selection and said coefficient seed data A coefficient generating step for generating a coefficient of a predetermined estimation formula for estimating the second content data from the first content data;
A content data generation step including estimating and generating the second content data from the first content data using the coefficient generated by the processing of the coefficient generation step and the estimation formula. A program for causing a computer to perform processing for generating second content data based on first content data,
A coefficient seed data acquisition step for acquiring coefficient seed data from another information processing apparatus;
The priority order stored by the table storage unit that stores the ID information acquired by the processing of the coefficient seed data acquisition step and the priority order table that is information on the priority order of the plurality of other information processing apparatuses. based on the table, the process by the priority of the coefficient seed data obtaining step selects said coefficient seed data obtained from a higher other information processing apparatus by using a predetermined generation, selection and said coefficient seed data A coefficient generating step for generating a coefficient of a predetermined estimation formula for estimating the second content data from the first content data;
A content data generation step of estimating and generating the second content data from the first content data using the coefficient generated by the processing of the coefficient generation step and the estimation formula; Medium on which various programs are recorded. In a program for causing a computer to perform processing for generating second content data based on first content data,
A coefficient seed data acquisition step for acquiring coefficient seed data from another information processing apparatus;
The priority order stored by the table storage unit that stores the ID information acquired by the processing of the coefficient seed data acquisition step and the priority order table that is information on the priority order of the plurality of other information processing apparatuses. based on the table, the process by the priority of the coefficient seed data obtaining step selects said coefficient seed data obtained from a higher other information processing apparatus by using a predetermined generation, selection and said coefficient seed data A coefficient generating step for generating a coefficient of a predetermined estimation formula for estimating the second content data from the first content data;
A content data generation step of estimating and generating the second content data from the first content data using the coefficient generated by the processing of the coefficient generation step and the estimation formula. The program to be executed. An information processing apparatus that communicates with another information processing apparatus that generates second content data based on first content data,
ID information storage means for storing ID information for identifying the information processing apparatus;
A coefficient of a predetermined estimation formula for estimating the second content data from the first content data by solving a predetermined normal equation for each combination of the predetermined number of teacher data and the predetermined number of student data. Coefficient seed data generating means for generating coefficient seed data used for generation;
Along with the coefficient seed data generated by the coefficient seed data generating means , the other information processing apparatus is configured to generate the coefficient using the coefficient seed data acquired from the information processing apparatus having a higher priority . An information processing apparatus comprising: coefficient seed data supply means for supplying the ID information stored in the ID information storage means to the other information processing apparatus. Input receiving means for receiving user input;
Control information supply means for supplying control information used for generating a predetermined parameter used for generating the coefficient to the other information processing device based on the user input received by the input receiving means; The information processing apparatus according to claim 9 . A parameter obtaining unit for obtaining a predetermined parameter from the other information processing apparatus;
The coefficient seed data generating means generates the coefficient seed data by solving the normal equation generated using the parameters.
The information processing apparatus according to claim 9 . An information processing method for an information processing apparatus that communicates with another information processing apparatus that generates second content data based on first content data,
A coefficient of a predetermined estimation formula for estimating the second content data from the first content data by solving a predetermined normal equation for each combination of the predetermined number of teacher data and the predetermined number of student data. A coefficient seed data generation step for generating coefficient seed data used for generation;
The coefficient seed data generated by the processing of the coefficient seed data generation step so that the other information processing apparatus generates the coefficient using the coefficient seed data acquired from the information processing apparatus having a higher priority. And a coefficient seed data supply step for supplying the ID information for identifying the information processing device stored in the ID information storage unit to the other information processing device. A program for causing a computer to perform processing for communicating with another information processing apparatus that generates second content data based on first content data,
A coefficient of a predetermined estimation formula for estimating the second content data from the first content data by solving a predetermined normal equation for each combination of the predetermined number of teacher data and the predetermined number of student data. A coefficient seed data generation step for generating coefficient seed data used for generation;
The coefficient seed data generated by the processing of the coefficient seed data generation step so that the other information processing apparatus generates the coefficient using the coefficient seed data acquired from the information processing apparatus having a higher priority. And a coefficient type data supply step for supplying the ID information for identifying the information processing device stored in the ID information storage unit to the other information processing device. A recording medium on which the program is recorded. In a program for causing a computer to perform processing for communicating with another information processing apparatus that generates second content data based on first content data.
A coefficient of a predetermined estimation formula for estimating the second content data from the first content data by solving a predetermined normal equation for each combination of the predetermined number of teacher data and the predetermined number of student data. A coefficient seed data generation step for generating coefficient seed data used for generation;
The coefficient seed data generated by the processing of the coefficient seed data generation step so that the other information processing apparatus generates the coefficient using the coefficient seed data acquired from the information processing apparatus having a higher priority. And a coefficient seed data supply step for supplying the ID information for identifying the information processing device stored in the ID information storage unit to the other information processing device.

Images