以下、図面を参照しながら、この発明の実施の形態について説明する。図1は、実施の形態としてのテレビ受信機10の構成を示している。
このテレビ受信機10は、チューナ12で受信される放送信号、すなわち、525i信号というSD(Standard Definition)信号を、1050i信号というHD(High Definition)信号に変換し、このHD信号による画像を表示する機能を持っている。ここで、525i信号は、ライン数が525本でインタレース方式の画像信号であり、1050i信号はライン数が1050本でインタレース方式の画像信号である。
図2は、525i信号および1050i信号のあるフレーム(F)の画素位置関係を示すものであり、奇数(o)フィールドの画素位置を実線で示し、偶数(e)フィールドの画素位置を破線で示している。大きなドットが525i信号の画素であり、小さいドットが1050i信号の画素である。図2から分かるように、1050i信号の画素データとしては、525i信号のラインに近い位置のラインデータL1,L1´と、525i信号のラインから遠い位置のラインデータL2,L2´とが存在する。ここで、L1,L2は奇数フィールドのラインデータ、L1´,L2´は偶数フィールドのラインデータである。また、1050i信号の各ラインの画素数は、525i信号の各ラインの画素数の2倍である。
このテレビ受信機10においては、内部バス11を介して、チューナ12、デコーダ13、CPU(Central Processing Unit)14、RAM(Random Access Memory)15、ROM(Read Only Memory)16、検査用端子17、DRC(Digital Reality Creation)回路18、および入出力インタフェース19が相互に接続されている他、必要に応じて、ドライブ20がさらに接続される。入出力インタフェース19には、受光部22、表示部24、HDD(Hard Disk Drive)25、操作部26およびセンサ28が接続されている。
ユーザがリモコン送信機23を操作して出力する光信号は、受光部22から入力される。また、ユーザは、操作部26を操作することで指令を入力することもできる。CPU14は、受信した指令に基づく処理を実行する。ユーザは、例えばリモコン送信機23を操作することにより、表示部24に表示される画像の画質を調整するための調整値を入力できる。本実施の形態において、調整される画質は、例えば空間解像度および時間解像度である。
CPU14は、ROM16に記憶されているプログラム、または、HDD25からRAM15にロードされたプログラムに従って各種の処理を実行する。RAM15にはまた、CPU14が各種の処理を実行する上において必要なデータなどが適宜記憶される。HDD25は、CPU14が実行するOS(Operating Systems)やアプリケーションプログラムを格納する他、チューナ12から受信した放送信号に基づくデータを記憶する。
CPU14は、ユーザの操作に基づいて、リモコン送信機23から赤外線信号RMが受光部22に入力されるか、または、ユーザにより操作部26に指令が入力されると、チューナ12に図示せぬ放送局からの放送信号を受信させ、デコーダ13にデコードさせる。デコーダ13は、デコードした放送信号に基づくSD信号(525i信号)を、内部バス11を介してDRC回路18に出力する。
DRC回路18は、SD信号(525i信号)を受信し、このSD信号をHD信号(1050i信号)に変換する。この際、DRC回路18は、ユーザにより指令された、上述した空間解像度および時間解像度の調整値s,z、さらにはセンサ28で取得されたユーザの周囲における環境情報に基づいて、HD信号による画像の空間解像度および時間解像度を調整する。本実施の形態において、DRC回路18に供給される環境情報は、例えば明るさの情報LIである。なお、DRC回路18の構成例については、図5を参照して後述する。
このDRC回路18で得られるHD信号は、内部バス11および入出力インタフェース19を介して、表示部24に出力される。表示部24は、このHD信号による画像を表示する。この表示部24は、例えばCRT(cathode-ray tube)ディスプレイ、あるいはLCD(liquid crystal display)、PDP(Plasma Display Panel)等で構成されている。
検査用端子17には、上述した空間解像度および時間解像度の調整値s,zが出力される。取得装置27は、この検査用端子17に接続される。取得装置27は、検査用端子17に出力される調整値s,zに基づいて、ユーザによるこれら調整値s,zの一連の調整における最終調整値およびこの最終調整値に至るまでの変化の過程にある調整値を取得する。この取得装置27で取得された最終調整値等は蓄積装置29に送られる。
また、上述した調整値s,zの一連の調整毎にセンサ28で取得されたユーザの周囲における環境情報は、取得装置27を介して蓄積装置29に送られ、最終調整値および履歴情報と対応付けられて記憶される。ここで取得される環境情報は一種類または複数種類とされる。環境情報としては、例えば明るさ、騒音、視聴距離、視聴方向、温度、湿度、時刻、電波状況等が考えられる。なお、取得装置27、センサ28および蓄積装置29の構成例については、図8を参照して後述する。
内部バス11は、必要に応じてドライブ20に接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア21が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じてHDD25にインストールされる。
図1に示すテレビ受信機10の動作を説明する。
チューナ12で受信される放送信号は内部バス11を介してデコーダ13に供給される。デコーダ13では、チューナ12からの放送信号に対して復号化処理、誤り訂正処理等が施され、この放送信号に基づくSD信号(525i信号)が得られる。このデコーダ13で得られるSD信号は内部バス11を介してDRC回路18に供給される。
DRC回路18では、デコーダ13からのSD信号をHD信号(1050i信号)に変換する処理が行われる。この場合、ユーザにより指令された、空間解像度の調整値sおよび時間解像度の調整値z、さらにはセンサ28で取得されたユーザの周囲の明るさの情報LIに基づいて、HD信号による画像の空間解像度および時間解像度が調整される。
このDRC回路18で得られるHD信号は、内部バス11および入出力インタフェース19を介して表示部24に供給される。そして、表示部24の画面上には、このHD信号による画像が表示される。
また、検査用端子17には、上述した空間解像度の調整値sおよび時間解像度の調整値zが垂れ流し的に出力されている。これらの調整値s,zは後述するユーザの調整操作によって変化する。取得装置27では、検査用端子17に出力されている調整値s,zから、これらの調整値s,zの一連の調整における最終調整値およびこの最終調整値に至るまでの変化の過程にある調整値が取得される。そして、その最終調整値等が蓄積装置29に送られ、最終調整値およびこの最終調整値に至る調整値の変化の過程に係る履歴情報として、そのままあるいは加工されて記憶される。
また、上述した調整値s,zの一連の調整毎にユーザの周囲における環境情報がセンサ28で取得される。そして、取得された環境情報が取得装置27を介して蓄積装置29に送られ、最終調整値および履歴情報と対応付けられて記憶される。このように蓄積装置29に記憶される最終調整値、履歴情報および環境情報は、例えばテレビ受信機10のバージョンアップ時にDRC回路18が含まれる基板を取り換える場合において、その情報メモリバンク135に格納される係数種データwi0〜wi9(i=1〜n)を生成する際などに利用される(後述の図5参照)。
この場合、履歴情報により最終調整値の信頼度を判断でき、環境情報により最終調整値が如何なる環境におけるものであるか判断でき、最終調整値を効果的に利用できる。
ユーザは、リモコン送信機23の操作によって、上述したように表示部24の画面上に表示される画像の空間方向および時間方向の解像度を調整できる。DRC回路18では、後述するように、HD信号を構成する画素データ(以下、適宜、「HD画素データ」という)が推定式によって算出される。この推定式の係数データとして、ユーザのリモコン送信機23の操作によって調整された空間方向、時間方向の解像度を定める調整値s,zに対応したものが、これら調整値s,zをパラメータとして含む生成式によって生成されて使用される。これにより、DRC回路18で得られるHD信号による画像の空間方向、時間方向の解像度は、調整値s,zに対応したものとなる。
図3は、調整値s,zを調整するためのユーザインタフェースの一例を示している。調整時には、表示部24(図1参照)に、調整値s,zの調整位置を☆印のアイコン115aで示した調整画面115が、OSD(On Screen Display)表示される。また、リモコン送信機23は、ユーザ操作手段としてロータリー式の摘み23z,23sを備えている。図4は、調整画面115を拡大して示している。
ユーザは摘み23zを操作することで、調整画面115上でアイコン115aの位置を左右に動かすことができ、時間方向の解像度の調整値zを調整できる。また、ユーザは摘み23sを操作することで、調整画面115上でアイコン115aの位置を上下に動かすことができ、空間方向の解像度の調整値sを調整できる。ユーザは、表示部24に表示される調整画面115を参照して調整値s,zを調整でき、その調整を容易に行うことができる。
なお、リモコン送信機23は、ロータリー式の摘み23z,23sの代わりに、シーソー式のボタン、押しボタン、あるいはジョイスティック、マウスやトラックボール等のポインティングデバイス等を備えていてもよい。さらに、ユーザによって調整された調整値s,zを、調整画面115上に数値表示してもよい。
次に、DRC回路18の詳細を説明する。図5は、DRC回路18の構成を示している。
このDRC回路18は、デコーダ13から内部バス11を介して送信されてきたSD信号(525i信号)より、HD信号(1050i信号)における注目位置の周辺に位置する複数のSD画素のデータを選択的に取り出して出力する第1〜第3のタップ選択回路121〜123を有している。
第1のタップ選択回路121は、予測に使用するSD画素(「予測タップ」と称する)のデータを選択的に取り出すものである。第2のタップ選択回路122は、SD画素データのレベル分布パターンに対応するクラス分類に使用するSD画素(「空間クラスタップ」と称する)のデータを選択的に取り出すものである。第3のタップ選択回路123は、動きに対応するクラス分類に使用するSD画素(「動きクラスタップ」と称する)のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属するSD画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
また、DRC回路18は、第2のタップ選択回路122で選択的に取り出される空間クラスタップのデータ(SD画素データ)のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路124を有している。
空間クラス検出回路124では、例えば、各SD画素データを、8ビットデータから2ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路124からは、各SD画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ADRC(Adaptive Dynamic Range Coding)によって、データ圧縮が行われる。なお、データ圧縮手段としては、ADRC以外にDPCM(予測符号化)、VQ(ベクトル量子化)等を用いてもよい。
本来、ADRCは、VTR(Video Tape Recorder)向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ADRCを使用する場合、空間クラスタップのデータ(SD画素データ)の最大値をMAX、その最小値をMIN、空間クラスタップのデータのダイナミックレンジをDR(=MAX−MIN+1)、再量子化ビット数をPとすると、空間クラスタップのデータとしての各SD画素データkiに対して、(1)式の演算により、圧縮データとしての再量子化コードqiが得られる。ただし、(1)式において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Na個のSD画素データがあるとき、i=1〜Naである。
qi=[(ki−MIN+0.5)*2P/DR] ・・・(1)
また、DRC回路18は、第3のタップ選択回路123で選択的に取り出される動きクラスタップのデータ(SD画素データ)より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路125を有している。
この動きクラス検出回路125では、第3のタップ選択回路123で選択的に取り出される動きクラスタップのデータ(SD画素データ)mi,niからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路125では、(2)式によって、差分の絶対値の平均値AVが算出される。第3のタップ選択回路123で例えば12個のSD画素データm1〜m6,n1〜n6が取り出されるとき、(2)式におけるNbは6である。
そして、動きクラス検出回路125では、上述したように算出された平均値AVが1個または複数個のしきい値と比較されて動きクラスのクラス情報MVが得られる。例えば、3個のしきい値th1,th2,th3(th1<th2<th3)が用意され、4つの動きクラスを検出する場合、AV≦th1のときはMV=0、th1<AV≦th2のときはMV=1、th2<AV≦th3のときはMV=2、th3<AVのときはMV=3とされる。
また、DRC回路18は、クラス合成回路126を有している。このクラス合成回路126は、空間クラス検出回路124より出力される空間クラスのクラス情報としての再量子化コードqiと、動きクラス検出回路125より出力される動きクラスのクラス情報MVに基づき、HD信号における注目位置の画素データ(作成すべきHD画素データ)が属するクラスを示すクラスコードCLを求める。このクラス合成回路126では、(3)式によって、クラスコードCLの演算が行われる。なお、(3)式において、Naは空間クラスタップのデータ(SD画素データ)の個数、PはADRCにおける再量子化ビット数を示している。
また、DRC回路18は、係数メモリ134を有している。この係数メモリ134は、後述する推定予測演算回路127で使用される推定式で用いられる複数の係数データWiを、クラス毎に、格納するものである。この係数データWiは、SD信号(525i信号)を、HD信号(1050i信号)に変換するための情報である。係数メモリ134には上述したクラス合成回路126より出力されるクラスコードCLが読み出しアドレス情報として供給され、この係数メモリ134からはクラスコードCLに対応した推定式の係数データWi(i=1〜n)が読み出され、推定予測演算回路127に供給される。
また、DRC回路18は、情報メモリバンク135を有している。後述する推定予測演算回路127では、予測タップのデータ(SD画素データ)xiと、係数メモリ134より読み出される係数データWiとから、(4)式の推定式によって、作成すべきHD画素データyが演算される。(4)式のnは、第1のタップ選択回路121で選択される予測タップの数を表している。
ここで、タップ選択回路121で選択的に取り出される予測タップのn個の画素データの位置は、HD信号における注目位置に対して、空間方向(水平、垂直の方向)および時間方向に広がっている。
そして、推定式の係数データWi(i=1〜n)は、(5)式に示すように、上述した調整値s,zをパラメータとして含む生成式によって生成される。情報メモリバンク135には、この生成式における係数データである係数種データwi0〜wi9(i=1〜n)が、クラス毎に、格納されている。この係数種データの生成方法については後述する。
上述したように、525i信号を1050i信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、525i信号の1画素に対応して1050i信号の4画素を得る必要がある。この場合、奇数、偶数のそれぞれのフィールドにおける1050i信号を構成する2×2の単位画素ブロック内の4画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている。
図6は、奇数フィールドにおける1050i信号を構成する2×2の単位画素ブロック内の4画素HD1〜HD4における中心予測タップSD0からの位相ずれを示している。ここで、HD1〜HD4の位置は、それぞれ、SD0の位置から水平方向にk1〜k4、垂直方向にm1〜m4だけずれている。
図7は、偶数フィールドにおける1050i信号を構成する2×2の単位画素ブロック内の4画素HD1´〜HD4における中心予測タップSD0´からの位相ずれを示している。ここで、HD1´〜HD4´の位置は、それぞれ、SD0´の位置から水平方向にk1´〜k4´、垂直方向にm1´〜m4´だけずれている。したがって、上述した情報メモリバンク135には、クラスおよび出力画素(HD1〜HD4,HD1´〜HD4´)の組み合わせ毎に、係数種データwi0〜wi9(i=1〜n)が格納されている。
また、情報メモリバンク135には、複数の明るさの範囲にそれぞれ対応した係数種データwi0〜wi9(i=1〜n)が格納されている。結局、この情報メモリバンク135には、明るさ範囲、クラスおよび出力画素(HD1〜HD4,HD1´〜HD4´)の組み合わせ毎に、係数種データwi0〜wi9(i=1〜n)が格納されている。
また、DRC回路18は、係数生成回路136を有している。この係数生成回路136は、各クラスの係数種データwi0〜wi9(i=1〜n)および調整値s,zとを用い、(5)式によって、クラス毎に、調整値s,zに対応した推定式の係数データWi(i=1〜n)を生成する。この係数生成回路136には、情報メモリバンク135より、明るさの情報LIが示す明るさが含まれる明るさ範囲に対応した、上述の各クラスの係数種データwi0〜wi9(i=1〜n)がロードされる。
この係数生成回路136で生成される各クラスの係数データWi(i=1〜n)は、上述した係数メモリ134に格納される。この係数生成回路136における各クラスの係数データWi(i=1〜n)の生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機23の操作によって調整値s,zが変更されても、係数メモリ134に格納される各クラスの係数データWiを、その調整値s,zに対応したものに即座に変更でき、ユーザによる解像度の調整がスムーズに行われる。
また、DRC回路18は、係数生成回路136で求められる係数データWi(i=1〜n)に対応した正規化係数Sを、(6)式によって、演算する正規化係数演算部137と、この正規化係数Sを格納する正規化係数メモリ138とを有している。正規化係数メモリ138には上述したクラス合成回路126より出力されるクラスコードCLが読み出しアドレス情報として供給され、この正規化係数メモリ138からはクラスコードCLに対応した正規化係数Sが読み出され、後述する正規化演算回路128に供給される。
また、DRC回路18は、第1のタップ選択回路121で選択的に取り出される予測タップのデータ(SD画素データ)xiと、係数メモリ134より読み出される係数データWiとから、(4)式の推定式によって、HD信号における注目位置の画素データ(作成すべきHD画素データ)を演算する推定予測演算回路127を有している。
上述したように、SD信号(525i信号)をHD信号(1050i信号)に変換する際には、SD信号の1画素に対してHD信号の4画素(図6のHD1〜HD4、図7のHD1´〜HD4´参照)を得る必要がある。この推定予測演算回路127では、HD信号を構成する2×2の単位画素ブロック毎に、画素データが生成される。
すなわち、この推定予測演算回路127には、第1のタップ選択回路121より単位画素ブロック内の4画素(注目画素)に対応した予測タップのデータxiと、係数メモリ134よりその単位画素ブロックを構成する4画素に対応した係数データWiとが供給され、単位画素ブロックを構成する4画素のデータy1〜y4は、それぞれ個別に上述した(4)式の推定式で演算される。
また、DRC回路18は、正規化演算回路128を有している。この正規化演算回路128は、推定予測演算回路127より順次出力される4画素のデータy1〜y4を、正規化係数メモリ138より読み出される、それぞれの演算に使用された係数データWi(i=1〜n)に対応した正規化係数Sで除算して正規化する。上述したように、係数生成回路136で推定式の係数データWiを求めるものであるが、求められる係数データは丸め誤差を含み、係数データWi(i=1〜n)の総和が1.0になることは保証されない。そのため、推定予測演算回路127で演算される各画素のデータy1〜y4は、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路128で正規化することで、そのレベル変動を除去できる。
また、DRC回路18は、正規化演算回路128で正規化されて順次供給される単位画素ブロック内の4画素のデータy1´〜y4´を線順次化して1050i信号のフォーマットで出力する後処理回路129を有している。
次に、DRC回路18の動作を説明する。
デコーダ13(図1参照)から内部バス11を介して送信されてきたSD信号(525i信号)より、第2のタップ選択回路122で、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する空間クラスタップのデータ(SD画素データ)が選択的に取り出される。この第2のタップ選択回路122で選択的に取り出される空間クラスタップのデータ(SD画素データ)は空間クラス検出回路124に供給される。この空間クラス検出回路124では、空間クラスタップのデータとしての各SD画素データに対してADRC処理が施されて空間クラス(主に空間内の波形表現のためのクラス分類)のクラス情報としての再量子化コードqiが得られる((1)式参照)。
また、上述のSD信号(525i信号)より、第3のタップ選択回路123で、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する動きクラスタップのデータ(SD画素データ)が選択的に取り出される。この第3のタップ選択回路123で選択的に取り出される動きクラスタップのデータ(SD画素データ)は動きクラス検出回路125に供給される。この動きクラス検出回路125では、動きクラスタップのデータとしての各SD画素データより動きクラス(主に動きの程度を表すためのクラス分類)のクラス情報MVが得られる。
この動き情報MVと上述した再量子化コードqiはクラス合成回路126に供給される。このクラス合成回路126では、これら動き情報MVと再量子化コードqiとから、作成すべきHD信号(1050i信号)を構成する単位画素ブロック毎にその単位画素ブロック内の4画素(注目画素)が属するクラスを示すクラスコードCLが得られる((3)式参照)。そして、このクラスコードCLは、係数メモリ134および正規化係数メモリ138に読み出しアドレス情報として供給される。
係数メモリ134には、例えば各垂直ブランキング期間に、係数生成回路136で、ユーザによって調整された調整値s,zに対応して、クラスおよび出力画素(HD1〜HD4,HD1´〜HD4´)の組み合わせ毎に、係数種データwi0〜wi9(i=1〜n)を用いて推定式の係数データWi(i=1〜n)が求められて格納される((5)式参照)。
この場合、情報メモリバンク135から係数生成回路136には、ユーザの周辺の明るさの情報LIに基づいて、その明るさの情報LIが示す明るさが含まれる明るさ範囲に対応した、各クラスの係数種データwi0〜wi9(i=1〜n)がロードされる。したがって、係数生成回路136では、ユーザの周辺の明るさに対応した係数データWi(i=1〜n)が生成される。
また、正規化係数メモリ138には、上述したように係数生成回路136で求められた推定式の係数データWi(i=1〜n)に対応した正規化係数Sが正規化係数演算部137で生成されて格納される((6)式参照)。
係数メモリ134に上述したようにクラスコードCLが読み出しアドレス情報として供給されることで、この係数メモリ134からクラスコードCLに対応した4出力画素(奇数フィールドではHD1〜HD4、偶数フィールドではHD1´〜HD4´)分の推定式の係数データWi(i=1〜n)が読み出されて推定予測演算回路127に供給される。また、上述したSD信号(525i信号)より、第1のタップ選択回路121で、作成すべきHD信号(1050i信号)を構成する単位画素ブロック内の4画素(注目位置の画素)の周辺に位置する予測タップのデータ(SD画素データ)が選択的に取り出される。
推定予測演算回路127では、予測タップのデータ(SD画素データ)xiと、係数メモリ134より読み出される4出力画素分の係数データWi(i=1〜n)とから、作成すべきHD信号を構成する単位画素ブロック内の4画素(注目位置の画素)のデータy1〜y4が演算される((4)式参照)。そして、この推定予測演算回路127より順次出力されるHD信号を構成する単位画素ブロック内の4画素のデータy1〜y4は正規化演算回路128に供給される。
正規化係数メモリ138には上述したようにクラスコードCLが読み出しアドレス情報として供給され、この正規化係数メモリ138からはクラスコードCLに対応した正規化係数S、つまり推定予測演算回路127より出力されるHD画素データy1〜y4の演算に使用された係数データWiに対応した正規化係数Sが読み出されて正規化演算回路128に供給される。この正規化演算回路128では、推定予測演算回路127より出力されるHD画素データy1〜y4がそれぞれ対応する正規化係数Sで除算されて正規化される。これにより、係数生成回路136で係数データWiを求める際の丸め誤差によるデータy1〜y4のレベル変動が除去される。
このように正規化演算回路128で正規化されて順次出力される単位画素ブロック内の4画素のデータy1´〜y4´は後処理回路129に供給される。この後処理回路129では、正規化演算回路128より順次供給される単位画素ブロック内の4画素のデータy1´〜y4´が線順次化され、1050i信号のフォーマットで出力される。つまり、後処理回路129からは、HD信号としての1050i信号が出力される。
このように、DRC回路18では、調整値s,zに対応した推定式の係数データWi(i=1〜n)が使用されて、HD画素データyが演算される。したがって、ユーザは、調整値s,zを調整することで、HD信号による画像の空間方向および時間方向の解像度を自由に調整できる。また、調整値s,zに対応した各クラスの係数データをその都度係数生成回路136で生成して使用するものであり、大量の係数データを格納しておくメモリは必要なく、メモリの節約を図ることができる。
次に、取得装置27、センサ28および蓄積装置29の詳細を説明する。図8は、これら取得装置27、センサ28および蓄積装置29の構成を示している。
まず、取得装置27を説明する。取得装置27は、調整値取得部27aと、バッファ27bと、比較部27cと、調整値送信部27dと、センサ動作信号送信部27eと、環境情報受信部と27fと、環境情報送信部27gとからなっている。
調整値取得部27aは、検査用端子17(図1参照)から垂れ流し的に出力されている調整値s,zをそれぞれ周期的に取得する。バッファ27bは、調整値取得部27aで取得された調整値s,zと比較するための調整値s,zを保持する。比較部27cは、調整値取得部27aで取得された今回の調整値sとバッファ27bに保持されている調整値sとを比較し、同じでなければ今回の調整値sを調整値送信部27dに送る。同様に、比較部27cは、調整値取得部27aで取得された今回の調整値zとバッファ27bに保持されている調整値zとを比較し、同じでなければ今回の調整値zを調整値送信部27dに送る。
調整値送信部27dは、比較部27cから送られた調整値s,zを蓄積装置29に送信する。ここで、調整値取得部27aで取得される調整値s,zには時刻情報が付加されている。したがって、比較部27cから調整値送信部27dに送られ、蓄積装置29に送信される調整値s,zにも、時刻情報が付加されている。これにより、取得装置27から蓄積装置29に調整値s,zが間欠的に送信されても、蓄積装置29では一連の調整における調整値の変化の過程を再現できる。なお、比較部27cから調整値送信部27dに調整値s,zが送られるとき、その調整値s,zがバッファ27bにも送られ、このバッファ27bに保持される調整値s,zが更新される。
センサ動作信号送信部27eは、比較部27cから調整値送信部27dに調整値s,zが送られるとき、センサ動作信号をセンサ28に送信する。環境情報受信部27fは、センサ28から送信されてくる環境情報を受信する。環境情報送信部27gは、環境情報受信部27fで受信された環境情報を蓄積装置29に送信する。
図9のフローチャートを参照して、取得装置27の動作を説明する。
ステップST1の待機状態にあるとき、周期的にステップST2に進む。そして、ステップST2で、内部バス11に調整値s,zが出力されているか否か、すなわち電源がオンであるか否かを判定する。電源がオフであるときは、ステップST1の待機状態に戻る。一方、電源がオンであるときは、ステップST3に進む。ステップST3では、調整値取得部27aは、検査用端子17から出力されている調整値s,zを取得する。この場合、取得された調整値s,zには時刻情報が付加される。
次に、ステップST4で、比較部27cは、調整値取得部27aで取得された調整値s,z(取得値)とバッファ27bに保持されている調整値s,z(保持値)とを比較し、同じであるか否かを反転する。同じであるときは、ステップST1の待機状態に戻る。一方、同じでないときは、ステップST5に進む。
ステップST5では、比較部27cは、調整値sが同じでないと判定されるときは調整値取得部27aで取得された調整値sを、一方調整値zが同じでないと判定されるときは調整値取得部27aで取得された調整値zを、調整値送信部27dから蓄積装置29に送信して蓄積する。なお、調整値sおよび調整値zは別個に調整されるものであり(図3参照)、ステップST4で、調整値sおよび調整値zが双方とも同じでないと判定されることはない。
次に、ステップST6で、センサ動作信号送信部27eはセンサ28にセンサ動作信号を送信し、そして環境情報受信部27fはセンサから送信されてくる環境情報を受信し、さらに環境情報送信部27gはその環境情報を蓄積装置29に送信して蓄積する。そして、ステップST7で、バッファ27bの保持内容を更新し、その後にステップST1の待機状態に戻る。この場合、調整値sが同じでないと判定されるときは調整値取得部27aで取得された調整値sを、一方調整値zが同じでないと判定されるときは調整値取得部27aで取得された調整値zを、比較部27cからバッファ27bに送って更新する。
ユーザが調整値s,zの調整を行うとき、検査用端子17から垂れ流し的に出力されている調整値sが変化する。上述した取得装置27においては、この調整値s,zの一連の調整における最終調整値およびこの最終調整値に至るまでの変化の過程にある調整値を取得し、蓄積装置29に送信できる。図10は、一連の調整における調整値の変化例を示している。この例では、ユーザは調整値を0〜8の範囲(レンジ)で調整できるものである。なお、この一連の調整における調整値の変化の過程に対応した時間を全体の収束時間と呼ぶことにする。また、一連の調整が終了し最終調整値に至ったかは、ある調整値に変化しその調整値が所定時間以上変化しなかったことで判断できる。
次に、センサ28を説明する。このセンサ28は、センサ動作信号受信部28aと、センシング部28bと、環境情報送信部28cとからなっている。センサ動作信号受信部28aは、取得装置27から送られてくるセンサ動作信号を受信する。
センシング部28bは、ユーザの周囲の環境情報、例えば明るさ、騒音、視聴距離、視聴方向、温度、湿度、時刻、電波状況等の情報を得る各種センサを有している。このセンシング部28bの各種センサは、上述したセンサ動作信号受信部28aでセンサ動作信号を受信したときセンシング状態となって情報を取得する。ただし、明るさの情報LIを得るセンサに関しては、上述したようにこの明るさの情報LIがDRC回路18(図1参照)で使用されるので、周期的にセンシング状態となって明るさの情報LIを取得する。
環境情報送信部28cは、上述のセンシング部28bの各種センサで取得された環境情報を取得装置27に送信する。
図11のフローチャートを参照して、センサ28の動作を説明する。
ステップST11の待機状態にあるとき、周期的にステップST2に進む。そして、ステップST2で、センサ動作信号受信部28aでセンサ動作信号を受信したか否かを判定する。センサ動作信号を受信していないときは、ステップST11の待機状態に戻る。一方、センサ動作信号を受信したときは、ステップST13に進む。
ステップST13では、センシング部28bの各種センサがセンシング状態となり、ステップST14で、当該各種センサは環境情報を取得する。そして、ステップST15で、環境情報送信部28cは、センシング部28bの各種センサで取得した環境情報を取得装置27に送信し、その後にステップST11の待機状態に戻る。
このように、センサ28は、取得装置27からセンサ動作信号が送られてくるとき、センシング部28bの各種センサでユーザの周囲における環境情報を取得し、その環境情報を取得装置27に送信する。なお、明るさの情報LIに関しては、取得装置27からのセンサ動作信号の送信の有無に依らずに周期的に取得する。
次に、蓄積装置29を説明する。この蓄積装置29は、調整値受信部29aと、環境情報受信部29bと、蓄積部29cとからなっている。調整値受信部29aは、取得装置27から送られてくる調整値s,zを受信する。また、環境情報受信部29bは、取得装置27から送られてくる環境情報を受信する。
また、蓄積部29cは、調整値受信部29aで受信された調整値s,z、すなわち調整値s,zの一連の調整における最終調整値およびこの最終調整値に至るまでの変化の過程にある調整値に基づいて、調整値s,zの各一連の調整における最終調整値および最終調整値に至る調整値の変化の過程に係る履歴情報を記憶する。
ここで、履歴情報として、最終調整値に至るまでの変化の過程にある調整値をそのまま記憶してもよいが、それから得られる加工情報を記憶してもよい。本実施の形態においては、例えば加工情報が記憶される。例えば、加工情報は、上述の図10に示す全体の収束時間の情報の他に、調整値の変化の過程に対応した波形の形状情報等が考えられる。
例えば、波形の形状情報は、調整値の変化の過程を、表示部24の画面上に表示される画像の画質の変化をユーザが見極めていた期間に対応する第1の領域SA、およびその後の画像の画質が所定の画質となるように調整していた期間に対応する第2の領域SBに分割し、それぞれの領域における波形形状を複数のタイプに分別することで得られる。
ここで、第1の領域SAの波形形状に関しては、この領域に含まれる波の数から複数のタイプに分別できる。この場合、波の数が多くなるタイプ程、ユーザにとって、調整値の変化による画質の変化がわかりにくかったと考えられ、従って最終調整値の信頼度も低いと判断できる。
また、第2の領域SBの波形形状に関しては、振幅の減衰の仕方を複数のタイプに分別できる。この場合、減衰の仕方が急な程、ユーザは画像の画質の細かな変化を見ないで最終調整値を決定したとものと考えられ、従って最終調整値の信頼度も低いと判断できる。
調整値の変化の過程を、上述したように2つの領域SA,SBに分割する方法としては、以下の第1〜第4の方法が考えられる。
第1の方法では、全体の収束時間を所定の割合で分割して、調整値の変化の過程を2つの領域SA,SBに分割する。例えば、全体の収束時間の80%を第1の領域SAとし、残りの20%を第2の領域SBとする。この場合、所定割合を予め設定しておく。
第2の方法では、調整値の変化の過程に含まれる、つまり全体の収束時間内の調整値の波の数を全体の波の数とし、この全体の波の数を所定の割合で分割して、調整値の変化の過程を2つの領域SA,SBに分割する。例えば、全体の波の数の80%を第1の領域SAとし、残りの20%を第2の領域SBとする。この場合、所定の割合を予め設定しておく。
第3の方法は、所定値以上の振幅を有する調整値の波を含む前半の領域を第1の領域SAとし、この所定値より小さな振幅を有する調整値の波のみを含む後半の領域を第2の領域SBとする。この場合、所定値を予め設定しておく。
第4の方法は、ユーザが、画像の画質変化を見極めることを終了し、画像の画質を所定の画質とする調整を開始するタイミングで操作するボタン等の操作手段を、例えばリモコン送信機23に備える場合であって、その操作手段の出力信号に基づいて、調整値の変化の過程を2つの領域SA,SBに分割する。
本実施の形態においては、例えば第3の方法が採用される。上述した図10における2つの領域SA,SBは、上述の第3の方法で、調整値の変化の過程を分割してなるものである。
図12、図13は、一連の調整における調整値の変化例を示している。これらの図における2つの領域SA,SBも、上述の第3の方法で、調整値の変化の過程を分割してなるものである。これらの例でも、ユーザは調整値を0〜8の範囲(レンジ)で調整できる。
図12、図13の変化例において、第1の領域SAに含まれる調整値の波の数は異なっている。したがって、これら図12、図13の変化例において、第1の領域SAの波形形状は別のタイプに分別される。
この場合、図12の変化例においては第1の領域SAに含まれる波の数は「1」であり、ユーザにとって、調整値の変化による画質の変化がわかり易かったと考えられ、従って最終調整値の信頼度は高いと判断できる。つまり、この図12の変化例の第1の領域SAの波形形状を分別して得られたタイプ(履歴情報)は、最終調整値の信頼度が高いことを表すことになる。
これに対して、図13の変化例においては第1の領域SAに含まれる波の数は「4」であり、ユーザにとって、調整値の変化による画質の変化がわかり難かったと考えられ、従って最終調整値の信頼度は低いと判断できる。つまり、この図13の変化例の第1の領域SAの波形形状を分別して得られたタイプ(履歴情報)は、最終調整値の信頼度が低いことを表すことになる。
また、図12、図13の変化例において、第2の領域SBの調整値の振幅の減衰の仕方は異なっている。したがって、これら図12、図13の変化例において、第2の領域SBの波形形状は別のタイプに分別される。
この場合、図12の変化例において、第2の領域SBにおける調整値の振幅の減衰は緩やかであり、ユーザは画像の画質の細かな変化を見ながら最終調整値を決定したとものと考えられ、従って最終調整値の信頼度は高いと判断できる。つまり、この図12の変化例の第2の領域SBの波形形状を分別して得られたタイプ(履歴情報)は、最終調整値の信頼度が高いことを表すことになる。
これに対して、図13の変化例において、第2の領域SBにおける調整値の振幅の減衰は急であり、ユーザは画像の画質の細かな変化を見ることなく最終調整値を決定したとものと考えられ、従って最終調整値の信頼度は低いと判断できる。つまり、この図13の変化例の第2の領域SBの波形形状を分別して得られたタイプ(履歴情報)は、最終調整値の信頼度が低いことを表すことになる。
また、蓄積部29cは、上述したように一連の調整における最終調整値および履歴情報に、その一連の調整をした際にセンサ28で取得され、環境情報受信部29bで受信された環境情報を付加して記憶する。このように、一連の調整における最終調整値および履歴情報に環境情報を付加しておくことで、その一連の調整における最終調整値および履歴情報がどのような環境で調整が行われて得られたものであるかを知ることができる。これにより、蓄積部29cに記憶されていく各一連の調整における最終調整値および履歴情報を、環境別に分けて使用することが可能となる。
図14は、蓄積部29cに形成される取得情報テーブルの概要を示している。データ1、データ2、・・・は、それぞれ各一連の調整における最終調整値、履歴情報および環境情報を示している。本実施の形態において、この取得情報テーブルは、調整値sおよび調整値zのそれぞれについて生成される。
次に、係数種データの生成方法の一例について説明する。この例においては、上述した(5)式の生成式における係数データである係数種データwi0〜wi9(i=1〜n)を求める例を示すものとする。
ここで、以下の説明のため、(7)式のように、tj(j=0〜9)を定義する。
t0=1,t1=s,t2=z,t3=s2,t4=sz,t5=z2,
t6=s3,t7=s2z,t8=sz2,t9=z3 ・・・(7)
この(7)式を用いると、(5)式は、(8)式のように書き換えられる。
最終的に、学習によって未定係数wijを求める。すなわち、クラスおよび出力画素の組み合わせ毎に、複数のSD画素データとHD画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をm、k(1≦k≦m)番目の学習データにおける残差をek、二乗誤差の総和をEとすると、(4)式および(5)式を用いて、Eは(9)式で表される。ここで、xikはSD画像のi番目の予測タップ位置におけるk番目の画素データ、ykはそれに対応するk番目のHD画像の画素データを表している。
最小二乗法による解法では、(9)式のwijによる偏微分が0になるようなwijを求める。これは、(10)式で示される。
以下、(11)式、(12)式のように、Xipjq、Yipを定義すると、(10)式は、(13)式のように行列を用いて書き換えられる。
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法(Gauss-Jordanの消去法)等を用いて、wijについて解かれ、係数種データwi0〜wi9(i=1〜n)が算出される。
図15は、上述した係数種データの生成方法の一例の概念を示している。HD信号から複数のSD信号を生成する。例えば、HD信号からSD信号を生成する際に使用するフィルタの空間方向(垂直方向および水平方向)の帯域と時間方向(フレーム方向)の帯域を可変する調整値s,zをそれぞれ9段階に可変して、合計81種類のSD信号を生成する。そして、これら複数種類のSD信号とHD信号との間で学習を行って係数種データを求める。
図16は、上述したテレビ受信機10におけるDRC回路18の情報メモリバンク135に格納される係数種データwi0〜wi9(i=1〜n)を生成するための係数種データ生成装置150の構成を示している。
この係数種データ生成装置150は、教師信号としてのHD信号(1050i信号)が入力される入力端子151と、このHD信号に対して水平および垂直の間引き処理を行って、生徒信号としてのSD信号を得るSD信号生成回路152とを有している。
このSD信号生成回路152には、上述したテレビ受信機10(図1参照)における調整値s,zと対応した、調整値s,zが入力される。SD信号生成回路152では、この調整値s,zに基づいて、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの、空間方向および時間方向の帯域が可変される。
また、このSD信号生成回路152には、上述したテレビ受信機10における蓄積装置29に記憶された、各一連の調整に対応した調整情報(最終調整値、履歴情報および環境情報)が入力される。
なお、使用開始前のテレビ受信機10におけるDRC回路18の情報メモリバンク135に格納される係数種wi0〜wi9(i=1〜n)を生成する際には、蓄積装置29にいまだ最終調整値、履歴情報および環境情報が記憶されていないので、SD信号生成回路152には調整情報は入力されない。つまり、SD信号生成回路152に調整情報が入力されるのは、例えばテレビ受信機10のバージョンアップ時にDRC回路18が含まれる基板を取り換える場合であって、その情報メモリバンク135に格納される係数種データwi0〜wi9(i=1〜n)を生成する際などである。
SD信号生成回路152では、調整情報に基づいて、入力された調整値s,zの値が変更され、この変更された調整値s,zに応じて、上述したように空間方向および時間方向の帯域が可変される。調整情報の入力がないときは、入力された調整値s,zそのものに応じて、上述したように空間方向および時間方向の帯域が可変される。
ここで、上述のテレビ受信機10では、ユーザの操作によって調整値s,zが、例えばそれぞれ0〜8の範囲内で、所定のステップをもって調整され、空間方向および時間方向の解像度の調整が行われる。
この場合、SD信号生成回路152で入力される調整値s,zのそのものに応じて空間方向および時間方向の帯域が可変される場合、テレビ受信機10では図17に実線枠BFで示す範囲(空間解像度はy1〜y2、時間解像度はx1〜x2)内で解像度の調整を行い得るように、係数種データwi0〜wi9(i=1〜n)が生成される。
調整情報が入力される場合、SD信号生成回路152では、調整値s,zの値のそれぞれにおける最終調整値の重心位置が求められる。本実施の形態においては、環境情報として含まれる明るさの情報LIに基づいて、各一連の調整における調整情報が複数の明るさの範囲に分けられ、従って各明るさの範囲毎に最終調整値の重心位置が求められる。この場合、対応する履歴情報、例えば上述した第1の領域SAおよび第2の領域SBの波形状態に基づいて各最終調整値に重み付けがされる。すなわち、履歴情報によって最終調整値の信頼度が高いと判断される程、大きな重み付けがされる。これにより、重心位置の精度を向上させることができる。
そして、SD信号生成回路152では、各明るさの範囲毎に、上述したように求められた重心位置に基づいて、入力される調整値s,zが変更される。この場合、調整値s,zが大きくなるほど帯域が狭くされ、これによりテレビ受信機10(図1参照)では、調整値s,zが大きくされるほど解像度が上がるように調整されるようになる。
ここでは、テレビ受信機10側で調整される調整値s,zの変化範囲の中心が、求められた重心位置に移動するように、入力される調整値s,zが線形変換される。例えば、テレビ受信機10側で調整される調整値s,zの変化範囲の中心値がs0,z0、求められる重心位置がsm,zm、入力される調整値s,zがs1,z1であるとき、変換後の調整値s,zの値s2,z2は、s2=s1+(sm−s0)、z2=z1+(zm−z0)の変換式で求められる。
このように変換された調整値s,zに応じて空間方向および時間方向の帯域が可変される場合、テレビ受信機10では、図17に実線枠BFで示す範囲内の解像度調整位置(「×」印で図示)の重心位置を中心とする、図17の一点鎖線枠AFで示す範囲(空間解像度はy1´〜y2´、時間解像度はx1´〜x2´)内で解像度の調整を行い得るように、係数種データwi0〜wi9(i=1〜n)が生成される。
図16に戻って、また、係数種データ生成装置150は、SD信号生成回路152より出力されるSD信号(525i信号)より、HD信号(1050i信号)における注目位置の周辺に位置する複数のSD画素のデータを選択的に取り出して出力する第1〜第3のタップ選択回路153〜155を有している。これら第1〜第3のタップ選択回路153〜155は、上述した画像信号処理部110の第1〜第3のタップ選択回路121〜123と同様に構成される。
また、係数種データ生成装置150は、第2のタップ選択回路154で選択的に取り出される空間クラスタップのデータ(SD画素データ)のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路157を有している。この空間クラス検出回路157は、上述した画像信号処理部110の空間クラス検出回路124と同様に構成される。この空間クラス検出回路157からは、空間クラスタップのデータとしての各SD画素データ毎の再量子化コードqiが空間クラスを示すクラス情報として出力される。
また、係数種データ生成装置150は、第3のタップ選択回路155で選択的に取り出される動きクラスタップのデータ(SD画素データ)より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報MVを出力する動きクラス検出回路158を有している。この動きクラス検出回路158は、上述した画像信号処理部110の動きクラス検出回路125と同様に構成される。この動きクラス検出回路158では、第3のタップ選択回路155で選択的に取り出される動きクラスタップのデータ(SD画素データ)からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
また、係数種データ生成装置150は、空間クラス検出回路157より出力される空間クラスのクラス情報としての再量子化コードqiと、動きクラス検出回路158より出力される動きクラスのクラス情報MVに基づき、HD信号(1050i信号)に係る注目画素が属するクラスを示すクラスコードCLを得るためのクラス合成回路159を有している。このクラス合成回路159も、上述した画像信号処理部110のクラス合成回路126と同様に構成される。
また、係数種データ生成装置150は、正規方程式生成部160を有している。この正規方程式生成部160は、入力端子151に供給されるHD信号から得られる注目位置の画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路153で選択的に取り出される予測タップのデータ(SD画素データ)xiと、SD信号生成回路152に入力される調整値s,zと、各HD画素データyにそれぞれ対応してクラス合成回路159より出力されるクラスコードCLとから、クラス毎に、係数種データwi0〜wi9(i=1〜n)を得るための正規方程式((13)式参照)を生成する。
この場合、1個のHD画素データyとそれに対応するn個の予測タップのデータ(SD画素データ)xiとの組み合わせで学習データが生成される。そしてこの場合、調整値s,zの変化に対応してSD信号生成回路152における空間方向および時間方向の帯域が可変され、複数のSD信号が順次生成されていき、HD信号と各SD信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部160では調整値s,zが異なった多くの学習データが登録された正規方程式が生成され、この正規方程式から係数種データwi0〜wi9(i=1〜n)を求めることが可能となる。
なおこの場合、SD信号生成回路152で入力された調整値s,zを変更するための上述した重心位置が、各明るさの範囲に対応した重心位置に順次変更される。そのため、正規方程式生成部160では、各明るさの範囲にそれぞれ対応して、上述したようにクラス毎に、係数種データwi0〜wi9(i=1〜n)を得るための正規方程式が生成される。
またこの場合、1個のHD画素データyとそれに対応するn個の予測タップのデータ(SD画素データ)xiとの組み合わせで学習データが生成されるが、正規方程式生成部160では、出力画素(図6のHD1〜HD4、図7のHD1´〜HD4´参照)毎に、正規方程式が生成される。例えば、HD1に対応した正規方程式は、中心予測タップに対するずれ値がHD1と同じ関係にあるHD画素データyから構成される学習データから生成される。
また、係数種データ生成装置150は、係数種データ決定部161と、係数種メモリ162とを有している。係数種データ決定部161は、正規方程式生成部160から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法などによって解き、各明るさの範囲にそれぞれ対応して、クラスおよび出力画素の組み合わせ毎に、係数種データwi0〜wi9(i=1〜n)を求める。係数種メモリ162は、係数種データ決定部161で求められた係数種データwi0〜wi9(i=1〜n)を格納する。
図16に示す係数種データ生成装置150の動作を説明する。
入力端子151には教師信号としてのHD信号(1050i信号)が供給され、そしてこのHD信号に対してSD信号生成回路152で水平および垂直の間引き処理が行われて生徒信号としてのSD信号(525i信号)が生成される。
この場合、SD信号生成回路152には、HD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向および時間方向の帯域を定める、つまり生成されるSD信号の空間方向および時間方向の解像度を定める調整値s,zが入力される。
また、SD信号生成回路152には、例えばテレビ受信機10のバージョンアップ時にDRC回路18が含まれる基板を取り換える場合であって、その情報メモリバンク135に格納される係数種データwi0〜wi9(i=1〜n)を生成する際には、当該テレビ受信機10における蓄積装置29に記憶された、ユーザが過去に行った調整値s,zの各一連の調整に対応した調整情報(最終調整値、履歴情報および環境情報)が入力される。
SD信号生成回路152では、調整情報が入力されるときは、この調整情報に基づいて入力された調整値s,zが変更される。この場合、SD信号生成回路152では、調整値s,zのそれぞれにおける最終調整値の重心位置が各明るさの範囲毎に求められる。そして、このSD信号生成回路152では、各明るさの範囲毎に、順に、テレビ受信機10側で調整される調整値s,zの変化範囲の中心が、求められた重心位置に移動するように、入力される調整値s,zが線形変換される。
SD信号生成回路152では、調整情報が入力されるときは、上述したように変更された調整値s,zに応じて、上述したようにHD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向および時間方向の帯域が可変される。
なお、使用開始前のテレビ受信機10におけるDRC回路18の情報メモリバンク135に格納される係数種データwi0〜wi9(i=1〜n)を生成する際には、調整情報の入力がないので、入力された調整値s,zそのものに応じて、上述したようにHD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向および時間方向の帯域が可変される。
SD信号生成回路152に入力される調整値s,zが順次変更されることで、上述したようにHD信号からSD信号を生成する際に用いられる帯域制限フィルタの空間方向および時間方向の帯域が変更されることから、各明るさの範囲毎に、空間方向および時間方向の帯域が段階的に変化した複数のSD信号が生成されていく。
また、SD信号生成回路152で生成されたSD信号(525i信号)より、第2のタップ選択回路154で、HD信号(1050i信号)における注目位置の周辺に位置する空間クラスタップのデータ(SD画素データ)が選択的に取り出される。この第2のタップ選択回路154で選択的に取り出される空間クラスタップのデータ(SD画素データ)は空間クラス検出回路157に供給される。この空間クラス検出回路157では、空間クラスタップのデータとしての各SD画素データに対してADRC処理が施されて空間クラス(主に空間内の波形表現のためのクラス分類)のクラス情報としての再量子化コードqiが得られる((1)式参照)。
また、SD信号生成回路152で生成されたSD信号より、第3のタップ選択回路155で、HD信号に係る注目画素の周辺に位置する動きクラスタップのデータ(SD画素データ)が選択的に取り出される。この第3のタップ選択回路155で選択的に取り出される動きクラスタップのデータ(SD画素データ)は動きクラス検出回路158に供給される。この動きクラス検出回路158では、動きクラスタップのデータとしての各SD画素データより動きクラス(主に動きの程度を表すためのクラス分類)のクラス情報MVが得られる。
このクラス情報MVと上述した再量子化コードqiはクラス合成回路159に供給される。このクラス合成回路159では、これらクラス情報MVと再量子化コードqiとから、HD信号(1050i信号)における注目位置の画素データが属するクラスを示すクラスコードCLが得られる((3)式参照)。
また、SD信号生成回路152で生成されるSD信号より、第1のタップ選択回路153で、HD信号における注目位置の周辺に位置する予測タップのデータ(SD画素データ)が選択的に取り出される。
そして、入力端子151に供給されるHD信号より得られる注目位置の画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路153で選択的に取り出される予測タップのデータ(SD画素データ)xiと、SD信号生成回路152に入力される調整値s,zと、各HD画素データyにそれぞれ対応してクラス合成回路159より出力されるクラスコードCLとから、正規方程式生成部160では、各明るさの範囲にそれぞれ対応して、クラスおよび出力画素の組み合わせ毎に、係数種データwi0〜wi9(i=1〜n)を得るための正規方程式((13)式参照)が生成される。
そして、係数種データ決定部161で各正規方程式が解かれて係数種データwi0〜wi9(i=1〜n)が求められ、その係数種データwi0〜wi9(i=1〜n)は係数種メモリ162に格納される。
このように、図16に示す係数種データ生成装置150においては、図1に示すテレビ受信機10におけるDRC回路18の情報メモリバンク135に格納される、各明るさの範囲にそれぞれ対応した、クラスおよび出力画素の組み合わせ毎の係数種データwi0〜wi9(i=1〜n)を生成できる。
また、この係数種データ生成装置150において、例えばテレビ受信機10のバージョンアップ時にDRC回路18が含まれる基板を取り換える場合であって、その情報メモリバンク135に格納される係数種データwi0〜wi9(i=1〜n)を生成する際には、SD信号生成回路152に、当該テレビ受信機10における蓄積装置29に記憶された、ユーザが過去に行った調整値s,zの各一連の調整に対応した調整情報(最終調整値、履歴情報および環境情報)が入力される。
SD信号生成回路152では、この調整情報に基づいて、入力される調整値s,zが変更され、この変更された調整値s,zによって、HD信号からSD信号を得る際に用いられる帯域制限フィルタの空間方向および時間方向の帯域が可変される。
このようにして求められた係数種データwi0〜wi9(i=1〜n)を、テレビ受信機10のバージョンアップ時に新たに装着されるDRC回路18が含まれる基板の情報メモリバンク135に格納して使用することで、ユーザは、調整値s,zの調整により、過去の解像度調整の重心位置を中心とする範囲(図17の一点鎖線枠AF参照)内で解像度の調整を行うことが可能となる。すなわち、ユーザの好みに合わせた解像度調整範囲が自動的に設定され、ユーザはその範囲内で解像度の調整を行うことができる。
また、SD信号生成回路152では、各一連の調整における調整情報が、環境情報として含まれる明るさの情報LIに基づいて複数の明るさの範囲に分けられ、各明るさの範囲毎に最終調整値の重心位置が求められる。そして、このSD信号生成回路152では各明るさの範囲毎に、入力された調整値s,zが変更され、正規方程式生成部160では各明るさの範囲毎に正規方程式が生成され、各明るさの範囲にそれぞれ対応した係数種データwi0〜wi9(i=1〜n)が求められる。
このようにして求められた各明るさの範囲に対応した係数種データwi0〜wi9(i=1〜n)を、テレビ受信機10のバージョンアップ時に新たに装着されるDRC回路18が含まれる基板の情報メモリバンク135に格納して使用することで、ユーザは、種々の明るさの状態で、調整値s,zの調整により、過去の解像度調整の重心位置を中心とする範囲(図17の一点鎖線枠AF参照)内で解像度の調整を行うことが可能となる。
なお、上述実施の形態においては、テレビ受信機10の検査用端子17に取得装置27が接続され、従ってテレビ受信機10の本体側から調整値s,zの一連の調整における最終調整値およびこの最終調整値に至るまでの変化の過程にある調整値を取得するものを示した。
このような取得装置を、リモコン送信機23に接続して、上述した調整値s,zの一連の調整における最終調整値およびこの最終調整値に至るまでの変化の過程にある調整値を取得することも考えられる。
図18は、その場合における取得装置27A、センサ28および蓄積装置29の構成を示している。センサ28および蓄積装置29は、図8に示すセンサ28および蓄積装置29と同様であるので、ここでは取得装置27Aのみを説明する。この図18において、図8と対応する部分には同一符号を付して示している。
取得装置27Aは、調整値取得部27hと、調整値送信部27dと、センサ動作信号送信部27eと、環境情報受信部27fと、環境情報送信部27gとからなっている。
調整値取得部27hには、リモコン送信機23から、調整値s,zを含む操作情報が送られてくる。調整値取得部27hは、調整値s,zの調整操作が行われている場合、調整値s,zを周期的に取得する。調整値送信部27dは、調整値取得部27hで取得された調整値s,zを蓄積装置29に送信する。ここで、調整値取得部27hで取得される調整値s,zには時刻情報が付加されている。
センサ動作信号送信部27eは、調整値取得部27hで調整値s,zを取得するとき、センサ動作信号をセンサ28に送信する。環境情報受信部27fおよび環境情報送信部27gは、図8に示す取得装置27における環境情報受信部27fおよび環境情報送信部27gと同じものである。
図19のフローチャートを参照して、取得装置27Aの動作を説明する。
ステップST21の待機状態にあるとき、周期的にステップST22に進む。そして、ステップST22で、調整値取得部27hは、調整情報に基づいて、調整操作が行われているか否かを判定する。調整操作が行われていないときは、ステップST21の待機状態に戻る。一方、調整操作が行われているときは、ステップST23に進む。
ステップST23では、調整値取得部27hは、調整情報に含まれている調整値s,zを取得し、調整値送信部27dに送る。この場合、取得された調整値s,zには時刻情報が付加される。またこの場合、調整値sの調整操作が行われているときは当該調整値sを取得し、一方調整値zの調整操作が行われているときは当該調整値zを取得する。さらに、このステップST23では、調整値送信部27dは、調整値取得部27hで取得されて送られてくる調整値sまたは調整値zを、蓄積装置29に送信して蓄積する。
次に、ステップST24で、センサ動作信号送信部27eはセンサ28にセンサ動作信号を送信し、そして環境情報受信部27fはセンサから送信されてくる環境情報を受信し、さらに環境情報送信部27gはその環境情報を蓄積装置29に送信して蓄積する。そして、このステップST24の後に、ステップST21の待機状態に戻る。
ユーザがリモコン送信機23で調整値s,zの調整を行うとき、操作情報に基づいて調整操作を行っていることがわかる。したがって、上述した取得装置27Aにおいても、この調整値s,zの一連の調整における最終調整値およびこの最終調整値に至るまでの変化の過程にある調整値を取得し、蓄積装置29に送信できる。
また、上述実施の形態においては、DRC回路18で得られるHD信号(1050i信号)による画像の空間解像度および時間解像度を調整するものを示したが、この発明は、その他の画質、例えばノイズ抑圧度、輝度、色相、彩度等を調整するものにも同様に適用できる。また、この発明は、情報信号が音声信号であるものにも同様に適用できる。情報信号が音声信号であるとき、出力の質は音質であって、高音、低音の増減、ノイズ抑圧度、音量等が調整されることになる。
また、上述実施の形態においては、DRC回路18に供給される環境情報は明るさの情報LIであるが、これに限定されるものではなく、騒音の情報、視聴距離の情報、視聴方向、時刻、電波状況等の情報であってもよい。その場合も、それらの情報が示す環境状況に対応した係数種データwi0〜wi9(i=1〜n)が使用されて、推定式の係数データWi(i=1〜n)が生成される。
また、上述実施の形態においては、蓄積装置29に記憶される最終調整値、履歴情報および環境情報は、例えばテレビ受信機10のバージョンアップ時にDRC回路18が含まれる基板を取り換える場合において、その情報メモリバンク135に格納される係数種データwi0〜wi9(i=1〜n)を生成する場合に利用することを説明したが、その他の場合に利用することもできる。
例えば、本出願人が先に提案した、画像内容に応じて、自動的に、画像の解像度を変更可能としたテレビジョン受像機(特願2002−302880号)において、画像内容に応じた調整値を決定する際に使用できる。この場合、ユーザ調整に係る各一連の調整の最終調整値、履歴情報および環境情報は、その調整時における画像内容と関連付けて記憶装置に記憶される。
そして、画像内容に応じた調整値を決定する際には、例えば当該画像内容に対応した複数の最終調整値を履歴情報から得られる信頼度に基づいて重み付け平均して決定することで、ユーザの嗜好にあった調整値に精度よく決定できる。またこの際、その時の環境に合致した最終調整値のみを用いて調整値を決定することで、さらにユーザの嗜好に合った調整値を決定できる。
また、上述実施の形態においては、蓄積装置29に各一連の調整の最終調整値、履歴情報および環境情報を記憶装置29に記憶するものを示したが、最終調整値および履歴情報あるいは最終調整値および環境情報を記憶するようにしてもよい。これによっても、履歴情報あるいは環境情報を用いて最終調整値を効果的に利用できる。
10・・・テレビ受信機、11・・・内部バス、12・・・チューナ、13・・・デコーダ、14・・・CPU、15・・・RAM、16・・・ROM、17・・・検査用端子、18・・・DRC回路、19・・・入出力インタフェース、20・・・ドライブ、21・・・リムーバブルメディア、22・・・受光部、23・・・リモコン送信機、24・・・表示部、25・・・HDD、26・・・操作部、27・・・取得装置、28・・・センサ、29・・・蓄積装置、121〜123・・・第1〜第3のタップ選択回路、124・・・空間クラス検出回路、125・・・動きクラス検出回路、126・・・クラス合成回路、127・・・推定予測演算回路、128・・・正規化演算回路、129・・・後処理回路、134・・・係数メモリ、135・・・情報メモリバンク、136・・・係数生成回路、137・・・正規化係数演算部、138・・・正規化係数メモリ