JP4232430B2 - 画像処理装置および方法、記録媒体、並びに、プログラム - Google Patents
画像処理装置および方法、記録媒体、並びに、プログラム Download PDFInfo
- Publication number
- JP4232430B2 JP4232430B2 JP2002302880A JP2002302880A JP4232430B2 JP 4232430 B2 JP4232430 B2 JP 4232430B2 JP 2002302880 A JP2002302880 A JP 2002302880A JP 2002302880 A JP2002302880 A JP 2002302880A JP 4232430 B2 JP4232430 B2 JP 4232430B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- signal
- image
- data
- volume value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びに、プログラムに関し、特に、ユーザの嗜好に合う画質に自動的に調整することができるようにした画像処理装置および方法、記録媒体、並びに、プログラムに関する。
【０００２】
【従来の技術】
近年、ハイビジョン方式の開発に伴い、NTSC（National Television System Committee）方式のビデオ信号（走査線数が５２５本であり、縦横比が３：４である）を、ハイビジョン方式のビデオ信号（走査線数１１２５本であり、縦横比が９：１６である）に変換する方法が開発されている。
【０００３】
しかしながら、この方法においては、ハイビジョン方式のビデオ信号による画像の解像度は固定されており、例えば、従来のコントラストやシャープネス等の調整のように、画像内容に応じて、画像の解像度を変更することができないという課題があった。
【０００４】
そこで、本出願人は、ハイビジョン方式のビデオ信号により表示される画像の解像度を、調整できるようにすることを先に提案している（例えば、特許文献１）。
【０００５】
【特許文献１】
特開２００１−２３８１８５号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示されている方法においては、画像毎にユーザが嗜好する解像度に合わせる必要があり、手間がかかるという課題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、ユーザの嗜好に合う画質に迅速に調整するようにするものである。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出する特徴量抽出手段と、ユーザにより入力された第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、特徴量抽出手段により抽出された特徴量をボリューム値に対応して記憶する記憶手段と、ユーザにより、ボリューム値が入力されてこない場合、記憶手段に記憶されている複数のボリューム値および特徴量の値、並びにそのとき入力されている第１の画像の特徴量の値を用いて、そのとき入力されている第１の画像のボリューム値を算出するボリューム値算出手段と、ユーザにより、ボリューム値が入力されてこない場合、そのとき入力されている第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、ボリューム値算出手段により算出されたボリューム値に対応する値に調整し、値が調整された第２の画像を出力する画像処理手段とを備える。
【００１０】
ボリューム値算出手段は、記憶手段に記憶されている複数のボリューム値および特徴量の値を用いた線形式に最小自乗法を適用して線形式の係数を求め、係数が求められた線形式とそのとき入力されている第１の画像の特徴量の値から、そのとき入力されている第１の画像のボリューム値を算出することができる。
【００１１】
ボリューム値算出手段は、係数の算出を、画像処理装置の電源がオフされているとき行うことができる。
【００１２】
ボリューム値算出手段は、記憶手段に記憶されている複数の特徴量の値と、そのとき入力されている第１の画像の特徴量の値との距離を演算し、記憶手段に記憶されている複数の特徴量の値のうち、演算された距離が最小になる特徴量の値に対応するボリューム値を、そのとき入力されている第１の画像のボリューム値として算出することができる。
【００１３】
本発明の画像処理方法は、画像処理装置が、入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出し、ユーザにより入力された第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、抽出された特徴量をボリューム値に対応して記憶手段に記憶し、ユーザにより、ボリューム値が入力されてこない場合、記憶手段に記憶されている複数のボリューム値および特徴量の値、並びにそのとき入力されている第１の画像の特徴量の値を用いて、そのとき入力されている第１の画像のボリューム値を算出し、ユーザにより、ボリューム値が入力されてこない場合、そのとき入力されている第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、算出されたボリューム値に対応する値に調整し、値が調整された第２の画像を出力するステップを含む。
【００１４】
本発明の記録媒体に記録されているプログラムは、入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出し、ユーザにより入力された第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、抽出された特徴量をボリューム値に対応して記憶手段に記憶させ、ユーザにより、ボリューム値が入力されてこない場合、記憶手段に記憶されている複数のボリューム値および特徴量の値、並びにそのとき入力されている第１の画像の特徴量の値を用いて、そのとき入力されている第１の画像のボリューム値を算出し、ユーザにより、ボリューム値が入力されてこない場合、そのとき入力されている第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、算出されたボリューム値に対応する値に調整し、値が調整された第２の画像を出力するステップを含む処理をコンピュータに実行させる。
【００１５】
本発明のプログラムは、入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出し、ユーザにより入力された第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、抽出された特徴量をボリューム値に対応して記憶手段に記憶させ、ユーザにより、ボリューム値が入力されてこない場合、記憶手段に記憶されている複数のボリューム値および特徴量の値、並びにそのとき入力されている第１の画像の特徴量の値を用いて、そのとき入力されている第１の画像のボリューム値を算出し、ユーザにより、ボリューム値が入力されてこない場合、そのとき入力されている第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、算出されたボリューム値に対応する値に調整し、値が調整された第２の画像を出力するステップを含む処理をコンピュータに実行させる。
【００１６】
本発明においては、入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量が抽出され、ユーザにより入力された第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値が記憶されるとともに、抽出された特徴量をボリューム値に対応して記憶手段に記憶される。そして、ユーザにより、ボリューム値が入力されてこない場合、記憶手段に記憶されている複数のボリューム値および特徴量の値、並びにそのとき入力されている第１の画像の特徴量の値を用いて、そのとき入力されている第１の画像のボリューム値が算出され、ユーザにより、ボリューム値が入力されてこない場合、そのとき入力されている第１の画像の水平解像度、垂直解像度、またはノイズ除去度が、算出されたボリューム値に対応する値に調整され、値が調整された第２の画像が出力される。
【００１７】
【発明の実施の形態】
図１は、本発明を適用したテレビジョン受像機１の構成例を示すブロック図である。
【００１８】
このテレビジョン受像機１は、チューナ１２により受信される放送信号、すなわち、ＳＤ(Standard Definition)信号（５２５ｉ信号（ライン数が５２５本でインターレース方式の画像信号））を、ＨＤ（High Definition）信号（５２５ｐ信号（ライン数が５２５本でプログレッシブ方式の画像信号）または１０５０ｉ信号（ライン数が１０５０本でインターレース方式の画像信号））に変換し、（表示部３２に）表示する機能を有している。
【００１９】
テレビジョン受像機１においては、内部バス１１を介して、チューナ１２、デコーダ１３、CPU（Central Processing Unit）１４、RAM(Random Access Memory)１５、ROM(Read Only Memory)１６、信号処理部１７、DRC（Digital Reality Creation）回路１８、および入出力インターフェース１９が相互に接続されている他、必要に応じて、ドライブ２０がさらに接続される。
【００２０】
入出力インターフェース１９には、受光部３１、表示部３２、HDD（Hard Disk Drive）３３、および操作部３４が接続されている。
【００２１】
ユーザが後述する図７のリモートコントローラ２００を操作して出力する信号は、受光部３１から入力される。また、ユーザは、操作部３４を操作することで指令を入力することもできる。CPU１４は、受信した指令に基づく処理を実行する。ユーザは、リモートコントローラ（後述する図７のリモートコントローラ２００）または操作部３４を操作することにより、入力画像の画質を調整するための調整値を入力することができる。
【００２２】
CPU１４は、ROM１６に記憶されているプログラム、または、HDD３３からRAM１５にロードされたプログラムに従って各種の処理を実行する。RAM１５にはまた、CPU１４が各種の処理を実行する上において必要なデータなどが適宜記憶される。HDD３３は、CPU１４が実行するOS（Operating Systems）やアプリケーションプログラムを格納する他、チューナ１２から受信した放送信号に基づくデータを記憶する。
【００２３】
CPU１４は、ユーザの操作に基づいて、リモートコントローラ（後述する図７のリモートコントローラ２００）から赤外線信号（後述する図７のＲＭ）が受光部３１に入力されるか、または、ユーザにより操作部３４に指令が入力されると、チューナ１２に図示せぬ放送局からの放送信号を受信させ、デコーダ１３にデコードさせる。デコーダ１３は、デコードした放送信号に基づくビデオデータを、内部バス１１を介して信号処理部１７およびDRC回路１８に出力する。
【００２４】
信号処理部１７は、ビデオデータを受信し、ユーザからボリューム値が入力されない場合（後述する図３のステップＳ１３においてＮＯとされた場合）、ユーザの嗜好に合わせたボリューム値を算出し、DRC回路１８に通知する（後述する図３のステップＳ２２の処理）。DRC回路１８は、ビデオデータを受信し、ユーザにより指令されたボリューム値、または、信号処理部１７から通知されたボリューム値に基づいて、例えば、水平解像度と垂直解像度を所定の値に設定、変更するとともに、ノイズ除去度を、その解像度に合った値に設定変更する。
【００２５】
なお、DRC回路１８の構成例については、図６を参照して後述する。DRC回路１８により処理されたビデオデータは、内部バス１１および入出力インターフェース１９を介して、表示部３２に出力される（後述する図４の処理）。表示部３２は、供給されたビデオデータに基づく画像を表示する。
【００２６】
内部バス１１は、必要に応じてドライブ２０に接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じてHDD３３にインストールされる。
【００２７】
図２は、図１の信号処理部１７の機能的構成を示すブロック図である。
【００２８】
信号処理部１７には、特徴量抽出部７１、記憶部７２、およびボリューム算出部７３が設けられている。
【００２９】
特徴量抽出部７１は、入力画像（チューナ１２により受信され、デコーダ１３によりデコードされたビデオ信号に基づく画像）を取得し、特徴量を抽出する。このとき、抽出される特徴量は、平均輝度、エッジ量、動き量、および、輝度分布などである。その詳細は、図５を参照して後述する。
【００３０】
記憶部７２は、特徴量抽出部７１により抽出された特徴量と、ユーザがリモートコントローラ（後述する図７のリモートコントローラ２００）または操作部３４を操作することで入力されたボリューム値を記憶する。すなわち、記憶部７２には、ボリューム値と、それに対応する特徴量の履歴が記憶される。
【００３１】
ボリューム算出部７３は、記憶部７２に記憶されている過去の特徴量およびボリューム値の履歴に基づいて、任意の入力画像の特徴量に対するボリューム値を演算するための係数を算出し、記憶部７２に記憶させる。ユーザによりボリューム値が入力されない場合（後述する図３のステップＳ１３においてＮＯとされる場合）、ボリューム算出部７３は、このボリューム値を算出するための係数を記憶部７２から読み出し、この係数と、と特徴量抽出部７１により新たに抽出された特徴量（その時点における入力画像の特徴量）に基づいて、そのとき出力する画像の最適ボリューム値を算出し、算出したボリューム値をDRC回路１８に通知する。
【００３２】
DRC回路１８は、通知されたボリューム値（信号処理部１７のボリューム算出部７３により算出されたボリューム値）に基づいて、ビデオデータを処理し（ＳＤ信号を、ボリューム値に対応する信号に変換し）、表示部３２に出力し、表示させる。
【００３３】
なお、記憶部７２は、不揮発性メモリまたはHDDなど、記憶できるものであれば何でもよい。
【００３４】
次に、図３と図４のフローチャートを参照して、信号処理部１７とDRC回路１８における処理について説明する。最初に、図３のフローチャートを参照して、信号処理部１７における処理について説明する。なお、この処理は、ユーザによりテレビジョン受像機１の電源のオンが指令されたとき（受光部３１にリモートコントローラ（後述する図７のリモートコントローラ２００）からの指令が入力されたとき、または、操作部３４に指令が入力されたとき）開始される。
【００３５】
ステップＳ１１において、特徴量抽出部７１は、入力画像（チューナ１２により受信され、デコーダ１３によりデコードされたビデオ信号に基づく画像）を取得する。
【００３６】
ステップＳ１２において、特徴量抽出部７１は、入力画像の特徴量を抽出する。このとき、特徴量としては、図５に示されるように、平均輝度、エッジ量、動き量、および、輝度分布が抽出される。図５の例では、第１回目の特徴量として、平均輝度１８８、エッジ量４２、動き量０．１０１２、および輝度分布が２９００．９４の各値が抽出されている（図５の１行目）。
【００３７】
ステップＳ１３において、ボリューム算出部７３は、ユーザによりボリューム値が入力されたか否かを判定する。ユーザは、上述したように、リモートコントローラ（後述する図７のリモートコントローラ２００）または操作部３４を操作することにより、入力画像の画質（出力状態）を調整する値であるボリューム値を入力することができる。ボリューム値が入力されたと判定された場合、処理はステップＳ１４に進み、ボリューム算出部７３は、ユーザにより入力されたボリューム値をDRC回路１８に通知する。図５の例の場合、ボリューム値１６５が通知される。この通知を受けたとき、DRC回路１８は、ユーザにより入力されたボリューム値を取得し、入力されたボリューム値に基づいてビデオデータを処理し（水平解像度、垂直解像度、およびノイズ除去度をボリューム値に対応する値に調整し）、画像を出力する（後述する図４のステップＳ５２乃至Ｓ５４の処理）。
【００３８】
ステップＳ１５において、ボリューム算出部７３は、ユーザによりボリューム値の入力が終了したか否かを判定する。具体的には、例えば、ステップＳ１４の処理により取得されたボリュームが、一定の期間変更されなかったとき、ボリュームの入力が終了したと判定される。ボリューム値の入力が終了していないと判定された場合、処理はステップＳ１４に戻り、それ以降の処理が繰り返される。
【００３９】
ステップＳ１５において、ボリューム値の入力が終了したと判定された場合、ステップＳ１６において、ボリューム算出部７３は、最終的に決定された最終ボリューム値を記憶部７２に記憶させる。またこのとき、ボリューム算出部７３は、最終ボリューム値が決定されたタイミングにおいて特徴量抽出部７１により抽出された特徴量を最終ボリューム値に対応して記憶部７２に記憶させる。
【００４０】
すなわち、記憶部７２には、最終ボリューム値（ステップＳ１４の処理により取得され、ステップＳ１５の処理においてYESとされた場合のボリューム値）（図５の例の場合、ボリューム値は１６５）と、特徴量（ステップＳ１２の処理により抽出された特徴量）（図５の例の場合、平均輝度１８８、エッジ量４２、動き量０．１０１２、および輝度分布２９００．９４）が対応して記憶される。
【００４１】
以上のステップＳ１３乃至ステップＳ１６の処理が繰り返されることにより、記憶部７２には、図５に示されるように、ボリューム値６２に対応して、平均輝度１０５、エッジ量３４、動き量０．７８２３、および輝度分布５４２．９２が記憶され、ボリューム値１０に対応して、平均輝度１１９、エッジ量８１、動き量４．６３２３、および輝度分布１９５３．３４が記憶される。なお、このステップＳ１３乃至ステップＳ１６の処理を、以下、学習処理と称する。
【００４２】
ステップＳ１７において、ボリューム算出部７３は、テレビジョン受像機1の電源がオフされたか否かを判定し、オフされていないと判定した場合、処理をステップＳ１１に戻し、それ以降の処理を繰り返す。ステップＳ１７において、電源がオフされたと判定された場合、ステップＳ１８において、ボリューム算出部７３は、ステップＳ１６の処理により記憶されたボリューム値と特徴量に基づいて、ボリューム値を求める式を更新する。学習処理が繰り返されることにより（ユーザからのボリューム値の入力が繰り返されることにより）、記憶部７２には、複数のボリューム値とそれに対応する特徴量が記憶される（図５）。そこで、ボリューム算出部７３は、この過去のボリューム値と特徴量に基づいて、ボリューム値を求める式を作成する。その後、作成されたボリューム値を求める式は、記憶部７２に記憶され（前回記憶した式が残っていた場合、更新される）、処理は終了される。
【００４３】
特徴量からボリューム値を算出する方法（ボリューム値を求める式の作成方法）としては、例えば、特徴量（ステップＳ１２の処理により取得された特徴量、以下、入力特徴量と称する）に基づいて、ボリューム値を線形式に基づいて類推する方法（１番目の方法）と、過去の特徴量（図５に示されるような特徴量、すなわち、ステップＳ１３乃至ステップＳ１６の処理により記憶された特徴量）との距離計算による最近距離至上方法（２番目の方法）が挙げられる。
【００４４】
入力特徴量に基づいて、ボリューム値を類推する方法（１番目の方法）が使用される場合、ステップＳ１８の処理では、式（１）に示される線形式が作成される。
Ｖ＝Ａ０Ｘ０＋Ａ１Ｘ１＋・・・＋ＡｎＸｎ・・・（１）
【００４５】
式（１）において、Ｖは推定ボリューム値を表わし、いまの場合、水平解像度、垂直解像度またはノイズ除去度のいずれかとされる。また、式（１）において、Ａ０乃至Ａｎは定数係数を表わし、Ｘ０乃至Ｘｎは、入力特徴量を表わす。
【００４６】
式（１）において、Ａ０乃至Ａｎの定数係数を求める式が式（２）に示されている。すなわち、記憶部７２に記憶されている過去のボリューム値（最終ボリューム値）と特徴量（図５に示されているボリューム値と特徴量）の値の組が、式（２）の行列式に足し込まれ、これを最小自乗法により解くことにより、定数係数が求められる。
【００４７】
【数１】
【００４８】
すなわち、ステップＳ１８の処理では、式（２）に基づいて式（１）の定数係数が演算され、式（１）が更新される。後述するステップＳ２１において、式（１）に対応する特徴量が代入されることにより、最適ボリューム値が求められる。
【００４９】
また、過去の特徴量（図５に示されるような特徴量、すなわち、ステップＳ１３乃至ステップＳ１６の学習処理により記憶された特徴量）との距離計算による最近距離至上方法（２番目の方法）が使用される場合、ステップＳ１８の処理では、式（３）が作成される。
Ｄ=｜Ｘ１-Ｙｋ１｜+｜Ｘ２-Ｙｋ２｜+・・・+｜Ｘｎ-Ｙｋｎ｜・・・（３）
【００５０】
式（３）に示されるＸ１乃至Ｘｎは、入力特徴量を表わし、Ｙｋ１乃至Ｙｋｎは、登録されているｋ番目の画像の特徴量（過去の特徴量）を表わす。例えば、ｋ＝２とされる場合、図５に示されるボリューム値６２、平均輝度１０５、エッジ量３４、動き量０．７８２３、および輝度分布５４２．９２が特徴量とされる。
【００５１】
距離Ｄが最小のもの、すなわち、いままでに登録されている過去の特徴量の中で一番近いものが選択され、その特徴量に対応する最適ボリューム値が求められる。
【００５２】
ステップＳ１８の処理（ボリューム値を求める式の作成）は、時間を要するため、テレビジョン受像機１の電源のオフ時に実行される。そのため、テレビジョン受像機１の電源がオンされているときは、ステップＳ１７の処理の後、処理が終了される。また、テレビジョン受像機１の電源がオンされているときは、ステップＳ１１に戻り、それ以降の処理が繰り返される。すなわち、最適ボリューム値と特徴量の記憶のみが行なわれる。これにより、テレビジョン受像機１に負担をかけることなく、処理を実行することができる。
【００５３】
ステップＳ１３に戻って、ユーザによりボリューム値が入力されていないと判定された場合、処理はステップＳ１９に進み、ボリューム算出部７３は、ステップＳ１２の処理により、特徴量抽出部７１により抽出された特徴量（入力特徴量）を取得する。
【００５４】
ステップＳ２０において、ボリューム算出部７３は、ステップＳ１８の処理により算出され、記憶部７２に記憶されているボリューム値を求める式（式（１）、または、式（３））を取得する。
【００５５】
ステップＳ２１において、ボリューム算出部７３は、ステップＳ２０の処理により取得したボリューム値を求める式（式（１）、または、式（３））に基づいて、最適ボリューム値を算出する。
【００５６】
例えば、上述したように、式（１）に、そのとき出力される画像の特徴量が代入されることにより、最適ボリューム値が求められる。また、例えば、式（３）に、そのとき出力される画像の特徴量が代入され、求められた値が一番近い過去の特徴量に対応するボリューム値が算出されることにより、最適ボリューム値が求められる。
【００５７】
ステップＳ２２において、ボリューム算出部７３は、ステップＳ２１の処理により求めた最適ボリューム値をDRC回路１８に通知する。その後、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。DRC回路１８は、通知されたボリューム値に基づいて、画像処理を実行し、画像を出力する（後述する図４のステップＳ５２乃至Ｓ５４の処理）。
【００５８】
ステップＳ１９乃至ステップＳ２２の処理は、上述した学習処理に対して、自動ボリューム処理と称する。なお、テレビジョン受像機１が初期状態にある場合（商品購入後、最初に電源をオンした場合）、学習処理が先に行なわれる。これは、自動ボリューム処理が、学習処理により記憶部７２に記憶された過去のボリューム値と特徴量に基づいて行なわれる為である。
【００５９】
図３の処理により、ユーザによりボリューム値が入力された場合（ステップＳ１３においてYESとされた場合）、信号処理部１７は、その値を記憶して学習するようにし、ユーザによりボリューム値が入力されない場合（ステップＳ１３においてＮＯとされた場合）、信号処理部１７は、過去の特徴量に基づいて、自動的に最適ボリューム値を算出するようにしたので、ユーザによりボリューム値が入力されない場合においても、ユーザの過去の履歴に基づいて、ユーザが嗜好するボリューム値を設定することができる。
【００６０】
次に、図４のフローチャートを参照して、図３の処理（信号処理部１７が実行する処理）に対応するDRC回路１８における処理を説明する。なお、この処理は、テレビジョン受像機１の電源がオンされたとき開始される。
【００６１】
ステップＳ５１において、DRC回路１８は、ボリューム算出部７３よりボリューム値が通知されたか否かを判定する。ボリューム値が通知されたと判定された場合、ステップＳ５２において、DRC回路１８は、通知されたボリューム値を内部のメモリに記憶する（既に記憶されているボリューム値を更新する）。
【００６２】
ステップＳ５１において、ボリューム値が通知されていないと判定された場合、ステップＳ５２の処理はスキップされる。
【００６３】
その後、ステップＳ５３において、DRC回路１８は、記憶されている（設定されている）ボリューム値に基づいて、水平解像度、垂直解像度、およびノイズ除去度を設定し、その設定値に基づいて、ステップＳ５４において、DRC回路１８は、ステップＳ５３の処理により変更されたビデオデータを、内部バス１１および入出力インターフェース１９を介して、表示部３２に出力する。表示部３２は、データに対応する画像を表示する。その後、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【００６４】
図４の処理により、ユーザによりボリューム値が入力されない場合においても、信号処理部１７から通知されるボリューム値に対応して画像を変更する（解像度を変更する）ことができる。
【００６５】
以上の処理により、ユーザによりボリューム値が入力された場合、そのボリューム値とそれに対応する特徴量が記憶され、複数のボリューム値とそれに対応する特徴量に基づいて、最適ボリューム値を求める式が算出されることにより、ユーザによりボリューム値が入力されない場合においても、ユーザが嗜好するボリューム値（最適ボリューム値）を求めることができ、もって、ユーザの嗜好に合う画質に自動的に調整することができる。
【００６６】
次に、DRC回路１８の構成例について説明する。
【００６７】
図６は、DRC回路１８の詳細な構成例を示すブロック図である。このDRC回路１８は、デコーダ１３から内部バス１１を介して送信されてきたＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号または５２５ｐ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１乃至第３のタップ選択回路１２１乃至１２３を有している。
【００６８】
第１のタップ選択回路１２１は、予測に使用するＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、ＳＤ信号を構成する画素データ（以下、ＳＤ画素データと称する）のレベル分布パターンに対応するクラス分類に使用するＳＤ画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きに対応するクラス分類に使用するＳＤ画素（「動きクラスタップ」と称する）のデータを選択的に取り出するものである。なお、空間クラスを複数フィールドに属するＳＤ画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００６９】
また、上述したように、ユーザは、リモートコントローラ（後述する図７のリモートコントローラ２００）または操作部３４を操作することにより、入力画像の画質を調整するための調整値を入力することができる。DRC回路１８では、後述するように、ＨＤ信号を構成する画素データ（以下、ＨＤ画素データと称する）が推定式によって算出されるが、この推定式の係数データとして、ユーザからのリモートコントローラの操作によって調整された水平、垂直の解像度を決めるパラメータｈ，ｖに対応したものが、これらパラメータｈ，ｖを含む生成式によって生成されて使用される。これにより、DRC回路１８より出力されるＨＤ信号による画像の水平、垂直の解像度は、調整されたパラメータｈ，ｖに対応したものとなる。
【００７０】
図７は、パラメータｈ，ｖを調整するためのユーザインタフェースの一例を示している。調整時には、表示部３２に、パラメータｈ，ｖの調整位置を☆印のアイコン１１５ａで示した調整画面１１５が、ＯＳＤ表示される。また、リモートコントローラ２００は、ユーザ操作手段としてのジョイスティック２００ａを備えている。
【００７１】
ユーザは、ジョイスティック２００ａを操作することで、調整画面１１５上でアイコン１１５ａの位置を動かすことができ、水平、垂直の解像度を決定するパラメータｈ，ｖの値を任意に調整できる。図８は、調整画面１１５の部分を拡大して示している。アイコン１１５ａが左右に動かされることで水平解像度を決定するパラメータｈの値が調整され、一方アイコン１１５ａが上下に動かされることで垂直解像度を決定するパラメータｖの値が調整される。ユーザは、表示部３２に表示される調整画面１１５を参照してパラメータｈ，ｖの値を調整でき、その調整を容易に行うことができる。
【００７２】
なお、リモートコントローラ２００は、ジョイスティック２００ａの代わりに、マウスやトラックボール等のその他のポインティングデバイスを備えていてもよい。さらに、ユーザによって調整されたパラメータｈ，ｖの値を、調整画面１１５上に数値表示してもよい。
【００７３】
図９は、５２５ｉ信号および５２５ｐ信号の、あるフレーム（Ｆ）の奇数（ｏ）フィールドの画素位置関係を示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される５２５ｐ信号の画素である。偶数（ｅ）フィールドでは、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図９から分かるように、５２５ｐ信号の画素データとしては、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とが存在する。また、５２５ｐ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
【００７４】
図１０は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される１０５０ｉ信号の画素である。図１０から分かるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
【００７５】
図１１および図１２は、５２５ｉ信号から５２５ｐ信号に変換する場合に、第１のタップ選択回路１２１で選択される予測タップ（ＳＤ画素）の具体例を示している。図１１および図１２は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００７６】
図１１に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの予測タップは、次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８，Ｔ９と、さらに前のフィールドＦ-1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１０である。
【００７７】
図１２に示すように、フィールドＦ／ｅのラインデータＬ１，Ｌ２を予測するときの予測タップは、次のフィールドＦ+1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、フィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８，Ｔ９と、さらに前のＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１０である。
【００７８】
なお、ラインデータＬ１を予測する際にはＳＤ画素Ｔ９を予測タップとして選択しないようにし、一方ラインデータＬ２を予測する際にはＳＤ画素Ｔ４を予測タップとして選択しないようにしてもよい。
【００７９】
図１３および図１４は、５２５ｉ信号から１０５０ｉ信号に変換する場合に、第１のタップ選択回路１２１で選択される予測タップ（ＳＤ画素）の具体例を示している。図１３および図１４は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００８０】
図１３に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの予測タップは、次のフィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ-1／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８である。
【００８１】
図１４に示すように、フィールドＦ／ｅのラインデータＬ１′，Ｌ２′を予測するときの予測タップは、次のフィールドＦ+1／ｏに含まれ、作成すべき１０５０ｉｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８である。
【００８２】
なお、ラインデータＬ１，Ｌ１′を予測する際にはＳＤ画素Ｔ６を予測タップとして選択しないようにし、一方ラインデータＬ２，Ｌ２′を予測する際にはＳＤ画素Ｔ３を予測タップとして選択しないようにしてもよい。
【００８３】
さらに、図１１乃至図１４に示すように複数フィールドの同一位置にあるＳＤ画素に加えて、水平方向の一または複数のＳＤ画素を、予測タップとして選択するようにしてもよい。
【００８４】
図１５および図１６は、５２５ｉ信号から５２５ｐ信号に変換する場合に、第２のタップ選択回路１２２で選択される空間クラスタップ（ＳＤ画素）の具体例を示している。図１５および図１６は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００８５】
図１５に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの空間クラスタップは、次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ６，Ｔ７である。
【００８６】
図１６に示すように、フィールドＦ／ｅのラインデータＬ１，Ｌ２を予測するときの空間クラスタップは、次のフィールドＦ+1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ６，Ｔ７である。
【００８７】
なお、ラインデータＬ１を予測する際にはＳＤ画素Ｔ７を空間クラスタップとして選択しないようにし、一方ラインデータＬ２を予測する際にはＳＤ画素Ｔ６を空間クラスタップとして選択しないようにしてもよい。
【００８８】
図１７および図１８は、５２５ｉ信号から１０５０ｉ信号に変換する場合に、第２のタップ選択回路１２２で選択される空間クラスタップ（ＳＤ画素）の具体例を示している。図１７および図１８は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００８９】
図１７に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの空間クラスタップは、フィールドＦ／ｏに含まれ、作成すべき１０５０ｉ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、前のフィールドＦ-1／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６，Ｔ７である。
【００９０】
図１８に示すように、フィールドＦ／ｅのラインデータＬ１′，Ｌ２′を予測するときの空間クラスタップは、フィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、前のフィールドＦ／ｏに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６，Ｔ７である。
【００９１】
なお、ラインデータＬ１，Ｌ１′を予測する際にはＳＤ画素Ｔ７を空間クラスタップとして選択しないようにし、一方ラインデータＬ２，Ｌ２′を予測する際にはＳＤ画素Ｔ４を空間クラスタップとして選択しないようにしてもよい。
【００９２】
さらに、図１５乃至図１８に示すように複数フィールドの同一位置にあるＳＤ画素に加えて、水平方向の一または複数のＳＤ画素を、空間クラスタップとして選択するようにしてもよい。
【００９３】
図１９は、５２５ｉ信号から５２５ｐ信号に変換する場合に、第３のタップ選択回路１２３で選択される動きクラスタップ（ＳＤ画素）の具体例を示している。図１９は、時間的に連続するフレームＦ-1，Ｆの奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。図１９に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの動きクラスタップは、次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素ｎ２，ｎ４，ｎ６と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素ｎ１，ｎ３，ｎ５と、前のフィールドＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ２，ｍ４，ｍ６と、さらに前のフィールドＦ-1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ１，ｍ３，ｍ５である。ＳＤ画素ｎ１乃至ｎ６のそれぞれの垂直方向の位置は、ＳＤ画素ｍ１乃至ｍ６のそれぞれの垂直方向の位置は一致する。
【００９４】
図２０は、５２５ｉ信号から１０５０ｉ信号に変換する場合に、第３のタップ選択回路１２３で選択される動きクラスタップ（ＳＤ画素）の具体例を示している。図２０は、時間的に連続するフレームＦ-1，Ｆの奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。図２０に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの動きクラスタップは、次のフィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｎ２，ｎ４，ｎ６と、フィールドＦ／ｏに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｎ１，ｎ３，ｎ５と、前のフィールドＦ-1／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ２，ｍ４，ｍ６と、さらに前のフィールドＦ-1／ｏに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ１，ｍ３，ｍ５である。ＳＤ画素ｎ１乃至ｎ６のそれぞれの垂直方向の位置は、ＳＤ画素ｍ１乃至ｍ６のそれぞれの垂直方向の位置は一致する。
【００９５】
図６に戻って、また、DRC回路１８は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００９６】
空間クラス検出回路１２４では、例えば、各ＳＤ画素データを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１２４からは、各ＳＤ画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。
【００９７】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータ（ＳＤ画素データ）の最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ-ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータとしての各ＳＤ画素データｋｉに対して、式（４）の演算により、圧縮データとしての再量子化コードＱｉが得られる。ただし、式（４）において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個のＳＤ画素データがあるとき、ｉ＝１乃至Ｎａである。
【００９８】
Ｑｉ＝［（ｋｉ-ＭＩＮ＋０．５）．２P／ＤＲ］ ・・・（４）
また、DRC回路１８は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００９９】
この動きクラス検出回路１２５では、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）ｍｉ，ｎｉからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、式（５）によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えば上述したように１２個のＳＤ画素データｍ１乃至ｍ６，ｎ１乃至ｎ６が取り出されるとき、式（５）におけるＮｂは６である。
【０１００】
【数２】
【０１０１】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。
【０１０２】
また、DRC回路１８は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべきＨＤ信号（５２５ｐ信号または１０５０ｉ信号）の画素（注目画素）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【０１０３】
このクラス合成回路１２６では、式（６）によって、クラスコードＣＬの演算が行われる。なお、式（６）において、Ｎａは空間クラスタップのデータ（ＳＤ画素データ）の個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【０１０４】
【数３】
【０１０５】
また、DRC回路１８は、レジスタ１３０乃至１３３と、係数メモリ１３４とを有している。後述する線順次変換回路１２９は、５２５ｐ信号を出力する場合と、１０５０ｉ信号を出力する場合とで、その動作を切り換える必要がある。レジスタ１３０は、線順次変換回路１２９の動作を指定する動作指定情報を格納するものである。線順次変換回路１２９は、レジスタ１３０より供給される動作指定情報に従った動作をする。
【０１０６】
レジスタ１３１は、第１のタップ選択回路１２１で選択される予測タップのタップ位置情報を格納するものである。第１のタップ選択回路１２１は、レジスタ１３１より供給されるタップ位置情報に従って予測タップを選択する。タップ位置情報は、例えば選択される可能性のある複数のＳＤ画素に対して番号付けを行い、選択するＳＤ画素の番号を指定するものである。以下のタップ位置情報においても同様である。
【０１０７】
レジスタ１３２は、第２のタップ選択回路１２２で選択される空間クラスタップのタップ位置情報を格納するものである。第２のタップ選択回路１２２は、レジスタ１３２より供給されるタップ位置情報に従って空間クラスタップを選択する。
【０１０８】
ここで、レジスタ１３２には、動きが比較的小さい場合のタップ位置情報Ａと、動きが比較的大きい場合のタップ位置情報Ｂとが格納される。これらタップ位置情報Ａ，Ｂのいずれを第２のタップ選択回路１２２に供給するかは、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択される。
【０１０９】
すなわち、動きがないか、あるいは動きが小さいためにＭＶ＝０またはＭＶ＝１であるときは、タップ位置情報Ａが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、図１５乃至図１８に示すように、複数フィールドに跨るものとされる。また、動きが比較的大きいためにＭＶ＝２またはＭＶ＝３であるときは、タップ位置情報Ｂが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、図示せずも、作成すべき画素と同一フィールド内のＳＤ画素のみとされる。
【０１１０】
なお、上述したレジスタ１３１にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第１のタップ選択回路１２１に供給されるタップ位置情報が動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択されるようにしてもよい。
【０１１１】
レジスタ１３３は、第３のタップ選択回路１２３で選択される動きクラスタップのタップ位置情報を格納するものである。第３のタップ選択回路１２３は、レジスタ１３３より供給されるタップ位置情報に従って動きクラスタップを選択する。
【０１１２】
さらに、係数メモリ１３４は、後述する推定予測演算回路１２７で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、ＳＤ信号としての５２５ｉ信号を、ＨＤ信号としての５２５ｐ信号または１０５０ｉ信号に変換するための情報である。係数メモリ１３４には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１３４からはクラスコードＣＬに対応した係数データが読み出され、推定予測演算回路１２７に供給されることとなる。
【０１１３】
また、DRC回路１８は、情報メモリバンク１３５を有している。この情報メモリバンク１３５には、レジスタ１３０に格納するための動作指定情報と、レジスタ１３１乃至１３３に格納するためのタップ位置情報が予め蓄えられている。
【０１１４】
ここで、レジスタ１３０に格納するための動作指定情報として、情報メモリバンク１３５には、線順次変換回路１２９を５２５ｐ信号を出力するように動作させるための第１の動作指定情報と、線順次変換回路１２９を１０５０ｉ信号を出力するように動作させるための第２の動作指定情報とが予め蓄えられている。
【０１１５】
ユーザはリモートコントローラ２００を操作することで、ＨＤ信号として５２５ｐ信号を出力する第１の変換方法、またはＨＤ信号として１０５０ｉ信号を出力する第２の変換方法を選択できる。情報メモリバンク１３５にはCPU１４または信号処理部１７よりその変換方法の選択情報が供給され、この情報メモリバンク１３５よりレジスタ１３０にはその選択情報に従って第１の動作指定情報または第２の動作指定情報がロードされる。
【０１１６】
また、情報メモリバンク１３５には、レジスタ１３１に格納するための予測タップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３１には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【０１１７】
また、情報メモリバンク１３５には、レジスタ１３２に格納するための空間クラスタップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。なお、第１および第２のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報とからなっている。この情報メモリバンク１３５よりレジスタ１３２には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【０１１８】
また、情報メモリバンク１３５には、レジスタ１３３に格納するための動きクラスタップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３３には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【０１１９】
また、情報メモリバンク１３５には、第１および第２の変換方法のそれぞれに対応した各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ１３４に格納するための係数データを生成するための生成式の係数データである。
【０１２０】
後述する推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、式（７）の推定式によって、作成すべきＨＤ信号を構成する画素データ（以下、ＨＤ画素データと称する）ｙが演算される。第１のタップ選択回路１２１で選択される予測タップが、図９および図１２に示すように１０個であるとき、式（７）におけるｎは１０となる。
【０１２１】
【数４】
【０１２２】
そして、この推定式の係数データＷｉ（ｉ＝１乃至ｎ）は、式（８）に示すように、パラメータｈ，ｖを含む生成式によって生成される。情報メモリバンク１３５には、この生成式の係数データである係数種データｗ10乃至ｗn9が、変換方法毎かつクラス毎に、記憶されている。この係数種データの生成方法については後述する。
【０１２３】
【数５】
【０１２４】
また、DRC回路１８は、各クラスの係数種データおよびパラメータｈ，ｖの値とを用い、式（８）によって、クラス毎に、パラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１乃至ｎ）を生成する係数生成回路１３６を有している。この係数生成回路１３６には、情報メモリバンク１３５より、上述した変換方法の選択情報に従って第１の変換方法または第２の変換方法に対応した各クラスの係数種データがロードされる。また、この係数生成回路１３６には、信号処理部１７より、パラメータｈ，ｖの値が供給される。
【０１２５】
この係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１乃至ｎ）は、上述した係数メモリ１３４に格納される。この係数生成回路１３６における各クラスの係数データＷｉの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモートコントローラ２００の操作によってパラメータｈ，ｖの値が変更されても、係数メモリ１３４に格納される各クラスの係数データＷｉを、そのパラメータｈ，ｖの値に対応したものに即座に変更でき、ユーザによる解像度の調整がスムーズに行われる。
【０１２６】
また、DRC回路１８は、係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓを、式（９）によって、演算する正規化係数生成回路１３７と、ここで生成された正規化係数Ｓを、クラス毎に格納する正規化係数メモリ１３８を有している。正規化係数メモリ１３８には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓが読み出され、後述する正規化演算回路１２８に供給されることとなる。
【０１２７】
【数６】
【０１２８】
また、DRC回路１８は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号の画素（注目画素）のデータを演算する推定予測演算回路１２７を有している。
【０１２９】
この推定予測演算回路１２７では、５２５ｐ信号を出力する場合、上述した図９に示すように、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とを生成し、また各ラインの画素数を２倍とする必要がある。また、この推定予測演算回路１２７では、１０５０ｉ信号を出力する場合、上述した図１０に示すように、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とを生成し、また各ラインの画素数を２倍とする必要がある。
【０１３０】
従って、推定予測演算回路１２７では、ＨＤ信号を構成する４画素のデータが同時的に生成される。例えば、４画素のデータはそれぞれ係数データを異にする推定式を使用して同時的に生成されるものであり、係数メモリ１３４からはそれぞれの推定式の係数データが供給される。ここで、推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、上述の式（７）の推定式によって、作成すべきＨＤ画素データｙが演算される。
【０１３１】
また、DRC回路１８は、推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙを、正規化係数メモリ１３８より読み出され、それぞれの生成に使用された係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路１２８を有している。上述せずも、係数生成回路１３６で係数種データより生成式で推定式の係数データを求めるものであるが、生成される係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１乃至ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路１２７で演算されるＨＤ画素データｙは、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路１２８で正規化することで、その変動を除去できる。
【０１３２】
また、DRC回路１８は、水平周期を１／２倍とするライン倍速処理を行って、推定予測演算回路１２７より正規化演算回路１２８を介して供給されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を線順次化する線順次変換回路１２９を有している。
【０１３３】
図２１は、５２５ｐ信号を出力する場合のライン倍速処理をアナログ波形を用いて示すものである。上述したように、推定予測演算回路１２７によってラインデータＬ１，Ｌ２が生成される。ラインデータＬ１には順にａ１，ａ２，ａ３，・・・のラインが含まれ、ラインデータＬ２には順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。線順次変換回路１２９は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータを交互に選択することによって、線順次出力ａ０，ｂ０，ａ１，ｂ１，・・・を形成する。
【０１３４】
なお、１０５０ｉ信号を出力する場合には、奇数フィールドおよび偶数フィールドでインタレース関係を満たすように、線順次変換回路１２９が線順次出力を発生する。したがって、線順次変換回路１２９は、５２５ｐ信号を出力する場合と、１０５０ｉ信号を出力する場合とで、その動作を切り換える必要がある。その動作指定情報は、上述したようにレジスタ１３０より供給される。
【０１３５】
次に、DRC回路１８の動作を説明する。
【０１３６】
デコーダ１３から内部バス１１を介して送信されてきたＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第２のタップ選択回路１２２では、レジスタ１３２より供給される、ユーザによって選択された変換方法、および動きクラス検出回路１２５で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１３７】
この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（式（４）参照）。
【０１３８】
また、デコーダ１３から内部バス１１を介して送信されてきたＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１２３では、レジスタ１３３より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１３９】
この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１４０】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動き情報ＭＶと再量子化コードＱｉとから、作成すべきＨＤ信号（５２５ｐ信号または１０５０ｉ信号）の画素（注目画素）が属するクラスを示すクラスコードＣＬが得られる（式（６）参照）。そして、このクラスコードＣＬは、係数メモリ１３４および正規化係数メモリ１３８に読み出しアドレス情報として供給される。
【０１４１】
係数メモリ１３４には、例えば各垂直ブランキング期間に、ユーザによって調整されたパラメータｈ，ｖの値に対応した各クラスの推定式の係数データＷｉ（ｉ＝１乃至ｎ）が係数生成回路１３６で生成されて格納される。また、正規化係数メモリ１３８には、上述したように係数生成回路１３６で生成された各クラスの係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓが正規化係数生成回路１３７で生成されて格納される。
【０１４２】
係数メモリ１３４に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１３４からクラスコードＣＬに対応した係数データＷｉが読み出されて推定予測演算回路１２７に供給される。また、デコーダ１３から内部バス１１を介して送信されてきたＳＤ信号（５２５ｉ信号）より、第１のタップ選択回路１２１で、予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１２１では、レジスタ１３１より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。この第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉは推定予測演算回路１２７に供給される。
【０１４３】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号の画素（注目画素）のデータ（ＨＤ画素データ）ｙが演算される（式（７）参照）。この場合、ＨＤ信号を構成する４画素のデータが同時的に生成される。
【０１４４】
これにより、５２５ｐ信号を出力する第１の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とが生成される（図９参照）。また、１０５０ｉ信号を出力する第２の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが生成される（図１０参照）。
【０１４５】
このように推定予測演算回路１２７で生成されたラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）は正規化演算回路１２８に供給される。正規化係数メモリ１３８に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この正規化係数メモリ１３８からクラスコードＣＬに対応した正規化係数Ｓ、つまり推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙの生成に使用された係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓが読み出されて推定予測演算回路１２７に供給される。正規化演算回路１２８では、推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙがそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数種データを用いて生成式（式（８）参照）で推定式（式（７）参照）の係数データを求める際の丸め誤差による注目点の情報データのレベル変動が除去される。
【０１４６】
このように正規化演算回路１２８で正規化されたラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）は、線順次変換回路１２９に供給される。そして、この線順次変換回路１２９では、ラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）が線順次化されてＨＤ信号が生成される。この場合、線順次変換回路１２９は、レジスタ１３０より供給される、ユーザによって選択された変換方法に対応した動作指示情報に従った動作をする。そのため、ユーザによって第１の変換方法（５２５ｐ）が選択されているときは、線順次変換回路１２９より５２５ｐ信号が出力される。一方、ユーザによって第２の変換方法（１０５０ｉ）が選択されているときは、線順次変換回路１２９より１０５０ｉ信号が出力される。
【０１４７】
上述したように、係数生成回路１３６で、情報メモリバンク１３５よりロードされる係数種データを用いて、クラス毎に、パラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１乃至ｎ）が生成され、これが係数メモリ１３４に格納される。そして、この係数メモリ１３４より、クラスコードＣＬに対応して読み出される係数データＷｉ（ｉ＝１乃至ｎ）を用いて推定予測演算回路１２７でＨＤ画素データｙが演算される。
【０１４８】
このように、DRC回路１８では、調整された複数種類のパラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１乃至ｎ）が使用されて、ＨＤ画素データｙが演算される。したがって、ユーザは、パラメータｈ，ｖの値を調整することで、ＨＤ信号による画像の画質を水平解像度および垂直解像度の軸で自由に調整できる。また、ユーザは、パラメータｈ，ｖの値を調整することで、ＨＤ信号による画像の水平および垂直の画質を、無段階になめらかに調整することができる。なお、この場合、調整されたパラメータｈ，ｖの値に対応した各クラスの係数データをその都度係数生成回路１３６で生成して使用するものであり、大量の係数データを格納しておくメモリを必要としない。
【０１４９】
上述したように、情報メモリバンク１３５には、係数種データが、変換方法毎かつクラス毎に、記憶されている。この係数種データは、予め学習によって生成されたものである。
【０１５０】
まず、この生成方法の一例について説明する。式（８）の生成式における係数データである係数種データｗ10乃至ｗn9を求める例を示すものとする。
【０１５１】
ここで、以下の説明のため、式（１０）のように、ｔｉ（ｉ＝０乃至９）を定義する。
【０１５２】
ｔ0＝１，ｔ1＝ｖ，ｔ2＝ｈ，ｔ3＝ｖ2，ｔ4＝ｖｈ，ｔ5＝ｈ2，ｔ6＝ｖ3，ｔ7＝ｖ2ｈ，ｔ8＝ｖｈ2，ｔ9＝ｈ3
・・・（１０）
この式（１０）を用いると、式（８）は、式（１１）のように書き換えられる。
【０１５３】
【数７】
【０１５４】
最終的に、学習によって未定係数ｗxyを求める。すなわち、変換方法毎かつクラス毎に、複数のＳＤ画素データとＨＤ画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、式（７）および式（８）を用いて、Ｅは式（１２）で表される。ここで、ｘikはＳＤ画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のＨＤ画像の画素データを表している。
【０１５５】
【数８】
【０１５６】
最小二乗法による解法では、式（１２）のｗxyによる偏微分が０になるようなｗxyを求める。これは、式（１３）で示される。
【０１５７】
【数９】
【０１５８】
以下、式（１４）、式（１５）のように、Ｘipjq、Ｙipを定義すると、式（１３）は、行列を用いて式（１６）のように書き換えられる。
【０１５９】
【数１０】
【０１６０】
【数１１】
【０１６１】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗxyについて解かれ、係数種データが算出される。
【０１６２】
図２２は、上述した係数種データの生成方法の概念を示している。ＨＤ信号から複数のＳＤ信号を生成する。例えば、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータｈ，ｖをそれぞれ９段階に可変して、合計８１種類のＳＤ信号を生成している。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。
【０１６３】
図２３は、上述した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。
【０１６４】
この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（５２５ｐ信号／１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、入力信号としてのＳＤ信号を得るＳＤ信号生成回路１５２とを有している。
【０１６５】
このＳＤ信号生成回路１５２には、変換方法選択信号が制御信号として供給される。第１の変換方法（図６のDRC回路１８で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される（図９参照）。一方、第２の変換方法（図６のDRC回路１８で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される（図１０参照）。
【０１６６】
また、ＳＤ信号生成回路１５２には、パラメータｈ，ｖが制御信号として供給される。このパラメータｈ，ｖに対応して、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域とが可変される。ここで、フィルタの詳細について、いくつかの例を示す。
【０１６７】
例えば、フィルタを、水平帯域を制限する帯域フィルタと垂直帯域を制限する帯域フィルタとから構成することが考えられる。この場合、図２４に示すように、パラメータｈまたはｖの段階的な値に対応した周波数特性を設計し、逆フーリエ変換をすることにより、パラメータｈまたはｖの段階的な値に対応した周波数特性を持つ１次元フィルタを得ることができる。
【０１６８】
また例えば、フィルタを、水平帯域を制限する１次元ガウシアンフィルタと垂直帯域を制限する１次元ガウシアンフィルタとから構成することが考えられる。この１次元ガウシアンフィルタは式（１７）で示される。この場合、パラメータｈまたはｖの段階的な値に対応して標準偏差σの値を段階的に変えることにより、パラメータｈまたはｖの段階的な値に対応した周波数特性を持つ１次元ガウシアンフィルタを得ることができる。
【０１６９】
【数１２】
【０１７０】
また例えば、フィルタを、パラメータｈ，ｖの両方で水平および垂直の周波数特性が決まる２次元フィルタＦ(ｈ，ｖ）で構成することが考えられる。この２次元フィルタの生成方法は、上述した１次元フィルタと同様に、パラメータｈ，ｖの段階的な値に対応した２次元周波数特性を設計し、２次元の逆フーリエ変換をすることにより、パラメータｈ，ｖの段階的な値に対応した２次元周波数特性を持つ２次元フィルタを得ることができる。
【０１７１】
また、係数種データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号または５２５ｐ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１乃至第３のタップ選択回路１５３乃至１５５を有している。
【０１７２】
これら第１乃至第３のタップ選択回路１５３乃至１５５は、上述したDRC回路１８の第１乃至第３のタップ選択回路１２１乃至１２３と同様に構成される。これら第１乃至第３のタップ選択回路１５３乃至１５５で選択されるタップは、タップ選択制御部１５６からのタップ位置情報によって指定される。
【０１７３】
タップ選択制御回路１５６には、変換方法選択信号が制御信号として供給される。第１の変換方法が選択される場合と第２の変換方法が選択される場合とで、第１乃至第３のタップ選択回路１５３乃至１５５に供給されるタップ位置情報が異なるようにされている。また、タップ選択制御回路１５６には後述する動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶが供給される。これにより、第２のタップ選択回路１５４に供給されるタップ位置情報が動きが大きいか小さいかによって異なるようにされる。
【０１７４】
また、係数種データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述したDRC回路１８の空間クラス検出回路１２４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードＱｉが空間クラスを示すクラス情報として出力される。
【０１７５】
また、係数種データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述したDRC回路１８の動きクラス検出回路１２５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
【０１７６】
また、係数種データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述したDRC回路１８のクラス合成回路１２６と同様に構成される。
【０１７７】
また、係数種データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、各クラス毎に、係数種データｗ10乃至ｗn9を得るための正規方程式（式（１６）参照）を生成する正規方程式生成部１６０を有している。
【０１７８】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、ＳＤ信号生成回路１５２へのパラメータｈ，ｖが順次変更されていって水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていき、これにより正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。
【０１７９】
ここで、ＨＤ信号と、そのＨＤ信号から帯域が狭いフィルタを作用させて生成したＳＤ信号との間で学習して算出した係数種データは、解像度の高いＨＤ信号を得るためのものとなる。逆に、ＨＤ信号と、そのＨＤ信号から帯域が広いフィルタを作用させて生成したＳＤ信号との間で学習して算出した係数種データは解像度の低いＨＤ信号を得るためのものとなる。上述したように複数のＳＤ信号を順次生成して学習データを登録することで、連続した解像度のＨＤ信号を得るための係数種データを求めることが可能となる。
【０１８０】
なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせを行うことができる。
【０１８１】
また、係数種データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ10乃至ｗn9を求める係数種データ決定部１６１と、この求められた係数種データｗ10乃至ｗn9を記憶する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗ10乃至ｗn9が求められる。
【０１８２】
図２３に示す係数種データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（５２５ｐ信号または１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて入力信号としてのＳＤ信号（５２５ｉ信号）が生成される。
【０１８３】
この場合、第１の変換方法（図６のDRC回路１８で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される。一方、第２の変換方法（図６のDRC回路１８で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される。またこの場合、ＳＤ信号生成回路１５２にはパラメータｈ，ｖが制御信号として供給され、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０１８４】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、選択された変換方法、および動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１８５】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（式（４）参照）。
【０１８６】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１８７】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１８８】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードＱｉとから、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（式（６）参照）。
【０１８９】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１９０】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１６０では、各クラス毎に、係数種データｗ10乃至ｗn9を生成するための正規方程式（式（１６）参照）が生成される。
【０１９１】
そして、係数種データ決定部１６１でその正規方程式が解かれ、各クラス毎の係数種データｗ10乃至ｗn9が求められ、その係数種データｗ10乃至ｗn9はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０１９２】
このように、図２３に示す係数種データ生成装置１５０においては、図６のDRC回路１８の情報メモリバンク１３５に記憶される各クラスの係数種データｗ10乃至ｗn9を生成することができる。この場合、ＳＤ信号生成回路１５２では、選択された変換方法によって５２５ｐ信号または１０５０ｉ信号を使用してＳＤ信号（５２５ｉ信号）が生成されるものであり、第１の変換方法（DRC回路１８で５２５ｉ信号より５２５ｐ信号を得る）および第２の変換方法（DRC回路１８で５２５ｉ信号より１０５０ｉ信号を得る）に対応した係数種データを生成できる。
【０１９３】
次に、係数種データの生成方法の他の例について説明する。この例においても、上述した式（８）の生成式における係数データである係数種データｗ10乃至ｗn9を求める例を示すものとする。
【０１９４】
図２５は、この例の概念を示している。ＨＤ信号から複数のＳＤ信号を生成する。例えば、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータｈ，ｖをそれぞれ９段階に可変して、合計８１種類のＳＤ信号を生成する。このようにして生成した各ＳＤ信号とＨＤ信号との間で学習を行って、式（７）の推定式の係数データＷｉを生成する。そして、各ＳＤ信号に対応して生成された係数データＷｉを使用して係数種データを生成する。
【０１９５】
まず、推定式の係数データの求め方を説明する。ここでは、式（７）の推定式の係数データＷｉ（ｉ＝１乃至ｎ）を最小二乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを係数データ、Ｙを予測値として、式（１８）の観測方程式を考える。この式（１８）において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
【０１９６】
【数１３】
【０１９７】
式（１８）の観測方程式により収集されたデータに最小二乗法を適用する。この式（１８）の観測方程式をもとに、式（１９）の残差方程式を考える。
【０１９８】
【数１４】
【０１９９】
式（１９）の残差方程式から、各Ｗiの最確値は、式（２０）のｅ2を最小にする条件が成り立つ場合と考えられる。すなわち、式（２１）の条件を考慮すればよいわけである。
【０２００】
【数１５】
【０２０１】
つまり、式（２１）のｉに基づくｎ個の条件を考え、これを満たす、Ｗ1，Ｗ2，・・・，Ｗnを算出すればよい。そこで、式（１９）の残差方程式から、式（２２）が得られる。さらに、式（２２）と式（１８）とから、式（２３）が得られる。
【０２０２】
【数１６】
【０２０３】
そして、式（１９）と式（２３）とから、式（２４）の正規方程式が得られる。
【０２０４】
【数１７】
【０２０５】
式（２４）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各Ｗiの最確値を求めることができる。この場合、掃き出し法（Gauss-Jordanの消去法）等を用いて連立方程式を解くことになる。
【０２０６】
次に、各ＳＤ信号に対応して生成された係数データを使用して、係数種データの求め方を説明する。
【０２０７】
パラメータｈ，ｖに対応したＳＤ信号を用いた学習による、あるクラスの係数データが、ｋvhiとなったとする。ここで、ｉは予測タップの番号である。このｋvhiから、このクラスの係数種データを求める。
【０２０８】
各係数データＷｉ（ｉ＝１乃至ｎ）は、係数種データｗ10乃至ｗn9を使って、上述した式（８）で表現される。ここで、係数データＷｉに対して最小二乗法を使用することを考えると、残差は、式（２５）で表される。
【０２０９】
【数１８】
【０２１０】
ここで、ｔjは、上述の式（１０）に示されている。式（２５）に最小二乗法を作用させると、式（２６）が得られる。
【０２１１】
【数１９】
【０２１２】
ここで、Ｘjk，Ｙjをそれぞれ式（２７）、式（２８）のように定義すると、式（２６）は式（２９）のように書き換えられる。この式（２９）も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データｗ10乃至ｗn9を算出することができる。
【０２１３】
【数２０】
【０２１４】
図２６は、図２５に示す概念に基づいて係数種データを生成する係数種データ生成装置１５０′の構成を示している。この図２６において、図２５と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２１５】
係数種データ生成装置１５０′は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１乃至ｎ）を得るための正規方程式（式（２４）参照）を生成する正規方程式生成部１７１を有している。
【０２１６】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、ＳＤ信号生成回路１５２へのパラメータｈ，ｖが順次変更されていって水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていき、ＨＤ信号と各ＳＤ信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１７１では、各ＳＤ信号のそれぞれ対応して、クラス毎に、係数データＷｉ（ｉ＝１乃至ｎ）を得るための正規方程式が生成される。
【０２１７】
また、係数種データ生成装置１５０′は、正規方程式生成部１７１で生成された正規方程式のデータが供給され、その正規方程式を解いて、各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉを求める係数データ決定部１７２と、この各ＳＤ信号に対応した各クラスの係数データＷｉを使用して、クラス毎に、係数種データｗ10乃至ｗn9を得るための正規方程式（式（２９）参照）を生成する正規方程式生成部１７３とを有している。
【０２１８】
また、係数種データ生成装置１５０′は、正規方程式生成部１７３でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ10乃至ｗn9を求める係数種データ決定部１７４と、この求められた係数種データｗ10乃至ｗn9を記憶する係数種メモリ１６２とを有している。
【０２１９】
図２６に示す係数種データ生成装置１５０′のその他は、図２３に示す係数種データ生成装置１５０と同様に構成される。
【０２２０】
図２６に示す係数種データ生成装置１５０′の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（５２５ｐ信号または１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて入力信号としてのＳＤ信号（５２５ｉ信号）が生成される。
【０２２１】
この場合、第１の変換方法（図６のDRC回路１８で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される。一方、第２の変換方法（図６のDRC回路１８で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される。またこの場合、ＳＤ信号生成回路１５２にはパラメータｈ，ｖが制御信号として供給され、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０２２２】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、選択された変換方法、および動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２２３】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（式（４）参照）。
【０２２４】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２２５】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０２２６】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードＱｉとから、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（式（６）参照）。
【０２２７】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２２８】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１７１では、ＳＤ信号生成回路１５２で生成される各ＳＤ信号のそれぞれ対応して、クラス毎に、係数データＷｉ（ｉ＝１乃至ｎ）を得るための正規方程式（式（２４）参照）が生成される。
【０２２９】
そして、係数データ決定部１７２でその正規方程式が解かれ、各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉが求められる。正規方程式生成部１７３では、この各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉから、クラス毎に、係数種データｗ10乃至ｗn9を得るための正規方程式（式（２９）参照）が生成される。
【０２３０】
そして、係数種データ決定部１７４でその正規方程式が解かれ、各クラスの係数種データｗ10乃至ｗn9が求められ、その係数種データｗ10乃至ｗn9はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０２３１】
このように、図２６に示す係数種データ生成装置１５０′においても、図６のDRC回路１８の情報メモリバンク１３５に記憶される各クラスの係数種データｗ10乃至ｗn9を生成することができる。この場合、ＳＤ信号生成回路１５２では、選択された変換方法によって５２５ｐ信号または１０５０ｉ信号を使用してＳＤ信号（５２５ｉ信号）が生成されるものであり、第１の変換方法（DRC回路１８で５２５ｉ信号より５２５ｐ信号を得る）および第２の変換方法（DRC回路１８で５２５ｉ信号より１０５０ｉ信号を得る）に対応した係数種データを生成できる。
【０２３２】
なお、図６のDRC回路１８では、係数データＷｉ（ｉ＝１乃至ｎ）を生成するために式（８）の生成式を使用したが、例えば、式（３０）、式（３１）などを使用してもよく、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２３３】
【数２１】
【０２３４】
また、図６のDRC回路１８では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、例えばノイズ除去度（ノイズ低減度）を指定するパラメータｚを設け、このパラメータｚの値を調整することで画像のノイズ除去度を調整し得るものも同様に構成することができる。
【０２３５】
この場合、係数データＷｉ（ｉ＝１乃至ｎ）を生成する生成式として、例えば、式（３２）、式（３３）などを使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２３６】
【数２２】
【０２３７】
なお、上述したようにパラメータｚを含む生成式の係数データである係数種データは、上述したパラメータｈ，ｖを含む生成式の係数データである係数種データを生成する場合と同様に、図２３に示す係数種データ生成装置１５０あるいは図２６に示す係数種データ生成装置１５０′により生成できる。
【０２３８】
その場合、ＳＤ信号生成回路１５２には、パラメータｚが制御信号として供給され、このパラメータｚの値に対応して、ＨＤ信号からＳＤ信号を生成する際に、ＳＤ信号に対するノイズ付加状態が段階的に可変される。このようにＳＤ信号に対するノイズ付加状態を段階的に可変させて学習データを登録することで、連続したノイズ除去度を得るための係数種データを生成することができる。
【０２３９】
ここで、パラメータｚの値に対応したノイズ付加方法の詳細について、いくつかの例を示す。
【０２４０】
例えば、図２７Ａに示すように、ＳＤ信号に振幅レベルを段階的に変化させたノイズ信号を加えて、段階的にノイズレベルが変化するＳＤ信号を生成する。
【０２４１】
また例えば、図２７Ｂに示すように、ＳＤ信号に一定振幅レベルのノイズ信号を加えるが、加える画面領域を段階的に可変する。
【０２４２】
さらに例えば、図２７Ｃに示すように、ＳＤ信号（１画面分）として、ノイズが含まれていないものと、ノイズが含まれているものとを用意する。そして、正規方程式を生成する際に、それぞれのＳＤ信号に対して複数回の学習を行う。
【０２４３】
例えば、「ノイズ０」ではノイズなしのＳＤ信号に対して１００回の学習を行い、「ノイズｉ」ではノイズなしのＳＤ信号に対して３０回の学習を行うと共にノイズありのＳＤ信号に対して７０回の学習を行う。この場合、「ノイズｉ」の方がノイズ除去度が高い係数種データを算出する学習系になる。このように、ノイズなしとノイズありのＳＤ信号に対する学習回数を段階的に変化させて学習を行うことにより、連続したノイズ除去度を得るための係数種データを得ることができる。
【０２４４】
この手法を、上述せずも、正規方程式の加算という形で実現することもできる。
【０２４５】
まず、「ノイズ０」乃至「ノイズｉ」における推定式の係数データを算出するような学習を行う。このときの正規方程式は、上述した式（２４）に示すようになる。ここで、Ｐij，Ｑjをそれぞれ式（３４）、式（３５）のように定義すると、式（２４）は式（３６）のように書き換えられる。ここで、ｘijはｊ番目の予測タップ位置のＳＤ画素データのｉ番目の学習値、ｙiはＨＤ画素データのｉ番目の学習値、Ｗiは係数を表している。
【０２４６】
【数２３】
【０２４７】
このような学習を用いて、ノイズなしのＳＤ信号を学習した場合における、式（３６）の左辺を[Ｐ１ij]、右辺を[Ｑ１i]と定義し、同様に、ノイズありのＳＤ信号を学習した場合における、式（３６）の左辺を[Ｐ２ij]、右辺を[Ｑ２i]と定義する。このような場合に、式（３７）、式（３８）のように、[Ｐaij]、［Ｑai］を定義する。ただし、ａ（０≦ａ≦１）である。
【０２４８】
[Ｐaij]＝（１-ａ）[Ｐ１ij]＋ａ[Ｐ２ij] ・・・（３７）
[Ｑai]＝（１-ａ）[Ｑ１i]＋ａ[Ｑ２i] ・・・（３８）
ここで、ａ＝０の場合の正規方程式は式（３９）で表され、これは図２７Ｃの「ノイズ０」の場合の正規方程式と等価になり、ａ＝０．７の場合は「ノイズｉ」の場合の正規方程式と等価になる。
【０２４９】
[Ｐaij][Ｗi]＝[Ｑai] ・・・（３９）
このａを段階的に変化させて各ノイズレベルの正規方程式を作ることにより、目的とする係数種データを得ることができる。この場合、図２６の係数種データ生成装置１５０′で説明したと同様に、各ノイズレベルの正規方程式よりそれぞれ係数データをＷｉを算出し、この各段階の係数データを使用して係数種データを求めることができる。
【０２５０】
また、各ノイズレベルの正規方程式を組み合わせることにより、上述した式（１６）のような係数種データを得るための正規方程式を生成することも可能である。この手法については、以下に具体的に説明する。ここでは、上述した式（３３）を用いて、係数種データを求める正規方程式を生成する場合を考える。
【０２５１】
予め、予め何種類かのパラメータｚに対応したノイズレベルのＳＤ信号を生成して学習を行い、上述した式（３７）、式（３８）に表される[Ｐ]、[Ｑ]を用意しておく。それらを、[Ｐnij]、[Ｑni]と表す。また、また、上述した式（１０）は、式（４０）のように書き換えられる。
【０２５２】
ｔ0＝１，ｔ1＝ｚ，ｔ2＝ｚ2 ・・・（４０）
この場合、上述した式（２７）、式（２８）は、それぞれ式（４１）、式（４２）のように書き換えられる。これらの式に対し、式（４３）を解くことで、係数種データｗijを求めることができる。ここで、予測タップの総数を表す変数はｍに書き換えている。
【０２５３】
【数２４】
【０２５４】
また、図６のDRC回路１８では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、水平および垂直の解像度を１個のパラメータで調整するように構成することもできる。例えば、水平および垂直の解像度を指定する１個のパラメータｒを設定する。この場合、例えば、ｒ＝１はｈ＝１、ｖ＝１、ｒ＝２はｈ＝２、ｖ＝２、・・・、あるいはｒ＝１はｈ＝１、ｖ＝２、ｒ＝２はｈ＝２、ｖ＝３、・・・のような対応関係とされる。この場合、係数データＷｉ（ｉ＝１乃至ｎ）を生成する生成式としては、ｒの多項式等が使用されることとなる。
【０２５５】
また、図６のDRC回路１８では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、上述した水平および垂直の解像度を指定するパラメータｒと、上述ノイズ除去度（ノイズ低減度）を指定するパラメータｚとを設定し、これら複数種類のパラメータｒ，ｚの値を調整することで、画像の水平および垂直の解像度とノイズ除去度とを調整し得るものも同様に構成することができる。
【０２５６】
この場合、係数データＷｉ（ｉ＝１乃至ｎ）を生成する生成式として、例えば、式（４４）等を使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２５７】
【数２５】
【０２５８】
このように複数種類のパラメータｒ，ｚを調整するためのユーザインタフェースも、図７に示すように構成できる。ユーザは、ジョイスティック２００ａを操作することで、調整画面１１５上でアイコン１１５ａの位置を動かすことができ、解像度を指定するパラメータｒの値とノイズ除去度（ノイズ低減度）を指定するパラメータｚの値とを任意に調整できる。図２９は、調整画面１１５の部分を拡大して示している。アイコン１１５ａが左右に動かされることで解像度を決定するパラメータｒの値が調整され、一方アイコン１１５ａが上下に動かされることでノイズ除去度を決定するパラメータｚの値が調整される。
【０２５９】
ユーザは、表示部３２（図７参照）に表示される調整画面１１５を参照してパラメータｒ，ｚを調整でき、その調整を容易に行うことができる。なお、ユーザによって調整されたパラメータｒ，ｚの値を、調整画面１１５上に数値表示してもよい。
【０２６０】
このようにパラメータｒ，ｚを含む生成式の係数データである係数種データは、上述したパラメータｈ，ｖを含む生成式の係数データである係数種データを生成する場合と同様に、図２３に示す係数種データ生成装置１５０あるいは図２６に示す係数種データ生成装置１５０′により生成できる。
【０２６１】
その場合、ＳＤ信号生成回路１５２には、パラメータｒ，ｚが制御信号として供給され、このパラメータｒ，ｚの値に対応して、ＨＤ信号からＳＤ信号を生成する際に、ＳＤ信号の水平、垂直の帯域と、ＳＤ信号に対するノイズ付加状態とが段階的に可変される。
【０２６２】
図２８は、パラメータｒ，ｚの値に対応したＳＤ信号の生成例を示している。この例では、パラメータｒ，ｚはそれぞれ９段階に可変され、合計８１種類のＳＤ信号が生成される。なお、パラメータｒ，ｚを９段階よりもさらに多くの段階に可変するようにしてもよい。その場合には、算出される係数種データの精度は良くなるが、計算量は増えることとなる。
【０２６３】
また、図６のDRC回路１８では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、これらパラメータｈ，ｖの他に、さらに上述したノイズ除去度（ノイズ低減度）を指定するパラメータｚを設定し、これら複数種類のパラメータｈ，ｖ，ｚの値を調整することで、画像の水平および垂直の解像度とノイズ除去度とを調整し得るものも同様に構成することができる。
【０２６４】
この場合、係数データＷｉ（ｉ＝１乃至ｎ）を生成する生成式として、例えば、式（４５）等を使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２６５】
【数２６】
【０２６６】
このようにパラメータｈ，ｖ，ｚを調整するためのユーザインタフェースも、図７に示すように構成できる。ユーザは、ジョイスティック２００ａを操作することで、調整画面１１５上でアイコン１１５ａの位置を動かすことができ、解像度を指定するパラメータｈ，ｖの値とノイズ除去度（ノイズ低減度）を指定するパラメータｚの値とを任意に調整できる。
【０２６７】
図３１は、調整画面１１５の部分を拡大して示している。アイコン１１５ａが左右に動かされることで水平の解像度を決定するパラメータｈの値が調整され、一方アイコン１１５ａが上下に動かされることで垂直の解像度を決定するパラメータｖの値が調整され、さらにアイコン１１５ａが奥行き方向に動かされることでノイズ除去度を決定するパラメータｚの値が調整される。アイコン１１５ａを奥行き方向に動かすには、例えばジョイスティック２００ａを斜め方向に操作すればよい。
【０２６８】
この場合、アイコン１１５ａの大きさや色の濃さ、あるいは色合い等を変化させることで、奥行き方向を表現することが可能である。図中の破線で示されるアイコン１１５ａは、その大きさを変えることで、実線で示されるアイコン１１５ａが奥行き方向に移動された状態を示している。
【０２６９】
ユーザは、表示部３２（図７参照）に表示される調整画面１１５を参照してパラメータｈ，ｖ，ｚを調整でき、その調整を容易に行うことができる。なお、ユーザによって調整されたパラメータｈ，ｖ，ｚの値を、調整画面１１５上に数値表示してもよい。
【０２７０】
このようにパラメータｈ，ｖ，ｚを含む生成式の係数データである係数種データは、上述したパラメータｈ，ｖを含む生成式の係数データである係数種データを生成する場合と同様に、図２３に示す係数種データ生成装置１５０あるいは図２６に示す係数種データ生成装置１５０′により生成できる。
【０２７１】
その場合、ＳＤ信号生成回路１５２には、パラメータｈ，ｖ，ｚが制御信号として供給され、このパラメータｈ，ｖ，ｚの値に対応して、ＨＤ信号からＳＤ信号を生成する際に、ＳＤ信号の水平、垂直の帯域と、ＳＤ信号に対するノイズ付加状態とが段階的に可変される。
【０２７２】
図３０は、パラメータｈ，ｖ，ｚの値に対応したＳＤ信号の生成例を示している。この例では、パラメータｈ，ｖ，ｚはそれぞれ９段階に可変され、合計７２９種類のＳＤ信号が生成される。なお、パラメータｈ，ｖ，ｚを９段階よりもさらに多くの段階に可変するようにしてもよい。その場合には、算出される係数種データの精度は良くなるが、計算量は増えることとなる。
【０２７３】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどの、記録媒体からインストールされる。
【０２７４】
この記録媒体は、図１に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１６やHDD３３などで構成される。
【０２７５】
以上においては、ビデオデータを処理する場合を例としたが、オーディオデータ、その他のコンテンツデータを処理するコンテンツ処理装置に本発明は適用することができる。
【０２７６】
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２７７】
【発明の効果】
以上の如く、本願発明によれば、ユーザによりボリューム値が入力されない場合に、ボリューム値を算出することができる。特に、本願発明によれば、ユーザの嗜好に合う画質を自動的に算出することができる。
【図面の簡単な説明】
【図１】本発明を適用したテレビジョン受像機の構成例を示すブロック図である。
【図２】図１の信号処理部の機能的構成を示すブロック図である。
【図３】図２の信号処理部における処理を説明するフローチャートである。
【図４】図１のDRC回路における処理を説明するフローチャートである。
【図５】図２の記憶部に記憶されるボリューム値と特徴量を説明する図である。
【図６】 DRC回路の詳細な構成例を示すブロック図である。
【図７】画質を調整するためのユーザインタフェース例を示す図である。
【図８】調整画面を拡大して示した図である。
【図９】５２５ｉ信号と５２５ｐ信号の画素位置関係を説明するための図である。
【図１０】５２５ｉ信号と１０５０ｉ信号の画素位置関係を説明するための図である。
【図１１】５２５ｉと５２５ｐの画素位置関係と、予測タップの一例を示す図である。
【図１２】５２５ｉと５２５ｐの画素位置関係と、予測タップの一例を示す図である。
【図１３】５２５ｉと１０５０ｉの画素位置関係と、予測タップの一例を示す図である。
【図１４】５２５ｉと１０５０ｉの画素位置関係と、予測タップの一例を示す図である。
【図１５】５２５ｉと５２５ｐの画素位置関係と、空間クラスタップの一例を示す図である。
【図１６】５２５ｉと５２５ｐの画素位置関係と、空間クラスタップの一例を示す図である。
【図１７】５２５ｉと１０５０ｉの画素位置関係と、空間クラスタップの一例を示す図である。
【図１８】５２５ｉと１０５０ｉの画素位置関係と、空間クラスタップの一例を示す図である。
【図１９】５２５ｉと５２５ｐの画素位置関係と、動きクラスタップの一例を示す図である。
【図２０】５２５ｉと１０５０ｉの画素位置関係と、動きクラスタップの一例を示す図である。
【図２１】５２５ｐ信号を出力する場合のライン倍速処理を説明するための図である。
【図２２】係数種データの生成方法の一例の概念を示す図である。
【図２３】係数種データ生成装置の構成例を示すブロック図である。
【図２４】帯域フィルタの周波数特性の一例を示す図である。
【図２５】係数種データの生成方法の他の例の概念を示す図である。
【図２６】係数種データ生成装置の他の構成例を示すブロック図である。
【図２７】ノイズ付加方法を説明するための図である。
【図２８】ＳＤ信号（パラメータｒ，ｚ）の生成例を示す図である。
【図２９】パラメータｒ，ｚの調整画面の一例を示す図である。
【図３０】ＳＤ信号（パラメータｈ，ｖ，ｚ）の生成例を示す図である。
【図３１】パラメータｈ，ｖ，ｚの調整画面の一例を示す図である。
【符号の説明】
１ テレビジョン受像機， １７ 信号処理部， １８ DRC回路， ７１ 特徴量抽出部， ７２ 記憶部， ７３ ボリューム算出部
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びに、プログラムに関し、特に、ユーザの嗜好に合う画質に自動的に調整することができるようにした画像処理装置および方法、記録媒体、並びに、プログラムに関する。
【０００２】
【従来の技術】
近年、ハイビジョン方式の開発に伴い、NTSC（National Television System Committee）方式のビデオ信号（走査線数が５２５本であり、縦横比が３：４である）を、ハイビジョン方式のビデオ信号（走査線数１１２５本であり、縦横比が９：１６である）に変換する方法が開発されている。
【０００３】
しかしながら、この方法においては、ハイビジョン方式のビデオ信号による画像の解像度は固定されており、例えば、従来のコントラストやシャープネス等の調整のように、画像内容に応じて、画像の解像度を変更することができないという課題があった。
【０００４】
そこで、本出願人は、ハイビジョン方式のビデオ信号により表示される画像の解像度を、調整できるようにすることを先に提案している（例えば、特許文献１）。
【０００５】
【特許文献１】
特開２００１−２３８１８５号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示されている方法においては、画像毎にユーザが嗜好する解像度に合わせる必要があり、手間がかかるという課題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、ユーザの嗜好に合う画質に迅速に調整するようにするものである。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出する特徴量抽出手段と、ユーザにより入力された第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、特徴量抽出手段により抽出された特徴量をボリューム値に対応して記憶する記憶手段と、ユーザにより、ボリューム値が入力されてこない場合、記憶手段に記憶されている複数のボリューム値および特徴量の値、並びにそのとき入力されている第１の画像の特徴量の値を用いて、そのとき入力されている第１の画像のボリューム値を算出するボリューム値算出手段と、ユーザにより、ボリューム値が入力されてこない場合、そのとき入力されている第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、ボリューム値算出手段により算出されたボリューム値に対応する値に調整し、値が調整された第２の画像を出力する画像処理手段とを備える。
【００１０】
ボリューム値算出手段は、記憶手段に記憶されている複数のボリューム値および特徴量の値を用いた線形式に最小自乗法を適用して線形式の係数を求め、係数が求められた線形式とそのとき入力されている第１の画像の特徴量の値から、そのとき入力されている第１の画像のボリューム値を算出することができる。
【００１１】
ボリューム値算出手段は、係数の算出を、画像処理装置の電源がオフされているとき行うことができる。
【００１２】
ボリューム値算出手段は、記憶手段に記憶されている複数の特徴量の値と、そのとき入力されている第１の画像の特徴量の値との距離を演算し、記憶手段に記憶されている複数の特徴量の値のうち、演算された距離が最小になる特徴量の値に対応するボリューム値を、そのとき入力されている第１の画像のボリューム値として算出することができる。
【００１３】
本発明の画像処理方法は、画像処理装置が、入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出し、ユーザにより入力された第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、抽出された特徴量をボリューム値に対応して記憶手段に記憶し、ユーザにより、ボリューム値が入力されてこない場合、記憶手段に記憶されている複数のボリューム値および特徴量の値、並びにそのとき入力されている第１の画像の特徴量の値を用いて、そのとき入力されている第１の画像のボリューム値を算出し、ユーザにより、ボリューム値が入力されてこない場合、そのとき入力されている第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、算出されたボリューム値に対応する値に調整し、値が調整された第２の画像を出力するステップを含む。
【００１４】
本発明の記録媒体に記録されているプログラムは、入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出し、ユーザにより入力された第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、抽出された特徴量をボリューム値に対応して記憶手段に記憶させ、ユーザにより、ボリューム値が入力されてこない場合、記憶手段に記憶されている複数のボリューム値および特徴量の値、並びにそのとき入力されている第１の画像の特徴量の値を用いて、そのとき入力されている第１の画像のボリューム値を算出し、ユーザにより、ボリューム値が入力されてこない場合、そのとき入力されている第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、算出されたボリューム値に対応する値に調整し、値が調整された第２の画像を出力するステップを含む処理をコンピュータに実行させる。
【００１５】
本発明のプログラムは、入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出し、ユーザにより入力された第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、抽出された特徴量をボリューム値に対応して記憶手段に記憶させ、ユーザにより、ボリューム値が入力されてこない場合、記憶手段に記憶されている複数のボリューム値および特徴量の値、並びにそのとき入力されている第１の画像の特徴量の値を用いて、そのとき入力されている第１の画像のボリューム値を算出し、ユーザにより、ボリューム値が入力されてこない場合、そのとき入力されている第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、算出されたボリューム値に対応する値に調整し、値が調整された第２の画像を出力するステップを含む処理をコンピュータに実行させる。
【００１６】
本発明においては、入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量が抽出され、ユーザにより入力された第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値が記憶されるとともに、抽出された特徴量をボリューム値に対応して記憶手段に記憶される。そして、ユーザにより、ボリューム値が入力されてこない場合、記憶手段に記憶されている複数のボリューム値および特徴量の値、並びにそのとき入力されている第１の画像の特徴量の値を用いて、そのとき入力されている第１の画像のボリューム値が算出され、ユーザにより、ボリューム値が入力されてこない場合、そのとき入力されている第１の画像の水平解像度、垂直解像度、またはノイズ除去度が、算出されたボリューム値に対応する値に調整され、値が調整された第２の画像が出力される。
【００１７】
【発明の実施の形態】
図１は、本発明を適用したテレビジョン受像機１の構成例を示すブロック図である。
【００１８】
このテレビジョン受像機１は、チューナ１２により受信される放送信号、すなわち、ＳＤ(Standard Definition)信号（５２５ｉ信号（ライン数が５２５本でインターレース方式の画像信号））を、ＨＤ（High Definition）信号（５２５ｐ信号（ライン数が５２５本でプログレッシブ方式の画像信号）または１０５０ｉ信号（ライン数が１０５０本でインターレース方式の画像信号））に変換し、（表示部３２に）表示する機能を有している。
【００１９】
テレビジョン受像機１においては、内部バス１１を介して、チューナ１２、デコーダ１３、CPU（Central Processing Unit）１４、RAM(Random Access Memory)１５、ROM(Read Only Memory)１６、信号処理部１７、DRC（Digital Reality Creation）回路１８、および入出力インターフェース１９が相互に接続されている他、必要に応じて、ドライブ２０がさらに接続される。
【００２０】
入出力インターフェース１９には、受光部３１、表示部３２、HDD（Hard Disk Drive）３３、および操作部３４が接続されている。
【００２１】
ユーザが後述する図７のリモートコントローラ２００を操作して出力する信号は、受光部３１から入力される。また、ユーザは、操作部３４を操作することで指令を入力することもできる。CPU１４は、受信した指令に基づく処理を実行する。ユーザは、リモートコントローラ（後述する図７のリモートコントローラ２００）または操作部３４を操作することにより、入力画像の画質を調整するための調整値を入力することができる。
【００２２】
CPU１４は、ROM１６に記憶されているプログラム、または、HDD３３からRAM１５にロードされたプログラムに従って各種の処理を実行する。RAM１５にはまた、CPU１４が各種の処理を実行する上において必要なデータなどが適宜記憶される。HDD３３は、CPU１４が実行するOS（Operating Systems）やアプリケーションプログラムを格納する他、チューナ１２から受信した放送信号に基づくデータを記憶する。
【００２３】
CPU１４は、ユーザの操作に基づいて、リモートコントローラ（後述する図７のリモートコントローラ２００）から赤外線信号（後述する図７のＲＭ）が受光部３１に入力されるか、または、ユーザにより操作部３４に指令が入力されると、チューナ１２に図示せぬ放送局からの放送信号を受信させ、デコーダ１３にデコードさせる。デコーダ１３は、デコードした放送信号に基づくビデオデータを、内部バス１１を介して信号処理部１７およびDRC回路１８に出力する。
【００２４】
信号処理部１７は、ビデオデータを受信し、ユーザからボリューム値が入力されない場合（後述する図３のステップＳ１３においてＮＯとされた場合）、ユーザの嗜好に合わせたボリューム値を算出し、DRC回路１８に通知する（後述する図３のステップＳ２２の処理）。DRC回路１８は、ビデオデータを受信し、ユーザにより指令されたボリューム値、または、信号処理部１７から通知されたボリューム値に基づいて、例えば、水平解像度と垂直解像度を所定の値に設定、変更するとともに、ノイズ除去度を、その解像度に合った値に設定変更する。
【００２５】
なお、DRC回路１８の構成例については、図６を参照して後述する。DRC回路１８により処理されたビデオデータは、内部バス１１および入出力インターフェース１９を介して、表示部３２に出力される（後述する図４の処理）。表示部３２は、供給されたビデオデータに基づく画像を表示する。
【００２６】
内部バス１１は、必要に応じてドライブ２０に接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じてHDD３３にインストールされる。
【００２７】
図２は、図１の信号処理部１７の機能的構成を示すブロック図である。
【００２８】
信号処理部１７には、特徴量抽出部７１、記憶部７２、およびボリューム算出部７３が設けられている。
【００２９】
特徴量抽出部７１は、入力画像（チューナ１２により受信され、デコーダ１３によりデコードされたビデオ信号に基づく画像）を取得し、特徴量を抽出する。このとき、抽出される特徴量は、平均輝度、エッジ量、動き量、および、輝度分布などである。その詳細は、図５を参照して後述する。
【００３０】
記憶部７２は、特徴量抽出部７１により抽出された特徴量と、ユーザがリモートコントローラ（後述する図７のリモートコントローラ２００）または操作部３４を操作することで入力されたボリューム値を記憶する。すなわち、記憶部７２には、ボリューム値と、それに対応する特徴量の履歴が記憶される。
【００３１】
ボリューム算出部７３は、記憶部７２に記憶されている過去の特徴量およびボリューム値の履歴に基づいて、任意の入力画像の特徴量に対するボリューム値を演算するための係数を算出し、記憶部７２に記憶させる。ユーザによりボリューム値が入力されない場合（後述する図３のステップＳ１３においてＮＯとされる場合）、ボリューム算出部７３は、このボリューム値を算出するための係数を記憶部７２から読み出し、この係数と、と特徴量抽出部７１により新たに抽出された特徴量（その時点における入力画像の特徴量）に基づいて、そのとき出力する画像の最適ボリューム値を算出し、算出したボリューム値をDRC回路１８に通知する。
【００３２】
DRC回路１８は、通知されたボリューム値（信号処理部１７のボリューム算出部７３により算出されたボリューム値）に基づいて、ビデオデータを処理し（ＳＤ信号を、ボリューム値に対応する信号に変換し）、表示部３２に出力し、表示させる。
【００３３】
なお、記憶部７２は、不揮発性メモリまたはHDDなど、記憶できるものであれば何でもよい。
【００３４】
次に、図３と図４のフローチャートを参照して、信号処理部１７とDRC回路１８における処理について説明する。最初に、図３のフローチャートを参照して、信号処理部１７における処理について説明する。なお、この処理は、ユーザによりテレビジョン受像機１の電源のオンが指令されたとき（受光部３１にリモートコントローラ（後述する図７のリモートコントローラ２００）からの指令が入力されたとき、または、操作部３４に指令が入力されたとき）開始される。
【００３５】
ステップＳ１１において、特徴量抽出部７１は、入力画像（チューナ１２により受信され、デコーダ１３によりデコードされたビデオ信号に基づく画像）を取得する。
【００３６】
ステップＳ１２において、特徴量抽出部７１は、入力画像の特徴量を抽出する。このとき、特徴量としては、図５に示されるように、平均輝度、エッジ量、動き量、および、輝度分布が抽出される。図５の例では、第１回目の特徴量として、平均輝度１８８、エッジ量４２、動き量０．１０１２、および輝度分布が２９００．９４の各値が抽出されている（図５の１行目）。
【００３７】
ステップＳ１３において、ボリューム算出部７３は、ユーザによりボリューム値が入力されたか否かを判定する。ユーザは、上述したように、リモートコントローラ（後述する図７のリモートコントローラ２００）または操作部３４を操作することにより、入力画像の画質（出力状態）を調整する値であるボリューム値を入力することができる。ボリューム値が入力されたと判定された場合、処理はステップＳ１４に進み、ボリューム算出部７３は、ユーザにより入力されたボリューム値をDRC回路１８に通知する。図５の例の場合、ボリューム値１６５が通知される。この通知を受けたとき、DRC回路１８は、ユーザにより入力されたボリューム値を取得し、入力されたボリューム値に基づいてビデオデータを処理し（水平解像度、垂直解像度、およびノイズ除去度をボリューム値に対応する値に調整し）、画像を出力する（後述する図４のステップＳ５２乃至Ｓ５４の処理）。
【００３８】
ステップＳ１５において、ボリューム算出部７３は、ユーザによりボリューム値の入力が終了したか否かを判定する。具体的には、例えば、ステップＳ１４の処理により取得されたボリュームが、一定の期間変更されなかったとき、ボリュームの入力が終了したと判定される。ボリューム値の入力が終了していないと判定された場合、処理はステップＳ１４に戻り、それ以降の処理が繰り返される。
【００３９】
ステップＳ１５において、ボリューム値の入力が終了したと判定された場合、ステップＳ１６において、ボリューム算出部７３は、最終的に決定された最終ボリューム値を記憶部７２に記憶させる。またこのとき、ボリューム算出部７３は、最終ボリューム値が決定されたタイミングにおいて特徴量抽出部７１により抽出された特徴量を最終ボリューム値に対応して記憶部７２に記憶させる。
【００４０】
すなわち、記憶部７２には、最終ボリューム値（ステップＳ１４の処理により取得され、ステップＳ１５の処理においてYESとされた場合のボリューム値）（図５の例の場合、ボリューム値は１６５）と、特徴量（ステップＳ１２の処理により抽出された特徴量）（図５の例の場合、平均輝度１８８、エッジ量４２、動き量０．１０１２、および輝度分布２９００．９４）が対応して記憶される。
【００４１】
以上のステップＳ１３乃至ステップＳ１６の処理が繰り返されることにより、記憶部７２には、図５に示されるように、ボリューム値６２に対応して、平均輝度１０５、エッジ量３４、動き量０．７８２３、および輝度分布５４２．９２が記憶され、ボリューム値１０に対応して、平均輝度１１９、エッジ量８１、動き量４．６３２３、および輝度分布１９５３．３４が記憶される。なお、このステップＳ１３乃至ステップＳ１６の処理を、以下、学習処理と称する。
【００４２】
ステップＳ１７において、ボリューム算出部７３は、テレビジョン受像機1の電源がオフされたか否かを判定し、オフされていないと判定した場合、処理をステップＳ１１に戻し、それ以降の処理を繰り返す。ステップＳ１７において、電源がオフされたと判定された場合、ステップＳ１８において、ボリューム算出部７３は、ステップＳ１６の処理により記憶されたボリューム値と特徴量に基づいて、ボリューム値を求める式を更新する。学習処理が繰り返されることにより（ユーザからのボリューム値の入力が繰り返されることにより）、記憶部７２には、複数のボリューム値とそれに対応する特徴量が記憶される（図５）。そこで、ボリューム算出部７３は、この過去のボリューム値と特徴量に基づいて、ボリューム値を求める式を作成する。その後、作成されたボリューム値を求める式は、記憶部７２に記憶され（前回記憶した式が残っていた場合、更新される）、処理は終了される。
【００４３】
特徴量からボリューム値を算出する方法（ボリューム値を求める式の作成方法）としては、例えば、特徴量（ステップＳ１２の処理により取得された特徴量、以下、入力特徴量と称する）に基づいて、ボリューム値を線形式に基づいて類推する方法（１番目の方法）と、過去の特徴量（図５に示されるような特徴量、すなわち、ステップＳ１３乃至ステップＳ１６の処理により記憶された特徴量）との距離計算による最近距離至上方法（２番目の方法）が挙げられる。
【００４４】
入力特徴量に基づいて、ボリューム値を類推する方法（１番目の方法）が使用される場合、ステップＳ１８の処理では、式（１）に示される線形式が作成される。
Ｖ＝Ａ０Ｘ０＋Ａ１Ｘ１＋・・・＋ＡｎＸｎ・・・（１）
【００４５】
式（１）において、Ｖは推定ボリューム値を表わし、いまの場合、水平解像度、垂直解像度またはノイズ除去度のいずれかとされる。また、式（１）において、Ａ０乃至Ａｎは定数係数を表わし、Ｘ０乃至Ｘｎは、入力特徴量を表わす。
【００４６】
式（１）において、Ａ０乃至Ａｎの定数係数を求める式が式（２）に示されている。すなわち、記憶部７２に記憶されている過去のボリューム値（最終ボリューム値）と特徴量（図５に示されているボリューム値と特徴量）の値の組が、式（２）の行列式に足し込まれ、これを最小自乗法により解くことにより、定数係数が求められる。
【００４７】
【数１】
すなわち、ステップＳ１８の処理では、式（２）に基づいて式（１）の定数係数が演算され、式（１）が更新される。後述するステップＳ２１において、式（１）に対応する特徴量が代入されることにより、最適ボリューム値が求められる。
【００４９】
また、過去の特徴量（図５に示されるような特徴量、すなわち、ステップＳ１３乃至ステップＳ１６の学習処理により記憶された特徴量）との距離計算による最近距離至上方法（２番目の方法）が使用される場合、ステップＳ１８の処理では、式（３）が作成される。
Ｄ=｜Ｘ１-Ｙｋ１｜+｜Ｘ２-Ｙｋ２｜+・・・+｜Ｘｎ-Ｙｋｎ｜・・・（３）
【００５０】
式（３）に示されるＸ１乃至Ｘｎは、入力特徴量を表わし、Ｙｋ１乃至Ｙｋｎは、登録されているｋ番目の画像の特徴量（過去の特徴量）を表わす。例えば、ｋ＝２とされる場合、図５に示されるボリューム値６２、平均輝度１０５、エッジ量３４、動き量０．７８２３、および輝度分布５４２．９２が特徴量とされる。
【００５１】
距離Ｄが最小のもの、すなわち、いままでに登録されている過去の特徴量の中で一番近いものが選択され、その特徴量に対応する最適ボリューム値が求められる。
【００５２】
ステップＳ１８の処理（ボリューム値を求める式の作成）は、時間を要するため、テレビジョン受像機１の電源のオフ時に実行される。そのため、テレビジョン受像機１の電源がオンされているときは、ステップＳ１７の処理の後、処理が終了される。また、テレビジョン受像機１の電源がオンされているときは、ステップＳ１１に戻り、それ以降の処理が繰り返される。すなわち、最適ボリューム値と特徴量の記憶のみが行なわれる。これにより、テレビジョン受像機１に負担をかけることなく、処理を実行することができる。
【００５３】
ステップＳ１３に戻って、ユーザによりボリューム値が入力されていないと判定された場合、処理はステップＳ１９に進み、ボリューム算出部７３は、ステップＳ１２の処理により、特徴量抽出部７１により抽出された特徴量（入力特徴量）を取得する。
【００５４】
ステップＳ２０において、ボリューム算出部７３は、ステップＳ１８の処理により算出され、記憶部７２に記憶されているボリューム値を求める式（式（１）、または、式（３））を取得する。
【００５５】
ステップＳ２１において、ボリューム算出部７３は、ステップＳ２０の処理により取得したボリューム値を求める式（式（１）、または、式（３））に基づいて、最適ボリューム値を算出する。
【００５６】
例えば、上述したように、式（１）に、そのとき出力される画像の特徴量が代入されることにより、最適ボリューム値が求められる。また、例えば、式（３）に、そのとき出力される画像の特徴量が代入され、求められた値が一番近い過去の特徴量に対応するボリューム値が算出されることにより、最適ボリューム値が求められる。
【００５７】
ステップＳ２２において、ボリューム算出部７３は、ステップＳ２１の処理により求めた最適ボリューム値をDRC回路１８に通知する。その後、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。DRC回路１８は、通知されたボリューム値に基づいて、画像処理を実行し、画像を出力する（後述する図４のステップＳ５２乃至Ｓ５４の処理）。
【００５８】
ステップＳ１９乃至ステップＳ２２の処理は、上述した学習処理に対して、自動ボリューム処理と称する。なお、テレビジョン受像機１が初期状態にある場合（商品購入後、最初に電源をオンした場合）、学習処理が先に行なわれる。これは、自動ボリューム処理が、学習処理により記憶部７２に記憶された過去のボリューム値と特徴量に基づいて行なわれる為である。
【００５９】
図３の処理により、ユーザによりボリューム値が入力された場合（ステップＳ１３においてYESとされた場合）、信号処理部１７は、その値を記憶して学習するようにし、ユーザによりボリューム値が入力されない場合（ステップＳ１３においてＮＯとされた場合）、信号処理部１７は、過去の特徴量に基づいて、自動的に最適ボリューム値を算出するようにしたので、ユーザによりボリューム値が入力されない場合においても、ユーザの過去の履歴に基づいて、ユーザが嗜好するボリューム値を設定することができる。
【００６０】
次に、図４のフローチャートを参照して、図３の処理（信号処理部１７が実行する処理）に対応するDRC回路１８における処理を説明する。なお、この処理は、テレビジョン受像機１の電源がオンされたとき開始される。
【００６１】
ステップＳ５１において、DRC回路１８は、ボリューム算出部７３よりボリューム値が通知されたか否かを判定する。ボリューム値が通知されたと判定された場合、ステップＳ５２において、DRC回路１８は、通知されたボリューム値を内部のメモリに記憶する（既に記憶されているボリューム値を更新する）。
【００６２】
ステップＳ５１において、ボリューム値が通知されていないと判定された場合、ステップＳ５２の処理はスキップされる。
【００６３】
その後、ステップＳ５３において、DRC回路１８は、記憶されている（設定されている）ボリューム値に基づいて、水平解像度、垂直解像度、およびノイズ除去度を設定し、その設定値に基づいて、ステップＳ５４において、DRC回路１８は、ステップＳ５３の処理により変更されたビデオデータを、内部バス１１および入出力インターフェース１９を介して、表示部３２に出力する。表示部３２は、データに対応する画像を表示する。その後、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【００６４】
図４の処理により、ユーザによりボリューム値が入力されない場合においても、信号処理部１７から通知されるボリューム値に対応して画像を変更する（解像度を変更する）ことができる。
【００６５】
以上の処理により、ユーザによりボリューム値が入力された場合、そのボリューム値とそれに対応する特徴量が記憶され、複数のボリューム値とそれに対応する特徴量に基づいて、最適ボリューム値を求める式が算出されることにより、ユーザによりボリューム値が入力されない場合においても、ユーザが嗜好するボリューム値（最適ボリューム値）を求めることができ、もって、ユーザの嗜好に合う画質に自動的に調整することができる。
【００６６】
次に、DRC回路１８の構成例について説明する。
【００６７】
図６は、DRC回路１８の詳細な構成例を示すブロック図である。このDRC回路１８は、デコーダ１３から内部バス１１を介して送信されてきたＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号または５２５ｐ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１乃至第３のタップ選択回路１２１乃至１２３を有している。
【００６８】
第１のタップ選択回路１２１は、予測に使用するＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、ＳＤ信号を構成する画素データ（以下、ＳＤ画素データと称する）のレベル分布パターンに対応するクラス分類に使用するＳＤ画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きに対応するクラス分類に使用するＳＤ画素（「動きクラスタップ」と称する）のデータを選択的に取り出するものである。なお、空間クラスを複数フィールドに属するＳＤ画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００６９】
また、上述したように、ユーザは、リモートコントローラ（後述する図７のリモートコントローラ２００）または操作部３４を操作することにより、入力画像の画質を調整するための調整値を入力することができる。DRC回路１８では、後述するように、ＨＤ信号を構成する画素データ（以下、ＨＤ画素データと称する）が推定式によって算出されるが、この推定式の係数データとして、ユーザからのリモートコントローラの操作によって調整された水平、垂直の解像度を決めるパラメータｈ，ｖに対応したものが、これらパラメータｈ，ｖを含む生成式によって生成されて使用される。これにより、DRC回路１８より出力されるＨＤ信号による画像の水平、垂直の解像度は、調整されたパラメータｈ，ｖに対応したものとなる。
【００７０】
図７は、パラメータｈ，ｖを調整するためのユーザインタフェースの一例を示している。調整時には、表示部３２に、パラメータｈ，ｖの調整位置を☆印のアイコン１１５ａで示した調整画面１１５が、ＯＳＤ表示される。また、リモートコントローラ２００は、ユーザ操作手段としてのジョイスティック２００ａを備えている。
【００７１】
ユーザは、ジョイスティック２００ａを操作することで、調整画面１１５上でアイコン１１５ａの位置を動かすことができ、水平、垂直の解像度を決定するパラメータｈ，ｖの値を任意に調整できる。図８は、調整画面１１５の部分を拡大して示している。アイコン１１５ａが左右に動かされることで水平解像度を決定するパラメータｈの値が調整され、一方アイコン１１５ａが上下に動かされることで垂直解像度を決定するパラメータｖの値が調整される。ユーザは、表示部３２に表示される調整画面１１５を参照してパラメータｈ，ｖの値を調整でき、その調整を容易に行うことができる。
【００７２】
なお、リモートコントローラ２００は、ジョイスティック２００ａの代わりに、マウスやトラックボール等のその他のポインティングデバイスを備えていてもよい。さらに、ユーザによって調整されたパラメータｈ，ｖの値を、調整画面１１５上に数値表示してもよい。
【００７３】
図９は、５２５ｉ信号および５２５ｐ信号の、あるフレーム（Ｆ）の奇数（ｏ）フィールドの画素位置関係を示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される５２５ｐ信号の画素である。偶数（ｅ）フィールドでは、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図９から分かるように、５２５ｐ信号の画素データとしては、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とが存在する。また、５２５ｐ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
【００７４】
図１０は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される１０５０ｉ信号の画素である。図１０から分かるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
【００７５】
図１１および図１２は、５２５ｉ信号から５２５ｐ信号に変換する場合に、第１のタップ選択回路１２１で選択される予測タップ（ＳＤ画素）の具体例を示している。図１１および図１２は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００７６】
図１１に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの予測タップは、次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８，Ｔ９と、さらに前のフィールドＦ-1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１０である。
【００７７】
図１２に示すように、フィールドＦ／ｅのラインデータＬ１，Ｌ２を予測するときの予測タップは、次のフィールドＦ+1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、フィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８，Ｔ９と、さらに前のＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１０である。
【００７８】
なお、ラインデータＬ１を予測する際にはＳＤ画素Ｔ９を予測タップとして選択しないようにし、一方ラインデータＬ２を予測する際にはＳＤ画素Ｔ４を予測タップとして選択しないようにしてもよい。
【００７９】
図１３および図１４は、５２５ｉ信号から１０５０ｉ信号に変換する場合に、第１のタップ選択回路１２１で選択される予測タップ（ＳＤ画素）の具体例を示している。図１３および図１４は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００８０】
図１３に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの予測タップは、次のフィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ-1／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８である。
【００８１】
図１４に示すように、フィールドＦ／ｅのラインデータＬ１′，Ｌ２′を予測するときの予測タップは、次のフィールドＦ+1／ｏに含まれ、作成すべき１０５０ｉｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ７，Ｔ８である。
【００８２】
なお、ラインデータＬ１，Ｌ１′を予測する際にはＳＤ画素Ｔ６を予測タップとして選択しないようにし、一方ラインデータＬ２，Ｌ２′を予測する際にはＳＤ画素Ｔ３を予測タップとして選択しないようにしてもよい。
【００８３】
さらに、図１１乃至図１４に示すように複数フィールドの同一位置にあるＳＤ画素に加えて、水平方向の一または複数のＳＤ画素を、予測タップとして選択するようにしてもよい。
【００８４】
図１５および図１６は、５２５ｉ信号から５２５ｐ信号に変換する場合に、第２のタップ選択回路１２２で選択される空間クラスタップ（ＳＤ画素）の具体例を示している。図１５および図１６は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００８５】
図１５に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの空間クラスタップは、次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ６，Ｔ７である。
【００８６】
図１６に示すように、フィールドＦ／ｅのラインデータＬ１，Ｌ２を予測するときの空間クラスタップは、次のフィールドＦ+1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２と、フィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ３，Ｔ４，Ｔ５，Ｔ６と、前のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ６，Ｔ７である。
【００８７】
なお、ラインデータＬ１を予測する際にはＳＤ画素Ｔ７を空間クラスタップとして選択しないようにし、一方ラインデータＬ２を予測する際にはＳＤ画素Ｔ６を空間クラスタップとして選択しないようにしてもよい。
【００８８】
図１７および図１８は、５２５ｉ信号から１０５０ｉ信号に変換する場合に、第２のタップ選択回路１２２で選択される空間クラスタップ（ＳＤ画素）の具体例を示している。図１７および図１８は、時間的に連続するフレームＦ-1，Ｆ，Ｆ+1の奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。
【００８９】
図１７に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの空間クラスタップは、フィールドＦ／ｏに含まれ、作成すべき１０５０ｉ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、前のフィールドＦ-1／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６，Ｔ７である。
【００９０】
図１８に示すように、フィールドＦ／ｅのラインデータＬ１′，Ｌ２′を予測するときの空間クラスタップは、フィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ１，Ｔ２，Ｔ３と、前のフィールドＦ／ｏに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素Ｔ４，Ｔ５，Ｔ６，Ｔ７である。
【００９１】
なお、ラインデータＬ１，Ｌ１′を予測する際にはＳＤ画素Ｔ７を空間クラスタップとして選択しないようにし、一方ラインデータＬ２，Ｌ２′を予測する際にはＳＤ画素Ｔ４を空間クラスタップとして選択しないようにしてもよい。
【００９２】
さらに、図１５乃至図１８に示すように複数フィールドの同一位置にあるＳＤ画素に加えて、水平方向の一または複数のＳＤ画素を、空間クラスタップとして選択するようにしてもよい。
【００９３】
図１９は、５２５ｉ信号から５２５ｐ信号に変換する場合に、第３のタップ選択回路１２３で選択される動きクラスタップ（ＳＤ画素）の具体例を示している。図１９は、時間的に連続するフレームＦ-1，Ｆの奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。図１９に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの動きクラスタップは、次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素（注目画素）に対して空間的に近傍位置のＳＤ画素ｎ２，ｎ４，ｎ６と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素ｎ１，ｎ３，ｎ５と、前のフィールドＦ-1／ｅに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ２，ｍ４，ｍ６と、さらに前のフィールドＦ-1／ｏに含まれ、作成すべき５２５ｐ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ１，ｍ３，ｍ５である。ＳＤ画素ｎ１乃至ｎ６のそれぞれの垂直方向の位置は、ＳＤ画素ｍ１乃至ｍ６のそれぞれの垂直方向の位置は一致する。
【００９４】
図２０は、５２５ｉ信号から１０５０ｉ信号に変換する場合に、第３のタップ選択回路１２３で選択される動きクラスタップ（ＳＤ画素）の具体例を示している。図２０は、時間的に連続するフレームＦ-1，Ｆの奇数（ｏ）、偶数（ｅ）のフィールドの垂直方向の画素位置関係を示している。図２０に示すように、フィールドＦ／ｏのラインデータＬ１，Ｌ２を予測するときの動きクラスタップは、次のフィールドＦ／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｎ２，ｎ４，ｎ６と、フィールドＦ／ｏに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｎ１，ｎ３，ｎ５と、前のフィールドＦ-1／ｅに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ２，ｍ４，ｍ６と、さらに前のフィールドＦ-1／ｏに含まれ、作成すべき１０５０ｉ信号の画素に対して空間的に近傍位置のＳＤ画素ｍ１，ｍ３，ｍ５である。ＳＤ画素ｎ１乃至ｎ６のそれぞれの垂直方向の位置は、ＳＤ画素ｍ１乃至ｍ６のそれぞれの垂直方向の位置は一致する。
【００９５】
図６に戻って、また、DRC回路１８は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００９６】
空間クラス検出回路１２４では、例えば、各ＳＤ画素データを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１２４からは、各ＳＤ画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。
【００９７】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータ（ＳＤ画素データ）の最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ-ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータとしての各ＳＤ画素データｋｉに対して、式（４）の演算により、圧縮データとしての再量子化コードＱｉが得られる。ただし、式（４）において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個のＳＤ画素データがあるとき、ｉ＝１乃至Ｎａである。
【００９８】
Ｑｉ＝［（ｋｉ-ＭＩＮ＋０．５）．２P／ＤＲ］ ・・・（４）
また、DRC回路１８は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００９９】
この動きクラス検出回路１２５では、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）ｍｉ，ｎｉからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、式（５）によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えば上述したように１２個のＳＤ画素データｍ１乃至ｍ６，ｎ１乃至ｎ６が取り出されるとき、式（５）におけるＮｂは６である。
【０１００】
【数２】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。
【０１０２】
また、DRC回路１８は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべきＨＤ信号（５２５ｐ信号または１０５０ｉ信号）の画素（注目画素）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【０１０３】
このクラス合成回路１２６では、式（６）によって、クラスコードＣＬの演算が行われる。なお、式（６）において、Ｎａは空間クラスタップのデータ（ＳＤ画素データ）の個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【０１０４】
【数３】
また、DRC回路１８は、レジスタ１３０乃至１３３と、係数メモリ１３４とを有している。後述する線順次変換回路１２９は、５２５ｐ信号を出力する場合と、１０５０ｉ信号を出力する場合とで、その動作を切り換える必要がある。レジスタ１３０は、線順次変換回路１２９の動作を指定する動作指定情報を格納するものである。線順次変換回路１２９は、レジスタ１３０より供給される動作指定情報に従った動作をする。
【０１０６】
レジスタ１３１は、第１のタップ選択回路１２１で選択される予測タップのタップ位置情報を格納するものである。第１のタップ選択回路１２１は、レジスタ１３１より供給されるタップ位置情報に従って予測タップを選択する。タップ位置情報は、例えば選択される可能性のある複数のＳＤ画素に対して番号付けを行い、選択するＳＤ画素の番号を指定するものである。以下のタップ位置情報においても同様である。
【０１０７】
レジスタ１３２は、第２のタップ選択回路１２２で選択される空間クラスタップのタップ位置情報を格納するものである。第２のタップ選択回路１２２は、レジスタ１３２より供給されるタップ位置情報に従って空間クラスタップを選択する。
【０１０８】
ここで、レジスタ１３２には、動きが比較的小さい場合のタップ位置情報Ａと、動きが比較的大きい場合のタップ位置情報Ｂとが格納される。これらタップ位置情報Ａ，Ｂのいずれを第２のタップ選択回路１２２に供給するかは、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択される。
【０１０９】
すなわち、動きがないか、あるいは動きが小さいためにＭＶ＝０またはＭＶ＝１であるときは、タップ位置情報Ａが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、図１５乃至図１８に示すように、複数フィールドに跨るものとされる。また、動きが比較的大きいためにＭＶ＝２またはＭＶ＝３であるときは、タップ位置情報Ｂが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、図示せずも、作成すべき画素と同一フィールド内のＳＤ画素のみとされる。
【０１１０】
なお、上述したレジスタ１３１にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第１のタップ選択回路１２１に供給されるタップ位置情報が動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択されるようにしてもよい。
【０１１１】
レジスタ１３３は、第３のタップ選択回路１２３で選択される動きクラスタップのタップ位置情報を格納するものである。第３のタップ選択回路１２３は、レジスタ１３３より供給されるタップ位置情報に従って動きクラスタップを選択する。
【０１１２】
さらに、係数メモリ１３４は、後述する推定予測演算回路１２７で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、ＳＤ信号としての５２５ｉ信号を、ＨＤ信号としての５２５ｐ信号または１０５０ｉ信号に変換するための情報である。係数メモリ１３４には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１３４からはクラスコードＣＬに対応した係数データが読み出され、推定予測演算回路１２７に供給されることとなる。
【０１１３】
また、DRC回路１８は、情報メモリバンク１３５を有している。この情報メモリバンク１３５には、レジスタ１３０に格納するための動作指定情報と、レジスタ１３１乃至１３３に格納するためのタップ位置情報が予め蓄えられている。
【０１１４】
ここで、レジスタ１３０に格納するための動作指定情報として、情報メモリバンク１３５には、線順次変換回路１２９を５２５ｐ信号を出力するように動作させるための第１の動作指定情報と、線順次変換回路１２９を１０５０ｉ信号を出力するように動作させるための第２の動作指定情報とが予め蓄えられている。
【０１１５】
ユーザはリモートコントローラ２００を操作することで、ＨＤ信号として５２５ｐ信号を出力する第１の変換方法、またはＨＤ信号として１０５０ｉ信号を出力する第２の変換方法を選択できる。情報メモリバンク１３５にはCPU１４または信号処理部１７よりその変換方法の選択情報が供給され、この情報メモリバンク１３５よりレジスタ１３０にはその選択情報に従って第１の動作指定情報または第２の動作指定情報がロードされる。
【０１１６】
また、情報メモリバンク１３５には、レジスタ１３１に格納するための予測タップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３１には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【０１１７】
また、情報メモリバンク１３５には、レジスタ１３２に格納するための空間クラスタップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。なお、第１および第２のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報とからなっている。この情報メモリバンク１３５よりレジスタ１３２には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【０１１８】
また、情報メモリバンク１３５には、レジスタ１３３に格納するための動きクラスタップのタップ位置情報として、第１の変換方法（５２５ｐ）に対応する第１のタップ位置情報と、第２の変換方法（１０５０ｉ）に対応する第２のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３３には、上述した変換方法の選択情報に従って第１のタップ位置情報または第２のタップ位置情報がロードされる。
【０１１９】
また、情報メモリバンク１３５には、第１および第２の変換方法のそれぞれに対応した各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ１３４に格納するための係数データを生成するための生成式の係数データである。
【０１２０】
後述する推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、式（７）の推定式によって、作成すべきＨＤ信号を構成する画素データ（以下、ＨＤ画素データと称する）ｙが演算される。第１のタップ選択回路１２１で選択される予測タップが、図９および図１２に示すように１０個であるとき、式（７）におけるｎは１０となる。
【０１２１】
【数４】
そして、この推定式の係数データＷｉ（ｉ＝１乃至ｎ）は、式（８）に示すように、パラメータｈ，ｖを含む生成式によって生成される。情報メモリバンク１３５には、この生成式の係数データである係数種データｗ10乃至ｗn9が、変換方法毎かつクラス毎に、記憶されている。この係数種データの生成方法については後述する。
【０１２３】
【数５】
また、DRC回路１８は、各クラスの係数種データおよびパラメータｈ，ｖの値とを用い、式（８）によって、クラス毎に、パラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１乃至ｎ）を生成する係数生成回路１３６を有している。この係数生成回路１３６には、情報メモリバンク１３５より、上述した変換方法の選択情報に従って第１の変換方法または第２の変換方法に対応した各クラスの係数種データがロードされる。また、この係数生成回路１３６には、信号処理部１７より、パラメータｈ，ｖの値が供給される。
【０１２５】
この係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１乃至ｎ）は、上述した係数メモリ１３４に格納される。この係数生成回路１３６における各クラスの係数データＷｉの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモートコントローラ２００の操作によってパラメータｈ，ｖの値が変更されても、係数メモリ１３４に格納される各クラスの係数データＷｉを、そのパラメータｈ，ｖの値に対応したものに即座に変更でき、ユーザによる解像度の調整がスムーズに行われる。
【０１２６】
また、DRC回路１８は、係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓを、式（９）によって、演算する正規化係数生成回路１３７と、ここで生成された正規化係数Ｓを、クラス毎に格納する正規化係数メモリ１３８を有している。正規化係数メモリ１３８には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓが読み出され、後述する正規化演算回路１２８に供給されることとなる。
【０１２７】
【数６】
また、DRC回路１８は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号の画素（注目画素）のデータを演算する推定予測演算回路１２７を有している。
【０１２９】
この推定予測演算回路１２７では、５２５ｐ信号を出力する場合、上述した図９に示すように、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とを生成し、また各ラインの画素数を２倍とする必要がある。また、この推定予測演算回路１２７では、１０５０ｉ信号を出力する場合、上述した図１０に示すように、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とを生成し、また各ラインの画素数を２倍とする必要がある。
【０１３０】
従って、推定予測演算回路１２７では、ＨＤ信号を構成する４画素のデータが同時的に生成される。例えば、４画素のデータはそれぞれ係数データを異にする推定式を使用して同時的に生成されるものであり、係数メモリ１３４からはそれぞれの推定式の係数データが供給される。ここで、推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、上述の式（７）の推定式によって、作成すべきＨＤ画素データｙが演算される。
【０１３１】
また、DRC回路１８は、推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙを、正規化係数メモリ１３８より読み出され、それぞれの生成に使用された係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路１２８を有している。上述せずも、係数生成回路１３６で係数種データより生成式で推定式の係数データを求めるものであるが、生成される係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１乃至ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路１２７で演算されるＨＤ画素データｙは、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路１２８で正規化することで、その変動を除去できる。
【０１３２】
また、DRC回路１８は、水平周期を１／２倍とするライン倍速処理を行って、推定予測演算回路１２７より正規化演算回路１２８を介して供給されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を線順次化する線順次変換回路１２９を有している。
【０１３３】
図２１は、５２５ｐ信号を出力する場合のライン倍速処理をアナログ波形を用いて示すものである。上述したように、推定予測演算回路１２７によってラインデータＬ１，Ｌ２が生成される。ラインデータＬ１には順にａ１，ａ２，ａ３，・・・のラインが含まれ、ラインデータＬ２には順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。線順次変換回路１２９は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータを交互に選択することによって、線順次出力ａ０，ｂ０，ａ１，ｂ１，・・・を形成する。
【０１３４】
なお、１０５０ｉ信号を出力する場合には、奇数フィールドおよび偶数フィールドでインタレース関係を満たすように、線順次変換回路１２９が線順次出力を発生する。したがって、線順次変換回路１２９は、５２５ｐ信号を出力する場合と、１０５０ｉ信号を出力する場合とで、その動作を切り換える必要がある。その動作指定情報は、上述したようにレジスタ１３０より供給される。
【０１３５】
次に、DRC回路１８の動作を説明する。
【０１３６】
デコーダ１３から内部バス１１を介して送信されてきたＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第２のタップ選択回路１２２では、レジスタ１３２より供給される、ユーザによって選択された変換方法、および動きクラス検出回路１２５で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１３７】
この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（式（４）参照）。
【０１３８】
また、デコーダ１３から内部バス１１を介して送信されてきたＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１２３では、レジスタ１３３より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１３９】
この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１４０】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動き情報ＭＶと再量子化コードＱｉとから、作成すべきＨＤ信号（５２５ｐ信号または１０５０ｉ信号）の画素（注目画素）が属するクラスを示すクラスコードＣＬが得られる（式（６）参照）。そして、このクラスコードＣＬは、係数メモリ１３４および正規化係数メモリ１３８に読み出しアドレス情報として供給される。
【０１４１】
係数メモリ１３４には、例えば各垂直ブランキング期間に、ユーザによって調整されたパラメータｈ，ｖの値に対応した各クラスの推定式の係数データＷｉ（ｉ＝１乃至ｎ）が係数生成回路１３６で生成されて格納される。また、正規化係数メモリ１３８には、上述したように係数生成回路１３６で生成された各クラスの係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓが正規化係数生成回路１３７で生成されて格納される。
【０１４２】
係数メモリ１３４に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１３４からクラスコードＣＬに対応した係数データＷｉが読み出されて推定予測演算回路１２７に供給される。また、デコーダ１３から内部バス１１を介して送信されてきたＳＤ信号（５２５ｉ信号）より、第１のタップ選択回路１２１で、予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１２１では、レジスタ１３１より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。この第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉは推定予測演算回路１２７に供給される。
【０１４３】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号の画素（注目画素）のデータ（ＨＤ画素データ）ｙが演算される（式（７）参照）。この場合、ＨＤ信号を構成する４画素のデータが同時的に生成される。
【０１４４】
これにより、５２５ｐ信号を出力する第１の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインと同一位置のラインデータＬ１と、５２５ｉ信号の上下のラインの中間位置のラインデータＬ２とが生成される（図９参照）。また、１０５０ｉ信号を出力する第２の変換方法が選択されているときは、奇数（ｏ）フィールドおよび偶数（ｅ）フィールドで、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが生成される（図１０参照）。
【０１４５】
このように推定予測演算回路１２７で生成されたラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）は正規化演算回路１２８に供給される。正規化係数メモリ１３８に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この正規化係数メモリ１３８からクラスコードＣＬに対応した正規化係数Ｓ、つまり推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙの生成に使用された係数データＷｉ（ｉ＝１乃至ｎ）に対応した正規化係数Ｓが読み出されて推定予測演算回路１２７に供給される。正規化演算回路１２８では、推定予測演算回路１２７より出力されるラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）を構成する各ＨＤ画素データｙがそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数種データを用いて生成式（式（８）参照）で推定式（式（７）参照）の係数データを求める際の丸め誤差による注目点の情報データのレベル変動が除去される。
【０１４６】
このように正規化演算回路１２８で正規化されたラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）は、線順次変換回路１２９に供給される。そして、この線順次変換回路１２９では、ラインデータＬ１，Ｌ２（Ｌ１′，Ｌ２′）が線順次化されてＨＤ信号が生成される。この場合、線順次変換回路１２９は、レジスタ１３０より供給される、ユーザによって選択された変換方法に対応した動作指示情報に従った動作をする。そのため、ユーザによって第１の変換方法（５２５ｐ）が選択されているときは、線順次変換回路１２９より５２５ｐ信号が出力される。一方、ユーザによって第２の変換方法（１０５０ｉ）が選択されているときは、線順次変換回路１２９より１０５０ｉ信号が出力される。
【０１４７】
上述したように、係数生成回路１３６で、情報メモリバンク１３５よりロードされる係数種データを用いて、クラス毎に、パラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１乃至ｎ）が生成され、これが係数メモリ１３４に格納される。そして、この係数メモリ１３４より、クラスコードＣＬに対応して読み出される係数データＷｉ（ｉ＝１乃至ｎ）を用いて推定予測演算回路１２７でＨＤ画素データｙが演算される。
【０１４８】
このように、DRC回路１８では、調整された複数種類のパラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１乃至ｎ）が使用されて、ＨＤ画素データｙが演算される。したがって、ユーザは、パラメータｈ，ｖの値を調整することで、ＨＤ信号による画像の画質を水平解像度および垂直解像度の軸で自由に調整できる。また、ユーザは、パラメータｈ，ｖの値を調整することで、ＨＤ信号による画像の水平および垂直の画質を、無段階になめらかに調整することができる。なお、この場合、調整されたパラメータｈ，ｖの値に対応した各クラスの係数データをその都度係数生成回路１３６で生成して使用するものであり、大量の係数データを格納しておくメモリを必要としない。
【０１４９】
上述したように、情報メモリバンク１３５には、係数種データが、変換方法毎かつクラス毎に、記憶されている。この係数種データは、予め学習によって生成されたものである。
【０１５０】
まず、この生成方法の一例について説明する。式（８）の生成式における係数データである係数種データｗ10乃至ｗn9を求める例を示すものとする。
【０１５１】
ここで、以下の説明のため、式（１０）のように、ｔｉ（ｉ＝０乃至９）を定義する。
【０１５２】
ｔ0＝１，ｔ1＝ｖ，ｔ2＝ｈ，ｔ3＝ｖ2，ｔ4＝ｖｈ，ｔ5＝ｈ2，ｔ6＝ｖ3，ｔ7＝ｖ2ｈ，ｔ8＝ｖｈ2，ｔ9＝ｈ3
・・・（１０）
この式（１０）を用いると、式（８）は、式（１１）のように書き換えられる。
【０１５３】
【数７】
最終的に、学習によって未定係数ｗxyを求める。すなわち、変換方法毎かつクラス毎に、複数のＳＤ画素データとＨＤ画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、式（７）および式（８）を用いて、Ｅは式（１２）で表される。ここで、ｘikはＳＤ画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のＨＤ画像の画素データを表している。
【０１５５】
【数８】
最小二乗法による解法では、式（１２）のｗxyによる偏微分が０になるようなｗxyを求める。これは、式（１３）で示される。
【０１５７】
【数９】
以下、式（１４）、式（１５）のように、Ｘipjq、Ｙipを定義すると、式（１３）は、行列を用いて式（１６）のように書き換えられる。
【０１５９】
【数１０】
【数１１】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗxyについて解かれ、係数種データが算出される。
【０１６２】
図２２は、上述した係数種データの生成方法の概念を示している。ＨＤ信号から複数のＳＤ信号を生成する。例えば、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータｈ，ｖをそれぞれ９段階に可変して、合計８１種類のＳＤ信号を生成している。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。
【０１６３】
図２３は、上述した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。
【０１６４】
この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（５２５ｐ信号／１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、入力信号としてのＳＤ信号を得るＳＤ信号生成回路１５２とを有している。
【０１６５】
このＳＤ信号生成回路１５２には、変換方法選択信号が制御信号として供給される。第１の変換方法（図６のDRC回路１８で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される（図９参照）。一方、第２の変換方法（図６のDRC回路１８で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される（図１０参照）。
【０１６６】
また、ＳＤ信号生成回路１５２には、パラメータｈ，ｖが制御信号として供給される。このパラメータｈ，ｖに対応して、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域とが可変される。ここで、フィルタの詳細について、いくつかの例を示す。
【０１６７】
例えば、フィルタを、水平帯域を制限する帯域フィルタと垂直帯域を制限する帯域フィルタとから構成することが考えられる。この場合、図２４に示すように、パラメータｈまたはｖの段階的な値に対応した周波数特性を設計し、逆フーリエ変換をすることにより、パラメータｈまたはｖの段階的な値に対応した周波数特性を持つ１次元フィルタを得ることができる。
【０１６８】
また例えば、フィルタを、水平帯域を制限する１次元ガウシアンフィルタと垂直帯域を制限する１次元ガウシアンフィルタとから構成することが考えられる。この１次元ガウシアンフィルタは式（１７）で示される。この場合、パラメータｈまたはｖの段階的な値に対応して標準偏差σの値を段階的に変えることにより、パラメータｈまたはｖの段階的な値に対応した周波数特性を持つ１次元ガウシアンフィルタを得ることができる。
【０１６９】
【数１２】
また例えば、フィルタを、パラメータｈ，ｖの両方で水平および垂直の周波数特性が決まる２次元フィルタＦ(ｈ，ｖ）で構成することが考えられる。この２次元フィルタの生成方法は、上述した１次元フィルタと同様に、パラメータｈ，ｖの段階的な値に対応した２次元周波数特性を設計し、２次元の逆フーリエ変換をすることにより、パラメータｈ，ｖの段階的な値に対応した２次元周波数特性を持つ２次元フィルタを得ることができる。
【０１７１】
また、係数種データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号または５２５ｐ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１乃至第３のタップ選択回路１５３乃至１５５を有している。
【０１７２】
これら第１乃至第３のタップ選択回路１５３乃至１５５は、上述したDRC回路１８の第１乃至第３のタップ選択回路１２１乃至１２３と同様に構成される。これら第１乃至第３のタップ選択回路１５３乃至１５５で選択されるタップは、タップ選択制御部１５６からのタップ位置情報によって指定される。
【０１７３】
タップ選択制御回路１５６には、変換方法選択信号が制御信号として供給される。第１の変換方法が選択される場合と第２の変換方法が選択される場合とで、第１乃至第３のタップ選択回路１５３乃至１５５に供給されるタップ位置情報が異なるようにされている。また、タップ選択制御回路１５６には後述する動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶが供給される。これにより、第２のタップ選択回路１５４に供給されるタップ位置情報が動きが大きいか小さいかによって異なるようにされる。
【０１７４】
また、係数種データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述したDRC回路１８の空間クラス検出回路１２４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードＱｉが空間クラスを示すクラス情報として出力される。
【０１７５】
また、係数種データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述したDRC回路１８の動きクラス検出回路１２５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
【０１７６】
また、係数種データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述したDRC回路１８のクラス合成回路１２６と同様に構成される。
【０１７７】
また、係数種データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、各クラス毎に、係数種データｗ10乃至ｗn9を得るための正規方程式（式（１６）参照）を生成する正規方程式生成部１６０を有している。
【０１７８】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、ＳＤ信号生成回路１５２へのパラメータｈ，ｖが順次変更されていって水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていき、これにより正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。
【０１７９】
ここで、ＨＤ信号と、そのＨＤ信号から帯域が狭いフィルタを作用させて生成したＳＤ信号との間で学習して算出した係数種データは、解像度の高いＨＤ信号を得るためのものとなる。逆に、ＨＤ信号と、そのＨＤ信号から帯域が広いフィルタを作用させて生成したＳＤ信号との間で学習して算出した係数種データは解像度の低いＨＤ信号を得るためのものとなる。上述したように複数のＳＤ信号を順次生成して学習データを登録することで、連続した解像度のＨＤ信号を得るための係数種データを求めることが可能となる。
【０１８０】
なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせを行うことができる。
【０１８１】
また、係数種データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ10乃至ｗn9を求める係数種データ決定部１６１と、この求められた係数種データｗ10乃至ｗn9を記憶する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗ10乃至ｗn9が求められる。
【０１８２】
図２３に示す係数種データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（５２５ｐ信号または１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて入力信号としてのＳＤ信号（５２５ｉ信号）が生成される。
【０１８３】
この場合、第１の変換方法（図６のDRC回路１８で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される。一方、第２の変換方法（図６のDRC回路１８で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される。またこの場合、ＳＤ信号生成回路１５２にはパラメータｈ，ｖが制御信号として供給され、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０１８４】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、選択された変換方法、および動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１８５】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（式（４）参照）。
【０１８６】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１８７】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１８８】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードＱｉとから、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（式（６）参照）。
【０１８９】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１９０】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１６０では、各クラス毎に、係数種データｗ10乃至ｗn9を生成するための正規方程式（式（１６）参照）が生成される。
【０１９１】
そして、係数種データ決定部１６１でその正規方程式が解かれ、各クラス毎の係数種データｗ10乃至ｗn9が求められ、その係数種データｗ10乃至ｗn9はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０１９２】
このように、図２３に示す係数種データ生成装置１５０においては、図６のDRC回路１８の情報メモリバンク１３５に記憶される各クラスの係数種データｗ10乃至ｗn9を生成することができる。この場合、ＳＤ信号生成回路１５２では、選択された変換方法によって５２５ｐ信号または１０５０ｉ信号を使用してＳＤ信号（５２５ｉ信号）が生成されるものであり、第１の変換方法（DRC回路１８で５２５ｉ信号より５２５ｐ信号を得る）および第２の変換方法（DRC回路１８で５２５ｉ信号より１０５０ｉ信号を得る）に対応した係数種データを生成できる。
【０１９３】
次に、係数種データの生成方法の他の例について説明する。この例においても、上述した式（８）の生成式における係数データである係数種データｗ10乃至ｗn9を求める例を示すものとする。
【０１９４】
図２５は、この例の概念を示している。ＨＤ信号から複数のＳＤ信号を生成する。例えば、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータｈ，ｖをそれぞれ９段階に可変して、合計８１種類のＳＤ信号を生成する。このようにして生成した各ＳＤ信号とＨＤ信号との間で学習を行って、式（７）の推定式の係数データＷｉを生成する。そして、各ＳＤ信号に対応して生成された係数データＷｉを使用して係数種データを生成する。
【０１９５】
まず、推定式の係数データの求め方を説明する。ここでは、式（７）の推定式の係数データＷｉ（ｉ＝１乃至ｎ）を最小二乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを係数データ、Ｙを予測値として、式（１８）の観測方程式を考える。この式（１８）において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
【０１９６】
【数１３】
式（１８）の観測方程式により収集されたデータに最小二乗法を適用する。この式（１８）の観測方程式をもとに、式（１９）の残差方程式を考える。
【０１９８】
【数１４】
式（１９）の残差方程式から、各Ｗiの最確値は、式（２０）のｅ2を最小にする条件が成り立つ場合と考えられる。すなわち、式（２１）の条件を考慮すればよいわけである。
【０２００】
【数１５】
つまり、式（２１）のｉに基づくｎ個の条件を考え、これを満たす、Ｗ1，Ｗ2，・・・，Ｗnを算出すればよい。そこで、式（１９）の残差方程式から、式（２２）が得られる。さらに、式（２２）と式（１８）とから、式（２３）が得られる。
【０２０２】
【数１６】
そして、式（１９）と式（２３）とから、式（２４）の正規方程式が得られる。
【０２０４】
【数１７】
式（２４）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各Ｗiの最確値を求めることができる。この場合、掃き出し法（Gauss-Jordanの消去法）等を用いて連立方程式を解くことになる。
【０２０６】
次に、各ＳＤ信号に対応して生成された係数データを使用して、係数種データの求め方を説明する。
【０２０７】
パラメータｈ，ｖに対応したＳＤ信号を用いた学習による、あるクラスの係数データが、ｋvhiとなったとする。ここで、ｉは予測タップの番号である。このｋvhiから、このクラスの係数種データを求める。
【０２０８】
各係数データＷｉ（ｉ＝１乃至ｎ）は、係数種データｗ10乃至ｗn9を使って、上述した式（８）で表現される。ここで、係数データＷｉに対して最小二乗法を使用することを考えると、残差は、式（２５）で表される。
【０２０９】
【数１８】
ここで、ｔjは、上述の式（１０）に示されている。式（２５）に最小二乗法を作用させると、式（２６）が得られる。
【０２１１】
【数１９】
ここで、Ｘjk，Ｙjをそれぞれ式（２７）、式（２８）のように定義すると、式（２６）は式（２９）のように書き換えられる。この式（２９）も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データｗ10乃至ｗn9を算出することができる。
【０２１３】
【数２０】
図２６は、図２５に示す概念に基づいて係数種データを生成する係数種データ生成装置１５０′の構成を示している。この図２６において、図２５と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２１５】
係数種データ生成装置１５０′は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１乃至ｎ）を得るための正規方程式（式（２４）参照）を生成する正規方程式生成部１７１を有している。
【０２１６】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、ＳＤ信号生成回路１５２へのパラメータｈ，ｖが順次変更されていって水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていき、ＨＤ信号と各ＳＤ信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１７１では、各ＳＤ信号のそれぞれ対応して、クラス毎に、係数データＷｉ（ｉ＝１乃至ｎ）を得るための正規方程式が生成される。
【０２１７】
また、係数種データ生成装置１５０′は、正規方程式生成部１７１で生成された正規方程式のデータが供給され、その正規方程式を解いて、各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉを求める係数データ決定部１７２と、この各ＳＤ信号に対応した各クラスの係数データＷｉを使用して、クラス毎に、係数種データｗ10乃至ｗn9を得るための正規方程式（式（２９）参照）を生成する正規方程式生成部１７３とを有している。
【０２１８】
また、係数種データ生成装置１５０′は、正規方程式生成部１７３でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ10乃至ｗn9を求める係数種データ決定部１７４と、この求められた係数種データｗ10乃至ｗn9を記憶する係数種メモリ１６２とを有している。
【０２１９】
図２６に示す係数種データ生成装置１５０′のその他は、図２３に示す係数種データ生成装置１５０と同様に構成される。
【０２２０】
図２６に示す係数種データ生成装置１５０′の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（５２５ｐ信号または１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて入力信号としてのＳＤ信号（５２５ｉ信号）が生成される。
【０２２１】
この場合、第１の変換方法（図６のDRC回路１８で５２５ｉ信号より５２５ｐ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では５２５ｐ信号に対して間引き処理が施されてＳＤ信号が生成される。一方、第２の変換方法（図６のDRC回路１８で５２５ｉ信号より１０５０ｉ信号を得る）が選択される場合、ＳＤ信号生成回路１５２では１０５０ｉ信号に対して間引き処理が施されてＳＤ信号が生成される。またこの場合、ＳＤ信号生成回路１５２にはパラメータｈ，ｖが制御信号として供給され、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０２２２】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、選択された変換方法、および動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２２３】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（式（４）参照）。
【０２２４】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２２５】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０２２６】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードＱｉとから、ＨＤ信号（５２５ｐ信号または１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（式（６）参照）。
【０２２７】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給される、選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２２８】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１７１では、ＳＤ信号生成回路１５２で生成される各ＳＤ信号のそれぞれ対応して、クラス毎に、係数データＷｉ（ｉ＝１乃至ｎ）を得るための正規方程式（式（２４）参照）が生成される。
【０２２９】
そして、係数データ決定部１７２でその正規方程式が解かれ、各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉが求められる。正規方程式生成部１７３では、この各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉから、クラス毎に、係数種データｗ10乃至ｗn9を得るための正規方程式（式（２９）参照）が生成される。
【０２３０】
そして、係数種データ決定部１７４でその正規方程式が解かれ、各クラスの係数種データｗ10乃至ｗn9が求められ、その係数種データｗ10乃至ｗn9はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０２３１】
このように、図２６に示す係数種データ生成装置１５０′においても、図６のDRC回路１８の情報メモリバンク１３５に記憶される各クラスの係数種データｗ10乃至ｗn9を生成することができる。この場合、ＳＤ信号生成回路１５２では、選択された変換方法によって５２５ｐ信号または１０５０ｉ信号を使用してＳＤ信号（５２５ｉ信号）が生成されるものであり、第１の変換方法（DRC回路１８で５２５ｉ信号より５２５ｐ信号を得る）および第２の変換方法（DRC回路１８で５２５ｉ信号より１０５０ｉ信号を得る）に対応した係数種データを生成できる。
【０２３２】
なお、図６のDRC回路１８では、係数データＷｉ（ｉ＝１乃至ｎ）を生成するために式（８）の生成式を使用したが、例えば、式（３０）、式（３１）などを使用してもよく、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２３３】
【数２１】
また、図６のDRC回路１８では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、例えばノイズ除去度（ノイズ低減度）を指定するパラメータｚを設け、このパラメータｚの値を調整することで画像のノイズ除去度を調整し得るものも同様に構成することができる。
【０２３５】
この場合、係数データＷｉ（ｉ＝１乃至ｎ）を生成する生成式として、例えば、式（３２）、式（３３）などを使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２３６】
【数２２】
なお、上述したようにパラメータｚを含む生成式の係数データである係数種データは、上述したパラメータｈ，ｖを含む生成式の係数データである係数種データを生成する場合と同様に、図２３に示す係数種データ生成装置１５０あるいは図２６に示す係数種データ生成装置１５０′により生成できる。
【０２３８】
その場合、ＳＤ信号生成回路１５２には、パラメータｚが制御信号として供給され、このパラメータｚの値に対応して、ＨＤ信号からＳＤ信号を生成する際に、ＳＤ信号に対するノイズ付加状態が段階的に可変される。このようにＳＤ信号に対するノイズ付加状態を段階的に可変させて学習データを登録することで、連続したノイズ除去度を得るための係数種データを生成することができる。
【０２３９】
ここで、パラメータｚの値に対応したノイズ付加方法の詳細について、いくつかの例を示す。
【０２４０】
例えば、図２７Ａに示すように、ＳＤ信号に振幅レベルを段階的に変化させたノイズ信号を加えて、段階的にノイズレベルが変化するＳＤ信号を生成する。
【０２４１】
また例えば、図２７Ｂに示すように、ＳＤ信号に一定振幅レベルのノイズ信号を加えるが、加える画面領域を段階的に可変する。
【０２４２】
さらに例えば、図２７Ｃに示すように、ＳＤ信号（１画面分）として、ノイズが含まれていないものと、ノイズが含まれているものとを用意する。そして、正規方程式を生成する際に、それぞれのＳＤ信号に対して複数回の学習を行う。
【０２４３】
例えば、「ノイズ０」ではノイズなしのＳＤ信号に対して１００回の学習を行い、「ノイズｉ」ではノイズなしのＳＤ信号に対して３０回の学習を行うと共にノイズありのＳＤ信号に対して７０回の学習を行う。この場合、「ノイズｉ」の方がノイズ除去度が高い係数種データを算出する学習系になる。このように、ノイズなしとノイズありのＳＤ信号に対する学習回数を段階的に変化させて学習を行うことにより、連続したノイズ除去度を得るための係数種データを得ることができる。
【０２４４】
この手法を、上述せずも、正規方程式の加算という形で実現することもできる。
【０２４５】
まず、「ノイズ０」乃至「ノイズｉ」における推定式の係数データを算出するような学習を行う。このときの正規方程式は、上述した式（２４）に示すようになる。ここで、Ｐij，Ｑjをそれぞれ式（３４）、式（３５）のように定義すると、式（２４）は式（３６）のように書き換えられる。ここで、ｘijはｊ番目の予測タップ位置のＳＤ画素データのｉ番目の学習値、ｙiはＨＤ画素データのｉ番目の学習値、Ｗiは係数を表している。
【０２４６】
【数２３】
このような学習を用いて、ノイズなしのＳＤ信号を学習した場合における、式（３６）の左辺を[Ｐ１ij]、右辺を[Ｑ１i]と定義し、同様に、ノイズありのＳＤ信号を学習した場合における、式（３６）の左辺を[Ｐ２ij]、右辺を[Ｑ２i]と定義する。このような場合に、式（３７）、式（３８）のように、[Ｐaij]、［Ｑai］を定義する。ただし、ａ（０≦ａ≦１）である。
【０２４８】
[Ｐaij]＝（１-ａ）[Ｐ１ij]＋ａ[Ｐ２ij] ・・・（３７）
[Ｑai]＝（１-ａ）[Ｑ１i]＋ａ[Ｑ２i] ・・・（３８）
ここで、ａ＝０の場合の正規方程式は式（３９）で表され、これは図２７Ｃの「ノイズ０」の場合の正規方程式と等価になり、ａ＝０．７の場合は「ノイズｉ」の場合の正規方程式と等価になる。
【０２４９】
[Ｐaij][Ｗi]＝[Ｑai] ・・・（３９）
このａを段階的に変化させて各ノイズレベルの正規方程式を作ることにより、目的とする係数種データを得ることができる。この場合、図２６の係数種データ生成装置１５０′で説明したと同様に、各ノイズレベルの正規方程式よりそれぞれ係数データをＷｉを算出し、この各段階の係数データを使用して係数種データを求めることができる。
【０２５０】
また、各ノイズレベルの正規方程式を組み合わせることにより、上述した式（１６）のような係数種データを得るための正規方程式を生成することも可能である。この手法については、以下に具体的に説明する。ここでは、上述した式（３３）を用いて、係数種データを求める正規方程式を生成する場合を考える。
【０２５１】
予め、予め何種類かのパラメータｚに対応したノイズレベルのＳＤ信号を生成して学習を行い、上述した式（３７）、式（３８）に表される[Ｐ]、[Ｑ]を用意しておく。それらを、[Ｐnij]、[Ｑni]と表す。また、また、上述した式（１０）は、式（４０）のように書き換えられる。
【０２５２】
ｔ0＝１，ｔ1＝ｚ，ｔ2＝ｚ2 ・・・（４０）
この場合、上述した式（２７）、式（２８）は、それぞれ式（４１）、式（４２）のように書き換えられる。これらの式に対し、式（４３）を解くことで、係数種データｗijを求めることができる。ここで、予測タップの総数を表す変数はｍに書き換えている。
【０２５３】
【数２４】
また、図６のDRC回路１８では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、水平および垂直の解像度を１個のパラメータで調整するように構成することもできる。例えば、水平および垂直の解像度を指定する１個のパラメータｒを設定する。この場合、例えば、ｒ＝１はｈ＝１、ｖ＝１、ｒ＝２はｈ＝２、ｖ＝２、・・・、あるいはｒ＝１はｈ＝１、ｖ＝２、ｒ＝２はｈ＝２、ｖ＝３、・・・のような対応関係とされる。この場合、係数データＷｉ（ｉ＝１乃至ｎ）を生成する生成式としては、ｒの多項式等が使用されることとなる。
【０２５５】
また、図６のDRC回路１８では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、上述した水平および垂直の解像度を指定するパラメータｒと、上述ノイズ除去度（ノイズ低減度）を指定するパラメータｚとを設定し、これら複数種類のパラメータｒ，ｚの値を調整することで、画像の水平および垂直の解像度とノイズ除去度とを調整し得るものも同様に構成することができる。
【０２５６】
この場合、係数データＷｉ（ｉ＝１乃至ｎ）を生成する生成式として、例えば、式（４４）等を使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２５７】
【数２５】
このように複数種類のパラメータｒ，ｚを調整するためのユーザインタフェースも、図７に示すように構成できる。ユーザは、ジョイスティック２００ａを操作することで、調整画面１１５上でアイコン１１５ａの位置を動かすことができ、解像度を指定するパラメータｒの値とノイズ除去度（ノイズ低減度）を指定するパラメータｚの値とを任意に調整できる。図２９は、調整画面１１５の部分を拡大して示している。アイコン１１５ａが左右に動かされることで解像度を決定するパラメータｒの値が調整され、一方アイコン１１５ａが上下に動かされることでノイズ除去度を決定するパラメータｚの値が調整される。
【０２５９】
ユーザは、表示部３２（図７参照）に表示される調整画面１１５を参照してパラメータｒ，ｚを調整でき、その調整を容易に行うことができる。なお、ユーザによって調整されたパラメータｒ，ｚの値を、調整画面１１５上に数値表示してもよい。
【０２６０】
このようにパラメータｒ，ｚを含む生成式の係数データである係数種データは、上述したパラメータｈ，ｖを含む生成式の係数データである係数種データを生成する場合と同様に、図２３に示す係数種データ生成装置１５０あるいは図２６に示す係数種データ生成装置１５０′により生成できる。
【０２６１】
その場合、ＳＤ信号生成回路１５２には、パラメータｒ，ｚが制御信号として供給され、このパラメータｒ，ｚの値に対応して、ＨＤ信号からＳＤ信号を生成する際に、ＳＤ信号の水平、垂直の帯域と、ＳＤ信号に対するノイズ付加状態とが段階的に可変される。
【０２６２】
図２８は、パラメータｒ，ｚの値に対応したＳＤ信号の生成例を示している。この例では、パラメータｒ，ｚはそれぞれ９段階に可変され、合計８１種類のＳＤ信号が生成される。なお、パラメータｒ，ｚを９段階よりもさらに多くの段階に可変するようにしてもよい。その場合には、算出される係数種データの精度は良くなるが、計算量は増えることとなる。
【０２６３】
また、図６のDRC回路１８では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これら複数種類のパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、これらパラメータｈ，ｖの他に、さらに上述したノイズ除去度（ノイズ低減度）を指定するパラメータｚを設定し、これら複数種類のパラメータｈ，ｖ，ｚの値を調整することで、画像の水平および垂直の解像度とノイズ除去度とを調整し得るものも同様に構成することができる。
【０２６４】
この場合、係数データＷｉ（ｉ＝１乃至ｎ）を生成する生成式として、例えば、式（４５）等を使用でき、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０２６５】
【数２６】
このようにパラメータｈ，ｖ，ｚを調整するためのユーザインタフェースも、図７に示すように構成できる。ユーザは、ジョイスティック２００ａを操作することで、調整画面１１５上でアイコン１１５ａの位置を動かすことができ、解像度を指定するパラメータｈ，ｖの値とノイズ除去度（ノイズ低減度）を指定するパラメータｚの値とを任意に調整できる。
【０２６７】
図３１は、調整画面１１５の部分を拡大して示している。アイコン１１５ａが左右に動かされることで水平の解像度を決定するパラメータｈの値が調整され、一方アイコン１１５ａが上下に動かされることで垂直の解像度を決定するパラメータｖの値が調整され、さらにアイコン１１５ａが奥行き方向に動かされることでノイズ除去度を決定するパラメータｚの値が調整される。アイコン１１５ａを奥行き方向に動かすには、例えばジョイスティック２００ａを斜め方向に操作すればよい。
【０２６８】
この場合、アイコン１１５ａの大きさや色の濃さ、あるいは色合い等を変化させることで、奥行き方向を表現することが可能である。図中の破線で示されるアイコン１１５ａは、その大きさを変えることで、実線で示されるアイコン１１５ａが奥行き方向に移動された状態を示している。
【０２６９】
ユーザは、表示部３２（図７参照）に表示される調整画面１１５を参照してパラメータｈ，ｖ，ｚを調整でき、その調整を容易に行うことができる。なお、ユーザによって調整されたパラメータｈ，ｖ，ｚの値を、調整画面１１５上に数値表示してもよい。
【０２７０】
このようにパラメータｈ，ｖ，ｚを含む生成式の係数データである係数種データは、上述したパラメータｈ，ｖを含む生成式の係数データである係数種データを生成する場合と同様に、図２３に示す係数種データ生成装置１５０あるいは図２６に示す係数種データ生成装置１５０′により生成できる。
【０２７１】
その場合、ＳＤ信号生成回路１５２には、パラメータｈ，ｖ，ｚが制御信号として供給され、このパラメータｈ，ｖ，ｚの値に対応して、ＨＤ信号からＳＤ信号を生成する際に、ＳＤ信号の水平、垂直の帯域と、ＳＤ信号に対するノイズ付加状態とが段階的に可変される。
【０２７２】
図３０は、パラメータｈ，ｖ，ｚの値に対応したＳＤ信号の生成例を示している。この例では、パラメータｈ，ｖ，ｚはそれぞれ９段階に可変され、合計７２９種類のＳＤ信号が生成される。なお、パラメータｈ，ｖ，ｚを９段階よりもさらに多くの段階に可変するようにしてもよい。その場合には、算出される係数種データの精度は良くなるが、計算量は増えることとなる。
【０２７３】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどの、記録媒体からインストールされる。
【０２７４】
この記録媒体は、図１に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１６やHDD３３などで構成される。
【０２７５】
以上においては、ビデオデータを処理する場合を例としたが、オーディオデータ、その他のコンテンツデータを処理するコンテンツ処理装置に本発明は適用することができる。
【０２７６】
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２７７】
【発明の効果】
以上の如く、本願発明によれば、ユーザによりボリューム値が入力されない場合に、ボリューム値を算出することができる。特に、本願発明によれば、ユーザの嗜好に合う画質を自動的に算出することができる。
【図面の簡単な説明】
【図１】本発明を適用したテレビジョン受像機の構成例を示すブロック図である。
【図２】図１の信号処理部の機能的構成を示すブロック図である。
【図３】図２の信号処理部における処理を説明するフローチャートである。
【図４】図１のDRC回路における処理を説明するフローチャートである。
【図５】図２の記憶部に記憶されるボリューム値と特徴量を説明する図である。
【図６】 DRC回路の詳細な構成例を示すブロック図である。
【図７】画質を調整するためのユーザインタフェース例を示す図である。
【図８】調整画面を拡大して示した図である。
【図９】５２５ｉ信号と５２５ｐ信号の画素位置関係を説明するための図である。
【図１０】５２５ｉ信号と１０５０ｉ信号の画素位置関係を説明するための図である。
【図１１】５２５ｉと５２５ｐの画素位置関係と、予測タップの一例を示す図である。
【図１２】５２５ｉと５２５ｐの画素位置関係と、予測タップの一例を示す図である。
【図１３】５２５ｉと１０５０ｉの画素位置関係と、予測タップの一例を示す図である。
【図１４】５２５ｉと１０５０ｉの画素位置関係と、予測タップの一例を示す図である。
【図１５】５２５ｉと５２５ｐの画素位置関係と、空間クラスタップの一例を示す図である。
【図１６】５２５ｉと５２５ｐの画素位置関係と、空間クラスタップの一例を示す図である。
【図１７】５２５ｉと１０５０ｉの画素位置関係と、空間クラスタップの一例を示す図である。
【図１８】５２５ｉと１０５０ｉの画素位置関係と、空間クラスタップの一例を示す図である。
【図１９】５２５ｉと５２５ｐの画素位置関係と、動きクラスタップの一例を示す図である。
【図２０】５２５ｉと１０５０ｉの画素位置関係と、動きクラスタップの一例を示す図である。
【図２１】５２５ｐ信号を出力する場合のライン倍速処理を説明するための図である。
【図２２】係数種データの生成方法の一例の概念を示す図である。
【図２３】係数種データ生成装置の構成例を示すブロック図である。
【図２４】帯域フィルタの周波数特性の一例を示す図である。
【図２５】係数種データの生成方法の他の例の概念を示す図である。
【図２６】係数種データ生成装置の他の構成例を示すブロック図である。
【図２７】ノイズ付加方法を説明するための図である。
【図２８】ＳＤ信号（パラメータｒ，ｚ）の生成例を示す図である。
【図２９】パラメータｒ，ｚの調整画面の一例を示す図である。
【図３０】ＳＤ信号（パラメータｈ，ｖ，ｚ）の生成例を示す図である。
【図３１】パラメータｈ，ｖ，ｚの調整画面の一例を示す図である。
【符号の説明】
１ テレビジョン受像機， １７ 信号処理部， １８ DRC回路， ７１ 特徴量抽出部， ７２ 記憶部， ７３ ボリューム算出部
Claims (7)
- 入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出する特徴量抽出手段と、
ユーザにより入力された前記第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、前記特徴量抽出手段により抽出された前記特徴量を前記ボリューム値に対応して記憶する記憶手段と、
ユーザにより、前記ボリューム値が入力されてこない場合、前記記憶手段に記憶されている複数の前記ボリューム値および前記特徴量の値、並びにそのとき入力されている前記第１の画像の特徴量の値を用いて、そのとき入力されている前記第１の画像の前記ボリューム値を算出するボリューム値算出手段と、
ユーザにより、前記ボリューム値が入力されてこない場合、そのとき入力されている前記第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、前記ボリューム値算出手段により算出された前記ボリューム値に対応する値に調整し、前記値が調整された第２の画像を出力する画像処理手段と
を備える画像処理装置。 - 前記ボリューム値算出手段は、前記記憶手段に記憶されている複数の前記ボリューム値および前記特徴量の値を用いた線形式に最小自乗法を適用して前記線形式の係数を求め、前記係数が求められた前記線形式とそのとき入力されている前記第１の画像の特徴量の値から、そのとき入力されている前記第１の画像の前記ボリューム値を算出する
請求項１に記載の画像処理装置。 - 前記ボリューム値算出手段は、前記係数の算出を、前記画像処理装置の電源がオフされているとき行う
請求項２に記載の画像処理装置。 - 前記ボリューム値算出手段は、前記記憶手段に記憶されている複数の前記特徴量の値と、そのとき入力されている前記第１の画像の前記特徴量の値との距離を演算し、前記記憶手段に記憶されている複数の前記特徴量の値のうち、演算された前記距離が最小になる前記特徴量の値に対応する前記ボリューム値を、そのとき入力されている前記第１の画像の前記ボリューム値として算出する
請求項１に記載の画像処理装置。 - 画像処理装置が、
入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出し、
ユーザにより入力された前記第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、抽出された前記特徴量を前記ボリューム値に対応して記憶手段に記憶し、
ユーザにより、前記ボリューム値が入力されてこない場合、前記記憶手段に記憶されている複数の前記ボリューム値および前記特徴量の値、並びにそのとき入力されている前記第１の画像の特徴量の値を用いて、そのとき入力されている前記第１の画像の前記ボリューム値を算出し、
ユーザにより、前記ボリューム値が入力されてこない場合、そのとき入力されている前記第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、算出された前記ボリューム値に対応する値に調整し、前記値が調整された第２の画像を出力する
ステップを含む画像処理方法。 - 入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出し、
ユーザにより入力された前記第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、抽出された前記特徴量を前記ボリューム値に対応して記憶手段に記憶させ、
ユーザにより、前記ボリューム値が入力されてこない場合、前記記憶手段に記憶されている複数の前記ボリューム値および前記特徴量の値、並びにそのとき入力されている前記第１の画像の特徴量の値を用いて、そのとき入力されている前記第１の画像の前記ボリューム値を算出し、
ユーザにより、前記ボリューム値が入力されてこない場合、そのとき入力されている前記第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、算出された前記ボリューム値に対応する値に調整し、前記値が調整された第２の画像を出力する
ステップを含む処理をコンピュータに実行させるためのプログラムが記録されている記録媒体。 - 入力された第１の画像から、その特徴である、平均輝度、エッジ量、動き量、および、輝度分布の少なくとも１つの特徴量を抽出し、
ユーザにより入力された前記第１の画像の水平解像度、垂直解像度、またはノイズ除去度の調整に対応する値であるボリューム値を記憶するとともに、抽出された前記特徴量を前記ボリューム値に対応して記憶手段に記憶させ、
ユーザにより、前記ボリューム値が入力されてこない場合、前記記憶手段に記憶されている複数の前記ボリューム値および前記特徴量の値、並びにそのとき入力されている前記第１の画像の特徴量の値を用いて、そのとき入力されている前記第１の画像の前記ボリューム値を算出し、
ユーザにより、前記ボリューム値が入力されてこない場合、そのとき入力されている前記第１の画像の水平解像度、垂直解像度、またはノイズ除去度を、算出された前記ボリューム値に対応する値に調整し、前記値が調整された第２の画像を出力する
ステップを含む処理をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002302880A JP4232430B2 (ja) | 2002-10-17 | 2002-10-17 | 画像処理装置および方法、記録媒体、並びに、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002302880A JP4232430B2 (ja) | 2002-10-17 | 2002-10-17 | 画像処理装置および方法、記録媒体、並びに、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004140559A JP2004140559A (ja) | 2004-05-13 |
| JP4232430B2 true JP4232430B2 (ja) | 2009-03-04 |
Family
ID=32450825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002302880A Expired - Fee Related JP4232430B2 (ja) | 2002-10-17 | 2002-10-17 | 画像処理装置および方法、記録媒体、並びに、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4232430B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111935506B (zh) * | 2020-08-19 | 2023-03-28 | 百度时代网络技术（北京）有限公司 | 用于确定重复视频帧的方法和装置 |
-
2002
- 2002-10-17 JP JP2002302880A patent/JP4232430B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004140559A (ja) | 2004-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4696388B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 | |
| JP5263565B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4026491B2 (ja) | 画像信号処理装置、画像信号処理方法、並びにプログラムおよび媒体 | |
| JP4670169B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体 | |
| JP4277446B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体 | |
| JP4193495B2 (ja) | 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びにコンピュータ読み取り可能な記憶媒体およびプログラム | |
| JP4517264B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体 | |
| JP2002300538A (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する種係数データの生成装置および生成方法、並びに情報提供媒体 | |
| JP4691835B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数データの取得装置および取得方法、並びに情報記録媒体 | |
| JP4232430B2 (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム | |
| JP4311258B2 (ja) | 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体 | |
| JP4311166B2 (ja) | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
| JP4691814B2 (ja) | 情報信号処理装置および情報信号処理方法、並びに記録媒体 | |
| JP4349086B2 (ja) | 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
| JP4305688B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP4649786B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法 | |
| JP4692798B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに記録媒体 | |
| JP4692800B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに記録媒体 | |
| JP2002300617A (ja) | 情報信号処理装置およびそれにおける調整パラメータの設定方法 | |
| JP4649812B2 (ja) | 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、並びに各画像信号処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4691849B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する情報の取得装置および取得方法 | |
| JP4692801B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、並びに、それに使用する係数情報の生成装置および生成方法 | |
| JP2009284207A (ja) | 画像処理装置および方法、プログラム、並びに学習装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080911 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081024 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |