JP4517264B2 - 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体 - Google Patents
情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体 Download PDFInfo
- Publication number
- JP4517264B2 JP4517264B2 JP2000395872A JP2000395872A JP4517264B2 JP 4517264 B2 JP4517264 B2 JP 4517264B2 JP 2000395872 A JP2000395872 A JP 2000395872A JP 2000395872 A JP2000395872 A JP 2000395872A JP 4517264 B2 JP4517264 B2 JP 4517264B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- information
- coefficient
- class
- coefficient data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/005—Statistical coding, e.g. Huffman, run length coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する際に適用して好適な情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体に関する。詳しくは、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを係数種データを用いて生成する際に、第１の情報信号に関連して得られる特徴量に基づいて生成式の項を選択することによって、演算精度を落とすことなく係数種データや演算器の規模圧縮を可能にすると共に、係数曲面の近似精度を上げるようにした情報信号処理装置等に係るものである。
【０００２】
【従来の技術】
従来、ＳＤ(Standard Definition）信号としての５２５ｉ信号を、ＨＤ(High Definition)信号としての１０５０ｉ信号に変換するフォーマット変換が提案されている。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味する。
【０００３】
図１４は、５２５ｉ信号と１０５０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。
【０００４】
従来、上述したようなフォーマット変換を行うために、５２５ｉ信号の画素データより１０５０ｉ信号の画素データを得る際に、５２５ｉ信号の画素に対する１０５０ｉ信号の各画素の位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用いて推定式によって１０５０ｉ信号の画素データを求めることが提案されている。
【０００５】
【発明が解決しようとする課題】
上述したように推定式によって１０５０ｉ信号の画素データを求めるものにおいては、この１０５０ｉ信号による画像の解像度は固定されており、従来のコントラストやシャープネス等の調整のように、画像内容等に応じて所望の解像度とすることができなかった。
【０００６】
そこで、この発明では、例えば画像の画質を無段階になめらかに調整可能にし、また係数データの演算精度を落とすことなく係数種データや演算器の規模圧縮を可能にすると共に、係数曲面の近似精度を上げるようにした情報信号処理装置等を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、第２の情報信号に係るパラメータの値を設定するパラメータ設定手段と、推定式の係数データを生成する上記パラメータを含む生成式の係数データである係数種データが記憶された第１のメモリ手段と、第１の情報信号に関連して得られる特徴量に基づいて上記生成式の項を選択する項選択手段と、第１のメモリ手段に記憶されている係数種データとパラメータ設定手段で設定されたパラメータの値とを用いて、項選択手段で選択された項からなる上記生成式によって生成され、設定されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、係数データ発生手段で発生された係数データと上記第１のデータ選択手段で選択された上記複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る演算手段とを備えるものである。
【０００８】
また、この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理方法であって、第２の情報信号に係るパラメータの値を設定する第１のステップと、推定式の係数データを生成する上記パラメータを含む生成式の項を選択する第２のステップと、上記生成式の係数データである係数種データと第１のステップで設定されたパラメータの値とを用いて、第２のステップで選択された項からなる上記生成式によって生成され、設定されたパラメータの値に対応した上記推定式の係数データを発生する第３のステップと、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第４のステップと、第３のステップで発生された係数データと第４のステップで選択された複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る第５のステップとを備えるものである。
【０００９】
また、この発明に係る情報提供媒体は、上述の情報信号処理方法の各ステップを実行するためのコンピュータプログラムを提供するものである。
【００１０】
また、この発明に係る画像信号処理装置は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、第２の画像信号に係るパラメータの値を設定するパラメータ設定手段と、推定式の係数データを生成する上記パラメータを含む生成式の係数データである係数種データが記憶されたメモリ手段と、第１の画像信号に関連して得られる特徴量に基づいて上記生成式の項を選択する項選択手段と、メモリ手段に記憶されている係数種データとパラメータ設定手段で設定されたパラメータの値とを用いて、項選択手段で選択された項からなる上記生成式によって生成され、設定されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第１の画像信号から第２の画像信号に係る注目点の周辺に位置する複数の画素データを選択するデータ選択手段と、係数データ発生手段で発生された係数データとデータ選択手段で選択された複数の画素データとから、上記推定式を用いて上記注目点の画素データを算出して得る演算手段とを備えるものである。
【００１１】
また、この発明に係る画像表示装置は、複数の画素データからなる第１の画像信号を入力する画像信号入力手段と、画像信号入力手段より入力された第１の画像信号を複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、この画像信号処理手段より出力される第２の画像信号による画像を画像表示素子に表示する画像表示手段と、第２の画像信号に係るパラメータの値を設定するパラメータ設定手段とを有してなるものである。そして、画像信号処理手段は、推定式の係数データを生成する上記パラメータを含む生成式の係数データである係数種データが記憶された第１のメモリ手段と、第１の画像信号に関連して得られる特徴量に基づいて上記生成式の項を選択する項選択手段と、第１のメモリ手段に記憶されている係数種データとパラメータ設定手段で設定された上記パラメータの値とを用いて、項選択手段で選択された項からなる上記生成式によって生成され、設定されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第１の画像信号から第２の画像信号に係る注目画素の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、係数データ発生手段で発生された係数データと第１のデータ選択手段で選択された複数の第１の画素データとから、上記推定式を用いて上記注目画素の画素データを算出して得る演算手段とを備えるものである。
【００１２】
この発明においては、第２の情報信号に係るパラメータが設定される。例えば、パラメータは、第２の情報信号によって得られる出力の質を決めるものである。例えば、情報信号が画像信号である場合にはパラメータの値によって解像度等の画質が決められ、情報信号が音声信号である場合にはパラメータの値によって音質が決められる。また例えば、パラメータは、第１の情報信号の情報データ位置に対する第２の情報信号の情報データ位置の位相情報である。第２の情報信号のフォーマットやサイズが変換される場合には、この位相情報が変化する。
【００１３】
また、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データが選択される。そして、設定されたパラメータの値に対応して、その注目点の情報データが求められる。すなわち、推定式の係数データを生成するための生成式の係数データである係数種データがメモリ手段に記憶されており、この係数種データと設定されたパラメータの値とを用いて、設定されたパラメータの値に対応した推定式の係数データが発生され、この係数データと複数の第１の情報データとから、推定式を用いて、注目点の情報データが生成される。
【００１４】
ここで、上述したように推定式の係数データを生成するための生成式の項が、第１の情報信号に関連して得られる特徴量に基づいて選択される。例えば、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データが選択され、この複数の第２の情報データに基づいて検出される当該注目点の属するクラスが特徴量とされる。
【００１５】
このように、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを係数種データを用いて生成する際に、第１の情報信号に関連して得られる特徴量に基づいて生成式の項が選択されるものであり、演算精度を落とすことなく係数種データや演算器の規模圧縮が可能となると共に、係数曲面の近似精度を上げることが可能となる。
【００１６】
なお、係数種データを用いて生成された推定式の係数データの総和を求め、上述したように推定式を用いて生成された注目点の情報データをその総和で除算して正規化することで、係数種データを用いて生成式で推定式の係数データを求める際の丸め誤差による注目点の情報データのレベル変動を除去できる。
【００１７】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号よりＳＤ信号としての５２５ｉ信号を得、この５２５ｉ信号をＨＤ信号としての１０５０ｉ信号に変換し、その１０５０ｉ信号による画像を表示するものである。
【００１８】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００１９】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行ってＳＤ信号（５２５ｉ信号）を得るチューナ１０６と、このチューナ１０６より出力されるＳＤ信号を一時的に保存するためのバッファメモリ１０９とを有している。
【００２０】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存されるＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換する画像信号処理部１１０と、この画像信号処理部１１０より出力されるＨＤ信号による画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等のフラットパネルディスプレイで構成されている。
【００２１】
図１に示すテレビ受信機１００の動作を説明する。
チューナ１０６より出力されるＳＤ信号（５２５ｉ信号）は、バッファメモリ１０９に供給されて一時的に保存される。そして、このバッファメモリ１０９に一時的に記憶されたＳＤ信号は画像信号処理部１１０に供給され、ＨＤ信号（１０５０ｉ信号）に変換される。すなわち、画像信号処理部１１０では、ＳＤ信号を構成する画素データ（以下、「ＳＤ画素データ」という）から、ＨＤ信号を構成する画素データ（以下、「ＨＤ画素データ」という）が得られる。この画像信号処理部１１０より出力されるＨＤ信号はディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはそのＨＤ信号による画像が表示される。
【００２２】
また、上述せずも、ユーザは、リモコン送信機２００の操作によって、上述したようにディスプレイ部１１１の画面上に表示される画像の水平および垂直の解像度を無段階になめらかに調整できる。画像信号処理部１１０では、後述するように、ＨＤ画素データが推定式によって算出されるが、この推定式の係数データとして、ユーザのリモコン送信機２００の操作によって調整された水平、垂直の解像度を決めるパラメータｈ，ｖに対応したものが、これらパラメータｈ，ｖを含む生成式によって生成されて使用される。これにより、画像信号処理部１１０より出力されるＨＤ信号による画像の水平、垂直の解像度は、調整されたパラメータｈ，ｖに対応したものとなる。
【００２３】
次に、画像信号処理部１１０の詳細を説明する。この画像信号処理部１１０は、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１２１〜１２３を有している。
【００２４】
第１のタップ選択回路１２１は、予測に使用するＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、ＳＤ画素データのレベル分布パターンに対応するクラス分類に使用するＳＤ画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きに対応するクラス分類に使用するＳＤ画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属するＳＤ画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００２５】
また、画像信号処理部１１０は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００２６】
空間クラス検出回路１２４では、例えば、各ＳＤ画素データを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１２４からは、各ＳＤ画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。
【００２７】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータ（ＳＤ画素データ）の最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータとしての各ＳＤ画素データｋｉに対して、（１）式の演算により、圧縮データとしての再量子化コードＱｉが得られる。ただし、（１）式において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個のＳＤ画素データがあるとき、ｉ＝１〜Ｎａである。
Ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）．２P／ＤＲ］ ・・・（１）
【００２８】
また、画像信号処理部１１０は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００２９】
この動きクラス検出回路１２５では、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）ｍｉ，ｎｉからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えばクラスタップのデータとして、６個のＳＤ画素データｍ１〜ｍ６と、その１フレーム前の６個のＳＤ画素データｎ１〜ｎ６が取り出されるとき、（２）式におけるＮｂは６である。
【００３０】
【数１】
【００３１】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。
【００３２】
また、画像信号処理部１１０は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべきＨＤ信号（１０５０ｉ信号）の画素（注目画素）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【００３３】
このクラス合成回路１２６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは空間クラスタップのデータ（ＳＤ画素データ）の個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【００３４】
【数２】
【００３５】
また、画像信号処理部１１０は、係数メモリ１３４を有している。この係数メモリ１３４は、後述する推定予測演算回路１２７で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、ＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換するための情報である。係数メモリ１３４には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１３４からはクラスコードＣＬに対応した係数データが読み出され、推定予測演算回路１２７に供給されることとなる。
【００３６】
また、画像信号処理部１１０は、情報メモリバンク１３５を有している。この情報メモリバンク１３５には、各クラスにおける係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ１３４に格納するための係数データを生成するための生成式の係数データである。また、情報メモリバンク１３５には、各クラスにおける生成式の項選択情報が予め蓄えられている。上述した各クラスにおける係数種データの個数は、上述の項選択情報で選択される項の個数に対応したものとなっている。
【００３７】
なお、上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要があることから、各クラスにおける係数種データは、さらに、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素に対応した係数種データからなっている。この２×２の単位画素ブロック内の４画素は、５２５ｉ信号の画素に対して互いに異なる位相関係にある。
【００３８】
後述する推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、（４）式の推定式によって、作成すべきＨＤ画素データｙが演算される。第１のタップ選択回路１２１で選択される予測タップが１０個であるとき、（４）式におけるｎは１０となる。
【００３９】
【数３】
【００４０】
本実施の形態においては、（５）式を、各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成するための基本生成式とする。各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）は、この基本生成式を構成する各項のうち、選択された項からなる生成式（最大で１０項からなる）によって生成される。情報メモリバンク１３５には、このように選択された項からなる生成式の係数データである係数種データが、クラス毎に、記憶されている。また、情報メモリバンク１３５には、項選択情報が、クラス毎に、記憶されている。この係数種データおよび項選択情報の生成方法については後述する。
【００４１】
【数４】
【００４２】
また、画像信号処理部１１０は、各クラスの係数種データおよびパラメータｈ，ｖの値とを用い、選択された項からなる生成式によって、クラス毎に、パラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路１３６を有している。この係数生成回路１３６は、項候補群発生部１３６Ａおよび係数演算部１３６Ｂからなっている。
【００４３】
項候補群発生部１３６Ａについて説明する。この項候補群発生部１３６Ａは、上述の基本生成式（（５）式）の各項の係数部分を除いた部分をパラメータｈ，ｖの値を用いて算出し、１５個の項候補Ｔ0〜Ｔ14を発生するものである。図２は、項候補群発生部１３６Ａの構成例を示している。
【００４４】
この項候補群発生部１３６Ａは、スタート信号ＳＴ１に基づいて、種々のタイミング信号を発生するタイミング発生器２０１と、このタイミング発生器２０１より出力されるカウントアドレスに基づいて選択信号ＳＥＬ１を発生するプログラムバンク２０２と、パラメータｈ，ｖおよび整数定数１を入力し、プログラムバンク２０２より出力される選択信号ＳＥＬ１に基づいて、パラメータｈ，ｖおよび整数定数１のいずれかを選択的に出力する選択器２０３とを有している。
【００４５】
ここで、タイミング発生器２０１からは、図３Ｂに示すようにスタート信号ＳＴ１が供給された後、図３Ａに示すクロック信号に同期して、図３Ｃに示すようにカウントアドレスが発生され、選択器２０３からは、図３Ｄに示すように、出力Ｓ１が得られる。図４は、カウントアドレスと選択器２０３の選択内容との対応関係を示している。
【００４６】
また、項候補群発生部１３６Ａは、選択器２０３の出力Ｓ１を積算するための乗算器２０４と、この乗算器２０４の乗算結果を格納するレジスタ２０５と、このレジスタ２０５に格納された乗算結果または整数定数１を入力し、これら乗算結果または整数定数１のいずれかを選択的に出力する選択器２０６とを有している。この選択器２０６の出力Ｓ２は乗算器２０４に供給される。この選択器２０６にはタイミング発生器２０１より、図３Ｅに示すように初期化タイミング信号が供給される。これにより、選択器２０６からは、カウントアドレスが０，４，８，・・・のように４の倍数となる毎に整数定数１が選択的に出力され、積算の初期化が行われる。なお、カウントアドレスが４の倍数でない場合は、選択器２０６でレジスタ２０５の出力Ｓ３が選択的に出力される。
【００４７】
また、項候補群発生部１３６Ａは、パラメータｈ，ｖを含まない項候補Ｔ0、すなわち１を保持するレジスタ２０７-0と、項候補Ｔ1〜Ｔ14を出力するレジスタ２０７-1〜２０７-14と、レジスタ２０５の出力Ｓ３をレジスタ２０７-1〜２０７-14に格納するか否かを制御するイネーブル器２０８-1〜２０８-14とを有している。イネーブル器２０８-1〜２０８-14のそれぞれには、タイミング発生器２０１より、図３Ｆに示すように、イネーブル信号ＥＮ1〜ＥＮ14が供給される。これにより、レジスタ２０７-1〜２０７-14は、カウントアドレスが４の倍数−１となる毎に、順次書き込みイネーブル状態となって、レジスタ２０５の出力Ｓ３が書き込まれる。
【００４８】
図２に示す項候補群発生部１３６Ａの動作を説明する。システムコントローラ１０１（図１参照）よりスタート信号ＳＴ１（図３Ｂ）が供給されると、クロック信号（図３Ａ）に同期して、カウントアドレス（図３Ｃ）が発生される。そして、プログラムバンク２０２より選択器２０３にカウントアドレスに対応して選択信号ＳＥＬ１が供給され、選択器２０３からはパラメータｈ，ｖまたは整数定数１が選択的に取り出される（図３Ｄ）。
【００４９】
また、タイミング発生器２０１より選択器２０６に初期化タイミング信号（図３Ｅ）が供給され、選択器２０６ではカウントアドレスが４の倍数となる毎に、レジスタ２０５の出力ではなく、整数定数１が取り出される。したがって、カウントアドレスが４の倍数となる毎に、積算の初期化が行われる。
【００５０】
そして、イネーブル器２０８-1〜２０８-14のそれぞれにはタイミング発生器２０１よりイネーブル信号ＥＮ1〜ＥＮ14（図３Ｆ）が供給され、レジスタ２０７-1〜２０７-14はカウントアドレスが４の倍数−１となる毎に順次書き込みイネーブル状態となる。したがって、レジスタ２０７-1〜２０７-14には、選択器２０３で選択的に取り出される４個毎の積算値が順次書き込まれていく。
【００５１】
これにより、レジスタ２０７-1〜２０７-14には、（５）式に示す基本生成式の第２項〜第１５項に対応した項候補Ｔ1〜Ｔ14が保持されて出力されることとなる。なお、レジスタ２０７-0には、上述したように、（５）式に示す基本生成式の第１項に対応した項候補Ｔ0が予め保持されており、上述の項候補Ｔ1〜Ｔ14と共に出力される。
【００５２】
係数演算部１３６Ｂについて説明する。この係数演算部１３６Ｂは、クラス毎に、上述した項候補群発生部１３６Ａより出力される項候補Ｔ0〜Ｔ14より、情報メモリバンク１３５より読み出される項選択情報ＳＬ0〜ＳＬ9によって項を選択し、選択された項からなる生成式により、情報メモリバンク１３５より読み出される係数種データＡi0〜Ａi9を使用して、推定式の係数データＷｉ（ｉ＝１〜ｎ）を演算するものである。図５は、係数演算部１３６Ｂの構成例を示している。
【００５３】
この係数演算部１３６Ｂは、１５個の項候補Ｔ0〜Ｔ14より、必要とする項を選択する項選択部２１１-0〜２１１-9を有している。これら項選択部２１１-0〜２１１-9では、それぞれ項選択情報ＳＬ0〜ＳＬ9に基づいて、項候補Ｔ0〜Ｔ14のいずれかを選択するか、あるいはいずれも選択しないようにされる。選択する項が１０項より少ない場合には、項候補Ｔ0〜Ｔ14のいずれも選択しない項選択部が発生することとなる。
【００５４】
これら項選択部２１１-0〜２１１-9には、浮動小数点形式の係数種データＡi0〜Ａi9の固定小数点部ｂi0〜ｂi9が供給される。上述したように項候補Ｔ0〜Ｔ14のいずれも選択しない項選択部に供給される係数種データの固定小数点部は０とされる。
【００５５】
図６は、項選択部２１１-0の構成例を示している。この項選択部２１１-0は、項選択情報ＳＬ0に基づいて、項候補Ｔ0〜Ｔ14より所定の項を選択的に取り出す選択器２３１と、この選択器２３１の出力に固定小数点部ｂi0を乗算する乗算器２３２とを有している。この項選択部２１１-0で項候補Ｔ0〜Ｔ14のいずれも選択しない場合、選択器２３１からは例えば整数定数１が出力されるが、これに乗算器２３２で０が乗算されるため、この項選択部２１１-0の出力ｄ0は０となる。なお、詳細説明は省略するが、項選択部２１１-1〜２１１-9も、項選択部２１１-0と同様に構成される。
【００５６】
図５に戻って、また、係数演算部１３６Ｂは、項選択部２１１-0，２１１-1の出力ｄ0，ｄ1を加算する加算部２１２と、項選択部２１１-2，２１１-3の出力ｄ2，ｄ3を加算する加算部２１３と、項選択部２１１-4，２１１-5の出力ｄ4，ｄ5を加算する加算部２１４と、項選択部２１１-6，２１１-7の出力ｄ6，ｄ7を加算する加算部２１５と、項選択部２１１-8，２１１-9の出力ｄ8，ｄ9を加算する加算部２１６とを有している。
【００５７】
加算部２１２には、係数種データＡi0，Ａi1の指数部ｃi0，ｃi1が供給される。加算部２１３には、係数種データＡi2，Ａi3の指数部ｃi2，ｃi3が供給される。加算部２１４には、係数種データＡi4，Ａi5の指数部ｃi4，ｃi5が供給される。加算部２１５には、係数種データＡi6，Ａi7の指数部ｃi6，ｃi7が供給される。加算部２１６には、係数種データＡi8，Ａi9の指数部ｃi8，ｃi9が供給される。
【００５８】
図７は、加算部２１２の構成例を示している。この加算部２１２は、項選択部２１１-0の出力ｄ0を指数部ｃi0に基づいてビットシフトして固定小数点方式に変換して保持するレジスタ２４１と、項選択部２１１-1の出力ｄ1を指数部ｃi1に基づいてビットシフトして固定小数点方式に変換して保持するレジスタ２４２と、レジスタ２４１，２４２の出力を加算する加算器２４３と、この加算器２４３の加算出力を保持するレジスタ２４４とを有している。
【００５９】
図５に戻って、また、係数演算部１３６Ｂは、加算部２１３，２１４より出力される固定小数点方式の出力を加算する加算器２１７と、加算部２１５，２１６より出力される固定小数点方式の出力を加算する加算器２１８と、これら加算器２１７，２１８の加算出力を加算する加算器２１９と、この加算器２１９の出力に加算部２１２の出力を加算して係数データＷｉを得る加算器２２０とを有している。
【００６０】
図５に示す係数演算部１３６Ｂでは、項選択部２１１-0〜２１１-9で項候補Ｔ0〜Ｔ14より必要とする項が選択され、そして、これら項選択部２１１-0〜２１１-9で選択された項に対して、項選択部２１１-0〜２１１-9および加算部２１２で対応する係数種データＡi0〜Ａi9が乗算され、それぞれの乗算結果が加算されて、係数データＷｉが得られる。
【００６１】
上述した係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ１３４に格納される。なお、上述したように情報メモリバンク１３５に蓄えられている各クラスの係数種データは奇数、偶数のそれぞれのフィールドにおける２×２の単位画素ブロック内の４画素に対応した係数種データからなっていることから、係数生成回路１３６で生成される各クラスの係数データＷｉは、奇数、偶数のそれぞれのフィールドにおける２×２の単位画素ブロック内の４画素に対応した係数データからなっている。
【００６２】
この係数生成回路１３６における各クラスの係数データＷｉの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機２００の操作によってパラメータｈ，ｖの値が変更されても、係数メモリ１３４に格納される各クラスの係数データＷｉを、そのパラメータｈ，ｖの値に対応したものに即座に変更でき、ユーザによる解像度の調整がスムーズに行われる。
【００６３】
また、画像信号処理部１１０は、係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓを、（６）式によって、演算する正規化係数演算部１３７と、ここで生成された正規化係数Ｓを、クラス毎に格納する正規化係数メモリ１３８とを有している。正規化係数メモリ１３８には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓが読み出され、後述する正規化演算回路１２８に供給されることとなる。
【００６４】
【数５】
【００６５】
図８は、係数データＷｉと正規化係数Ｓの生成動作に係るタイミングを示すタイミングチャートである。
図８Ａは、垂直ブランキング信号を示している。各クラスの係数データＷｉ（ｉ＝１〜ｎ）の生成およびその係数データＷｉに対応した正規化係数Ｓの生成は垂直ブランキング期間で行われる。図８Ｂに示すスタート信号ＳＴ１に対応して、項候補群発生部１３６Ａの動作が開始され、パラメータｈ，ｖを使用して、項候補Ｔ1〜Ｔ14が生成される。
【００６６】
この項候補Ｔ1〜Ｔ14の生成が終了し、項候補群発生部１３６Ａより項候補Ｔ0〜Ｔ14が出力される状態となった後に、図８Ｃに示すスタート信号ＳＴ２に対応して、情報メモリバンク１３５より係数種データＡi0〜Ａi9および項選択情報ＳＬ0〜ＳＬ9の読み出しが開始される。そして、係数データＷｉを演算するために必要なデータおよび情報の読み出しが行われた後に、図８Ｄに示すスタート信号ＳＴ３に対応して、係数演算部１３６Ｂの動作が開始され、各クラスの推定式の係数データＷｉが順次演算され、その演算された係数データＷｉが係数メモリ１３４に書き込まれていく。
【００６７】
また、係数演算部１３６Ｂで最初のクラスの係数データＷｉが演算された後に、図８Ｅに示すスタート信号ＳＴ４に対応して、正規化係数演算部１３７の動作が開始され、各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが順次演算され、その演算された正規化係数Ｓが正規化係数メモリ１３８に書き込まれていく。
【００６８】
また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号の画素（注目画素）のデータを演算する推定予測演算回路１２７を有している。
【００６９】
上述したように、ＳＤ信号（５２５ｉ信号）をＨＤ信号（１０５０ｉ信号）に変換する際には、ＳＤ信号の１画素に対してＨＤ信号の４画素を得る必要があることから、この推定予測演算回路１２７では、ＨＤ信号を構成する２×２の単位画素ブロック毎に、画素データが生成される。すなわち、この推定予測演算回路１２７には、第１のタップ選択回路１２１より単位画素ブロック内の４画素（注目画素）に対応した予測タップのデータｘｉと、係数メモリ１３４よりその単位画素ブロックを構成する４画素に対応した係数データＷｉとが供給され、単位画素ブロックを構成する４画素のデータｙ1〜ｙ4は、それぞれ個別に上述した（４）式の推定式で演算される。
【００７０】
また、画像信号処理部１１０は、推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4を、正規化係数メモリ１３８より読み出され、それぞれの演算に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路１２８を有している。上述せずも、係数生成回路１３６で係数種データより生成式によって推定式の係数データＷｉを求めるものであるが、生成される係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１〜ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路１２７で演算される各画素のデータｙ1〜ｙ4は、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路１２８で正規化することで、その変動を除去できる。
【００７１】
また、画像信号処理部１１０は、正規化演算回路１２８で正規化されて順次供給される単位画素ブロック内の４画素のデータｙ1′〜ｙ4′を線順次化して１０５０ｉ信号のフォーマットで出力する後処理回路１２９を有している。
【００７２】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【００７３】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目画素）の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【００７４】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動き情報ＭＶと再量子化コードＱｉとから、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目画素）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。そして、このクラスコードＣＬは、係数メモリ１３４および正規化係数メモリ１３８に読み出しアドレス情報として供給される。
【００７５】
係数メモリ１３４には、例えば各垂直ブランキング期間に、ユーザによって調整されたパラメータｈ，ｖの値に対応した各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）が係数生成回路１３６で生成されて格納される。また、正規化係数メモリ１３８には、上述したように係数生成回路１３６で生成された各クラスの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが正規化係数演算部１３７で生成されて格納される。
【００７６】
係数メモリ１３４に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１３４からクラスコードＣＬに対応した係数データＷｉが読み出されて推定予測演算回路１２７に供給される。また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第１のタップ選択回路１２１で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉは推定予測演算回路１２７に供給される。
【００７７】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される４画素分の係数データＷｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目画素）のデータｙ1〜ｙ4が同時的に演算される（（４）式参照）。そして、この推定予測演算回路１２７より順次出力されるＨＤ信号を構成する単位画素ブロック内の４画素のデータｙ1〜ｙ4は正規化演算回路１２８に供給される。
【００７８】
正規化係数メモリ１３８には上述したようにクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓ、つまり推定予測演算回路１２７より出力されるＨＤ画素データｙ1〜ｙ4の演算に使用された係数データＷｉに対応した正規化係数Ｓが読み出されて正規化演算回路１２８に供給される。この正規化演算回路１２８では、推定予測演算回路１２７より出力されるＨＤ画素データｙ1〜ｙ4がそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数種データを用いて生成式（（５）式参照）で推定式（（４）式参照）の係数データを求める際の丸め誤差によるデータｙ1〜ｙ4のレベル変動が除去される。
【００７９】
このように正規化演算回路１２８で正規化されて順次出力される単位画素ブロック内の４画素のデータｙ1′〜ｙ4′は後処理回路１２９に供給される。この後処理回路１２９では、正規化演算回路１２８より順次供給される単位画素ブロック内の４画素のデータｙ1′〜ｙ4′が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、この後処理回路１２９からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【００８０】
上述したように、係数生成回路１３６で、情報メモリバンク１３５よりロードされる係数種データを用いて、クラス毎に、パラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が生成され、これが係数メモリ１３４に格納される。そして、この係数メモリ１３４より、クラスコードＣＬに対応して読み出される係数データＷｉ（ｉ＝１〜ｎ）を用いて推定予測演算回路１２７でＨＤ画素データｙが演算される。したがって、ユーザは、パラメータｈ，ｖの値を調整することで、ＨＤ信号によって得られる画像の水平および垂直の画質を、無段階になめらかに調整することができる。なおこの場合、調整されたパラメータｈ，ｖの値に対応した各クラスの係数データをその都度係数生成回路１３６で生成して使用するものであり、大量の係数データを格納しておくメモリを必要としない。
【００８１】
また、上述したように係数生成回路１３６で係数種データを用いて各クラスの推定式の係数データＷｉを生成する際に、クラス毎に生成式の項が選択されるようになされているので、演算精度を落とすことなく、情報メモリバンク１３５に蓄積される係数種データや、係数データＷｉを得るための演算器の規模圧縮を図ることことができる。
【００８２】
また、生成式の中に重みの少ない項が存在すると、それにトータルゲインの中から一定の重みが取られてしまって係数曲面の近似精度が落ちてしまうが、上述したように生成式の項の選択を可能とすることで、生成式より重みの少ない項を省略でき、従って係数曲面の近似精度を上げることができる。
【００８３】
次に、情報メモリバンク１３５に蓄積されている係数種データおよび項選択情報の生成方法については説明する。これら係数種データおよび項選択情報は、予め学習によって生成されたものである。
【００８４】
まず、係数種データの生成方法の一例について説明する。（５）式の基本生成式における係数データである係数種データｗi0〜ｗ i14を求める例を示すものとする。
ここで、以下の説明のため、（７）式のように、ｔｉ（ｉ＝０〜１４）を定義する。
ｔ0＝１，ｔ1＝ｈ，ｔ2＝ｈ2，ｔ3＝ｈ3，ｔ4＝ｈ4，ｔ5＝ｖ，
ｔ6＝ｈｖ，ｔ7＝ｈ2ｖ，ｔ8＝ｈ3ｖ，ｔ9＝ｖ2，ｔ10＝ｈｖ2，
ｔ11＝ｈ2ｖ2，ｔ12＝ｖ3，ｔ13＝ｈｖ3，ｔ14＝ｖ4
・・・（７）
この（７）式を用いると、（５）式は、（８）式のように書き換えられる。
【００８５】
【数６】
【００８６】
最終的に、学習によって未定係数ｗ ij を求める。すなわち、変換方法毎かつクラス毎に、複数のＳＤ画素データとＨＤ画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（４）式および（５）式を用いて、Ｅは（９）式で表される。ここで、ｘikはＳＤ画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のＨＤ画像の画素データを表している。
【００８７】
【数７】
【００８８】
最小二乗法による解法では、（９）式のｗ ij による偏微分が０になるようなｗ ij を求める。これは、（１０）式で示される。
【００８９】
【数８】
【００９０】
以下、（１１）式、（１２）式のように、Ｘipjq、Ｙipを定義すると、（１０）式は、行列を用いて（１３）式のように書き換えられる。
【００９１】
【数９】
【００９２】
【数１０】
【００９３】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗ ij について解かれ、係数種データが算出される。
【００９４】
図９は、上述した係数種データの生成方法の概念を示している。ＨＤ信号から複数のＳＤ信号を生成する。例えば、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータｈ，ｖをそれぞれ９段階に可変して、合計８１種類のＳＤ信号を生成している。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。
【００９５】
図１０は、上述した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。
この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号（５２５ｉ信号）を得るＳＤ信号生成回路１５２とを有している。
【００９６】
このＳＤ信号生成回路１５２には、パラメータｈ，ｖが制御信号として供給される。このパラメータｈ，ｖに対応して、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域とが可変される。ここで、フィルタの詳細について、いくつかの例を示す。
【００９７】
例えば、フィルタを、水平帯域を制限する帯域フィルタと垂直帯域を制限する帯域フィルタとから構成することが考えられる。この場合、図１１に示すように、パラメータｈまたはｖの段階的な値に対応した周波数特性を設計し、逆フーリエ変換をすることにより、パラメータｈまたはｖの段階的な値に対応した周波数特性を持つ１次元フィルタを得ることができる。
【００９８】
また例えば、フィルタを、水平帯域を制限する１次元ガウシアンフィルタと垂直帯域を制限する１次元ガウシアンフィルタとから構成することが考えられる。この１次元ガウシアンフィルタは（１４）式で示される。この場合、パラメータｈまたはｖの段階的な値に対応して標準偏差σの値を段階的に変えることにより、パラメータｈまたはｖの段階的な値に対応した周波数特性を持つ１次元ガウシアンフィルタを得ることができる。
【００９９】
【数１１】
【０１００】
また例えば、フィルタを、パラメータｈ，ｖの両方で水平および垂直の周波数特性が決まる２次元フィルタＦ(ｈ，ｖ）で構成することが考えられる。この２次元フィルタの生成方法は、上述した１次元フィルタと同様に、パラメータｈ，ｖの段階的な値に対応した２次元周波数特性を設計し、２次元の逆フーリエ変換をすることにより、パラメータｈ，ｖの段階的な値に対応した２次元周波数特性を持つ２次元フィルタを得ることができる。
【０１０１】
また、係数種データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。
【０１０２】
また、係数種データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述した画像信号処理部１１０の空間クラス検出回路１２４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードＱｉが空間クラスを示すクラス情報として出力される。
【０１０３】
また、係数種データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述した画像信号処理部１１０の動きクラス検出回路１２５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
【０１０４】
また、係数種データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述した画像信号処理部１１０のクラス合成回路１２６と同様に構成される。
【０１０５】
また、係数種データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、パラメータｈ，ｖとから、各クラス毎に、係数種データｗ1,0〜ｗn,14を得るための正規方程式（（１３）式参照）を生成する正規方程式生成部１６０を有している。
【０１０６】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、ＳＤ信号生成回路１５２へのパラメータｈ，ｖが順次変更されていって水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていき、これにより正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。
【０１０７】
ここで、ＨＤ信号と、そのＨＤ信号から帯域が狭いフィルタを作用させて生成したＳＤ信号との間で学習して算出した係数種データは、解像度の高いＨＤ信号を得るためのものとなる。逆に、ＨＤ信号と、そのＨＤ信号から帯域が広いフィルタを作用させて生成したＳＤ信号との間で学習して算出した係数種データは解像度の低いＨＤ信号を得るためのものとなる。上述したように複数のＳＤ信号を順次生成して学習データを登録することで、連続した解像度のＨＤ信号を得るための係数種データを求めることが可能となる。
【０１０８】
なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせを行うことができる。
【０１０９】
また、係数種データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ1,0〜ｗn,14を求める係数種データ決定部１６１と、この求められた係数種データｗ1,0〜ｗn,14を記憶する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗ1,0〜ｗn,14が求められる。
【０１１０】
図１０に示す係数種データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。この場合、ＳＤ信号生成回路１５２にはパラメータｈ，ｖが制御信号として供給され、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０１１１】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【０１１２】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１１３】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードＱｉとから、ＨＤ信号（１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０１１４】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、パラメータｈ，ｖとから、正規方程式生成部１６０では、クラス毎に、係数種データｗ1,0〜ｗn,14を生成するための正規方程式（（１３）式参照）が生成される。
【０１１５】
そして、係数種データ決定部１６１でその正規方程式が解かれ、各クラスの係数種データｗ1,0〜ｗn,14が求められ、その係数種データｗ1,0〜ｗn,14はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０１１６】
なお、正規方程式生成部１６０で、ＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで生成される学習データを、ＨＤ画素データｙが奇数、偶数のいずれのフィールドにおけるＨＤ信号のものか、さらにはそのＨＤ信号を構成する上述した２×２の単位画素ブロック内の４画素のいずれであるかの情報によって分別することで、奇数、偶数のそれぞれのフィールドにおけるＨＤ信号（１０５０ｉ信号）を構成する２×２の単位画素ブロック内の４画素に対応した係数種データｗ1,0〜ｗn,14を求めるための正規方程式（（１３）式参照）を個別に生成できる。
【０１１７】
これにより、係数種データ決定部では、奇数、偶数のそれぞれのフィールドにおけるＨＤ信号（１０５０ｉ信号）を構成する２×２の単位画素ブロック内の４画素に対応した係数種データｗ1,0〜ｗn,14を求めることができ、係数種メモリ１６２に記憶できる。
【０１１８】
以上は、（５）式の基本生成式における係数データである係数種データｗi0〜ｗi、14（ｉ＝１〜ｎ）を求める例を示したが、この基本生成式を構成する各項のうち、選択された項からなる生成式（例えば、最大で１０項からなる）における係数データである係数種データも同様にして求めることができる。
【０１１９】
次に、項選択情報の生成方法の一例について説明する。
上述したように、基本生成式を構成する各項のうち、所定の項が選択された候補生成式を作成する。そして、この候補生成式を使用して、上述した係数種データの生成方法に基づいて、各クラスの係数種データを求める。そして、この各クラスの係数種データを用いて、各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）を作成し、図１に示す画像信号処理部１１０におけると同様の処理で、生徒信号としてのＳＤ信号（５２５ｉ信号）よりＨＤ信号（１０５０ｉ信号）を生成する。そして、この生成されたＨＤ信号の画素データと、上述したように生徒信号ＳＤを作成する前のＨＤ信号の画素データとを、クラス別に分け、対応する画素データ毎の差の総和を求めて誤差情報とする。
【０１２０】
上述した処理を、選択する項を順次変えた複数の候補生成式に対して繰り返して行う。その結果、クラス毎に、誤差情報が最低となる候補生成式が決定される。これにより、図１の画像信号処理部１１０の情報メモリバンク１３５に蓄積される各クラスにおける項選択情報ＳＬ0〜ＳＬ9は、基本生成式を構成する各項より誤差情報が最低となる候補生成式に対応する項を選択するものとされる。また、図１の画像信号処理部１１０の情報メモリバンク１３５に蓄積される各クラスにおける係数種データＡi0〜Ａi9は、誤差情報が最低となる候補生成式を使用して求められた係数種データとされる。
【０１２１】
なお、図１の画像信号処理部１１０では、情報メモリバンク１３５に予め蓄積されている項選択情報ＳＬ0〜ＳＬ9を用いて各クラスにおける生成式の項を選択するようにしたものであるが、例えばクラス合成回路１２６より得られるクラスコードＣＬに基づいて、その都度項選択情報を求めて用いるようにしてもよい。また、図１の画像信号処理部１１０では、ＳＤ信号（５２５ｉ信号）に関連して得られる特徴量として、ＨＤ信号の注目画素が属するクラスを用いたものであるが、これに限定されるものではない。
【０１２２】
また、図１の画像信号処理部１１０では、係数データＷｉ（ｉ＝１〜ｎ）を生成する際の基本生成式として（５）式を使用したものであるが、他の次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０１２３】
また、図１の画像信号処理部１１０では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これらパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、例えばノイズ除去度（ノイズ低減度）を指定するパラメータｚを設け、このパラメータｚの値を調整することで画像のノイズ除去度を調整し得るものも同様に構成することができる。
【０１２４】
さらに、上述せずも入力画像信号Ｖinを種々の倍率の画像を得るための出力画像信号Ｖoutに変換する場合、その倍率によって出力画像信号Ｖoutを構成する画素の位相（位置）が変換する。この場合、各位相の画素を得るための推定式の係数データＷｉを、画素の位相情報をパラメータとする生成式により、係数種データを用いて生成することが考えられる。この場合にも、上述したようにして、各クラス毎に生成式の項の選択を行うことができ、上述した実施の形態と同様の効果を得ることができる。
【０１２５】
また、図１の画像信号処理部１１０における処理を、例えば図１２に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１２６】
まず、図１２に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラムや係数種データ、項選択情報等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１２７】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピーディスク３０６をドライブするフロッピーディスクドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１２８】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１２９】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１３０】
また、画像信号処理装置３００は、ＳＤ信号を入力するための入力端子３１４と、ＨＤ信号を出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１３１】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数種データ、項選択情報等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数種データ、項選択情報等をフロッピーディスク３０６で提供するようにしてもよい。
【０１３２】
また、処理すべきＳＤ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１３３】
図１３のフローチャートを参照して、図１２に示す画像信号処理装置３００における、ＳＤ信号よりＨＤ信号を得るため処理手順を説明する。
【０１３４】
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、ＳＤ画素データをフレーム単位またはフィールド単位で入力する。このＳＤ画素データが入力端子３１４より入力される場合には、このＳＤ画素データをＲＡＭ３０３に一時的に格納する。また、このＳＤ画素データがハードディスクに記録されている場合には、ハードディスクドライブ３０７でこのＳＤ画素データを読み出し、ＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３で、入力ＳＤ画素データの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。
【０１３５】
このステップＳＴ５では、ユーザがリモコン送信機２００を操作して入力した画質指定値（例えばパラメータｈ，ｖの値など）を例えばＲＡＭ３０３より読み込む。そして、ステップＳＴ６で、読み込んだ画質指定値および各クラスの係数種データを使用して、項選択情報で選択された項からなる生成式によって、各クラスの推定式（（４）式参照）の係数データＷｉを生成する。
【０１３６】
次に、ステップＳＴ７で、ステップＳＴ２で入力されたＳＤ画素データより、生成すべき各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ８で、入力されたＳＤ画素データの全領域においてＨＤ画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２に戻り、次のフレームまたはフィールドのＳＤ画素データの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ９に進む。
【０１３７】
このステップＳＴ９では、ステップＳＴ７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ１０で、そのクラスコードＣＬに対応した係数データと予測タップのＳＤ画素データを使用して、推定式により、ＨＤ画素データを生成し、その後にステップＳＴ７に戻って、上述したと同様の処理を繰り返す。
【０１３８】
このように、図１３に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号を構成するＳＤ画素データを処理して、ＨＤ信号を構成するＨＤ画素データを得ることができる。上述したように、このように処理して得られたＨＤ信号は出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１３９】
なお、上述実施の形態においては、ＨＤ信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０１４０】
また、上述実施の形態においては、ＳＤ信号（５２５ｉ信号）をＨＤ信号（１０５０ｉ信号）に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
【０１４１】
また、上述実地の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
【０１４２】
【発明の効果】
この発明によれば、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを係数種データを用いて生成する際に、第１の情報信号に関連して得られる特徴量に基づいて生成式の項を選択するものであり、演算精度を落とすことなく係数種データや演算器の規模圧縮を可能にすると共に、係数曲面の近似精度を上げることが可能となる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】項候補群発生部の構成例を示すブロック図である。
【図３】項候補群発生部の動作を説明するためのタイミングチャートである。
【図４】カウントアドレスと選択内容との対応関係を示す図である。
【図５】係数演算部の構成例を示すブロック図である。
【図６】項選択部の構成例を示すブロック図である。
【図７】加算部の構成例を示すブロック図である。
【図８】係数データと正規化係数の生成動作を説明するためのタイミングチャートである。
【図９】係数種データの生成方法の一例の概念を示す図である。
【図１０】係数種データ生成装置の構成例を示すブロック図である。
【図１１】帯域フィルタの周波数特性の一例を示す図である。
【図１２】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１３】画像信号の処理手順を示すフローチャートである。
【図１４】５２５ｉ信号と１０５０ｉ信号の画素位置関係を説明するための図である。
【符号の説明】
１００・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・第１のタップ選択回路、１２２・・・第２のタップ選択回路、１２３・・・第３のタップ選択回路、１２４・・・空間クラス検出回路、１２５・・・動きクラス検出回路、１２６・・・クラス合成回路、１２７・・・推定予測演算回路、１２８・・・正規化演算回路、１２９・・・後処理回路、１３４・・・係数メモリ、１３５・・・情報メモリバンク、１３６・・・係数生成回路、１３６Ａ・・・項候補群発生部、１３６Ｂ・・・係数演算部、１３７・・・正規化係数演算部、１３８・・・正規化係数メモリ、１５０・・・係数種データ生成装置、１５１・・・入力端子、１５２・・・ＳＤ信号生成回路、１５３・・・第１のタップ選択回路、１５４・・・第２のタップ選択回路、１５５・・・第３のタップ選択回路、１５７・・・空間クラス検出回路、１５８・・・動きクラス検出回路、１５９・・・クラス合成回路、１６０・・・正規方程式生成部、１６１・・・係数種データ決定部、１６２・・・係数種メモリ、２００・・・リモコン送信機、３００・・・画像信号処理装置、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３０４・・・バス、３０５・・・ハードディスクドライブ、３０７・・・フロッピーディスクドライブ、３０８・・・通信部、３０９，３１２，３１３，３１６，３１７・・・インタフェース、３１０・・・リモコン信号受信回路、３１１・・・ディスプレイ、３１４・・・入力端子、３１５・・・出力端子、４００・・・通信網
【発明の属する技術分野】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する際に適用して好適な情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体に関する。詳しくは、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを係数種データを用いて生成する際に、第１の情報信号に関連して得られる特徴量に基づいて生成式の項を選択することによって、演算精度を落とすことなく係数種データや演算器の規模圧縮を可能にすると共に、係数曲面の近似精度を上げるようにした情報信号処理装置等に係るものである。
【０００２】
【従来の技術】
従来、ＳＤ(Standard Definition）信号としての５２５ｉ信号を、ＨＤ(High Definition)信号としての１０５０ｉ信号に変換するフォーマット変換が提案されている。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味する。
【０００３】
図１４は、５２５ｉ信号と１０５０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。
【０００４】
従来、上述したようなフォーマット変換を行うために、５２５ｉ信号の画素データより１０５０ｉ信号の画素データを得る際に、５２５ｉ信号の画素に対する１０５０ｉ信号の各画素の位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用いて推定式によって１０５０ｉ信号の画素データを求めることが提案されている。
【０００５】
【発明が解決しようとする課題】
上述したように推定式によって１０５０ｉ信号の画素データを求めるものにおいては、この１０５０ｉ信号による画像の解像度は固定されており、従来のコントラストやシャープネス等の調整のように、画像内容等に応じて所望の解像度とすることができなかった。
【０００６】
そこで、この発明では、例えば画像の画質を無段階になめらかに調整可能にし、また係数データの演算精度を落とすことなく係数種データや演算器の規模圧縮を可能にすると共に、係数曲面の近似精度を上げるようにした情報信号処理装置等を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、第２の情報信号に係るパラメータの値を設定するパラメータ設定手段と、推定式の係数データを生成する上記パラメータを含む生成式の係数データである係数種データが記憶された第１のメモリ手段と、第１の情報信号に関連して得られる特徴量に基づいて上記生成式の項を選択する項選択手段と、第１のメモリ手段に記憶されている係数種データとパラメータ設定手段で設定されたパラメータの値とを用いて、項選択手段で選択された項からなる上記生成式によって生成され、設定されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、係数データ発生手段で発生された係数データと上記第１のデータ選択手段で選択された上記複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る演算手段とを備えるものである。
【０００８】
また、この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理方法であって、第２の情報信号に係るパラメータの値を設定する第１のステップと、推定式の係数データを生成する上記パラメータを含む生成式の項を選択する第２のステップと、上記生成式の係数データである係数種データと第１のステップで設定されたパラメータの値とを用いて、第２のステップで選択された項からなる上記生成式によって生成され、設定されたパラメータの値に対応した上記推定式の係数データを発生する第３のステップと、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第４のステップと、第３のステップで発生された係数データと第４のステップで選択された複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る第５のステップとを備えるものである。
【０００９】
また、この発明に係る情報提供媒体は、上述の情報信号処理方法の各ステップを実行するためのコンピュータプログラムを提供するものである。
【００１０】
また、この発明に係る画像信号処理装置は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、第２の画像信号に係るパラメータの値を設定するパラメータ設定手段と、推定式の係数データを生成する上記パラメータを含む生成式の係数データである係数種データが記憶されたメモリ手段と、第１の画像信号に関連して得られる特徴量に基づいて上記生成式の項を選択する項選択手段と、メモリ手段に記憶されている係数種データとパラメータ設定手段で設定されたパラメータの値とを用いて、項選択手段で選択された項からなる上記生成式によって生成され、設定されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第１の画像信号から第２の画像信号に係る注目点の周辺に位置する複数の画素データを選択するデータ選択手段と、係数データ発生手段で発生された係数データとデータ選択手段で選択された複数の画素データとから、上記推定式を用いて上記注目点の画素データを算出して得る演算手段とを備えるものである。
【００１１】
また、この発明に係る画像表示装置は、複数の画素データからなる第１の画像信号を入力する画像信号入力手段と、画像信号入力手段より入力された第１の画像信号を複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、この画像信号処理手段より出力される第２の画像信号による画像を画像表示素子に表示する画像表示手段と、第２の画像信号に係るパラメータの値を設定するパラメータ設定手段とを有してなるものである。そして、画像信号処理手段は、推定式の係数データを生成する上記パラメータを含む生成式の係数データである係数種データが記憶された第１のメモリ手段と、第１の画像信号に関連して得られる特徴量に基づいて上記生成式の項を選択する項選択手段と、第１のメモリ手段に記憶されている係数種データとパラメータ設定手段で設定された上記パラメータの値とを用いて、項選択手段で選択された項からなる上記生成式によって生成され、設定されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、第１の画像信号から第２の画像信号に係る注目画素の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、係数データ発生手段で発生された係数データと第１のデータ選択手段で選択された複数の第１の画素データとから、上記推定式を用いて上記注目画素の画素データを算出して得る演算手段とを備えるものである。
【００１２】
この発明においては、第２の情報信号に係るパラメータが設定される。例えば、パラメータは、第２の情報信号によって得られる出力の質を決めるものである。例えば、情報信号が画像信号である場合にはパラメータの値によって解像度等の画質が決められ、情報信号が音声信号である場合にはパラメータの値によって音質が決められる。また例えば、パラメータは、第１の情報信号の情報データ位置に対する第２の情報信号の情報データ位置の位相情報である。第２の情報信号のフォーマットやサイズが変換される場合には、この位相情報が変化する。
【００１３】
また、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データが選択される。そして、設定されたパラメータの値に対応して、その注目点の情報データが求められる。すなわち、推定式の係数データを生成するための生成式の係数データである係数種データがメモリ手段に記憶されており、この係数種データと設定されたパラメータの値とを用いて、設定されたパラメータの値に対応した推定式の係数データが発生され、この係数データと複数の第１の情報データとから、推定式を用いて、注目点の情報データが生成される。
【００１４】
ここで、上述したように推定式の係数データを生成するための生成式の項が、第１の情報信号に関連して得られる特徴量に基づいて選択される。例えば、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データが選択され、この複数の第２の情報データに基づいて検出される当該注目点の属するクラスが特徴量とされる。
【００１５】
このように、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを係数種データを用いて生成する際に、第１の情報信号に関連して得られる特徴量に基づいて生成式の項が選択されるものであり、演算精度を落とすことなく係数種データや演算器の規模圧縮が可能となると共に、係数曲面の近似精度を上げることが可能となる。
【００１６】
なお、係数種データを用いて生成された推定式の係数データの総和を求め、上述したように推定式を用いて生成された注目点の情報データをその総和で除算して正規化することで、係数種データを用いて生成式で推定式の係数データを求める際の丸め誤差による注目点の情報データのレベル変動を除去できる。
【００１７】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号よりＳＤ信号としての５２５ｉ信号を得、この５２５ｉ信号をＨＤ信号としての１０５０ｉ信号に変換し、その１０５０ｉ信号による画像を表示するものである。
【００１８】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００１９】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行ってＳＤ信号（５２５ｉ信号）を得るチューナ１０６と、このチューナ１０６より出力されるＳＤ信号を一時的に保存するためのバッファメモリ１０９とを有している。
【００２０】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存されるＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換する画像信号処理部１１０と、この画像信号処理部１１０より出力されるＨＤ信号による画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等のフラットパネルディスプレイで構成されている。
【００２１】
図１に示すテレビ受信機１００の動作を説明する。
チューナ１０６より出力されるＳＤ信号（５２５ｉ信号）は、バッファメモリ１０９に供給されて一時的に保存される。そして、このバッファメモリ１０９に一時的に記憶されたＳＤ信号は画像信号処理部１１０に供給され、ＨＤ信号（１０５０ｉ信号）に変換される。すなわち、画像信号処理部１１０では、ＳＤ信号を構成する画素データ（以下、「ＳＤ画素データ」という）から、ＨＤ信号を構成する画素データ（以下、「ＨＤ画素データ」という）が得られる。この画像信号処理部１１０より出力されるＨＤ信号はディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはそのＨＤ信号による画像が表示される。
【００２２】
また、上述せずも、ユーザは、リモコン送信機２００の操作によって、上述したようにディスプレイ部１１１の画面上に表示される画像の水平および垂直の解像度を無段階になめらかに調整できる。画像信号処理部１１０では、後述するように、ＨＤ画素データが推定式によって算出されるが、この推定式の係数データとして、ユーザのリモコン送信機２００の操作によって調整された水平、垂直の解像度を決めるパラメータｈ，ｖに対応したものが、これらパラメータｈ，ｖを含む生成式によって生成されて使用される。これにより、画像信号処理部１１０より出力されるＨＤ信号による画像の水平、垂直の解像度は、調整されたパラメータｈ，ｖに対応したものとなる。
【００２３】
次に、画像信号処理部１１０の詳細を説明する。この画像信号処理部１１０は、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１２１〜１２３を有している。
【００２４】
第１のタップ選択回路１２１は、予測に使用するＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、ＳＤ画素データのレベル分布パターンに対応するクラス分類に使用するＳＤ画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きに対応するクラス分類に使用するＳＤ画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属するＳＤ画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００２５】
また、画像信号処理部１１０は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００２６】
空間クラス検出回路１２４では、例えば、各ＳＤ画素データを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１２４からは、各ＳＤ画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。
【００２７】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータ（ＳＤ画素データ）の最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータとしての各ＳＤ画素データｋｉに対して、（１）式の演算により、圧縮データとしての再量子化コードＱｉが得られる。ただし、（１）式において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個のＳＤ画素データがあるとき、ｉ＝１〜Ｎａである。
Ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）．２P／ＤＲ］ ・・・（１）
【００２８】
また、画像信号処理部１１０は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００２９】
この動きクラス検出回路１２５では、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）ｍｉ，ｎｉからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えばクラスタップのデータとして、６個のＳＤ画素データｍ１〜ｍ６と、その１フレーム前の６個のＳＤ画素データｎ１〜ｎ６が取り出されるとき、（２）式におけるＮｂは６である。
【００３０】
【数１】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。
【００３２】
また、画像信号処理部１１０は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべきＨＤ信号（１０５０ｉ信号）の画素（注目画素）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【００３３】
このクラス合成回路１２６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは空間クラスタップのデータ（ＳＤ画素データ）の個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【００３４】
【数２】
また、画像信号処理部１１０は、係数メモリ１３４を有している。この係数メモリ１３４は、後述する推定予測演算回路１２７で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、ＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換するための情報である。係数メモリ１３４には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１３４からはクラスコードＣＬに対応した係数データが読み出され、推定予測演算回路１２７に供給されることとなる。
【００３６】
また、画像信号処理部１１０は、情報メモリバンク１３５を有している。この情報メモリバンク１３５には、各クラスにおける係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ１３４に格納するための係数データを生成するための生成式の係数データである。また、情報メモリバンク１３５には、各クラスにおける生成式の項選択情報が予め蓄えられている。上述した各クラスにおける係数種データの個数は、上述の項選択情報で選択される項の個数に対応したものとなっている。
【００３７】
なお、上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要があることから、各クラスにおける係数種データは、さらに、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素に対応した係数種データからなっている。この２×２の単位画素ブロック内の４画素は、５２５ｉ信号の画素に対して互いに異なる位相関係にある。
【００３８】
後述する推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、（４）式の推定式によって、作成すべきＨＤ画素データｙが演算される。第１のタップ選択回路１２１で選択される予測タップが１０個であるとき、（４）式におけるｎは１０となる。
【００３９】
【数３】
本実施の形態においては、（５）式を、各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成するための基本生成式とする。各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）は、この基本生成式を構成する各項のうち、選択された項からなる生成式（最大で１０項からなる）によって生成される。情報メモリバンク１３５には、このように選択された項からなる生成式の係数データである係数種データが、クラス毎に、記憶されている。また、情報メモリバンク１３５には、項選択情報が、クラス毎に、記憶されている。この係数種データおよび項選択情報の生成方法については後述する。
【００４１】
【数４】
また、画像信号処理部１１０は、各クラスの係数種データおよびパラメータｈ，ｖの値とを用い、選択された項からなる生成式によって、クラス毎に、パラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路１３６を有している。この係数生成回路１３６は、項候補群発生部１３６Ａおよび係数演算部１３６Ｂからなっている。
【００４３】
項候補群発生部１３６Ａについて説明する。この項候補群発生部１３６Ａは、上述の基本生成式（（５）式）の各項の係数部分を除いた部分をパラメータｈ，ｖの値を用いて算出し、１５個の項候補Ｔ0〜Ｔ14を発生するものである。図２は、項候補群発生部１３６Ａの構成例を示している。
【００４４】
この項候補群発生部１３６Ａは、スタート信号ＳＴ１に基づいて、種々のタイミング信号を発生するタイミング発生器２０１と、このタイミング発生器２０１より出力されるカウントアドレスに基づいて選択信号ＳＥＬ１を発生するプログラムバンク２０２と、パラメータｈ，ｖおよび整数定数１を入力し、プログラムバンク２０２より出力される選択信号ＳＥＬ１に基づいて、パラメータｈ，ｖおよび整数定数１のいずれかを選択的に出力する選択器２０３とを有している。
【００４５】
ここで、タイミング発生器２０１からは、図３Ｂに示すようにスタート信号ＳＴ１が供給された後、図３Ａに示すクロック信号に同期して、図３Ｃに示すようにカウントアドレスが発生され、選択器２０３からは、図３Ｄに示すように、出力Ｓ１が得られる。図４は、カウントアドレスと選択器２０３の選択内容との対応関係を示している。
【００４６】
また、項候補群発生部１３６Ａは、選択器２０３の出力Ｓ１を積算するための乗算器２０４と、この乗算器２０４の乗算結果を格納するレジスタ２０５と、このレジスタ２０５に格納された乗算結果または整数定数１を入力し、これら乗算結果または整数定数１のいずれかを選択的に出力する選択器２０６とを有している。この選択器２０６の出力Ｓ２は乗算器２０４に供給される。この選択器２０６にはタイミング発生器２０１より、図３Ｅに示すように初期化タイミング信号が供給される。これにより、選択器２０６からは、カウントアドレスが０，４，８，・・・のように４の倍数となる毎に整数定数１が選択的に出力され、積算の初期化が行われる。なお、カウントアドレスが４の倍数でない場合は、選択器２０６でレジスタ２０５の出力Ｓ３が選択的に出力される。
【００４７】
また、項候補群発生部１３６Ａは、パラメータｈ，ｖを含まない項候補Ｔ0、すなわち１を保持するレジスタ２０７-0と、項候補Ｔ1〜Ｔ14を出力するレジスタ２０７-1〜２０７-14と、レジスタ２０５の出力Ｓ３をレジスタ２０７-1〜２０７-14に格納するか否かを制御するイネーブル器２０８-1〜２０８-14とを有している。イネーブル器２０８-1〜２０８-14のそれぞれには、タイミング発生器２０１より、図３Ｆに示すように、イネーブル信号ＥＮ1〜ＥＮ14が供給される。これにより、レジスタ２０７-1〜２０７-14は、カウントアドレスが４の倍数−１となる毎に、順次書き込みイネーブル状態となって、レジスタ２０５の出力Ｓ３が書き込まれる。
【００４８】
図２に示す項候補群発生部１３６Ａの動作を説明する。システムコントローラ１０１（図１参照）よりスタート信号ＳＴ１（図３Ｂ）が供給されると、クロック信号（図３Ａ）に同期して、カウントアドレス（図３Ｃ）が発生される。そして、プログラムバンク２０２より選択器２０３にカウントアドレスに対応して選択信号ＳＥＬ１が供給され、選択器２０３からはパラメータｈ，ｖまたは整数定数１が選択的に取り出される（図３Ｄ）。
【００４９】
また、タイミング発生器２０１より選択器２０６に初期化タイミング信号（図３Ｅ）が供給され、選択器２０６ではカウントアドレスが４の倍数となる毎に、レジスタ２０５の出力ではなく、整数定数１が取り出される。したがって、カウントアドレスが４の倍数となる毎に、積算の初期化が行われる。
【００５０】
そして、イネーブル器２０８-1〜２０８-14のそれぞれにはタイミング発生器２０１よりイネーブル信号ＥＮ1〜ＥＮ14（図３Ｆ）が供給され、レジスタ２０７-1〜２０７-14はカウントアドレスが４の倍数−１となる毎に順次書き込みイネーブル状態となる。したがって、レジスタ２０７-1〜２０７-14には、選択器２０３で選択的に取り出される４個毎の積算値が順次書き込まれていく。
【００５１】
これにより、レジスタ２０７-1〜２０７-14には、（５）式に示す基本生成式の第２項〜第１５項に対応した項候補Ｔ1〜Ｔ14が保持されて出力されることとなる。なお、レジスタ２０７-0には、上述したように、（５）式に示す基本生成式の第１項に対応した項候補Ｔ0が予め保持されており、上述の項候補Ｔ1〜Ｔ14と共に出力される。
【００５２】
係数演算部１３６Ｂについて説明する。この係数演算部１３６Ｂは、クラス毎に、上述した項候補群発生部１３６Ａより出力される項候補Ｔ0〜Ｔ14より、情報メモリバンク１３５より読み出される項選択情報ＳＬ0〜ＳＬ9によって項を選択し、選択された項からなる生成式により、情報メモリバンク１３５より読み出される係数種データＡi0〜Ａi9を使用して、推定式の係数データＷｉ（ｉ＝１〜ｎ）を演算するものである。図５は、係数演算部１３６Ｂの構成例を示している。
【００５３】
この係数演算部１３６Ｂは、１５個の項候補Ｔ0〜Ｔ14より、必要とする項を選択する項選択部２１１-0〜２１１-9を有している。これら項選択部２１１-0〜２１１-9では、それぞれ項選択情報ＳＬ0〜ＳＬ9に基づいて、項候補Ｔ0〜Ｔ14のいずれかを選択するか、あるいはいずれも選択しないようにされる。選択する項が１０項より少ない場合には、項候補Ｔ0〜Ｔ14のいずれも選択しない項選択部が発生することとなる。
【００５４】
これら項選択部２１１-0〜２１１-9には、浮動小数点形式の係数種データＡi0〜Ａi9の固定小数点部ｂi0〜ｂi9が供給される。上述したように項候補Ｔ0〜Ｔ14のいずれも選択しない項選択部に供給される係数種データの固定小数点部は０とされる。
【００５５】
図６は、項選択部２１１-0の構成例を示している。この項選択部２１１-0は、項選択情報ＳＬ0に基づいて、項候補Ｔ0〜Ｔ14より所定の項を選択的に取り出す選択器２３１と、この選択器２３１の出力に固定小数点部ｂi0を乗算する乗算器２３２とを有している。この項選択部２１１-0で項候補Ｔ0〜Ｔ14のいずれも選択しない場合、選択器２３１からは例えば整数定数１が出力されるが、これに乗算器２３２で０が乗算されるため、この項選択部２１１-0の出力ｄ0は０となる。なお、詳細説明は省略するが、項選択部２１１-1〜２１１-9も、項選択部２１１-0と同様に構成される。
【００５６】
図５に戻って、また、係数演算部１３６Ｂは、項選択部２１１-0，２１１-1の出力ｄ0，ｄ1を加算する加算部２１２と、項選択部２１１-2，２１１-3の出力ｄ2，ｄ3を加算する加算部２１３と、項選択部２１１-4，２１１-5の出力ｄ4，ｄ5を加算する加算部２１４と、項選択部２１１-6，２１１-7の出力ｄ6，ｄ7を加算する加算部２１５と、項選択部２１１-8，２１１-9の出力ｄ8，ｄ9を加算する加算部２１６とを有している。
【００５７】
加算部２１２には、係数種データＡi0，Ａi1の指数部ｃi0，ｃi1が供給される。加算部２１３には、係数種データＡi2，Ａi3の指数部ｃi2，ｃi3が供給される。加算部２１４には、係数種データＡi4，Ａi5の指数部ｃi4，ｃi5が供給される。加算部２１５には、係数種データＡi6，Ａi7の指数部ｃi6，ｃi7が供給される。加算部２１６には、係数種データＡi8，Ａi9の指数部ｃi8，ｃi9が供給される。
【００５８】
図７は、加算部２１２の構成例を示している。この加算部２１２は、項選択部２１１-0の出力ｄ0を指数部ｃi0に基づいてビットシフトして固定小数点方式に変換して保持するレジスタ２４１と、項選択部２１１-1の出力ｄ1を指数部ｃi1に基づいてビットシフトして固定小数点方式に変換して保持するレジスタ２４２と、レジスタ２４１，２４２の出力を加算する加算器２４３と、この加算器２４３の加算出力を保持するレジスタ２４４とを有している。
【００５９】
図５に戻って、また、係数演算部１３６Ｂは、加算部２１３，２１４より出力される固定小数点方式の出力を加算する加算器２１７と、加算部２１５，２１６より出力される固定小数点方式の出力を加算する加算器２１８と、これら加算器２１７，２１８の加算出力を加算する加算器２１９と、この加算器２１９の出力に加算部２１２の出力を加算して係数データＷｉを得る加算器２２０とを有している。
【００６０】
図５に示す係数演算部１３６Ｂでは、項選択部２１１-0〜２１１-9で項候補Ｔ0〜Ｔ14より必要とする項が選択され、そして、これら項選択部２１１-0〜２１１-9で選択された項に対して、項選択部２１１-0〜２１１-9および加算部２１２で対応する係数種データＡi0〜Ａi9が乗算され、それぞれの乗算結果が加算されて、係数データＷｉが得られる。
【００６１】
上述した係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ１３４に格納される。なお、上述したように情報メモリバンク１３５に蓄えられている各クラスの係数種データは奇数、偶数のそれぞれのフィールドにおける２×２の単位画素ブロック内の４画素に対応した係数種データからなっていることから、係数生成回路１３６で生成される各クラスの係数データＷｉは、奇数、偶数のそれぞれのフィールドにおける２×２の単位画素ブロック内の４画素に対応した係数データからなっている。
【００６２】
この係数生成回路１３６における各クラスの係数データＷｉの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機２００の操作によってパラメータｈ，ｖの値が変更されても、係数メモリ１３４に格納される各クラスの係数データＷｉを、そのパラメータｈ，ｖの値に対応したものに即座に変更でき、ユーザによる解像度の調整がスムーズに行われる。
【００６３】
また、画像信号処理部１１０は、係数生成回路１３６で生成される各クラスの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓを、（６）式によって、演算する正規化係数演算部１３７と、ここで生成された正規化係数Ｓを、クラス毎に格納する正規化係数メモリ１３８とを有している。正規化係数メモリ１３８には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓが読み出され、後述する正規化演算回路１２８に供給されることとなる。
【００６４】
【数５】
図８は、係数データＷｉと正規化係数Ｓの生成動作に係るタイミングを示すタイミングチャートである。
図８Ａは、垂直ブランキング信号を示している。各クラスの係数データＷｉ（ｉ＝１〜ｎ）の生成およびその係数データＷｉに対応した正規化係数Ｓの生成は垂直ブランキング期間で行われる。図８Ｂに示すスタート信号ＳＴ１に対応して、項候補群発生部１３６Ａの動作が開始され、パラメータｈ，ｖを使用して、項候補Ｔ1〜Ｔ14が生成される。
【００６６】
この項候補Ｔ1〜Ｔ14の生成が終了し、項候補群発生部１３６Ａより項候補Ｔ0〜Ｔ14が出力される状態となった後に、図８Ｃに示すスタート信号ＳＴ２に対応して、情報メモリバンク１３５より係数種データＡi0〜Ａi9および項選択情報ＳＬ0〜ＳＬ9の読み出しが開始される。そして、係数データＷｉを演算するために必要なデータおよび情報の読み出しが行われた後に、図８Ｄに示すスタート信号ＳＴ３に対応して、係数演算部１３６Ｂの動作が開始され、各クラスの推定式の係数データＷｉが順次演算され、その演算された係数データＷｉが係数メモリ１３４に書き込まれていく。
【００６７】
また、係数演算部１３６Ｂで最初のクラスの係数データＷｉが演算された後に、図８Ｅに示すスタート信号ＳＴ４に対応して、正規化係数演算部１３７の動作が開始され、各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが順次演算され、その演算された正規化係数Ｓが正規化係数メモリ１３８に書き込まれていく。
【００６８】
また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、作成すべきＨＤ信号の画素（注目画素）のデータを演算する推定予測演算回路１２７を有している。
【００６９】
上述したように、ＳＤ信号（５２５ｉ信号）をＨＤ信号（１０５０ｉ信号）に変換する際には、ＳＤ信号の１画素に対してＨＤ信号の４画素を得る必要があることから、この推定予測演算回路１２７では、ＨＤ信号を構成する２×２の単位画素ブロック毎に、画素データが生成される。すなわち、この推定予測演算回路１２７には、第１のタップ選択回路１２１より単位画素ブロック内の４画素（注目画素）に対応した予測タップのデータｘｉと、係数メモリ１３４よりその単位画素ブロックを構成する４画素に対応した係数データＷｉとが供給され、単位画素ブロックを構成する４画素のデータｙ1〜ｙ4は、それぞれ個別に上述した（４）式の推定式で演算される。
【００７０】
また、画像信号処理部１１０は、推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4を、正規化係数メモリ１３８より読み出され、それぞれの演算に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路１２８を有している。上述せずも、係数生成回路１３６で係数種データより生成式によって推定式の係数データＷｉを求めるものであるが、生成される係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１〜ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路１２７で演算される各画素のデータｙ1〜ｙ4は、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路１２８で正規化することで、その変動を除去できる。
【００７１】
また、画像信号処理部１１０は、正規化演算回路１２８で正規化されて順次供給される単位画素ブロック内の４画素のデータｙ1′〜ｙ4′を線順次化して１０５０ｉ信号のフォーマットで出力する後処理回路１２９を有している。
【００７２】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【００７３】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目画素）の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【００７４】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動き情報ＭＶと再量子化コードＱｉとから、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目画素）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。そして、このクラスコードＣＬは、係数メモリ１３４および正規化係数メモリ１３８に読み出しアドレス情報として供給される。
【００７５】
係数メモリ１３４には、例えば各垂直ブランキング期間に、ユーザによって調整されたパラメータｈ，ｖの値に対応した各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）が係数生成回路１３６で生成されて格納される。また、正規化係数メモリ１３８には、上述したように係数生成回路１３６で生成された各クラスの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが正規化係数演算部１３７で生成されて格納される。
【００７６】
係数メモリ１３４に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１３４からクラスコードＣＬに対応した係数データＷｉが読み出されて推定予測演算回路１２７に供給される。また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第１のタップ選択回路１２１で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉは推定予測演算回路１２７に供給される。
【００７７】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される４画素分の係数データＷｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目画素）のデータｙ1〜ｙ4が同時的に演算される（（４）式参照）。そして、この推定予測演算回路１２７より順次出力されるＨＤ信号を構成する単位画素ブロック内の４画素のデータｙ1〜ｙ4は正規化演算回路１２８に供給される。
【００７８】
正規化係数メモリ１３８には上述したようにクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓ、つまり推定予測演算回路１２７より出力されるＨＤ画素データｙ1〜ｙ4の演算に使用された係数データＷｉに対応した正規化係数Ｓが読み出されて正規化演算回路１２８に供給される。この正規化演算回路１２８では、推定予測演算回路１２７より出力されるＨＤ画素データｙ1〜ｙ4がそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数種データを用いて生成式（（５）式参照）で推定式（（４）式参照）の係数データを求める際の丸め誤差によるデータｙ1〜ｙ4のレベル変動が除去される。
【００７９】
このように正規化演算回路１２８で正規化されて順次出力される単位画素ブロック内の４画素のデータｙ1′〜ｙ4′は後処理回路１２９に供給される。この後処理回路１２９では、正規化演算回路１２８より順次供給される単位画素ブロック内の４画素のデータｙ1′〜ｙ4′が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、この後処理回路１２９からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【００８０】
上述したように、係数生成回路１３６で、情報メモリバンク１３５よりロードされる係数種データを用いて、クラス毎に、パラメータｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が生成され、これが係数メモリ１３４に格納される。そして、この係数メモリ１３４より、クラスコードＣＬに対応して読み出される係数データＷｉ（ｉ＝１〜ｎ）を用いて推定予測演算回路１２７でＨＤ画素データｙが演算される。したがって、ユーザは、パラメータｈ，ｖの値を調整することで、ＨＤ信号によって得られる画像の水平および垂直の画質を、無段階になめらかに調整することができる。なおこの場合、調整されたパラメータｈ，ｖの値に対応した各クラスの係数データをその都度係数生成回路１３６で生成して使用するものであり、大量の係数データを格納しておくメモリを必要としない。
【００８１】
また、上述したように係数生成回路１３６で係数種データを用いて各クラスの推定式の係数データＷｉを生成する際に、クラス毎に生成式の項が選択されるようになされているので、演算精度を落とすことなく、情報メモリバンク１３５に蓄積される係数種データや、係数データＷｉを得るための演算器の規模圧縮を図ることことができる。
【００８２】
また、生成式の中に重みの少ない項が存在すると、それにトータルゲインの中から一定の重みが取られてしまって係数曲面の近似精度が落ちてしまうが、上述したように生成式の項の選択を可能とすることで、生成式より重みの少ない項を省略でき、従って係数曲面の近似精度を上げることができる。
【００８３】
次に、情報メモリバンク１３５に蓄積されている係数種データおよび項選択情報の生成方法については説明する。これら係数種データおよび項選択情報は、予め学習によって生成されたものである。
【００８４】
まず、係数種データの生成方法の一例について説明する。（５）式の基本生成式における係数データである係数種データｗi0〜ｗ i14を求める例を示すものとする。
ここで、以下の説明のため、（７）式のように、ｔｉ（ｉ＝０〜１４）を定義する。
ｔ0＝１，ｔ1＝ｈ，ｔ2＝ｈ2，ｔ3＝ｈ3，ｔ4＝ｈ4，ｔ5＝ｖ，
ｔ6＝ｈｖ，ｔ7＝ｈ2ｖ，ｔ8＝ｈ3ｖ，ｔ9＝ｖ2，ｔ10＝ｈｖ2，
ｔ11＝ｈ2ｖ2，ｔ12＝ｖ3，ｔ13＝ｈｖ3，ｔ14＝ｖ4
・・・（７）
この（７）式を用いると、（５）式は、（８）式のように書き換えられる。
【００８５】
【数６】
最終的に、学習によって未定係数ｗ ij を求める。すなわち、変換方法毎かつクラス毎に、複数のＳＤ画素データとＨＤ画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（４）式および（５）式を用いて、Ｅは（９）式で表される。ここで、ｘikはＳＤ画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のＨＤ画像の画素データを表している。
【００８７】
【数７】
最小二乗法による解法では、（９）式のｗ ij による偏微分が０になるようなｗ ij を求める。これは、（１０）式で示される。
【００８９】
【数８】
以下、（１１）式、（１２）式のように、Ｘipjq、Ｙipを定義すると、（１０）式は、行列を用いて（１３）式のように書き換えられる。
【００９１】
【数９】
【数１０】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗ ij について解かれ、係数種データが算出される。
【００９４】
図９は、上述した係数種データの生成方法の概念を示している。ＨＤ信号から複数のＳＤ信号を生成する。例えば、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータｈ，ｖをそれぞれ９段階に可変して、合計８１種類のＳＤ信号を生成している。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。
【００９５】
図１０は、上述した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。
この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号（５２５ｉ信号）を得るＳＤ信号生成回路１５２とを有している。
【００９６】
このＳＤ信号生成回路１５２には、パラメータｈ，ｖが制御信号として供給される。このパラメータｈ，ｖに対応して、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域とが可変される。ここで、フィルタの詳細について、いくつかの例を示す。
【００９７】
例えば、フィルタを、水平帯域を制限する帯域フィルタと垂直帯域を制限する帯域フィルタとから構成することが考えられる。この場合、図１１に示すように、パラメータｈまたはｖの段階的な値に対応した周波数特性を設計し、逆フーリエ変換をすることにより、パラメータｈまたはｖの段階的な値に対応した周波数特性を持つ１次元フィルタを得ることができる。
【００９８】
また例えば、フィルタを、水平帯域を制限する１次元ガウシアンフィルタと垂直帯域を制限する１次元ガウシアンフィルタとから構成することが考えられる。この１次元ガウシアンフィルタは（１４）式で示される。この場合、パラメータｈまたはｖの段階的な値に対応して標準偏差σの値を段階的に変えることにより、パラメータｈまたはｖの段階的な値に対応した周波数特性を持つ１次元ガウシアンフィルタを得ることができる。
【００９９】
【数１１】
また例えば、フィルタを、パラメータｈ，ｖの両方で水平および垂直の周波数特性が決まる２次元フィルタＦ(ｈ，ｖ）で構成することが考えられる。この２次元フィルタの生成方法は、上述した１次元フィルタと同様に、パラメータｈ，ｖの段階的な値に対応した２次元周波数特性を設計し、２次元の逆フーリエ変換をすることにより、パラメータｈ，ｖの段階的な値に対応した２次元周波数特性を持つ２次元フィルタを得ることができる。
【０１０１】
また、係数種データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。
【０１０２】
また、係数種データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述した画像信号処理部１１０の空間クラス検出回路１２４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードＱｉが空間クラスを示すクラス情報として出力される。
【０１０３】
また、係数種データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述した画像信号処理部１１０の動きクラス検出回路１２５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
【０１０４】
また、係数種データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述した画像信号処理部１１０のクラス合成回路１２６と同様に構成される。
【０１０５】
また、係数種データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、パラメータｈ，ｖとから、各クラス毎に、係数種データｗ1,0〜ｗn,14を得るための正規方程式（（１３）式参照）を生成する正規方程式生成部１６０を有している。
【０１０６】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、ＳＤ信号生成回路１５２へのパラメータｈ，ｖが順次変更されていって水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていき、これにより正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。
【０１０７】
ここで、ＨＤ信号と、そのＨＤ信号から帯域が狭いフィルタを作用させて生成したＳＤ信号との間で学習して算出した係数種データは、解像度の高いＨＤ信号を得るためのものとなる。逆に、ＨＤ信号と、そのＨＤ信号から帯域が広いフィルタを作用させて生成したＳＤ信号との間で学習して算出した係数種データは解像度の低いＨＤ信号を得るためのものとなる。上述したように複数のＳＤ信号を順次生成して学習データを登録することで、連続した解像度のＨＤ信号を得るための係数種データを求めることが可能となる。
【０１０８】
なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせを行うことができる。
【０１０９】
また、係数種データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ1,0〜ｗn,14を求める係数種データ決定部１６１と、この求められた係数種データｗ1,0〜ｗn,14を記憶する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗ1,0〜ｗn,14が求められる。
【０１１０】
図１０に示す係数種データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。この場合、ＳＤ信号生成回路１５２にはパラメータｈ，ｖが制御信号として供給され、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０１１１】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【０１１２】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１１３】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードＱｉとから、ＨＤ信号（１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０１１４】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、パラメータｈ，ｖとから、正規方程式生成部１６０では、クラス毎に、係数種データｗ1,0〜ｗn,14を生成するための正規方程式（（１３）式参照）が生成される。
【０１１５】
そして、係数種データ決定部１６１でその正規方程式が解かれ、各クラスの係数種データｗ1,0〜ｗn,14が求められ、その係数種データｗ1,0〜ｗn,14はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０１１６】
なお、正規方程式生成部１６０で、ＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで生成される学習データを、ＨＤ画素データｙが奇数、偶数のいずれのフィールドにおけるＨＤ信号のものか、さらにはそのＨＤ信号を構成する上述した２×２の単位画素ブロック内の４画素のいずれであるかの情報によって分別することで、奇数、偶数のそれぞれのフィールドにおけるＨＤ信号（１０５０ｉ信号）を構成する２×２の単位画素ブロック内の４画素に対応した係数種データｗ1,0〜ｗn,14を求めるための正規方程式（（１３）式参照）を個別に生成できる。
【０１１７】
これにより、係数種データ決定部では、奇数、偶数のそれぞれのフィールドにおけるＨＤ信号（１０５０ｉ信号）を構成する２×２の単位画素ブロック内の４画素に対応した係数種データｗ1,0〜ｗn,14を求めることができ、係数種メモリ１６２に記憶できる。
【０１１８】
以上は、（５）式の基本生成式における係数データである係数種データｗi0〜ｗi、14（ｉ＝１〜ｎ）を求める例を示したが、この基本生成式を構成する各項のうち、選択された項からなる生成式（例えば、最大で１０項からなる）における係数データである係数種データも同様にして求めることができる。
【０１１９】
次に、項選択情報の生成方法の一例について説明する。
上述したように、基本生成式を構成する各項のうち、所定の項が選択された候補生成式を作成する。そして、この候補生成式を使用して、上述した係数種データの生成方法に基づいて、各クラスの係数種データを求める。そして、この各クラスの係数種データを用いて、各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）を作成し、図１に示す画像信号処理部１１０におけると同様の処理で、生徒信号としてのＳＤ信号（５２５ｉ信号）よりＨＤ信号（１０５０ｉ信号）を生成する。そして、この生成されたＨＤ信号の画素データと、上述したように生徒信号ＳＤを作成する前のＨＤ信号の画素データとを、クラス別に分け、対応する画素データ毎の差の総和を求めて誤差情報とする。
【０１２０】
上述した処理を、選択する項を順次変えた複数の候補生成式に対して繰り返して行う。その結果、クラス毎に、誤差情報が最低となる候補生成式が決定される。これにより、図１の画像信号処理部１１０の情報メモリバンク１３５に蓄積される各クラスにおける項選択情報ＳＬ0〜ＳＬ9は、基本生成式を構成する各項より誤差情報が最低となる候補生成式に対応する項を選択するものとされる。また、図１の画像信号処理部１１０の情報メモリバンク１３５に蓄積される各クラスにおける係数種データＡi0〜Ａi9は、誤差情報が最低となる候補生成式を使用して求められた係数種データとされる。
【０１２１】
なお、図１の画像信号処理部１１０では、情報メモリバンク１３５に予め蓄積されている項選択情報ＳＬ0〜ＳＬ9を用いて各クラスにおける生成式の項を選択するようにしたものであるが、例えばクラス合成回路１２６より得られるクラスコードＣＬに基づいて、その都度項選択情報を求めて用いるようにしてもよい。また、図１の画像信号処理部１１０では、ＳＤ信号（５２５ｉ信号）に関連して得られる特徴量として、ＨＤ信号の注目画素が属するクラスを用いたものであるが、これに限定されるものではない。
【０１２２】
また、図１の画像信号処理部１１０では、係数データＷｉ（ｉ＝１〜ｎ）を生成する際の基本生成式として（５）式を使用したものであるが、他の次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０１２３】
また、図１の画像信号処理部１１０では、水平解像度を指定するパラメータｈと垂直解像度を指定するパラメータｖとを設定し、これらパラメータｈ，ｖの値を調整することで画像の水平および垂直の解像度を調整し得るものを示したが、例えばノイズ除去度（ノイズ低減度）を指定するパラメータｚを設け、このパラメータｚの値を調整することで画像のノイズ除去度を調整し得るものも同様に構成することができる。
【０１２４】
さらに、上述せずも入力画像信号Ｖinを種々の倍率の画像を得るための出力画像信号Ｖoutに変換する場合、その倍率によって出力画像信号Ｖoutを構成する画素の位相（位置）が変換する。この場合、各位相の画素を得るための推定式の係数データＷｉを、画素の位相情報をパラメータとする生成式により、係数種データを用いて生成することが考えられる。この場合にも、上述したようにして、各クラス毎に生成式の項の選択を行うことができ、上述した実施の形態と同様の効果を得ることができる。
【０１２５】
また、図１の画像信号処理部１１０における処理を、例えば図１２に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１２６】
まず、図１２に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラムや係数種データ、項選択情報等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１２７】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピーディスク３０６をドライブするフロッピーディスクドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１２８】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１２９】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１３０】
また、画像信号処理装置３００は、ＳＤ信号を入力するための入力端子３１４と、ＨＤ信号を出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１３１】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数種データ、項選択情報等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数種データ、項選択情報等をフロッピーディスク３０６で提供するようにしてもよい。
【０１３２】
また、処理すべきＳＤ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１３３】
図１３のフローチャートを参照して、図１２に示す画像信号処理装置３００における、ＳＤ信号よりＨＤ信号を得るため処理手順を説明する。
【０１３４】
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、ＳＤ画素データをフレーム単位またはフィールド単位で入力する。このＳＤ画素データが入力端子３１４より入力される場合には、このＳＤ画素データをＲＡＭ３０３に一時的に格納する。また、このＳＤ画素データがハードディスクに記録されている場合には、ハードディスクドライブ３０７でこのＳＤ画素データを読み出し、ＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３で、入力ＳＤ画素データの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。
【０１３５】
このステップＳＴ５では、ユーザがリモコン送信機２００を操作して入力した画質指定値（例えばパラメータｈ，ｖの値など）を例えばＲＡＭ３０３より読み込む。そして、ステップＳＴ６で、読み込んだ画質指定値および各クラスの係数種データを使用して、項選択情報で選択された項からなる生成式によって、各クラスの推定式（（４）式参照）の係数データＷｉを生成する。
【０１３６】
次に、ステップＳＴ７で、ステップＳＴ２で入力されたＳＤ画素データより、生成すべき各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ８で、入力されたＳＤ画素データの全領域においてＨＤ画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２に戻り、次のフレームまたはフィールドのＳＤ画素データの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ９に進む。
【０１３７】
このステップＳＴ９では、ステップＳＴ７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ１０で、そのクラスコードＣＬに対応した係数データと予測タップのＳＤ画素データを使用して、推定式により、ＨＤ画素データを生成し、その後にステップＳＴ７に戻って、上述したと同様の処理を繰り返す。
【０１３８】
このように、図１３に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号を構成するＳＤ画素データを処理して、ＨＤ信号を構成するＨＤ画素データを得ることができる。上述したように、このように処理して得られたＨＤ信号は出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１３９】
なお、上述実施の形態においては、ＨＤ信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０１４０】
また、上述実施の形態においては、ＳＤ信号（５２５ｉ信号）をＨＤ信号（１０５０ｉ信号）に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
【０１４１】
また、上述実地の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
【０１４２】
【発明の効果】
この発明によれば、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを係数種データを用いて生成する際に、第１の情報信号に関連して得られる特徴量に基づいて生成式の項を選択するものであり、演算精度を落とすことなく係数種データや演算器の規模圧縮を可能にすると共に、係数曲面の近似精度を上げることが可能となる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】項候補群発生部の構成例を示すブロック図である。
【図３】項候補群発生部の動作を説明するためのタイミングチャートである。
【図４】カウントアドレスと選択内容との対応関係を示す図である。
【図５】係数演算部の構成例を示すブロック図である。
【図６】項選択部の構成例を示すブロック図である。
【図７】加算部の構成例を示すブロック図である。
【図８】係数データと正規化係数の生成動作を説明するためのタイミングチャートである。
【図９】係数種データの生成方法の一例の概念を示す図である。
【図１０】係数種データ生成装置の構成例を示すブロック図である。
【図１１】帯域フィルタの周波数特性の一例を示す図である。
【図１２】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１３】画像信号の処理手順を示すフローチャートである。
【図１４】５２５ｉ信号と１０５０ｉ信号の画素位置関係を説明するための図である。
【符号の説明】
１００・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・第１のタップ選択回路、１２２・・・第２のタップ選択回路、１２３・・・第３のタップ選択回路、１２４・・・空間クラス検出回路、１２５・・・動きクラス検出回路、１２６・・・クラス合成回路、１２７・・・推定予測演算回路、１２８・・・正規化演算回路、１２９・・・後処理回路、１３４・・・係数メモリ、１３５・・・情報メモリバンク、１３６・・・係数生成回路、１３６Ａ・・・項候補群発生部、１３６Ｂ・・・係数演算部、１３７・・・正規化係数演算部、１３８・・・正規化係数メモリ、１５０・・・係数種データ生成装置、１５１・・・入力端子、１５２・・・ＳＤ信号生成回路、１５３・・・第１のタップ選択回路、１５４・・・第２のタップ選択回路、１５５・・・第３のタップ選択回路、１５７・・・空間クラス検出回路、１５８・・・動きクラス検出回路、１５９・・・クラス合成回路、１６０・・・正規方程式生成部、１６１・・・係数種データ決定部、１６２・・・係数種メモリ、２００・・・リモコン送信機、３００・・・画像信号処理装置、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３０４・・・バス、３０５・・・ハードディスクドライブ、３０７・・・フロッピーディスクドライブ、３０８・・・通信部、３０９，３１２，３１３，３１６，３１７・・・インタフェース、３１０・・・リモコン信号受信回路、３１１・・・ディスプレイ、３１４・・・入力端子、３１５・・・出力端子、４００・・・通信網
Claims (23)
- 複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、
上記第２の情報信号に係るパラメータの値を設定するパラメータ設定手段と、
推定式の係数データを生成する上記パラメータを含む生成式の係数データである係数種データが記憶された第１のメモリ手段と、
上記第１の情報信号に関連して得られる特徴量に基づいて上記生成式の項を選択する項選択手段と、
上記第１のメモリ手段に記憶されている係数種データと、上記パラメータ設定手段で設定された上記パラメータの値とを用いて、上記項選択手段で選択された項からなる上記生成式によって生成され、上記設定されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、
上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
上記係数データ発生手段で発生された上記係数データと上記第１のデータ選択手段で選択された上記複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る演算手段と
を備えることを特徴とする情報信号処理装置。 - 上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された上記複数の第２の情報データに基づいて、上記注目点が属するクラスを検出するクラス検出手段とをさらに備え、
上記第１のメモリ手段には、上記クラス検出手段で検出されるクラス毎に予め求められた上記係数種データが記憶されており、
上記係数データ発生手段は、上記クラス検出手段で検出されたクラスおよび上記パラメータ設定手段で設定された上記パラメータの値に対応した上記推定式の係数データを発生することを特徴とする請求項１に記載の情報信号処理装置。 - 上記係数データ発生手段は、
上記第１のメモリ手段に記憶されている係数種データと上記パラメータ設定手段で設定された上記パラメータの値とを用い、上記項選択手段で選択された項からなる上記生成式により、上記クラス検出手段で検出されるクラス毎に上記推定式の係数データを生成する係数データ生成手段と、
上記係数データ生成手段で生成された各クラスにおける上記推定式の係数データを記憶する第２のメモリ手段と、
上記第２のメモリ手段より上記クラス検出手段で検出されたクラスに対応した上記推定式の係数データを読み出して出力する係数データ読み出し手段と
を有してなることを特徴とする請求項２に記載の情報信号処理装置。 - 上記係数データ発生手段で発生される上記推定式の係数データの総和を求める加算手段と、
上記演算手段で得られた上記注目点の情報データを上記加算手段で求められた上記総和で除算して正規化する正規化手段をさらに備える
ことを特徴とする請求項１に記載の情報信号処理装置。 - 上記第１の情報信号に関連して得られる特徴量は、上記クラス検出手段で検出されるクラスである
ことを特徴とする請求項２に記載の情報信号処理装置。 - 上記項選択手段は、
上記特徴量より項選択情報を取得する情報取得手段を有し、
上記情報取得手段で取得された項選択情報を使用して上記生成式の項を選択する
ことを特徴とする請求項１に記載の情報信号処理装置。 - 上記情報取得手段は、ＲＯＭテーブルで構成される
ことを特徴とする請求項６に記載の情報信号処理装置。 - 複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
上記第２の画像信号に係るパラメータの値を設定するパラメータ設定手段と、
推定式の係数データを生成する上記パラメータを含む生成式の係数データである係数種データが記憶されたメモリ手段と、
上記第１の画像信号に関連して得られる特徴量に基づいて上記生成式の項を選択する項選択手段と、
上記メモリ手段に記憶されている係数種データと、上記パラメータ設定手段で設定された上記パラメータの値とを用いて、上記項選択手段で選択された項からなる上記生成式によって生成され、上記設定されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、
上記第１の画像信号から、上記第２の画像信号に係る注目点の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記係数データ発生手段で発生された上記係数データと上記データ選択手段で選択された上記複数の画素データとから、上記推定式を用いて上記注目点の画素データを算出して得る演算手段と
を備えることを特徴とする画像信号処理装置。 - 複数の画素データからなる第１の画像信号を入力する画像信号入力手段と、
上記画像信号入力手段より入力された上記第１の画像信号を複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、
上記画像信号処理手段より出力される上記第２の画像信号による画像を画像表示素子に表示する画像表示手段と、
上記第２の画像信号に係るパラメータの値を設定するパラメータ設定手段とを有してなり、
上記画像信号処理手段は、
推定式の係数データを生成する上記パラメータを含む生成式の係数データである係数種データが記憶された第１のメモリ手段と、
上記第１の画像信号に関連して得られる特徴量に基づいて上記生成式の項を選択する項選択手段と、
上記第１のメモリ手段に記憶されている係数種データと、上記パラメータ設定手段で設定された上記パラメータの値とを用いて、上記項選択手段で選択された項からなる上記生成式によって生成され、上記設定されたパラメータの値に対応した上記推定式の係数データを発生する係数データ発生手段と、
上記第１の画像信号から、上記第２の画像信号に係る注目画素の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、
上記係数データ発生手段で発生された上記係数データと上記第１のデータ選択手段で選択された上記複数の第１の画素データとから、上記推定式を用いて上記注目画素の画素データを算出して得る演算手段とを備える
ことを特徴とする画像表示装置。 - 上記第１の画像信号から、上記第２の画像信号に係る注目画素の周辺に位置する複数の第２の画素データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された上記第２の画素データに基づいて、上記注目画素が属するクラスを検出するクラス検出手段とをさらに備え、
上記第１のメモリ手段には、上記クラス検出手段で検出されるクラス毎に予め求められた上記係数種データが記憶されており、
上記係数データ発生手段は、上記クラス検出手段で検出されたクラスおよび上記パラメータ設定手段で設定された上記パラメータの値に対応した上記推定式の係数データを発生する
ことを特徴とする請求項９に記載の画像表示装置。 - 上記係数データ発生手段は、
上記第１のメモリ手段に記憶されている係数種データと上記パラメータ設定手段で設定された上記パラメータの値とを用い、上記項選択手段で選択された項からなる上記生成式により、上記クラス検出手段で検出されるクラス毎に上記推定式の係数データを生成する係数データ生成手段と、
上記係数データ生成手段で生成された各クラスにおける上記推定式の係数データを記憶する第２のメモリ手段と、
上記第２のメモリ手段より上記クラス検出手段で検出されたクラスに対応した上記推定式の係数データを読み出して出力する係数データ読み出し手段と
を有してなることを特徴とする請求項１０に記載の画像表示装置。 - 上記係数データ発生手段で発生される上記推定式の係数データの総和を求める加算手段と、
上記演算手段で得られた上記注目画素の画素データを上記加算手段で求められた上記総和で除算して正規化する正規化手段をさらに備える
ことを特徴とする請求項９に記載の画像表示装置。 - 上記第１の画像信号に関連して得られる特徴量は、上記クラス検出手段で検出されるクラスである
ことを特徴とする請求項１０に記載の画像表示装置。 - 上記項選択手段は、
上記特徴量より項選択情報を取得する情報取得手段を有し、
上記情報取得手段で取得された項選択情報を使用して上記生成式の項を選択する
ことを特徴とする請求項９に記載の画像表示装置。 - 上記情報取得手段は、ＲＯＭテーブルで構成される
ことを特徴とする請求項１４に記載の画像表示装置。 - 複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理方法であって、
上記第２の情報信号に係るパラメータの値を設定する第１のステップと、
推定式の係数データを生成する上記パラメータを含む生成式の項を選択する第２のステップと、
上記生成式の係数データである係数種データと、上記第１のステップで設定された上記パラメータの値とを用いて、上記第２のステップで選択された項からなる上記生成式によって生成され、上記設定されたパラメータの値に対応した上記推定式の係数データを発生する第３のステップと、
上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第４のステップと、
上記第３のステップで発生された上記係数データと上記第４のステップで選択された上記複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る第５のステップと
を備えることを特徴とする情報信号処理方法。 - 上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第６のステップと、
上記第６のステップで選択された上記複数の第２の情報データに基づいて、上記注目点が属するクラスを検出する第７のステップとをさらに備え、
上記第３のステップでは、上記第７のステップで検出されたクラスおよび上記第１のステップで設定された上記パラメータの値に対応した上記推定式の係数データを発生する
ことを特徴とする請求項１６に記載の情報信号処理方法。 - 上記第３のステップは、
上記第７のステップで検出されるクラス毎の上記係数種データと上記第１のステップで設定された上記パラメータの値とを用い、上記第２のステップで選択された項からなる上記生成式により、上記クラス毎に上記推定式の係数データを生成するステップと、
上記生成された各クラスにおける上記推定式の係数データをメモリ手段に記憶するステップと、
上記メモリ手段より上記第７のステップで検出されたクラスに対応した上記推定式の係数データを読み出して出力するステップとを有する
ことを特徴とする請求項１７に記載の情報信号処理方法。 - 上記第３のステップで発生される上記推定式の係数データの総和を求める第８のステップと、
上記第５のステップで得られた上記注目点の情報データを上記第８のステップで求められる上記総和で除算して正規化する第９のステップとをさらに備える
ことを特徴とする請求項１６に記載の情報信号処理方法。 - 上記第１の情報信号に関連して得られる特徴量は、上記第７のステップで検出されるクラスである
ことを特徴とする請求項１７に記載の情報信号処理方法。 - 上記第２のステップでは、
上記特徴量より項選択情報を取得し、該項選択情報を使用して上記生成式の項を選択する
ことを特徴とする請求項１６に記載の情報信号処理方法。 - 上記第２のステップでは、ＲＯＭテーブルを使用して上記特徴量より上記光選択情報を取得する
ことを特徴とする請求項２１に記載の情報信号処理方法。 - 複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換するために、
上記第２の情報信号に係るパラメータの値を設定する第１のステップと、
推定式の係数データを生成する上記パラメータを含む生成式の項を選択する第２のステップと、
上記生成式の係数データである係数種データと、上記第１のステップで設定された上記パラメータの値とを用いて、上記第２のステップで選択された項からなる上記生成式によって生成され、上記設定されたパラメータの値に対応した上記推定式の係数データを発生する第３のステップと、
上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第４のステップと、
上記第３のステップで発生された上記係数データと上記第４のステップで選択された上記複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る第５のステップと
をコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な情報提供媒体。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000395872A JP4517264B2 (ja) | 2000-12-26 | 2000-12-26 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体 |
| EP01272328A EP1353320B1 (en) | 2000-12-26 | 2001-12-26 | Information signal processing device, information signal processing method, image signal processing device, image display comprising the same, and information providing medium |
| PCT/JP2001/011452 WO2002052538A1 (fr) | 2000-12-26 | 2001-12-26 | Dispositif de traitement de signaux d'informations, procede de traitement de signaux d'informations, dispositif de traitement de signaux d'images, dispositif d'affichage d'image comprenant ce dernier, et support d'informations |
| US10/204,687 US7061539B2 (en) | 2000-12-26 | 2001-12-26 | Information signal processing device, information signal processing method, image signal processing device, image display comprising the same, and information providing medium |
| KR1020027011103A KR100770067B1 (ko) | 2000-12-26 | 2001-12-26 | 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호처리 장치 및 그것을 사용한 화상 표시 장치, 그리고 정보제공 매체 |
| CNB018055389A CN1220376C (zh) | 2000-12-26 | 2001-12-26 | 信息信号处理器和处理信息信号的方法 |
| DE60142360T DE60142360D1 (de) | 2000-12-26 | 2001-12-26 | Informationssignalverarbeitungseinrichtung, informationssignal-verarbeitungsverfahren, bildsignalverarbeitungseinrichtung, bildanzeige damit und informationsbereitstellung |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000395872A JP4517264B2 (ja) | 2000-12-26 | 2000-12-26 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002199353A JP2002199353A (ja) | 2002-07-12 |
| JP2002199353A5 JP2002199353A5 (ja) | 2007-03-22 |
| JP4517264B2 true JP4517264B2 (ja) | 2010-08-04 |
Family
ID=18861260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000395872A Expired - Fee Related JP4517264B2 (ja) | 2000-12-26 | 2000-12-26 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7061539B2 (ja) |
| EP (1) | EP1353320B1 (ja) |
| JP (1) | JP4517264B2 (ja) |
| KR (1) | KR100770067B1 (ja) |
| CN (1) | CN1220376C (ja) |
| DE (1) | DE60142360D1 (ja) |
| WO (1) | WO2002052538A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1871106A3 (en) * | 2002-01-30 | 2009-12-09 | Sony Corporation | Coefficient seed data or coefficient data production device used in image display apparatus |
| JP4055655B2 (ja) * | 2003-05-29 | 2008-03-05 | ソニー株式会社 | 係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラム |
| JP4265291B2 (ja) * | 2003-06-06 | 2009-05-20 | ソニー株式会社 | 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム |
| JP4311166B2 (ja) | 2003-11-05 | 2009-08-12 | ソニー株式会社 | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 |
| JP4311258B2 (ja) * | 2004-04-02 | 2009-08-12 | ソニー株式会社 | 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体 |
| JP2005311629A (ja) * | 2004-04-20 | 2005-11-04 | Sony Corp | 係数データの生成装置および生成方法、情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 |
| JP2005326690A (ja) * | 2004-05-14 | 2005-11-24 | Sony Corp | 画像処理装置及び画像処理方法 |
| JP4517300B2 (ja) * | 2006-01-06 | 2010-08-04 | ソニー株式会社 | 表示装置および表示方法、学習装置および学習方法、並びにプログラム |
| JP5099429B2 (ja) * | 2007-12-21 | 2012-12-19 | ソニー株式会社 | 信号処理装置、信号処理方法、およびプログラム、並びに学習装置 |
| KR100947729B1 (ko) * | 2008-06-10 | 2010-03-16 | 대성전기공업 주식회사 | 스티어링 휠 햅틱 스위치 유니트 및 이를 구비하는스티어링 휠 햅틱 스위치 시스템 |
| US20140118290A1 (en) * | 2012-10-31 | 2014-05-01 | Vemund Kval Bakken | Chirp signal touch sensor |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000207391A (ja) * | 1998-11-10 | 2000-07-28 | Sony Corp | 補間装置、補間方法及び画像表示装置 |
| JP2000244876A (ja) * | 1999-02-18 | 2000-09-08 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
| JP2001195586A (ja) * | 2000-01-14 | 2001-07-19 | Sony Corp | 学習装置および学習方法、並びに媒体 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5946044A (en) * | 1995-06-30 | 1999-08-31 | Sony Corporation | Image signal converting method and image signal converting apparatus |
| EP0800744B1 (en) * | 1995-11-01 | 2002-01-09 | Koninklijke Philips Electronics N.V. | Video signal scan conversion |
| US6057885A (en) * | 1996-05-30 | 2000-05-02 | Sony Corporation | Picture information converting apparatus and method thereof and sum-of-product calculating circuit and method thereof |
| JP3864494B2 (ja) * | 1997-05-12 | 2006-12-27 | ソニー株式会社 | 画像信号変換装置およびそれを使用したテレビ受信機 |
| JP4147632B2 (ja) * | 1998-08-24 | 2008-09-10 | ソニー株式会社 | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
| EP1001353A1 (en) | 1998-11-10 | 2000-05-17 | Sony Corporation | Interpolation apparatus and methods and image display apparatus |
| US6493023B1 (en) * | 1999-03-12 | 2002-12-10 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Method and apparatus for evaluating the visual quality of processed digital video sequences |
| JP2001054075A (ja) * | 1999-08-06 | 2001-02-23 | Hitachi Ltd | 画像信号の動き補償走査変換回路 |
-
2000
- 2000-12-26 JP JP2000395872A patent/JP4517264B2/ja not_active Expired - Fee Related
-
2001
- 2001-12-26 EP EP01272328A patent/EP1353320B1/en not_active Expired - Lifetime
- 2001-12-26 WO PCT/JP2001/011452 patent/WO2002052538A1/ja active Application Filing
- 2001-12-26 DE DE60142360T patent/DE60142360D1/de not_active Expired - Lifetime
- 2001-12-26 CN CNB018055389A patent/CN1220376C/zh not_active Expired - Fee Related
- 2001-12-26 US US10/204,687 patent/US7061539B2/en not_active Expired - Fee Related
- 2001-12-26 KR KR1020027011103A patent/KR100770067B1/ko not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000207391A (ja) * | 1998-11-10 | 2000-07-28 | Sony Corp | 補間装置、補間方法及び画像表示装置 |
| JP2000244876A (ja) * | 1999-02-18 | 2000-09-08 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
| JP2001195586A (ja) * | 2000-01-14 | 2001-07-19 | Sony Corp | 学習装置および学習方法、並びに媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7061539B2 (en) | 2006-06-13 |
| DE60142360D1 (de) | 2010-07-22 |
| CN1406370A (zh) | 2003-03-26 |
| KR100770067B1 (ko) | 2007-10-24 |
| CN1220376C (zh) | 2005-09-21 |
| WO2002052538A1 (fr) | 2002-07-04 |
| EP1353320A1 (en) | 2003-10-15 |
| EP1353320A4 (en) | 2005-10-05 |
| EP1353320B1 (en) | 2010-06-09 |
| KR20020079907A (ko) | 2002-10-19 |
| US20030011707A1 (en) | 2003-01-16 |
| JP2002199353A (ja) | 2002-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100939736B1 (ko) | 계수 데이터 생성장치 및 생성방법, 그것을 사용한 정보신호 처리장치 및 처리방법, 그것에 사용하는 종계수 데이터 생성장치 및 생성방법, 및 정보제공매체 | |
| JP4696388B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 | |
| JP4670169B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体 | |
| WO2004055775A1 (ja) | 画像信号処理装置、画像信号処理方法、その方法を実行するためのプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4517264B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体 | |
| JP2002196737A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに情報提供媒体 | |
| CN100367788C (zh) | 系数种类数据生成装置及生成方法 | |
| JP4691835B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数データの取得装置および取得方法、並びに情報記録媒体 | |
| JP4311166B2 (ja) | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
| JP4349086B2 (ja) | 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
| JP4691814B2 (ja) | 情報信号処理装置および情報信号処理方法、並びに記録媒体 | |
| JP4051934B2 (ja) | 情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4649812B2 (ja) | 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、並びに各画像信号処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP2002300617A (ja) | 情報信号処理装置およびそれにおける調整パラメータの設定方法 | |
| JP4232430B2 (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム | |
| JP2003271970A (ja) | テロップ領域抽出回路、テロップ領域抽出方法、その方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体、並びに画像信号処理回路 | |
| JP4649786B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法 | |
| JP4692800B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに記録媒体 | |
| US7529787B2 (en) | Apparatus and method for generating coefficient data, apparatus and method for processing information signal, program, and medium for recording the same | |
| JP4692798B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに記録媒体 | |
| JP4691849B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する情報の取得装置および取得方法 | |
| JP2002359821A (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数情報の生成装置および生成方法、並びに情報提供媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060519 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070206 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070206 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090916 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100505 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |