JP4441860B2 - 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 - Google Patents
情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 Download PDFInfo
- Publication number
- JP4441860B2 JP4441860B2 JP2004080966A JP2004080966A JP4441860B2 JP 4441860 B2 JP4441860 B2 JP 4441860B2 JP 2004080966 A JP2004080966 A JP 2004080966A JP 2004080966 A JP2004080966 A JP 2004080966A JP 4441860 B2 JP4441860 B2 JP 4441860B2
- Authority
- JP
- Japan
- Prior art keywords
- information signal
- information
- data
- information data
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
この発明は、第１の情報信号をこの第１の情報信号とは情報データの個数が異なる第２の情報信号に変換する情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体に関する。
詳しくは、この発明は、第１の情報信号をこの第１の情報信号とは情報データの個数が異なる第２の情報信号に変換する際に、第１の情報信号から補間処理により第２の情報信号を構成する各情報データに対応した複数の情報データからなる第３の情報信号を生成し、この第３の情報信号に基づいてクラス分類適応処理により第２の情報信号を構成する各情報データを得ることによって、クラス分類適応処理における波形生成能力を高め、第１の情報信号から第２の情報信号への変換能力を高めるようにした情報信号処理装置等に係るものである。
またこの発明は、第１の情報信号をこの第１の情報信号より情報データの個数が多い第２の情報信号に変換する際に、第１の情報信号から補間処理により第２の情報信号を構成する各情報データに対応した複数の情報データからなる第３の情報信号を生成し、この第３の情報信号に基づいてクラス分類適応処理により、この第３の情報信号と同じ個数の情報データを持つ第４の情報信号を得て、この第４の情報信号から高域成分を抽出し、この高域成分を上述した第３の情報信号に加算して第２の情報信号を得ることによって、クラス分類適応処理における波形生成能力を高め、またクラス分類適応処理により生成された低域成分を用いないようにして、第１の情報信号から第２の情報信号への変換能力を高めるようにした情報信号処理装置等に係るものである。
近年において、画像信号や音声信号の解像度あるいはサンプリング周波数などを向上させる技術が種々提案されている。例えば、標準あるいは低解像度に相当する標準テレビジョン信号から、高解像度のいわゆるＨＤＴＶ信号にアップコンバージョンを行う場合や、サブサンプル補間を行う場合には、従来の補間処理による手法よりも、例えば特許文献１等に記載されるクラス分類適応処理による手法の方が、性能的に良好な結果が得られることが知られている。
このクラス分類適応処理は、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する場合に、ＨＤ信号の注目画素位置の画素データが属するクラスを検出し、このクラスに対応した推定式の係数データを用い、当該推定式に基づいて、ＳＤ信号の複数の画素データから、ＨＤ信号の注目画素位置の画素データを生成するものである。そして、このクラス分類を伴う変換処理で使用される推定式の係数データは、予めクラス毎に最小二乗法等の学習によって決定される。
なお、特許文献１には、クラス分類適応処理を行う解像度変換回路の、例えば入力側に、データ改善手段としてのノイズ除去回路を設けることで、解像度変換回路でＳＤ信号をＨＤ信号に変換する際にノイズレベルが大きくなることによって生じる画質劣化を回避することが記載されている。
上述した特許文献１等に記載されたＳＤ信号からＨＤ信号に変換するクラス分類適応処理では、ＨＤ信号を構成する画素データの個数はＳＤ信号を構成する画素データの個数より多いことから、ＨＤ信号を構成する画素データを生成する際に、ＳＤ信号の画素位置に対して垂直、水平の方向に位相がずれた画素位置における画素データも生成する。つまり、このクラス分類適応処理では、位相シフトと波形生成の両方の機能を持たせる構成となっている。そのため、このクラス分類適応処理における波形生成能力を高めることが困難であった。
この発明の目的は、第１の情報信号をこの第１の情報信号とは情報データの個数が異なる第２の情報データに変換する際に、クラス分類適応処理における波形生成能力を高め、第１の情報信号から第２の情報信号への変換能力を高めることにある。
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を、複数の情報データからなり、第１の情報信号とは情報データの個数が異なる第２の情報信号に変換する情報信号処理装置であって、第１の情報信号を構成する情報データを用い、補間処理により、第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間手段と、この補間手段で生成された第３の情報信号に基づいて、第２の情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、補間手段で生成された第３の情報信号に基づいて、クラス検出手段で検出されたクラスに対応して、第２の情報信号における注目位置の情報データを生成する情報データ生成手段とを備えるものである。
また、この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号を、複数の情報データからなり、第１の情報信号とは情報データの個数が異なる第２の情報信号に変換する情報信号処理方法であって、第１の情報信号を構成する情報データを用い、補間処理により、第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間ステップと、この補間ステップで生成された第３の情報信号に基づいて、第２の情報信号における注目位置の情報データが属するクラスを検出するクラス検出ステップと、補間ステップで生成された第３の情報信号に基づいて、クラス検出ステップで検出されたクラスに対応して、第２の情報信号における注目位置の情報データを生成する情報データ生成ステップとを備えるものである。
また、この発明に係るプログラムは上述した情報信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述したプログラムを記録したものである。
この発明においては、複数の情報データからなる第１の情報信号が、複数の情報データからなる第２の情報信号に変換される。ここで、第１の情報信号と第２の情報信号とは、情報データの個数が異なっている。情報信号は、例えば画像信号、音声信号等である。情報信号が画像信号であるとき情報データは各画素に対応した画素データを意味し、また情報信号が音声信号であるとき情報データはサンプルデータを意味している。
補間処理により、第１の情報信号から、第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号が生成される。補間処理としては、例えばサイン関数による補間処理、三角波フィルタによる補間処理（線形補間処理）等が用いられる。
この第３の情報信号に対してクラス分類適応処理が施されて、第２の情報信号における注目位置の情報データが生成される。すなわち、第３の情報信号に基づいて、第２の情報信号における注目位置の情報データが属するクラスが検出される。そして、この検出されたクラスに対応して、第３の情報信号から第２の情報信号における注目位置の情報データが生成される。
例えば、検出されたクラスに対応した推定式で用いられる係数データが発生され、また第３の情報信号に基づいて第２の情報信号における注目位置の周辺に位置する複数の情報データが選択され、これら係数データおよび複数の情報データが用いられ、推定式に基づいて第２の情報信号における注目位置の情報データが算出される。
このように、この発明においては、補間処理に位相シフトを担当させ、クラス分類適応処理では波形生成のみ担当させるものであり、クラス分類適応処理における波形生成能力を高めることができ、従って第１の情報信号から第２の情報信号への変換能力を高めることができる。
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を、複数の情報データからなり、第１の情報信号より情報データの個数が多い第２の情報信号に変換する情報信号処理装置であって、第１の情報信号を構成する情報データを用い、補間処理により、第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間手段と、この補間手段で生成された第３の情報信号に基づいて、第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第４の情報信号を得る処理手段と、この処理手段で得られた第４の情報信号から高域成分を抽出する抽出手段と、補間手段で生成された第３の情報信号に、抽出手段で抽出された高域成分を加算して、第２の情報信号を得る加算手段とを備え、処理手段は、補間手段で生成された第３の情報信号に基づいて、第４の情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、補間手段で生成された第３の情報信号に基づいて、クラス検出手段で検出されたクラスに対応して、第４の情報信号における注目位置の情報データを生成する情報データ生成手段とを有するものである。
また、この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号を、複数の情報データからなり、第１の情報信号より情報データの個数が多い第２の情報信号に変換する情報信号処理方法であって、第１の情報信号を構成する情報データを用い、補間処理により、第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間ステップと、この補間ステップで生成された第３の情報信号に基づいて、第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第４の情報信号を得る処理ステップと、この処理ステップで得られた第４の情報信号から高域成分を抽出する抽出ステップと、補間ステップで生成された第３の情報信号に、抽出ステップで抽出された高域成分を加算して、第２の情報信号を得る加算ステップとを備え、処理ステップは、補間ステップで生成された第３の情報信号に基づいて、第４の情報信号における注目位置の情報データが属するクラスを検出するクラス検出ステップと、補間ステップで生成された第３の情報信号に基づいて、クラス検出ステップで検出されたクラスに対応して、第４の情報信号における注目位置の情報データを生成する情報データ生成ステップとを有するものである。
また、この発明に係るプログラムは上述した情報信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述したプログラムを記録したものである。
この発明においては、複数の情報データからなる第１の情報信号が、複数の情報データからなる第２の情報信号に変換される。ここで、第２の情報信号を構成する情報データの個数は、第１の情報信号を構成する情報データの個数より多い。情報信号は、例えば画像信号、音声信号等である。情報信号が画像信号であるとき情報データは各画素に対応した画素データを意味し、また情報信号が音声信号であるとき情報データはサンプルデータを意味している。
補間処理により、第１の情報信号から、第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号が生成される。補間処理としては、例えばサイン関数による補間処理、三角波フィルタによる補間処理（線形補間処理）等が用いられる。
この第３の情報信号に対してクラス分類適応処理が施されて、第２の情報信号を構成する各情報データにそれぞれ対応した複数の画素データからなる第４の情報信号が生成される。すなわち、第３の情報信号に基づいて、第４の情報信号における注目位置の情報データが属するクラスが検出される。そして、この検出されたクラスに対応して、第３の情報信号から第４の情報信号における注目位置の情報データが生成される。
例えば、検出されたクラスに対応した推定式で用いられる係数データが発生され、また第３の情報信号に基づいて第４の情報信号における注目位置の周辺に位置する複数の情報データが選択され、これら係数データおよび複数の情報データが用いられ、推定式に基づいて第４の情報信号における注目位置の情報データが算出される。
この第４の情報信号から、例えば低域遮断フィルタを用いて、高域成分が抽出される。そして、このように抽出された高域成分が、上述したように補間処理で生成された第３の情報信号に加算されることで、第２の情報信号が得られる。
このように、この発明においては、補間処理に位相シフトを担当させ、クラス分類適応処理では波形生成のみ担当させるものであり、クラス分類適応処理における波形生成能力を高めることができ、またクラス分類適応処理で生成された第４の情報信号に比べて、補間処理で生成された第３の情報信号の方が、正しい低域成分を持つ傾向があることから、この第４の情報信号が持つ低域成分を用いないようにしている。したがって、第１の情報信号から第２の情報信号への変換能力を高めることができる。
この発明によれば、第１の情報信号をこの第１の情報信号とは情報データの個数が異なる第２の情報信号に変換する際に、第１の情報信号から補間処理により第２の情報信号を構成する各情報データに対応した複数の情報データからなる第３の情報信号を生成し、この第３の情報信号に基づいてクラス分類適応処理により第２の情報信号を構成する各情報データを得るものであり、クラス分類適応処理における波形生成能力を高めることができ、第１の情報信号から第２の情報信号への変換能力を高めることができる。
この発明によれば、第１の情報信号をこの第１の情報信号より情報データの個数が多い第２の情報信号に変換する際に、第１の情報信号から補間処理により第２の情報信号を構成する各情報データに対応した複数の情報データからなる第３の情報信号を生成し、この第３の情報信号に基づいてクラス分類適応処理により、この第３の情報信号と同じ個数の情報データを持つ第４の情報信号を得て、この第４の情報信号から高域成分を抽出し、この高域成分を上述した第３の情報信号に加算して第２の情報信号を得るものであり、クラス分類適応処理における波形生成能力を高めることができ、またクラス分類適応処理により生成された低域成分を用いないため、第１の情報信号から第２の情報信号への変換能力を高めることができる。
第１の実施の形態について説明する。図１は、第１の実施の形態としての画像信号処理装置１００の構成を示している。この画像信号処理装置１００は、５２５ｉ信号というＳＤ(Standard Definition)信号である画像信号Ｖａを、１０５０ｉ信号というＨＤ(High Definition)信号である画像信号Ｖｂに変換する。ここで、画像信号Ｖａは第１の情報信号を構成し、画像信号Ｖｂは第２の情報信号を構成している。５２５ｉ信号は、１フレームのライン数が５２５本である、インタレース方式の画像信号である。１０５０ｉ信号は、１フレームのライン数が１０５０本である、インタレース方式の画像信号である。
図２は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが１０５０ｉ信号の画素である。図２から分かるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。
ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
図１に戻って、画像信号処理装置１００は、入力端子１０１と、補間回路１０２とを有している。入力端子１０１は、ＳＤ信号である画像信号Ｖａを入力するための端子である。補間回路１０２は、画像信号Ｖａを構成する画素データを用い、補間処理により、画像信号Ｖｂを構成する各画素データにそれぞれ対応した複数の画素データからなる画像信号Ｖｃを生成する。この画像信号Ｖｃは第３の情報信号を構成している。この画像信号Ｖｃは、画像信号Ｖｂの各画素と同じ画素位置の画素データを持つものとなる。
図３は、奇数フィールドおよび偶数フィールドにおける、画像信号Ｖａの画素位置に対する画像信号Ｖｃの画素位置、つまり画像信号Ｖｃを得るための補間位置を示している。「○」は画像信号Ｖａの画素であり、「●」は画像信号Ｖｃの画素である。
この場合、奇数フィールドで、水平方向に関しては、画像信号Ｖａの水平方向の画素間隔を１として、画像信号Ｖａの画素位置に対して、−１／４（左方向）および１／４（右方向）だけ離れた位置に、画像信号Ｖｃの画素が存在し、垂直方向に関しては、画像信号Ｖａの垂直方向の画素間隔を２として、画像信号Ｖａの画素位置に対して、−１／４（上方向）および３／４（下方向）だけ離れた位置に、画像信号Ｖｃの画素が存在する。
また、偶数フィールドで、水平方向に関しては、画像信号Ｖａの水平方向の画素間隔を１として、画像信号Ｖａの画素位置に対して、−１／４（左方向）および１／４（右方向）だけ離れた位置に、画像信号Ｖｃの画素が存在し、垂直方向に関しては、画像信号Ｖａの垂直方向の画素間隔を２として、画像信号Ｖａの画素位置に対して、−３／４（上方向）および１／４（下方向）だけ離れた位置に、画像信号Ｖｃの画素が存在する。
ここで、補間処理としては、従来周知の、サイン関数による補間処理、三角波フィルタによる補間処理（線形補間処理）等を用いることができる。本実施の形態においては、それぞれサイン関数による補間処理により、水平補間処理と、垂直補間処理とが、カスケードで行われる。
このサイン関数による水平、垂直の補間処理では、それぞれ以下のように、画像信号Ｖｃの画素データが求められる。すなわち、画像信号Ｖａの画素間隔をΔｔ、画像信号ＶａのｎΔｔの画素位置の画素データをｘ(nΔt)、画像信号Ｖｃの画素位置をｔとするとき、この画素位置ｔの画素データｘ(t)は、以下の（１）式により、画素位置ｔの前後に位置する画像信号ＶａのＮ個（適当な有限の数）の画素の画素データを用いて求められる。
また、画像信号処理装置１００は、予測タップ選択回路１０３と、クラスタップ選択回路１０４とを有している。これら予測タップ選択回路１０３、クラスタップ選択回路１０４は、それぞれ、補間回路１０２で生成された画像信号Ｖｃに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。
図４Ａは、予測タップのデータとしての複数の画素データの一例を示している。図４Ｂは、クラスタップのデータとしての複数の画素データ（実線部分）の一例を示している。なお、この図４Ａ，Ｂでは、注目画素位置が存在する現フィールドから予測タップ、クラスタップのデータとしての複数の画素データを抽出するようになっているが、さらに時間方向の前後の所定数のフィールドからも抽出することも考えられる。
また、画像信号処理装置１００は、クラス検出回路１０５を有している。このクラス検出回路１０５は、クラスタップ選択回路１０４で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
すなわち、クラス検出回路１０５は、まず、複数の画素データにＡＤＲＣ(Adaptive Dynamic Range Coding)等のデータ圧縮処理を施し、例えば各画素データを８ビットデータから２ビットデータあるいは１ビットデータに圧縮する。この場合、複数の画素データの最大値をＭＡＸ、その最小値をＭＩＮ、複数の画素データのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、各画素データｋｉに対して、（２）式の演算により、圧縮データとしての再量子化コードｑｉが得られる。ただし、（２）式において、[ ]は切り捨て処理を意味している。クラスタップのデータとして、Ｎａ個の画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）＊２P／ＤＲ］ ・・・（２）
クラス検出回路１０５は、次に、クラスタップのデータとしての複数の画素データのそれぞれに対して得られた上述の再量子化コードｑｉを用い、（３）式の演算により、クラスコードＣＬを生成する。
クラス検出回路１０５は、次に、クラスタップのデータとしての複数の画素データのそれぞれに対して得られた上述の再量子化コードｑｉを用い、（３）式の演算により、クラスコードＣＬを生成する。
また、画像信号処理装置１００は、係数メモリ１０６を有している。この係数メモリ１０６は、後述する推定予測演算回路１０７で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ）を、クラス毎に、格納している。この係数データＷｉは、画像信号Ｖｃを（１０５０ｉ信号）を、画像信号Ｖｂ（１０５０ｉ信号）に変換するための情報である。この係数データＷｉの生成方法については後述する。
この係数メモリ１０６には、上述したクラス検出回路１０５で生成されたクラスコードＣＬが、読み出しアドレス情報として供給される。この係数メモリ１０６からはクラスコードＣＬで示されるクラスに対応した係数データＷｉが読み出され、その係数データＷｉが推定予測演算回路１０７に供給される。
また、画像信号処理装置１００は、推定予測演算回路１０７と、出力端子１０８とを有している。推定予測演算回路１０７は、予測タップ選択回路１０３で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ１０６から読み出された係数データＷｉとを用い、（４）式の推定式に基づいて、画像信号Ｖｂにおける注目画素位置の画素データｙを求める。出力端子１０８は、推定予測演算回路１０７で生成された各画素データからなる画像信号Ｖｂを出力するための端子である。
次に、画像信号処理装置１００の動作を説明する。
ＳＤ信号である画像信号Ｖａが入力端子１０１に入力される。そして、この画像信号Ｖａは補間回路１０２に供給される。補間回路１０２では、画像信号Ｖａを構成する画素データを用いて、例えばサイン関数による補間処理が行われ、画像信号Ｖｂを構成する各画素データにそれぞれ対応した複数の画素データからなる画像信号Ｖｃが生成される。この画像信号Ｖｃは、画像信号Ｖｂの各画素と同じ画素位置の画素データを持っている。つまり、この補間回路１０２では、位相シフトと波形生成とが同時に行われる。
ＳＤ信号である画像信号Ｖａが入力端子１０１に入力される。そして、この画像信号Ｖａは補間回路１０２に供給される。補間回路１０２では、画像信号Ｖａを構成する画素データを用いて、例えばサイン関数による補間処理が行われ、画像信号Ｖｂを構成する各画素データにそれぞれ対応した複数の画素データからなる画像信号Ｖｃが生成される。この画像信号Ｖｃは、画像信号Ｖｂの各画素と同じ画素位置の画素データを持っている。つまり、この補間回路１０２では、位相シフトと波形生成とが同時に行われる。
そして、この補間回路１０２で生成された画像信号Ｖｃに基づいて、クラス分類適応処理により、画像信号Ｖｂを構成する各画素データが生成される。
すなわち、クラスタップ選択回路１０４では、補間回路１０２で生成された画像信号Ｖｃに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データは、クラス検出回路１０５に供給される。クラス検出回路１０５では、クラスタップのデータとしての複数の画素データｋｉのそれぞれに対してＡＤＲＣ処理が施されて再量子化コードｑｉが得られ、さらにこの再量子化コードｑｉを用いてクラスコードＣＬが生成される（（２）式、（３）式参照）。
このクラスコードＣＬは、係数メモリ１０６に読み出しアドレス情報として供給される。この係数メモリ１０６からは、クラスコードＣＬで示されるクラスに対応した係数データＷｉが読み出される。この係数データＷｉは、推定予測演算回路１０７に供給される。予測タップ選択回路１０３では、補間回路１０２で生成された画像信号Ｖｃに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データｘｉが、予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、推定予測演算回路１０７に供給される。
推定予測演算回路１０７では、予測タップのデータとしての複数の画素データｘｉおよび係数データＷｉが用いられ、画像信号Ｖｂにおける注目画素位置の画素データｙが、（４）式の推定式に基づいて求められる。この推定予測演算回路１０７では、画像信号Ｖｂにおける注目画素位置が順次変化していくことで、画像信号Ｖｂの全画素位置の画素データｙが得られる。そして、この推定予測演算回路１０７から出力される画像信号Ｖｂは、出力端子１０８に出力される。この画像信号Ｖｂは、低域成分の他に、画像信号Ｖｃにはない高域成分を持つものとなる。
上述したように、画像信号Ｖｃは、画像信号Ｖｂの各画素と同じ画素位置の画素データを持っている。そのため、画像信号Ｖｃから画像信号Ｖｂを生成する上述したクラス分類適応処理では、位相シフトは行われず、波形生成のみが行われる。
このように、図１に示す画像信号処理装置１００においては、ＳＤ信号である画像信号Ｖａを画素データの個数が異なるＨＤ信号である画像信号Ｖｂに変換する際に、画像信号Ｖａから補間処理により画像信号Ｖｂを構成する各画素データに対応した複数の画素データからなる画像信号Ｖｃが生成され、この画像信号Ｖｃに基づいてクラス分類適応処理により画像信号Ｖｂを構成する各画素データが生成される。
これにより、図１に示す画像信号処理装置１００によれば、補間回路１０２における補間処理に位相シフトを担当させ、予測タップ選択回路１０３、クラスタップ選択回路１０４、クラス検出回路１０５、係数メモリ１０６および推定予測演算回路１０７におけるクラス分類適応処理に波形生成のみ担当させるものであり、当該クラス分類適応処理における波形生成能力を高めることができ、画像信号Ｖａから画像信号Ｖｂへの変換能力を高めることができる。
なお、図１に示す画像信号処理装置１００は、画像信号Ｖａを当該画像信号Ｖａより画素データの個数が多い画像信号Ｖｂに変換するものであるが、画像信号Ｖａを当該画像信号Ｖａより画素データの個数が少ない画像信号Ｖｂに変換する画像信号処理装置も同様に構成できる。
ここで、上述した画像信号処理装置１００の係数メモリ１０６（図１参照）に格納される、係数データＷｉ（ｉ＝１〜ｎ）の生成方法について説明する。この係数データＷｉは、学習によって生成される。
まず、学習方法について説明する。上述の（４）式において、学習前は係数データＷ1，Ｗ2，‥‥，Ｗnは未定係数である。学習は、クラス毎に、複数の学習データを用いることで行われる。学習データ数がｍの場合、（４）式に従って、以下に示す（５）式が設定される。ｎは予測タップの数を示している。
ｙk＝Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn ・・・（５）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、係数データＷ1，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の（６）式で定義し、（７）式のｅ2を最小にする係数データを求める。いわゆる最小二乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝ ・・・（６）
（ｋ＝１，２，‥‥ｍ）
ｙk＝Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn ・・・（５）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、係数データＷ1，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の（６）式で定義し、（７）式のｅ2を最小にする係数データを求める。いわゆる最小二乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝ ・・・（６）
（ｋ＝１，２，‥‥ｍ）
（７）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（８）式に示すように、ｅ2を係数データＷｉ(ｉ＝１〜ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
（９）式、（１０）式のようにＸji，Ｙiを定義すると、（８）式は、（１１）式の行列式の形に書くことができる。この（１１）式が、係数データを算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１〜ｎ）を求めることができる。
次に、図５を参照して、係数データＷｉを生成する係数データ生成装置１５０を説明する。
この係数データ生成装置１５０は、入力端子１５１と、垂直フィルタ１５２と、水平フィルタ１５３とを有している。入力端子１５１は、上述した画像信号Ｖｂに対応した、教師信号としての画像信号Ｖｂ′を入力するための端子である。垂直フィルタ１５２は入力端子１５１に入力された画像信号Ｖｂ′の垂直方向の帯域を制限する。水平フィルタ１５３は、垂直フィルタから出力された画像信号の水平方向の帯域を制限し、上述した画像信号Ｖｃに対応した垂直、水平の帯域および画素数を持つ、生徒信号としての画像信号Ｖｃ′を得る。
この係数データ生成装置１５０は、入力端子１５１と、垂直フィルタ１５２と、水平フィルタ１５３とを有している。入力端子１５１は、上述した画像信号Ｖｂに対応した、教師信号としての画像信号Ｖｂ′を入力するための端子である。垂直フィルタ１５２は入力端子１５１に入力された画像信号Ｖｂ′の垂直方向の帯域を制限する。水平フィルタ１５３は、垂直フィルタから出力された画像信号の水平方向の帯域を制限し、上述した画像信号Ｖｃに対応した垂直、水平の帯域および画素数を持つ、生徒信号としての画像信号Ｖｃ′を得る。
また、係数データ生成装置１５０は、予測タップ選択回路１５４と、クラスタップ選択回路１５５とを有している。これら予測タップ選択回路１５４、クラスタップ選択回路１５５は、それぞれ、水平フィルタ１５３で得られた画像信号Ｖｃ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。これら予測タップ選択回路１５４、クラスタップ選択回路１５５は、それぞれ、上述した画像信号処理装置１００の予測タップ選択回路１０３、クラスタップ選択回路１０４に対応するものである。
また、係数データ生成装置１５０は、クラス検出回路１５６を有している。このクラス検出回路１５６は、クラスタップ選択回路１５５で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出回路１５６は、上述した画像信号処理装置１００のクラス検出回路１０５に対応するものである。
また、係数データ生成装置１５０は、教師タップ選択回路１５７を有している。この教師タップ選択回路１５７は、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データを選択的に抽出する。
また、係数データ生成装置１５０は、正規方程式生成回路１５８を有している。この正規方程式生成回路１５８は、教師タップ選択回路１５７で選択的に抽出された、画像信号Ｖｂ′における各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択回路１５４で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出回路１５６で生成されたクラスコードＣＬとから、クラス毎に、係数データＷｉを得るための正規方程式（（１１）式参照）を生成する。
この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成される。教師信号としての画像信号Ｖｂ′と、それに対応した生徒信号としての画像信号Ｖｃ′との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成回路１５８では、クラス毎に、係数データＷｉを得るための正規方程式が生成される。
また、係数データ生成装置１５０は、係数データ決定回路１５９と、係数メモリ１６０とを有している。係数データ決定回路１５９は、正規方程式生成回路１５８から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、各クラスの係数データＷｉを求める。係数メモリ１６０は、この各クラスの係数データＷｉを格納する。
図５に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には、教師信号としての画像信号Ｖｂ′が入力される。この画像信号Ｖｂ′に対して、垂直フィルタ１５２で垂直方向の帯域が制限され、水平フィルタ１５３で水平方向の帯域が制限され、生徒信号としての画像信号Ｖｃ′が得られる。
入力端子１５１には、教師信号としての画像信号Ｖｂ′が入力される。この画像信号Ｖｂ′に対して、垂直フィルタ１５２で垂直方向の帯域が制限され、水平フィルタ１５３で水平方向の帯域が制限され、生徒信号としての画像信号Ｖｃ′が得られる。
クラスタップ選択回路１５５では、画像信号Ｖｃ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出回路１５６に供給される。そして、クラス検出回路１５６では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスを示すクラスコードＣＬが生成される（（３）式参照）。このクラスコードＣＬは、正規方程式生成回路１５８に供給される。
予測タップ選択回路１５４では、画像信号Ｖｃ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、正規方程式生成回路１５８に供給される。また、教師タップ選択回路１５７では、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成回路１５８に供給される。
そして、正規方程式生成回路１５８では、画像信号Ｖｂ′における各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応した、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙが属するクラスを示すクラスコードＣＬとから、クラス毎に、係数データＷｉを得るための正規方程式（（１１）式参照）が生成される。
このように生成された正規方程式のデータは、係数データ決定回路１５９に供給される。この係数データ決定回路１５９では、それぞれの正規方程式が解かれ、各クラスの係数データＷｉが求められる。そして、この各クラスの係数データＷｉは、係数メモリ１６０に格納される。
このように、図５の係数データ生成装置１５０においては、上述した画像信号処理装置１００の係数メモリ１０６に格納すべき、クラスコードＣＬで示される各クラスの係数データＷｉを生成できる。
なお、図１の画像信号処理装置１００における処理を、例えば図６に示すような画像信号処理装置５００により、ソフトウェアで実現することも可能である。
まず、図６に示す画像信号処理装置５００について説明する。この画像信号処理装置５００は、装置全体の動作を制御するＣＰＵ５０１と、このＣＰＵ５０１の制御プログラムや係数データ等が格納されたＲＯＭ（Read Only Memory）５０２と、ＣＰＵ５０１の作業領域を構成するＲＡＭ（Random Access Memory）５０３とを有している。これらＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、それぞれバス５０４に接続されている。
また、画像信号処理装置５００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）５０５と、光ディスク、磁気ディスク、メモリカード等のリムーバブルな記憶媒体を取り扱うドライブ５０６とを有している。これらドライブ５０５，５０６は、それぞれバス５０４に接続されている。
また、画像信号処理装置５００は、インターネット等の通信網５０７に有線または無線で接続する通信部５０８を有している。この通信部５０８は、インタフェース５０９を介してバス５０４に接続されている。
また、画像信号処理装置５００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機５１０からのリモコン信号ＲＭを受信するリモコン信号受信回路５１１と、ＬＣＤ（liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)等からなるディスプレイ５１３とを有している。受信回路５１１はインタフェース５１２を介してバス５０４に接続され、同様にディスプレイ５１３はインタフェース５１４を介してバス５０４に接続されている。
また、画像信号処理装置５００は、ＳＤ信号である画像信号Ｖａを入力するための入力端子５１５と、ＨＤ信号である画像信号Ｖｂを出力するための出力端子５１７とを有している。入力端子５１５はインタフェース５１６を介してバス５０４に接続され、同様に出力端子５１７はインタフェース５１８を介してバス５０４に接続される。
ここで、上述したようにＲＯＭ５０２に制御プログラムや係数データ等を予め格納しておく代わりに、これら制御プログラムや係数データを例えばインターネットなどの通信網５０７より通信部５０８を介してダウンロードし、ハードディスクドライブ５０５やＲＡＭ５０３に格納して使用することもできる。また、これら制御プログラムや係数データ等をリムーバブルな記憶媒体で提供するようにしてもよい。
また、処理すべき画像信号Ｖａを入力端子５１５より入力する代わりに、予めハードディスクドライブ５０５に記録しておき、あるいはインターネットなどの通信網５０７より通信部５０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子５１７に出力する代わり、あるいはそれと並行してディスプレイ５１３に供給して画像表示をしたり、さらにはハードディスクドライブ５０５に格納したり、通信部５０８を介してインターネットなどの通信網５０７に送出するようにしてもよい。
図７のフローチャートを参照して、図６に示す画像信号処理装置５００における、画像信号Ｖａから画像信号Ｖｂを得るための処理手順を説明する。
まず、ステップＳＴ１０で、処理を開始し、ステップＳＴ１１で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。このように入力される画像信号ＶａはＲＡＭ５０３に一時的に記憶される。なお、この画像信号Ｖａが装置内のハードディスクドライブ５０５に予め記録されている場合には、このドライブ５０５から画像信号Ｖａを読み出し、読み出された画像信号ＶａをＲＡＭ５０３に一時的に記憶する。
そして、ステップＳＴ１２で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ１３で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ１４に進む。
このステップＳＴ１４では、例えばサイン関数による補間処理により、画像信号Ｖａを構成する画素データを用い、画像信号Ｖｂを構成する各画素データにそれぞれ対応した複数の画素データからなる画像信号Ｖｃを生成する。
次に、ステップＳＴ１５で、画像信号Ｖｃに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ１６で、このクラスタップのデータに基づいて、画像信号Ｖｂにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳＴ１７で、画像信号Ｖｃに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。そして、ステップＳＴ１８で、ステップＳＴ１６で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ１７で取得された複数の画素データｘｉを使用して、（４）式の推定式に基づいて、画像信号Ｖｂにおける注目画素位置の画素データｙを生成する。
次に、ステップＳＴ１９で、ステップＳＴ１４で生成された１フレーム分または１フィールド分の画像信号Ｖｃの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ１１に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ１５に戻って、次の注目画素位置についての処理に移る。
このように、図７に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。このように処理して得られた画像信号Ｖｂは出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
また、処理装置の図示は省略するが、図５の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
図８のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ２０で、処理を開始し、ステップＳＴ２１で、教師信号としての画像信号Ｖｂ′を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ２２で、画像信号Ｖｂ′の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ２３で、ステップＳＴ２１で入力された画像信号Ｖｂ′の垂直、水平の各方向の帯域を制限して、生徒信号としての画像信号Ｖｃ′を生成する。
まず、ステップＳＴ２０で、処理を開始し、ステップＳＴ２１で、教師信号としての画像信号Ｖｂ′を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ２２で、画像信号Ｖｂ′の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ２３で、ステップＳＴ２１で入力された画像信号Ｖｂ′の垂直、水平の各方向の帯域を制限して、生徒信号としての画像信号Ｖｃ′を生成する。
次に、ステップＳＴ２４で、画像信号Ｖｃ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ２５で、このクラスタップのデータに基づいて、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳＴ２６で、画像信号Ｖｃ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。そして、ステップＳＴ２７で、ステップＳＴ２５で生成されたクラスコードＣＬ、ステップＳＴ２６で取得された複数の画素データｘｉ、および画像信号Ｖｂ′における注目画素位置の画素データｙを用いて、クラス毎に、（１１）式に示す正規方程式を得るための加算をする（（９）式、（１０）式参照）。
次に、ステップＳＴ２８で、ステップＳＴ２１で入力された１フレーム分または１フィールド分の画像信号Ｖｂ′の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ２１に戻って、次の１フレーム分または１フィールド分の画像信号Ｖｂ′の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ２４に戻って、次の注目画素位置についての処理に移る。
上述したステップＳＴ２２で、処理が終了したときは、ステップＳＴ２９で、上述のステップＳＴ２７の加算処理によって生成された、各クラスの正規方程式を解いて、各クラスの係数データＷｉを求める。そして、ステップＳＴ３０で、その各クラスの係数データＷｉを係数メモリにストアし、ステップＳＴ３１で処理を終了する。
このように、図８に示すフローチャートに沿って処理をすることで、図５に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを生成できる。
次に、この発明の第２の実施の形態について説明する。図９は、第２の実施の形態としての画像信号処理装置１００Ａの構成を示している。この画像信号処理装置１００Ａも、５２５ｉ信号というＳＤ信号である画像信号Ｖａを、１０５０ｉ信号というＨＤ信号である画像信号Ｖｂに変換する。ここで、画像信号Ｖａは第１の情報信号を構成し、画像信号Ｖｂは第２の情報信号を構成している。この図９において、図１と対応する部分には同一符号を付して示し、適宜説明を省略する。
画像信号処理装置１００Ａは、入力端子１０１と、補間回路１０２とを有している。入力端子１０１は、ＳＤ信号である画像信号Ｖａを入力するための端子である。補間回路１０２は、画像信号Ｖａを構成する画素データを用い、補間処理により、画像信号Ｖｂを構成する各画素データにそれぞれ対応した複数の画素データからなる画像信号Ｖｃを生成する。この画像信号Ｖｃは第３の情報信号を構成している。この画像信号Ｖｃは、画像信号Ｖｂの各画素と同じ画素位置の画素データを持つものとなる。
また、画像信号処理装置１００Ａは、処理回路１０９を有している。この処理回路１０９は、クラス分類適応処理により、補間回路１０２で生成された画像信号Ｖｃに基づいて、画像信号Ｖｂを構成する各画素データにそれぞれ対応した複数の画素データからなる画像信号Ｖｄを生成する。この画像信号Ｖｄは第４の情報信号を構成している。この画像信号Ｖｄは、画像信号Ｖｂの各画素と同じ画素位置の画素データを持つものとなる。
ここで、処理回路１０９は、予測タップ選択回路１０３、クラスタップ選択回路１０４、クラス検出回路１０５、係数メモリ１０６および推定予測演算回路１０７で構成される。これら予測タップ選択回路１０３、クラスタップ選択回路１０４、クラス検出回路１０５、係数メモリ１０６および推定予測演算回路１０７は、図１に示す画像信号処理装置１００におけるものと同様のものである。したがって、処理回路１０９で生成される画像信号Ｖｄは、図１に示す画像信号処理装置１００における画像信号Ｖｂと同じものとなる。
また、画像信号処理装置１００Ａは、抽出手段としての低域遮断フィルタ１１０を有している。この低域遮断回フィルタ１１０は、処理回路１０９で生成された画像信号Ｖｄの低域を遮断して、この画像信号Ｖｄが持つ高域成分ＨＥを抽出する。
また、画像信号処理装置１００Ａは、加算回路１１１および出力端子１０８を有している。加算回路１１１は、補間回路１０２で生成された画像信号Ｖｃに、低域遮断フィルタ１１０で抽出された高域成分ＨＥを加算し、画像信号Ｖｂを取得する。出力端子１０８は、加算回路１１１で得られた画像信号Ｖｂを出力するための端子である。
次に、画像信号処理装置１００Ａの動作を説明する。
ＳＤ信号である画像信号Ｖａが入力端子１０１に入力される。そして、この画像信号Ｖａは補間回路１０２に供給される。補間回路１０２では、画像信号Ｖａを構成する画素データを用いて、例えばサイン関数による補間処理が行われ、画像信号Ｖｂを構成する各画素データにそれぞれ対応した複数の画素データからなる画像信号Ｖｃが生成される。この画像信号Ｖｃは、画像信号Ｖｂの各画素と同じ画素位置の画素データを持っている。つまり、この補間回路１０２では、位相シフトと波形生成とが同時に行われる。
ＳＤ信号である画像信号Ｖａが入力端子１０１に入力される。そして、この画像信号Ｖａは補間回路１０２に供給される。補間回路１０２では、画像信号Ｖａを構成する画素データを用いて、例えばサイン関数による補間処理が行われ、画像信号Ｖｂを構成する各画素データにそれぞれ対応した複数の画素データからなる画像信号Ｖｃが生成される。この画像信号Ｖｃは、画像信号Ｖｂの各画素と同じ画素位置の画素データを持っている。つまり、この補間回路１０２では、位相シフトと波形生成とが同時に行われる。
この補間回路１０２で生成された画像信号Ｖｃは処理回路１０９に供給される。この処理回路１０９では、この画像信号Ｖｃに基づいて、クラス分類適応処理により、画像信号Ｖｂを構成する各画素データにそれぞれ対応した複数の画素データからなる画像信号Ｖｄが生成される。この画像信号Ｖｄは、画像信号Ｖｂの各画素と同じ画素位置の画素データを持っている。また、この画像信号Ｖｄは、低域成分の他に、画像信号Ｖｃにはない高域成分を持つものとなる。ただし、低域成分に関しては、画像信号Ｖｃの方が画像信号Ｖｄより正しい低域成分を持つ傾向がある。
この処理回路１０９で生成された画像信号Ｖｄは低域遮断フィルタ１１０に供給される。この低域遮断フィルタ１１０では、画像信号Ｖｄの低域が遮断されて、この画像信号Ｖｄが持つ高域成分ＨＥが抽出される。この高域成分ＨＥは加算回路１１１に供給される。そして、加算回路１１１では、補間回路１０２で生成された画像信号Ｖｃに、画像信号Ｖｄから抽出された高域成分ＨＥが加算され、画像信号Ｖｂが得られる。この画像信号Ｖｂは出力端子１０８に出力される。
上述したように、画像信号Ｖｃは、画像信号Ｖｂの各画素と同じ画素位置の画素データを持っている。そのため、画像信号Ｖｃから画像信号Ｖｄを生成する上述した処理回路１０９におけるクラス分類適応処理では、位相シフトは行われず、波形生成のみが行われる。
このように、図９に示す画像信号処理装置１００Ａにおいては、ＳＤ信号である画像信号ＶａをＨＤ信号である画像信号Ｖｂに変換する際に、画像信号Ｖａから補間処理により画像信号Ｖｂを構成する各画素データに対応した複数の画素データからなる画像信号Ｖｃが生成され、この画像信号Ｖｃに基づいてクラス分類適応処理により、画像信号Ｖｃと同じ個数の画素データを持つ画像信号Ｖｄが生成され、この画像信号Ｖｄから抽出された高域成分ＨＥが画像信号Ｖｃに加算されて画像信号Ｖｂが得られる。
これにより、この画像信号処理装置１００Ａによれば、補間回路１０２における補間処理に位相シフトを担当させ、処理回路１０９におけるクラス分類適応処理に波形生成のみ担当させるものであり、当該クラス分類適応処理における波形生成能力を高めることができ、しかもこの処理回路１０９で生成される画像信号Ｖｄをそのまま画像信号Ｖｂとするものではなく、高域成分に関しては当該画像信号Ｖｄから抽出された高域成分ＨＥを用いるが、低域成分に関しては当該画像信号Ｖｄが持つ低域成分より正しい傾向にある画像信号Ｖｃを用いて画像信号Ｖｂを得るものであり、画像信号Ｖａから画像信号Ｖｂへの変換能力を、図１に示す画像信号処理装置１００よりもさらに高めることができる。
なお、図９の画像信号処理装置１００Ａにおける処理も、例えば図６に示すような画像信号処理装置５００により、ソフトウェアで実現可能である。図１０のフローチャートを参照して、その処理手順を説明する。
まず、ステップＳＴ４０で、処理を開始し、ステップＳＴ４１で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。このように入力される画像信号ＶａはＲＡＭ５０３に一時的に記憶される。なお、この画像信号Ｖａが装置内のハードディスクドライブ５０５に予め記録されている場合には、このドライブ５０５から画像信号Ｖａを読み出し、読み出された画像信号ＶａをＲＡＭ５０３に一時的に記憶する。
そして、ステップＳＴ４２で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４３で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ４４に進む。
このステップＳＴ４４では、例えばサイン関数による補間処理により、画像信号Ｖａを構成する画素データを用い、画像信号Ｖｂを構成する各画素データにそれぞれ対応した複数の画素データからなる画像信号Ｖｃを生成する。
次に、ステップＳＴ４４で生成された画像信号Ｖｃに基づいて、以下のクラス分類適応処理により、画像信号Ｖｂを構成する各画素データにそれぞれ対応した複数の画素データからなる画像信号Ｖｄを生成する。
すなわち、ステップＳＴ４５で、画像信号Ｖｃに基づいて、画像信号Ｖｄにおける注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ４６で、このクラスタップのデータに基づいて、画像信号Ｖｄにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
そして、ステップＳＴ４７で、画像信号Ｖｃに基づいて、画像信号Ｖｄにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。そして、ステップＳＴ４８で、ステップＳＴ４６で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ４７で取得された複数の画素データｘｉを使用して、（４）式の推定式に基づいて、画像信号Ｖｄにおける注目画素位置の画素データｙを生成する。
そして、ステップＳＴ４９で、ステップＳＴ４４で生成された１フレーム分または１フィールド分の画像信号Ｖｃの全領域において画像信号Ｖｄの画素データを得る処理が終了したか否かを判定する。処理が終了していないときは、ステップＳＴ４５に戻って、次の注目画素位置についての処理に移る。
処理が終了しているときは、ステップＳＴ５０に進む。このステップＳＴ５０では、ステップＳＴ４５〜ステップＳＴ４９のクラス分類適応処理で生成された画像信号Ｖｄから、高域成分ＨＥを抽出する。そして、ステップＳＴ５１で、ステップＳＴ４４で生成された画像信号Ｖｃに、ステップＳＴ５０で抽出された画像信号Ｖｄの高域成分ＨＥを加算して、画像信号Ｖｂを生成する。その後、ステップＳＴ４１に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。
このように、図１０に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。このように処理して得られた画像信号Ｖｂは出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
なお、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
この発明は、第１の情報信号をこの第１の情報信号とは情報データの個数が異なる第２の情報データに変換する際に、その変換能力を高めることができるものであり、例えばＳＤ信号をＨＤ信号に変換する用途に適用できる。
１００，１００Ａ・・・画像信号処理装置、１０１・・・入力端子、１０２・・・補間回路、１０３・・・予測タップ選択回路、１０４・・・クラスタップ選択回路、１０５・・・クラス検出回路、１０６・・・係数メモリ、１０７・・・推定予測演算回路、１０８・・・出力端子、１０９・・・処理回路、１１０・・・低域遮断フィルタ、１１１・・・加算回路、１５０・・・係数データ生成装置、５００・・・画像信号処理装置
Claims (10)
- 複数の情報データからなる第１の情報信号を、複数の情報データからなり、上記第１の情報信号とは上記情報データの個数が異なる第２の情報信号に変換する情報信号処理装置であって、
上記第１の情報信号を構成する情報データを用い、補間処理により、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間手段と、
上記補間手段で生成された第３の情報信号に基づいて、上記第２の情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、
上記補間手段で生成された第３の情報信号に基づいて、上記クラス検出手段で検出されたクラスに対応して、上記第２の情報信号における注目位置の情報データを生成する情報データ生成手段と
を備えることを特徴とする情報信号処理装置。 - 上記情報データ生成手段は、
上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
上記第３の情報信号に基づいて、上記第２の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
上記係数データ発生手段で発生された係数データおよび上記データ選択手段で選択された複数の情報データを用い、上記推定式に基づいて上記第２の情報信号における注目位置の情報データを算出して得る演算手段とを有する
ことを特徴とする請求項１に記載の情報信号処理装置。 - 複数の情報データからなる第１の情報信号を、複数の情報データからなり、上記第１の情報信号とは上記情報データの個数が異なる第２の情報信号に変換する情報信号処理方法であって、
上記第１の情報信号を構成する情報データを用い、補間処理により、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記第２の情報信号における注目位置の情報データが属するクラスを検出するクラス検出ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記クラス検出ステップで検出されたクラスに対応して、上記第２の情報信号における注目位置の情報データを生成する情報データ生成ステップと
を備えることを特徴とする情報信号処理方法。 - 複数の情報データからなる第１の情報信号を、複数の情報データからなり、上記第１の情報信号とは上記情報データの個数が異なる第２の情報信号に変換するために、
上記第１の情報信号を構成する情報データを用い、補間処理により、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記第２の情報信号における注目位置の情報データが属するクラスを検出するクラス検出ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記クラス検出ステップで検出されたクラスに対応して、上記第２の情報信号における注目位置の情報データを生成する情報データ生成ステップと
を備える情報信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。 - 複数の情報データからなる第１の情報信号を、複数の情報データからなり、上記第１の情報信号とは上記情報データの個数が異なる第２の情報信号に変換するために、
上記第１の情報信号を構成する情報データを用い、補間処理により、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記第２の情報信号における注目位置の情報データが属するクラスを検出するクラス検出ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記クラス検出ステップで検出されたクラスに対応して、上記第２の情報信号における注目位置の情報データを生成する情報データ生成ステップと
を備える情報信号処理方法をコンピュータに実行させるためのプログラム。 - 複数の情報データからなる第１の情報信号を、複数の情報データからなり、上記第１の情報信号より情報データの個数が多い第２の情報信号に変換する情報信号処理装置であって、
上記第１の情報信号を構成する情報データを用い、補間処理により、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間手段と、
上記補間手段で生成された第３の情報信号に基づいて、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第４の情報信号を得る処理手段と、
上記処理手段で得られた第４の情報信号から高域成分を抽出する抽出手段と、
上記補間手段で生成された第３の情報信号に、上記抽出手段で抽出された高域成分を加算して、上記第２の情報信号を得る加算手段とを備え、
上記処理手段は、
上記補間手段で生成された第３の情報信号に基づいて、上記第４の情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、
上記補間手段で生成された第３の情報信号に基づいて、上記クラス検出手段で検出されたクラスに対応して、上記第４の情報信号における注目位置の情報データを生成する情報データ生成手段とを有する
ことを特徴とする情報信号処理装置。 - 上記情報データ生成手段は、
上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
上記第３の情報信号に基づいて、上記第４の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
上記係数データ発生手段で発生された係数データおよび上記データ選択手段で選択された複数の情報データを用い、上記推定式に基づいて上記第４の情報信号における注目位置の情報データを算出して得る演算手段とを有する
ことを特徴とする請求項６に記載の情報信号処理装置。 - 複数の情報データからなる第１の情報信号を、複数の情報データからなり、上記第１の情報信号より情報データの個数が多い第２の情報信号に変換する情報信号処理方法であって、
上記第１の情報信号を構成する情報データを用い、補間処理により、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第４の情報信号を得る処理ステップと、
上記処理ステップで得られた第４の情報信号から高域成分を抽出する抽出ステップと、
上記補間ステップで生成された第３の情報信号に、上記抽出ステップで抽出された高域成分を加算して、上記第２の情報信号を得る加算ステップとを備え、
上記処理ステップは、
上記補間ステップで生成された第３の情報信号に基づいて、上記第４の情報信号における注目位置の情報データが属するクラスを検出するクラス検出ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記クラス検出ステップで検出されたクラスに対応して、上記第４の情報信号における注目位置の情報データを生成する情報データ生成ステップとを有する
ことを特徴とする情報信号処理方法。 - 複数の情報データからなる第１の情報信号を、複数の情報データからなり、上記第１の情報信号より情報データの個数が多い第２の情報信号に変換するために、
上記第１の情報信号を構成する情報データを用い、補間処理により、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第４の情報信号を得る処理ステップと、
上記処理ステップで得られた第４の情報信号から高域成分を抽出する抽出ステップと、
上記補間ステップで生成された第３の情報信号に、上記抽出ステップで抽出された高域成分を加算して、上記第２の情報信号を得る加算ステップとを備え、
上記処理ステップは、
上記補間ステップで生成された第３の情報信号に基づいて、上記第４の情報信号における注目位置の情報データが属するクラスを検出するクラス検出ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記クラス検出ステップで検出されたクラスに対応して、上記第４の情報信号における注目位置の情報データを生成する情報データ生成ステップとを有する
情報信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。 - 複数の情報データからなる第１の情報信号を、複数の情報データからなり、上記第１の情報信号より情報データの個数が多い第２の情報信号に変換するために、
上記第１の情報信号を構成する情報データを用い、補間処理により、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第３の情報信号を生成する補間ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記第２の情報信号を構成する各情報データにそれぞれ対応した複数の情報データからなる第４の情報信号を得る処理ステップと、
上記処理ステップで得られた第４の情報信号から高域成分を抽出する抽出ステップと、
上記補間ステップで生成された第３の情報信号に、上記抽出ステップで抽出された高域成分を加算して、上記第２の情報信号を得る加算ステップとを備え、
上記処理ステップは、
上記補間ステップで生成された第３の情報信号に基づいて、上記第４の情報信号における注目位置の情報データが属するクラスを検出するクラス検出ステップと、
上記補間ステップで生成された第３の情報信号に基づいて、上記クラス検出ステップで検出されたクラスに対応して、上記第４の情報信号における注目位置の情報データを生成する情報データ生成ステップとを有する
情報信号処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004080966A JP4441860B2 (ja) | 2004-03-19 | 2004-03-19 | 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004080966A JP4441860B2 (ja) | 2004-03-19 | 2004-03-19 | 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005269395A JP2005269395A (ja) | 2005-09-29 |
| JP4441860B2 true JP4441860B2 (ja) | 2010-03-31 |
Family
ID=35093435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004080966A Expired - Fee Related JP4441860B2 (ja) | 2004-03-19 | 2004-03-19 | 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4441860B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2525325A2 (en) | 2011-05-20 | 2012-11-21 | Sony Corporation | Image processing apparatus, image processing method, program, storage medium, and learning apparatus |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5131534B2 (ja) * | 2008-03-28 | 2013-01-30 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| CN108282664B (zh) * | 2018-01-30 | 2020-12-29 | 深圳创维－Rgb电子有限公司 | 图像处理方法、装置、系统及计算机可读存储介质 |
-
2004
- 2004-03-19 JP JP2004080966A patent/JP4441860B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2525325A2 (en) | 2011-05-20 | 2012-11-21 | Sony Corporation | Image processing apparatus, image processing method, program, storage medium, and learning apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005269395A (ja) | 2005-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4696388B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 | |
| KR100939736B1 (ko) | 계수 데이터 생성장치 및 생성방법, 그것을 사용한 정보신호 처리장치 및 처리방법, 그것에 사용하는 종계수 데이터 생성장치 및 생성방법, 및 정보제공매체 | |
| JP4277446B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体 | |
| JP4670169B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体 | |
| KR101089853B1 (ko) | 계수 데이터의 생성 장치 및 생성 방법, 계수종 데이터의 생성 장치 및 생성 방법, 정보 신호 처리 장치, 및 프로그램을 기록한 매체 | |
| JP4441860B2 (ja) | 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 | |
| JP4310689B2 (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP4691835B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数データの取得装置および取得方法、並びに情報記録媒体 | |
| JP4311166B2 (ja) | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
| JP2000092455A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP2003271970A (ja) | テロップ領域抽出回路、テロップ領域抽出方法、その方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体、並びに画像信号処理回路 | |
| JP2004364113A (ja) | 情報信号の処理装置および処理方法、係数の生成装置および生成方法、ルックアップテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP4692798B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに記録媒体 | |
| JP4534518B2 (ja) | 画像信号処理装置、画像信号処理方法、並びにプログラムおよびそれを記録した媒体 | |
| JP4099554B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4691849B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する情報の取得装置および取得方法 | |
| JP4692800B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに記録媒体 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP2000092454A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP2006067346A (ja) | 画像信号処理装置および画像信号処理方法並びにプログラムおよびそれを記録した媒体 | |
| JPH0799635A (ja) | 画像情報変換装置 | |
| JP2003023609A (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに情報提供媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060607 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070301 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090918 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091217 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091230 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |