JP3743077B2 - 画像信号変換装置および方法 - Google Patents
画像信号変換装置および方法 Download PDFInfo
- Publication number
- JP3743077B2 JP3743077B2 JP29007396A JP29007396A JP3743077B2 JP 3743077 B2 JP3743077 B2 JP 3743077B2 JP 29007396 A JP29007396 A JP 29007396A JP 29007396 A JP29007396 A JP 29007396A JP 3743077 B2 JP3743077 B2 JP 3743077B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- digital image
- pixel
- predicted
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力された画像信号より高い解像度を有する画像信号を得ることができるクラス分類適応処理を用いた画像信号変換装置および方法に関する。
【０００２】
【従来の技術】
従来、画像信号を異なるフォーマットに変換する装置として、例えば標準ＴＶ信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）フォーマット信号に変換するアップコンバータがある。このアップコンバータに使用されている技術について以下、説明する。まず、標準ＴＶ信号（ＳＤ信号）とＨＤ信号の各画素の空間配置例を図１１に示す。ここでは、説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図中の二重丸のＳＤ画素に注目すると、近傍４種類の位置にＨＤ画素が存在する。この４種類の位置に存在するＨＤ画素を予測するモードをそれぞれmode１、mode２、mode３、mode４と称する。このようなモードを規定するのは、係数の種類の増大を抑え、予測演算部等の回路規模を小さくするためである。
【０００３】
従来のアップコンバータにおいては、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、ＳＤ信号のフィールド内データから、４種類の位置のＨＤ画素を生成することが考えられる。そこで用いられる補間フィルタの構成は、垂直方向の処理と水平方向の処理とを分離しない空間内２次元ノンセパラブルフィルタと、これらの処理を分離して行う垂直／水平セパラブルフィルタに分類される。これらの補間フィルタの構成例を図１２および図１３に示す。
【０００４】
図１２に示すノンセパラブル補間フィルタは、空間内２次元フィルタを使用するものである。入力端子８１からＳＤ信号が供給され、入力ＳＤ信号は、mode１用２次元フィルタ８２、mode２用２次元フィルタ８３、mode３用２次元フィルタ８４およびmode４用２次元フィルタ８５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ８２〜８５の出力は、ＨＤ信号として選択部８６において、直列化がなされ、出力端子８７から出力ＨＤ信号が取り出される。
【０００５】
また、図１３に示す補間フィルタは、垂直／水平セパラブルフィルタを使用するものである。入力端子９１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ９２および９３において、ＨＤ信号の２本の走査線データが生成される。例えば、垂直補間フィルタ９２では、mode１用およびmode２用の処理が行われ、垂直補間フィルタ９３では、mode３用およびmode４用の処理が行われる。
【０００６】
これらの処理が行われると垂直補間フィルタ９２および９３からの出力信号は、水平補間フィルタ９４および９５へ供給される。この水平補間フィルタ９４および９５では、各走査線毎に水平フィルタを用い４種類の位置のＨＤ画素が補間され、選択部９６へ供給される。選択部９６では、供給されたＨＤ信号の直列化がなされ、出力端子９７から出力ＨＤ信号が取り出される。
【０００７】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には、理想フィルタを用いることが出来ないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしかできないという問題がある。
【０００８】
そこで、これらの問題を解決するために、補間のためのクラス分類適応処理を適用することが提案されている。このクラス分類適応処理は、入力ＳＤ信号の例えば輝度レベルの特徴に基づき、クラス分類を行い、分類されたクラスに対応した予測係数が予測タップを構成する入力ＳＤ信号の複数の画素値との線形１次結合によりＨＤ信号を生成する処理である。このとき、用いられている予測係数は、クラス毎に予め学習により獲得されたものである。
【０００９】
【発明が解決しようとする課題】
先に提案されているクラス分類適応予測を使用したアップコンバータは、１画素毎にＨＤ画素を予測する処理である。しかしながら、解像度をより高いものに向上させるには、複数画素を同時にに予測した方が有利な場合が多い。
【００１０】
従って、この発明は、クラス分類適応予測によってより解像度の高い出力画像信号を得るようにした信号変換装置であって、複数画素をクラス分類適応予測により同時に生成することによって、より解像度を高くすることが可能な画像信号変換装置および方法の提供を目的とする。
【００１１】
【課題を解決するための手段】
この発明は、第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換する際に、入力される第１のディジタル画像信号中の注目画素の近傍の互いに近接する第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する画像信号変換装置であって、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、複数の画素の各画素値に対して平均値分離および標準偏差による正規化の処理を施して得られるパターンが予め学習により獲得され、記憶されている記憶手段と、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、平均値分離に使用される平均値を予測するための予測係数が学習により予め獲得され、記憶されており、入力される第１のディジタル画像信号の注目画素の周辺の複数の画素値と記憶されている予測係数とに基づく積和演算によって、予測平均値を生成する予測平均値生成手段と、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、平均値分離に使用される標準偏差を予測するための予測係数が学習により予め獲得され、記憶されており、入力される第１のディジタル画像信号の注目画素の周辺の複数の画素値と記憶されている予測係数とに基づく積和演算によって、予測標準偏差を生成する予測標準偏差生成手段と、
記憶手段に記憶されているパターンと予測平均値および予測標準偏差とを演算して複数の画素の予測画素値を出力する演算手段と
からなることを特徴とする画像信号変換装置である。
また、予測平均値生成手段および予測標準偏差生成手段が予測値を予め学習により獲得し、記憶するようにしても良い。
【００１２】
この発明は、第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換する際に、入力される第１のディジタル画像信号中の注目画素の近傍の互いに近接する第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する画像信号変換装置であって、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、複数の画素の各画素値に対してＡＤＲＣ符号化の処理を施して得られるＡＤＲＣコードが予め学習により獲得され、記憶されている記憶手段と、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、複数の画素値のＡＤＲＣ符号化の際の基準値である、ブロックのダイナミックレンジ、最小値、最大値の内の２個の値を予測するための予測係数が学習により予め獲得され、記憶されており、入力される第１のディジタル画像信号の注目画素の周辺の複数の画素値と記憶されている予測係数とに基づく積和演算によって、２個の値の予測値を生成する予測基準値生成手段と、
記憶手段に記憶されているＡＤＲＣコードと基準値の予測値とを演算して複数の画素の予測画素値を出力するＡＤＲＣ復号手段と
からなることを特徴とする画像信号変換装置である。
また、予測基準値生成手段が予測値を予め学習により獲得し、記憶するようにしても良い。
【００１３】
この発明は、第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換装置において、
入力される第１のディジタル画像信号中の注目画素の近傍の互いに近接する第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する第１のクラス分類適応予測手段と、
第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき分類されるクラス毎に予測係数または予測値が予め学習によって獲得され、入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき分類されるクラスに対応する予測係数または予測値を使用して、第１のディジタル画像信号中の注目画素の近傍の第２のディジタル画像信号の単一の予測画素値を生成する第２のクラス分類適応予測手段と、
第１のクラス分類適応予測手段からの予測画素値と第２のクラス分類適応予測からの予測画素値とを組み合わせて出力する手段とからなり、
第１のクラス分類適応予測手段は、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、複数の画素の各画素値に対して平均値分離および標準偏差による正規化の処理を施して得られるパターンが予め学習により獲得され、記憶されている記憶手段と、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、平均値分離に使用される平均値を予測するための予測係数が学習により予め獲得され、記憶されており、入力される第１のディジタル画像信号の注目画素の周辺の複数の画素値と記憶されている予測係数とに基づく積和演算によって、予測平均値を生成する予測平均値生成手段と、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、平均値分離に使用される標準偏差を予測するための予測係数が学習により予め獲得され、記憶されており、入力される第１のディジタル画像信号の注目画素の周辺の複数の画素値と記憶されている予測係数とに基づく積和演算によって、予測標準偏差を生成する予測標準偏差生成手段と、
記憶手段に記憶されているパターンと予測平均値および予測標準偏差とを演算して複数の画素の予測画素値を出力する演算手段と
からなることを特徴とする画像信号変換装置である。
また、第１のクラス分類適応予測手段としては、学習により獲得された予測値を記憶することもできる。さらに、平均値分離および標準偏差の処理の代えてＡＤＲＣを行うこともできる。
【００１４】
複数のＨＤ画素値を同時に予測するので、単一画素を予測するのに比して、より高性能の信号変換を行うことが可能となる。また、複数画素の同時予測と、単一画素の予測とを組み合わせることによって、複数画素のパターンの歪みが目立つことを防止することができる。
【００１５】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。まず、この発明の理解を容易とするため、先に提案されているクラス分類適応処理を用いた、単一画素予測方式のアップコンバータを説明する。クラス分類適応処理を用いたアップコンバータでは、入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する。
【００１６】
一例として、図１Ａに示すような入力ＳＤ信号（８ビットＰＣＭ（Pulse Code Modulation ）データ）に対してクラス生成タップを設定し、入力ＳＤ信号の波形特性によりクラスを生成する。この図１Ａの例では、注目ＳＤ画素（二重丸で示す）を中心として７タップ（７個のＳＤ画素）でクラスが生成される。例えば、７タップデータに対し１ビットＡＤＲＣ（Adaptive Dynamic Range Coding ）を適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素の最小値を除去した上で、各タップの画素値を適応的に１ビット量子化するので、１２８クラスが生成される。
【００１７】
ＡＤＲＣは、ＶＴＲ用信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。ＡＤＲＣの他にもクラス分類法としては、下記のものを採用することができる。
【００１８】
１）ＰＣＭデータを直接使用する。
【００１９】
２）ＤＰＣＭ（Differential PCM）を適用してクラス数を削減する。
【００２０】
３）ＶＱ（Vector Quantization ）を適用してクラス数を削減する。
【００２１】
４）周波数変換（ＤＣＴ（Discrete Cosine Transform Coding）、アダマール変換、フーリエ変換等）の値に基づいたクラス分類を行う。
【００２２】
こうして分類されたクラス毎に適応処理を実行するが、その適応処理の一例として、予め学習により生成されたクラス毎の予測係数を用いた予測処理が挙げられる。予測処理のときに使用される予測タップの一例を図１Ｂに示す。この一例は、注目ＳＤ画素を中心としたフレーム内１３タップから予測タップが構成される。予測式の一例を式（１）に示す。
【００２３】
【数１】
【００２４】
ｙ´：推定ＨＤ画素値
ｘi ：ＳＤ信号予測タップ画素値
ｗi ：予測係数
このように、クラス毎に生成された予測係数と入力データとの積和演算、例えば線形１次結合によりＨＤ画素値を推定する。単一画素予測方式のクラス分類適応処理の回路構成を図２に示す。１で示す入力端子から入力ＳＤ信号が供給され、供給された入力ＳＤ信号は、クラス分類部２および予測タップ選択部３へ供給される。クラス分類部２では、上述した図１Ａに示すようなクラスタップに基づき、入力ＳＤ信号に対するクラスが生成される。生成されたクラスは、クラス分類部２から予測係数ＲＯＭ４へ供給される。
【００２５】
予測係数ＲＯＭ４では、生成されたクラスをアドレスとして予測係数が出力される。予測係数は、予測係数ＲＯＭ４から予測演算部５へ供給される。予測タップ選択部３は、入力ＳＤ信号から上述した図１Ｂに示すように１３タップからなる予測タップを選択する。選択された１３タップからなる予測タップは、予測タップ選択部３から予測演算部５へ供給される。予測演算部５では、供給された予測係数および予測タップから前述した式（１）に示す予測演算が実行され、その演算結果は、出力端子６から出力される。
【００２６】
上述した予測係数は、予め学習により生成しておくが、その学習方法について述べる。式（１）の線形１次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。最小自乗法は、以下のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の式を考える。
【００２７】
観測方程式：ＸＷ＝Ｙ （２）
【００２８】
【数２】
【００２９】
上述の観測方程式（２）により収集されたデータに最小自乗法を適用する。式（１）の例においては、ｎ＝１３、ｍが学習データ数となる。式（２）の観測方程式をもとに、式（４）の残差方程式を考える。
【００３０】
残差方程式：ＸＷ＝Ｙ＋Ｅ （４）
【００３１】
【数３】
【００３２】
式（４）の残差方程式から、各ｗi の最確値は、次式で表す誤差の自乗和を最小にする条件が成り立つ場合と考えられる。すなわち、式（５）の条件を考慮すれば良いわけである。
【００３３】
【数４】
【００３４】
【数５】
【００３５】
式（５）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（４）から式（６）が得られる。
【００３６】
【数６】
【００３７】
式（５）および式（６）により式（７）が得られる。
【００３８】
【数７】
【００３９】
そして、式（４）および式（７）から、正規方程式（８）が得られる。
【００４０】
【数８】
【００４１】
式（８）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００４２】
この場合の学習においては、対象信号と教師信号との間で上述の線形１次モデルを設定し、最小自乗法により予め予測係数を生成しておく。その学習方法の一例となるフローチャートを図３に示す。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、例えば上述した図１Ｂに示す１３タップから学習データが形成される。ここで、注目ＳＤ画素近傍のブロック内のダイナミックレンジが所定のしきい値より小さいもの、すなわちアクティビティーの低いものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。
【００４３】
ステップＳ２のデータ終了では、入力された全データ、例えば１フレームまたは１フィールドのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。ステップＳ３のクラス決定は、上述した図１Ａに示すように、注目ＳＤ画素近傍の画素位置の動き評価値に基づいたクラス決定がなされる。ステップＳ４の正規方程式では、上述した式（８）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５へ移る。このステップＳ５の予測係数決定では、この正規方程式が行列解法を用いて解かれ、予測係数が決定される。ステップＳ６の予測係数登録で、予測係数をメモリにストアし、このフローチャートが終了する。以上が予測演算方式によるクラス分類適応処理の概要である。
【００４４】
この発明は、分類されたクラス毎に予め用意された複数画素パターンを出力する。すなわち、複数のＨＤ画素を同時に出力するものである。図４に示すこの発明の第１の実施例は、上述した図１１に示すＳＤ画素とＨＤ画素の関係に基づいて、mode１〜mode４で示す４個のＨＤ画素を同時に出力するものである。
【００４５】
入力端子１０から供給される入力ＳＤ信号は、クラス分類部１１、制御値生成部１２および制御値生成部１３に供給される。クラス分類部１１は、上述したように、ＡＤＲＣ等によって、クラスタップとして選択された複数のＳＤ画素のレベル分布等に応じてクラス情報を発生する。クラス分類部１１で生成されたクラス情報は、適応処理部１４のパターンＲＯＭ１５にアドレスとして、供給される。適応処理部１４は、パターンＲＯＭ１５と演算部１６から構成されている。
【００４６】
パターンＲＯＭ１５は、分類されたクラス毎に予め用意された複数画素パターンＰを出力する。このパターンＰは、平均値分離、正規化値例えば標準偏差による正規化が施された基本波形であり、予め生成されて記憶されている。第１の実施例では、平均値および標準偏差がパラメータとして使用される。このパターンＲＯＭ１５から読出されたパターンＰが演算部１６に供給される。図１１中のmode１〜mode４で示す４個のＨＤ画素をｙ0 、ｙ1 、ｙ2 、ｙ3 で表すと、この４画素の平均値Ｙは、次の式（９）で示すものである。
【００４７】
【数９】
【００４８】
また、これらの４画素の標準偏差σは、次の式（１０）で表される。
【００４９】
【数１０】
【００５０】
パターンＲＯＭ１５には、平均値分離および標準偏差による正規化で得られたパターンＰが記憶されている。パターンＰは、次の式（１１）で表すものである。
【００５１】
【数１１】
【００５２】
予め学習によって、クラス分類部１１で生成されたクラス毎に最適なパターンＰがパターンＲＯＭに記憶されている。このように、平均値分離および標準偏差による正規化の処理で得られたパターンＰを記憶することによって、少ないメモリ容量のＲＯＭによって、クラス毎に精度良く、パターンを記憶することができる。
【００５３】
そして、パターンＰが供給される演算部１６に対して、制御値生成部１２からのＨＤ平均値予測値Ｙ’と、制御値生成部１３からのＨＤ標準偏差予測値σ’とが供給される。演算部１６は、パターンＰに対して、これらの予測値Ｙ’およびσ’を使用して補正演算を実行し、４個のＨＤ画素の予測値ｙ0 ’〜ｙ3 ’を同時に生成する。例えばＨＤ画素の予測値ｙ0 ’は、パターン中のｙ0 に対応する値にσ’を乗算し、Ｙ’を加算することによって生成することができる。生成されたＨＤ画素予測値ｙ0 ’〜ｙ3 ’が走査変換部１７に供給され、所望の順序例えばテレビジョンラスターの走査順に一致した順序に変換され、出力端子１８に取り出される。
【００５４】
制御値生成部１２は、入力ＳＤ信号がそれぞれ供給されるクラス分類部１９と、予測タップ選択部２０と、予測係数ＲＯＭ２１と、予測演算部２２とからなる。予測係数ＲＯＭ２１には、予め学習により獲得された予測係数ｗi がクラス毎に格納されている。予測タップ選択部２０では、例えば図５に示すように、注目ＳＤ画素ｘ5 を中心とする３×３の９画素のＳＤ画素ｘ1 〜ｘ9 が選択される。この選択された９個のＳＤ画素の値と予測係数ｗi とにより次の式（１２）に従って、予測演算部２２がＨＤ平均値予測値Ｙ’を生成する。
【００５５】
【数１２】
【００５６】
制御値生成部１３も、制御値生成部１２と同様に、クラス分類部と、予測タップ選択部と、予測係数ＲＯＭと、予測演算部とを有する。この制御値生成部１３は、予測タップとして選択された９個のＳＤ画素の値と予測係数ｖi により次の式（１３）に従って、ＨＤ標準偏差予測値σ’を生成する。
【００５７】
【数１３】
【００５８】
制御値生成部１２中の予測係数ＲＯＭ２１に記憶されている予測係数ｗi は、上述した単一のＨＤ画素を生成するクラス分類適応予測の場合と同様にして学習により求めることができる。但し、ここでは、ＨＤ画素値ｙではなく、４個のＨＤ画素値のＨＤ平均値ＹとＨＤ平均値予測値Ｙ’との誤差の自乗和を最小とするように、係数ｗi が学習により決定される。制御値生成部１３中の予測係数ＲＯＭに記憶されている予測係数ｖi は、４個のＨＤ画素値のＨＤ標準偏差σとＨＤ標準偏差予測値σ’との誤差の自乗和を最小とするように、予め学習により決定される。
【００５９】
パターンＲＯＭ１５に記憶されるパターンＰの生成は、ベクトル量子化の手法と類似の方法により行うことができる。ベクトル量子化について図６を参照して説明する。例えばＸ０〜Ｘ３の４個の画素にベクトル量子化を適用する場合を考える。４画素により構成されるブロックデータは、４個の独立成分により構成される４次元ベクトルで表現される。各ブロックのデータは、図６に示されるような４次元ベクトル空間内に存在する。このベクトル空間は、Ｘ０〜Ｘ３までの座標軸で構成されている。
【００６０】
画像データから生成される４次元ベクトルのベクトル空間内の存在領域を調べると、ベクトル空間内に一様に分布するのではなく、存在領域が偏っている。それは、画像に局所的相関が存在するからである。そこで近接する複数のベクトルを集めて一つのクラスを生成する。図６では、クラス０、クラス１、・・・クラスＮが示されている。クラスＮに注目すると、その中には、ベクトルｖ０、ｖ１、・・・、ｖｋが含まれている。このクラスＮに対して代表ベクトルが選択される。
【００６１】
このように生成されたクラス毎に代表ベクトルを決定する。この代表ベクトルは、予めブロックデータを対象とした学習により決定され、コードブックに登録しておく。任意の入力ベクトルに対して、コードブックに登録されている代表ベクトルとの一致度が調べられる。最も近似した代表ベクトルのクラスが選択される。例えばノルム最小規範の条件を満たすものとして代表ベクトルが求められる。
【００６２】
上述したベクトル量子化の手法と同様に、mode１〜mode４の４個のＨＤ画素に関して、クラス毎に基本波形であるパターンＰを予め学習によって求める。より具体的にパターンＰの学習について説明すると、４個のＨＤ画素が平均値分離および標準偏差による正規化の処理を受ける。この処理後の値の分布がクラス毎に調べられる。画像の局所的相関と、平均値分離および標準偏差による正規化の処理と、クラス分類とに基づいて、値の分布が集中したものとなる。
【００６３】
そして、その分布に対して、代表ベクトルを求めたのと同様にして、最も近似した値、すなわち、パターンＰが決定される。このようにしてクラス毎に求めたパターンＰがパターンＲＯＭ１５に格納される。適応処理部１４の演算部１６では、パターンＰと制御値生成部からの予測値Ｙ’およびσ’を使用して、４個のＨＤ画素予測値ｙ0 ’〜ｙ3 ’を同時に出力する。
【００６４】
図７は、この発明の第２の実施例を示す。上述した第１の実施例と同様の構成であるが、制御値生成部１２および１３が予め学習により用意された予測制御値を出力する点が相違する。制御値生成部１２は、クラス分類部２３および制御値ＲＯＭ２４により構成される。クラス分類部２３は、図４中のクラス分類部１９と同様に、周辺の複数のＳＤ画素の特徴に基づいてクラス分類処理を行う。そして、クラス分類部２３からのクラス情報が制御値ＲＯＭ２４にアドレスとして供給される。
【００６５】
制御値ＲＯＭ２４には、予め学習によって、制御値であるＨＤ平均値予測値Ｙ’がクラス毎に格納されている。従って、制御値ＲＯＭ２４から、適応処理部１４の演算部１６に対して、ＲＯＭ２４からＨＤ平均値予測値Ｙ’が供給される。制御値を学習する場合には、例えば学習対象の多数のＨＤ平均値Ｙの平均値を求めるようになされる。
【００６６】
図８は、この発明の第３の実施例を示す。第３の実施例は、上述した複数画素の同時予測と、前述した単一画素予測（クラス分類適応予測）とを組み合わせたものである。図８において、破線で囲んで示す３０は、複数画素予測部を示し、３１は、単一画素予測部を示す。
【００６７】
複数画素予測部３０は、上述した図４あるいは図７に示す構成のものである。また、後述する第４の実施例（図９）あるいは第５の実施例（図１０）の構成も複数画素予測部３０に対して適用できる。この複数画素予測部３０は、入力ＳＤ画像信号が供給されるクラス分類部１１、制御値生成部１２、制御値生成部１３と、クラス分類部１１からのクラス情報が供給されるパターンＲＯＭ１５と、パターンＰと制御値Ｙ’およびσ’からＨＤ画素予測値を生成する演算部１６とにより構成される。複数画素予測部３０からのＨＤ画素予測値が走査変換部１７に供給される。
【００６８】
単一画素予測部３１は、入力ＳＤ画像信号が供給されるクラス分類部３２および予測タップ選択部３３と、クラス分類部３２からのクラス情報に応答して予測係数を出力する予測係数ＲＯＭ３４と、予測タップ選択部３３で選択された画素と予測係数とから線形１次結合によって一つのＨＤ画素予測値を発生する予測演算部３５とにより構成されている。予測演算部３５からのＨＤ画素予測値が走査変換部１７に供給される。
【００６９】
走査変換部１７では、複数画素予測部３０からの複数のＨＤ画素予測値と、単一画素予測部３１からのＨＤ画素予測値とを受け取って、これらを組み合わせると共に、所望の順序（例えばテレビジョン走査の順序）に並べる。基本的には、大半の部分において複数画素予測部３０からの複数のＨＤ画素予測値が出力ＨＤ画素として選択される。但し、複数画素パターン境界等で、パターン歪みが目立つおそれがある箇所では、単一画素予測部３１からのＨＤ画素予測値が出力ＨＤ画素として選択される。この選択は、予め定めた規則に従った方法、およびＨＤ画素予測値を見てパターン歪みが発生するおそれがある時に単一画素予測部３１の出力を選択するように、ダイナミックに行う方法の何れのものでも可能である。
【００７０】
この図８に示す第３の実施例は、複数画素予測と単一画素予測を組み合わせているので、複数画素予測の場合に、複数画素のパターン同士の境界が復元ＨＤ画像中で目立つパターン歪みを防止することができる。
【００７１】
図９は、この発明の第４の実施例を示す。上述した実施例では、複数のＨＤ画素予測値を発生するパターンＰは、平均値分離と標準偏差による正規化の処理をされたものである。これに対して、第４の実施例および次に述べる第５の実施例は、ＡＤＲＣ処理により生成された複数画素パターンＰ’を出力するようにしたものである。従って、パラメータがＡＤＲＣの符号化の基準値である。この基準値を重要語と称する。４個のＨＤ画素ｙ0 〜ｙ3 をＡＤＲＣで符号化する場合では、下記の式（１４）に基づいてＡＤＲＣコードｃi が生成される。
【００７２】
ｃi ＝（ｙi −ＭＩＮ）／（ＤＲ／２k ） （１４）
ｃi ：ＡＤＲＣコード （ｉ＝０，・・・，３）
ｙi ：対象ＨＤ画素値 （ｉ＝０，・・・，３）
ＭＩＮ：４画素からなるブロックの最小値
ＤＲ：４画素からなるブロックのダイナミックレンジ（ＭＡＸ−ＭＩＮ）
ｋ：再量子化ビット数
なお、ＡＤＲＣでは、基準値として最小値ＭＩＮに限らず、ブロックの最大値ＭＡＸあるいは平均値を採用し、最大値ＭＡＸから画素値を減算した値、画素値から平均値を減算した値を再量子化しても良い。
【００７３】
図９において、入力端子１０からのＳＤ画像信号がクラス分類部１１に供給され、生成されたクラス情報が適応処理部４４のＡＤＲＣ ＲＯＭ４５にアドレスとして供給される。ＡＤＲＣ ＲＯＭ４５には、４画素と対応したＡＤＲＣコードｃi の組がパターンＰ’として記憶されている。このパターンＰ’は、予め学習により獲得され、ＲＯＭ４５に格納されている。例えば上述したベクトル量子化と類似の手法によりパターンＰ’を得ることができる。
【００７４】
また、入力ＳＤ信号が重要語生成部４２および４３に供給される。重要語生成部４２は、ダイナミックレンジＤＲの予測値ＤＲ’を出力する。重要語生成部４３は、最小値ＭＩＮの予測値ＭＩＮ’を出力する。重要語生成部４２は、入力ＳＤ画像信号が供給されるクラス分類部４９と、予測タップ選択部５０と、クラス分類部４９からのクラス情報がアドレスとして供給される予測係数ＲＯＭ５１と、予測係数ＲＯＭ５１からの予測係数と予測タップ選択部５０からの画素値とを受け取って、両者の線形１次結合により予測値ＤＲ’を生成する予測演算部５２とから構成されている。重要語生成部４３も、重要語生成部４２と同様の構成である。
【００７５】
例えば９個のＳＤ画素と４個のＨＤ画素との関係を学習することによって、誤差の最も少ないダイナミックレンジの予測値を発生するような予測係数が獲得され、この予測係数が予測係数ＲＯＭ５１に格納される。同様に予め学習により獲得された予測係数を使用して最小値の予測値ＭＩＮ’が生成される。これらの予測された重要語ＤＲ’およびＭＩＮ’がＡＤＲＣ復号部４６に供給される。
【００７６】
ＡＤＲＣ復号部４６には、ＡＤＲＣ ＲＯＭ４５からパターンＰ’（ＡＤＲＣコードｃi の組）が供給される。再量子化ビット数ｋは、所定の値とされているので、式（１４）に基づいて、ＡＤＲＣ復号部４６は、ＨＤ画素予測値ｙ0 ’〜ｙ3 ’を生成する。このＨＤ画素予測値が走査変換部１７に供給され、所望の順序（例えばテレビジョンラスターの順序）でもって出力端子１８に対して出力される。
【００７７】
図１０は、この発明の第５の実施例を示す。ＡＤＲＣの符号化方式によって発生するＡＤＲＣコードの組をパターンＰ’として記憶しているＡＤＲＣ ＲＯＭ４５が設けられ、重要語生成部４２および４３によって、予測値ＤＲ’およびＭＩＮ’を生成するのは、上述した第４の実施例と同様である。
【００７８】
第５の実施例では、重要語生成部４２および４３が予め学習により獲得された予測値を出力する。重要語生成部４２では、クラス分類部５３からのクラス情報が重要語ＲＯＭ５４に供給され、重要語ＲＯＭ５４からダイナミックレンジの予測値ＤＲ’が出力される。同様に、重要語生成部４３にも、重要語ＲＯＭが設けられ、この重要語ＲＯＭからクラスに応じた最小値の予測値ＭＩＮ’が出力される。これらの予測値ＤＲ’およびＭＩＮ’と、パターンＰ’よりＡＤＲＣ復号部４６がＨＤ画素の予測値を生成する。
【００７９】
予測値の学習方法としては、重心法と称される手法が用いられる。すなわち、学習時に各クラス毎に重要語の教師信号を収集し、その平均値を生成し、平均値をＲＯＭに格納するようになされる。なお、再量子化ビット数ｋは、任意に選定できるが、ビット数を多くすると、精度が向上できる。
【００８０】
なお、パターンを生成するための方法としては、上述したもの以外の方法を使用することができる。
【００８１】
【発明の効果】
この発明に依れば、複数画素を同時にクラス分類適応予測により予測するので、単一画素の予測方式と比較してより高性能なアップコンバージョンを行うことが可能である。また、この発明では、モード毎に異なる予測演算を行うことが不要となり、構成および処理の簡略化を達成できる。
【図面の簡単な説明】
【図１】この発明で使用されるクラス分類適応予測処理の説明のための画素の配置を示す略線図である。
【図２】単一画素の予測に適用されるクラス分類適応予測装置の構成例を示すブロック図である。
【図３】クラス分類適応予測における予測係数を学習するためのフローチャートである。
【図４】この発明の第１の実施例のブロック図である。
【図５】この発明の第１の実施例における予測タップの一例を示す略線図である。
【図６】この発明の第１の実施例におけるパターンの学習方法の説明のための略線図である。
【図７】この発明の第２の実施例のブロック図である。
【図８】この発明の第３の実施例のブロック図である。
【図９】この発明の第４の実施例のブロック図である。
【図１０】この発明の第５の実施例のブロック図である。
【図１１】ＳＤ画素とＨＤ画素の配置を示す配置図である。
【図１２】従来の２次元ノンセパラブル構成のアップコンバータを示す。
【図１３】従来の垂直／水平セパラブル構成のアップコンバータを示す。
【符号の説明】
１２，１３・・・制御値生成部、１４・・・適応処理部、１５・・・パターンＲＯＭ、３０・・・複数画素予測部、３１・・・単一画素予測部、４２，４３・・・重要語生成部、４５・・・ＡＤＲＣ ＲＯＭ、４６・・・ＡＤＲＣ復号部
【発明の属する技術分野】
この発明は、入力された画像信号より高い解像度を有する画像信号を得ることができるクラス分類適応処理を用いた画像信号変換装置および方法に関する。
【０００２】
【従来の技術】
従来、画像信号を異なるフォーマットに変換する装置として、例えば標準ＴＶ信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）フォーマット信号に変換するアップコンバータがある。このアップコンバータに使用されている技術について以下、説明する。まず、標準ＴＶ信号（ＳＤ信号）とＨＤ信号の各画素の空間配置例を図１１に示す。ここでは、説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図中の二重丸のＳＤ画素に注目すると、近傍４種類の位置にＨＤ画素が存在する。この４種類の位置に存在するＨＤ画素を予測するモードをそれぞれmode１、mode２、mode３、mode４と称する。このようなモードを規定するのは、係数の種類の増大を抑え、予測演算部等の回路規模を小さくするためである。
【０００３】
従来のアップコンバータにおいては、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、ＳＤ信号のフィールド内データから、４種類の位置のＨＤ画素を生成することが考えられる。そこで用いられる補間フィルタの構成は、垂直方向の処理と水平方向の処理とを分離しない空間内２次元ノンセパラブルフィルタと、これらの処理を分離して行う垂直／水平セパラブルフィルタに分類される。これらの補間フィルタの構成例を図１２および図１３に示す。
【０００４】
図１２に示すノンセパラブル補間フィルタは、空間内２次元フィルタを使用するものである。入力端子８１からＳＤ信号が供給され、入力ＳＤ信号は、mode１用２次元フィルタ８２、mode２用２次元フィルタ８３、mode３用２次元フィルタ８４およびmode４用２次元フィルタ８５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ８２〜８５の出力は、ＨＤ信号として選択部８６において、直列化がなされ、出力端子８７から出力ＨＤ信号が取り出される。
【０００５】
また、図１３に示す補間フィルタは、垂直／水平セパラブルフィルタを使用するものである。入力端子９１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ９２および９３において、ＨＤ信号の２本の走査線データが生成される。例えば、垂直補間フィルタ９２では、mode１用およびmode２用の処理が行われ、垂直補間フィルタ９３では、mode３用およびmode４用の処理が行われる。
【０００６】
これらの処理が行われると垂直補間フィルタ９２および９３からの出力信号は、水平補間フィルタ９４および９５へ供給される。この水平補間フィルタ９４および９５では、各走査線毎に水平フィルタを用い４種類の位置のＨＤ画素が補間され、選択部９６へ供給される。選択部９６では、供給されたＨＤ信号の直列化がなされ、出力端子９７から出力ＨＤ信号が取り出される。
【０００７】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には、理想フィルタを用いることが出来ないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしかできないという問題がある。
【０００８】
そこで、これらの問題を解決するために、補間のためのクラス分類適応処理を適用することが提案されている。このクラス分類適応処理は、入力ＳＤ信号の例えば輝度レベルの特徴に基づき、クラス分類を行い、分類されたクラスに対応した予測係数が予測タップを構成する入力ＳＤ信号の複数の画素値との線形１次結合によりＨＤ信号を生成する処理である。このとき、用いられている予測係数は、クラス毎に予め学習により獲得されたものである。
【０００９】
【発明が解決しようとする課題】
先に提案されているクラス分類適応予測を使用したアップコンバータは、１画素毎にＨＤ画素を予測する処理である。しかしながら、解像度をより高いものに向上させるには、複数画素を同時にに予測した方が有利な場合が多い。
【００１０】
従って、この発明は、クラス分類適応予測によってより解像度の高い出力画像信号を得るようにした信号変換装置であって、複数画素をクラス分類適応予測により同時に生成することによって、より解像度を高くすることが可能な画像信号変換装置および方法の提供を目的とする。
【００１１】
【課題を解決するための手段】
この発明は、第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換する際に、入力される第１のディジタル画像信号中の注目画素の近傍の互いに近接する第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する画像信号変換装置であって、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、複数の画素の各画素値に対して平均値分離および標準偏差による正規化の処理を施して得られるパターンが予め学習により獲得され、記憶されている記憶手段と、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、平均値分離に使用される平均値を予測するための予測係数が学習により予め獲得され、記憶されており、入力される第１のディジタル画像信号の注目画素の周辺の複数の画素値と記憶されている予測係数とに基づく積和演算によって、予測平均値を生成する予測平均値生成手段と、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、平均値分離に使用される標準偏差を予測するための予測係数が学習により予め獲得され、記憶されており、入力される第１のディジタル画像信号の注目画素の周辺の複数の画素値と記憶されている予測係数とに基づく積和演算によって、予測標準偏差を生成する予測標準偏差生成手段と、
記憶手段に記憶されているパターンと予測平均値および予測標準偏差とを演算して複数の画素の予測画素値を出力する演算手段と
からなることを特徴とする画像信号変換装置である。
また、予測平均値生成手段および予測標準偏差生成手段が予測値を予め学習により獲得し、記憶するようにしても良い。
【００１２】
この発明は、第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換する際に、入力される第１のディジタル画像信号中の注目画素の近傍の互いに近接する第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する画像信号変換装置であって、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、複数の画素の各画素値に対してＡＤＲＣ符号化の処理を施して得られるＡＤＲＣコードが予め学習により獲得され、記憶されている記憶手段と、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、複数の画素値のＡＤＲＣ符号化の際の基準値である、ブロックのダイナミックレンジ、最小値、最大値の内の２個の値を予測するための予測係数が学習により予め獲得され、記憶されており、入力される第１のディジタル画像信号の注目画素の周辺の複数の画素値と記憶されている予測係数とに基づく積和演算によって、２個の値の予測値を生成する予測基準値生成手段と、
記憶手段に記憶されているＡＤＲＣコードと基準値の予測値とを演算して複数の画素の予測画素値を出力するＡＤＲＣ復号手段と
からなることを特徴とする画像信号変換装置である。
また、予測基準値生成手段が予測値を予め学習により獲得し、記憶するようにしても良い。
【００１３】
この発明は、第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換装置において、
入力される第１のディジタル画像信号中の注目画素の近傍の互いに近接する第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する第１のクラス分類適応予測手段と、
第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき分類されるクラス毎に予測係数または予測値が予め学習によって獲得され、入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき分類されるクラスに対応する予測係数または予測値を使用して、第１のディジタル画像信号中の注目画素の近傍の第２のディジタル画像信号の単一の予測画素値を生成する第２のクラス分類適応予測手段と、
第１のクラス分類適応予測手段からの予測画素値と第２のクラス分類適応予測からの予測画素値とを組み合わせて出力する手段とからなり、
第１のクラス分類適応予測手段は、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、複数の画素の各画素値に対して平均値分離および標準偏差による正規化の処理を施して得られるパターンが予め学習により獲得され、記憶されている記憶手段と、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、平均値分離に使用される平均値を予測するための予測係数が学習により予め獲得され、記憶されており、入力される第１のディジタル画像信号の注目画素の周辺の複数の画素値と記憶されている予測係数とに基づく積和演算によって、予測平均値を生成する予測平均値生成手段と、
入力される第１のディジタル画像信号の注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、平均値分離に使用される標準偏差を予測するための予測係数が学習により予め獲得され、記憶されており、入力される第１のディジタル画像信号の注目画素の周辺の複数の画素値と記憶されている予測係数とに基づく積和演算によって、予測標準偏差を生成する予測標準偏差生成手段と、
記憶手段に記憶されているパターンと予測平均値および予測標準偏差とを演算して複数の画素の予測画素値を出力する演算手段と
からなることを特徴とする画像信号変換装置である。
また、第１のクラス分類適応予測手段としては、学習により獲得された予測値を記憶することもできる。さらに、平均値分離および標準偏差の処理の代えてＡＤＲＣを行うこともできる。
【００１４】
複数のＨＤ画素値を同時に予測するので、単一画素を予測するのに比して、より高性能の信号変換を行うことが可能となる。また、複数画素の同時予測と、単一画素の予測とを組み合わせることによって、複数画素のパターンの歪みが目立つことを防止することができる。
【００１５】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。まず、この発明の理解を容易とするため、先に提案されているクラス分類適応処理を用いた、単一画素予測方式のアップコンバータを説明する。クラス分類適応処理を用いたアップコンバータでは、入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する。
【００１６】
一例として、図１Ａに示すような入力ＳＤ信号（８ビットＰＣＭ（Pulse Code Modulation ）データ）に対してクラス生成タップを設定し、入力ＳＤ信号の波形特性によりクラスを生成する。この図１Ａの例では、注目ＳＤ画素（二重丸で示す）を中心として７タップ（７個のＳＤ画素）でクラスが生成される。例えば、７タップデータに対し１ビットＡＤＲＣ（Adaptive Dynamic Range Coding ）を適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素の最小値を除去した上で、各タップの画素値を適応的に１ビット量子化するので、１２８クラスが生成される。
【００１７】
ＡＤＲＣは、ＶＴＲ用信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。ＡＤＲＣの他にもクラス分類法としては、下記のものを採用することができる。
【００１８】
１）ＰＣＭデータを直接使用する。
【００１９】
２）ＤＰＣＭ（Differential PCM）を適用してクラス数を削減する。
【００２０】
３）ＶＱ（Vector Quantization ）を適用してクラス数を削減する。
【００２１】
４）周波数変換（ＤＣＴ（Discrete Cosine Transform Coding）、アダマール変換、フーリエ変換等）の値に基づいたクラス分類を行う。
【００２２】
こうして分類されたクラス毎に適応処理を実行するが、その適応処理の一例として、予め学習により生成されたクラス毎の予測係数を用いた予測処理が挙げられる。予測処理のときに使用される予測タップの一例を図１Ｂに示す。この一例は、注目ＳＤ画素を中心としたフレーム内１３タップから予測タップが構成される。予測式の一例を式（１）に示す。
【００２３】
【数１】
ｙ´：推定ＨＤ画素値
ｘi ：ＳＤ信号予測タップ画素値
ｗi ：予測係数
このように、クラス毎に生成された予測係数と入力データとの積和演算、例えば線形１次結合によりＨＤ画素値を推定する。単一画素予測方式のクラス分類適応処理の回路構成を図２に示す。１で示す入力端子から入力ＳＤ信号が供給され、供給された入力ＳＤ信号は、クラス分類部２および予測タップ選択部３へ供給される。クラス分類部２では、上述した図１Ａに示すようなクラスタップに基づき、入力ＳＤ信号に対するクラスが生成される。生成されたクラスは、クラス分類部２から予測係数ＲＯＭ４へ供給される。
【００２５】
予測係数ＲＯＭ４では、生成されたクラスをアドレスとして予測係数が出力される。予測係数は、予測係数ＲＯＭ４から予測演算部５へ供給される。予測タップ選択部３は、入力ＳＤ信号から上述した図１Ｂに示すように１３タップからなる予測タップを選択する。選択された１３タップからなる予測タップは、予測タップ選択部３から予測演算部５へ供給される。予測演算部５では、供給された予測係数および予測タップから前述した式（１）に示す予測演算が実行され、その演算結果は、出力端子６から出力される。
【００２６】
上述した予測係数は、予め学習により生成しておくが、その学習方法について述べる。式（１）の線形１次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。最小自乗法は、以下のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の式を考える。
【００２７】
観測方程式：ＸＷ＝Ｙ （２）
【００２８】
【数２】
上述の観測方程式（２）により収集されたデータに最小自乗法を適用する。式（１）の例においては、ｎ＝１３、ｍが学習データ数となる。式（２）の観測方程式をもとに、式（４）の残差方程式を考える。
【００３０】
残差方程式：ＸＷ＝Ｙ＋Ｅ （４）
【００３１】
【数３】
式（４）の残差方程式から、各ｗi の最確値は、次式で表す誤差の自乗和を最小にする条件が成り立つ場合と考えられる。すなわち、式（５）の条件を考慮すれば良いわけである。
【００３３】
【数４】
【数５】
式（５）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（４）から式（６）が得られる。
【００３６】
【数６】
式（５）および式（６）により式（７）が得られる。
【００３８】
【数７】
そして、式（４）および式（７）から、正規方程式（８）が得られる。
【００４０】
【数８】
式（８）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００４２】
この場合の学習においては、対象信号と教師信号との間で上述の線形１次モデルを設定し、最小自乗法により予め予測係数を生成しておく。その学習方法の一例となるフローチャートを図３に示す。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、例えば上述した図１Ｂに示す１３タップから学習データが形成される。ここで、注目ＳＤ画素近傍のブロック内のダイナミックレンジが所定のしきい値より小さいもの、すなわちアクティビティーの低いものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。
【００４３】
ステップＳ２のデータ終了では、入力された全データ、例えば１フレームまたは１フィールドのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。ステップＳ３のクラス決定は、上述した図１Ａに示すように、注目ＳＤ画素近傍の画素位置の動き評価値に基づいたクラス決定がなされる。ステップＳ４の正規方程式では、上述した式（８）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５へ移る。このステップＳ５の予測係数決定では、この正規方程式が行列解法を用いて解かれ、予測係数が決定される。ステップＳ６の予測係数登録で、予測係数をメモリにストアし、このフローチャートが終了する。以上が予測演算方式によるクラス分類適応処理の概要である。
【００４４】
この発明は、分類されたクラス毎に予め用意された複数画素パターンを出力する。すなわち、複数のＨＤ画素を同時に出力するものである。図４に示すこの発明の第１の実施例は、上述した図１１に示すＳＤ画素とＨＤ画素の関係に基づいて、mode１〜mode４で示す４個のＨＤ画素を同時に出力するものである。
【００４５】
入力端子１０から供給される入力ＳＤ信号は、クラス分類部１１、制御値生成部１２および制御値生成部１３に供給される。クラス分類部１１は、上述したように、ＡＤＲＣ等によって、クラスタップとして選択された複数のＳＤ画素のレベル分布等に応じてクラス情報を発生する。クラス分類部１１で生成されたクラス情報は、適応処理部１４のパターンＲＯＭ１５にアドレスとして、供給される。適応処理部１４は、パターンＲＯＭ１５と演算部１６から構成されている。
【００４６】
パターンＲＯＭ１５は、分類されたクラス毎に予め用意された複数画素パターンＰを出力する。このパターンＰは、平均値分離、正規化値例えば標準偏差による正規化が施された基本波形であり、予め生成されて記憶されている。第１の実施例では、平均値および標準偏差がパラメータとして使用される。このパターンＲＯＭ１５から読出されたパターンＰが演算部１６に供給される。図１１中のmode１〜mode４で示す４個のＨＤ画素をｙ0 、ｙ1 、ｙ2 、ｙ3 で表すと、この４画素の平均値Ｙは、次の式（９）で示すものである。
【００４７】
【数９】
また、これらの４画素の標準偏差σは、次の式（１０）で表される。
【００４９】
【数１０】
パターンＲＯＭ１５には、平均値分離および標準偏差による正規化で得られたパターンＰが記憶されている。パターンＰは、次の式（１１）で表すものである。
【００５１】
【数１１】
予め学習によって、クラス分類部１１で生成されたクラス毎に最適なパターンＰがパターンＲＯＭに記憶されている。このように、平均値分離および標準偏差による正規化の処理で得られたパターンＰを記憶することによって、少ないメモリ容量のＲＯＭによって、クラス毎に精度良く、パターンを記憶することができる。
【００５３】
そして、パターンＰが供給される演算部１６に対して、制御値生成部１２からのＨＤ平均値予測値Ｙ’と、制御値生成部１３からのＨＤ標準偏差予測値σ’とが供給される。演算部１６は、パターンＰに対して、これらの予測値Ｙ’およびσ’を使用して補正演算を実行し、４個のＨＤ画素の予測値ｙ0 ’〜ｙ3 ’を同時に生成する。例えばＨＤ画素の予測値ｙ0 ’は、パターン中のｙ0 に対応する値にσ’を乗算し、Ｙ’を加算することによって生成することができる。生成されたＨＤ画素予測値ｙ0 ’〜ｙ3 ’が走査変換部１７に供給され、所望の順序例えばテレビジョンラスターの走査順に一致した順序に変換され、出力端子１８に取り出される。
【００５４】
制御値生成部１２は、入力ＳＤ信号がそれぞれ供給されるクラス分類部１９と、予測タップ選択部２０と、予測係数ＲＯＭ２１と、予測演算部２２とからなる。予測係数ＲＯＭ２１には、予め学習により獲得された予測係数ｗi がクラス毎に格納されている。予測タップ選択部２０では、例えば図５に示すように、注目ＳＤ画素ｘ5 を中心とする３×３の９画素のＳＤ画素ｘ1 〜ｘ9 が選択される。この選択された９個のＳＤ画素の値と予測係数ｗi とにより次の式（１２）に従って、予測演算部２２がＨＤ平均値予測値Ｙ’を生成する。
【００５５】
【数１２】
制御値生成部１３も、制御値生成部１２と同様に、クラス分類部と、予測タップ選択部と、予測係数ＲＯＭと、予測演算部とを有する。この制御値生成部１３は、予測タップとして選択された９個のＳＤ画素の値と予測係数ｖi により次の式（１３）に従って、ＨＤ標準偏差予測値σ’を生成する。
【００５７】
【数１３】
制御値生成部１２中の予測係数ＲＯＭ２１に記憶されている予測係数ｗi は、上述した単一のＨＤ画素を生成するクラス分類適応予測の場合と同様にして学習により求めることができる。但し、ここでは、ＨＤ画素値ｙではなく、４個のＨＤ画素値のＨＤ平均値ＹとＨＤ平均値予測値Ｙ’との誤差の自乗和を最小とするように、係数ｗi が学習により決定される。制御値生成部１３中の予測係数ＲＯＭに記憶されている予測係数ｖi は、４個のＨＤ画素値のＨＤ標準偏差σとＨＤ標準偏差予測値σ’との誤差の自乗和を最小とするように、予め学習により決定される。
【００５９】
パターンＲＯＭ１５に記憶されるパターンＰの生成は、ベクトル量子化の手法と類似の方法により行うことができる。ベクトル量子化について図６を参照して説明する。例えばＸ０〜Ｘ３の４個の画素にベクトル量子化を適用する場合を考える。４画素により構成されるブロックデータは、４個の独立成分により構成される４次元ベクトルで表現される。各ブロックのデータは、図６に示されるような４次元ベクトル空間内に存在する。このベクトル空間は、Ｘ０〜Ｘ３までの座標軸で構成されている。
【００６０】
画像データから生成される４次元ベクトルのベクトル空間内の存在領域を調べると、ベクトル空間内に一様に分布するのではなく、存在領域が偏っている。それは、画像に局所的相関が存在するからである。そこで近接する複数のベクトルを集めて一つのクラスを生成する。図６では、クラス０、クラス１、・・・クラスＮが示されている。クラスＮに注目すると、その中には、ベクトルｖ０、ｖ１、・・・、ｖｋが含まれている。このクラスＮに対して代表ベクトルが選択される。
【００６１】
このように生成されたクラス毎に代表ベクトルを決定する。この代表ベクトルは、予めブロックデータを対象とした学習により決定され、コードブックに登録しておく。任意の入力ベクトルに対して、コードブックに登録されている代表ベクトルとの一致度が調べられる。最も近似した代表ベクトルのクラスが選択される。例えばノルム最小規範の条件を満たすものとして代表ベクトルが求められる。
【００６２】
上述したベクトル量子化の手法と同様に、mode１〜mode４の４個のＨＤ画素に関して、クラス毎に基本波形であるパターンＰを予め学習によって求める。より具体的にパターンＰの学習について説明すると、４個のＨＤ画素が平均値分離および標準偏差による正規化の処理を受ける。この処理後の値の分布がクラス毎に調べられる。画像の局所的相関と、平均値分離および標準偏差による正規化の処理と、クラス分類とに基づいて、値の分布が集中したものとなる。
【００６３】
そして、その分布に対して、代表ベクトルを求めたのと同様にして、最も近似した値、すなわち、パターンＰが決定される。このようにしてクラス毎に求めたパターンＰがパターンＲＯＭ１５に格納される。適応処理部１４の演算部１６では、パターンＰと制御値生成部からの予測値Ｙ’およびσ’を使用して、４個のＨＤ画素予測値ｙ0 ’〜ｙ3 ’を同時に出力する。
【００６４】
図７は、この発明の第２の実施例を示す。上述した第１の実施例と同様の構成であるが、制御値生成部１２および１３が予め学習により用意された予測制御値を出力する点が相違する。制御値生成部１２は、クラス分類部２３および制御値ＲＯＭ２４により構成される。クラス分類部２３は、図４中のクラス分類部１９と同様に、周辺の複数のＳＤ画素の特徴に基づいてクラス分類処理を行う。そして、クラス分類部２３からのクラス情報が制御値ＲＯＭ２４にアドレスとして供給される。
【００６５】
制御値ＲＯＭ２４には、予め学習によって、制御値であるＨＤ平均値予測値Ｙ’がクラス毎に格納されている。従って、制御値ＲＯＭ２４から、適応処理部１４の演算部１６に対して、ＲＯＭ２４からＨＤ平均値予測値Ｙ’が供給される。制御値を学習する場合には、例えば学習対象の多数のＨＤ平均値Ｙの平均値を求めるようになされる。
【００６６】
図８は、この発明の第３の実施例を示す。第３の実施例は、上述した複数画素の同時予測と、前述した単一画素予測（クラス分類適応予測）とを組み合わせたものである。図８において、破線で囲んで示す３０は、複数画素予測部を示し、３１は、単一画素予測部を示す。
【００６７】
複数画素予測部３０は、上述した図４あるいは図７に示す構成のものである。また、後述する第４の実施例（図９）あるいは第５の実施例（図１０）の構成も複数画素予測部３０に対して適用できる。この複数画素予測部３０は、入力ＳＤ画像信号が供給されるクラス分類部１１、制御値生成部１２、制御値生成部１３と、クラス分類部１１からのクラス情報が供給されるパターンＲＯＭ１５と、パターンＰと制御値Ｙ’およびσ’からＨＤ画素予測値を生成する演算部１６とにより構成される。複数画素予測部３０からのＨＤ画素予測値が走査変換部１７に供給される。
【００６８】
単一画素予測部３１は、入力ＳＤ画像信号が供給されるクラス分類部３２および予測タップ選択部３３と、クラス分類部３２からのクラス情報に応答して予測係数を出力する予測係数ＲＯＭ３４と、予測タップ選択部３３で選択された画素と予測係数とから線形１次結合によって一つのＨＤ画素予測値を発生する予測演算部３５とにより構成されている。予測演算部３５からのＨＤ画素予測値が走査変換部１７に供給される。
【００６９】
走査変換部１７では、複数画素予測部３０からの複数のＨＤ画素予測値と、単一画素予測部３１からのＨＤ画素予測値とを受け取って、これらを組み合わせると共に、所望の順序（例えばテレビジョン走査の順序）に並べる。基本的には、大半の部分において複数画素予測部３０からの複数のＨＤ画素予測値が出力ＨＤ画素として選択される。但し、複数画素パターン境界等で、パターン歪みが目立つおそれがある箇所では、単一画素予測部３１からのＨＤ画素予測値が出力ＨＤ画素として選択される。この選択は、予め定めた規則に従った方法、およびＨＤ画素予測値を見てパターン歪みが発生するおそれがある時に単一画素予測部３１の出力を選択するように、ダイナミックに行う方法の何れのものでも可能である。
【００７０】
この図８に示す第３の実施例は、複数画素予測と単一画素予測を組み合わせているので、複数画素予測の場合に、複数画素のパターン同士の境界が復元ＨＤ画像中で目立つパターン歪みを防止することができる。
【００７１】
図９は、この発明の第４の実施例を示す。上述した実施例では、複数のＨＤ画素予測値を発生するパターンＰは、平均値分離と標準偏差による正規化の処理をされたものである。これに対して、第４の実施例および次に述べる第５の実施例は、ＡＤＲＣ処理により生成された複数画素パターンＰ’を出力するようにしたものである。従って、パラメータがＡＤＲＣの符号化の基準値である。この基準値を重要語と称する。４個のＨＤ画素ｙ0 〜ｙ3 をＡＤＲＣで符号化する場合では、下記の式（１４）に基づいてＡＤＲＣコードｃi が生成される。
【００７２】
ｃi ＝（ｙi −ＭＩＮ）／（ＤＲ／２k ） （１４）
ｃi ：ＡＤＲＣコード （ｉ＝０，・・・，３）
ｙi ：対象ＨＤ画素値 （ｉ＝０，・・・，３）
ＭＩＮ：４画素からなるブロックの最小値
ＤＲ：４画素からなるブロックのダイナミックレンジ（ＭＡＸ−ＭＩＮ）
ｋ：再量子化ビット数
なお、ＡＤＲＣでは、基準値として最小値ＭＩＮに限らず、ブロックの最大値ＭＡＸあるいは平均値を採用し、最大値ＭＡＸから画素値を減算した値、画素値から平均値を減算した値を再量子化しても良い。
【００７３】
図９において、入力端子１０からのＳＤ画像信号がクラス分類部１１に供給され、生成されたクラス情報が適応処理部４４のＡＤＲＣ ＲＯＭ４５にアドレスとして供給される。ＡＤＲＣ ＲＯＭ４５には、４画素と対応したＡＤＲＣコードｃi の組がパターンＰ’として記憶されている。このパターンＰ’は、予め学習により獲得され、ＲＯＭ４５に格納されている。例えば上述したベクトル量子化と類似の手法によりパターンＰ’を得ることができる。
【００７４】
また、入力ＳＤ信号が重要語生成部４２および４３に供給される。重要語生成部４２は、ダイナミックレンジＤＲの予測値ＤＲ’を出力する。重要語生成部４３は、最小値ＭＩＮの予測値ＭＩＮ’を出力する。重要語生成部４２は、入力ＳＤ画像信号が供給されるクラス分類部４９と、予測タップ選択部５０と、クラス分類部４９からのクラス情報がアドレスとして供給される予測係数ＲＯＭ５１と、予測係数ＲＯＭ５１からの予測係数と予測タップ選択部５０からの画素値とを受け取って、両者の線形１次結合により予測値ＤＲ’を生成する予測演算部５２とから構成されている。重要語生成部４３も、重要語生成部４２と同様の構成である。
【００７５】
例えば９個のＳＤ画素と４個のＨＤ画素との関係を学習することによって、誤差の最も少ないダイナミックレンジの予測値を発生するような予測係数が獲得され、この予測係数が予測係数ＲＯＭ５１に格納される。同様に予め学習により獲得された予測係数を使用して最小値の予測値ＭＩＮ’が生成される。これらの予測された重要語ＤＲ’およびＭＩＮ’がＡＤＲＣ復号部４６に供給される。
【００７６】
ＡＤＲＣ復号部４６には、ＡＤＲＣ ＲＯＭ４５からパターンＰ’（ＡＤＲＣコードｃi の組）が供給される。再量子化ビット数ｋは、所定の値とされているので、式（１４）に基づいて、ＡＤＲＣ復号部４６は、ＨＤ画素予測値ｙ0 ’〜ｙ3 ’を生成する。このＨＤ画素予測値が走査変換部１７に供給され、所望の順序（例えばテレビジョンラスターの順序）でもって出力端子１８に対して出力される。
【００７７】
図１０は、この発明の第５の実施例を示す。ＡＤＲＣの符号化方式によって発生するＡＤＲＣコードの組をパターンＰ’として記憶しているＡＤＲＣ ＲＯＭ４５が設けられ、重要語生成部４２および４３によって、予測値ＤＲ’およびＭＩＮ’を生成するのは、上述した第４の実施例と同様である。
【００７８】
第５の実施例では、重要語生成部４２および４３が予め学習により獲得された予測値を出力する。重要語生成部４２では、クラス分類部５３からのクラス情報が重要語ＲＯＭ５４に供給され、重要語ＲＯＭ５４からダイナミックレンジの予測値ＤＲ’が出力される。同様に、重要語生成部４３にも、重要語ＲＯＭが設けられ、この重要語ＲＯＭからクラスに応じた最小値の予測値ＭＩＮ’が出力される。これらの予測値ＤＲ’およびＭＩＮ’と、パターンＰ’よりＡＤＲＣ復号部４６がＨＤ画素の予測値を生成する。
【００７９】
予測値の学習方法としては、重心法と称される手法が用いられる。すなわち、学習時に各クラス毎に重要語の教師信号を収集し、その平均値を生成し、平均値をＲＯＭに格納するようになされる。なお、再量子化ビット数ｋは、任意に選定できるが、ビット数を多くすると、精度が向上できる。
【００８０】
なお、パターンを生成するための方法としては、上述したもの以外の方法を使用することができる。
【００８１】
【発明の効果】
この発明に依れば、複数画素を同時にクラス分類適応予測により予測するので、単一画素の予測方式と比較してより高性能なアップコンバージョンを行うことが可能である。また、この発明では、モード毎に異なる予測演算を行うことが不要となり、構成および処理の簡略化を達成できる。
【図面の簡単な説明】
【図１】この発明で使用されるクラス分類適応予測処理の説明のための画素の配置を示す略線図である。
【図２】単一画素の予測に適用されるクラス分類適応予測装置の構成例を示すブロック図である。
【図３】クラス分類適応予測における予測係数を学習するためのフローチャートである。
【図４】この発明の第１の実施例のブロック図である。
【図５】この発明の第１の実施例における予測タップの一例を示す略線図である。
【図６】この発明の第１の実施例におけるパターンの学習方法の説明のための略線図である。
【図７】この発明の第２の実施例のブロック図である。
【図８】この発明の第３の実施例のブロック図である。
【図９】この発明の第４の実施例のブロック図である。
【図１０】この発明の第５の実施例のブロック図である。
【図１１】ＳＤ画素とＨＤ画素の配置を示す配置図である。
【図１２】従来の２次元ノンセパラブル構成のアップコンバータを示す。
【図１３】従来の垂直／水平セパラブル構成のアップコンバータを示す。
【符号の説明】
１２，１３・・・制御値生成部、１４・・・適応処理部、１５・・・パターンＲＯＭ、３０・・・複数画素予測部、３１・・・単一画素予測部、４２，４３・・・重要語生成部、４５・・・ＡＤＲＣ ＲＯＭ、４６・・・ＡＤＲＣ復号部
Claims (8)
- 第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換する際に、入力される上記第１のディジタル画像信号中の注目画素の近傍の互いに近接する上記第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する画像信号変換装置であって、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素の各画素値に対して平均値分離および標準偏差による正規化の処理を施して得られるパターンが予め学習により獲得され、記憶されている記憶手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記平均値分離に使用される平均値を予測するための予測係数が学習により予め獲得され、記憶されており、入力される上記第１のディジタル画像信号の上記注目画素の周辺の複数の画素値と上記記憶されている予測係数とに基づく積和演算によって、予測平均値を生成する予測平均値生成手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記平均値分離に使用される標準偏差を予測するための予測係数が学習により予め獲得され、記憶されており、入力される上記第１のディジタル画像信号の上記注目画素の周辺の複数の画素値と上記記憶されている予測係数とに基づく積和演算によって、予測標準偏差を生成する予測標準偏差生成手段と、
上記記憶手段に記憶されているパターンと上記予測平均値および上記予測標準偏差とを演算して上記複数の画素の予測画素値を出力する演算手段と
からなることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換する際に、入力される上記第１のディジタル画像信号中の注目画素の近傍の互いに近接する上記第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する画像信号変換装置であって、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素の各画素値に対して平均値分離および標準偏差による正規化の処理を施して得られるパターンが予め学習により獲得され、記憶されている記憶手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記平均値分離に使用される予測平均値が学習により予め獲得され、記憶されている予測平均値生成手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記平均値分離に使用される標準偏差が学習により予め獲得され、記憶されている予測標準偏差生成手段と、
上記記憶手段に記憶されているパターンと上記予測平均値および上記予測標準偏差とを演算して上記複数の画素の予測画素値を出力する演算手段と
からなることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換する際に、入力される上記第１のディジタル画像信号中の注目画素の近傍の互いに近接する上記第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する画像信号変換装置であって、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素の各画素値に対してＡＤＲＣ符号化の処理を施して得られるＡＤＲＣコードが予め学習により獲得され、記憶されている記憶手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素値のＡＤＲＣ符号化の際の基準値である、ブロックのダイナミックレンジ、最小値、最大値の内の２個の値を予測するための予測係数が学習により予め獲得され、記憶されており、入力される上記第１のディジタル画像信号の上記注目画素の周辺の複数の画素値と上記記憶されている予測係数とに基づく積和演算によって、上記２個の値の予測値を生成する予測基準値生成手段と、
上記記憶手段に記憶されているＡＤＲＣコードと上記基準値の予測値とを演算して上記複数の画素の予測画素値を出力するＡＤＲＣ復号手段と
からなることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換する際に、入力される上記第１のディジタル画像信号中の注目画素の近傍の互いに近接する上記第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する画像信号変換装置であって、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素の各画素値に対してＡＤＲＣ符号化の処理を施して得られるＡＤＲＣコードが予め学習により獲得され、記憶されている記憶手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素値のＡＤＲＣ符号化の際の基準値である、ブロックのダイナミックレンジ、最小値、最大値の内の２個の値の予測値が学習により予め獲得され、記憶されている予測基準値生成手段と、
上記記憶手段に記憶されているＡＤＲＣコードと上記基準値の予測値とを演算して上記複数の画素の予測画素値を出力するＡＤＲＣ復号手段と
とからなることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換装置において、
入力される上記第１のディジタル画像信号中の注目画素の近傍の互いに近接する上記第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する第１のクラス分類適応予測手段と、
上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき分類されるクラス毎に予測係数または予測値が予め学習によって獲得され、入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき分類されるクラスに対応する上記予測係数または予測値を使用して、上記第１のディジタル画像信号中の上記注目画素の近傍の上記第２のディジタル画像信号の単一の予測画素値を生成する第２のクラス分類適応予測手段と、
上記第１のクラス分類適応予測手段からの予測画素値と上記第２のクラス分類適応予測からの予測画素値とを組み合わせて出力する手段とからなり、
上記第１のクラス分類適応予測手段は、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素の各画素値に対して平均値分離および標準偏差による正規化の処理を施して得られるパターンが予め学習により獲得され、記憶されている記憶手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記平均値分離に使用される平均値を予測するための予測係数が学習により予め獲得され、記憶されており、入力される上記第１のディジタル画像信号の上記注目画素の周辺の複数の画素値と上記記憶されている予測係数とに基づく積和演算によって、予測平均値を生成する予測平均値生成手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記平均値分離に使用される標準偏差を予測するための予測係数が学習により予め獲得され、記憶されており、入力される上記第１のディジタル画像信号の上記注目画素の周辺の複数の画素値と上記記憶されている予測係数とに基づく積和演算によって、予測標準偏差を生成する予測標準偏差生成手段と、
上記記憶手段に記憶されているパターンと上記予測平均値および上記予測標準偏差とを 演算して上記複数の画素の予測画素値を出力する演算手段と
からなることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換装置において、
入力される上記第１のディジタル画像信号中の注目画素の近傍の互いに近接する上記第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する第１のクラス分類適応予測手段と、
上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき分類されるクラス毎に予測係数または予測値が予め学習によって獲得され、入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき分類されるクラスに対応する上記予測係数または予測値を使用して、上記第１のディジタル画像信号中の上記注目画素の近傍の上記第２のディジタル画像信号の単一の予測画素値を生成する第２のクラス分類適応予測手段と、
上記第１のクラス分類適応予測手段からの予測画素値と上記第２のクラス分類適応予測からの予測画素値とを組み合わせて出力する手段とからなり、
上記第１のクラス分類適応予測手段は、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素の各画素値に対して平均値分離および標準偏差による正規化の処理を施して得られるパターンが予め学習により獲得され、記憶されている記憶手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記平均値分離に使用される予測平均値が学習により予め獲得され、記憶されている予測平均値生成手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記平均値分離に使用される標準偏差が学習により予め獲得され、記憶されている予測標準偏差生成手段と、
上記記憶手段に記憶されているパターンと上記予測平均値および上記予測標準偏差とを演算して上記複数の画素の予測画素値を出力する演算手段と
からなることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換装置において、
入力される上記第１のディジタル画像信号中の注目画素の近傍の互いに近接する上記第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する第１のクラス分類適応予測手段と、
上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき分類されるクラス毎に予測係数または予測値が予め学習によって獲得され、入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき分類されるクラスに対応する上記予測係数または予測値を使用して、上記第１のディジタル画像信号中の上記注目画素の近傍の上記第２のディジタル画像信号の単一の予測画素値を生成する第２のクラス分類適応予測手段と、
上記第１のクラス分類適応予測手段からの予測画素値と上記第２のクラス分類適応予測からの予測画素値とを組み合わせて出力する手段とからなり、
上記第１のクラス分類適応予測手段は、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素の各画素値に対してＡＤＲＣ符号化の処理を施して得られるＡＤＲＣコードが予め学習により獲得され、記憶されている記憶手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素値のＡＤＲＣ符号化の際の基準値である、ブロックのダイナミックレンジ、最小値、最大値の内の２個の値を予測するための予測係数が学習により予め獲得され、記憶されており、入力される上記第１のディジタル画像信号の上記注目画素の周辺の複数の画素値と上記記憶されている予測係数とに基づく積和演算によって、上記２個の値の予測値を生成する予測基準値生成手段と、
上記記憶手段に記憶されているＡＤＲＣコードと上記基準値の予測値とを演算して上記複数の画素の予測画素値を出力するＡＤＲＣ復号手段と
からなることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を該第１のディジタル画像信号より解像度の高い第２のディジタル画像信号に変換するようにした画像信号変換装置において、
入力される上記第１のディジタル画像信号中の注目画素の近傍の互いに近接する上記第２のディジタル画像信号の複数の画素の予測画素値を同時に生成する第１のクラス分類適応予測手段と、
上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき分類されるクラス毎に予測係数または予測値が予め学習によって獲得され、入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき分類されるクラスに対応する上記予測係数または予測値を使用して、上記第１のディジタル画像信号中の上記注目画素の近傍の上記第２のディジタル画像信号の単一の予測画素値を生成する第２のクラス分類適応予測手段と、
上記第１のクラス分類適応予測手段からの予測画素値と上記第２のクラス分類適応予測からの予測画素値とを組み合わせて出力する手段とからなり、
上記第１のクラス分類適応予測手段は、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素の各画素値に対してＡＤＲＣ符号化の処理を施して得られるＡＤＲＣコードが予め学習により獲得され、記憶されている記憶手段と、
入力される上記第１のディジタル画像信号の上記注目画素の周辺の画素のレベル分布に基づき決定されるクラス毎に、上記複数の画素値のＡＤＲＣ符号化の際の基準値である、ブロックのダイナミックレンジ、最小値、最大値の内の２個の値の予測値が学習により予め獲得され、記憶されている予測基準値生成手段と、
上記記憶手段に記憶されているＡＤＲＣコードと上記基準値の予測値とを演算して上記複数の画素の予測画素値を出力するＡＤＲＣ復号手段と
とからなることを特徴とする画像信号変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29007396A JP3743077B2 (ja) | 1996-10-31 | 1996-10-31 | 画像信号変換装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29007396A JP3743077B2 (ja) | 1996-10-31 | 1996-10-31 | 画像信号変換装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10136317A JPH10136317A (ja) | 1998-05-22 |
| JP3743077B2 true JP3743077B2 (ja) | 2006-02-08 |
Family
ID=17751449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29007396A Expired - Fee Related JP3743077B2 (ja) | 1996-10-31 | 1996-10-31 | 画像信号変換装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3743077B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012772A (ja) * | 2003-05-29 | 2005-01-13 | Sony Corp | 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4300436B2 (ja) * | 1998-09-28 | 2009-07-22 | ソニー株式会社 | 画像データ変換装置及び画像データ変換方法 |
| KR20030020094A (ko) * | 2001-09-01 | 2003-03-08 | 엘지전자 주식회사 | 디스플레이 시스템의 해상도 변환 장치 및 방법 |
| JP4238516B2 (ja) | 2002-04-26 | 2009-03-18 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
| JP4066146B2 (ja) * | 2002-04-26 | 2008-03-26 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
| JP4265291B2 (ja) | 2003-06-06 | 2009-05-20 | ソニー株式会社 | 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム |
| JP4069136B2 (ja) | 2004-01-09 | 2008-04-02 | 松下電器産業株式会社 | 画像処理方法、画像処理装置、サーバクライアントシステム、サーバ装置、クライアント装置および画像処理システム |
-
1996
- 1996-10-31 JP JP29007396A patent/JP3743077B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005012772A (ja) * | 2003-05-29 | 2005-01-13 | Sony Corp | 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム |
| JP4552506B2 (ja) * | 2003-05-29 | 2010-09-29 | ソニー株式会社 | 情報信号の処理装置および処理方法、補正データテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10136317A (ja) | 1998-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100465559B1 (ko) | 신호변환장치및신호변환방법 | |
| WO1994014278A1 (en) | Image signal converter | |
| JP3794505B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3503166B2 (ja) | 信号変換装置および方法 | |
| JPH0974543A (ja) | 画像信号変換装置及び画像信号変換方法 | |
| JP3864400B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3743077B2 (ja) | 画像信号変換装置および方法 | |
| JP3859089B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3671469B2 (ja) | 予測係数の学習方法並びに信号変換装置および方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3796844B2 (ja) | 画像処理装置、画像処理方法、パラメータ生成装置およびパラメータ生成方法 | |
| US8228995B2 (en) | Image processing apparatus, image processing method, and program | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JP4235918B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3852133B2 (ja) | 画像信号変換装置および方法 | |
| JP3669522B2 (ja) | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 | |
| JP3772408B2 (ja) | 画像信号変換装置および方法 | |
| JP3852124B2 (ja) | 信号変換装置および方法 | |
| JP3620069B2 (ja) | 信号変換装置および方法 | |
| JP4016138B2 (ja) | 画像信号変換装置及び画像信号変換方法 | |
| JP4235917B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3856244B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3750702B2 (ja) | 信号変換装置および方法 | |
| JP4491701B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051107 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091125 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091125 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131125 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |