JP3693187B2 - 信号変換装置及び信号変換方法 - Google Patents
信号変換装置及び信号変換方法 Download PDFInfo
- Publication number
- JP3693187B2 JP3693187B2 JP10069195A JP10069195A JP3693187B2 JP 3693187 B2 JP3693187 B2 JP 3693187B2 JP 10069195 A JP10069195 A JP 10069195A JP 10069195 A JP10069195 A JP 10069195A JP 3693187 B2 JP3693187 B2 JP 3693187B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- class
- input image
- prediction
- class classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１０〜図１２）
発明が解決しようとする課題
課題を解決するための手段（図１〜図９）
作用
実施例（図１〜図９）
発明の効果
【０００２】
【産業上の利用分野】
本発明は信号変換装置及び信号変換方法に関し、例えばＮＴＳＣ等の標準解像度信号（ＳＤ：Standard Difinition ）をハイビジヨン等の高解像度信号（ＨＤ：High Difinition ）に変換するアツプコンバータに適用して好適なものである。
【０００３】
【従来の技術】
従来、この種のアツプコンバータにおいては、ＳＤ画像信号に対して周波数補間処理を施すことにより、画素数を増やしてＨＤ画像信号を形成している。例えば図１０に示すように、ＨＤ画像の走査線１上で大きな「○」印及び大きな「△」印でなるＳＤ画像信号に対して水平及び垂直方向にそれぞれ２倍の周波数補間を施すことにより、小さな「○」印及び小さな「△」印でなるＨＤ画像信号を生成する。
【０００４】
アツプコンバータによる補間例としては、ＳＤ画像信号のフイールドデータから、４種類の位置のＨＤ画素を生成する方法がある。例えば図中の「◎」印のＳＤ画素に注目すると、その近傍の４種類mode1,mode2,mode3 及びmode4 の位置のＨＤ画素を補間により生成する。
このとき用いる補間フイルタとしては、図１１に示す空間内２次元ノンセパラブルフイルタ２や、図１２に示す水平／垂直セパラブルフイルタ３がある。
【０００５】
２次元ノンセパラブルフイルタ２は４種類の位置のＨＤ画素mode1,mode2,mode3 及びmode4 それぞれに対して２次元フイルタ４Ａ〜４Ｄによつて独立に補間処理を実行し、各補間結果を選択部５において直列化しＨＤ画像信号を得る。
水平／垂直セパラブルフイルタ３は垂直補間フイルタ６Ａによりmode１及びmode３用の処理を実行し、垂直補間フイルタ６Ｂによりmode２及びmode４用の処理を実行してＨＤ画像信号の２本の走査線データを形成する。次に各走査線に対して水平フイルタ７Ａ及び７Ｂを用いて４種類の位置のＨＤ画素を補間して選択部８において直列化することによりＨＤ画像信号を生成する。
【０００６】
【発明が解決しようとする課題】
ところで上述したような従来のアツプコンバータでは補間フイルタとして理想フイルタを使用した場合でも、画素数は増えるものの空間解像度はＳＤ画像信号と変わらない。また実際には理想フイルタを用いることはできないため、ＳＤ画像信号より解像度の低下したＨＤ画像信号を生成することしかできないという問題がある。
【０００７】
このような問題を解決する方法として、入力ＳＤ画像信号の特徴に基づいてＳＤ画像信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の予測データでなる予測係数を用いて高解像度のＨＤ画像信号を生成するクラス分類適応処理方法が提案されている（特開平5-328185号公報参照）。
【０００８】
ところがクラス分類適応処理法を用いてＨＤ画像信号を生成する場合、学習によつて予測係数を生成するときに入力ＳＤ画像信号の特徴に応じて適切なクラス分類が行なわれないとＨＤ画像信号の予測精度が低下するという問題があつた。
すなわちクラス分類の能力が十分でないと、本来、別のクラスに分かれるべきＨＤ画像信号が同じクラスに分類される。このため学習により得られる予測係数は、性質の異なるＨＤ画像信号の平均値を予測することになり、その結果、解像度復元能力が低下するという問題があつた。
【０００９】
本発明は以上の点を考慮してなされたもので、入力信号の特徴に応じた適切なクラス分類のできる信号変換装置及び信号変換方法を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力画像信号をより高解像度な画像信号に変換する信号変換装置において、入力画像信号の時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理する第１のクラス分類手段と入力画像信号の周波数特性に応じて入力画像信号をクラス分類処理する第２のクラス分類手段とを有し、第１及び第２のクラス分類手段がそれぞれ別個に入力画像信号に対しクラス分類処理して得られたクラス分類処理結果を組み合わせてなるクラスを出力するクラス分類部と、入力画像信号からより高解像度な画像信号を生成するために予め設定された予測係数がクラス毎に対応付けして記憶されている予測係数記憶手段と、予測係数記憶手段に記憶されている予測係数のうちクラス分類部からのクラスに対応する予測係数と、入力画像信号とを用いて予測演算処理することにより、入力画像信号からより高解像度な画像信号を生成する予測演算部とを設けるようにした。また本発明においては、入力画像信号をより高解像度な画像信号に変換する信号変換装置において、入力画像信号の時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理する第１のクラス分類手段と入力画像信号の周波数特性に応じて入力画像信号をクラス分類処理する第２のクラス分類手段とを有し、第１及び第２のクラス分類手段がそれぞれ別個に入力画像信号に対しクラス分類処理して得られたクラス分類処理結果を組み合わせてなるクラスを出力するクラス分類部と、入力画像信号からより高解像度な画像信号を生成するために予め設定された予測値がクラス毎に対応付けして記憶されている予測値記憶手段と設け、クラス分類部からのクラスに応じて予測値記憶手段から読み出した予測値を用いて入力画像信号をより高解像度な画像信号に変換するようにした。
【００１１】
【作用】
このように信号変換装置では、時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理した結果と周波数特性に応じて入力画像信号をクラス分類処理した結果とを組み合わせたクラスに対応する予測係数を用いて予測演算処理する。また信号変換装置では、時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理した結果と周波数特性に応じて入力画像信号をクラス分類処理した結果とを組み合わせたクラスに対応する予測値を用いて入力画像信号を変換する。
【００１２】
【実施例】
以下図面について本発明の一実施例を詳述する。
【００１３】
図１に示す１０は全体としてクラス分類適応処理を適用してＳＤ画像信号からＨＤ画像信号を生成する２次元ノンセパラブルフイルタによるアツプコンバータを示す。このアツプコンバータ１０に入力端１１を通じて入力されるＳＤ画像信号Ｓ1 は、クラス分類部１２及び予測演算部１３に並列に送出される。クラス分類部１２では新たに生成するＨＤ画像信号の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスデータd0を生成する。クラスd0は記憶手段である予測係数ＲＯＭ(Read Only Memory)１４にアドレスデータとして送出される。
【００１４】
予測係数ＲＯＭ１４には、予め学習により求められたクラス毎の予測係数がクラスd0に対応して格納されている。予測係数ＲＯＭ１４ではクラスd0をアドレスデータとして予測データd1を読み出して予測演算部１３に送出する。予測演算部１３は、ＳＤ画像信号Ｓ1 に対して予測データd1を用いた所定の予測演算を実行することによりＨＤ画像信号Ｓ2 に変換して出力端１６より送出する。
【００１５】
アツプコンバータ１０の予測演算部１３は４つの予測演算部１３Ａ〜１３Ｄから形成され、各演算部においてそれぞれ走査線１上の４種類の位置mode1 、mode2 、 mode3及びmode4 に対応するＨＤ画素d2、d3、d4及びd5を生成する。各予測演算部１３Ａ〜１３ＤではそれぞれＳＤ画像信号Ｓ1 に対して予測データd1を用いた積和演算を実行する。各予測演算部１３Ａ〜１３Ｄにおいて生成された各ＨＤ画素d2、d3、d4及びd5は選択部１５に送出される。選択部１５では各ＨＤ画素d2、d3、d4及びd5をバツフアメモリ（図示せず）を用いて所望の時系列に並び替えて出力端１６からＨＤ画像信号Ｓ2 として出力する。
【００１６】
図２に示すようにクラス分類部１２では、入力端２０を通じて入力されるＳＤ画像信号Ｓ1 がＡＤＲＣクラス分類部２１及びアダマール変換クラス分類部２２に並列に送出される。ＡＤＲＣクラス分類部２１及びアダマール変換クラス分類部２２はそれぞれクラスc0及びc1を生成し、後段の予測係数ＲＯＭ１４に送出する。予測係数ＲＯＭ１４では図３に示すように、ＡＤＲＣクラスc0と周波数クラスc1と独立した２種類のクラスを組み合わせて新たにクラスd0を生成し、このクラスd0に基づいて予測係数ＲＯＭ１４に予め格納されている予測データd1を読み出す。
【００１７】
クラス分類部１２では、図４に示すような入力ＳＤ画像信号Ｓ1 （図中◎で示す）に対してクラス生成タツプ（図中○で示す）でなる７画素を入力ＳＤ画像信号Ｓ1 のクラス生成タツプとしてサンプリングする。これらの７画素を用いて入力信号の波形特性に応じてクラスを生成する。
【００１８】
ＡＤＲＣクラス分類部２１では、上述した７画素分のＰＣＭデータに対してＡＤＲＣにより再量子化によるデータ圧縮処理を施してクラス数を削減する。すなわち７画素のデータから定義されるダイナミツクレンジＤＲに基づいて７画素の最小値を除去し、各画素の画素レベルを適応的に１ビツト量子化することによつてクラス数を128 クラスに削減する。ＡＤＲＣはＶＴＲ(Video Tape Recorder) 用信号圧縮方式として開発されたものであるが、少ないクラス数で入力信号の波形特性を表現するのに適している。
【００１９】
ＡＤＲＣによるデータ圧縮処理は再量子化として定義される量子化ステツプ幅により、画素を再量子化するものである。再量子化により得られるＡＤＲＣコードｃi はダイナミツクレンジＤＲ、再量子化ビツト数ｋ、ＳＤ画素ｘi 及びその近傍領域内の最小画素レベルＭＩＮとを用いて次式
【数１】
によつて表される。
このようにして入力ＳＤ画像信号Ｓ1 に対して（１）式で定義されるＡＤＲＣコードｃi を用いてＡＤＲＣクラスc0が生成される。このようにして得られるＡＤＲＣクラスc0は時空間領域に属するもので、表現される画素の状態は有限クラス数では注目画素近傍の信号変化に重点を置いたものとなる。
【００２０】
一方、アダマール変換クラス分類部２２ではアダマール変換により周波数特性によるクラス分類を実行する。アダマール変換は互いに直交する複数の直交変換基底より構成される直交変換である。このアダマール変換によつて入力ＳＤ画像信号Ｓ1 に対して直交変換を施し、入力ＳＤ画像信号Ｓ1 を互いに独立で無相関な複数の直交変換成分に分離する。
【００２１】
すなわちアダマール変換クラス分類部２２では１次元の入力ＳＤ画像信号Ｓ1 に対して４次アダマール変換を施す。４次アダマール変換は入力データＸ、アダマール変換行列Ｈ、出力Ｙとして次式
【数２】
によつて表される。
この（２）式のアダマール変換行列Ｈの係数から分かるようにアダマール変換は加減算のみで出力が得られるため回路の負担が小さい。
【００２２】
４次アダマール変換ではアダマール変換行列Ｈの中に４つのアダマール基底が存在する。各基底は互いに直交しており、いくつかの周波数成分への分離が可能となる。
アダマール基底と入力信号との演算により、４個のアダマール成分ｙ１〜ｙ４が得られる。４個のアダマール成分ｙ１〜ｙ４は次段の予測係数ＲＯＭ１４に送られる。このアダマール変換クラス分類部２２より得られる周波数クラスc1は入力ＳＤ画像信号Ｓ1 の比較的広い範囲に亘る信号特性を把握して画素に反映する。
【００２３】
クラス分類部１２は図３に示すように、ＡＤＲＣクラスc0及び周波数クラスc1の２種類のクラス分類結果を用いて特定クラスd0を生成する。このように１つの入力ＳＤ画像信号Ｓ1 に対して２種類のクラス分類法を組み合わせたクラス分類を実行することにより、１種類だけのクラス分類に比して、より広範囲の信号特性に対応したクラス分類ができる。
【００２４】
クラス分類部１２より出力されるクラスd0は予測係数ＲＯＭ１４に送出される。予測係数ＲＯＭ１４はクラスd0をＲＯＭのアドレスとして予測データd1を読み出して予測演算部１３に送出する。予測演算部１３Ａ〜１３Ｄでは予測データd1を用いて入力ＳＤ画像信号Ｓ1 に対して予測演算を実行する。この結果、各予測演算部１３Ａ〜１３ＤにおいてＨＤ画像上の位置mode1 〜mode4 に相当するＨＤ補間画素の推定画素ｙ′がそれぞれ生成される。
【００２５】
予測演算部１３Ａ〜１３Ｄにおいて生成される推定画素ｙ′は図５に示すように入力ＳＤ画像信号Ｓ1 による注目画素（図中◎で示す）及び周辺画素（図中○で示す）でなる13個のタツプデータｘi と、予測係数ＲＯＭ１４からクラスＣ０に応じて読み出された予測データd1でなる予測係数ｗi を用いて次の予測式
【数３】
を用いて生成する。
【００２６】
ここで用いられる予測係数ｗi は予め学習によつて求められ、予測係数ＲＯＭ１３に格納されている。
【００２７】
予測係数の学習は実際上、図６に示す予測係数学習回路３０によつて実行される。すなわちＨＤ画像信号Ｓ20を間引きフイルタ３１によつてＳＤ画像信号Ｓ10に変換してクラス分類部１２と同様の構成でなるクラス分類部３２に送出する。クラス分類部３２はＳＤ画像信号Ｓ10を用いてクラス分類処理を実行し、各クラス分類法毎にそれぞれ得られるクラスc0及びc1に基づいてクラスd0を設定する。
【００２８】
一方、予測係数算出回路３３は、各クラス毎に対応したＨＤ補間画素の予測データd1を入力ＨＤ画像信号Ｓ20から得られるＨＤ画素及びＳＤ画素でなる一組の学習データを用いて算出する。具体的には上述した学習データから予測データでなる予測係数を用いて線形一次結合モデルをたて、最小自乗法を用いて予測係数を求める。これにより、予測係数ＲＯＭ１４にはクラスd0に対応付けられた予測データd1が登録される。
【００２９】
次に予測係数ＲＯＭ１４に格納する予測式（３）式の予測係数の学習について、具体的な算出方法を図７に示す予測係数学習手順にそつて説明する。すなわち予測係数学習手順はステツプＳＰ０で開始されると、先ずステツプＳＰ１において予測係数を学習するために、既に知られている画像に対応した学習データを生成する。
【００３０】
具体的には、図１０に示すＨＤ画像において、ＨＤ画素をＨＤ注目画素として、このＨＤ注目画素を周辺のＨＤ画素及びＳＤ画素でなる一組の学習データによつて予測係数を用いた線形一次結合モデルによつて表す。このとき用いた予測係数を各クラス毎に最小自乗法を用いて求める。なお、このように学習データを生成する際に、１つの画像のみを用いるのではなく複数の画像を用いて多数の学習データを生成すれば、より正確な予測係数を得ることができる。
【００３１】
ステツプＳＰ２では、ステツプＳＰ１で生成した学習データの数が予測係数を得るのに必要なだけ生成されたか否か判定する。ここで学習データ数が必要数に満たないと判定された場合には予測係数学習手順はステツプＳＰ３に移る。
ステツプＳＰ３では、クラス学習データをクラス分類する。クラス分類は先ず、初めに学習サンプリングデータの局所的な平坦度を検出し、当該検出結果に応じてクラス分類に用いる画素を選択する。これにより入力信号の変化の小さいものを学習対象から除外してノイズの影響を排除することができる。このクラス学習データのクラス分類は入力ＳＤ画像信号Ｓ１ をクラス分類する場合と同様の処理を実行することによつてなされる。
【００３２】
続いて予測係数学習手順はステツプＳＰ５において、クラス分類された学習データに基づき、各クラス毎に正規化方程式を形成する。
ステツプＳＰ５での処理を具体的に説明する。ここでは一般化するために学習データとしてｎ個のサンプリング画素が存在する場合について述べる。先ず各サンプリング画素の画素レベルｘ1 、……、ｘn と注目補間画素のサブサンプル以前の画素レベルｙの関係を、クラス毎に予測係数ｗ1 、……、ｗn によるｎタツプの線型一次結合モデルによる予測式で表す。この予測式を次式
【数４】
に示す。
この（４）式における予測係数ｗ1 、……、ｗn を求めることにより、画素レベルｙを推定する。
【００３３】
次に予測係数ｗ1 、……、ｗn を最小自乗法により生成する例を示す。最小自乗法は次のように適用される。
一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の観測方程式を考える。
【数５】
この（５）式の観測方程式により収集されたデータに対して最小自乗法を適用する。（５）式の例においては、ｎ＝１３、ｍが学習データ数となる。
【００３４】
先ず、（５）式の観測方程式をもとに、次の残差方程式を考える。
【数６】
（５）式の残差方程式から、各ｗi の最確値は次式
【数７】
を最小にする条件が成り立つ場合と考えられる。
すなわち（７）式のｗi による偏微分が次式
【数８】
のときに、この（８）式のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、……、ｗn を算出すれば良い。そこで残差方程式（８）式から次式が得られる。
【数９】
この（９）式と（８）式とにより次式
【数１０】
が得られる。そして（６）式及び（１０）式から次に示す正規方程式が得られる。
【数１１】
（１１）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能なので、これにより各ωi の最確値を求めることができる。
この正規方程式は、掃き出し法（Gauss-Jordanの消去法）を用いて解くことができる。
【００３５】
この予測係数算出処理手順では、各クラス毎に未定係数ｗ１、……、ｗｎを求めるために未知数の数ｎと同じ数の正規化方程式が形成されるまでステツプＳＰ１−ＳＰ２−ＳＰ３−ＳＰ５−ＳＰ１のループを繰り返す。
【００３６】
このようにして必要な数の正規化方程式が得られると、ステツプＳＰ２では学習データが終了したか否かの判定に対して肯定結果が得られ、処理はステツプＳＰ４の予測係数決定に移る。
【００３７】
ステツプＳＰ４では、（１１）式の正規化方程式を解いて各クラス毎の予測係数ｗ１、……、ｗｎを決定する。このようにして得られた予測係数を次のステツプＳＰ６でクラス毎にアドレス分割されたＲＯＭ等の記憶手段に登録する。以上の学習により、クラス分類適応処理の予測係数が生成され次のステツプＳＰ７で予測係数算出処理手順を終了する。
【００３８】
以上の構成において、アツプコンバータ１０の入力端１１よりＳＤ画像信号Ｓ1 が入力されると、ＳＤ画像信号Ｓ1 はクラス分類部１２及び予測係数演算部１３に並列に送出される。クラス分類部１２ではＳＤ画像信号Ｓ1 に基づいてクラスデータd0を生成して予測係数ＲＯＭ１４に送出する。予測係数ＲＯＭ１４では予め学習によつて求められている予測係数d1をクラスデータd0に応じて読み出し、予測係数演算部１３に送出する。
【００３９】
クラス分類部１２には、入力端２０を通じて入力されるＳＤ画像信号Ｓ1 がＡＤＲＣクラス分類部２１及びアダマール変換クラス分類部２２に同時に送出される。ＡＤＲＣクラス分類部２１では入力ＳＤ画像信号Ｓ1 をＡＤＲＣによつてデータ圧縮してＡＤＲＣクラスc0を生成する。一方、アダマール変換クラス分類部２２では入力ＳＤ画像信号Ｓ1 をアダマール変換により互いに独立した複数の直交成分に分離して周波数クラスc1を生成する。
【００４０】
クラス分類部１２ではＡＤＲＣクラスc0及び周波数クラスc1とを組み合わせてクラスd0を生成して予測係数ＲＯＭ１４に送出する。このようにして生成されたクラスd0はＡＤＲＣクラスc0及び周波数クラスc1の２種類のクラス分類結果を合わせたものとなる。従つて、入力ＳＤ画像信号Ｓ1 は時空間領域のＡＤＲＣクラスd0と周波数領域の周波数クラスd1とを合わせたクラス分類特性を有することになる。これにより１種類のクラス分類だけを用いた場合に比して、より広い範囲の信号特性に対応することができる。つまりＳＤ画像信号Ｓ1 の特徴に応じた適切なクラス分けができるようになる。
【００４１】
予測係数演算部１３では各予測演算部１３Ａ〜１３Ｄにおいて入力端１１から送出されてくるＳＤ画像信号Ｓ1 及び予測係数ＲＯＭ１４から送出される予測データd1をもとにして走査線上の４つの位置（mode1 〜mode4)に対応したＨＤ画像信号Ｓ2 を生成する。
【００４２】
以上の構成によれば、入力ＳＤ画像信号Ｓ1 に対してＡＤＲＣクラス分類及びアダマール変換クラス分類を施してその結果得られるＡＤＲＣクラスc0、周波数クラスc1の両方の特性を合わせたクラスd0を用いて対応する予測係数を選択できる。これにより１種類のクラス分類だけを用いた場合に比較して、より広範囲に入力信号特性に対応したクラス分類ができる。
これにより入力ＳＤ画像信号Ｓ1 の多様な信号特性に対応した適切なクラス分類がなし得、ＨＤ画像信号を生成する際に用いる予測係数の精度を向上させて、空間解像度の向上したＨＤ画像信号を得ることができる。
【００４３】
なお上述の実施例においては、入力画像信号をＡＤＲＣクラス分類とアダマール変換クラス分類の独立した組み合わせによるクラスに基づいてクラス分類した場合について述べたが、本発明はこれに限らず、ＡＤＲＣクラス分類とアダマール変換クラス分類とを従属的に組み合わせたクラスによつてクラス分類するようにしても良い。これにより、より精度の高いクラス分類がなし得る。
【００４４】
また上述の実施例においては、タツプデータのデータ圧縮にＡＤＲＣの手法を用いた場合について述べたが、本発明はこれに限らず、例えばＤＰＣＭ（Differential Pulse Code Modulatin ）やＶＱ（Vector Quantization ）の手法を用いてデータ圧縮しても良い。
【００４５】
さらに上述の実施例においては、周波数領域のクラス分類法としてアダマール変換クラス分類法を用いた場合について述べたが、本発明はこれに限らず、例えば直交変換手法として、フーリエ変換、カルーネンレーベ変換、ハール変換、離散余弦変換（ＤＣＴ）等の手法を用いても良い。
【００４６】
また上述の実施例においては、アツプコンバータとして２次元ノンセパラブルフイルタを用いた場合について述べたが、本発明はこれに限らず、図１との対応部分に同符号を付した、図８に示すような垂直／水平セパラブル構成でなるアツプコンバータ４０を用いても良い。
【００４７】
アツプコンバータ４０においては、先ず、入力端４１を通じて入力されたＳＤ画像信号Ｓ1 がクラス分類部１２と予測演算部４３に供給される。予測演算部４３は走査線の位置mode１、mode２に対応する垂直予測演算部４３Ａ及び水平予測演算部４３Ｂと走査線の位置mode３、mode４に対応する垂直予測演算部４３Ｃ及び水平予測演算部４３Ｄの２種類に分かれる。クラス分類部１２では入力ＳＤ画像信号Ｓ1 に応じたクラスd0が生成され、タツプ予測係数を予め記憶している記憶手段である予測係数ＲＯＭ４４に送出する。予測係数ＲＯＭ４４はタツプ予測係数の垂直成分と水平成分を記憶する垂直係数ＲＯＭ４４Ａと水平係数ＲＯＭ４４Ｂとに分かれている。クラスd0は垂直係数ＲＯＭ４４Ａと水平係数ＲＯＭ４４Ｂのそれぞれに供給される。
【００４８】
まず垂直係数ＲＯＭ４４Ａより出力される垂直予測係数d6は垂直予測演算部４３Ａ及び４３Ｃに供給される。
入力ＳＤ画像信号Ｓ1 と垂直予測係数d6による積和演算により垂直推定値d7、d8が生成される。この垂直推定値d7、d8は次段の水平予測演算部４３Ｂ及び４３Ｄに供給される。
【００４９】
水平係数ＲＯＭ４４Ｂより生成される水平予測係数d9は水平予測演算部４３Ｂ及び４３Ｄに供給され、垂直推定値d7、d8との積和演算によりＨＤ画素d10 、d11 信号を得る。
このＨＤ画素d10 、d11 信号は選択的に伝送され、選択部１５において適切に並び替えられ、出力端４６より最終的な出力であるＨＤ画像信号Ｓ2 として出力される。これにより上述した実施例と同様の効果が得られる。
【００５０】
また上述の実施例においては、ＨＤ注目画素と注目画素周辺の伝送画素との相関関係を表す予測係数を用いてＳＤ画素から注目画素周辺のＨＤ画素を生成した場合について述べたが、本発明はこれに限らず、予測係数に代えて各クラス毎のＨＤ注目画素の予測値を予め設定して記憶手段に格納するようにしても良い。予測値によるＳＤ画像信号のＨＤ画像信号への信号変換は、図１との対応部分に同符号を付した、図９に示すようなアツプコンバータ６０を用いる。
【００５１】
このアツプコンバータ６０には入力端６１を通じてクラス分類部１２にＳＤ画像信号Ｓ1 が送出される。このクラス分類部１２は、新たに生成するＨＤ画像信号の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスd0を生成して予測値ＲＯＭ６２Ａ〜６２Ｄに送出する。予測値ＲＯＭ６２Ａ〜６２Ｄには予め学習により求められた注目画素周辺のＨＤ画素の予測値がクラス毎にクラスd0に対応して格納されている。予測値ＲＯＭ６２Ａ〜６２Ｄはクラスd0をアドレスデータとして予測値d20 〜d23 を読み出し、選択部１５を通じて出力端６３よりＨＤ画像信号Ｓ2 として出力する。
【００５２】
ここで予測値を求める第１の方法としては加重平均法を用いた学習法がある。加重平均法は、注目画素周辺のＳＤ画素を用いて注目画素をクラス分類し、クラス毎に積算した注目画素（すなわちＨＤ画素）の画素値を注目画素の個数に応じてインクリメントされた度数によつて割り算するといつた処理を様々な画像に対して行うことにより予測値を求める。
【００５３】
さらに予測係数を求める第２の方法としては、正規化による学習法がある。この学習法は、先ず注目画素を含む複数の画素からなるブロツクを形成し、ブロツク内のダイナミツクレンジによつて注目画素の画素値からそのブロツクの基準値を減算した値を正規化する。次にこの正規化された値の累積値を累積度数で割り算することにより予測値を得る。
【００５４】
また上述の実施例においては、ＳＤ画像信号をＨＤ画像信号に信号変換した場合について述べたが、本発明はこれに限らず、画像拡大する際の補間画素を生成するのに用いても良い。
【００５５】
【発明の効果】
上述のように本発明によれば、時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理した結果と周波数特性に応じて入力画像信号をクラス分類処理した結果とを組み合わせたクラスに対応する予測係数を用いて予測演算処理するようにしたことにより、１種類のクラス分類法のみを用いる場合と比べて、予測演算処理の結果得られる画像信号の品質を格段と向上させることができる。また本発明によれば、時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理した結果と周波数特性に応じて入力画像信号をクラス分類処理した結果とを組み合わせたクラスに対応する予測値を用いて入力画像信号を変換するようにしたことにより、１種類のクラス分類法のみを用いる場合と比べて、当該変換の結果得られる画像信号の品質を格段と向上させることができる。
【図面の簡単な説明】
【図１】２次元ノンセパラブルフイルタで構成されるアツプコンバータを示すブロツク図である。
【図２】図１のクラス分類部、予測係数ＲＯＭ及び予測演算部の説明に供するブロツク図である。
【図３】クラス分類部から出力されるクラスの説明に供する図表である。
【図４】クラス生成のタツプパターンを示す略線図である。
【図５】学習データの予測タツプパターンを示す略線図である。
【図６】予測データの登録の説明に供するブロツク図である。
【図７】予測係数の学習手順を示すフローチヤートである。
【図８】垂直／水平セパラブルフイルタによるアツプコンバータを示すブロツク図である。
【図９】予測値を用いて補間画素を生成するアツプコンバータを示すブロツク図である。
【図１０】ＳＤ／ＨＤ画素の空間配置例を示す略線図である。
【図１１】従来の２次元ノンセパラブルフイルタを示すブロツク図である。
【図１２】従来の垂直／水平セパラブルフイルタを示すブロツク図である。
【符号の説明】
２、３……補間フイルタ、４Ａ〜４Ｄ……２次元フイルタ、５、８、１５……選択部、６Ａ、６Ｂ……垂直補間フイルタ、７Ａ、７Ｂ……水平補間フイルタ、１０、４０、６０……アツプコンバータ、１１、２０、４１、６１……入力端、１２、３２……クラス分類部、１３、４３……予測演算部、１４、４４……予測係数ＲＯＭ、１６、２３、４６、６３……出力端、２１……ＡＤＲＣクラス分類部、２２……アダマール変換部クラス分類部。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１０〜図１２）
発明が解決しようとする課題
課題を解決するための手段（図１〜図９）
作用
実施例（図１〜図９）
発明の効果
【０００２】
【産業上の利用分野】
本発明は信号変換装置及び信号変換方法に関し、例えばＮＴＳＣ等の標準解像度信号（ＳＤ：Standard Difinition ）をハイビジヨン等の高解像度信号（ＨＤ：High Difinition ）に変換するアツプコンバータに適用して好適なものである。
【０００３】
【従来の技術】
従来、この種のアツプコンバータにおいては、ＳＤ画像信号に対して周波数補間処理を施すことにより、画素数を増やしてＨＤ画像信号を形成している。例えば図１０に示すように、ＨＤ画像の走査線１上で大きな「○」印及び大きな「△」印でなるＳＤ画像信号に対して水平及び垂直方向にそれぞれ２倍の周波数補間を施すことにより、小さな「○」印及び小さな「△」印でなるＨＤ画像信号を生成する。
【０００４】
アツプコンバータによる補間例としては、ＳＤ画像信号のフイールドデータから、４種類の位置のＨＤ画素を生成する方法がある。例えば図中の「◎」印のＳＤ画素に注目すると、その近傍の４種類mode1,mode2,mode3 及びmode4 の位置のＨＤ画素を補間により生成する。
このとき用いる補間フイルタとしては、図１１に示す空間内２次元ノンセパラブルフイルタ２や、図１２に示す水平／垂直セパラブルフイルタ３がある。
【０００５】
２次元ノンセパラブルフイルタ２は４種類の位置のＨＤ画素mode1,mode2,mode3 及びmode4 それぞれに対して２次元フイルタ４Ａ〜４Ｄによつて独立に補間処理を実行し、各補間結果を選択部５において直列化しＨＤ画像信号を得る。
水平／垂直セパラブルフイルタ３は垂直補間フイルタ６Ａによりmode１及びmode３用の処理を実行し、垂直補間フイルタ６Ｂによりmode２及びmode４用の処理を実行してＨＤ画像信号の２本の走査線データを形成する。次に各走査線に対して水平フイルタ７Ａ及び７Ｂを用いて４種類の位置のＨＤ画素を補間して選択部８において直列化することによりＨＤ画像信号を生成する。
【０００６】
【発明が解決しようとする課題】
ところで上述したような従来のアツプコンバータでは補間フイルタとして理想フイルタを使用した場合でも、画素数は増えるものの空間解像度はＳＤ画像信号と変わらない。また実際には理想フイルタを用いることはできないため、ＳＤ画像信号より解像度の低下したＨＤ画像信号を生成することしかできないという問題がある。
【０００７】
このような問題を解決する方法として、入力ＳＤ画像信号の特徴に基づいてＳＤ画像信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の予測データでなる予測係数を用いて高解像度のＨＤ画像信号を生成するクラス分類適応処理方法が提案されている（特開平5-328185号公報参照）。
【０００８】
ところがクラス分類適応処理法を用いてＨＤ画像信号を生成する場合、学習によつて予測係数を生成するときに入力ＳＤ画像信号の特徴に応じて適切なクラス分類が行なわれないとＨＤ画像信号の予測精度が低下するという問題があつた。
すなわちクラス分類の能力が十分でないと、本来、別のクラスに分かれるべきＨＤ画像信号が同じクラスに分類される。このため学習により得られる予測係数は、性質の異なるＨＤ画像信号の平均値を予測することになり、その結果、解像度復元能力が低下するという問題があつた。
【０００９】
本発明は以上の点を考慮してなされたもので、入力信号の特徴に応じた適切なクラス分類のできる信号変換装置及び信号変換方法を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力画像信号をより高解像度な画像信号に変換する信号変換装置において、入力画像信号の時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理する第１のクラス分類手段と入力画像信号の周波数特性に応じて入力画像信号をクラス分類処理する第２のクラス分類手段とを有し、第１及び第２のクラス分類手段がそれぞれ別個に入力画像信号に対しクラス分類処理して得られたクラス分類処理結果を組み合わせてなるクラスを出力するクラス分類部と、入力画像信号からより高解像度な画像信号を生成するために予め設定された予測係数がクラス毎に対応付けして記憶されている予測係数記憶手段と、予測係数記憶手段に記憶されている予測係数のうちクラス分類部からのクラスに対応する予測係数と、入力画像信号とを用いて予測演算処理することにより、入力画像信号からより高解像度な画像信号を生成する予測演算部とを設けるようにした。また本発明においては、入力画像信号をより高解像度な画像信号に変換する信号変換装置において、入力画像信号の時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理する第１のクラス分類手段と入力画像信号の周波数特性に応じて入力画像信号をクラス分類処理する第２のクラス分類手段とを有し、第１及び第２のクラス分類手段がそれぞれ別個に入力画像信号に対しクラス分類処理して得られたクラス分類処理結果を組み合わせてなるクラスを出力するクラス分類部と、入力画像信号からより高解像度な画像信号を生成するために予め設定された予測値がクラス毎に対応付けして記憶されている予測値記憶手段と設け、クラス分類部からのクラスに応じて予測値記憶手段から読み出した予測値を用いて入力画像信号をより高解像度な画像信号に変換するようにした。
【００１１】
【作用】
このように信号変換装置では、時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理した結果と周波数特性に応じて入力画像信号をクラス分類処理した結果とを組み合わせたクラスに対応する予測係数を用いて予測演算処理する。また信号変換装置では、時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理した結果と周波数特性に応じて入力画像信号をクラス分類処理した結果とを組み合わせたクラスに対応する予測値を用いて入力画像信号を変換する。
【００１２】
【実施例】
以下図面について本発明の一実施例を詳述する。
【００１３】
図１に示す１０は全体としてクラス分類適応処理を適用してＳＤ画像信号からＨＤ画像信号を生成する２次元ノンセパラブルフイルタによるアツプコンバータを示す。このアツプコンバータ１０に入力端１１を通じて入力されるＳＤ画像信号Ｓ1 は、クラス分類部１２及び予測演算部１３に並列に送出される。クラス分類部１２では新たに生成するＨＤ画像信号の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスデータd0を生成する。クラスd0は記憶手段である予測係数ＲＯＭ(Read Only Memory)１４にアドレスデータとして送出される。
【００１４】
予測係数ＲＯＭ１４には、予め学習により求められたクラス毎の予測係数がクラスd0に対応して格納されている。予測係数ＲＯＭ１４ではクラスd0をアドレスデータとして予測データd1を読み出して予測演算部１３に送出する。予測演算部１３は、ＳＤ画像信号Ｓ1 に対して予測データd1を用いた所定の予測演算を実行することによりＨＤ画像信号Ｓ2 に変換して出力端１６より送出する。
【００１５】
アツプコンバータ１０の予測演算部１３は４つの予測演算部１３Ａ〜１３Ｄから形成され、各演算部においてそれぞれ走査線１上の４種類の位置mode1 、mode2 、 mode3及びmode4 に対応するＨＤ画素d2、d3、d4及びd5を生成する。各予測演算部１３Ａ〜１３ＤではそれぞれＳＤ画像信号Ｓ1 に対して予測データd1を用いた積和演算を実行する。各予測演算部１３Ａ〜１３Ｄにおいて生成された各ＨＤ画素d2、d3、d4及びd5は選択部１５に送出される。選択部１５では各ＨＤ画素d2、d3、d4及びd5をバツフアメモリ（図示せず）を用いて所望の時系列に並び替えて出力端１６からＨＤ画像信号Ｓ2 として出力する。
【００１６】
図２に示すようにクラス分類部１２では、入力端２０を通じて入力されるＳＤ画像信号Ｓ1 がＡＤＲＣクラス分類部２１及びアダマール変換クラス分類部２２に並列に送出される。ＡＤＲＣクラス分類部２１及びアダマール変換クラス分類部２２はそれぞれクラスc0及びc1を生成し、後段の予測係数ＲＯＭ１４に送出する。予測係数ＲＯＭ１４では図３に示すように、ＡＤＲＣクラスc0と周波数クラスc1と独立した２種類のクラスを組み合わせて新たにクラスd0を生成し、このクラスd0に基づいて予測係数ＲＯＭ１４に予め格納されている予測データd1を読み出す。
【００１７】
クラス分類部１２では、図４に示すような入力ＳＤ画像信号Ｓ1 （図中◎で示す）に対してクラス生成タツプ（図中○で示す）でなる７画素を入力ＳＤ画像信号Ｓ1 のクラス生成タツプとしてサンプリングする。これらの７画素を用いて入力信号の波形特性に応じてクラスを生成する。
【００１８】
ＡＤＲＣクラス分類部２１では、上述した７画素分のＰＣＭデータに対してＡＤＲＣにより再量子化によるデータ圧縮処理を施してクラス数を削減する。すなわち７画素のデータから定義されるダイナミツクレンジＤＲに基づいて７画素の最小値を除去し、各画素の画素レベルを適応的に１ビツト量子化することによつてクラス数を128 クラスに削減する。ＡＤＲＣはＶＴＲ(Video Tape Recorder) 用信号圧縮方式として開発されたものであるが、少ないクラス数で入力信号の波形特性を表現するのに適している。
【００１９】
ＡＤＲＣによるデータ圧縮処理は再量子化として定義される量子化ステツプ幅により、画素を再量子化するものである。再量子化により得られるＡＤＲＣコードｃi はダイナミツクレンジＤＲ、再量子化ビツト数ｋ、ＳＤ画素ｘi 及びその近傍領域内の最小画素レベルＭＩＮとを用いて次式
【数１】
このようにして入力ＳＤ画像信号Ｓ1 に対して（１）式で定義されるＡＤＲＣコードｃi を用いてＡＤＲＣクラスc0が生成される。このようにして得られるＡＤＲＣクラスc0は時空間領域に属するもので、表現される画素の状態は有限クラス数では注目画素近傍の信号変化に重点を置いたものとなる。
【００２０】
一方、アダマール変換クラス分類部２２ではアダマール変換により周波数特性によるクラス分類を実行する。アダマール変換は互いに直交する複数の直交変換基底より構成される直交変換である。このアダマール変換によつて入力ＳＤ画像信号Ｓ1 に対して直交変換を施し、入力ＳＤ画像信号Ｓ1 を互いに独立で無相関な複数の直交変換成分に分離する。
【００２１】
すなわちアダマール変換クラス分類部２２では１次元の入力ＳＤ画像信号Ｓ1 に対して４次アダマール変換を施す。４次アダマール変換は入力データＸ、アダマール変換行列Ｈ、出力Ｙとして次式
【数２】
この（２）式のアダマール変換行列Ｈの係数から分かるようにアダマール変換は加減算のみで出力が得られるため回路の負担が小さい。
【００２２】
４次アダマール変換ではアダマール変換行列Ｈの中に４つのアダマール基底が存在する。各基底は互いに直交しており、いくつかの周波数成分への分離が可能となる。
アダマール基底と入力信号との演算により、４個のアダマール成分ｙ１〜ｙ４が得られる。４個のアダマール成分ｙ１〜ｙ４は次段の予測係数ＲＯＭ１４に送られる。このアダマール変換クラス分類部２２より得られる周波数クラスc1は入力ＳＤ画像信号Ｓ1 の比較的広い範囲に亘る信号特性を把握して画素に反映する。
【００２３】
クラス分類部１２は図３に示すように、ＡＤＲＣクラスc0及び周波数クラスc1の２種類のクラス分類結果を用いて特定クラスd0を生成する。このように１つの入力ＳＤ画像信号Ｓ1 に対して２種類のクラス分類法を組み合わせたクラス分類を実行することにより、１種類だけのクラス分類に比して、より広範囲の信号特性に対応したクラス分類ができる。
【００２４】
クラス分類部１２より出力されるクラスd0は予測係数ＲＯＭ１４に送出される。予測係数ＲＯＭ１４はクラスd0をＲＯＭのアドレスとして予測データd1を読み出して予測演算部１３に送出する。予測演算部１３Ａ〜１３Ｄでは予測データd1を用いて入力ＳＤ画像信号Ｓ1 に対して予測演算を実行する。この結果、各予測演算部１３Ａ〜１３ＤにおいてＨＤ画像上の位置mode1 〜mode4 に相当するＨＤ補間画素の推定画素ｙ′がそれぞれ生成される。
【００２５】
予測演算部１３Ａ〜１３Ｄにおいて生成される推定画素ｙ′は図５に示すように入力ＳＤ画像信号Ｓ1 による注目画素（図中◎で示す）及び周辺画素（図中○で示す）でなる13個のタツプデータｘi と、予測係数ＲＯＭ１４からクラスＣ０に応じて読み出された予測データd1でなる予測係数ｗi を用いて次の予測式
【数３】
【００２６】
ここで用いられる予測係数ｗi は予め学習によつて求められ、予測係数ＲＯＭ１３に格納されている。
【００２７】
予測係数の学習は実際上、図６に示す予測係数学習回路３０によつて実行される。すなわちＨＤ画像信号Ｓ20を間引きフイルタ３１によつてＳＤ画像信号Ｓ10に変換してクラス分類部１２と同様の構成でなるクラス分類部３２に送出する。クラス分類部３２はＳＤ画像信号Ｓ10を用いてクラス分類処理を実行し、各クラス分類法毎にそれぞれ得られるクラスc0及びc1に基づいてクラスd0を設定する。
【００２８】
一方、予測係数算出回路３３は、各クラス毎に対応したＨＤ補間画素の予測データd1を入力ＨＤ画像信号Ｓ20から得られるＨＤ画素及びＳＤ画素でなる一組の学習データを用いて算出する。具体的には上述した学習データから予測データでなる予測係数を用いて線形一次結合モデルをたて、最小自乗法を用いて予測係数を求める。これにより、予測係数ＲＯＭ１４にはクラスd0に対応付けられた予測データd1が登録される。
【００２９】
次に予測係数ＲＯＭ１４に格納する予測式（３）式の予測係数の学習について、具体的な算出方法を図７に示す予測係数学習手順にそつて説明する。すなわち予測係数学習手順はステツプＳＰ０で開始されると、先ずステツプＳＰ１において予測係数を学習するために、既に知られている画像に対応した学習データを生成する。
【００３０】
具体的には、図１０に示すＨＤ画像において、ＨＤ画素をＨＤ注目画素として、このＨＤ注目画素を周辺のＨＤ画素及びＳＤ画素でなる一組の学習データによつて予測係数を用いた線形一次結合モデルによつて表す。このとき用いた予測係数を各クラス毎に最小自乗法を用いて求める。なお、このように学習データを生成する際に、１つの画像のみを用いるのではなく複数の画像を用いて多数の学習データを生成すれば、より正確な予測係数を得ることができる。
【００３１】
ステツプＳＰ２では、ステツプＳＰ１で生成した学習データの数が予測係数を得るのに必要なだけ生成されたか否か判定する。ここで学習データ数が必要数に満たないと判定された場合には予測係数学習手順はステツプＳＰ３に移る。
ステツプＳＰ３では、クラス学習データをクラス分類する。クラス分類は先ず、初めに学習サンプリングデータの局所的な平坦度を検出し、当該検出結果に応じてクラス分類に用いる画素を選択する。これにより入力信号の変化の小さいものを学習対象から除外してノイズの影響を排除することができる。このクラス学習データのクラス分類は入力ＳＤ画像信号Ｓ１ をクラス分類する場合と同様の処理を実行することによつてなされる。
【００３２】
続いて予測係数学習手順はステツプＳＰ５において、クラス分類された学習データに基づき、各クラス毎に正規化方程式を形成する。
ステツプＳＰ５での処理を具体的に説明する。ここでは一般化するために学習データとしてｎ個のサンプリング画素が存在する場合について述べる。先ず各サンプリング画素の画素レベルｘ1 、……、ｘn と注目補間画素のサブサンプル以前の画素レベルｙの関係を、クラス毎に予測係数ｗ1 、……、ｗn によるｎタツプの線型一次結合モデルによる予測式で表す。この予測式を次式
【数４】
この（４）式における予測係数ｗ1 、……、ｗn を求めることにより、画素レベルｙを推定する。
【００３３】
次に予測係数ｗ1 、……、ｗn を最小自乗法により生成する例を示す。最小自乗法は次のように適用される。
一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の観測方程式を考える。
【数５】
【００３４】
先ず、（５）式の観測方程式をもとに、次の残差方程式を考える。
【数６】
【数７】
すなわち（７）式のｗi による偏微分が次式
【数８】
【数９】
【数１０】
【数１１】
この正規方程式は、掃き出し法（Gauss-Jordanの消去法）を用いて解くことができる。
【００３５】
この予測係数算出処理手順では、各クラス毎に未定係数ｗ１、……、ｗｎを求めるために未知数の数ｎと同じ数の正規化方程式が形成されるまでステツプＳＰ１−ＳＰ２−ＳＰ３−ＳＰ５−ＳＰ１のループを繰り返す。
【００３６】
このようにして必要な数の正規化方程式が得られると、ステツプＳＰ２では学習データが終了したか否かの判定に対して肯定結果が得られ、処理はステツプＳＰ４の予測係数決定に移る。
【００３７】
ステツプＳＰ４では、（１１）式の正規化方程式を解いて各クラス毎の予測係数ｗ１、……、ｗｎを決定する。このようにして得られた予測係数を次のステツプＳＰ６でクラス毎にアドレス分割されたＲＯＭ等の記憶手段に登録する。以上の学習により、クラス分類適応処理の予測係数が生成され次のステツプＳＰ７で予測係数算出処理手順を終了する。
【００３８】
以上の構成において、アツプコンバータ１０の入力端１１よりＳＤ画像信号Ｓ1 が入力されると、ＳＤ画像信号Ｓ1 はクラス分類部１２及び予測係数演算部１３に並列に送出される。クラス分類部１２ではＳＤ画像信号Ｓ1 に基づいてクラスデータd0を生成して予測係数ＲＯＭ１４に送出する。予測係数ＲＯＭ１４では予め学習によつて求められている予測係数d1をクラスデータd0に応じて読み出し、予測係数演算部１３に送出する。
【００３９】
クラス分類部１２には、入力端２０を通じて入力されるＳＤ画像信号Ｓ1 がＡＤＲＣクラス分類部２１及びアダマール変換クラス分類部２２に同時に送出される。ＡＤＲＣクラス分類部２１では入力ＳＤ画像信号Ｓ1 をＡＤＲＣによつてデータ圧縮してＡＤＲＣクラスc0を生成する。一方、アダマール変換クラス分類部２２では入力ＳＤ画像信号Ｓ1 をアダマール変換により互いに独立した複数の直交成分に分離して周波数クラスc1を生成する。
【００４０】
クラス分類部１２ではＡＤＲＣクラスc0及び周波数クラスc1とを組み合わせてクラスd0を生成して予測係数ＲＯＭ１４に送出する。このようにして生成されたクラスd0はＡＤＲＣクラスc0及び周波数クラスc1の２種類のクラス分類結果を合わせたものとなる。従つて、入力ＳＤ画像信号Ｓ1 は時空間領域のＡＤＲＣクラスd0と周波数領域の周波数クラスd1とを合わせたクラス分類特性を有することになる。これにより１種類のクラス分類だけを用いた場合に比して、より広い範囲の信号特性に対応することができる。つまりＳＤ画像信号Ｓ1 の特徴に応じた適切なクラス分けができるようになる。
【００４１】
予測係数演算部１３では各予測演算部１３Ａ〜１３Ｄにおいて入力端１１から送出されてくるＳＤ画像信号Ｓ1 及び予測係数ＲＯＭ１４から送出される予測データd1をもとにして走査線上の４つの位置（mode1 〜mode4)に対応したＨＤ画像信号Ｓ2 を生成する。
【００４２】
以上の構成によれば、入力ＳＤ画像信号Ｓ1 に対してＡＤＲＣクラス分類及びアダマール変換クラス分類を施してその結果得られるＡＤＲＣクラスc0、周波数クラスc1の両方の特性を合わせたクラスd0を用いて対応する予測係数を選択できる。これにより１種類のクラス分類だけを用いた場合に比較して、より広範囲に入力信号特性に対応したクラス分類ができる。
これにより入力ＳＤ画像信号Ｓ1 の多様な信号特性に対応した適切なクラス分類がなし得、ＨＤ画像信号を生成する際に用いる予測係数の精度を向上させて、空間解像度の向上したＨＤ画像信号を得ることができる。
【００４３】
なお上述の実施例においては、入力画像信号をＡＤＲＣクラス分類とアダマール変換クラス分類の独立した組み合わせによるクラスに基づいてクラス分類した場合について述べたが、本発明はこれに限らず、ＡＤＲＣクラス分類とアダマール変換クラス分類とを従属的に組み合わせたクラスによつてクラス分類するようにしても良い。これにより、より精度の高いクラス分類がなし得る。
【００４４】
また上述の実施例においては、タツプデータのデータ圧縮にＡＤＲＣの手法を用いた場合について述べたが、本発明はこれに限らず、例えばＤＰＣＭ（Differential Pulse Code Modulatin ）やＶＱ（Vector Quantization ）の手法を用いてデータ圧縮しても良い。
【００４５】
さらに上述の実施例においては、周波数領域のクラス分類法としてアダマール変換クラス分類法を用いた場合について述べたが、本発明はこれに限らず、例えば直交変換手法として、フーリエ変換、カルーネンレーベ変換、ハール変換、離散余弦変換（ＤＣＴ）等の手法を用いても良い。
【００４６】
また上述の実施例においては、アツプコンバータとして２次元ノンセパラブルフイルタを用いた場合について述べたが、本発明はこれに限らず、図１との対応部分に同符号を付した、図８に示すような垂直／水平セパラブル構成でなるアツプコンバータ４０を用いても良い。
【００４７】
アツプコンバータ４０においては、先ず、入力端４１を通じて入力されたＳＤ画像信号Ｓ1 がクラス分類部１２と予測演算部４３に供給される。予測演算部４３は走査線の位置mode１、mode２に対応する垂直予測演算部４３Ａ及び水平予測演算部４３Ｂと走査線の位置mode３、mode４に対応する垂直予測演算部４３Ｃ及び水平予測演算部４３Ｄの２種類に分かれる。クラス分類部１２では入力ＳＤ画像信号Ｓ1 に応じたクラスd0が生成され、タツプ予測係数を予め記憶している記憶手段である予測係数ＲＯＭ４４に送出する。予測係数ＲＯＭ４４はタツプ予測係数の垂直成分と水平成分を記憶する垂直係数ＲＯＭ４４Ａと水平係数ＲＯＭ４４Ｂとに分かれている。クラスd0は垂直係数ＲＯＭ４４Ａと水平係数ＲＯＭ４４Ｂのそれぞれに供給される。
【００４８】
まず垂直係数ＲＯＭ４４Ａより出力される垂直予測係数d6は垂直予測演算部４３Ａ及び４３Ｃに供給される。
入力ＳＤ画像信号Ｓ1 と垂直予測係数d6による積和演算により垂直推定値d7、d8が生成される。この垂直推定値d7、d8は次段の水平予測演算部４３Ｂ及び４３Ｄに供給される。
【００４９】
水平係数ＲＯＭ４４Ｂより生成される水平予測係数d9は水平予測演算部４３Ｂ及び４３Ｄに供給され、垂直推定値d7、d8との積和演算によりＨＤ画素d10 、d11 信号を得る。
このＨＤ画素d10 、d11 信号は選択的に伝送され、選択部１５において適切に並び替えられ、出力端４６より最終的な出力であるＨＤ画像信号Ｓ2 として出力される。これにより上述した実施例と同様の効果が得られる。
【００５０】
また上述の実施例においては、ＨＤ注目画素と注目画素周辺の伝送画素との相関関係を表す予測係数を用いてＳＤ画素から注目画素周辺のＨＤ画素を生成した場合について述べたが、本発明はこれに限らず、予測係数に代えて各クラス毎のＨＤ注目画素の予測値を予め設定して記憶手段に格納するようにしても良い。予測値によるＳＤ画像信号のＨＤ画像信号への信号変換は、図１との対応部分に同符号を付した、図９に示すようなアツプコンバータ６０を用いる。
【００５１】
このアツプコンバータ６０には入力端６１を通じてクラス分類部１２にＳＤ画像信号Ｓ1 が送出される。このクラス分類部１２は、新たに生成するＨＤ画像信号の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスd0を生成して予測値ＲＯＭ６２Ａ〜６２Ｄに送出する。予測値ＲＯＭ６２Ａ〜６２Ｄには予め学習により求められた注目画素周辺のＨＤ画素の予測値がクラス毎にクラスd0に対応して格納されている。予測値ＲＯＭ６２Ａ〜６２Ｄはクラスd0をアドレスデータとして予測値d20 〜d23 を読み出し、選択部１５を通じて出力端６３よりＨＤ画像信号Ｓ2 として出力する。
【００５２】
ここで予測値を求める第１の方法としては加重平均法を用いた学習法がある。加重平均法は、注目画素周辺のＳＤ画素を用いて注目画素をクラス分類し、クラス毎に積算した注目画素（すなわちＨＤ画素）の画素値を注目画素の個数に応じてインクリメントされた度数によつて割り算するといつた処理を様々な画像に対して行うことにより予測値を求める。
【００５３】
さらに予測係数を求める第２の方法としては、正規化による学習法がある。この学習法は、先ず注目画素を含む複数の画素からなるブロツクを形成し、ブロツク内のダイナミツクレンジによつて注目画素の画素値からそのブロツクの基準値を減算した値を正規化する。次にこの正規化された値の累積値を累積度数で割り算することにより予測値を得る。
【００５４】
また上述の実施例においては、ＳＤ画像信号をＨＤ画像信号に信号変換した場合について述べたが、本発明はこれに限らず、画像拡大する際の補間画素を生成するのに用いても良い。
【００５５】
【発明の効果】
上述のように本発明によれば、時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理した結果と周波数特性に応じて入力画像信号をクラス分類処理した結果とを組み合わせたクラスに対応する予測係数を用いて予測演算処理するようにしたことにより、１種類のクラス分類法のみを用いる場合と比べて、予測演算処理の結果得られる画像信号の品質を格段と向上させることができる。また本発明によれば、時空間領域でのレベル分布パターンに応じて入力画像信号をクラス分類処理した結果と周波数特性に応じて入力画像信号をクラス分類処理した結果とを組み合わせたクラスに対応する予測値を用いて入力画像信号を変換するようにしたことにより、１種類のクラス分類法のみを用いる場合と比べて、当該変換の結果得られる画像信号の品質を格段と向上させることができる。
【図面の簡単な説明】
【図１】２次元ノンセパラブルフイルタで構成されるアツプコンバータを示すブロツク図である。
【図２】図１のクラス分類部、予測係数ＲＯＭ及び予測演算部の説明に供するブロツク図である。
【図３】クラス分類部から出力されるクラスの説明に供する図表である。
【図４】クラス生成のタツプパターンを示す略線図である。
【図５】学習データの予測タツプパターンを示す略線図である。
【図６】予測データの登録の説明に供するブロツク図である。
【図７】予測係数の学習手順を示すフローチヤートである。
【図８】垂直／水平セパラブルフイルタによるアツプコンバータを示すブロツク図である。
【図９】予測値を用いて補間画素を生成するアツプコンバータを示すブロツク図である。
【図１０】ＳＤ／ＨＤ画素の空間配置例を示す略線図である。
【図１１】従来の２次元ノンセパラブルフイルタを示すブロツク図である。
【図１２】従来の垂直／水平セパラブルフイルタを示すブロツク図である。
【符号の説明】
２、３……補間フイルタ、４Ａ〜４Ｄ……２次元フイルタ、５、８、１５……選択部、６Ａ、６Ｂ……垂直補間フイルタ、７Ａ、７Ｂ……水平補間フイルタ、１０、４０、６０……アツプコンバータ、１１、２０、４１、６１……入力端、１２、３２……クラス分類部、１３、４３……予測演算部、１４、４４……予測係数ＲＯＭ、１６、２３、４６、６３……出力端、２１……ＡＤＲＣクラス分類部、２２……アダマール変換部クラス分類部。
Claims (6)
- 入力画像信号をより高解像度な画像信号に変換する信号変換装置において、
上記入力画像信号の時空間領域でのレベル分布パターンに応じて上記入力画像信号をクラス分類処理する第１のクラス分類手段と上記入力画像信号の周波数特性に応じて上記入力画像信号をクラス分類処理する第２のクラス分類手段とを有し、上記第１及び上記第２のクラス分類手段がそれぞれ別個に上記入力画像信号に対しクラス分類処理して得られたクラス分類処理結果を組み合わせてなるクラスを出力するクラス分類部と、
上記入力画像信号からより高解像度な上記画像信号を生成するために予め設定された予測係数が上記クラス毎に対応付けして記憶されている予測係数記憶手段と、
上記予測係数記憶手段に記憶されている上記予測係数のうち上記クラス分類部からの上記クラスに対応する上記予測係数と、上記入力画像信号とを用いて予測演算処理することにより、上記入力画像信号からより高解像度な上記画像信号を生成する予測演算部と
を具えることを特徴とする信号変換装置。 - 上記予測係数記憶手段は、メモリであつて、上記クラス分類部からの上記クラスは、上記メモリから当該クラスに対応する上記予測係数を読み出すためのメモリアドレスでなる
ことを特徴とする請求項１に記載の信号変換装置。 - 入力画像信号をより高解像度な画像信号に変換する信号変換装置において、
上記入力画像信号の時空間領域でのレベル分布パターンに応じて上記入力画像信号をクラス分類処理する第１のクラス分類手段と上記入力画像信号の周波数特性に応じて上記入力画像信号をクラス分類処理する第２のクラス分類手段とを有し、上記第１及び上記第２のクラス分類手段がそれぞれ別個に上記入力画像信号に対しクラス分類処理して得られたクラス分類処理結果を組み合わせてなるクラスを出力するクラス分類部と、
上記入力画像信号からより高解像度な上記画像信号を生成するために予め設定された予測値が上記クラス毎に対応付けして記憶されている予測値記憶手段と
を具え、
上記クラス分類部からの上記クラスに応じて上記予測値記憶手段から読み出した上記予測値を用いて上記入力画像信号をより高解像度な上記画像信号に変換する
ことを特徴とする信号変換装置。 - 上記予測値記憶手段は、メモリであつて、上記クラス分類部からの上記クラスは、上記メモリから当該クラスに対応する上記予測値を読み出すためのメモリアドレスでなる
ことを特徴とする請求項３に記載の信号変換装置。 - 入力画像信号をより高解像度な画像信号に変換する信号変換方法において、
上記入力画像信号の時空間領域でのレベル分布パターンに応じて上記入力画像信号をクラス分類処理する第１のステツプと、
上記第１のステツプによるクラス分類処理とは別個に、上記入力画像信号の周波数特性に応じて上記入力画像信号をクラス分類処理する第２のステツプと、
上記第１のステツプによるクラス分類処理結果と上記第２のステツプによるクラス分類処理結果とを組み合わせたクラスを生成する第３のステツプと、
上記入力画像信号からより高解像度な上記画像信号を生成するために予め設定された予測係数が上記クラス毎に対応付けして記憶されている予測係数記憶手段から、上記３のステツプによつて生成した上記クラスに対応する上記予測係数を読み出す第４のステツプと、
上記読み出した予測係数と上記入力画像信号とを用いて予測演算処理することにより、上記入力画像信号からより高解像度な上記画像信号を生成する第５のステツプと
を具えることを特徴とする信号変換方法。 - 入力画像信号をより高解像度な画像信号に変換する信号変換方法において、
上記入力画像信号の時空間領域でのレベル分布パターンに応じて上記入力画像信号をクラス分類処理する第１のステツプと、
上記第１のステツプによるクラス分類処理とは別個に、上記入力画像信号の周波数特性に応じて上記入力画像信号をクラス分類処理する第２のステツプと、
上記第１のステツプによるクラス分類処理結果と上記第２のステツプによるクラス分類処理結果とを組み合わせたクラスを生成する第３のステツプと、
上記入力画像信号からより高解像度な上記画像信号を生成するために予め設定された予測値が上記クラス毎に対応付けして記憶されている予測値記憶手段から、上記第３のステツプによつて生成した上記クラスに対応する上記予測値を読み出す第４のステツプと、
上記読み出した予測値を用いて上記入力画像信号をより高解像度な上記画像信号に変換する第５のステツプと
を具えることを特徴とする信号変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10069195A JP3693187B2 (ja) | 1995-03-31 | 1995-03-31 | 信号変換装置及び信号変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10069195A JP3693187B2 (ja) | 1995-03-31 | 1995-03-31 | 信号変換装置及び信号変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08275119A JPH08275119A (ja) | 1996-10-18 |
| JP3693187B2 true JP3693187B2 (ja) | 2005-09-07 |
Family
ID=14280761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10069195A Expired - Lifetime JP3693187B2 (ja) | 1995-03-31 | 1995-03-31 | 信号変換装置及び信号変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3693187B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001238185A (ja) * | 2000-02-24 | 2001-08-31 | Sony Corp | 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置、並びにそれに使用される係数データの生成装置および生成方法 |
| JP4538705B2 (ja) | 2000-08-02 | 2010-09-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP4596197B2 (ja) | 2000-08-02 | 2010-12-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP4596196B2 (ja) | 2000-08-02 | 2010-12-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP5347862B2 (ja) * | 2008-09-29 | 2013-11-20 | ソニー株式会社 | 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 |
-
1995
- 1995-03-31 JP JP10069195A patent/JP3693187B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08275119A (ja) | 1996-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3794505B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3781203B2 (ja) | 画像信号補間装置及び画像信号補間方法 | |
| US7679676B2 (en) | Spatial signal conversion | |
| JP4691812B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法 | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JPH0779418A (ja) | 画像信号変換装置 | |
| KR101098300B1 (ko) | 공간 신호 변환 | |
| JP3743077B2 (ja) | 画像信号変換装置および方法 | |
| JP3671469B2 (ja) | 予測係数の学習方法並びに信号変換装置および方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3669522B2 (ja) | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 | |
| JPH07193789A (ja) | 画像情報変換装置 | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JP4085396B2 (ja) | 学習装置及び学習方法 | |
| JP3856244B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP2007251690A (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JPH08317347A (ja) | 画像情報変換装置 | |
| JP4131049B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP3630246B2 (ja) | 画像信号補間装置及び画像信号補間方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP4016138B2 (ja) | 画像信号変換装置及び画像信号変換方法 | |
| JP4038881B2 (ja) | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP3814850B2 (ja) | 信号変換装置および方法 | |
| JP4051934B2 (ja) | 情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041022 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050603 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050616 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080701 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090701 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100701 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100701 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110701 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120701 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130701 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |