JP4235917B2 - 信号変換装置及び信号変換方法 - Google Patents

Description

本発明は、信号変換装置及び信号変換方法に関し、例えば、ＮＴＳＣ方式（アメリカのテレビ方式を検討する委員会−National Television System Committee−によつて決められた方式）等の標準解像度信号（ＳＤ：Standard Definition）をハイビジヨン等の高解像度信号（ＨＤ：High Definition ）に変換するアツプコンバータ等に適用して好適なものである。

従来、この種のアツプコンバータにおいては、ＳＤ画像信号に対して周波数補間処理を施すことにより、画素数を増やしてＨＤ画像信号を形成している。例えば、図２８に示すように、このようなアツプコンバータは、ＨＤ画像の走査線１上で、大きな「○」印及び大きな「△」印でなるＳＤ画像信号に対して、水平及び垂直方向にそれぞれ２倍の周波数補間を施すことにより、小さな「○」印及び小さな「△」印でなるＨＤ画像信号を生成する。

この場合アツプコンバータによる補間例としては、ＳＤ画像信号のフイールドデータから、４種類の位置のＨＤ画素を生成する方法がある。例えば、図中の「◎」印のＳＤ画素に注目すると、その近傍の４種類mode1,mode2,mode3 及びmode4 の位置のＨＤ画素を周囲のＳＤ画素の補間により生成する。このとき用いる補間フイルタとしては、図２９に示す空間内２次元ノンセパラブルフイルタ２や、図３０に示す水平／垂直セパラブルフイルタ３がある。

実際上２次元ノンセパラブルフイルタ２は、４種類の位置のＨＤ画素mode1,mode2,mode3 及びmode4 それぞれに対して２次元フイルタ４Ａ〜４Ｄによつて独立に補間処理を実行し、各補間結果を選択部５において直列化することにより、ＨＤ画像信号を生成するようになされている。

一方、水平／垂直セパラブルフイルタ３は、垂直補間フイルタ６Ａによりmode１及びmode３用の処理を実行し、垂直補間フイルタ６Ｂによりmode２及びmode４用の処理を実行することにより、ＨＤ画像信号の２本の走査線データを形成する。次に、各走査線に対して水平フイルタ７Ａ及び７Ｂを用いて、４種類の位置のＨＤ画素を補間して、補間結果を選択部８において直列化することによりＨＤ画像信号を生成するようになされている。

ところで、上述したような従来のアツプコンバータでは、補間フイルタとして理想フイルタを使用した場合でも、画素数は増えるものの、空間解像度はＳＤ画像信号と変わらない。また、実際には、理想フイルタを用いることはできないため、ＳＤ画像信号より解像度の低下したＨＤ画像信号を生成することしかできないという問題がある。

かかる問題を解決する１つの方法として、例えば特開平５−３２８１８５号公報に開示されているように入力ＳＤ画像信号の特徴に基づいてＳＤ画像信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の予測データでなる予測係数を用いて高解像度のＨＤ画像信号を生成するクラス分類適応処理方法が提案されている。

ところがこの方法によると、クラス分類適応処理法を用いてＨＤ画像信号を生成する際、学習によつて予測係数を生成するときに、入力ＳＤ画像信号の特徴に応じて適切なクラス分類が行なわれないとＨＤ画像信号の予測精度が低下するという問題があつた。すなわち、クラス分類の能力が十分でないと、本来、別のクラスに分かれるべきＨＤ画像信号が同じクラスに分類される。このため、学習により得られる予測係数は、性質の異なるＨＤ画像信号の平均値を予測することになり、その結果、解像度復元能力が低下するという問題があつた。

本発明は以上の点を考慮してなされたもので、入力画像信号の多様な信号特性に対応した適切なクラス分類によつて、低解像度の画像信号を一段と解像度の高い高解像度の画像信号に変換し得る信号変換装置及び信号変換方法を提案しようとするものである。

かかる課題を解決するため第１の発明においては、入力された第１の画像信号を第１の画像信号とは異なる第２の画像信号に変換する信号変換装置において、第１の画像信号の空間内アクテイビテイを評価し、アクテイビテイコードを出力する第１のクラス分類手段と、アクテイビテイコードに基づいて段階的なクラス分類を実行し、そのクラス分類結果に基づいてクラスコードを出力する第２のクラス分類手段と、第の画像信号を用いて第２の画像信号を予測生成するための予測係数が記憶すされた予測係数記憶手段と、アクテイビテイコード及び／又はクラスコードに応じて予測係数メモリより読み出される予測係数を用いて、第１の入力画像信号に対して予測演算を施すことにより、第２の画像信号を生成する予測演算手段とを設けるようにした。

また第２の発明については、信号変換装置において、第１の画像信号の空間内アクテイビテイを評価してアクテイビテイコードを出力する第１のクラス分類手段と、アクテイビテイコードに基づいて段階的なクラス分類を実行し、そのクラス分類結果に基づいてクラスコードを出力する第２のクラス分類手段と、 第１の画像信号の補間画素信号として生成された予測値を記憶されており、アクテイビテイコード及び／又はクラスコードに応じて対応する予測値を読み出して出力する予測値記憶読み出し手段とを設けるようにした。

さらに第３の発明においては、入力された第１の画像信号を第１の画像信号とは異なる第２の画像信号に変換する信号変換方法において、第１の画像信号の空間内アクテイビテイを評価してアクテイビテイコードを出力し、アクテイビテイコードに基づいて段階的なクラス分類を実行し、そのクラス分類結果に基づいてクラスコードを出力し、アクテイビテイコード及び／又はクラスコードに応じて、第１の画像信号を用いて第２の画像信号を予測生成するための予測係数記憶手段に記憶されている予測係数を読みだし、その読み出された予測係数を用いて第１の入力画像信号に対して予測演算を施すことにより、第２の画像信号を生成するようにした。

さらに第４の発明においては、入力された第１の画像信号を第１の画像信号とは異なる第２の画像信号に変換する信号変換方法において、第１の画像信号の空間内アクテイビテイを評価してアクテイビテイコードを出力し、アクテイビテイコードに基づいて段階的なクラス分類を実行し、そのクラス分類結果に基づいてクラスコードを出力し、アクテイビテイコード及び／又はクラスコードに応じて、予測値記憶手段に記憶された第１の画像信号の補間画素信号として生成された予測値を読み出して出力するようにした。

この結果第１〜第４の発明においては、ブロツク単位毎の入力画像信号についての空間内アクテイビテイを評価分類して、その結果得られるアクテイビテイコードに応じてブロツク単位の入力画像信号に段階的なクラス分類を施すことにより、次段以降のクラス分類には、初段のアクテイビテイコード及び前段のクラス分類結果が反映され精度の高いクラス分類を行うことができる。

上述のように本発明によれば、ブロツク単位毎の入力画像信号についての空間内アクテイビテイを評価分類して、その結果得られるアクテイビテイコードに応じてブロツク単位の入力画像信号に対して段階的なクラス分類を施す。これにより、次段以降のクラス分類には、初段のアクテイビテイコード及び前段のクラス分類結果が反映され、精度の高いクラス分類が成し得、これにより、このクラス分類結果に基づいた予測係数又は予測値を用いて低解像度の入力画像信号に対する高精度の補間画素を予測生成し、高解像度の画像信号を得ることができる信号変換装置及び信号変換方法を実現し得る。

以下図面について、本発明の一実施の形態を詳述する。

（１）第１実施例
図１は、全体としてクラス分類適応処理を適用してＳＤ画像信号からＨＤ画像信号を生成する２次元ノンセパラブルフイルタによるアツプコンバータを示している。このアツプコンバータ１０に入力端INを通じて入力されるＳＤ画像信号Ｓ は、注目ＳＤ画素を中心とした所定数の画素からなるブロツク単位毎にクラス分類部１２に送出され、さらにＳＤ画像信号Ｓ1 は予測演算部１３に送出される。クラス分類部１２は、入力ＳＤ画像信号Ｓ１の注目画素に対する周辺のＳＤ画像信号Ｓ1のＳＤ画素ＮＯ特徴に基づいて、注目画素に対するクラスコードd0を生成し、これをクラスコードd0は、アドレスデータとして記憶手段である予測係数ＲＯＭ(Read Only Memory)１４に送出する。

この場合予測係数ＲＯＭ１４には、低解像度の画像信号から高解像度の画像信号を生成するためのＨＤ補間画素を予測演算するときに用いられる予め学習により求められた予測係数が、クラスコードd0に対応付けられた予測データd1として格納されている。かくして予測係数ＲＯＭ１４は、クラスコードd0をアドレスデータとして予測データd1を読み出し、これを予測演算部１３に送出する。

一方予測演算部１３は、ＳＤ画像信号Ｓ1に対して予測データd1を用いた所定の予測演算を実行することにより、ＳＤ画像信号Ｓ1からＨＤ補間画素を生成する。なお、予測演算部１３に供給されるＳＤ画像信号Ｓ1は、図示されていない遅延部を介して供給される。この遅延部の遅延時間は、予測データd1が予測演算部１３に供給されるまでの時間に対応している。

予測演算部１３においては、４つの予測演算部１３Ａ〜１３Ｄから構成され、各予測演算部１３Ａ〜１３Ｄは、ＳＤ画像信号Ｓ1に対して予測データd1を用いた積和演算を実行する。これにより、各予測演算部１３Ａ〜１３Ｄは、それぞれ走査線１上の４種類の位置mode1、mode2、mode3及びmode4に対応するＨＤ補間画素の予測値d2、d3、d4及びd5を生成する。また各予測演算部１３Ａ〜１３Ｄにおいて生成された各ＨＤ補間画素d2、d3、d4及びd5は、選択部１５に送出される。選択部１５は、各予測値d2、d3、d4及びd5をバツフアメモリ（図示せず）を用いて時系列に並び替えて出力端OUTからＨＤ画像信号Ｓ2として出力する。

図２は、図１のクラス分類部１２の構成を示している。この図２からも明らかなように、入力端INを通じて入力されるＳＤ画像信号Ｓ1は、まずアクテイビテイ分類部２１に供給される。アクテイビテイ分類部２１は、供給されるＳＰ画像信号Ｓ１に対し、例えば、注目画素を中心とした３ｘ３の９画素からなるブロツク単位毎に空間アクテイビテイの分類を行い、その特性を評価判定する。またアクテイビテイ分類部２１は、空間アクテイビテイの分類及び評価に基づいてクラスコードc0を生成して、選択部２５及びＡＤＲＣ（Adaptive Dynamic Range Coding)クラス分類部２６に送出する。

一方で、ＳＤ画像信号Ｓ1 は、それぞれ異なつた３種類の画素のタツプパターンを設定する広領域タツプ選択部２２、標準タツプ選択部２３及び狭領域タツプ選択部２４に並列に送出される。そして、広領域タツプ選択部２２、標準タツプ選択部２３及び狭領域タツプ選択部２４の各々は、入力ＳＤ画像信号Ｓ1に対して空間クラスのタツプパターンp0、p1及び p2 を選択する。

図３は、図２のアクテイビテイ分類部２１の構成を示している。この図３に示すように、入力端INから入力されるＳＤ画像信号Ｓ1 は、まず処理部３０に送出される。処理部３０は、入力されたＳＤ画像信号Ｓ1の注目ＳＤ画素を中心とした複数のＳＤ画素のダイナミツクレンジＤＲを検出する。ダイナミツクレンジＤＲは、例えば図４に示される注目画素を中心とした９画素（図中◎で示す）から得られる近傍領域内最大値ＭＡＸ及び近傍領域内最小値ＭＩＮとを用いて次式

によつて定義される。この注目ＳＤ画素を中心とした複数のＳＤ画素のダイナミツクレンジＤＲは、閾値判定部３１に送出される。

閾値判定部３１は、所定の閾値を用いて、ダイナミツクレンジＤＲと比較判定する。その結果、閾値判定部３１は、閾値処理によつて得られたクラスコードc0を出力する。つまり、閾値判定部３１の閾値処理によつて、ダイナミツクレンジの大きさが３段階（つまり、空間アクテイビテイが、高、中、小の３段階）で判定されることにより、空間アクテイビテイが判定され、その判定結果が２ビツトのクラスコードc0として出力される。

一般に、ダイナミツクレンジＤＲが大きい場合は空間アクテイビテイが高く、反対にダイナミツクレンジＤＲが小さい場合は空間アクテイビテイが低いと考えられる。これによりアクテイビテイ分類部２１におけるダイナミツクレンジによる初段のクラス分類が実行される。

次に、広領域タツプ選択部２２、標準タツプ選択部２３、狭領域タツプ選択部２４及びＡＤＲＣクラス分類部２６における次段のクラス分類について具体的に述べる。

まず、上述した３種類のクラスタツプパターンの選択部のうち、標準タツプ選択部２３は、入力ＳＤ画像信号Ｓ1 の標準的な空間内変動に注目し、図５（Ｂ）に示すような一般的なクラスタツプパターンを選択する。それに対して広領域タツプ選択部２２は、入力ＳＤ画像信号Ｓ1 の定常的な空間内に注目する。

すなわち広領域タツプ選択部２２は、図５（Ａ）に示すような広領域用のクラスタツプパターンを選択する。また狭領域タツプ選択部２４は、入力ＳＤ画像信号Ｓ1 の非定常的な空間内変動に注目し、非定常的な信号変化に対して図５（Ｃ）に示すような狭領域用のクラスタツプパターンを選択する。

広領域タツプ選択部２２、標準タツプ選択部２３及び狭領域タツプ選択部２４は、それぞれ選択したクラスタツプパターンp0、p1及びp2をそれぞれ選択部２５に送出する。選択部２５では、アクテイビテイ分類部２１から送出されるクラスコードc0を選択制御信号としてクラスタツプパターンp0、p1及びp2からいずれか一つのクラスタツプパターンを選択し、選択したクラスタツプパターンp3ＡＤＲＣクラス分類部２６に送出する。

すなわち選択部２５は、クラスコードc0が、空間アクテイビテイが低いことを示す場合、広領域タツプ選択部２２からのクラスタツプパターンp0を選択し、クラスコードc0が空間アクテイビテイが高いことを示す場合、狭領域タツプ選択部２４からのクラスタツプパターンp2を選択する。

ＡＤＲＣクラス分類部２６は、入力ＳＤ画像信号Ｓ1 のダイナミツクレンジＤＲに応じて得られたクラスコードc0を制御信号として、ＡＤＲＣの再量子化ビツト数ｋを設定する。これによりＳＤ画像信号Ｓ1 のダイナミツクレンジＤＲに応じて、空間クラスのタツプパターンp3の各タツプのレベル分解能を変えて設定することができる。

ＡＤＲＣは、再量子化として定義される量子化ステツプ幅により、画素を再量子化するものである。ＡＤＲＣコードc1（式中では、クラスタツプパターンのＳＤ画素数ｉに応じてｃiを用いる）は、ダイナミツクレンジＤＲ、再量子化ビツト数ｋ、ＳＤ画素ｘi及びその近傍領域内の最小画素レベルＭＩＮとを用いて、次式

によつて表される。

空間クラスタツプパターンのレベル分解能の切り替えは、具体的には（２）式のＡＤＲＣ演算における再量子化ビツト数ｋをクラスコードc0に応じて切り替えることによつてなされる。これにより入力信号のダイナミツクレンジＤＲに応じて、レベル分解能を適応的に切り換えて設定することができる。つまりＡＤＲＣクラス分類部２６は、ダイナミツクレンジＤＲが大きい程、レベル分解能を細かく設定するようになされている。

このようにしてクラス分類部１２では、クラスコードc0及びＡＤＲＣコードc1とでなるクラスコードd0が生成される。このクラスコードd0は、アドレスデータとして後段の予測係数ＲＯＭ１４へ送出される。

予測係数ＲＯＭ１４は、ＨＤ補間画素を生成する際に用いる予測データd1とクラスコードc0及びc1とを組み合わせたクラスコードd0をアドレスデータとして読み出し、予測演算部１３に送出する。予測演算部１３Ａ〜１３Ｄの各々は、ＳＤ画像信号Ｓ1 でなるＳＤ画素ｘiとクラス毎の予測データd1でなる予測係数ｗiを用いて予測演算を実行し、走査線１上の位置mode1〜mode4に相当するＨＤ補間画素の推定画素ｙ′を生成する。

このとき用いるＳＤ画素ｘiは、例えば、図６に示すように配置された注目画素（図中◎で示す）及び周辺画素（図中○で示す）でなる13個の予測タツプデータで形成される。したがつて予測係数ｗiは、この場合、各予測演算部１３Ａ〜１３Ｄに対して13個の予測係数からなる。

また予測演算部１３Ａ〜１３Ｄの各々で使用されるＳＤ画素は、同じであるが、予測係数ＲＯＭ１４からの予測係数ｗiは、予測演算部１３Ａ〜１３Ｄの各々に対して異なる予測係数であるので、予測係数ＲＯＭ１４には、１つのクラスに対応して13個の予測係数Ｗｉからなる予測係数群が４つ記憶されていることになる。

ＨＤ補間画素の推定画素ｙ′は、上述した13個のＳＤ画素ｘi及び予測係数ｗiを用いて数式

によつて変換されて生成される。つまり、予測演算部１３Ａ〜１３Ｄの各々は、それぞれ供給されたＳＤ画素Ｘｉと予測係数Ｗｉを用いて、（３）式により予測演算を行い、ＨＤ補間画素を生成する。

ここで用いられる予測係数ｗiは、予め学習によつて求められ、予測係数ＲＯＭ１４に格納されている。

ここで、予測係数ＲＯＭ１４に格納されているクラス毎の予測係数Ｗｉを生成する際の学習手順について、図７のフローチャートを参照して説明する。

予測係数Ｗｉは、図７に示す予測係数学習手順ＲＴ１に従つて求めることができ、まずステツプＳＰ１でこの予測係数学習手順ＲＴ１を開始すると、続くステツプＳＰ２において予測係数ｗiを学習するために、既に知られている画像に対応した学習データを生成する。

具体的には、図２８に示すＨＤ画像において、ＨＤ補間画素をＨＤ注目画素として、このＨＤ注目画素を周辺のＨＤ補間画素及びＳＤ画素でなる一組の学習データによつて予測係数を用いた線形一次結合モデルによつて表す。このとき用いた予測係数を各クラス毎に最小自乗法を用いて求める。なお、このように学習データを生成する際に、１つの画像のみを用いるのではなく複数の画像を用いて多数の学習データを生成すれば、より正確な予測係数を得ることができる。

続くステツプＳＰ３では、ステツプＳＰ２で生成した学習データの数が予測係数を得るのに必要なだけ生成されたか否か判定する。ここで、学習データ数が必要数に満たないと判定された場合にはステツプＳＰ４に移る。

このステツプＳＰ４では、クラス学習データをクラス分類する。クラス分類は、先ず、初めに学習サンプリングデータの局所的な平坦度を検出し、当該検出結果に応じてクラス分類に用いる画素を選択する。これにより入力信号の変化の小さいものを学習対象から除外してノイズの影響を排除することができる。その後、このクラス学習データのクラス分類は入力ＳＤ画像信号Ｓ1 をクラス分類する場合と同様の処理を実行することによつてなされる。

すなわちクラス学習データのクラス分類は、まず、学習データのダイナミツクレンジＤＲを分類評価してクラスコードc0を設定する。続いて、広領域、標準及び狭領域の３種類のタツプパターンからクラスコードc0に基づいて、いずれか一つのタツプパターンp3を空間クラスとして選択する。図８に示すように、このようにして得られたクラスコードc0及びＡＤＲＣコードc1とを組み合わせてクラスコードd0を設定し、このクラスコードd0を予測データd1と対応させてＲＯＭ１４に記憶する。

ステツプＳＰ５において、クラス分類された学習データに基づき、各クラス毎に正規化方程式を形成する。

このステツプＳＰ５での処理を具体的に説明する。ここでは、一般化するために学習データとしてｎ個のサンプリング画素が存在する場合について述べる。まず、各サンプリング画素の画素レベルｘ1、……、ｘnと注目補間画素のサブサンプル以前の画素レベルｙの関係を、クラス毎に予測係数ｗ1、……、ｗnによるｎタツプの線型一次結合モデルによる予測式で表す。この予測式を次式

に示す。

この（４）式における予測係数ｗ1、……、ｗnを求めることにより、画素レベルｙを推定する。

次に予測係数ｗ1、……、ｗnを最小自乗法により生成する例を示す。最小自乗法は次のように適用される。

一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の観測方程式を考える。

この（５）式の観測方程式により収集されたデータに対して最小自乗法を適用する。（５）式の例においては、ｎ＝１３、ｍが学習データ数となる。

まず、（５）式の観測方程式をもとに、次の残差方程式を考える。

（６）式の残差方程式から、各ｗiの最確値は次式

を最小にする条件が成り立つ場合と考えられる。

すなわち（７）式のｗiによる偏微分が次式

で表されるとき、この（８）式のｉに基づくｎ個の条件を考え、この条件を満たすｗ1、ｗ2、……、ｗnを算出すれば良い。そこで残差方程式（６）式から次式が得られる。

この（９）式及び（８）式により次式

が得られる。そして（６）式及び（１０）式から次に示す正規方程式が得られる。

（１１）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能なので、これにより各ｗiの最確値を求めることができる。

この正規方程式は、掃き出し法（Gauss-Jordanの消去法）を用いて解くことができる。

予測係数学習手順ＲＴ１では、各クラス毎に未定係数ｗ1、……、ｗnを求めるために未知数の数ｎと同じ数の正規化方程式が形成されるまでステツプＳＰ２−ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ２のループを繰り返す。

このようにして必要な数の正規化方程式が得られると、ステツプＳＰ３では学習データが終了したか否かの判定に対して肯定結果が得られ、処理はステツプＳＰ６の予測係数決定に移る。

このステツプＳＰ６では、（１１）式の正規化方程式を解いて各クラス毎の予測係数ｗ1、……、ｗnを決定する。このようにして得られた予測係数を次のステツプＳＰ７でクラス毎にアドレス分割されたＲＯＭ等の記憶手段に登録する。この際、１つのクラスコードに対して、予測演算部１３Ａ〜１３Ｄにそれぞれ対応する予測係数ｗ1、……、ｗnからなる４つの予測係数群が登録される。以上の学習処理により、クラス分類適応処理の予測係数が生成され次のステツプＳＰ８で予測係数学習手順ＲＴ１を終了する。

以上の構成において、上述したアツプコンバータ１０及びそのアツプコンバータの各部の動作について説明する。

まず、入力端INを通じてアツプコンバータ１０に入力されるＳＤ画像信号Ｓ1は、クラス分類部１２及び予測係数演算部１３に対して並列に送出される。クラス分類部１２は、ＳＤ画像信号Ｓ1に基づいてクラスコードd0を生成して予測係数ＲＯＭ１４に送出する。

予測係数ＲＯＭ１４は、予め学習によつて求められている予測データd1をクラスコードd0に応じて読み出し、予測係数演算部１３に送出する。

予測係数演算部１３は、各予測演算部１３Ａ〜１３Ｄにおいて、入力端INから送出されてくるＳＤ画像信号Ｓ1 及び予測係数ＲＯＭ１４から送出される予測データd1をもとにして走査線１上の４つの位置（mode1〜mode4)に対応したＨＤ補間画素を生成する。

アクテイビテイ分類部２１は、まず、入力されるＳＤ画像信号Ｓ1 の注目ＳＤ画素を中心とした複数のＳＤ画素のダイナミツクレンジＤＲを検出し、このダイナミツクレンジＤＲを所定の閾値との間で比較判定することによつてクラスコードc0を出力する。一般に、ダイナミツクレンジＤＲが大きい場合は空間アクテイビテイが高く、反対にダイナミツクレンジＤＲが小さい場合は空間アクテイビテイが低い。

一方で、ブロツク単位の入力ＳＤ画像信号Ｓ1は、それぞれ異なつた３種類の画素のタツプパターンを設定する広領域タツプ選択部２２、標準タツプ選択部２３及び狭領域タツプ選択部２４に並列に送出される。そして、広領域タツプ選択部２２、標準タツプ選択部２３及び狭領域タツプ選択部２４は、それぞれ空間クラスのタツプパターンp0、p1及びp2を設定する。

選択部２５は、クラスコードc0をもとにして、例えばダイナミツクレンジＤＲが小さく、アクテイビテイの低いＳＤ画像信号Ｓ1 に対しては、図５（Ａ）に示すような比較的広い領域の信号変化のクラスタツプパターンp0を選択して、緩やかな信号変化をクラスに反映する。これに対して、ダイナミツクレンジＤＲが大きくアクテイビテイの高いＳＤ画像信号Ｓ1 に対しては、図５（Ｃ）に示すような狭い領域のクラスタツプパターンp2を選択して、狭い領域の信号変化を可能な限りのクラス数で表現する。これにより選択部２５は、ダイナミツクレンジＤＲから見た信号特性に応じて、その信号変化を反映させたタツプパターンp3でなる空間クラスを選択して、次段のＡＤＲＣクラス分類部２６に送出する。

ＡＤＲＣクラス分類部２６は、クラスコードc0を制御信号として、ダイナミツクレンジＤＲが小さいＳＤ画像信号Ｓ1に対しては空間クラス分類用の各タツプの再量子化ビツト数ｋを小さく設定する。これにより各タツプのレベル分解能が低くなり、定常性を前提としたＡＤＲＣコードc1を出力することができる。これに対してダイナミツクレンジＤＲが大きいＳＤ画像信号Ｓ1に対しては、空間クラス分類用の各タツプの再量子化ビツト数ｋを多めに設定して、レベル分解能を高くしたＡＤＲＣコードc1を出力する。これによりダイナミツクレンジＤＲが大きくアクテイビテイが高いＳＤ画像信号Ｓ1の非定常的な信号変化をクラスに反映させることができる。

このようにして、クラス分類部１２は、入力ＳＤ画像信号Ｓ1のダイナミツクレンジＤＲに応じて、クラス分類に用いる画素のタツプパターンを切り替えると共に、クラス分類用の各タツプの再量子化ビツト数ｋを切り替えることによつてレベル分解能を適応的に設定する。これにより入力ＳＤ画像信号Ｓ1のダイナミツクレンジＤＲの特性に応じて適切なクラス分類を実行することができる。

クラス分類部１２は、クラスコードc0及びＡＤＲＣコードc1とを組み合わせてなるクラスコードd0を次段の予測係数ＲＯＭ１４に送出する。予測係数ＲＯＭ１４は、このクラスコードd0に基づいて予測データd1を読み出して、予測演算部１３に送出する。予測演算部１３は、この予測データd1を用いてＳＤ画素を変換することにより、ＨＤ補間画素を生成する。そしてこの生成されたＨＤ補間画素が選択部に供給され、選択部１５より時系列に並べ変えられ、ＨＤ画像信号として出力される。かくして、選択された予測データd1は、入力ＳＤ画像信号Ｓ1のダイナミツクレンジＤＲによる特性を反映することになり、ＳＤ画素から変換して生成するＨＤ補間画素の精度を向上させることができ、ＨＤ画像信号Ｓ2の空間解像度の向上を成し得ることができる。

以上の構成によれば、アツプコンバータ１０に入力されるＳＤ画像信号Ｓ1をアクテイビテイ分類部２１においてダイナミツクレンジＤＲに応じて閾値判定し、この結果として得られるクラスコードc0に基づいて３種類の空間クラスタツプパターン（広領域タツプパターン、標準領域タツプパターン又は狭領域タツプパターン）の中からＳＤ画像信号Ｓ1のダイナミツクレンジＤＲの特性に応じたタツプパターンを設定することができ、かくして入力ＳＤ画像信号Ｓ1のダイナミツクレンジＤＲ特性を反映したクラスタツプパターンを設定し得る。

また以上の構成によれば、クラスコードc1に応じて空間クラス分類用の各タツプの再量子化ビツト数ｋを変えて、各タツプのレベル分解能を切替えるようにすることにより、信号変化の定常性又は非定常性をタツプのレベル分解能によりクラス分類に反映することができる。かくして、入力ＳＤ画像信号Ｓ1のダイナミツクレンジＤＲ特性に応じてタツプパターン及びタツプのレベル分解能を設定した適切なクラス分類がなされ、入力ＳＤ画像信号Ｓ1 の信号特性を反映した空間解像度の高いＨＤ画像信号Ｓ2 を生成することができる。

（２）第２実施例
図９は、第２実施例によるアツプコンバータのアクテイビテイ分類部３５を示している。このアクテイビテイ分類部３５は、注目ＳＤ画素を中心とした複数のＳＤ画素からなるブロツク単位毎に入力されるＳＤ画像信号Ｓ1の空間内アクテイビテイを評価して、その特性に応じて注目画素のクラスを分類するようになされている。

すなわちＡＤＲＣクラス分類部３６には、入力端INから入力されるＳＤ信号Ｓ1が供給され、ＡＤＲＣクラス分類部３６は、注目ＳＤ画素を中心とした複数のＳＤ画素からなるＳＤ信号Ｓ1 に対してＡＤＲＣによるクラス分類処理を実行する。

ＡＤＲＣクラス分類部３６より出力されるＡＤＲＣコードｃ（式中ではクラスタツプパターンのＳＤ画素数ｉに応じてｃiを用いる）は、第１の実施例と同様にしてダイナミツクレンジＤＲ、再量子化ビツト数ｋ、ＳＤ画素ｘi及びその近傍領域内の最小画素レベルＭＩＮとから次式

によつて生成される。

ＡＤＲＣクラス分類部３６において生成されたＡＤＲＣコードｃは、次段の後処理部３７に送出される。後処理部３７は、ＡＤＲＣコードｃによるレベル分布パターンのバラツキ度を表す、例えばＡＤＲＣコードｃに対する標準偏差σを算出する。そして後処理部３７は、算出したＡＤＲＣコードｃに対する標準偏差σを次段の閾値判定部３８に送出する。閾値判定部３８は、このＡＤＲＣコードｃに対する標準偏差σの閾値判定により、クラスコードc0を生成して出力する。ＡＤＲＣコードｃに対する標準偏差σは、ＡＤＲＣコードｃｉ、ＡＤＲＣコードｃｉの平均値ｃａ及びＡＤＲＣコード数ｎを用いて次式

によつて表される。

図２に示す選択部２５は、このようにして得られたクラスコードc0を用いて、第１の実施例と同様にして空間クラスのタツプパターンp3を選択する。さらに、ＡＤＲＣクラス分類部２６において、クラスコードc0に基づいて各タツプのレベル分解能が適応的に設定される。これにより入力ＳＤ画像信号Ｓ1の空間アクテイビテイの分類結果に基づいて空間クラスタツプパターン及びレベル分解能が設定され、第１実施例と同様の効果を得ることができる。

（３）第３実施例
また第３実施例として、クラス分類する際、例えば図４に示す入力された注目ＳＤ画素近傍の９画素のデータ分布から標準偏差σを算出し、その算出された標準偏差σを閾値判定することにより、クラスコードc0データを生成するようにしてもよい。

すなわち、図３に示されるアクテイビテイ分類部２１の処理部３５において、入力注目画素近傍の９画素のデータ分布から標準偏差σが算出される。

つまり処理部３５には、入力端INから入力されるＳＤ信号Ｓ1 が供給され、処理部３５は、入力注目画素近傍の９画素のデータ分布から標準偏差σを算出する。そして、処理部３０は、算出した標準偏差σを次段の閾値判定部３１に送出する。閾値判定部３８は、この標準偏差σの閾値判定することにより、クラスコードc0を生成して出力する。標準偏差σは、ＳＤ画素ｘｉ、近傍領域内平均値ｘｉ及び近傍領域内画素数ｎを用いて次式

によつて定義される。

このように、第３実施例では、この標準偏差σを用いた閾値判定により、クラス分類を実行する。一般に標準偏差が大きい場合は、空間アクテイビテイが高く、反対に小さい場合には、空間アクテイビテイが低いといえる。したがつて、この標準偏差σの閾値判定に基づいて、空間クラスタツプパターンの切り替え及び空間クラス分類用のタツプのレベル分解能を切り替えることによつて、上述した第１実施例と同様の効果を得ることができる。

（４）第４実施例
さらに第４実施例として、ＡＤＲＣコードｃによるレベル分布パターンのバラツキ度を表すＡＤＲＣコードｃを登録した度数分布表を生成し、その生成された度数分布表を用いて閾値判定することにより、クラスコードc0データを生成するようにしてもよい。

すなわち図１０に示すような度数分布表において、閾値０、閾値１間に存在するＡＤＲＣコードｃを計測して、その対比によつてクラス分類する。この場合、例えばＡＤＲＣコードが所定区間にかたまつているときは、空間アクテイビテイは低く、一方ＡＤＲＣコードｃが広く分布しているときは、空間アクテイビテイは高いといえる。

つまり第２実施例と同様に、ＡＤＲＣクラス分類部３６には、入力端INから入力されるＳＤ信号Ｓ1 が供給され、ＡＤＲＣクラス分類部３６は、注目ＳＤ画素を中心とした複数のＳＤ画素に対してＡＤＲＣによるクラス分類処理を実行する。

ＡＤＲＣクラス分類部３６において生成されたＡＤＲＣコードｃは、次段の後処理部３７に送出される。後処理部３７は、ＡＤＲＣコードｃによるレベル分布パターンのバラツキ度を表す、図１０に示されるようなＡＤＲＣコードｃを登録した度数分布表を生成する。そして後処理部３７は、生成されたＡＤＲＣコードｃに対する度数分布表を表すデータを次段の閾値判定部３８に送出する。閾値判定部３８は、ＡＤＲＣコードｃに対する度数分布表において、閾値０と閾値１との間に存在する画素数を計測することにより、閾値判定を実行し、クラスコードc0を生成して出力する。

したがつて、このＡＤＲＣコードｃに対する度数分布表を用いた閾値判定に基づいて、空間クラスタツプパターンの切り替え及び空間クラス分類用のタツプのレベル分解能を切り替えることによつて、上述した第１実施例と同様の効果を得ることができる。

（５）第５実施例
さらに第５実施例として、ＳＤ画素値の隣接画素差分の絶対値を度数分布表に登録して、その度数分布表を用いて、空間アクテイビテイを評価することにより、クラスコードをc0を生成するようにしてもよい。この場合、大きい差分絶対値を持つ画素が多いときは、空間アクテイビテイが高く、反対に小さい差分絶対値を持つ画素が多いときは空間アクテイビテイが低い。

すなわち図９に示されるアクテイビテイ分類部３５のＡＤＲＣクラス分類部３６の代わりに、隣接画素の差分の絶対値を算出する隣接画素差分算出部を設ける。

つまり隣接画素差分算出部には、入力端INから入力されるＳＤ信号Ｓ1 が供給され、隣接画素差分算出部は、注目ＳＤ画素を中心とした複数の周辺ＳＤ画素に対して隣接画素間の差分を算出し、その算出された差分の絶対値を生成する。隣接画素差分算出部において生成された差分絶対値は、次段の後処理部３７に送出される。

後処理部３７は、ＡＤＲＣコードｃによるレベル分布パターンのバラツキ度を表す、差分絶対値を登録した度数分布表を生成する。そして後処理部３７は、生成された差分絶対値に対する度数分布表を表すデータを次段の閾値判定部３８に送出する。

閾値判定部３８は、差分絶対値に対する度数分布表において、閾値０と閾値１との間に存在する画素数を計測することにより、閾値判定を実行し、クラスコードc0を生成して出力する。

したがつて、この隣接画素の差分絶対値の閾値判定に基づいて、空間クラスタツプパターンの切り替え及び空間クラス分類用のタツプのレベル分解能を切り替えることによつて、上述した第１実施例と同様の効果を得ることができる。

（６）第６実施例
図１１は、第６実施例によるアツプコンバータ５０を示している。このアツプコンバータ５０は、初段のクラス分類部５０Ａのラプラシアンフイルタ５１Ａ〜５１Ｅにおいて、複数の方向の１次元ラプラシアン処理を行い、それらの値を総合的に判断することにより、初段のクラス分類を実行する。続いて初段のクラス分類部５０Ａの分類結果に応じて、次段のクラス分類部５０Ｂのクラスタツプパターンを設定する。そして、次段のクラス分類部５０Ｂは、このクラスタツプパターンを用いて、クラス分類を実行する。

この第６実施例は、初段のクラス分類において、空間方向及び時間方向のアクテイビテイを評価している。図１１を用いて、第６実施例の構成を説明する。

入力端INから入力されるＳＤ画像信号Ｓ1は、クラス分類部５０Ａに供給される。そして、クラス分類部５０Ａに供給されたＳＤ画像信号Ｓ1は、ラプラシアンフイルタ５１Ａ〜５１Ｅ及び遅延部５６Ｂに供給される。

５種類のラプラシアンフイルタ５１Ａ〜５１Ｅは、供給されたＳＤ画像信号Ｓ1のフレーム毎又はフイールド毎のブロツク単位の入力ＳＤ画像信号Ｓ1に対して、各フイルタ毎に異なつた方向にラプラシアン処理を施し、ラプラシアン値LO〜L4を出力する。

すなわちラプラシアン処理は、図１２に示すように、一次元のラプラシアンフイルタ５１Ａ〜５１Ｅによつて、水平方向（図１２（Ａ））、垂直方向（図１２（Ｂ））、右下斜め方向（向かつて左上端から右下端の対角線の方向）（図１２（Ｃ））、左下斜め方向（向かつて右上端から左下端の対角線の方向）（図１２（Ｄ））及び時間方向（図１２（Ｅ））のそれぞれの方向に対してラプラシアン処理を施す。

まず、ラプラシアンフイルタ５１Ａ〜５１Ｄを通じてラプラシアン処理され、その結果として得られるラプラシアン値L0〜L3は、次段の絶対値回路５２Ａ〜５２Ｄにそれぞれ送出される。

絶対値回路５２Ａ〜５２Ｄは、それぞれラプラシアン値L0〜L3に対して絶対値化を施す。そしてその結果として得られる絶対値a0〜a3を最大値検出器５３に送出する。

最大値検出器５３は、絶対値a0〜a3の中から最大値を検出し、その検出された最大値を閾値TH0 を用いて閾値処理する。これにより、入力ＳＤ画像信号Ｓ1の平坦度が検出され、１ビツトで表現されたその平坦度を示す値（平坦度値）L10が出力される。さらに、最大値検出器５３は、２ビツトで表現された最大値が検出された方向を示す値（最大値検出方向値）a10を出力する。同時に、ラプラシアンフイルタ５１Ｅは、時間方向に対してのラプラシアン値L4を絶対値回路５２Ｅに送出する。

そして絶対値回路５２Ｅは、ラプラシアン値L4に対して絶対値化を施し、その結果得られる絶対値a4を比較器５４に送出する。

比較器５４は、絶対値a4を閾値TH1 を用いて閾値処理することによつて、１ビツトで表現された時間方向の変化を示す値（時間方向変化値）a11を出力する。そしてこの時間方向変化値a11に上述した最大値検出方向値a10及び平坦度値L10を加えた４ビツトのデータが制御信号CTとして、次段のクラス分類部５０Ｂに送出される。

ラプラシアン値は、基本的には注目画素と両側の画素との空間差分の合計であるので、隣接画素の変化が大きいほどラプラシアンの値は大きくなる。初段のクラス分類部５０Ａは、空間内のエツジがある方向を検出するために、空間内の所定の方向のアクテイビテイを一次元のラプラシアンフイルタをかけることにより、その特徴を大きく分類する。

クラス分類部５０Ａから出力される制御信号CTは、クラス分類部５０Ｂのセレクタ５５Ａ〜５５Ｉ及び遅延回路５６Ａに送出される。

セレクタ５５Ａ〜５５Ｉは、制御信号CTによつて選択されるＳＤ画像データが供給されるラインを通じてレジスタアレイ５７に接続されている。

レジスタアレイ５７には、遅延回路５６Ｂを通じて遅延された数ライン分のＳＤ画像信号Ｓ1 が送出される。

セレクタ５５Ａ〜５５Ｉは、制御信号CTに応じて選択的に切り替えられ、レジスタアレイ５７から供給されるＳＤ画像データをインデツクスに応じて選択し、９画素分の画素データを次段の１ビツトＡＤＲＣクラス分類部５８に送出する。つまりこの制御信号CTに応じて、次段のクラス分類部５０Ｂのクラスタツプパターンが選択される。

ＡＤＲＣクラス分類部５８は、セレクタ５５Ａ〜５５Ｉによつて選択された９個のタツプによつて形成されるクラスタツプパターンを用いて、１ビツトＡＤＲＣクラス分類を実行し、９ビツトで表現されるＡＤＲＣコードｃを出力する。したがつて、クラス分類部５０Ｂのクラスは、５１２（２９）通りのクラスに分類される。

この結果アツプコンバータ５０において、初段のクラス分類部５０Ａ（１６通り）と次段のクラス分類部５０Ｂ（５１２通り）とを掛け合わせた8192のクラスに分類することができる。このように初段の空間アクテイビテイにより選択されたクラスに応じて次段のＡＤＲＣクラス分類における最適なタツプパターンを選択するようにしたことにより、次段以降のクラス分類において空間アクテイビテイの特徴を反映したより精度の高いクラス分類が成し得る。

次段の予測値演算部５０Ｃは、ＨＤ補間画素の予測係数を記憶する予測係数ＲＡＭ５９、ＨＤ補間画素を生成するための予測タツプパターンを設定する予測タツプパターン設定部６０と、予測タツプパターン及び予測係数を用いた演算によりＨＤ補間画素を生成する予測演算部６１とからなる。

予測係数ＲＡＭ５９は、１ビツトＡＤＲＣクラス分類部５８より供給されるＡＤＲＣコードｃ及び遅延回路５６Ａを通じて遅延された制御信号CTの２つの信号をアドレスデータとして予測係数を読み出し、その読みだされた予測係数を予測演算部６１へ送出する。

一方、レジスタアレイ５７から送出されるＳＤ画像信号Ｓ1が予測タツプパターン設定部６０に送出される。

この予測タツプパターン設定部は、後段の予測演算部６１で使用する予測タツプパターンを設定する。つまり入力されたＳＤ画像信号Ｓ1から、後段の予測演算部６１で予測係数ＲＡＭから読み出された係数と予測演算される予測タツプパターンを出力する。予測演算部６１は、予測タツプパターンの画素データと予測係数を用いて線形一次結合によりＨＤ補間画素を生成して出力する。

ここで、クラス分類部５０Ａで生成される４ビツトの制御信号CTとその制御信号CTにより選択されるクラス分類部５０Ｂで用いられるクラスタツプパターンについて説明する。

図１３は、クラス分類部５０Ａで生成される４ビツトの制御信号CTの１６（２４）通りの組み合わせを表すインデツクス（Ｉ０〜Ｉ３）である。図１４〜図１７は、インデツクス（Ｉ０〜Ｉ３）に対応して設けられた次段におけるクラス分類部５０Ｂのタツプパターン構造の一例を示している。制御信号CTとタツプパターンとの関係は、空間方向において、変化の大きい方向（ラプラシアン値の大きい方向）にクラスタツプが存在し、ラプラシアン値の最大値が大きい程、タツプの空間の広がりが小さくなるような関係である。さらに、時間方向のラプラシアン値が大きいとタツプパターンが同一フイールド内のタツプから構成され、時間方向のラプラシアン値が小さいとタツプパターンが異なるフイールド上（例えば、フレーム）のタツプから構成される関係である。

図１４（Ａ）〜（Ｄ）に示されるタツプパターンは、それぞれインデツクス(0000)〜(0011)に対応して設けられたもので、水平方向への変化が大きいものに対して選択される。

ここで、図１４（Ａ）〜（Ｄ）に示すクラスタツプパターンをそれぞれ比較した場合、図１４（Ｃ）及び（Ｄ）に示すインデツクス（0010)及び(0011)のクラスタツプパターンの水平方向の配置間隔を、図１４（Ａ）及び（Ｂ）に示すインデツクス（0000)及び(0001)のクラスタツプパターンの配置間隔に比して狭くすることにより、最大値である水平方向のラプラシアン値を大きく表現する。つまり、最大値である水平方向のラプラシアン値が大きい程、クラスタツプパターンの空間の広がりを小さくし、最大値である水平方向のラプラシアン値が小さい程、クラスタツプパターンの空間の広がりを大きくする。

また、図１４（Ｂ）及び（Ｄ）に示すように、インデツクス（0001)及び(0011)の時間方向のビツト（４ビツト目）がオンのときは、クラスタツプパターンを同一フイールド内に配置することにより、時間方向の変化を大きく表現する。これに対して、図１４（Ａ）及び（Ｃ）に示すように、インデツクス（0000)及び(0010)の時間方向のビツト（４ビツト目）がオフのときは、異なるフイールド上にタツプを配置することにより、時間方向の変化を小さく表現する。

また、図１５（Ｃ）及び（Ｄ）に示すインデツクス（0110)及び(0111)のクラスタツプパターンの垂直方向の配置間隔を、図１５（Ａ）及び（Ｂ）に示すインデツクス（0100)及び(0101)のクラスタツプパターンの配置間隔に比して狭くすることにより、最大値である垂直方向のラプラシアン値を大きく表現する。つまり、最大値である垂直方向のラプラシアン値が大きい程、クラスタツプパターンの空間の広がりを小さくし、最大値である垂直方向のラプラシアン値が小さい程、クラスタツプパターンの空間の広がりを大きくする。

また、図１５（Ｂ）及び（Ｄ）に示すように、インデツクス（0101)及び(0111)の時間方向に変化があるとき、つまり、時間方向のビツト（４ビツト目）がオンのときは、クラスタツプパターンを同一フイールド内に配置することにより、時間方向の変化を大きく表現する。これに対して、図１５（Ａ）及び（Ｃ）に示すようにインデツクス（0100)及び(0110)の時間方向のビツトがオフのときは、異なるフイールド上にタツプを配置することにより、時間方向の変化を小さく表現する。

また、図１６（Ｃ）及び（Ｄ）に示すインデツクス（1010)及び(1011)のクラスタツプパターンの右下がり方向の配置間隔を、図１６（Ａ）及び（Ｂ）に示すインデツクス（1000)及び(1001)のクラスタツプパターンの配置間隔に比して狭くすることにより、最大値である右下がり方向のラプラシアン値を大きく表現する。つまり、最大値である右下がり方向のラプラシアン値が大きい程、クラスタツプパターンの空間の広がりを小さくし、最大値である右下がり方向のラプラシアン値が小さい程、クラスタツプパターンの空間の広がりを大きくする。

また、図１６（Ｂ）及び（Ｄ）に示すように、インデツクス（1001)及び(1011)の時間方向のビツトがオンのときは、クラスタツプパターンを同一フイールド内に配置して時間方向の変化を大きく表現する。これに対して、図１６（Ａ）及び（Ｃ）に示すようにインデツクス（1000)及び(1010)の時間方向のビツトがオフのときは、異なるフイールド上にタツプを配置することにより、時間方向の変化を小さく表現する。

さらに、図１７（Ｃ）及び（Ｄ）に示すインデツクス（1110)及び(1111)のクラスタツプパターンの左下がり方向の配置間隔を、図１７（Ａ）及び（Ｂ）に示すインデツクス（1100)及び(1101)のクラスタツプパターンの配置間隔に比して狭くすることにより、最大値である左下がり方向のラプラシアン値を大きく表現する。つまり、最大値である左下がり方向のラプラシアン値が大きい程、クラスタツプパターンの空間の広がりを小さくし、最大値である左下がり方向のラプラシアン値が小さい程、クラスタツプパターンの空間の広がりを大きくする。

また図１７（Ｂ）及び（Ｄ）に示すように、インデツクス（1101)及び(1111)の時間方向のビツトがオンのときは、クラスタツプパターンを同一フイールド内に配置して時間方向の変化を大きく表現する。これに対して、図１７（Ａ）及び（Ｃ）に示すようにインデツクス（1100)及び(1110)の時間方向のビツトがオフのときは、異なるフイールド上にタツプを配置することにより、時間方向の変化を小さく表現する。

このように、クラスタツプパターンは、空間方向において、変化の大きい方向（ラプラシアン値の大きい方向）にクラスタツプが存在し、ラプラシアン値の最大値が大きい程、タツプの空間の広がりが小さくなるように設定される。さらに、時間方向のラプラシアン値が大きいとタツプパターンが同一フイールド内のタツプから構成され、時間方向のラプラシアン値が小さいとタツプパターンが異なるフイールド上（例えば、フレーム）のタツプから構成されるように設定する。

以上の構成において、上述した第６の実施例のアツプコンバータ５０及びそのアツプコンバータ５０の各部の動作について説明する。

まず、ＳＤ画像信号Ｓ1 が初段のクラス分類部５０Ａに入力されると、ラプラシアンフイルタ５１Ａ〜５１Ｄによつて空間内の異なる複数のレベル方向に対してラプラシアンフイルタがかけられる。この結果として得られるラプラシアン値L0〜L3は、絶対値化回路５２Ａ〜５２Ｄによつてそれぞれ絶対値化され、絶対値a0〜a3として出力される。

そして、絶対値a0〜a3が、最大値検出器５３に送出され、その供給されたラプラシアン値の絶対値の中から最大値を求める。このとき、ラプラシアン値の絶対値の最大値がどの方向のラプラシアン（L10）であるかによつて、入力画像信号の空間内のエツジの方向が検出される。そして、この検出された最大値の方向を示す値（最大値検出方向値）a10を２ビツトで表現する。さらに、最大値を閾値処理することにより、入力ＳＤ画像信号Ｓ1の平坦度を表すことができ、その平坦度を表す値（平坦度値）L10 を１ビツトで表現する。

また、ラプラシアンフイルタ５１Ｅによつて時間方向に対してのラプラシアン値L4が得られる。そのラプラシアン値L4が、絶対値化回路５２Ｅによつて絶対値化され、絶対値a4として出力される。そして、その絶対値a4が、比較回路によつて閾値TH1を用いて閾値処理されることにより、時間方向の変化を表す値（時間方向変化値）a11として出力される。こうして入力ＳＤ画像信号Ｓ1 の信号特性の大まかな特徴を捉えることができる。

クラス分類部５０Ａは、２ビツトの最大値検出方向値a10、１ビツトの平坦度値L10及び１ビツトの時間方向変化値a11からなる４ビツトの制御信号CTを次段のクラス分類部５０Ｂへ送出する。

次段のクラス分類部５０Ｂは、４ビツトの制御信号CTに対応するインデツクス（Ｉ０〜Ｉ３）に基づいて空間クラスタツプパターンを設定する。すなわち、クラス分類部５０Ｂは、制御信号CTに応じてセレクタ５５Ａ〜５５Ｉを切り替え、レジスタアレイ５７を通じて得られる入力ＳＤ画像信号Ｓ1に対するクラスタツプパターンを選択して、ＡＤＲＣクラス分類部５８に送出する。これにより、入力ＳＤ画像信号Ｓ1のアクテイビテイを反映したクラスタツプパターンに基づいた精度の高いクラス分類が成し得る。

また、レジスタアレイ５７からＳＤ画像信号Ｓ1 は、次段の予測値演算部５０Ｃに送出される。予測タツプパターン部６０において、予測演算部６１で制御信号CT及びＡＤＲＣコードｃに応じて予測係数ＲＡＭ５９から読み出される予測係数と予測演算を実行するための予測タツプパターンが設定され、その設定された予測タツプパターンが予測演算部６１に送出される。そして、予測演算部６１において、制御信号CT及びＡＤＲＣコードｃに応じて予測係数ＲＡＭ５９から読み出された予測係数と予測タツプパターン部６０からの予測タツプパターンを用いて、線形一次結合により予測演算処理が実行され、ＨＤ補間画素として出力される。

以上の構成によれば、初段のクラス分類部５０Ａのラプラシアンフイルタ５１Ａ〜５１Ｅにおいて、複数の方向の１次元ラプラシアン処理を行い、それらの値を総合的に判断することにより初段のクラス分類を実行し、初段のクラス分類部５０Ａの分類結果に応じて、次段のクラス分類部５０Ｂのクラスタツプパターンを設定した後、次段のクラス分類部５０Ｂは、このクラスタツプパターンを用いて、クラス分類を実行するようにしたことにより入力ＳＤ画像信号Ｓ1のアクテイビテイ特性を反映した精度の高いクラス分類が成し得、かくして上述した第１実施例と同様の効果を得ることができる。

（７）第７実施例
図１１との対応部分に同一符号を付した図１８は、第７実施例によるアツプコンバータ６５を示している。第７実施例では、第６実施例と同様に、初段のクラス分類部５０Ａのラプラシアンフイルタ５１Ａ〜５１Ｅを用いた初段のクラス分類結果に応じて、次段のクラス分類部５０Ｂのクラス分類のためのクラスタツプパターンを設定し、このクラスタツプパターンをもとにして次段のクラス分類を行うことにより、２段階でクラス分類を実行する。

図１８を用いて、第７実施例のアツプコンバータ６５の構成を説明する。入力端INから入力されるＳＤ画像信号Ｓ1 は、クラス分類部６５Ａに供給される。そして、クラス分類部６５Ａに供給されたＳＤ画像信号Ｓ1は、ラプラシアンフイルタ５１Ａ〜５１Ｅ及び遅延部５６Ａにそれぞれ供給される。

５種類のラプラシアンフイルタ５１Ａ〜５１Ｅは、供給されたＳＤ画像信号Ｓ1のフレーム毎又はフイールド毎のブロツク単位の入力ＳＤ画像信号Ｓ1に対して、各フイルタ毎に異なつた方向にラプラシアン処理を施し、ラプラシアン値LO〜L4を出力する。これらのラプラシアンフイルタ５１Ａ〜５１Ｅは、図１１の第６実施例のアツプコンバータ５０で使用されたラプラシアンフイルタと同一のものを使用する。そのラプラシアン値L0〜L4は、次段の量子化器６６Ａ〜６６Ｅにそれぞれ送出される。

量子化器６６Ａ〜６６Ｅは、各ラプラシアンL0〜L4を絶対値化した後、非線形の量子化を実行して、量子化値q0〜q4を出力する。例えば、量子化器６６Ａ〜６６Ｅは、量子化によつて、入力ＳＤ画像信号Ｓ1を０、＋１の２種類の量子化値q0〜q4に変換すると、全部で３２（２５）通りのクラスに分類することができる。つまり絶対値が小さい場合には、０を、絶対値が大きい場合には、１を割り当てるように量子化する。そして量子化値q0〜q4は、合成部６７に送出され、合成部６７は、量子化値q0〜q4を合成して５ビツトのクラスコードを生成し、初段のクラス分類を表す制御信号CTとしてこれを次段のクラス分類部６５Ｂへ送出する。

クラス分類部６５Ｂは、第６実施例と同様に、制御信号CTに基づいてセレクタ５５Ａ〜５５Ｉを切り替え、レジスタ５７を通じて送出されてくるＳＤ画素による９画素のタツプパターンを選択する。セレクタ５５Ａ〜５５Ｉによつて選択された９画素のタツプパターンが、１ビツトＡＤＲＣクラス分類部５８に送出され、１ビツトＡＤＲＣクラス分類部５８は、入力されたクラスタツプパターンに対してＡＤＲＣを実行することにより、５１２(２９）通りのクラスコードを発生するために第２段のクラス分類を実行する。これにより初段のクラス分類部６５Ａのクラスと次段のクラス分類部６５Ｂのクラスとを掛け合わせた１６３８４通りのクラスが成し得る。

ＡＤＲＣクラス分類部６５は、９ビツトのクラスコードを生成し、遅延回路５６Ｂを介して供給された初段のクラスコードとともに、予測値演算部６５Ｃに供給される。

演算部６５Ｃは、上述した第６実施例と同様であるため、説明は、省略する。また初段のクラス分類部６５Ａからの制御信号CTに対応するクラス分類部６５Ｂで使用されるクラスタツプパターンについては、図示を省略する。しかしながら、クラスタツプパターンとして、ラプラシアン値が大きい程、タツプパターンの空間の広がりが小さくなり、ラプラシアン値が大きい方向にタツプが広がるようなタツプパターンが設定される。また時間方向のラプラシアン値が大きいとタツプパターンが同一フイールド内のタツプから構成され、時間方向のラプラシアン値が小さいとタツプパターンが異なるフイールド上（例えば、フレーム）のタツプから構成されるようなタツプパターンが設定される。

以上の構成によれば、上述した第１実施例と同様の効果を得ることができる。

（８）第８実施例
図１及び図２との対応する部分に同一符号を付して示す図１９は、第８の実施例によるアツプコンバータのクラス分類部７０を示す。入力端INから入力されるＳＤ画像信号Ｓ1 は、ＡＤＲＣクラス分類部７１及び複数のクラスタツプ選択部７２（７２Ａ〜７２Ｇ）に並列に送出される。ＡＤＲＣクラス分類部７１は、入力ＳＤ画像信号Ｓ1 から注目ＳＤ画素に対する周辺の４画素を用いたＡＤＲＣによる画素レベル分布のパターンに応じてクラス分類を実行し、その結果として得られるＡＤＲＣコードｃを選択部７３に送出する。一方、選択部７３には入力ＳＤ画像信号Ｓ1 の信号特性に応じた空間クラスタツプパターンを設定するクラスタツプ選択部７２Ａ〜７２Ｇより空間クラスとして分類された各タツプパターンが送出される。

すなわち、各クラスタツプ選択部７２Ａ〜７２Ｇでは、図２０及び図２１に示すように、注目画素に対する周辺の４画素について１ビツトＡＤＲＣを施した結果得られた各ＡＤＲＣコードｃによるレベル分布（７３Ａ、７３Ｂ、７４Ａ、７４Ｂ、７５Ａ、７５Ｂ、７６Ａ、７６Ｂ、７７Ａ、７７Ｂ、７８Ａ、７８Ｂ、７９Ａ、７９Ｂ、８０Ａ、８０Ｂ）に対して、それぞれの信号特性を表すためのクラスタツプパターン（８１、８２、８３、８４、８５、８６、８７）が対応付けられて設定される。

例えば、ＡＤＲＣコードｃによるレベル分布７３Ａ及び７３Ｂのそれぞれについては、右下斜め方向（向かつて左上端から右下端の対角線方向）にレベル分布の特徴が見られる。よつて、画像のエツジがその方向にあると考えられるので、右下がりの斜め方向のクラスタツプパターン８１を対応させる。同様にして、ＡＤＲＣコードｃによるレベル分布７４Ａ及び７４Ｂのそれぞれについては、左下斜め方向（向かつて右上端から左下端の対角線方向）にレベル分布の特徴が見られるので、左下がりの斜め方向のクラスタツプパターン８２を対応させる。

また、ＡＤＲＣコードｃによるレベル分布７５Ａ及び７５Ｂ、７６Ａ及び７６Ｂのそれぞれについては、左側と右側に偏つたレベル分布の特徴が見られるので、それぞれ左側と右側に偏つた予測タツプを集めたクラスタツプパターン８３及び８４をそれぞれ対応させる。

さらに、ＡＤＲＣコードｃによるレベル分布７７Ａ及び７７Ｂ、７８Ａ及び７８Ｂのそれぞれについては、上側と下側に偏つたタツプのレベル分布の特徴が見られるので、それぞれ上側と下側に偏つたクラスタツプを集めたクラスタツプパターン８５及び８６をそれぞれ対応させる。さらに、ＡＤＲＣコードｃによるレベル分布７９Ａ及び７９Ｂ及びレベル分布８０Ａ、８０Ｂのそれぞれについては、定常的なレベル分布の特徴が見られるので、全てのクラスタツプを用いたクラスタツプパターン８７を対応させる。

これにより、クラスタツプ選択部７２Ａ〜７２Ｇにおいて設定されたクラスタツプパターンが、選択部７３においてＡＤＲＣコードｃに応じて選択され、その選択されたクラスタツプパターンP10が、次段のＡＤＲＣクラス分類部２６に送出される。ＡＤＲＣクラス分類部２６は、選択されたクラスタツプパターンP10によつてＳＤ画像信号Ｓ1に対して１ビツトＡＤＲＣを施し、その結果として得られるＡＤＲＣコードd0を予測係数を読み出すためのアドレスデータとしての予測係数ＲＯＭ１４に送出する。

以上の構成において、第８実施例のアツプコンバータのクラス分類部７０の動作について説明する。

まず入力ＳＤ画像信号Ｓ1が、初段のＡＤＲＣクラス分類部７１に供給され、初段のＡＤＲＣクラス分類部７１において、注目画素に対する周辺画素の４画素による１ビツトＡＤＲＣを実行することにより、クラスコードｃが発生される。

また、入力ＳＤ画像信号Ｓ1 は、クラスタツプ選択部７２Ａ〜７２Ｇにおいて信号特性を反映した異なる複数のクラスタツプパターン８１〜８７に分類される。

そして初段のＡＤＲＣクラス分類部７１からのクラスコードｃによつて、その複数のクラスタツプパターン８１〜８７から１つのクラスタツプパターンP10 が選択され、次段のＡＤＲＣクラス分類部２６に送出される。ＡＤＲＣクラス分類部２６は、選択されたクラスタツプパターンP10を形成する入力ＳＤ画像信号Ｓ1 を１ビツトＡＤＲＣを実行することにより、クラスコードd0を生成し、アドレスデータとして後段の予測係数ＲＯＭ１４に送出する。

以上の構成によれば、予測係数を選択するためのアドレスデータを生成する際、第１段のＡＤＲＣクラス分類部７１によつて検出された入力ＳＤ画像信号Ｓ1の空間アクテイビテイに応じて、クラスタツプパターンを選択する。そして、選択されたクラスタツプパターンP10を用いて、第２段のＡＤＲＣクラス分類２６を実行することによつて、空間アクテイビテイを反映したクラスコードd0を生成することができ、かくして上述した第１実施例と同様の効果を得ることができる。

また以上の構成によれば、予測演算に用いる予測タツプパターンを空間アクテイビテイに応じて変えることによつて、予測タツプが少なくないときの演算処理を短縮し得る。

なお、第１実施例のように、第１段のＡＤＲＣクラス分類部７１からの出力信号に基づいて、第２段のＡＤＲＣクラス分類部２６の量子化ビツト数を切り換えるようにしてもよい。

（９）第９実施例
図２２は、第９実施例によるアツプコンバータ９０を示している。このアツプコンバータ９０は、初段のクラス分類部において、１ビツトＡＤＲＣによる空間内アクテイビテイの大まかなクラス分類を実行し、次段のクラス分類部でより詳細な多ビツトＡＤＲＣを実行する。

アツプコンバータ９０において、入力端INを通じて入力されるＳＤ画像信号Ｓ1 は、初段ブロツク９１、遅延回路９７及び１０１にそれぞれ送出される。初段ブロツク９１は、図２３に示すように、現フレーム又はフイールドにおける注目画素データ（図中◎で示す）を中心とするｎ×ｍ画素（例えば、図中５×５画素）にブロツク化し、その結果として得られるブロツクデータb1を１ビツトＡＤＲＣクラス分類部９２に送出する。

１ビツトＡＤＲＣクラス分類部９２は、５×５画素のブロツクデータb1に対して１ビツトＡＤＲＣ処理を実行し、この結果として得られるＡＤＲＣコードc10を遅延回路９３Ａを通じてタイミングを調整してＲＯＭ９４に送出する。さらに、１ビツトＡＤＲＣクラス分類部９２は、計算時に算出したダイナミツクレンジＤＲを比較回路９５に送出する。１ビツトＡＤＲＣクラス分類部９２は、このとき、同時に、ダイナミツクレンジＤＲ及び画素最小レベルＭＩＮを多ビツトＡＤＲＣクラス分類部９６に送出する。

ここで、比較回路９５は、ダイナミツクレンジＤＲを閾値THと比較して得られる比較結果CRを遅延回路９３Ｂを通じてＲＯＭ９４に送出する。そして、この比較結果CRをもとに、ダイナミツクレンジＤＲが閾値THに比して小さい場合（CR=0）は、多ビツトＡＤＲＣクラス分類部９６によるクラス分類は実行されない。これに対して、ダイナミツクレンジＤＲが閾値THに比して大きい場合（CR=1）は、多ビツトＡＤＲＣクラス分類部９６によるクラス分類を実行する。しかしながら、この実施例の場合、多ビツトＡＤＲＣクラス分類部９６は常時実行されている。

したがつて、後段のＲＯＭ９４において、多ビツトＡＤＲＣクラス分類部９６からのＡＤＲＣコードc11を無視することにより、多ビツトＡＤＲＣクラス分類部を実行しないようにみなしている。また、もし、多ビツトＡＤＲＣクラス分類部９６を実行させないようにするためには、図２２の点線で示すように、比較結果CRを多ビツトＡＤＲＣクラス分類部９６に供給し、多ビツトＡＤＲＣクラス分類部９６を実行させないように制御すればよい。

一方、入力端INより遅延回路９７を通じて遅延することによつてタイミング調整したＳＤ画像信号Ｓ1 は、次段ブロツク９８に供給され、次段ブロツク９８において、図２３に示すように、例えば、注目画素を含む３×３画素からなる９画素のブロツクデータb2が設定され、多ビツトクラス分類部９６に送出される。多ビツトＡＤＲＣクラス分類部９６は、１ビツトＡＤＲＣクラス分類部９２で算出されたダイナミツクレンジＤＲ及び画素最小レベルＭＩＮを用いてブロツクデータb2をクラス分類し、この結果として得られるＡＤＲＣコードc11をＲＯＭ９４に送出する。

図２４に示すように、１ビツトＡＤＲＣクラス分類部９２のクラス分類結果として得られるＡＤＲＣコードc10と多ビツトＡＤＲＣクラス分類部９６のクラス分類結果として得られるＡＤＲＣコードc11とによるクラス分類に応じた階層的な構造を持つたクラスコードd0のテーブルが予め学習によつて求められ、ＲＯＭ９４に格納されている。クラス分類部９０は、比較結果CRをもとに１ビツトＡＤＲＣクラス分類部９２及び多ビツトＡＤＲＣクラス分類部９６のクラス分類によつて得られるＡＤＲＣコードc10及びc11に応じてクラスコードd0を読み出して、後段の予測係数ＲＡＭ９９に送出する。この予測係数ＲＡＭ９９にも、予め学習によつて求められ、階層化されたクラスコードd0に応じて予測係数が登録されている。

予測係数ＲＡＭ９９からは、クラスコードd0をアドレスデータとして逐次、予測係数群が読み出され、ＳＤ画像信号Ｓ1 と積和演算することによりＨＤ補間画素を演算する予測演算部１００に送出される。一方、予測演算部１００には、遅延回路１０１を通じて遅延されたＳＤ画像信号Ｓ1が予測タツプ設定部１０２に供給され、予測タツプパターン設定部１０２は、予測演算部１００によつて使用される図２５に示すような予測タツプパターンを予測演算部１００に送出する。予測タツプ設定部１０２では、図２５に示すような予測タツプパターンを用いて補間画素を生成する。これにより、予測演算部１００において、ＳＤ画像信号Ｓ1に対応した予測係数群との間で線形予測演算が実行され、補間画素が生成される。

以上の構成において、第９実施例のアツプコンバータ９０及びそのアツプコンバータ９０の各部の動作について説明する。

まずアツプコンバータ９０の初段ブロツク９１に入力されたＳＤ画像信号Ｓ1は、注目ＳＤ画素を中心とする５×５画素のブロツク単位で抽出され、１ビツトＡＤＲＣクラス分類部９２においてクラス分類される。そして、１ビツトＡＤＲＣクラス分類部９２より出力されるダイナミツクレンジＤＲを比較回路９５において所定の閾値THを用いて閾値処理する。

このとき、閾値THに比してダイナミツクレンジＤＲが大きい場合は、多ビツトＡＤＲＣクラス分類部９６のクラス分類を実行して、１ビツトＡＤＲＣクラス分類部９２及び多ビツトＡＤＲＣクラス分類部９６のクラス分類結果をもとにしてＲＯＭ９４からクラスコードd0を読み出す。これに対して、ダイナミツクレンジＤＲが閾値THに比して小さい場合は、多ビツトＡＤＲＣクラス分類部９６のクラス分類を実行せずに、１ビツトＡＤＲＣクラス分類部９２のクラス分類結果のみによつてＲＯＭ９４からクラスコードを読み出す。

このようにして、１ビツトＡＤＲＣクラス分類部９２及び／又は多ビツトＡＤＲＣクラス分類部９６のクラス分類の結果に応じて、クラスコードd0がＲＯＭ９４より読み出され、アドレスデータとして予測係数ＲＡＭ９９に送出される。このように、初段で粗く空間内アクテイビテイを評価し、次段で空間内アクテイビテイに応じた精細なクラス分類を実行することによつて、入力ＳＤ画像信号Ｓ1の空間内アクテイビテイの特性を反映した適切なクラス分類が実行し得る。

予測係数ＲＡＭ９９は、クラスコードd0に応じて予測係数を読み出し、予測演算部１００に送出する。予測演算部１００は、予測タツプパターン設定部１０２において選択された予測タツプパターンに対して上述した予測係数を用いて予測演算を施すことにより、ＨＤ補間画素を生成して出力する。

以上の構成によれば、初段で粗く、次段で細かくクラス分類することによつて、初段で捉えた入力ＳＤ画像信号Ｓ1 の信号特性に応じて、次段でより適切に細分化されたクラス分類が実行し得る。これにより、上述した実施例と同様の効果が得られ、さらに、クラス分類が初段のみで終了した場合、クラス分類の処理を短縮し得る。

（１０）他の実施例
なお、上述の実施例においては、入力画像信号のデータ圧縮によるクラス分類法としてＡＤＲＣクラス分類法を用いた場合について述べたが、本発明はこれに限らず、例えばＤＰＣＭ（Differential Pulse Code Modulation）やＶＱ（Vector Quantization）やＭＳＢ(Most Significant Bit)を用いる手法や２値化又は離散余弦変換（ＤＣＴ）等の手法を用いてデータ圧縮することにより、クラス分類を行うようにしても良い。

また上述の実施例においては、クラス分類部１２において２段階又は３段階に亘つたクラス分類法を実行した場合について述べたが、本発明はこれに限らず、初段の大まかなクラス分類に続いて順次、適応性を上げるようにすれば、さらに多段のクラス分類を実行するようにしても良い。これにより、より精度の高いクラス分類が成し得る。

さらに、上述の実施例においては、アツプコンバータとして２次元ノンセパラブルフイルタを用いた場合について述べたが、本発明はこれに限らず、図１との対応部分に同一符号を付した図２６に示すような垂直／水平セパラブルのフイルタ構成でなるアツプコンバータ１１０を用いても良い。

このアツプコンバータ１１０においては、まず、入力端子INを通じて入力されたＳＤ信号Ｓ1 が、クラス分類部１２と予測演算部１１１にそれぞれ供給される。予測演算部１１１は、走査線の位置mode１、mode２に対応する垂直予測演算部１１１Ａ及び水平予測演算部１１１Ｂと走査線の位置mode３、mode４に対応する垂直予測演算部１１１Ｃ及び水平予測演算部１１１Ｄの２種類に分かれる。クラス分類部１２では、上述した実施例のクラス分類部を適応することにより、入力ＳＤ信号Ｓ1に応じたクラスコードd0が生成され、タツプ予測係数を予め記憶している記憶手段である予測係数ＲＯＭ１１２に送出する。予測係数ＲＯＭ１１２は、タツプ予測係数の垂直成分と水平成分を記憶する垂直係数ＲＯＭ１１２Ａと水平係数ＲＯＭ１１２Ｂとに分かれている。クラスコードd0は、垂直係数ＲＯＭ１１２Ａと水平係数ＲＯＭ１１２Ｂのそれぞれに供給される。

まず、垂直係数ＲＯＭ１１２Ａより出力される垂直予測係数d6は、垂直予測演算部１１１Ａ及び１１１Ｃに供給される。そして、垂直予測演算部１１１Ａ及び１１１Ｃは、入力ＳＤ信号Ｓ1 と垂直予測係数d6による積和演算により垂直推定値d7、d8を生成する。この垂直推定値d7、d8は、次段の水平予測演算部１１１Ｂ及び１１１Ｄに供給される。

水平係数ＲＯＭ１１２Ｂより生成される水平予測係数d9は、水平予測演算部１１１Ｂ及び１１１Ｄに供給される。そして、水平予測演算部１１１Ｂ及び１１１Ｄは、垂直推定値d7、d8と水平予測係数d9との積和演算によりＨＤ画素d10、d11信号を生成する。このＨＤ画素d10、d11信号は、選択部に供給され、選択部１５において適切な並び替えにより出力端OUT より最終的な出力であるＨＤ信号Ｓ2 が出力される。

さらに上述の実施例においては、ＨＤ注目画素と注目画素周辺の伝送画素との相関関係を表す予測係数を用いてＳＤ画素から注目画素周辺のＨＤ画素を生成した場合について述べたが、本発明はこれに限らず、予測係数に代えて各クラス毎のＨＤ補間画素の予測値を予め設定して記憶手段に格納するようにしても良い。予測値によるＳＤ画像信号のＨＤ画像信号への信号変換は、図１との対応部分に同符号を付した、図２７に示すようなアツプコンバータ１１５を用いる。

このアツプコンバータ１１５には、入力端INを通じてクラス分類部１２にＳＤ画像信号Ｓ1が送出される。このクラス分類部１２は、新たに生成する補間画素であるＨＤ補間画素周辺のＳＤ画素の特徴に基づいてクラスコードd0を生成して予測値ＲＯＭ１１６Ａ〜１１６Ｄに送出する。予測値ＲＯＭ１１６Ａ〜１１６Ｄには、予め学習により求めておいたＨＤ補間画素の予測データである予測値が各クラス毎にクラスコードd0に対応付けされて格納してある。予測値ＲＯＭ１１６は、クラスコードd0をアドレスデータとしてＨＤ補間画素の予測値d20〜d23を読み出し、選択部１５を通じて出力端OUTより出力する。これにより予測値d20〜d23を入力画像ＳＤ信号Ｓ1の信号画素のＨＤ補間画素とした高解像度の画像信号を得ることができる。

ここで、予測値を求める第１の方法としては加重平均法を用いた学習法がある。加重平均法は、注目画素周辺のＳＤ画素を用いて注目画素をクラス分類し、クラス毎に積算した注目画素（すなわちＨＤ画素）の画素値を注目画素の個数に応じてインクリメントされた度数によつて割り算するといつた処理を様々な画像に対して行うことにより予測値を求める。

さらに予測係数を求める第２の方法としては、正規化による学習法がある。この学習法は、先ず注目画素を含む複数の画素からなるブロツクを形成し、ブロツク内のダイナミツクレンジによつて注目画素の画素値からそのブロツクの基準値を減算した値を正規化する。次に、この正規化された値の累積値を累積度数で割り算することにより予測値を得る。

さらに、上述した実施例においては、入力されたＳＤ画像信号の空間アクテイビテイを評価し、その評価結果に基づいて、クラス分類を実行するためのタツプパターンを選択するようにしたが、本発明はこれに限らず、入力されたＳＤ画像信号の空間アクテイビテイを評価し、その評価結果に基づいて、予測演算部で予測係数と線形一次結合により演算される予測タツプパターンを選択するようにしてもよい。この場合、例えば、図１１のクラス分類部５０Ａからの制御信号CTが、演算部５０Ｃの予測タツプパターン部６０に供給されることになる。

さらに、上述した実施例においては、初段のクラス分類部からのクラスコードと次段のクラス分類部からのクラスコードの両方に基づいて、予測係数メモリの予測係数を読み出すようになされているが、本発明はこれに限らず、初段のクラス分類部からのクラスコードと次段のクラス分類部からのクラスコードのうちどちらか一方のクラスコードを用いて予測係数メモリの予測係数を読み出すような構成にしてもよい。

さらに、上述の実施例においては、ＳＤ画像信号をＨＤ画像信号に信号変換した場合について述べたが、本発明はこれに限らず、画像拡大する際の補間画素を生成するのに用いても良い。さらに、ＮＴＳＣ方式の信号をＰＡＬ（Phase Alternation by Line が語源）方式の信号に変換するコンバータ等の画素数の少ない信号をより画素数の多い信号に変換する信号変換装置に適用してもよい。さらに、元の信号に対してより高精度の信号を生成するようなＹＣ分離器などに適用してもよい。

なお、本発明の主旨を逸脱しない範囲において、様々な変形や応用例が考えうる。したがつて、本発明の要旨は、実施例に限定されるものではない。

本発明の２次元ノンセパラブルフイルタで構成されるアツプコンバータを示すブロツク図である。 図１のクラス分類部の構成を示すブロツク図である。 図２アクテイビテイ分類部の構成を示すブロツク図である。 ＳＤ画素の配置例を示す略線図である。 クラス分類部のクラスタツプパターンを示す略線図である。 学習データの予測タツプを示す略線図である。 予測係数学習手順を示すフローチヤートである。 予測係数ＲＯＭの階層化を説明するための略線図である。 第２実施例のアツプコンバータのアクテイビテイ分類部を説明するためのブロツク図である。 ＡＤＲＣコード値のレベルによる度数分布を示すグラフである。 第６実施例のアツプコンバータを説明するためのブロツク図である。 一次元ラプラシアンフイルタを説明するための略線図である。 初段のクラス分類部のクラスコードであるインデツクスを説明するための略線図である。 クラス分類部の分類結果としての水平方向に特徴のある予測タツプパターンを説明するための略線図である。 クラス分類部の分類結果としての垂直方向に特徴のある予測タツプパターンを説明するための略線図である。 クラス分類部の分類結果としての斜め方向に特徴のある予測タツプパターンを説明するための略線図である。 クラス分類部の分類結果としての斜め方向に特徴のある予測タツプパターンを説明するための略線図である。 第７実施例のアツプコンバータを説明するためのブロツク図である。 第８実施例のクラス分類部を説明するためのブロツク図である。 クラス分類部のクラスタツプパターンを説明するための略線図である。 クラス分類部のクラスタツプパターンを説明するための略線図である。 第９実施例のアツプコンバータを説明するためのブロツク図である。 第９実施例のクラス分類部でクラスコードを生成するために使用されるクラス生成ブロツクデータを説明するための略線図である。 第９実施例のクラスコードの階層化を説明するための略線図である。 第９実施例の予測演算部の予測タツプパターンを説明するための略線図である。 本発明の垂直／水平セパラブルフイルタによるアツプコンバータを示すブロツク図である。 本発明の予測値によるＨＤ画素信号を生成するアツプコンバータを示すブロツク図である。 ＳＤ画像信号及びＨＤ画像信号の関係を説明するための略線図である。 従来の２次元ノンセパラブル補間フイルタを示すブロツク図である。 従来の垂直／水平セパラブル補間フイルタを示すブロツク図である。

符号の説明

１……ＨＤ画像、２、３……補間フイルタ、４Ａ〜４Ｄ……２次元フイルタ、５、８、１５、７３……選択部、６Ａ、６Ｂ……垂直補間フイルタ、７Ａ、７Ｂ……水平補間フイルタ、１０、５０、６５、９０、１１０、１１５……アツプコンバータ、１２……クラス分類部、１３、１００……予測演算部、１４……予測係数ＲＯＭ、２１、３５……アクテイビテイ分類部、２２……広領域タツプ選択部、２３……標準タツプ選択部、２４……狭領域タツプ選択部、２６、３６、５８、７１……ＡＤＲＣクラス分類部、３１、３８……閾値判定部、５１Ａ〜５１Ｅ……ラプラシアンフイルタ、５２Ａ〜５２Ｅ……絶対値回路、５３……最大値検出器、５４……比較器、５５Ａ〜５５Ｉ……セレクタ、５６Ａ、５６Ｂ、９３Ａ、９３Ｂ、９７……遅延回路、５７……レジスタアレイ、５９、９９……予測係数ＲＡＭ、６６Ａ〜６６Ｅ……量子化器、７２Ａ〜７２Ｇ……クラスタツプ選択部。

Claims (20)

1. 入力された第１の解像度の第１の画像信号を上記第１の解像度よりも高解像度な第２の解像度の第２の画像信号に変換する信号変換装置において、
   注目画素周辺の上記第１の画像信号の画素でなるブロツクにおいて、上記ブロツクの時空間内のアクテイビテイについて所定の閾値に対する大小関係を判定し、この判定結果からアクテイビテイの大きさに対応したアクテイビテイコードを発生するアクテイビテイコード発生手段と、
   上記アクテイビテイコードが大きいアクテイビテイを示す場合には、上記アクテイテイコードが小さいアクテイビテイを示す場合よりも小さい画素間の距離をもつ上記第１の画像信号の上記注目画素周辺の複数画素を用いてクラス分類を実行し、そのクラス分類結果に基づいてクラスコードを発生するクラス分類手段と、
   上記第１の画像信号を用いて上記第２の画像信号を予測生成するための、学習用の画像信号である低解像度と高解像度の学習対の画像信号間で学習された予測係数を記憶する予測係数記憶手段と、
   上記アクテイビテイコード及び／又は上記クラスコードに応じて上記予測係数記憶手段より読み出される上記予測係数と上記第１の入力画像信号との積和演算により予測演算を施すことにより、上記第２の画像信号を生成する予測演算手段と
   を備えることを特徴とする信号変換装置。
2. 上記第２の画像信号は、上記第１の画像信号より画素数が多い画像信号である
   ことを特徴とする請求項１に記載の信号変換装置。
3. 上記アクテイビテイコード発生手段は、上記第１の画像信号の空間内のアクテイビテイ及び時間方向のアクテイビテイを上記閾値に対して判定してアクテイビテイコードを発生する
   ことを特徴とする請求項１に記載の信号変換装置。
4. 上記クラス分類手段は、上記第１の画像信号の上記注目画素の時空間方向に周辺の第１の所定の複数の画素位置でなる第１のタツプパターンと、第２の所定の複数の画素位置でなる第２のタツプパターンを設定し、
   上記第２の所定の複数の画素位置間の距離のうちの少なくとも一部は、対応する位置の上記第１のタツプパターンを構成する画素間の距離よりも大きく、
   上記クラス分類手段は、上記アクテイビテイが上記閾値よりも大きいときは、上記第１のタツプパターンを用い、又は上記閾値よりも小さいときは、上記第２のタツプパターンを用いる
   ことを特徴とする請求項１に記載の信号変換装置。
5. 上記アクテイビテイコード発生手段は、上記ブロツク内の各画素のダイナミツクレンジと上記所定の閾値とを比較して空間内アクテイビテイを評価してアクテイビテイコードを発生する
   ことを特徴とする請求項１に記載の信号変換装置。
6. 上記閾値は２つ以上あり、それらの閾値との比較で上記アクテイビテイコードを発生する
   ことを特徴とする請求項５に記載の信号変換装置。
7. 上記アクテイビテイコード発生手段は、上記ブロツク内の画素より定義されるダイナミツクレンジに基づいて得られた量子化値のレベル分布に応じて、空間内アクテイビテイを評価してアクテイビテイコードを発生する
   ことを特徴とする請求項１に記載の信号変換装置。
8. 上記アクテイビテイコード発生手段は、上記ブロツク内の各画素の信号分布から得られる標準偏差を用いて空間内アクテイビテイを評価してアクテイビテイコードを発生する
   ことを特徴とする請求項１に記載の信号変換装置。
9. 上記アクテイビテイコード発生手段は、上記ブロツク内の画素より定義されるダイナミツクレンジの最小値を上記ブロツク内の画素から減じた値を所定のビツト数で量子化した量子化値の度数分布に応じて、空間内アクテイビテイを評価してアクテイビテイコードを発生する
   ことを特徴とする請求項１に記載の信号変換装置。
10. 上記アクテイビテイコード発生手段は、上記ブロツク内の各画素における隣接画素差分値の度数分布に応じて、空間内アクテイビテイを評価してアクテイビテイコードを発生する
    ことを特徴とする請求項１に記載の信号変換装置。
11. 上記度数分布が第１の所定の値から上記第１の所定の値よりも大きい第２の所定の値の間に分布している場合、
    上記評価は、少なくとも２つの異なる第１の閾値及び上記第１の閾値よりも大きい第２の閾値を設定し、上記第１の所定の値から上記第１の閾値の間、上記第１の閾値から上記第２の閾値の間、及び上記第２の閾値から上記第２の所定の値の間に該当する数を計測し、上記数の差が大きいほど空間低内アクテイビテイが小さいとする
    ことを特徴とする請求項９又は１０に記載の信号変換装置。
12. 上記アクテイビテイコード発生手段は、ラプラシアンフイルタを用いて、それぞれ空間内の異なる方向について求められたラプラシアン値に基づいて空間内アクテイビテイを評価して、アクテイビテイコードを発生する
    ことを特徴とする請求項１に記載の信号変換装置。
13. 上記アクテイビテイコード発生手段は、ラプラシアンフイルタを用いて、それぞれ空間内の異なる方向について求められたラプラシアン値の絶対値のうち最大の値と上記所定の閾値との比較結果の値、時間方向について求められたラプラシアン値と上記所定の閾値との比較結果の値、及び上記空間内アクテイビテイの得られた空間内の方向を示す値で上記アクテイビテイコードを発生する
    ことを特徴とする請求項３に記載の信号変換装置。
14. 上記複数のアクテイビテイの１つが方向を示す場合、上記方向を示すアクテイビテイを更に上記アクテイビテイコードとする
    ことを特徴とする請求項１に記載の信号変換装置。
15. 上記アクテイビテイコード発生手段は、上記ブロツク内の各画素のレベル分布に応じて、空間内アクテイビテイを評価してアクテイビテイコードを発生する
    ことを特徴とする請求項１に記載の信号変換装置。
16. 上記クラス分類手段は、上記ブロツク内の各画素より定義されるダイナミツクレンジの最小値を上記注目画素周辺の上記複数画素のそれぞれから減じた値を所定のビツト数で量子化して、上記第１の画像信号をクラス分類してクラスコートを発生する
    ことを特徴とする請求項１に記載の信号変換装置。
17. 上記クラス分類手段は、上記アクテイビテイコードが大きいほど、上記第１の画像信号を量子化する際のレベル分解能を細かく設定する
    ことを特徴とする請求項１に記載の信号変換装置。
18. 上記閾値は、第１の閾値と上記第１の閾値よりも大きい第２の閾値の２つあり、
    上記クラス分類手段は、上記第１の画像信号の上記注目画素の時空間方向に周辺の第１の所定の複数の画素位置でなる第１のタツプパターンと、第２の所定の複数の画素位置でなる第２のタツプパターンと、第３の所定の複数の画素位置でなる第３のタツプパターンを設定し、
    上記第２の所定の複数の画素位置間の距離のうちの少なくとも一部は、対応する位置の上記第１のタツブパターンを構成する画素間の距離よりも大きく、上記第３の所定の複数の画素位置間の距離のうちの少なくとも一部は、対応する位置の上記第１のタツプパターンを構成する画素間の距離よりも小さく、
    上記クラス分類手段は、上記アクテイビテイが上記第１の閾値よりも小さいときは、上記第３のタツプパターンを用い、上記第２の閾値よりも大きいときは、上記第１のタツプパターンを用い、上記第１及び上記第２の閾値の間であるときは、上記第２のタツプパターンを用いる
    ことを特徴とする請求項１に記載の信号変換装置。
19. 上記アクテイビテイコード発生手段は、上記ブロツク内の各画素を量子化によつてデータ圧縮し、その量子化値のレベルの分布特性に応じて空間内アクテイビテイを評価して、上記アクテイビテイコードを発生する
    ことを特徴とする請求項１に記載の信号変換装置。
20. 入力された第１の解像度の第１の画像信号を上記第１の解像度よりも高解像度な第２の解像度の第２の画像信号に変換する信号変換方法において、
    注目画素周辺の上記第１の画像信号の画素でなるブロツクにおいて、上記ブロツクの時空間内のアクテイビテイについて所定の閾値に対する大小関係を判定し、この判定結果からアクテイビテイの大きさに対応したアクテイビテイコードを発生するアクテイビテイコード発生ステツプと、
    上記アクテイビテイコードが大きいアクテイビテイを示す場合には、上記アクテイテイコードが小さいアクテイビテイを示す場合よりも小さい画素間の距離をもつ上記第１の画像信号の上記注目画素周辺の複数画素を用いてクラス分類を実行し、そのクラス分類結果に基づいてクラスコードを発生するクラス分類ステツプと、
    上記第１の画像信号を用いて上記第２の画像信号を予測生成するための、学習用の画像信号である低解像度と高解像度の学習対の画像信号間で学習された予測係数を記憶する予測係数記憶ステツプと、
    上記アクテイビテイコード及び／又は上記クラスコードに応じて上記予測係数記憶ステツプより読み出される上記予測係数と上記第１の入力画像信号との積和演算により予測演算を施すことにより、上記第２の画像信号を生成する予測演算ステツプと
    を備えることを特徴とする信号変換方法。

Images