JPH0974543A - 画像信号変換装置及び画像信号変換方法 - Google Patents

Abstract

(57)【要約】 【課題】入力画像データの多様な信号特性を考慮した適
切なクラス分類適応処理を行うことにより、低解像度の
画像データを一段と高解像度の画像データに変換する。 【解決手段】入力画像のレベル分布パターンに基づいて
入力画像をクラス分類するだけでなく、入力画像の動き
に基づいて入力画像をクラス分類するクラス分類を行
い、クラスコードを発生する。これにより入力画像デー
タの多様な信号特性を考慮した適切なクラス分類適応処
理を行うことができ、低解像度の入力画像データを一段
と高解像度の画像データに変換することができる。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 発明の属する技術分野 従来の技術（図３８〜図４０） 発明が解決しようとする課題（図４１〜図４４） 課題を解決するための手段 発明の実施の形態 （１）第１の実施例（図１〜図１２） （２）第２の実施例（図１３〜図１４） （３）第３の実施例（図１４〜図２１） （４）第４の実施例（図２２及び図２３） （５）第５の実施例（図２４〜図３０） （６）第６の実施例（図３１〜図３５） （７）第７の実施例（図３６及び図３７） （８）他の実施例 発明の効果

【０００２】

【発明の属する技術分野】本発明は、画像信号変換装置
及び画像信号変換方法に関し、例えば、ＮＴＳＣ等の標
準解像度信号（以下、これをＳＤ（Standard Difinitio
n ）画像信号と呼ぶ）をハイビジヨン等の高解像度信号
（以下、これをＨＤ（High Difinition ）画像信号と呼
ぶ）に変換するアツプコンバータ、もしくは、サブサン
プルされた画像信号を元の画像信号に変換する画像信号
の補間装置等に関する。

【０００３】

【従来の技術】様々なデイジタル機器が出現する中、信
号フオーマツトの異なる機器間の接続においては機器間
での信号変換を実現する信号変換装置が必要となる。例
えばＳＤ画像データをＨＤモニタで表示する場合には、
ＳＤ画像データをＨＤ画像データへフオーマツト変換す
るアツプコンバータが必要となる。

【０００４】従来、この種のアツプコンバータにおいて
は、ＳＤ画像データに対して補間フイルタによる周波数
補間処理を施して画素補間を行うことによりＨＤ画像デ
ータを形成している。この補間処理を図３８のＳＤ画素
とＨＤ画素の空間配置例を参照して説明する。因に、図
中実線は第１フイールドを表し、点線は第２フイールド
を表わす。図３８では説明の簡素化のため、ＨＤ画素数
をＳＤ画素数に対して水平及び垂直方向に各々２倍とし
ている。図中「◎」のＳＤ画素に注目すると、この近傍
に４種類のＨＤ画素 mode1、 mode2、 mode3及び mode4
が存在する。従つてアツプコンバータはこの４種類ＨＤ
画素 mode1、 mode2、 mode3及び mode4を周波数補間処
理によつて生成する。

【０００５】アツプコンバータの簡易な構成例として
は、ＳＤ画像データのフイールドデータから上記４種類
のＨＤ画素 mode1、 mode2、 mode3及び mode4を生成す
るものがある。このとき用いる補間フイルタの構成とし
ては、図３９に示す空間内２次元ノンセパラブルフイル
タ１や、図４０に示す水平／垂直セパラブルフイルタ５
がある。

【０００６】２次元ノンセパラブルフイルタ１は、４種
類のＨＤ画素 mode1、 mode2、 mode3及び mode1を、そ
れぞれ２次元フイルタ２Ａ〜２Ｄによつて独立に補間処
理を行うことにより生成する。そして、その補間結果を
選択部３において直列化することによりＨＤ画像データ
を生成する。水平／垂直セパラブル補間フイルタ５は垂
直補間フイルタ６ＡによつてＨＤ画素 mode1及び mode3
用の処理を行い、垂直補間フイルタ６ＢによつてＨＤ画
素 mode2及び mode4用の処理を行うことにより２本の走
査線データを形成する。次に各走査線に対して水平補間
フイルタ７Ａ及び７Ｂを用いて最終的な４種類のＨＤ画
素 mode1、 mode2、 mode3及び mode1を生成し、これを
選択部８において直列化することによりＨＤ画像データ
を生成する。

【０００７】

【発明が解決しようとする課題】ところが、上述したよ
うな従来のアツプコンバータでは補間フイルタとして理
想フイルタを用いたとしても、画素数はＨＤフオーマツ
トに合うように増えるものの空間解像度は入力ＳＤ画像
と変わらない。また実際には理想フイルタを用いること
はできないため、ＳＤ画像よりも解像度の低下したＨＤ
画像を生成することしかできないという問題があつた。

【０００８】このような問題を解決する方法として、入
力ＳＤ画像データをその信号レベルの分布に応じてクラ
ス分類し、クラス毎に予め学習により獲得された予測係
数を用いて予測演算を行うことにより、より真値に近い
ＨＤ画素を得る、いわゆるクラス分類適応処理を用いた
画像信号変換装置及び方法が提案されている。例えば、
このような方法は、本出願人による日本出願公開公報、
特開平5-328185号（公開日：December 10,1993）の明細
書及び図面において提案されている。なお、この日本出
願に対応する米国出願は、Serial No. 08/061,730 file
d May 17, 1993である。

【０００９】このクラス分類適応処理を用いたアツプコ
ンバータは、図４１に示すように構成されている。アツ
プコンバータ１０は、入力ＳＤ画像データＤ１をクラス
分類部１１及び予測演算部１２にそれぞれ供給する。ク
ラス分類部１１は、入力ＳＤ画像データＤ１（例えば８
ビツトＰＣＭ（Pulse Code Modulation ）データ）に対
し、例えば図４２（Ａ）に示すように注目画素を中心と
した複数の周辺画素をクラス分類用の画素（以下、これ
をクラス分類用タツプと呼ぶ）として設定し、その波形
特性（レベル分布パターン）に基づいてクラスデータＤ
２を生成する。因に、図中実線は第１フイールドを表
し、点線は第２フイールドを表わす。

【００１０】このとき、クラス分類部１１によるクラス
データＤ２の形成法としては、ＰＣＭデータを直接使用
する（すなわちＰＣＭデータをそのままクラスデータＤ
２とする）方法や、ＡＤＲＣ（Adaptive Dynamic Range
Coding ）、ＤＰＣＭ（Differential Pulse Code Modu
lation）又はＶＱ（Vector Quantization ）等の圧縮手
法を用いてクラス数を削減する方法が考えられている。
このうち、ＰＣＭデータを直接クラスデータＤ２とする
方法は、例えば図４２のように７画素でなるクラス分類
用タツプを用いた場合には、８ビツトデータが７画素分
存在するため、クラス数が256 という膨大な数字となり
実用上問題となる。

【００１１】そこで、実際にはＡＤＲＣ等の圧縮手法を
用いてクラス数を削減する。例えばクラス分類用タツプ
として設定された７画素に対して、各画素を１ビツトに
圧縮する１ビツトＡＤＲＣを適用した場合を考える。す
なわち、１ビットＡＤＲＣは、７画素のデータから定義
されるダイナミツクレンジに基づき、７画素の最小値を
除去したうえで、各タツプの画素値を適応的に１ビツト
量子化する。したがつて、クラス数を 128クラスに削減
することができる。ＡＤＲＣは、画像信号の信号圧縮方
式として開発されたものであるが、少ないクラス数で入
力信号の波形特性を表現するのに適している。

【００１２】予測係数ＲＯＭ（Read Only Memory）１３
からは、クラスデータＤ２を読出しアドレスとして予め
学習により獲得された予測係数データＤ３が出力され、
当該予測係数データＤ３が予測演算部１２に供給され
る。予測演算部１２は、例えば図４２（Ｂ）に示すよう
に、注目画素を中心とした複数の周辺画素を予測演算用
の画素（以下、これを予測タツプと呼ぶ）として設定
し、当該予測タツプを構成する各画素値と予測係数デー
タＤ３とを用いて、次式（１）

【数１】 で表わされる積和演算を行い、ＨＤ画像データＤ４を推
定する。そして、このＨＤ画像データＤ４が変換部１４
に供給され、時系列のＨＤ画像データに変換され、図示
しない画面に表示される。但し（１）式では、推定ＨＤ
画素値をｙ′、各予測タツプ画素値をｘi 、予測係数ｗ
i とした。また、ここでは、図４２のように予測タツプ
を形成する画素数が13個のため（１）式におけるｎは13
となる。

【００１３】ここで、予測係数ＲＯＭ１３に記憶されて
いるクラス毎の予測係数データＤ３は、予めＨＤ画像デ
ータを用いた学習により獲得される。この学習手順を、
図４３を参照して説明する。ステツプＳＰ１において当
該学習処理手順が開始されると、先ずステツプＳＰ２に
おいて予測係数を学習するために、既に知られているＨ
Ｄ画像を用いて学習データを形成する。

【００１４】ステツプＳＰ３では、予測係数を得るのに
必要上十分な学習データが収集されたか否か判定する。
そして、更に学習データが必要であると判断した場合に
はステツプＳＰ４に進み、十分な学習データが得られた
と判断した場合にはステツプＳＰ６に進む。ステツプＳ
Ｐ４では、学習データをクラス分類する。このクラス分
類は上述したアツプコンバータ１０のクラス分類部１１
（図４１）の処理と同様の処理を実行する。このとき、
一般に、データ変化のアクテイビテイの小さいものを学
習対象から除外することによりノイズの影響を排除す
る。

【００１５】次に、ステツプＳＰ５において、クラス分
類された学習データに基づき、クラス毎に正規方程式を
形成する。ステツプＳＰ６での処理を具体的に説明す
る。ここでは一般化するために、１つの補間対象画素
（ＨＤ画素）をｎ個のＳＤ画素で表わす場合について述
べる。先ずＳＤ画像データの各画素レベルｘ1 、……、
ｘn と注目補間画素の画素レベルｙの関係を、クラス毎
に予測係数ｗ1 、……、ｗn によるｎタツプの線形一次
結合式で表現することにより、次式（２）

【数２】 を形成する。

【００１６】この（２）式における予測係数ｗ1 、…
…、ｗn を求めればよい。この予測係数ｗ1 、……、ｗ
n を求める方法としては最小二乗法による解法が考えら
れる。この解法では、先ず、ＸをＳＤ画素データ、Ｗを
予測係数、Ｙを注目補間画素データとして、次式（３）

【数３】 の観測方程式を作るようにデータを収集する。因に
（３）式において、ｍは学習データ数を表し、ｎは上述
した予測演算部１２（図４１）により設定される予測タ
ツプ数（すなわちｎ＝１３）である。

【００１７】次に（３）式の観測方程式をもとに、次式
（４）

【数４】 の残差方程式を立てる。（４）式から、各ｗi の最確値
は、次式（５）

【数５】 を最小にする条件が成り立つ場合と考えられる。すなわ
ち次式（６）

【数６】 の条件を考慮すればよい。（６）式のｉに基づくｎ個の
条件を考え、これを満たすｗ1 、……、ｗn を算出すれ
ばよい。そこで、残差方程式（４）式から次式（７）

【数７】 を得、さらに（６）式と（７）式から次式（８）

【数８】 を得る。そして（４）式及び（８）式から、次式（９）

【数９】 の正規方程式を得ることができる。（８）式の正規方程
式は、未知数の数がｎ個の連立方程式であるから、これ
により各ｗi の最確値を求めることができる。実際に
は、掃き出し法（Gauss-Jordanの消去法）を用いて連立
方程式を解く。

【００１８】図４３の予測学習処理手順では、クラス毎
に未定係数ｗ1 、……、ｗn を求めるために未知数ｎと
同じ数の正規方程式が形成されるまでステツプＳＰ２−
ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ２のループを繰り返す。
このようにして必要な数の正規方程式が得られると、ス
テツプＳＰ３において肯定結果が得られ、処理はステツ
プＳＰ６の予測係数決定に移る。

【００１９】ステツプＳＰ６では、（９）式の正規方程
式を解いてクラス毎の予測係数ｗ1、……、ｗn を決定
する。このようにして得られた予測係数を次のステツプ
ＳＰ７でクラス毎にアドレス分割されたＲＯＭ等の記憶
部（すなわち予測係数ＲＯＭ１３（図４１））に登録す
る。以上の学習によりクラス分類適応処理で使用される
予測係数データが生成され、次のステツプＳＰ８で当該
予測学習処理手順を終了する。

【００２０】この予測学習処理を実現するハードウエア
構成としては、図４４に示すような学習回路２０が考え
られる。学習回路２０は、ＨＤ画像データを垂直間引き
フイルタ２１及び水平間引きフイルタ２２を介してＳＤ
画像データに変換し、当該ＳＤ画像データをクラス分類
部２３に供給する。ここで、クラス分類部２３は、上述
したアツプコンバータ１０（図４１）のクラス分類部１
１と同様の構成からなり、ＳＤ画像データからクラス分
類用タツプを設定し、その波形特性に基づいてクラスデ
ータＤ２′を生成する。このクラス分類部２３は、図４
３のクラス決定処理（ステツプＳＰ４）を実行する部分
である。クラス分類部２３は生成したクラスデータＤ
２′を係数選定部２４に送出する。

【００２１】係数選定部２４は、正規方程式を形成し、
さらに予測係数を決定する部分である。すなわち係数選
定部２４は、ＳＤ画像データ及びＨＤ画像データを用い
て、クラスデータＤ２′で表わされるクラス毎に（９）
式の正規方程式を立て、当該正規方程式からクラス毎の
予測係数を求める。そして求めた予測係数を予測係数Ｒ
ＯＭ１３の対応するクラスアドレスに記憶させる。

【００２２】ところが、クラス分類適応処理を用いてＨ
Ｄ画像データを生成する場合、学習によつて予測係数を
生成するときに入力ＳＤ画像データの特徴に応じて適切
なクラス分類処理が行われないと、アツプコンバータに
よる予測精度が低下する問題があつた。すなわち、より
真値に近いＨＤ画像データを予測するためには、特性の
似通つたＳＤ画像データのみを集めて各クラスを生成
し、それに対応するＨＤ画像データを教師信号として学
習することが重要となる。

【００２３】しかしながら、クラス分類の能力が不十分
であると、本来、別のクラスに別れるべきＨＤ画像デー
タが同じクラスに分類される。このため、このような場
合、学習により得られる予測係数は、性質の異なるＨＤ
画像データの平均値を予測することになる。その結果こ
の予測係数を用いてＨＤ画像信号を予測するアツプコン
バータでは、解像度創造能力が低下する問題があつた。

【００２４】本発明は、以上の点を考慮してなされたも
ので、入力画像データの多様な信号特性を考慮した適切
なクラス分類適応処理を行うことにより、低解像度の画
像データを一段と高解像度の画像データに変換し得る画
像データ変換装置及び画像データ変換方法を提案しよう
とするものである。

【００２５】

【課題を解決するための手段】上述した問題を達成する
ために、本発明は、第１の入力画像信号を上記第１の画
像信号とは異なる第２の画像信号に変換する画像信号変
換装置において、上記第１の入力画像信号の注目画素周
辺の動きとパターンに応じて、上記注目画素のクラスを
決定し、そのクラスを示すクラスコードを発生するクラ
スコード決定部と、上記第１の入力画像データを上記第
２の入力画像データに変換するための情報である予測係
数データがクラスコード毎に記憶されており、上記クラ
スコードに応じて上記予測係数データを出力する予測係
数記憶部と、上記クラスコードに応じて上記予測係数記
憶手段から出力される予測係数データと、上記注目画素
に対して空間的及び又は時間的に周辺に存在する複数画
素とを用いて、予測演算を行い、上記高解像度の画像デ
ータを生成する予測演算部とからなることを特徴とする
画像信号変換装置及び、その画像信号変換装置に対応す
る画像信号変換方法である。つまり、入力画像のレベル
分布パターンに基づいて入力画像をクラス分類するだけ
でなく、入力画像の動きに基づいて入力画像をクラス分
類するクラス分類を行い、クラスコードを発生するよう
にする。

【００２６】また、本発明において、さらに、クラスコ
ード決定部は、記第１の入力画像データにおける注目画
素周辺の動きに応じて、注目画素の第１のクラスを決定
し、その第１のクラスを示す第１のクラスコードを出力
する第１のクラス分類部と、注目画素に対して空間的及
び又は時間的に周辺に存在する複数画素のレベル分布パ
ターンに基づいて、注目画素の第２のクラスを決定し、
その第２のクラスを示す第２のクラスコードを出力する
第２のクラス分類部とからなり、第１のクラスコードと
第２のクラスコードに基づいて上記クラスコードを発生
するようになされている。

【００２７】また、本発明において、第１の入力画像信
号は、低解像度の画像信号であり、第２の画像信号は、
上記第１の入力画像信号よりも解像度の高い高解像度の
画像信号である。また、本発明において、第２の画像信
号は、第１の画像信号より画素数の多い画像信号であ
る。

【００２８】また、本発明における画像信号変換装置又
は画像信号変換方法は、第１のクラスコードに応じて、
第２のクラスコードを発生するために使用される複数画
素を適応的に選択するクラス分類画素選択部又はステツ
プを有する。つまり、入力画像のレベル分布パターンに
基づいて入力画像をクラス分類するために使用される複
数の画素を、入力画像の動きに基づいて適応的に選択す
る。

【００２９】さらに、本発明における画像信号変換装置
又は画像信号変換方法は、第１のクラスコードに応じ
て、予測演算を行うために使用される複数画素を適応的
に選択する予測演算画素選択部段又はステツプを有す
る。つまり、予測演算のために使用される複数の画素
を、入力画像の動きに基づいて適応的に選択するように
する。

【００３０】したがつて、入力画像のレベル分布パター
ン及び入力画像の動きに基づいて入力画像信号の最終的
なクラスを決定すれば、入力画像を単にレベル分布パタ
ーンに基づいてクラス分類する場合と比較して、より入
力画像の特徴を反映したクラスが形成される。

【００３１】また、入力画像のレベル分布パターンに基
づいて入力画像をクラス分類するために使用される複数
の画素を、入力画像の動きに基づいて適応的に選択すれ
ば、レベル分布パターンによるクラス分類結果をより画
像の特徴を反映したものとすることができる。

【００３２】さらに、予測演算のために使用される複数
のる画素を、入力画像の動きに基づいて適応的に選択す
れば、実際上重要になる画素のみを用いて予測演算を行
うことができるようになり、この結果少ない画素数で高
精度の予測演算結果を得ることができる。

【００３３】

【発明の実施の形態】以下図面について、本発明の一実
施例を詳述する。

【００３４】（１）第１の実施例 （１−１）全体構成 図１は、本発明を適用した第１の実施例のアツプコンバ
ータ３０を示す。アツプコンバータ３０は、入力ＳＤ画
像データＤ１をクラス分類部３１及び予測演算部１２に
それぞれ供給する。クラス分類部３１は、入力ＳＤ画像
データＤ１に基づき入力画像の動き量を検出し、当該動
き量を考慮してクラス分類処理を行い、そのクラス分類
処理に対応するクラスデータを生成する。つまり、クラ
ス分類部３１は、入力ＳＤ画像信号をその特徴に応じて
より的確にクラス分類し得るようになされている。クラ
ス分類部３１は、これにより得たクラスデータＤ３２を
予測係数ＲＯＭ３２に送出する。

【００３５】予測係数ＲＯＭ３２には、クラス分類部３
１でのクラス分類処理と同様に画像の動き量を考慮して
分類されたクラス毎に、学習により獲得した予測係数が
記憶されている。このクラス毎の予測係数は、図３８に
示される４種類の生成されるＨＤ画素 mode1、 mode2、
mode3及び mode4のそれぞれに対応して記憶されてい
る。予測係数ＲＯＭ３２は図２に示すような学習回路４
０によつて作成される。すなわち、図４４との対応部分
に同一符号を付して示す図２において、学習回路４０
は、アツプコンバータ３０（図１）のクラス分類部３１
と同様の構成でなるクラス分類部４１を有し、当該クラ
ス分類部４１によつてＳＤ画像データを動き量を考慮し
ながらクラス分類する。係数算出部２４は、クラス分類
部４１により分類されたクラス毎に、上述した正規方程
式を用いて予測係数を算出する。この際、クラス毎の予
測係数は、４種類のＨＤ画素 mode1、 mode2、 mode3及
び mode4のそれぞれに対応してそれぞれ算出される。そ
して、この予測係数が予測係数ＲＯＭ３２に記憶され
る。

【００３６】かくして、学習回路４０においては、画像
の動きを考慮してＳＤ画像をクラス分類し、このクラス
毎に予測係数を求めるようにしたことにより、単にＳＤ
画像のレベル分布パターン形状に基づいてＳＤ画像をク
ラス分類した場合と比較して、画像の特徴をより反映し
たクラス分類処理を行うことができる。この結果、特徴
の似通つたもの同志を集めてクラス毎の予測係数を求め
ることができるため、予測係数の精度を向上し得る。ま
た、アツプコンバータ３０は、このようにして求めた精
度の良い予測係数が、クラス分類部３１からのクラスデ
ータＤ３２に対応して読み出される。そして、この読み
出された４種類のＨＤ画素 mode1、 mode2、 mode3及び
mode4を生成するための予測係数が、予測演算部１２に
供給される。また、図示しない遅延部を介して供給され
た入力ＳＤ画像データもまた、予測演算部１２に供給さ
れる。そして、予測演算部１２において、そのそれぞれ
の予測係数と入力ＳＤ画像データとを用いて予測演算処
理を行い、一段と真値に近い４種類のＨＤ画素 mode1、
mode2、 mode3及び mode4であるＨＤ補間画素データＤ
３３をそれぞれ生成する。そして、このＨＤ補間画素デ
ータＤ３３が変換部１４に供給され、変換部１４におい
て、時系列のＨＤ画像データに変換されて画面上で表示
される。したがって、従来の方法と比べて、一段と高解
像度のＨＤ画像データＤ３４を得ることができる。な
お、予測係数を生成する方法として、学習回路４０を用
いる方法を説明したが、本発明はこれに限らず、図３の
ようなフローチャートを用いて、コンピュータ等により
予測係数を生成するようにしてもよい。後述する実施例
においても、同様に行うことが可能である。

【００３７】（１−２）クラス分類部の構成 クラス分類部３１及び４１は、図３に示すように構成さ
れている。以下、クラス分類部４１は、クラス分類部３
１と同様の構成なのでクラス分類部３１について説明す
る。クラス分類部３１は、入力端子INを介して入力され
たＳＤ画像データＤ１を第１のクラス分類部５０を構成
するフレームメモリ５１及び動きベクトル検出クラス分
類部５２にそれぞれ供給すると共に、クラス分類画素選
択部５３の複数のパターン設定部５４Ａ〜５４Ｈに供給
する。

【００３８】動きベクトル検出クラス分類部５２は、フ
レームメモリ５１から与えられる前フレームのＳＤ画像
データと現フレームのＳＤ画像データを用いて、ＳＤ画
像データＤ１における注目画素周辺の動きベクトルを検
出し、当該検出結果に基づく動きクラスコードCLASS0を
出力する。動きベクトル検出クラス分類部５２は、動き
ベクトルが、図４に示された領域ＡＲ０〜ＡＲ６又はＡ
Ｒ７のうちどの領域にあつたかに応じて、その動きを８
種類に分類することにより、動きベクトルを検出する。
そして、その検出した動きベクトルがどの種類に属する
かを表わす動きクラスコードCLASS0を形成する。従つ
て、動きクラスコードCLASS0は、３ビツトのデータで表
現される。また、この動きベクトル検出クラス分類部５
２の実施例は、動きベクトルの検出方法としてブロツク
マツチング法を用いる。

【００３９】動きクラスコードCLASS0は、そのまま後段
の予測係数ＲＯＭ３２に送出されると共に、クラスタツ
プ選択部５５に送出される。クラスタツプ選択部５５
は、複数のパターン設定部５４Ａ〜５４Ｈから複数種類
のクラス分類用タツプを入力し、これら複数種類のクラ
ス分類用タツプのうちから動きクラスコードCLASS0に対
応するクラス分類用タツプを選択して、第２のクラス分
類部であるＡＤＲＣクラス分類部５６に対して出力す
る。

【００４０】例えば、動き量がほとんど零に近い入力Ｓ
Ｄ画像に関しては、第２のクラス分類部であるＡＤＲＣ
クラス分類部５６において、できるかぎり注目画素の時
空間近傍の信号変化によりクラス分類を行えるようなク
ラス分類用タツプを選択する。一方、動き量が大きい入
力ＳＤ画像に関しては、広い領域での大きな信号変化に
よりクラス分類を行えるようなクラス分類用タツプを選
択する。また、中間的な動き量のＳＤ画像に関しては、
動き方向にクラス分類感度を上げたクラス分類が行える
ようなクラス分類用タツプを選択する。

【００４１】クラスタツプ選択部５５から出力されたク
ラス分類用タツプデータは、注目画素をその周辺画素の
レベル分布パターンに応じてクラス分類するためのＡＤ
ＲＣクラス分類部５６に与えらる。ＡＤＲＣクラス分類
部５６は、クラス分類用タツプデータをそのダイナミツ
クレンジに応じて適応的に再量子化することにより、ク
ラス数の削減されたＡＤＲＣクラスコードCLASS1を形成
する。また、ＡＤＲＣクラス分類部５４は、再量子化の
際、動きクラスコードCLASS0に応じて、ダイナミツクレ
ンジ（ＤＲ）を定義する際に用いる画素数を切り換える
ことにより、ＳＤ画像の波形変化を一段とＡＤＲＣクラ
スコードCLASS1に反映し得るようになされている。

【００４２】なお、この第１の実施例のＡＤＲＣクラス
分類部５６は、クラスタツプ選択部５５から与えられる
８画素のクラス分類用タツプデータ（１画素当り８ビツ
ト）に対して１ビツトＡＤＲＣ処理を施すことにより、
各画素値を適応的に１ビツトに再量子化する。そして、
ＡＤＲＣクラス分類部５６は、２５６クラス（８ビツ
ト）のＡＤＲＣクラスコードCLASS1を形成するようにな
されている。

【００４３】このように、クラス分類部３１は、クラス
分類すべき注目画素の周辺の複数画素を用いて動きベク
トルを検出し、この動きベクトルに基づいて注目画素を
クラス分類して、動きクラスコードCLASS0を得る。そし
て、この動きクラスコードCLASS0と注目画素周辺のレベ
ル分布パターンに基づくクラス分類結果であるＡＤＲＣ
クラスコードCLASS1とを合わせたものを、最終的なクラ
スコードＤ３２として出力する。この第１の実施例の場
合には、動きクラスコードCLASS0が３ビツト、ＡＤＲＣ
クラスコードCLASS1が８ビツトなので、最終的なクラス
コードＤ３２は11ビツト（2048クラス）で表現されるこ
とになり、これが予測係数ＲＯＭ３２（図１）のアドレ
ス番号となる。

【００４４】次に、クラス分類画素選択部５３のパター
ン設定部５４Ａ〜５４Ｈについて説明する。各パターン
設定部５４Ａ〜５４Ｈは、それぞれ動きベクトルの種類
に対応した画素パターンを設定する。この第１の実施例
の場合には、８種類の動きに応じた８種類の画素パター
ンを設定するため、８個のパターン設定部５４Ａ〜５４
Ｈを設ける。すなわち、各パターン設定部５４Ａ〜５４
Ｈは、それぞれ、図４に示す８個の領域ＡＲ０〜ＡＲ７
への各動きベクトルに応じた画素パターンを設定する。

【００４５】パターン設定部５４Ａは、図４の中心の点
線内の領域ＡＲ０内、すなわち動きベクトルが完全に零
である場合に対応した画素パターンを設定する。このと
き、入力信号は、完全静止状態であるため、レベル分布
パターンに基づくクラス分類の際に、注目画素近傍の時
空間クラス分類用タツプパターンを用いれば、入力信号
の特徴を反映したクラス分類が可能となる。このため、
パターン設定部５４Ａは、図５に示すようなクラス分類
用クラスタツプパターンを設定する。なお、図５〜図１
２において小さな丸で示すＨＤ画素は、補間しようとし
ている注目ＨＤ画素を表わす。

【００４６】パターン設定部５４Ｂは、いわゆる準静止
である場合に対応した画素パターンを設定する。すなわ
ち、図４の中心の点線と中心から２番目の点線で挟まれ
た領域ＡＲ１内に動きベクトルが存在した場合に対応す
る画素パターンを設定する。この場合は、画像に僅かな
動きが存在する場合であり、静止部と動画部の中間的な
画素パターンを設定すれば、入力信号の特徴を反映した
クラス分類が可能となる。このため、パターン設定部５
４Ｂは、図６に示すようなクラス分類用タツプパターン
を設定する。図５の完全静止の場合と比較して、同一フ
イールド内の画素数を増やすことにより、時空間画素よ
りも空間内画素を重視している。

【００４７】パターン設定部５４Ｃは、中間の動き量に
対応した画素パターンを設定する。すなわち、図４の一
番外側の点線内のうち、領域ＡＲ０及びＡＲ１並びに特
徴的な動きの方向である領域ＡＲ４〜ＡＲ７を除いた領
域ＡＲ２内に動きベクトルが存在した場合に対応する画
素パターンを設定する。実際上、パターン設定部５４Ｃ
は、図７に示すように同一フイールド内において、やや
広い領域の画素を設定することにより、ある程度広い領
域の波形変化をクラスに反映させる。

【００４８】パターン設定部５４Ｄは、大きな動き量に
対応した画素パターンを設定する。すなわち、図４の一
番外側の点線の外の領域ＡＲ３に動きベクトルが存在し
た場合に対応する画素パターンを設定する。このため、
パターン設定部５４Ｄは、図８に示すように図７の場合
よりも同一フイールド内において、さらに広い領域の画
素を設定することにより、パターン設定部５４Ｃよりも
広い領域の波形変化をクラスに反映させる。

【００４９】パターン設定部５４Ｅは、図４の上方向の
点線内の領域ＡＲ４に動きベクトルが存在した場合、す
なわち、上チルトの動きに対応した画素パターンを設定
する。このため、パターン設定部５４Ｅは、図９に示す
ように上方向（すなわち動きの方向）に延びる画素パタ
ーンを設定することにより、ＡＤＲＣクラス分類部５６
において上側への動きに対応したクラス分類ができるよ
うにする。パターン設定部５４Ｆは、図４の下方向の点
線内の領域ＡＲ５の方向に動きがあつた場合、すなわ
ち、下チルトの動きに対応した画素パターンを設定す
る。このため、パターン設定部５４Ｆは、図１０のよう
に下方向に延びる画素パターンを設定することにより、
ＡＤＲＣクラス分類部５６において下側への動きに対応
したクラス分類ができるようにする。

【００５０】パターン設定部５４Ｇは、図４の右方向の
点線内の領域ＡＲ６に動きベクトルが存在した場合、す
なわち、右パンニングの動きに対応した画素パターンを
設定する。このため、パターン設定部５４Ｇは、図１１
に示すように右方向に延びる画素パターンを設定するこ
とにより、右側に移動していく画像の特性をクラス分類
に反映できるようにする。ここでは、垂直方向の動きは
少ないと考えられるので、垂直方向の画素数を少なく設
定する。パターン設定部５４Ｈは、図４の左方向の点線
内の領域ＡＲ７の方向に動きがあつた場合、すなわち、
左パンニングの動きに対応した画素パターンを設定す
る。このため、パターン設定部５４Ｈは、図１２のよう
に左方向に延びる画素パターンを設定することにより、
左側に移動していく画像の特性をクラス分類に反映でき
るようにする。

【００５１】さらに、各パターン設定部５４Ａ〜５４Ｈ
においては、図５〜図１２に示すように、後段のＡＤＲ
Ｃクラス分類部５６によるクラス分類を考慮して、局所
的なダイナミツクレンジ（ＤＲ）を検出するための画素
領域を、設定した画素パターンよりも広く取るようにな
されている。したがつて、クラスタツプ選択部５５から
供給されるタツプデータは、クラス分類用タツプデータ
とダイナミツクレンジＤＲを求めるためのタツプデータ
となる。この結果、ＡＤＲＣクラス分類部５６によるク
ラス分類処理において注目画素周辺の波形変化を一段と
クラスに反映させることができる。なお、ＡＤＲＣクラ
ス分類部５６は、動きクラスコードCLASS0に応じて、量
子化ビツト数を切り換えるようにしてもよい。

【００５２】（１−３）第１の実施例の動作 以上の構成において、クラス分類部３１及び４１は、注
目画素をクラス分類するに当たつて、先ず、第１のクラ
ス分類部５０において、入力ＳＤ画像データＤ１の動き
ベクトルを検出し、当該検出結果に基づいて動きクラス
コードCLASS0を形成する。また、クラス分類部３１及び
４１は、クラス分類画素選択部５３において、入力ＳＤ
画像データＤ１から予め動きクラスのそれぞれに対応し
たクラス分類用タツプパターンを設定しておく。

【００５３】そして、クラス分類部３１及び４１は、検
出した動きクラスに応じたクラス分類用タツプパターン
を選択し、選択したタツプパターンを、少ない情報量で
レベル分布パターンを表現するための第２のクラス分類
部であるＡＤＲＣクラス分類部５６に送出する。かくし
て、ＡＤＲＣクラス分類部５６では、ＳＤ画像データＤ
１の動きに応じたクラス分類用タツプパターンを用いて
ＳＤ画像データＤ１のレベル分布パターンに基づくＡＤ
ＲＣクラスコードCLASS1が形成されるため、当該ＡＤＲ
ＣクラスコードCLASS1を画像の特徴を十分に反映したも
のとすることができる。

【００５４】クラス分類部３１及び４１は、このように
して形成した動きクラスコードCLASS0及びＡＤＲＣクラ
スコードCLASS1をクラスコードＤ３２として、後段の予
測係数ＲＯＭ３２（図１）又は係数算出部２４（図２）
に送出する。これにより、係数算出部２４においては、
特徴の似通つたもの同志を集めてクラス毎の予測係数を
求めることができるため、予測係数の精度を向上し得
る。また、アツプコンバータ３０においては、このよう
にして求めた精度の良い予測係数を用いて予測演算処理
を行うことができるため、一段と真値に近いＨＤ補間画
素を得ることができる。

【００５５】（１−４）第１実施例の効果 以上の構成によれば、注目画素の周辺画素のレベル分布
パターンに基づくクラスに加えて、注目画素の周辺画素
における動きに基づく動きクラスを形成し、これらのク
ラスの組み合わせを最終的なクラス分類結果としたこと
により、入力ＳＤ画像をより的確にクラス分類し得る。
また、動きクラスに応じて、レベル分布パターンに基づ
くクラス分類を行う際に用いるクラス分類用タツプパタ
ーンを適応的に選択するようにしたことにより、レベル
分布パターンに基づくクラス分類結果を入力画像の特徴
を良く反映したものとすることができる。

【００５６】この結果、このクラスに応じて予測係数を
算出すれば、クラス毎により正確な予測係数を求めるこ
とができる。さらに、この予測係数を用いて予測演算を
行つて補間画素値を求めるようにすれば、ＨＤ補間画素
データＤ３３の予測性能を向上し得ることにより、ＳＤ
画像データＤ１を一段と高解像度のＨＤ画像データＤ３
４に変換し得るアツプコンバータ３０を実現し得る。

【００５７】（２）第２の実施例 上述した第１の実施例では、入力画像信号から８種類の
動きを検出して、動きクラスコードCLASS0を形成すると
共に、これら８種類の動きに対応させて予め設定した８
種類のクラス分類用タツプパターンから動きクラスコー
ドCLASS0に応じたクラス分類用タツプパターンを選択し
たが、この第２の実施例では動きの有無のみを検出し
て、動きクラスコードを形成すると共に、動きの有無に
応じてクラス分類用タツプパターンを選択する。実際に
は、注目画素近傍が動画部であつた場合には、クラス分
類用タツプパターンとしてフイールド内画素を選択し、
静止部であつた場合にはフレーム内画素を選択する。

【００５８】つまり、分類対象の画像に動きがある場合
には、フイールド内画素を選択し、純粋に時間特性を排
除した空間内の信号変化に応じたクラス分類を行う。一
方、分類対象の画像信号に動きが無い場合には、時間方
向に広がりをもつた画素を選択し、可能な限り時空間構
造において注目画素近傍の信号変化をクラス分類に反映
させるようにする。このため、例えば、フレーム内画
素、さらには、数フイールドに亘る画素を選択するよう
にする。

【００５９】実際上、この第２の実施例のクラス分類部
は、図１３のように構成されている。すなわち、クラス
分類部６０は、入力端子INを介して供給されたＳＤ画像
データＤ１を第１のクラス分類部６１を構成するフレー
ムメモリ６２及び動き検出部６３にそれぞれ供給すると
共に、クラス分類画素選択部６４のフイールド内タツプ
選択部６５及びフレーム内タツプ選択部６６に供給す
る。

【００６０】動き検出部６３は、直接、供給された現フ
レームのＳＤ画像データＤ１とフレームメモリ６２を介
して供給された過去フレームのＳＤ画像データＤ１とに
基づいて、動き量の有無を検出する。このとき、動き量
検出部６３は、注目画素を中心とした各ブロツク毎に現
フレームの画像データと過去フレームの画像データとの
フレーム間の差分値の絶対値和を算出する。そして、当
該差分値の絶対値和が所定の閾値未満の場合には、その
ブロツクは動画部であると判定し、所定の閾値以上の場
合には、そのブロツクは静止部であると判定する。動き
検出部６３は、その判定結果を１ビツトの動きクラスコ
ードCLASS2として出力する。

【００６１】フイールド内タツプ選択部６５は、図１４
（Ａ）に示すように、注目画素（図の「◎」）を中心と
したフイールド内タツプを設定し、当該フイールド内タ
ツプデータを選択部６７に送出する。フレーム内タツプ
選択部６６は、図１４（Ｂ）に示すように、注目画素を
中心としたフレーム内タツプを設定し、当該フレーム内
タツプデータを選択部６７に送出する。選択部６７は、
動きクラスコードCLASS2に応じて、入力されたフイール
ド内タツプデータ又はフレーム内タツプデータを択一的
に選択して出力する。すなわち、動きクラスコードCLAS
S2が、動画部を表わすものであつた場合には、フイール
ド内タツプデータを出力し、静止部を表わすものであつ
た場合には、フレーム内タツプデータを出力する。

【００６２】選択部６７から出力されたクラス分類用タ
ツプデータは、ＡＤＲＣクラス分類部６８に与えられ
る。ＡＤＲＣクラス分類部６８は、クラス分類用タツプ
データをそのダイナミツクレンジに応じて適応的に再量
子化し、クラス数の削減されたＡＤＲＣクラスコードCL
ASS3を形成する。なお、この第２の実施例では、クラス
分類用タツプデータとして７画素分のデータがＡＤＲＣ
クラス分類部６８に送出されるため、例えば、クラス分
類用タツプデータに対して１ビツトＡＤＲＣ処理を施し
た場合には、クラス分類用タツプデータは、１２８種類
のクラスに分類される。そして、最終的に、クラス分類
部６０からは、動きクラスコードCLASS2として１ビツ
ト、ＡＤＲＣクラスコードCLASS3として７ビツトの合計
８ビツト（２５６種類）のクラス分類結果が出力され
る。

【００６３】実際上、クラス分類部６０は、第１の実施
例において上述したアツプコンバータ３０（図１）のク
ラス分類部３１及び学習回路４０（図２）のクラス分類
部４１として用いられ、形成された動きクラスコードCL
ASS2及びＡＤＲＣクラスコードCLASS3は、予測係数ＲＯ
Ｍ３２や係数算出部２４に送出される。

【００６４】以上の構成によれば、注目画素の周辺画素
のレベル分布パターンに基づくクラスに加えて、注目画
素の周辺画素における動きの有無に応じた動きクラスを
形成し、これらのクラスの組み合わせを最終的なクラス
分類結果としたことにより、入力ＳＤ画像をより的確に
クラス分類を行うことができる。さらに、動きの有無に
応じて、レベル分布パターンに基づくクラス分類を行う
際に用いるクラスタツプパターンを適応的に選択するよ
うにしたことにより、レベル分布パターンに基づくクラ
ス分類結果を入力ＳＤ画像の特徴を良く反映したものと
することができる。

【００６５】この結果、このクラスに応じて予測係数を
算出すれば、クラス毎により正確な予測係数を求めるこ
とができる。さらに、この予測係数を用いて予測演算を
行つて補間画素値を求めるようにすれば、ＨＤ補間画素
データの予測性能を向上し得ることにより、ＳＤ画像デ
ータＤ１を一段と高解像度のＨＤ画像データに変換し得
るアツプコンバータを実現できる。

【００６６】また、動きの有無のみに基づいて動きクラ
スを形成するようにしたことにより、第１の実施例と比
較して、第１のクラス分類部６１及びクラス分類画素選
択部６４の構成を簡易化できる。

【００６７】なお、第２のクラス分類部であるＡＤＲＣ
クラス分類部６８において、第１の実施例と同様に、ダ
イナミツクレンジを検出する画素領域を設定した画素パ
ターンよりも広く取るようにしてもよいし、また、動き
クラスコードCLASS2により、ダイナミツクレンジを検出
する画素領域を決定してもよい。さらに、ＡＤＲＣクラ
ス分類部６８は、動きクラスコードCLASS2に応じて、量
子化ビット数を切り換えるようにしてもよい。

【００６８】（３）第３の実施例 この第３の実施例では 画像の動きを考慮した、多段の
クラス分類処理を行うことにより、クラス分類性能を向
上させる。すなわち、入力画像に対して、初段で粗いク
ラス分類を行つた後、次段では初段の結果に応じたクラ
ス分類用タツプを適応的に選択し、初段とは別の細かい
クラス分類を行う。その結果、入力画像の特徴をより的
確に表現したクラス分類結果を得ることができる。

【００６９】なお、上述した第１及び第２の実施例につ
いても、第１のクラス分類部５０及び６１を初段のクラ
ス分類処理と考え、そのクラス分類結果に応じて適応的
に選択されたクラス分類用タツプをＡＤＲＣ処理するこ
とを次段のクラス分類処理と考えれば、同様に多段のク
ラス分類処理をしていると言うことができる。但し、第
３の実施例では、動きクラスの形成の方法及びクラス分
類用タツプの設定の方法が第１及び第２の実施例とは異
なる。

【００７０】すなわち、この第３の実施例では、第１の
クラス分類部が、複数種類の画像の動きを考慮して予め
選定された複数の係数を有し、この予測係数と注目画素
周辺の画素データとを用いて、注目画素に対する複数の
予測値を算出する予測値算出部と、予測値算出部により
算出された複数の予測値と注目画素の画素値との差分値
を算出する差分値算出部と、差分値の最小値を検出する
ことにより、注目画素周辺の動きを判定して、動きを表
わす第１のクラスコードを出力する第１のクラスコード
発生部とからなる。

【００７１】図１５に、第３の実施例のクラス分類部の
具体的構成を示す。図１５は、クラス分類を２段で行う
ようにした例である。クラス分類部７０は、図１のクラ
ス分類部３１に対応し、第１のクラス分類部としての初
段クラス分類部７１において画像の動きに基づく粗いク
ラス分類を行い、次段クラス分類部７２において、その
初段クラス分類部の分類結果に応じたクラス分類用タツ
プを選択して、細かいクラス分類処理を行うようになさ
れている。ここで、次段クラス分類部７２は、第１の実
施例のクラス分類画素選択部５３の機能と第２のクラス
分類部（すなわちＡＤＲＣクラス分類部）５６の機能と
を兼ねたものである。

【００７２】初段クラス分類部７１は、例えば、入力画
像に動きがあつた場合、注目画素がどの方向から動いて
きたものかを判断し、その判断結果に応じて入力画像を
大きく分類する。そのため、初段クラス分類部７１は、
注目画素の画素値と当該注目画素周辺の複数画素を用い
て、注目画素に対する線形予測値との差分を算出（実施
例の場合、９個の差分値を算出）する。そして、その差
分結果を総合的に比較判断することにより、まず複数個
の粗いクラス分類を行う。

【００７３】ここで、線形予測の際に用いる係数は、入
力画像をある方向に任意の大きさで人為的に動かした画
像を用いて学習することで作成される。その係数の学習
方法は、予測係数ＲＯＭの予測係数の学習の方法と同様
であるので、ここでは、説明を省略する。例えば、図１
７に示すような、９種類の方向を粗分類の指標として学
習し、９種類の係数組を求めておく。この係数組が、９
種類の線形予測の係数として使用される。因に、図１７
において、例えば、中央の領域「０」は動きがほとんど
ない静止または準静止領域を示し、例えば、上側の領域
「１」は上方向に動きがある場合を示す。

【００７４】実際上、初段クラス分類部７１は、入力端
子INそ介して供給された入力ＳＤ画像データＤ１を、初
段での粗いクラス分類のためのクラス分類用タツプを設
定するクラスタツプ設定部７３に供給する。クラスタツ
プ設定部７３は、図１６に示すように、注目画素が存在
するフレーム内、その１フレーム分過去のフレーム内及
びその２フレーム分過去のフレーム内から注目画素の時
空間における近傍画素をクラス分類用タツプとして設定
（この実施例の場合、注目画素を含む１６画素を設定）
し、このうち、注目画素を除く時空間近傍画素データを
各予測部７５Ａ〜７５Ｉに送出する。

【００７５】予測部７５Ａ〜７５Ｉは、それぞれ上述し
たように各々の動きの方向に適した予測係数組を有し、
当該予測係数組とクラスタツプとの線形予測により注目
画素値を予測する。差分部７６Ａ〜７６Ｉは、遅延部７
４を介して入力された注目画素の画素値と各予測部７５
Ａ〜７５Ｉで得られた予測値との差分を演算し、各差分
値が最小値判定部７７に供給される。

【００７６】ここで、例えば、入力画像が右から左に動
いているような場合は、そのような動きを想定した学習
により得られた予測係数を用いて算出された予測結果が
他の場合に比べて最も注目画素と近い値をとるはずであ
る。このため、最小値判定部７７は、９種類の差分結果
のうちその絶対値が最小となるものを検出して、動きの
方向を分類する。このようにして、初段の粗いクラス分
類を実行することができる。かくして、初段クラス分類
部７１は、９種類（４ビツト）の動きクラスコードCLAS
S4を出力する。

【００７７】さて、初段クラス分類部７１によつて動き
の方向を検出すると、次に、次段クラス分類部７２によ
つて、さらにそのような画像の中で特徴を抽出し、細か
いクラス分類を行う。ここで、次段クラス分類部７２
は、画一的なクラスタツプ構造を用いてクラス分類を行
うのではなく、初段クラス分類部７１によつて分類した
動きクラスに基づき、動きの方向に特化したクラス分類
用タツプパターンを選択して、クラス分類を行う。これ
により、次段クラス分類部７２は、より入力画像の特徴
に適合したクラス分類を行うことができる。

【００７８】このため、次段クラス分類部７２は、初段
のクラス分類結果に応じてクラス分類用タツプパターン
を可変にできるような回路構成である。次段クラス分類
部７２は、クラスタツプ設定部７３の出力をレジスタア
レイ７８を介して複数のセレクタ７９Ａ〜７９Ｉに供給
する。各セレクタ７９Ａ〜７９Ｉは、図１８〜図２０に
示すように、動きクラスコードCLASS4に応じた９種類の
クラス分類用タツプを設定する。そして、初段クラス分
類部７１の最小値判定部７７から出力される動きクラス
コードCLASS4に応じて何れか一つのセレクタ７９Ａ〜７
９Ｈ又は７９Ｉが択一的に選択され、選択されたセレク
タ７９Ａ〜７９Ｈ又は７９Ｉのクラスタツプが第２のク
ラス分類部であるＡＤＲＣクラス分類部８０に送出され
る。この結果、ＡＤＲＣクラス分類部８０には、初段の
クラス分類結果に応じた最適なクラス分類用タツプが供
給される。

【００７９】例えば、初段クラス分類部７１によつて注
目画素近傍が左から右に動いたと判断された場合（すな
わち図１７における領域「４」の方向に動きがあつた場
合）、クラス分類用タツプは、時空間でみて時間水平方
向に延びている方が有利であり、そのような12画素が選
択されるように、セレクタ７９Ａ〜７９Ｉが制御される
（図１９のクラス４）。その他の方向においても同様に
して、動きクラスコードCLASS4に応じたクラス分類用タ
ツプが選択される。

【００８０】ＡＤＲＣクラス分類部８０は、上述した第
１及び第２実施例と同様に選択されたクラス分類用タツ
プのレベル方向のビツト数を適応的なダイナミツクレン
ジを用いて圧縮することにより、ＡＤＲＣクラスコード
CLASS5を形成する。この実施例の場合、図１８〜図２０
に示すように、12画素のクラス分類用タツプを用いてい
るため、各画素をＡＤＲＣクラス分類部８０によつて適
応的に１ビツトに再量子化すると、分類後のＡＤＲＣク
ラスは、4096通りとなる。

【００８１】このようにして、初段クラス分類部７１の
クラス分類結果に応じて、次段クラス分類部７２のクラ
ス分類用タツプが選択され、選択されたクラス分類用タ
ツプを用いて１ビツトＡＤＲＣによる4096クラスのパタ
ーン分類が実現される。その結果として、初段からのク
ラスコードCLASS4と合わせて、注目画素に対して 36864
クラスの分類を行うことができる。

【００８２】このようにして得られた動きクラスコード
CLASS4及びＡＤＲＣクラスコードCLASS5は、予測係数Ｒ
ＯＭ８２の読出しアドレスとして出力される。因に、遅
延部８１は、動きクラスコードCLASS4を次段クラス分類
部７２の処理時間分だけ遅延させるものである。ここで
予測係数ＲＯＭ８２の中の予測係数は、図２の学習回路
のクラス分類部４１に代えて、この第３の実施例のクラ
ス分類部７０を用いることにより作成でき、また、図３
のフローチャートに第３の実施例のクラス分類部７０の
アルゴリズムを適用することにより、作成できる。すな
わち、動きクラスコードCLASS4及びＡＤＲＣクラスコー
ドCLASS5を組み合わせてなる各クラス毎に、mode1 、mo
de2 、mode3 及びmode4 に対応する正規方程式を用い
て、学習により、mode1 、mode2 、mode3 及びmode4 に
対応する予測係数を求め、当該予測係数をそのクラスの
アドレスに記憶させるようにすれば良い。

【００８３】動きクラスコードCLASS4及びＡＤＲＣクラ
スコードCLASS5に応じて、予測係数ＲＯＭ８２から読み
出されたmode1 、mode2 、mode3 及びmode4 のための予
測係数は、予測タツプ設定部８３によつて設定された予
測タツプと共に予測演算部８４に与えられる。予測演算
部８４は、上述した予測演算部１２（図１）と同様に、
予測タツプとそれぞれの予測係数とを線形一次結合する
ことにより、mode1 、mode2 、mode3 及びmode4 に対応
するＨＤ補間画素データを求める。そして、そのＨＤ補
間画素データを時系列のデータに変換して出力する。な
お、図２１は、予測タツプ設定部８３によつて設定され
る予測タツプの例を示している。

【００８４】以上の構成によれば、初段クラス分類部７
１によつて画像の動きに基づく粗いクラス分類を行つた
後、次段クラス分類部７２によつて細かいクラス分類を
行うようにしたことにより、有効にクラス分類精度を向
上させることができる。

【００８５】また、初段において入力画像の動きによる
クラス分類をする際に、各動きの方向ごとに予め学習に
より求められた複数の予測係数を用いて注目画素に対す
る複数の線形予測を行い、このうち最も真値に近い予測
値が得られた方向を動き方向として動きクラスコードCL
ASS4を求めたことにより、容易に動きコードCLASS4を形
成することができる。

【００８６】なお、次段クラス分類部であるＡＤＲＣク
ラス分類部８０において、上述した実施例と同様に、ダ
イナミツクレンジを検出する画素領域を設定した画素パ
ターンよりも広く取るようにしてもよいし、また、動き
クラスコードCLASS4により、ダイナミツクレンジを検出
する画素領域を決定してもよい。さらに、ＡＤＲＣクラ
ス分類部８０は、動きクラスコードCLASS2に応じて、量
子化ビツト数を切り換えるようにしてもよい。

【００８７】（４）第４の実施例 この第４の実施例では、第１のクラス分類部は、入力画
像データの現フレーム又はフイールドにおいて注目画素
を中心とした所定の大きさのブロツクを形成する第１の
ブロツク化部と、入力画像データの過去フレーム又はフ
イールドにおいて、現フレーム又はフイールドで形成さ
れたブロツクの位置を中心として複数の方向に配置され
た複数のブロツクを形成する第２のブロツク化部と、第
１のブロツク化部により形成されたブロツクと第２のブ
ロツク化手段により形成された複数のブロツクとの間で
それぞれブロツク内画素同志の差分値を算出する差分値
算出部と、複数のブロツクそれぞれについて、差分値の
絶対値の和を算出する絶対値和算出部と、絶対値和の最
小値を検出することにより、注目画素周辺の動きを判定
して動きを表わす第１のクラスコードを出力する第１の
クラスコード生成部とからなる。

【００８８】図２２に、この第４の実施例のクラス分類
部の具体的構成を示す。図１５との対応部分に同一符号
を付して示す図２２において、この第４の実施例のクラ
ス分類部９０は、初段クラス分類部９１において、現フ
レーム又はフイールドにおける注目画素データを中心と
するブロツクと、過去のフレーム又はフイールドにおい
て複数の異なる位置で切り出された複数のブロツクとの
差分を計算し、その差分の絶対値の和を比較することに
より、粗いクラス分類を行うようになされている。

【００８９】初段クラス分類部９１は、第３の実施例の
初段クラス分類部７１と同様に、例えば、入力画像に動
きがあつた場合、注目画素がどの方向から動いてきたも
のかを判断し、その判断結果に応じて注目画素を大きく
分類するためのものである。これを精度良く行うために
は、動き検出を行う必要がある。ところが、この動き検
出を、例えばブロツクマツチング法により行うと演算量
が多くなるために、初段での粗いクラス分類を行うには
余りにもハードウエア量が重くなつてしまう。

【００９０】そこで、この第４の実施例においては、過
去の参照するブロツクを、例えば、図２３に示すように
大きく９種類の領域に分割する。そして、それぞれの領
域と現フレーム又はフイールドのブロツクとの画素単位
の差分の絶対値和を計算し、その最小値を検出するとい
う、簡易的なブロツクマツチングを行うことでハードウ
エアの削減を図る。例えば、画像が右から左に動いてい
るような場合は、過去の領域「３」との差分の絶対値和
が最も小さくなる傾向にある。かくして、初段の粗いク
ラス分類を少ない演算量で行うことができるようにな
り、この結果、初段クラス分類部９１の構成を簡易化で
きる。

【００９１】実際上、この実施例の初段クラス分類部９
１においては、入力ＳＤ画像をフレーム遅延部９３を介
して各領域分割部９５Ａ〜９５Ｉに送出する。そして、
当該領域分割部９５Ａ〜９５Ｉにおいて、図２３に示す
ように、それぞれ位置の異なる過去ブロツクを設定す
る。これら複数の過去ブロツクデータと、ブロツク化部
９４を介して得られる注目画素を中心とした現ブロツク
データとが、各差分部９６Ａ〜９６Ｉに送出される。各
差分部９６Ａ〜９６Ｉにより得られた対応する画素毎の
差分値が各絶対値和部９７Ａ〜９７Ｉに送出される。そ
して、その結果得られる各差分絶対値和が最小値判定部
９８に送出される。最小値判定部９８は、差分絶対値和
が最小のものを動きの方向を表わす動きクラスコードCL
ASS6として出力する。

【００９２】次段クラス分類部９２は、第３の実施例に
おいて上述した次段動きクラス分類部７２と同様の構成
でなり、図１８〜図２０のような次段でのクラス分類用
タツプを設定する複数のセレクタ７９Ａ〜７９Ｉを有す
る。そして、これらセレクタ７９Ａ〜７９Ｉのうち初段
クラス分類部９１によつて求められた動きクラスコード
CLASS6に応じた７９Ａ〜７９Ｈ又は７９Ｉを択一的に選
択することにより、次段のクラス分類用タツプを選択す
る。

【００９３】以上の構成によれば、初段の動きクラスを
求める際に、予め異なる位置の複数の参照ブロツクを設
定した簡易的なブロツクマツチングを行うようにしたこ
とにより、容易に動きクラスを求めることができ、初段
クラス分類部９１（第１のクラス分類手段）の構成を簡
易化できる。

【００９４】（５）第５の実施例 この第５の実施例は、基本的には上述の第１〜第４実施
例と同様に、先ず入力ＳＤ画像の動きに基づいて動きク
ラスを形成し、次に、この動きクラスに応じて次段のク
ラス分類用タツプを切り換えることにより、精度の良い
クラス分類を実現する。但し、この実施例では、動きク
ラスを形成する方法が第１〜第４の実施例と異なる。

【００９５】この第５の実施例では、第１のクラス分類
部において、注目画素が存在するフレームから切り出し
た所定の大きさのブロツクと、当該フレームに隣接する
フレームから切り出した上記ブロツクと空間的に同じ位
置にあるブロツクとの間でフレーム間差分値を算出す
る。そして、当該フレーム間差分値の絶対値の平均値を
予め設定した所定の閾値と比較し、当該比較結果に基づ
いて注目画素周辺の動きを判定して、動きクラスを表わ
すクラスコードを形成する。

【００９６】図２４に、この第５の実施例によるアツプ
コンバータの具体的構成を示す。アツプコンバータ１０
０は、大きく分けて入力ＳＤ画像データＤ１の各注目画
素をクラス分類するクラス分類部１０１、その分類結果
に応じた予測係数を出力する予測係数ＲＯＭ１０３、出
力された予測係数と入力ＳＤ画像データＤ１とを用いて
予測演算を施すことにより、垂直方向におけるＨＤ補間
画素データを生成する予測演算部１０２とにより構成さ
れている。

【００９７】ここで、この第５の実施例における、ＳＤ
画素と補間すべきＨＤ画素の位置関係は、図２５に示す
通りとする。すなわち、補間すべきＨＤ画素には、同一
フイールド内でみたとき、ＳＤ画素から近い位置に存在
するＨＤ画素ｙ1 とＳＤ画素から遠い位置に存在するｙ
2 の２種類がある。以降、ＳＤ画素から近い位置に存在
するＨＤ画素を推定するモードをモード１、ＳＤ画素か
ら遠い位置に存在するＨＤ画素を推定するモードをモー
ド２と呼ぶ。

【００９８】アツプコンバータ１００は、入力端子から
供給されたＳＤ画像データＤ１を領域切り出し部１０４
に入力する。領域切り出し部１０４は、動きの程度を表
わすためのクラス分類（動きクラス）の為に必要な画素
を切り出す。この実施例では、供給されたＳＤ画像から
補間すべきＨＤ画素ｙ1 、ｙ2 に対して、図２６に示す
位置に存在する10個のＳＤ画素ｍ1 〜ｍ5 及びｎ1 〜ｎ
5 を切り出す。

【００９９】領域切り出し部１０４により切り出された
データは、動きクラス決定部１０５に供給される。動き
クラス決定部１０５は、供給されたＳＤ画素データのフ
レーム間差分を算出し、その絶対値の平均値を閾値判定
することにより、動きのパラメータを算出する。具体的
には、動きクラス決定部１０５は、次式（１０）

【数１０】 により、供給されるＳＤ画素データから差分の絶対値の
平均値 paramを算出する。但し、実施例の場合、ｎ＝５
である。

【０１００】動きクラス決定部１０５は、このように算
出した平均値 paramを、予め設定した閾値と比較するこ
とにより、動きクラスコードCLASS8を求める。ここで、
例えば、平均値 paramが「２」以下の場合をクラス
「０」とし、平均値 paramが「２」より大きくかつ
「４」以下の場合をクラス「１」とし、平均値 paramが
「４」より大きくかつ「８」以下の場合をクラス「２」
とし、平均値 paramが「８」より大きい場合をクラス
「３」とし paramが「２」以下の場合をクラス「３」と
すれば、４つのクラスでなる動きクラスコードCLASS8を
形成することができる。ここで、この閾値は、例えばＳ
Ｄ画素データの差分の絶対値のヒストグラムをｎ等分す
ることにより設定すれば良い。

【０１０１】このように形成された動きクラスコードCL
ASS8は、領域切り出し部１０７及びクラスコード発生部
１０９に送出される。領域切り出し部１０７には、領域
切り出し部１０４及び動きクラス決定部１０５の処理時
間だけ入力ＳＤ画像データＤ１を遅延させる遅延部（Ｄ
Ｌ）１０６を介して、入力ＳＤ画像データＤ１が供給さ
れている。領域切り出し部１０７により切り出されたＳ
Ｄ画素データは、ＡＤＲＣ部１０８に供給され、ＡＤＲ
Ｃ部１０８によつてＳＤ画素データの空間内波形が少な
いビツト数にパターン化（空間内クラス分類）される。
例えば、１画素当り８ビツトのＳＤ画素データが１画素
当り２ビツトのＳＤ画素データに圧縮される。

【０１０２】ここで、空間内クラス分類においては、動
きが小さい画像の場合には、２フイールド分あるいはそ
れ以上のフイールド数の画素を用いた方式が効果的かつ
効率的である。一方、動きが大きい画像の場合には１フ
イールド内の画素を用いた方式が効果的かつ効率的であ
る。そのため、領域切り出し部１０７は、動きクラスコ
ードCLASS8がクラス「０」又はクラス「１」であつた場
合は、例えば、図２７に示すような位置にある５つのＳ
Ｄ画素ｋ1 〜ｋ5 を空間内クラス分類に使用する画素
（すなわちクラス分類用タツプ）として切り出す。これ
に対して、領域切り出し部１０７は、動きクラスコード
CLASS8がクラス「２」又はクラス「３」であつた場合
は、図２８に示すような位置にある５つのＳＤ画素ｋ1
〜ｋ5 を空間内クラス分類に使用する画素として切り出
す。

【０１０３】ＡＤＲＣ部１０８により圧縮された画素デ
ータは、ＡＤＲＣクラスコードCLASS9としてクラスコー
ド発生部１０９に供給される。クラスコード発生部１０
９は、ＡＤＲＣクラスコードCLASS9及び動きクラスコー
ドCLASS8に基づいて、次式（１１）

【数１１】 の演算を行うことにより、そのブロツクが属する最終的
なクラスを検出する。そして、その検出されたクラスを
示すクラスコードCLASS10 を予測係数ＲＯＭ１０３の読
出しアドレスとして出力する。但し、（１１）式におけ
るｑi は、ＡＤＲＣにより再量子化された各画素データ
を表し、ｐは、ＡＤＲＣの際のビツト割当てを表わし、
ｎは５、ｐは２である。因に、この第５の実施例の予測
係数ＲＯＭ１０３には、ＨＤ画素ｙ1 に対応するモード
１の予測係数とＨＤ画素ｙ2 に対応するモード２の予測
係数がそれぞれ独立に用意されている。

【０１０４】一方、入力端子から供給された入力ＳＤ画
像データＤ１は、領域切り出し部１１０にも与えられ
る。領域切り出し部１１０は、予測演算に使用するＳＤ
画素データ（すなわち予測タツプ）を入力データから切
り出す。この第５の実施例の場合には、図２９に示すよ
うな位置にある17個の画素ｘ1 〜ｘ17を予測タツプとし
て切り出す。領域切り出し部１１０の出力は、タイミン
グ合せをする目的で用意された遅延部１１１を介して予
測演算部１１２に供給される。予測演算部１１２は、供
給されたＨＤ画素ｙ1 に対応するモード１の予測係数と
ＨＤ画素ｙ2 に対応するモード２の予測係数と予測タツ
プとを用いて、それぞれ線形一次演算を行うことによ
り、注目ＳＤ画素データに対応するＨＤ補間画素データ
ｙ1 及びｙ2を算出する。

【０１０５】予測演算部１１２から出力されたＨＤ補間
画素データは、水平補間フイルタ１１３に供給される。
水平補間フイルタ１１３は、補間処理によつて水平方向
の画素数を２倍にするものであり、この水平補間処理に
より最終的に図１のmode1 、mode2 、mode3 及びmode4
のようなＨＤ補間画素データが生成されて、変換部１１
５に供給される。変換部１１５では、供給されたＨＤ補
間画素データを時系列のデータの変換し、その出力がＨ
Ｄテレビジヨン受像機やＨＤビデオテープレコーダ等に
供給される。

【０１０６】なお、ＡＤＲＣ部１０８において、上述し
た実施例と同様に、ダイナミツクレンジを検出する画素
領域を設定した画素パターンよりも広く取るようにして
もよいし、また、動きクラスコードCLASS8により、ダイ
ナミツクレンジを検出する画素領域を決定してもよい。
さらに、ＡＤＲＣ部１０８は、動きクラスコードCLASS8
に応じて、量子化ビツト数を切り換えるようにしてもよ
い。

【０１０７】次に、この実施例の予測係数ＲＯＭ１０３
に記憶されている予測係数を作成するための学習回路の
構成について説明する。図２４との対応部分に同一符号
を付して示す図３０に示すように、学習回路１２０は、
まず既に知られているＨＤ画像に対応した、当該ＨＤ画
像の 1/4の画素数のＳＤ画像を形成する。具体的には、
入力端子を介して供給されるＨＤ画像データの垂直方向
の画素を垂直間引きフイルタ１２１によつて垂直方向の
周波数が 1/2になるように間引き処理し、さらに、水平
間引きフイルタ１２２によりＨＤ画像データの水平方向
の画素を間引くことにより、ＳＤ画像データを得る。

【０１０８】ＳＤ画像データは、クラス分類部１０１に
供給されると共に、図２の係数算出部２４に対応する係
数算出部１２３に供給される。そして、クラス分類部１
０１で形成されたクラスコードCLASS10 が係数算出部１
２３の正規方程式形成部１２４に供給される。正規方程
式形成部１３３は、クラスコードCLASS10 で表わされる
クラス毎に上述した（２）式〜（９）式に基づいて正規
方程式データを形成する。この際に、正規方程式データ
は、モ−ド１及びモード２に対してそれぞれ生成され
る。

【０１０９】全ての学習データの入力が終了した後、正
規方程式形成部１２４は予測係数決定部１２５にモード
１及びモード２の正規方程式データをそれぞれ出力す
る。予測係数決定部１２５は、正規方程式を掃き出し法
などの一般的な行列解法を用いてモード１及びモード２
の予測係数についてそれぞれ解き、当該モード１及びモ
ード２の予測係数をメモリ１２６に出力する。この結
果、メモリ１２６には、クラス毎に注目ＨＤ補間画素デ
ータｙ1 及びｙ2 を推定する際、統計的に最も真値に近
い推定ができるようなモード１及びモード２の予測係数
が格納される。そして、このメモリ１２６に格納された
テーブルを、アツプコンバータ１００の予測係数ＲＯＭ
１０３とすれば良い。

【０１１０】以上の構成によれば、動きクラスに応じ
て、レベル分布パターンに基づくクラス分類を行う際に
用いるクラス分類用タツプパターンを適応的に選択する
ようにしたことにより、レベル分布パターンに基づくク
ラス分類結果を入力画像の特徴を良く反映したものとす
ることができる。また、ＳＤ画像のフレーム間差分を算
出し、その絶対値の平均値を閾値判定することで動きク
ラスを求めるようにしたことにより、容易に動きクラス
を求めることができ、クラス分類部１０１の構成を簡易
化し得る。

【０１１１】（６）第６の実施例 上述した第１〜第５の実施例では、動きクラスを形成し
当該動きクラスに応じてレベル分布パターンに基づくク
ラス分類に用いるクラス分類用タツプを適応的に選択す
る場合について述べたが、この第６の実施例では、動き
クラスに応じて予測演算に用いる予測タツプを適応的に
選択するようにする。

【０１１２】実際上、この第６の実施例のアツプコンバ
ータは、図３１に示すように構成されている。図２４と
の対応部分に同一符号を付して示す図３１において、ア
ツプコンバータ１４０のクラス分類部１４１に設けられ
た動きクラス決定部１０５は、第５の実施例と同様の方
法で求めた動きクラスコードCLASS8をクラスコード発生
部１０９に送出すると共に、予測演算部１４２の領域切
り出し部１４７に送出する。

【０１１３】領域切り出し部１４７は、タイミング合せ
のための遅延部１４６を介して与えられたＳＤ画像デー
タから動きクラスコードCLASS8に応じた予測タツプを切
り出す。すなわち、動きクラスコードCLASS8が、クラス
「０」又はクラス「１」のように動きが小さいことを表
わすものであつた場合には、例えば、図３３に示すよう
な位置にある９つのＳＤ画素ｘ1 〜ｘ9 を予測タツプと
して切り出す。これに対して、動きクラスCLASS8がクラ
ス「２」のように動きが大きいことを表わすものであつ
た場合には、例えば、図３４に示すような位置にある９
つのＳＤ画素ｘ1 〜ｘ9 を予測タツプとして切り出す。
また、動きクラスCLASS8がクラス「３」のように動きが
非常に大きいことを表わすものであつた場合には、図３
５に示すような位置にある９つのＳＤ画素ｘ1 〜ｘ9 を
予測タツプとして切り出す。この結果予測演算部１１２
には、クラス分類の対象となる入力ＳＤ画像の動きに基
づく最適な予測タツプが供給されるようになる。

【０１１４】ここで、従来の予測演算においては、クラ
ス分類されたクラスのいかんに拘わらず、常に同じ画素
を予測タツプとして用いていた。このため、予測性能を
重視した場合は予測タツプを構成する画素数が多くなり
ハードウエア規模の増加を招き、一方、ハードウエア規
模を削減した場合には予測性能の低下を招く欠点があつ
た。

【０１１５】これに対して、この第６の実施例のアツプ
コンバータ１４０においては、動きクラスコードCLASS8
に応じて予測タツプを適応的に選択するようにしている
ので簡易な構成で予測性能を向上させることができる。
すなわち、上述したように、動きが小さい場合には、補
間するＨＤ画素に空間的に近いＳＤ画素を予測タツプと
して選定する。また、動きが大きい場合には、補間する
ＨＤ画素に時間的に近いＳＤ画素を選定する。よって、
予測タツプ数をむやみに増加させることなく、予測演算
に適した予測タツプのみを設定するようになされてい
る。

【０１１６】なお、この第６の実施例における、クラス
分類用タツプを切り出すための領域切り出し部１４５
は、例えば、図２７に示すように補間すべきＨＤ画素ｙ
1 、ｙ2 の近傍に位置する５つのＳＤ画素ｋ1 〜ｋ5 を
切り出す。すなわち、領域切り出し部１４５は、動きに
かかわらず固定のクラス分類用タツプを切り出す点で第
５の実施例と異なる。

【０１１７】次に、この第６の実施例の予測係数ＲＯＭ
１４３（図３１）を作成するための学習回路について説
明する。図３１との対応部分に同一符号を付して示す図
３２に示すように、学習回路１５０の予測係数算出部１
５１は、動きクラス決定部１０５によつて決定した動き
クラスコードCLASS8に応じたＳＤ画素を領域切り出し部
１４７によつて切り出して正規方程式形成部１３３に送
出する。また、正規方程式形成部１３３は、動きクラス
CLASS8と、固定されたクラス分類用タツプから得られた
ＡＤＲＣクラスコードCLASS11 とに基づきクラスコード
発生部１０９によつて求められたクラスコードCLASS12
を受ける。

【０１１８】正規方程式形成部１３３は、上述したよう
に各クラスコードCLASS12 毎にモ−ド１及びモード２に
対しての正規方程式をそれぞれ立て、これを予測係数決
定部１３４に送出する。予測係数決定部１３４により求
められたモ−ド１及びモード２のためのそれぞれ予測係
数は、メモリ１３５に格納される。かくして、学習回路
１５０によれば、動きクラスに応じて、学習に用いる予
測タツプを適応的に選択するようにしたことにより、精
度の良い予測係数を生成することができる。

【０１１９】以上の構成によれば、動きクラスに応じ
て、予測演算において重要となる画素のみで予測タツプ
を形成するようにことにより、ハードウエア規模を小く
し、かつ予測性能の良いアツプコンバータを実現するこ
とができる。なお、ＡＤＲＣ部１０８において、上述し
た実施例と同様に、ダイナミツクレンジを検出する画素
領域を設定した画素パターンよりも広く取るようにして
もよいし、また、動きクラスコードCLASS8により、ダイ
ナミツクレンジを検出する画素領域を決定してもよい。
さらに、ＡＤＲＣ部１０８は、動きクラスコードCLASS8
に応じて、量子化ビット数を切り換えるようにしてもよ
い。

【０１２０】（７）第７の実施例 上述した第１〜第５の実施例では、動きクラスに応じて
クラス分類用タツプを適応的に選択し、第６の実施例で
は、動きクラスに応じて予測タツプを適応的に選択する
場合について述べたが、この第７の実施例では、動きク
ラスに応じてクラス分類用タツプ及び予測タツプの両方
を適応的に選択する。

【０１２１】この第７の実施例のアツプコンバータ及び
学習回路の構成を、図３６及び図３７に示す。図２４及
び図３１との対応部分に同一符号を付して示す図３６に
おいて、アツプコンバータ１０５のクラス決定部１６４
は、決定した動きクラスコードCLASS8をクラス分類用タ
ツプを切り出すための領域切り出し部１０７に送出する
と共に、予測タツプを切り出すための領域切り出し部１
４７に送出する。領域切り出し部１０７は、第５の実施
例で上述したように動きクラスコードCLASS8に応じたク
ラス分類用タツプを切り出す。また、領域切り出し部１
４７は、第６の実施例で上述したように動きクラスコー
ドCLASS8に応じた予測タツプを切り出す。

【０１２２】かくして、この第７の実施例の学習回路に
おいては一段と精度の良い予測係数を得ることができる
と共に、アツプコンバータにおいては一段と真値に近い
ＨＤ補間画素を得ることができる。

【０１２３】（８）他の実施例 なお、上述の実施例においては、本発明を、ＳＤ画像デ
ータをＨＤ画像データに変換するアツプコンバータに適
用した場合について述べたが、本発明はこれに限らず、
低解像度の画像データを高解像度の画像データに変換す
る場合に広く適用し得る。すなわち、上述の実施例で
は、ＳＤ画像に含まれない画素を創造する場合に本発明
を適用しているが、例えば、８ビツトで表現された各画
素をより解像度の高い10ビツトで表現しようとする場合
にも適用し得る。この場合には、予め10ビツトの画素を
用いた学習によりクラス毎の予測係数データを求め、８
ビツトの画素を用いてクラス分類した結果に応じた予測
係数データを使用して予測演算処理を行うようにすれば
良い。また、本発明は、サプサンプルされた画像信号の
補間方法に対しても適用することができ、さらに、電子
ズーム等の拡大の際の補間方法に対しても適用すること
ができる。

【０１２４】また、上述の実施例においては、第１及び
第２のクラスコードを組合わせたクラスコード毎に予測
係数データが記憶された予測係数記憶部を設けると共
に、予測係数記憶部から出力される予測係数データと入
力画像データとを用いて予測演算を行う予測演算部を設
けることにより、クラス分類結果に応じて解像度の高い
画像データを生成する場合について述べたが、本発明は
これに限らず、予測係数記憶部及び予測演算部に代え
て、第１及び第２のクラスコードを組合わせたクラスコ
ード毎に予測値が記憶された予測値記憶部を設けるよう
にした場合にも適用し得る。ここで、予測値記憶部に記
憶される予測値は予測演算部から出力される推定補間画
素値に対応するものである。このような方法は、例え
ば、上述した本出願人による日本出願公開公報、特開平
5-328185号の明細書及び図面において提案されている。
なお、この日本出願に対応する米国出願は、Serial No.
08/1,730 filed May 17, 1993である。つまり、図１に
アップコンバータにおいて、クラス分類部の構成は同じ
であるが、予測係数ＲＯＭ３２の代わりに、予測値が記
憶された予測ＲＯＭが構成される。そして、クラスコー
ドによって読み出された予測値が推定補間画素値として
直接、変換部に供給される構成となる。

【０１２５】このような予測値を求める第１の方法とし
ては加重平均を用いた学習方法がある。詳述すれば、補
間対象画素の周辺のＳＤ画素を用いて上述したクラス分
類を行い、クラス毎に積算した補間対象画素の画素値
（ＨＤ画素値を用いる）を補間対象画素の個数によつて
インクリメントされた度数によつて割るといつた処理を
様々な画像に対して行うことにより各クラスに対応した
予測値を求める方法である。また、予測値を求める第２
の方法としては正規化による学習方法がある。詳述すれ
ば、補間対象画素を含む複数の画素からなるブロツクを
形成し、当該ブロツク内のダイナミツクレンジによつ
て、補間対象画素の画素値からそのブロツクの基準値を
減算した値を正規化し、この正規化された値の累積値を
累積度数で除した値を予測値とする処理を様々な画像に
対して行うことより各クラスに対応した予測値を求める
方法である。

【０１２６】また、上述の第１〜第４の実施例において
は、第１のクラス分類部によつて入力画像データにおけ
る注目画素周辺の動きに応じて形成した第１のクラスコ
ード（動きクラスコード）に応じて、第２のクラス分類
部がクラス分類の際に用いる画素を適応的に選択する場
合について述べたが、第１〜第４の実施例においても、
第６の実施例において上述したように、第１のクラスコ
ードに応じて予測演算部が予測演算の際に用いる画素を
適応的に選択するようにしても良い。また、第７の実施
例において上述したように、第１のクラスコードに応じ
て、第２のクラス分類部がクラス分類に用いる画素と予
測演算部が予測演算に用いる画素の両方を適応的に選択
するようにしても良い。このようにすれば、一段と高解
像度の画像データを生成することができる。

【０１２７】また、上述の実施例においては、注目画素
に対して空間的及び又は時間的に周辺に存在する複数画
素のレベル分布パターンに基づいて第２のクラスコード
を出力する第２のクラス分類部としてＡＤＲＣ回路を用
いた場合について述べたが、本発明の第２のクラス分類
手段はこれに限らず、例えばＤＣＴ（Discrete Cosine
Transform ）符号化、ＤＰＣＭ（差分符号化）、ベクト
ル量子化、サブバンド符号化やウエーブレツト変換等の
圧縮手法を用いるようにしても良い。

【０１２８】また、上述の実施例においては、入力画像
データにおける注目画素周辺の動きに応じて注目画素を
クラス分類する第１のクラス分類部のクラス分類手法と
して、ブロツクマツチング法や、フレーム間差分値を所
定の閾値と比較する方法や、複数の動きに対応して求め
た予測値のうちの予測誤差の最小値を検出することによ
り動きの方向を求める方法や、簡易的なブロツクマツチ
ング法などを用いた場合について述べたが、本発明はこ
れに限らず、これ以外にも例えば勾配法や位相相関法を
用いて動きクラスを求めるようにしても良く、要は注目
画素周辺の動きを、その動きの方向や大きさに基づいて
所定数のクラスのうちの何れかに分類できるものであれ
ば良い。

【０１２９】また、上述の実施例においては、予測係数
記憶部としてＲＯＭ（読出し専用メモリ）を用いた場合
について述べたが、本発明はこれに限らず、これに代え
てＲＡＭ（書込み読出しメモリ）やＳＲＡＭ等を用いる
ようにしても良い。

【０１３０】なお、本発明の主旨を逸脱しない範囲にお
いて、様々な変形や応用例が考え得る。従つて、本発明
の要旨は、実施例に限定されるものではない。

【０１３１】

【発明の効果】上述のように本発明によれば、入力画像
データにおける注目画素周辺の動きに応じて注目画素を
クラス分類し、当該分類結果を表わす第１のクラスコー
ドを出力する第１のクラス分類部と、注目画素に対して
空間的及び又は時間的に周辺に存在する複数画素のレベ
ル分布パターンに基づいて注目画素をクラス分類し、当
該分類結果を表わす第２のクラスコードを出力する第２
のクラス分類部と、入力画像データを高解像度の画像デ
ータに変換するための情報である予測係数データが第１
及び第２のクラスコードを組合わせたクラスコード毎に
記憶されており、第１及び第２のクラスコードに応じた
予測係数データを出力する予測係数記憶部と、第１のク
ラスコード及び上記第２のクラスコードに応じて予測係
数記憶部から出力される予測係数データと、注目画素に
対して空間的及び又は時間的に周辺に存在する複数画素
とを用いて予測演算を行うことにより、高解像度の画像
データを生成する予測演算部とを備えるようにしたこと
により、入力画像データの多様な信号特性を考慮した適
切なクラス分類適応処理を行うことができ、低解像度の
入力画像データを一段と高解像度の画像データに変換す
ることができる。

【図面の簡単な説明】

【図１】本発明の実施例によるアツプコンバータの構成
を示すブロツク図である。

【図２】実施例による学習回路の構成を示すブロツク図
である。

【図３】第１実施例によるクラス分類部の構成を示すブ
ロツク図である。

【図４】第１実施例における動きクラスを形成する際の
パターン分類例を示す略線図である。

【図５】第１実施例のクラス分類画素選択部によつて選
択されるクラス分類用タツプパターンを示す略線図であ
る。

【図６】第１実施例のクラス分類画素選択部によつて選
択されるクラス分類用タツプパターンを示す略線図であ
る。

【図７】第１実施例のクラス分類画素選択部によつて選
択されるクラス分類用タツプパターンを示す略線図であ
る。

【図８】第１実施例のクラス分類画素選択部によつて選
択されるクラス分類用タツプパターンを示す略線図であ
る。

【図９】第１実施例のクラス分類画素選択部によつて選
択されるクラス分類用タツプパターンを示す略線図であ
る。

【図１０】第１実施例のクラス分類画素選択部によつて
選択されるクラス分類用タツプパターンを示す略線図で
ある。

【図１１】第１実施例のクラス分類画素選択部によつて
選択されるクラス分類用タツプパターンを示す略線図で
ある。

【図１２】第１実施例のクラス分類画素選択部によつて
選択されるクラス分類用タツプパターンを示す略線図で
ある。

【図１３】第２実施例によるクラス分類部の構成を示す
ブロツク図である。

【図１４】第２実施例のクラス分類選択部によつて選択
されるクラス分類用タツプパターンを示す略線図であ
る。

【図１５】第３実施例によるクラス分類部の構成を示す
ブロツク図である。

【図１６】第３実施例において動きクラスを形成する際
に用いられるクラス分類用タツプ例を示す略線図であ
る。

【図１７】第３実施例における動きクラスを形成する際
のパターン分類例を示す略線図である。

【図１８】第３実施例のクラス分類画素選択部によつて
選択されるクラス分類用タツプパターンを示す略線図で
ある。

【図１９】第３実施例のクラス分類画素選択部によつて
選択されるクラス分類用タツプパターンを示す略線図で
ある。

【図２０】第３実施例のクラス分類画素選択部によつて
選択されるクラス分類用タツプパターンを示す略線図で
ある。

【図２１】第３実施例における予測タツプ例を示す略線
図である。

【図２２】第４実施例によるクラス分類部の構成を示す
ブロツク図である。

【図２３】第４実施例における動きクラス形成動作の説
明に供する略線図である。

【図２４】第５実施例によるアツプコンバータの構成を
示すブロツク図である。

【図２５】ＳＤ画素とＨＤ画素との位置関係を示す略線
図である。

【図２６】第５実施例において動きクラス分類に用いら
れるＳＤ画素を示す略線図である。

【図２７】第５実施例のクラス分類画素選択部によつて
選択されるクラス分類用タツプパターンを示す略線図で
ある。

【図２８】第５実施例のクラス分類画素選択部によつて
選択されるクラス分類用タツプパターンを示す略線図で
ある。

【図２９】第５実施例における予測タツプパターンを示
す略線図である。

【図３０】第５実施例による学習回路の構成を示すブロ
ツク図である。

【図３１】第６実施例によるアツプコンバータの構成を
示すブロツク図である。

【図３２】第６実施例による学習回路の構成を示すブロ
ツク図である。

【図３３】第６実施例の予測演算画素選択部によつて選
択される予測タツプパターンを示す略線図である。

【図３４】第６実施例の予測演算画素選択部によつて選
択される予測タツプパターンを示す略線図である。

【図３５】第６実施例の予測演算画素選択部によつて選
択される予測タツプパターンを示す略線図である。

【図３６】第７実施例によるアツプコンバータの構成を
示すブロツク図である。

【図３７】第７実施例による学習回路の構成を示すブロ
ツク図である。

【図３８】従来の説明に供するＳＤ画素とＨＤ画素の空
間配置例を示す略線図である。

【図３９】従来の２次元ノンセパラブル補間フイルタの
構成を示すブロツク図である。

【図４０】従来の水平／垂直セパラブル補間フイルタの
構成を示すブロツク図である。

【図４１】クラス分類適応処理を用いたアツプコンバー
タの構成を示すブロツク図である。

【図４２】クラス分類用タツプ及び予測タツプの配置例
を示す略線図である。

【図４３】予測係数学習処理手順を示すフローチヤート
である。

【図４４】予測係数を求める学習回路の構成を示すブロ
ツク図である。

【符号の説明】

１、５、１０、３０、１００、１４０、１６０……アツ
プコンバータ、１１、２３、３１、４１、６０、７０、
９０、１０１、１４１、１６１……クラス分類部、１
２、８４、１０２、１４２、１６２……予測演算部、１
３、３２、８２、９９、１０３、１４３、１６３……予
測係数ＲＯＭ、２０、４０、１２０、１５０、１７０…
…学習回路、２４、１２４、１５１、１７１……係数算
出回路、５０、６１、７１、９１……第１のクラス分類
手段、５２……動きベクトルクラス検出部、５３、６
４、１０７……クラス分類画素選択手段、５４Ａ〜５４
Ｈ……パターン設定部、５５……クラスタツプ選択部、
５６、６８、８０、１０８……ＡＤＲＣクラス分類部
（第２のクラス分類手段）、６３……動き検出部、７
２、９２……次段クラス分類部、１１０……予測演算画
素選択手段、Ｄ１……入力ＳＤ画像データ、Ｄ２、Ｄ３
２、CLASS10 、CLASS12 、……クラスコード、Ｄ３……
予測係数データ、Ｄ４、Ｄ３３……ＨＤ補間画素デー
タ、Ｄ５、Ｄ３４……ＨＤ画像データ、CLASS0、CLASS
2、CLASS4、CLASS6、CLASS8′……動きクラスコード、C
LASS1、CLASS3、CLASS5、CLASS7、CLASS9、CLASS11 ′
……ＡＤＲＣクラスコード。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 内田 真史 東京都品川区北品川６丁目７番35号ソニー 株式会社内

Claims (44)

【特許請求の範囲】
1. 【請求項１】第１の入力画像信号を上記第１の画像信号
   とは異なる第２の画像信号に変換する画像信号変換装置
   において、 上記第１の入力画像信号の注目画素周辺の動きとパター
   ンに応じて、上記注目画素のクラスを決定し、そのクラ
   スを示すクラスコードを発生するクラスコード決定部
   と、 上記第１の入力画像データを上記第２の入力画像データ
   に変換するための情報である予測係数データがクラスコ
   ード毎に記憶されており、上記クラスコードに応じて上
   記予測係数データを出力する予測係数記憶部と、 上記クラスコードに応じて上記予測係数記憶手段から出
   力される予測係数データと、上記注目画素に対して空間
   的及び又は時間的に周辺に存在する複数画素とを用い
   て、予測演算を行い、上記高解像度の画像データを生成
   する予測演算部とからなることを特徴とする画像信号変
   換装置。
2. 【請求項２】上記クラスコード決定部は、 上記第１の入力画像データにおける注目画素周辺の動き
   に応じて、上記注目画素の第１のクラスを決定し、その
   第１のクラスを示す第１のクラスコードを出力する第１
   のクラス分類部と、 上記注目画素に対して空間的及び又は時間的に周辺に存
   在する複数画素のレベル分布パターンに基づいて、上記
   注目画素の第２のクラスを決定し、その第２のクラスを
   示す第２のクラスコードを出力する第２のクラス分類部
   とからなり、 上記第１のクラスコードと上記第２のクラスコードに基
   づいて上記クラスコードを発生するようになされている
   ことを特徴とする請求項１に記載の画像信号変換装置。
3. 【請求項３】上記第１の入力画像信号は、低解像度の画
   像信号であり、上記第２の画像信号は、上記第１の入力
   画像信号よりも解像度の高い高解像度の画像信号である
   ことを特徴とする請求項１に記載の画像信号変換装置。
4. 【請求項４】上記第２の画像信号は、上記第１の画像信
   号より画素数の多い画像信号であることを特徴とする請
   求項１に記載の画像信号変換装置。
5. 【請求項５】上記第１のクラスコードに応じて、上記第
   ２のクラス分類部において第２のクラスを決定するため
   に使用される上記複数画素を適応的に選択するクラス分
   類画素選択部を有することを特徴とする請求項２に記載
   の画像信号変換装置。
6. 【請求項６】上記第１のクラスコードに応じて、上記予
   測演算部において予測演算を行うために使用される上記
   複数画素を適応的に選択する予測演算画素選択部を有す
   ることを請求項２に記載の画像信号変換装置。
7. 【請求項７】上記第１のクラスコードに応じて、上記第
   ２のクラス分類部において第２のクラスを決定するため
   に使用される上記複数画素を適応的に選択するクラス分
   類画素選択部と、 上記第１のクラスコードに応じて、上記予測演算手段に
   おいて予測演算を行うために使用される上記複数画素を
   適応的に選択する予測演算画素選択部とを有することを
   特徴とする請求項２に記載の画像信号変換装置。
8. 【請求項８】上記第１のクラス分類部は、上記注目画素
   周辺の画像の動きベクトルに応じて上記注目画素の第１
   のクラスを決定し、 上記クラス分類画素選択部は、動きの方向に長く延長さ
   れ、かつ動きが大きい程広い領域に分布する上記複数画
   素を選択するようにしたことを特徴とする請求項５に記
   載の画像信号変換装置。
9. 【請求項９】上記第１のクラス分類部は、上記注目画素
   周辺の画像の動きベクトルに応じて上記注目画素の第１
   のクラスを決定し、 上記クラス分類画素選択部は、動きの方向に長く延長さ
   れ、かつ動きが大きい程広い領域に分布する上記複数画
   素を選択するようにしたことを特徴とする請求項６に記
   載の画像信号変換装置。
10. 【請求項１０】上記第１のクラス分類部は、上記注目画
    素周辺の画像の動きの有無に応じて上記注目画素の第１
    のクラスを決定し、 上記クラス分類画素選択部は、動きが有る場合には同一
    フイールド内に存在する上記複数画素を選択し、動きが
    無い場合には複数フイールドに渡つて存在する上記複数
    画素を選択するようにしたことを特徴とする請求項５に
    記載の画像信号変換装置。
11. 【請求項１１】上記第１のクラス分類部は、上記注目画
    素周辺の画像の動きの有無に応じて上記注目画素の第１
    のクラスを決定し、 上記クラス分類画素選択部は、動きが有る場合は同一フ
    イールド内に存在する上記複数画素を選択し、動きが無
    い場合は複数フイールドに渡つて存在する上記複数画素
    を選択するようにしたことを特徴とする請求項６に記載
    の画像信号変換装置。
12. 【請求項１２】上記第１のクラス分類部は、 複数種類の画像の動きを考慮して予め選定された複数の
    係数を有し、 その係数と上記注目画素周辺の画素データとを用いて、
    上記注目画素に対する複数の予測値を算出する予測値算
    出部と、 上記予測値算出部により算出された複数の予測値と上記
    注目画素の画素値との差分値を算出する差分値算出部
    と、 上記複数の差分値に基づいて上記注目画素周辺の動きを
    判定し、上記第１のクラスコードを出力する第１のクラ
    スコード生成部とからなることを特徴とする請求項５に
    記載の画像信号変換装置。
13. 【請求項１３】上記第１のクラス分類部は、 複数種類の画像の動きを考慮して予め選定された複数の
    係数を有し、 その係数と上記注目画素周辺の画素データとを用いて、
    上記注目画素に対する複数の予測値を算出する予測値算
    出部と、 上記予測値算出部により算出された複数の予測値と上記
    注目画素の画素値との差分値を算出する差分値算出部
    と、 上記複数の差分値に基づいて上記注目画素周辺の動きを
    判定し、上記第１のクラスコードを出力する第１のクラ
    スコード生成部とからなることを特徴とする請求項４に
    記載の画像信号変換装置。
14. 【請求項１４】上記第１のクラス分類部は、 上記入力画像データの現フレーム又はフイールドにおい
    て、上記注目画素を中心とした所定の大きさのブロツク
    を形成する第１のブロツク化部と、 上記入力画像データの過去フレーム又はフイールドにお
    いて、上記現フレーム又はフイールドで形成されたブロ
    ツクの位置を中心として複数の方向に配置された複数の
    ブロツクを形成する第２のブロツク化部と、 上記第１のブロツク化部により形成されたブロツクと、
    上記第２のブロツク化部により形成された複数のブロツ
    クとの間で、それぞれブロツク内画素同志の差分値を算
    出する差分値算出部と、 上記複数の差分値に基づいて上記注目画素周辺の動きを
    判定し、上記第１のクラスコードを出力する第１のクラ
    スコード生成部とからなることを特徴とする請求項５に
    記載の画像信号変換装置。
15. 【請求項１５】上記第１のクラス分類部は、 上記入力画像データの現フレーム又はフイールドにおい
    て、上記注目画素を中心とした所定の大きさのブロツク
    を形成する第１のブロツク化部と、 上記入力画像データの過去フレーム又はフイールドにお
    いて、上記現フレーム又はフイールドで形成されたブロ
    ツクの位置を中心として複数の方向に配置された複数の
    ブロツクを形成する第２のブロツク化部と、 上記第１のブロツク化部により形成されたブロツクと、
    上記第２のブロツク化部により形成された複数のブロツ
    クとの間で、それぞれブロツク内画素同志の差分値を算
    出する差分値算出部と、 上記複数の差分値に基づいて上記注目画素周辺の動きを
    判定し、上記第１のクラスコードを出力する第１のクラ
    スコード生成部とからなることを特徴とする請求項６に
    記載の画像信号変換装置。
16. 【請求項１６】上記第１のクラス分類部は、 上記注目画素が存在するフレームから切り出した所定の
    大きさのブロツクと、当該フレームに隣接するフレーム
    から切り出した上記ブロツクと空間的に同じ位置にある
    ブロツクとの間でフレーム間差分値を算出する算出し、
    上記フレーム間差分値を予め設定した所定の閾値と比較
    する比較し、その比較結果に基づいて上記注目画素周辺
    の動きを判定し、その判定結果に基づいて上記第１のク
    ラスコードを出力するようにしたことを特徴とする請求
    項５に記載の画像信号変換装置。
17. 【請求項１７】上記第１のクラス分類部は、 上記注目画素が存在するフレームから切り出した所定の
    大きさのブロツクと、当該フレームに隣接するフレーム
    から切り出した上記ブロツクと空間的に同じ位置にある
    ブロツクとの間でフレーム間差分値を算出する算出し、
    上記フレーム間差分値を予め設定した所定の閾値と比較
    する比較し、その比較結果に基づいて上記注目画素周辺
    の動きを判定し、その判定結果に基づいて上記第１のク
    ラスコードを出力するようにしたことを特徴とする請求
    項６に記載の画像信号変換装置。
18. 【請求項１８】第１の入力画像信号を上記第１の画像信
    号とは異なる第２の画像信号に変換する画像信号変換装
    置において、 上記第１の入力画像信号の注目画素周辺の動きとパター
    ンに応じて、上記注目画素のクラスを決定し、そのクラ
    スを示すクラスコードを発生するクラスコード決定部
    と、 上記第１の入力画像データを上記第２の入力画像データ
    に変換するための予測値データがクラスコード毎に記憶
    されており、上記クラスコードに応じて上記予測値デー
    タを出力する予測値記憶部とからなることを特徴とする
    画像信号変換装置。
19. 【請求項１９】上記クラスコード決定部は、 上記第１の入力画像データにおける注目画素周辺の動き
    に応じて、上記注目画素の第１のクラスを決定し、その
    第１のクラスを示す第１のクラスコードを出力する第１
    のクラス分類部と、 上記注目画素に対して空間的及び又は時間的に周辺に存
    在する複数画素のレベル分布パターンに基づいて、上記
    注目画素の第２のクラスを決定し、その第２のクラスを
    示す第２のクラスコードを出力する第２のクラス分類部
    とからなり、 上記第１のクラスコードと上記第２のクラスコードに基
    づいて上記クラスコードを発生するようになされている
    ことを特徴とする請求項１８に記載の画像信号変換装
    置。
20. 【請求項２０】上記第１の入力画像信号は、低解像度の
    画像信号であり、上記第２の画像信号は、上記第１の入
    力画像信号よりも解像度の高い高解像度の画像信号であ
    ることを特徴とする請求項１８に記載の画像信号変換装
    置。
21. 【請求項２１】上記第２の画像信号は、上記第１の画像
    信号より画素数の多い画像信号であることを特徴とする
    請求項１８に記載の画像信号変換装置。
22. 【請求項２２】上記第１のクラスコードに応じて、上記
    第２のクラス分類部において第２のクラスを決定するた
    めに使用される上記複数画素を適応的に選択するクラス
    分類画素選択部を有することを特徴とする請求項１９に
    記載の画像信号変換装置。
23. 【請求項２３】第１の入力画像信号を上記第１の画像信
    号とは異なる第２の画像信号に変換する画像信号変換方
    法において、 上記第１の入力画像信号の注目画素周辺の動きとパター
    ンに応じて、上記注目画素のクラスを決定し、このクラ
    スを示すクラスコードを発生し、 上記クラスコードに応じて、上記クラスコード毎に記憶
    されている、上記第１の入力画像データを上記第２の入
    力画像データに変換するための予測係数データを出力
    し、 上記クラスコードに応じて上記予測係数記憶手段から出
    力される予測係数データと、上記注目画素に対して空間
    的及び又は時間的に周辺に存在する複数画素とを用い
    て、予測演算を行い、上記高解像度の画像データを生成
    するようにしたことを特徴とする画像信号変換方法。
24. 【請求項２４】上記クラスコード決定ステツプは、 上記第１の入力画像データにおける注目画素周辺の動き
    に応じて、上記注目画素の第１のクラスを決定し、その
    第１のクラスを示す第１のクラスコードを出力する第１
    のクラス分類ステツプと、 上記注目画素に対して空間的及び又は時間的に周辺に存
    在する複数画素のレベル分布パターンに基づいて、上記
    注目画素の第２のクラスを決定し、その第２のクラスを
    示す第２のクラスコードを出力する第２のクラス分類ス
    テップとからなり、 上記第１のクラスコードと上記第２のクラスコードとか
    らなる上記クラスコードを発生するようになされている
    ことを特徴とする請求項２３に記載の画像信号変換方
    法。
25. 【請求項２５】上記第１の入力画像信号は、低解像度の
    画像信号であり、上記第２の画像信号は、上記第１の入
    力画像信号よりも解像度の高い高解像度の画像信号であ
    ることを特徴とする請求項２３に記載の画像信号変換方
    法。
26. 【請求項２６】上記第２の画像信号は、上記第１の画像
    信号より画素数の多い画像信号であることを特徴とする
    請求項２３に記載の画像信号変換方法。
27. 【請求項２７】上記第１のクラスコードに応じて、上記
    第２のクラスコードを発生するために使用される上記複
    数画素を適応的に選択するようにしたことを特徴とする
    請求項２４に記載の画像信号変換方法。
28. 【請求項２８】上記第１のクラスコードに応じて、予測
    演算を行うために使用される上記複数画素を適応的に選
    択するようにしたことを請求項２４に記載の画像信号変
    換方法。
29. 【請求項２９】上記第１のクラスコードに応じて、上記
    第２のクラスコードを発生するために使用される上記複
    数画素を適応的に選択し、 上記第１のクラスコードに応じて、予測演算を行うため
    に使用される上記複数画素を適応的に選択するようにし
    たことを特徴とする請求項２４に記載の画像信号変換方
    法。
30. 【請求項３０】上記第１のクラス分類ステツプは、上記
    注目画素周辺の画像の動きベクトルに応じて上記注目画
    素の第１のクラスを決定し、 上記第２のクラスコードを決定するために使用される複
    数画素は、動きの方向に長く延長され、かつ動きが大き
    い程広い領域に分布するように選択されることを特徴と
    する請求項２７に記載の画像信号変換方法。
31. 【請求項３１】上記第１のクラス分類ステツプは、上記
    注目画素周辺の画像の動きベクトルに応じて上記注目画
    素の第１のクラスを決定し、 上記第２のクラスコードを決定するために使用される複
    数画素は、動きの方向に長く延長され、かつ動きが大き
    い程広い領域に分布するように選択されることを特徴と
    する請求項２８に記載の画像信号変換方法。
32. 【請求項３２】上記第１のクラス分類ステツプは、上記
    注目画素周辺の画像の動きの有無に応じて上記注目画素
    の第１のクラスを決定し、 上記第２のクラスコードを決定するために使用される複
    数画素は、動きが有る場合には同一フイールド内に存在
    するように選択され、動きが無い場合には複数フイール
    ドに渡つて存在するように選択されることを特徴とする
    請求項２７に記載の画像信号変換方法。
33. 【請求項３３】上記第１のクラス分類ステツプは、上記
    注目画素周辺の画像の動きの有無に応じて上記注目画素
    の第１のクラスを決定し、 上記第２のクラスコードを決定するために使用される複
    数画素は、動きが有る場合には同一フイールド内に存在
    するように選択され、動きが無い場合には複数フイール
    ドに渡つて存在するように選択されることを特徴とする
    請求項２８に記載の画像信号変換方法。
34. 【請求項３４】上記第１のクラス分類ステツプは、 複数種類の画像の動きを考慮して予め選定された複数の
    係数と上記注目画素周辺の画素データとを用いて、上記
    注目画素に対する複数の予測値を算出し、 上記算出された複数の予測値と上記注目画素の画素値と
    の差分値を算出し、 上記複数の差分値から上記注目画素周辺の動きを判定
    し、上記判定結果に基づいて上記第１のクラスコードを
    出力することを特徴とする請求項２７に記載の画像信号
    変換方法。
35. 【請求項３５】上記第１のクラス分類ステツプは、 複数種類の画像の動きを考慮して予め選定された複数の
    係数と上記注目画素周辺の画素データとを用いて、上記
    注目画素に対する複数の予測値を算出し、 上記算出された複数の予測値と上記注目画素の画素値と
    の差分値を算出し、 上記複数の差分値から上記注目画素周辺の動きを判定
    し、上記判定結果に基づいて上記第１のクラスコードを
    出力することを特徴とする請求項２８に記載の画像信号
    変換方法。
36. 【請求項３６】上記第１のクラス分類ステツプは、 上記入力画像データの現フレーム又はフイールドにおい
    て、上記注目画素を中心とした所定の大きさの第１のブ
    ロツクを形成し、 上記入力画像データの過去フレーム又はフイールドにお
    いて、上記現フレーム又はフイールドで形成されたブロ
    ツクの位置を中心として複数の方向に配置された複数の
    第２のブロツクを形成し、 上記第１のブロツクと、上記複数の第２のブロツクとの
    間で、それぞれブロツク内画素同志の差分値を算出し、 上記複数の差分値から上記注目画素周辺の動きを判定
    し、上記判定結果に基づいて第１のクラスコードを出力
    することを特徴とする請求項２７に記載の画像信号変換
    方法。
37. 【請求項３７】上記第１のクラス分類ステツプは、 上記入力画像データの現フレーム又はフイールドにおい
    て、上記注目画素を中心とした所定の大きさの第１のブ
    ロツクを形成し、 上記入力画像データの過去フレーム又はフイールドにお
    いて、上記現フレーム又はフイールドで形成されたブロ
    ツクの位置を中心として複数の方向に配置された複数の
    第２のブロツクを形成し、 上記第１のブロツクと、上記複数の第２のブロツクとの
    間で、それぞれブロツク内画素同志の差分値を算出し、 上記複数の差分値から上記注目画素周辺の動きを判定
    し、上記判定結果に基づいて第１のクラスコードを出力
    することを特徴とする請求項２８に記載の画像信号変換
    方法。
38. 【請求項３８】上記第１のクラス分類ステツプは、 上記注目画素が存在するフレームから切り出した所定の
    大きさのブロツクと、当該フレームに隣接するフレーム
    から切り出した上記ブロツクと空間的に同じ位置にある
    ブロツクとの間でフレーム間差分値を算出する算出し、 上記フレーム間差分値を予め設定した所定の閾値と比較
    する比較し、 その比較結果に基づいて上記注目画素周辺の動きを判定
    し、上記判定結果に基づいて上記第１のクラスコードを
    出力することを特徴とする請求項２７に記載の画像信号
    変換方法。
39. 【請求項３９】上記第１のクラス分類ステツプは、 上記注目画素が存在するフレームから切り出した所定の
    大きさのブロツクと、当該フレームに隣接するフレーム
    から切り出した上記ブロツクと空間的に同じ位置にある
    ブロツクとの間でフレーム間差分値を算出する算出し、 上記フレーム間差分値を予め設定した所定の閾値と比較
    する比較し、 その比較結果に基づいて上記注目画素周辺の動きを判定
    し、上記判定結果に基づいて上記第１のクラスコードを
    出力することを特徴とする請求項２８に記載の画像信号
    変換方法。
40. 【請求項４０】第１の入力画像信号を上記第１の画像信
    号とは異なる第２の画像信号に変換する画像信号変換方
    法において、 上記第１の入力画像信号の注目画素周辺の動きとパター
    ンに応じて、上記注目画素のクラスを決定し、そのクラ
    スを示すクラスコードを発生し、 上記クラスコードに応じて、上記クラスコード毎に記憶
    されている、上記第１の入力画像データを上記第２の入
    力画像データに変換するための予測値データを出力する
    ことを特徴とする画像信号変換方法。
41. 【請求項４１】上記クラスコード決定ステツプは、 上記第１の入力画像データにおける注目画素周辺の動き
    に応じて、上記注目画素の第１のクラスを決定し、その
    第１のクラスを示す第１のクラスコードを出力する第１
    のクラス分類ステツプと、 上記注目画素に対して空間的及び又は時間的に周辺に存
    在する複数画素のレベル分布パターンに基づいて、上記
    注目画素の第２のクラスを決定し、その第２のクラスを
    示す第２のクラスコードを出力する第２のクラス分類ス
    テツプからなり、 上記第１のクラスコードと上記第２のクラスコードに基
    づいて上記クラスコードを発生するようになされている
    ことを特徴とする請求項４０に記載の画像信号変換方
    法。
42. 【請求項４２】上記第１の入力画像信号は、低解像度の
    画像信号であり、上記第２の画像信号は、上記第１の入
    力画像信号よりも解像度の高い高解像度の画像信号であ
    ることを特徴とする請求項４０に記載の画像信号変換方
    法。
43. 【請求項４３】上記第２の画像信号は、上記第１の画像
    信号より画素数の多い画像信号であることを特徴とする
    請求項４０に記載の画像信号変換方法。
44. 【請求項４４】上記第１のクラスコードに応じて、上記
    第２のクラスコードを発生するために使用される上記複
    数画素を適応的に選択するようにしたことを特徴とする
    請求項４１に記載の画像信号変換方法。