JP3856244B2 - 信号変換装置及び信号変換方法 - Google Patents
信号変換装置及び信号変換方法 Download PDFInfo
- Publication number
- JP3856244B2 JP3856244B2 JP12065995A JP12065995A JP3856244B2 JP 3856244 B2 JP3856244 B2 JP 3856244B2 JP 12065995 A JP12065995 A JP 12065995A JP 12065995 A JP12065995 A JP 12065995A JP 3856244 B2 JP3856244 B2 JP 3856244B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- image signal
- resolution
- learning
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１２〜図１４）
発明が解決しようとする課題
課題を解決するための手段
作用
実施例（図１〜図１１）
発明の効果
【０００２】
【産業上の利用分野】
本発明は信号変換装置及び信号変換方法に関し、例えばＮＴＳＣ等の標準解像度信号（ＳＤ：Standard Definition ）をハイビジヨン等の高解像度信号（ＨＤ：High Definition ）に変換するアツプコンバータに適用して好適なものである。
【０００３】
【従来の技術】
従来、この種のアツプコンバータにおいては、ＳＤ画像信号に対して周波数補間処理を施すことにより、画素数を増やしてＨＤ画像信号を形成している。例えば図１２に示すように、ＨＤ画像の走査線１上で大きな「○」印及び大きな「△」印でなるＳＤ画像信号に対して水平及び垂直方向にそれぞれ２倍の周波数補間を施すことにより、小さな「○」印及び小さな「△」印でなるＨＤ画像信号を生成する。
【０００４】
アツプコンバータによる補間例としては、ＳＤ画像信号のフイールドデータから、４種類の位置のＨＤ画素を生成する方法がある。例えば図中の「◎」印のＳＤ画素に注目すると、その近傍の４種類mode1,mode2,mode3 及びmode4 の位置のＨＤ画素を補間により生成する。
このとき用いる補間フイルタとしては、図１３に示す空間内２次元ノンセパラブルフイルタ２や、図１４に示す水平／垂直セパラブルフイルタ３がある。
【０００５】
２次元ノンセパラブルフイルタ２は４種類の位置のＨＤ画素mode1,mode2,mode3 及びmode4 それぞれに対して２次元フイルタ４Ａ〜４Ｄによつて独立に補間処理を実行し、各補間結果を選択部５において直列化しＨＤ画像信号を得る。
水平／垂直セパラブルフイルタ３は垂直補間フイルタ６Ａによりmode１及びmode３用の処理を実行し、垂直補間フイルタ６Ｂによりmode２及びmode４用の処理を実行してＨＤ画像信号の２本の走査線データを形成する。次に各走査線に対して水平フイルタ７Ａ及び７Ｂを用いて４種類の位置のＨＤ画素を補間して選択部８において直列化することによりＨＤ画像信号を生成する。
【０００６】
【発明が解決しようとする課題】
ところで上述したような従来のアツプコンバータでは補間フイルタとして理想フイルタを使用した場合でも、画素数は増えるものの空間解像度はＳＤ画像信号と変わらない。また実際には理想フイルタを用いることはできないため、ＳＤ画像信号より解像度の低下したＨＤ画像信号を生成することしかできないという問題がある。
【０００７】
このような問題を解決する方法として、入力ＳＤ画像信号の特徴に基づいてＳＤ画像信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の予測データでなる予測係数を用いて高解像度のＨＤ画像信号を生成するクラス分類適応処理方法が提案されている（特開平5-328185号公報参照）。
【０００８】
ところがクラス分類適応処理法を用いてＨＤ画像信号を生成する場合、学習によつて予測係数を生成するときに入力ＳＤ画像信号の特徴に応じて適切なクラス分類が行なわれないとＨＤ画像信号の予測精度が低下するという問題があつた。すなわちクラス分類の能力が十分でないと、本来、別のクラスに分かれるべきＨＤ画像信号が同じクラスに分類される。このため学習により得られる予測係数は、性質の異なるＨＤ画像信号の平均値を予測することになり、その結果、解像度復元能力が低下するという問題があつた。
【０００９】
本発明は以上の点を考慮してなされたもので、入力画像信号の多様な信号特性に対応した適切なクラス分類によつて低解像度の画像信号を一段と高解像度の画像信号に変換し得る信号変換装置及び信号変換方法を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力される第１の解像度の第１の画像信号をより高解像度な第２の解像度の第２の画像信号に変換する信号変換装置において、第１の画像信号を、第２の画像信号にのみ含まれる注目画素の周辺の所定数の第１の画像信号の画素の時空間領域でのレベル分布パターンに応じて、各レベル分布パターンに対応した複数のクラスのうち、第１の画像信号のレベル分布パターンを良く反映している第１のクラスに分類する第１のクラス分類手段と、第１の画像信号を、第２の画像信号にのみ含まれる注目画素の周辺の所定数の第１の画像信号の画素でなるタツプのパターンに対応した、複数のクラスとは異なる単一のクラスである第２のクラスに分類する第２のクラス分類手段と、第１のクラス分類手段によつて分類された第１のクラスと第２のクラス分類手段によつて分類された第２のクラスとから一のクラスを選択するクラス選択手段と、予め学習により第１のクラス分類手段及び第２のクラス分類手段のそれぞれにおいて、分類されたクラス毎に求めた、第２の画像信号を第１の画像信号より予測生成するための予測係数を記憶し、クラス選択手段により選択された一のクラスに応じて予測係数を出力する予測係数記憶手段と、第１の画像信号に対し、予測係数記憶手段から出力された予測係数を用いた予測演算を実行して第１の画像信号には含まれない注目画素を推定するようことにより、第２の画像信号を生成する予測演算手段とを設け、さらに、第１のクラス分類手段において、予め学習により第２の解像度の学習用画像信号を第１の解像度の学習用画像信号より予測生成するための予測係数をクラス毎に求める際に、第２の解像度の学習用画像信号中の画素値と、第１の解像度の学習用画像信号に対して予測係数を用いて予測生成した画素値との予測誤差が所定の誤差範囲内となるクラスを第１の特定クラスとしておき、クラス選択手段では、第１のクラスが第１の特定クラスに該当する場合は、第１のクラスを選択し、第１のクラスが第１の特定クラスに該当しない場合は、第２のクラスを選択するようにした。
【００１１】
【作用】
このように、入力画像信号を、高解像度の画像信号にのみ含まれる注目画素の周辺の所定数の低解像度の画像信号の画素の時空間領域でのレベル分布パターンを用いるクラス分類法により第１のクラスに分類すると共に、高解像度の画像信号の注目画素周辺の所定数の低解像度の画像信号の画素でなるタツプのパターンに対応した単一クラスである第２のクラスに分類し、第１のクラスが学習時の予測誤差が所定の誤差範囲内となる特定クラスである場合には、第１のクラス及び第２のクラスのうちの第１のクラスを選択し、第１のクラスが特定クラスでない場合には、第１のクラス及び第２のクラスのうちの第２のクラスを選択し、選択したクラスに応じて予測係数を読み出し、読み出した予測係数を用いて低解像度の画像信号には含まれない注目画素を推定するようにしたことにより、入力画像信号の信号特性を反映した高解像度の画像信号を生成することができる。
【００１２】
【実施例】
以下図面について本発明の一実施例を詳述する。
【００１３】
図１に示す１０は全体としてクラス分類適応処理を適用してＳＤ画像信号からＨＤ画像信号を生成する２次元ノンセパラブルフイルタによるアツプコンバータを示す。このアツプコンバータ１０に入力端１１を通じて入力されるＳＤ画像信号Ｓ1 は、クラス分類部１２及び予測演算部１３に並列に送出される。クラス分類部１２は新たに生成するＨＤ画像信号Ｓ2 の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスデータd0を生成し、予測係数生成部１４に送出する。
【００１４】
図２に示すように、クラス分類部１２では、入力端２０を通じて入力されるＳＤ画像信号Ｓ1 がＡＤＲＣクラス分類部２１及びアダマール変換クラス分類部２２に並列に送出される。ＡＤＲＣクラス分類部２１及びアダマール変換クラス分類部２２ではそれぞれ入力ＳＤ画像信号Ｓ1 をクラスc0及びc1にクラス分類して論理部２３に送出する。論理部２３には、上述したクラスc0及びc1に加えて入力ＳＤ画像信号Ｓ1 による全ての学習データを一つのクラスとして特定クラスに設定した単一クラス分類によるクラスc2が送出される。
論理部２３は、クラスc0、c1又はc2のうちいずれか一つを選択して選択クラスc3とすると共に、どのクラスc0、c1又はc2を選択したかを表す識別信号c4を生成し、選択クラスc3及び識別信号c4とを合わせてクラスd0として次段の予測係数生成部１４に送出する。
【００１５】
予測係数生成部１４の予測係数テーブル２４Ａ〜２４Ｃには、それぞれＡＤＲＣクラス分類法によつて得られる特定クラス、アダマール変換クラス分類法によつて得られる特定クラス及び単一クラス分類法による特定クラスのそれぞれに対応した予測係数が予め高解像度の画像信号をもとにした学習により求められて格納されている。例えば予測係数テーブル２４Ａには、ＡＤＲＣクラス分類部２１によつて生成されたクラスc0に対応した予測係数がクラスc0の各クラス番号毎に求められて格納されている。
【００１６】
予測係数テーブル２４Ａ〜２４Ｃは、選択クラスc3をアドレスデータとして予測係数を読み出し、それぞれ予測係数d11 、d12 及びd13 として選択器２５に送出する。選択器２５は識別信号c4に基づいて、入力された予測係数d11 、d12 及びd13 の中から何れか一つを選択し、選択した予測係数d11 、d12 又はd13 を予測データd1として予測演算部１３に送出する。
この結果、例えばクラス分類部１２でクラスc0が選択されクラスc3として出力された場合には、予測係数生成部１４からは予測係数テーブル２４Ａの予測係数d11 が選択されて予測係数d11 として出力される。
【００１７】
予測演算部１３は図１に示すように、４つの予測演算部１３Ａ〜１３Ｄより形成される。各演算部は、それぞれＳＤ画像信号Ｓ1 に対して予測データd1を用いた積和演算を実行し、走査線上の４種類の位置mode1 、mode2 、 mode3及びmode4 に対応するＨＤ画素d2、d3、d4及びd5を生成する。各予測演算部１３Ａ〜１３Ｄにおいて生成された各ＨＤ画素d2、d3、d4及びd5は選択部１５に送出される。選択部１５は各ＨＤ画素d2、d3、d4及びd5をバツフアメモリ（図示せず）を用いてＨＤ補間画素d2、d3、d4及びd5がテレビジヨン走査線順に並ぶように時系列に変換して出力端１６からＨＤ画像信号Ｓ2 として出力する。
【００１８】
図３に示すように論理部２３は、ＡＤＲＣクラス分類及びアダマール変換クラス分類のそれぞれに対応して、予め学習により設定してある特定クラスを記憶したクラスデータＲＯＭ(Read Only Memory)３０Ａ及び３０Ｂが設けられている。各クラスデータＲＯＭ３０Ａ及び３０Ｂは、対応する各クラス分類部から入力されるクラスc0又はc1が設定されている特定クラスと一致した場合、フラグオンとし、一致する特定クラスが無い場合にはフラグオフとする。
【００１９】
制御ＲＯＭ３１は、クラスデータＲＯＭ３０Ａ及び３０Ｂのフラグのオンオフの状態を見て入力ＳＤ画像信号Ｓ1 に対して最適なクラス（ＡＤＲＣクラス、周波数クラス又は単一クラス）すなわち選択クラスc3を選択すると共に、該選択クラスc3のクラス分類手段を表す識別信号c4を出力する。具体的には、クラスデータＲＯＭ３０Ａのフラグがオンの場合はクラスデータＲＯＭ３０ＢのフラグのオンオフにかかわらずＡＤＲＣクラスを選択クラスとするように設定する。またクラスデータＲＯＭ３０Ａのフラグがオフの場合、クラスデータＲＯＭ３０Ｂのフラグのオンオフに応じて、選択クラスを周波数クラス又は単一クラスとするように設定する。さらにクラスデータＲＯＭ３０Ａ及び３０Ｂのフラグが共にオフの場合は選択クラスc3を単一クラスとするように設定する。
【００２０】
すなわち、ＡＤＲＣクラス、周波数クラス及び単一クラスの順で優先順位を与え、クラスデータＲＯＭ３０Ａ及び３０Ｂのフラグのオンオフに応じてＡＤＲＣクラス、周波数クラス又は単一クラスの何れかのクラスを選択クラスc3として設定する。制御ＲＯＭ３１は、選択した選択クラスc3のクラス分類手段を表す識別信号c4を出力する。選択部３２は、この識別信号c4に基づいて入力されるＡＤＲＣクラスc0、アダマールクラスc1又は単一クラスc2の中の何れか一つを選択して選択クラスc3として出力する。
【００２１】
ＡＤＲＣクラス分類部２１は、図４に示すような入力ＳＤ画像信号Ｓ1 の注目画素（図中◎で示す）及びその近傍画素（図中○で示す）でなる７画素を入力ＳＤ画像信号Ｓ1 のクラス生成画素（タツプ) としてサンプリングする。これらの７画素を用いて入力信号の信号特性に応じたクラスを生成する。
【００２２】
ＡＤＲＣは、７画素分の８ビツトのＰＣＭ(Pulse Code Modulation) データをＡＤＲＣを用いた再量子化によりデータ圧縮してクラス数を削減する。すなわち７画素のデータから定義されるダイナミツクレンジＤＲに基づいて７画素の最小値を除去し、各画素の画素レベルを適応的に１ビツト量子化することによつてクラス数を128 クラスに削減する。ＡＤＲＣはＶＴＲ(Video Tape Recorder) 用信号圧縮方式として開発されたものであるが、少ないクラス数で入力信号の信号特性を表現するのに適している。
【００２３】
ＡＤＲＣは再量子化として定義される量子化ステツプ幅により、画素を再量子化するものである。ＡＤＲＣ出力であるＡＤＲＣコードｃi は、ダイナミツクレンジＤＲ、再量子化ビツト数ｋ、ＳＤ画素ｘi 及びその近傍領域内の最小画素レベルＭＩＮとを用いて次式
【数１】
によつて表わされる。
このようにして入力ＳＤ画像信号Ｓ1 に対して（１）式を用いてＡＤＲＣコードｃi を生成し、ＡＤＲＣクラスc0を出力する。ＡＤＲＣクラスは時空間領域に属するものであり、入力ＳＤ画像信号Ｓ1 のレベル分布パターンに基づいて入力ＳＤ画像信号Ｓ1 をクラス分類する。このとき表現される画素は有限クラス数では注目画素近傍の信号変化に重点が置かれる。
【００２４】
一方、アダマール変換クラス分類部２２ではアダマール変換により周波数特性に基づいたクラス分類を実行する。アダマール変換は互いに直交する複数の直交変換基底より構成される直交変換である。このアダマール変換によつて入力ＳＤ画像信号Ｓ1 に対して直交変換を施し、入力ＳＤ画像信号Ｓ1 を互いに独立で無相関な複数の直交変換成分に分離する。
【００２５】
すなわちアダマール変換クラス分類部２２では１次元の入力ＳＤ画像信号Ｓ1 に対して４次アダマール変換を施す。４次アダマール変換は入力データＸ、アダマール変換行列Ｈ、出力Ｙとして次式
【数２】
によつて表わされる。
この結果、アダマール基底と入力ＳＤ画像信号Ｓ1 との演算により、４個のアダマール成分ｙ1 〜ｙ4 が得られ、周波数クラスc1として次段の論理部２３に送出される。この（２）式のアダマール変換行列Ｈの係数から分かるようにアダマール変換は加減算のみで出力が得られるため回路の負担が小さい。アダマール変換による周波数クラスc1は入力ＳＤ画像信号Ｓ1 の比較的広い範囲に亘る信号特性を把握することができる。
【００２６】
また単一クラスは、所定ブロツク単位毎の入力ＳＤ画像信号Ｓ1 をタツプパターン毎に一つのクラスとして扱つたものである。単一クラスに対する予測処理は全ての学習データを全て同一視しているので統計的な平均処理となり強い定常表現ができる。
【００２７】
このようにしてＡＤＲＣクラス分類部２１、アダマール変換クラス分類部２２でそれぞれ生成されたＡＤＲＣクラスc0、周波数クラスc1及び単一クラス分類として得られる単一クラスc2が論理部２３に送出される。論理部２３では、図５に示す選択クラス選択手順に従つて上述した３つのクラスから特定クラスを選択する。
【００２８】
すなわち選択クラス選択手順は先ず、ステツプＳＰ１で開始されると、ステツプＳＰ２において入力ＳＤ画像信号Ｓ1 より生成されるＡＤＲＣクラスc0と一致するクラスが予め学習により登録されている特定クラスにあるか否かを判定し、あると判定した場合はステツプＳＰ３に移り、ＡＤＲＣクラスc0を選択クラスc3として選択し、ステツプ７に移つて選択クラス選択手順を終了する。
【００２９】
ここで入力ＳＤ画像信号Ｓ1 が上述したＡＤＲＣクラス分類による特定クラスに一致しない場合は、ステツプＳＰ４に移り、入力ＳＤ画像信号Ｓ1 よりアダマール変換によつて生成された周波数クラスc1と一致するクラスが、予め学習により登録されている特定クラスにあるか否かを判定し、あると判定した場合はステツプＳＰ５に移り、周波数クラスc1を選択クラスc3として選択し、ステツプ７に移つて選択クラス選択手順を終了する。ここで周波数クラスc1がアダマール変換クラス分類による特定クラスに該当しない場合はステツプＳＰ６に移る。
【００３０】
ステツプＳＰ６ではＡＤＲＣクラスc0及び周波数クラスc1の何れも特定クラスに該当しない入力ＳＤ画像信号Ｓ1 に対して、単一クラスc2を選択クラスc3として選択し、ステツプ７に移つて選択クラス選択手順を終了する。このようにＡＤＲＣクラスc0、周波数クラスc1及び単一クラスc2の優先順位で各クラス毎に一致する特定クラスを探して最初に一致した特定クラスを選択クラスc3とする。かくして、３つのクラス分類のうち何れか１つの特定クラスを選択クラスc3として設定すると選択クラス選択手順は終了する。
このように特性が異なる３つのクラス分類法を用いて入力ＳＤ画像信号Ｓ1 をクラス分類することで、一種類のクラス分類法では対応しきれない広い範囲に亘る信号特性を適切にクラス分類することができる。
【００３１】
このようにして得られる選択クラスc3に応じた予測データd1によつて予測演算部１３では入力ＳＤ画像信号Ｓ1 に対して予測演算が実行され、ＨＤ補間画素の推定画素ｙ′が生成される。この推定画素ｙ′は図６に示すように注目画素（図中◎で示す）及び周辺画素（図中○で示す）の13画素でなるタツプデータｘi と、クラスd0に基づいて予測係数生成部１４から読み出された予測データd1でなる予測係数ｗi を用いて次の予測式
【数３】
を用いて生成する。
ここで用いられる予測係数ｗi は予め学習によつて求められ、予測係数テーブル２４Ａ〜２４Ｃに格納されている。
【００３２】
予測係数の学習は実際上、図７に示す予測係数学習回路３５によつて実行される。すなわちＨＤ画像信号Ｓ20を間引きフイルタ３６によつてＳＤ画像信号Ｓ10に変換してクラス分類部３７は及び予測係数算出回路３８に送出する。クラス分類部３７はクラス分類部１２と同様の構成でなり、ＳＤ画像信号Ｓ10をもとにして各クラス分類法による処理を実行する。この結果得られるクラスc0、c1及びc2を対応する予測係数テーブル４４Ａ、４４Ｂ及び４４Ｃと予測係数算出回路３８に送出する。
【００３３】
予測係数算出回路３８は、ＨＤ補間画素をもとめるための予測係数を各クラス分類法のクラスc0、c1及びc2それぞれに対して、入力ＨＤ画像信号Ｓ20から得られるＨＤ及びＳＤ画素でなる一組の学習データを用いて算出する。具体的には先ず、予測係数算出回路３８において、上述した学習データから予測係数を用いてたてた線形一次結合モデルから最小自乗法を用いて予測係数を求める。このとき予測係数の計算過程で得られる予測誤差を予測誤差抽出回路４０において抽出し、ソーテイング回路４１で予測誤差の誤差値に応じて順に並べ替える。この予測誤差の抽出及び並べ替えは、各クラスc0、c1及びc2について実行する。
ここで各クラスc0、c1及びc2において予測誤差が最小でかつ、所定の予測誤差範囲内のものを選び、その選択結果を予測係数選択部４２及びクラスデータメモリ４３Ａ及び４３Ｂに出力する。因みに各クラスにおいて最小の予測誤差のものでも、所定の予測誤差範囲外のものは選択されないことになる。
【００３４】
予測係数選択部４２は、ソーテイング回路４１の選択結果に基づいて各クラス分類法毎に特定された特定クラスの予測係数を各クラスc0、c1及びc2をアドレスデータとして予測係数テーブル４４Ａ〜４４Ｃに格納する。このようにして予測係数テーブル４４Ａ〜４４Ｃに蓄えられた各予測係数は、それぞれ予測係数テーブル２４Ａ〜２４Ｃに登録される。因みに予測係数テーブル４４Ｃには各予測タツプパターン毎に一組の予測係数が登録される。一方、クラスデータメモリ４３Ａ及び４３Ｂは、ソーテイング回路４１で選択した予測係数に対応する各クラスc0、c1及びc2のクラスデータを各クラス分類法の特定クラスとして特定して格納する。このようにしてクラスデータメモリ４３Ａ及び４３Ｂに蓄えられた特定クラスは、それぞれクラスデータＲＯＭ３０Ａ及び３０Ｂに登録される。
【００３５】
次に、上述した特定クラスに対応付けて予測係数テーブル２４Ａ〜２４Ｃに登録する予測係数の学習方法について、図８に示す予測係数学習手順にそつて説明する。予測係数学習手順はステツプＳＰ１０で開始されると、先ずステツプＳＰ１１において予測係数を学習するために、既に知られている画像に対応した学習データを生成する。
【００３６】
具体的には、図１２に示すＨＤ画像において、ＨＤ画素をＨＤ注目画素として、このＨＤ注目画素を周辺のＨＤ画素及びＳＤ画素でなる一組の学習データによつて予測係数を用いた線形一次結合モデルによつて表す。このとき用いた予測係数を各クラス毎に最小自乗法を用いて求める。なお、このように学習データを生成する際に、１つの画像のみを用いるのではなく複数の画像を用いて多数の学習データを生成すれば、より正確な予測係数を得ることができる。
【００３７】
ステツプＳＰ１２では、ステツプＳＰ１１で生成した学習データの数が予測係数を得るのに必要なだけ生成されたか否か判定する。ここで学習データ数が必要数に満たないと判定された場合には予測係数学習手順はステツプＳＰ１３に移る。
ステツプＳＰ１３では、クラス学習データをクラス分類する。クラス分類は先ず、初めに学習サンプリングデータの局所的な平坦度を検出し、当該検出結果に応じてクラス分類に用いる画素を選択する。これにより入力信号の変化の小さいものを学習対象から除外してノイズの影響を排除することができる。このクラス学習データのクラス分類は入力ＳＤ画像信号Ｓ1 をクラス分類する場合と同様の処理を実行することによつてなされる。
【００３８】
続いて予測係数学習手順はステツプＳＰ１４において、クラス分類された学習データに基づき、各クラス毎に正規化方程式を形成する。
ステツプＳＰ１４での処理を具体的に説明する。ここでは一般化するために学習データとしてｎ個のサンプリング画素が存在する場合について述べる。先ず各サンプリング画素の画素レベルｘ1 、……、ｘn と注目補間画素のサブサンプル以前の画素レベルｙの関係を、クラス毎に予測係数ｗ1 、……、ｗn によるｎタツプの線型一次結合モデルによる予測式で表す。この予測式を次式
【数４】
に示す。
この（４）式における予測係数ｗ1 、……、ｗn を求めることにより、画素レベルｙを推定する。
【００３９】
次に予測係数ｗ1 、……、ｗn を最小自乗法により生成する例を示す。最小自乗法は次のように適用される。
一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の観測方程式を考える。
【数５】
この（５）式の観測方程式により収集されたデータに対して最小自乗法を適用する。（５）式の例においては、ｎ＝１３、ｍが学習データ数となる。
【００４０】
先ず、（５）式の観測方程式をもとに、次の残差方程式を考える。
【数６】
（６）式の残差方程式から、各ｗi の最確値は次式
【数７】
を最小にする条件が成り立つ場合と考えられる。
すなわち（７）式のｗi による偏微分が次式
【数８】
のときに、この（８）式のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、……、ｗn を算出すれば良い。そこで残差方程式（６）式から次式が得られる。
【数９】
この（９）式と（８）式とにより次式
【数１０】
が得られる。そして（６）式及び（１０）式から次に示す正規方程式が得られる。
【数１１】
（１１）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能なので、これにより各ｗi の最確値を求めることができる。
この正規方程式は、掃き出し法（Gauss-Jordanの消去法）を用いて解くことができる。
【００４１】
この予測係数学習手順では、各クラス毎に未定係数ｗ1 、……、ｗn を求めるために未知数の数ｎと同じ数の正規化方程式が形成されるまでステツプＳＰ１１−ＳＰ１２−ＳＰ１３−ＳＰ１４−ＳＰ１１のループを繰り返す。
【００４２】
このようにして必要な数の正規化方程式が得られると、ステツプＳＰ１２では学習データが終了したか否かの判定に対して肯定結果が得られ、処理はステツプＳＰ１５の予測係数決定に移る。
【００４３】
ステツプＳＰ１５では、（１１）式の正規化方程式を解いて各クラス毎の予測係数ｗ1 、……、ｗn を決定する。このようにして得られた各クラス毎の予測係数を次のステツプＳＰ１６でクラス毎にアドレス分割された予測係数テーブル２４Ａ、２４Ｂ及び２４Ｃに登録する。以上の学習により、クラス分類適応処理の予測係数が生成され次のステツプＳＰ１７で予測係数学習手順を終了する。
【００４４】
ところでこのクラス分類適応処理における予測係数の生成には最小自乗法を用いているので容易に学習時の予測誤差を登録することができる。そこで予測係数の学習時に予測誤差を登録する方法を説明する。以下に算出法の詳細を記す。ここで（・）t は転置行列を示す。
【００４５】
先ず、（６）式で定義される誤差Ｅの自乗和を（１１）式から次式
【数１２】
を用いて表す。
（１２）式では学習に際して次式
【数１３】
及び、
【数１４】
を同時に算出する。
（１３）式は学習中に入力ＳＤ画像信号Ｓ1 と目標ＨＤ画像信号Ｓ2 の画像データの積和を実行し、最終的に得られる予測係数との積和演算を実行することで得る。また（１４）式は目標ＨＤ画像信号Ｓ2 の画像データの自乗和である。このように予測係数学習手順による予測係数の学習時に各クラス毎の予測係数を予測係数テーブル２４Ａ〜２４Ｃに登録する際、（１３）式より得られるクラス別の予測誤差も同時に登録する。
【００４６】
具体的には図７に示す予測係数学習回路３５において、予測係数の学習時に予測係数算出回路３８によつて算出された予測係数の予測誤差を予測誤差抽出回路４０によつて抽出する。予測誤差抽出回路４０において抽出された予測誤差は、ソーテイング回路４１に送出され誤差値に応じて並び替えられる。この結果、得られる各クラスc0、c1及びc2における最小でかつ、所定の予測誤差範囲内のものを検出する。このようにして検出された予測係数をもとに該予測係数に対応するクラスを各クラスの特定クラスとしてそれぞれクラスデータＲＯＭ３０Ａ及び３０Ｂに登録する。
【００４７】
実際、特定クラスの登録は、図９に示す特定クラス設定手順に従つてなされる。すなわち特定クラス設定手順はステツプＳＰ２０で開始されると、先ずステツプＳＰ２１においてクラス分類法の種類を示すカウンタｋを０として初期化する。次にステツプＳＰ２２において、予測誤差抽出回路４０によつて（１２）式を用いて各クラス分類法（ＡＤＲＣクラス分類法、アダマール変換クラス分類法及び単一クラス分類法）毎に抽出した各クラス毎の予測誤差をソーテイング回路４１によつて誤差値に応じて順に並べ替える。この予測誤差が小さいクラスほど予測精度が良好なクラスとなる。
【００４８】
次にステツプＳＰ２３において、先ず、ＡＤＲＣクラス分類法による予測誤差のソーテイングが終了するとクラス分類法のカウンタｋをインクリメントする。次のステツプＳＰ２４では、対象となる３つのクラス分類法、すなわちＡＤＲＣクラス分類法、アダマール変換クラス分類法及び単一クラス分類法の３つに関してそれぞれの予測誤差のソーテイングが完了したか否かをカウンタｋが３以上であるか否かによつて判定する。つまりカウンタｋが１のときはステツプＳＰ２２に戻り、次に実行するアダマール変換クラス分類法の予測誤差を抽出してソーテイングループに入り、ＡＤＲＣクラス分類法と同様の手順によつて予測誤差を抽出してソーテイングする。さらにカウンタｋが２のときはステツプＳＰ２２に戻り、単一クラス分類法による予測誤差の抽出及びソーテイングを実行する。
【００４９】
最後にカウンタｋが３となると、対象となる３つのクラス分類法、すなわちＡＤＲＣクラス分類法、アダマール変換クラス分類法及び単一クラス分類法のそれぞれに関して予測誤差のソーテイングが完了したとして、次のステツプＳＰ２５に移る。
【００５０】
ステツプＳＰ２５では、ソーテイング回路４１によつて検出した各クラスc0、c1及びc2の最小の予測誤差が所定の予測誤差範囲内にある場合、これを各クラスの特定クラスとしてそれぞれクラスデータＲＯＭ３０Ａ及び３０Ｂに登録し、ステツプＳＰ２６で特定クラス設定手順を終了する。この特定クラスの設定結果に基づき論理部２３において、クラス分類法及びクラスc0、c1又はc2が選択される。以上のクラス分類適応処理により入力ＳＤ画像信号Ｓ1 の特性に基づいたクラス分類を実行し、この結果、ＨＤ画像信号Ｓ2 の予測精度を向上し得る。
【００５１】
以上の構成において、アツプコンバータ１０の入力端１１よりＳＤ画像信号Ｓ1 が入力されると、ＳＤ画像信号Ｓ1 はクラス分類部１２及び予測係数演算部１３に並列に送出される。
クラス分類部１２ではＳＤ画像信号Ｓ1 に基づいてクラスデータd0を生成して予測係数生成部１４に送出する。予測係数生成部１４では予め学習によつて求められている予測データd1をクラスデータd0に応じて読み出し、予測係数演算部１３に送出する。予測係数演算部１３では各予測演算部１３Ａ〜１３Ｄにおいて入力端１１から送出されてくるＳＤ画像信号Ｓ1 及び予測係数生成部１４から送出される予測データd1をもとにしてＨＤ画像上の４つの位置（mode1 〜mode4)に対応したＨＤ補間画像を生成する。
【００５２】
クラス分類部１２の論理部２３は、ＡＤＲＣクラス分類部２１、アダマール変換クラス分類部２２の順で送出されてくるＡＤＲＣクラスc0、周波数クラスc1がそれぞれの特定クラスと一致するか否かを判定する。この結果、ＡＤＲＣクラスc0が特定クラスに該当した場合、当該特定クラスを選択クラスc3とする。またこのときＡＤＲＣクラスc0が特定クラスと一致せず、周波数クラスc1が特定クラスと一致した場合は当該特定クラスを選択クラスc3とする。ここで入力ＳＤ画像信号Ｓ1 のＡＤＲＣクラスc0及び周波数クラスc1の何方のクラスもそれぞれの特定クラスと一致しない場合、単一クラスc2が選択クラスc3として設定される。さらに論理部２３は、選択クラスc3と、選択クラスc3の属するクラス分類法を表す識別信号c4を合わせてクラスd0として次段の予測係数生成部１４に送出する。
【００５３】
このようにして入力ＳＤ画像信号Ｓ1 は、注目画素近傍の信号変化の表現に重点が置かれたＡＤＲＣクラスc0、入力ＳＤ画像信号Ｓ1 の比較的広い範囲に亘る信号特性を把握することができる周波数クラスc1或いは入力ＳＤ画像信号Ｓ1 そのものの単一クラスc2のいずれかのクラスに分類される。このように特性が異なる３種類のクラス分類法を用いることによつて、入力ＳＤ画像信号Ｓ1 の広範囲に亘る多様な信号特性に対応した適切なクラス分類ができる。
【００５４】
予測係数生成部１４は、予測係数テーブル２４Ａ、２４Ｂ及び２４Ｃから各クラスc0、c1及びc2をアドレスデータとしてそれぞれ予測係数d11 、d12 及びd13 を読み出し、次段の選択部２５に送出する。
選択部２５は、識別信号c4に基づいて予測係数d11 、d12 及びd13 から選択クラスc3に対応する予測係数d11 、d12 又はd13 を選択して予測データd1として予測演算部１３に送出する。
予測演算部１３は、各予測演算部１３Ａ〜１３Ｄにおいて、選択された予測データd1を用いてＳＤ画像信号Ｓ1 の信号画素からＨＤ補間画素を算出し、選択部１５を通じて直列に並び替えて出力する。
【００５５】
以上の構成によれば、入力ＳＤ画像信号Ｓ1 に対してＡＤＲＣクラス分類及びアダマール変換クラス分類を並列処理により、ＡＤＲＣクラスc0又は周波数クラスc1に該当する特定クラスを選択クラスc3として選択する。さらにＡＤＲＣクラスc0及び周波数クラスc1の何方のクラスにも該当する特定クラスがない場合は単一クラス分類による単一クラスc2を選択クラスc3として選択する。これにより１種類だけのクラス分類法を用いた場合に比較して、広範囲に亘る信号特性に対応したより多様なクラス分類が成し得る。かくして入力ＳＤ画像信号Ｓ1 の信号特性に対応した適切なクラス分類によつて、ＨＤ画像信号を生成する際に用いる予測係数の精度を向上させ、従来に比してより空間解像度の高いＨＤ画像信号を得ることができる。
【００５６】
なお上述の実施例においては、入力画像信号のデータ圧縮によるクラス分類法としてＡＤＲＣクラス分類法を用いた場合について述べたが、本発明はこれに限らず、例えばＤＰＣＭ（Differential Pulse Code Modulatin ）やＶＱ（Vector Quantization ）の手法を用いてデータ圧縮しても良い。
【００５７】
また上述の実施例においては、周波数特性に基づいた入力信号のクラス分類法としてアダマール変換による直交変換を用いた場合について述べたが、本発明はこれに限らず、例えばフーリエ変換、カルーネンレーベ変換、離散余弦変換（ＤＣＴ）等の直交変換、或いはバンドパスフイルタ等を用いた周波数分類法によるクラス分類法を用いても良い。
なお本実施例で用いられたアダマール変換は４次の場合であるが、例えば８次のアダマール変換とすればアダマール変換成分は８種類となり、さらに詳細な周波数成分分類が可能となる。
【００５８】
また上述の実施例においては、クラス分類部において２種類のクラス分類法を用いた場合について述べたが、本発明はこれに限らず、クラス分類の種類を３種類以上の複数とすれば、より広範囲に亘つた多様な信号特性に対応したクラス分類ができる。
【００５９】
また上述の実施例においては、アツプコンバータとして２次元ノンセパラブルフイルタを用いた場合について述べたが、本発明はこれに限らず、図７との対応する部分に同一符号を付した図１０に示す垂直／水平セパラブルのフイルタ構成でなるアツプコンバータ４５を用いても良い。
【００６０】
アツプコンバータ４５においては、先ず、入力端４６を通じて入力されたＳＤ画像信号Ｓ1 がクラス分類部１２と予測演算部４８に供給される。予測演算部４８は走査線の位置mode１、mode２に対応する垂直予測演算部４８Ａ及び水平予測演算部４８Ｂと、走査線の位置mode３、mode４に対応する垂直予測演算部４８Ｃ及び水平予測演算部４８Ｄの２種類に分かれる。クラス分類部１２では入力ＳＤ画像信号Ｓ1 に応じたクラスd0が生成され、タツプ予測係数を予め記憶している記憶手段である予測係数ＲＯＭ４９に送出する。予測係数ＲＯＭ４９はタツプ予測係数の垂直成分と水平成分を記憶する垂直係数ＲＯＭ４９Ａと水平係数ＲＯＭ４９Ｂとに分かれている。クラスd0は垂直係数ＲＯＭ４９Ａと水平係数ＲＯＭ４９Ｂのそれぞれに供給される。
【００６１】
まず垂直係数ＲＯＭ４９Ａより出力される垂直予測係数d6は垂直予測演算部４８Ａ及び４８Ｃに供給される。
入力ＳＤ画像信号Ｓ1 と垂直予測係数d6による積和演算により垂直推定値d7、d8が生成される。この垂直推定値d7、d8は次段の水平予測演算部４８Ｂ及び４８Ｄにそれぞれ供給される。
【００６２】
水平係数ＲＯＭ４９Ｂより生成される水平予測係数d9は水平予測演算部４８Ｂ及び４８Ｄに供給され、垂直推定値d7、d8との積和演算によりＨＤ画素d15 、d16 を得る。
このＨＤ画素d15 、d16 信号は選択的に伝送され、選択部１５において適切な並び替えにより出力端５０より最終的な出力であるＨＤ画像信号Ｓ2 が出力される。
【００６３】
また上述の実施例においては、ＨＤ注目画素と注目画素周辺の伝送画素との相関関係を表す予測係数を用いてＳＤ画素から注目画素周辺のＨＤ画素を生成した場合について述べたが、本発明はこれに限らず、予測係数に代えて各クラス毎のＨＤ補間画素の予測値を予め設定して記憶手段に格納するようにしても良い。予測値によるＳＤ画像信号のＨＤ画像信号への信号変換は、図１との対応部分に同符号を付した、図１１に示すようなアツプコンバータ６０を用いる。
【００６４】
このアツプコンバータ６０には入力端６１を通じてクラス分類部１２にＳＤ画像信号Ｓ1 が送出される。このクラス分類部１２は、新たに生成する補間画素であるＨＤ補間画素周辺のＳＤ画素の特徴に基づいてクラスd0を生成して予測値ＲＯＭ６２Ａ〜６２Ｄに送出する。予測値ＲＯＭ６２Ａ〜６２Ｄには予め学習により求めておいたＨＤ補間画素の予測データである予測値が各クラス毎にクラスd0に対応付けされて格納してある。予測値ＲＯＭ６２Ａ〜６２Ｄはクラスd0をアドレスデータとしてそれぞれＨＤ補間画素の予測値d20 〜d23 を読み出し、選択部１５を通じて出力端６３より出力する。これにより予測値d20 〜d23 を入力画像ＳＤ画像信号Ｓ1 の信号画素のＨＤ補間画素とした高解像度の画像信号を得ることができる。
【００６５】
ここで予測値を求める第１の方法としては加重平均法を用いた学習法がある。加重平均法は、注目画素周辺のＳＤ画素を用いて注目画素をクラス分類し、クラス毎に積算した注目画素（すなわちＨＤ画素）の画素値を注目画素の個数に応じてインクリメントされた度数によつて割り算するといつた処理を様々な画像に対して行うことにより予測値を求める。
【００６６】
さらに予測係数を求める第２の方法としては、正規化による学習法がある。この学習法は、先ず注目画素を含む複数の画素からなるブロツクを形成し、ブロツク内のダイナミツクレンジによつて注目画素の画素値からそのブロツクの基準値を減算した値を正規化する。次にこの正規化された値の累積値を累積度数で割り算することにより予測値を得る。
【００６７】
また上述の実施例においては、ＳＤ画像信号をＨＤ画像信号に信号変換した場合について述べたが、本発明はこれに限らず、画像拡大する際の補間画素を生成するのに用いても良い。
【００６８】
【発明の効果】
上述のように本発明によれば、入力画像信号を、高解像度の画像信号にのみ含まれる注目画素周辺の所定数の低解像度の画像信号の画素の時空間領域でのレベル分布パターンを用いるクラス分類法により第１のクラスに分類すると共に、高解像度の画像信号の注目画素周辺の所定数の低解像度の画像信号の画素でなるタツプのパターンに対応した単一クラスである第２のクラスに分類し、第１のクラスが学習時の予測誤差が所定の誤差範囲内となる特定クラスである場合には、第１のクラス及び第２のクラスのうちの第１のクラスを選択し、第１のクラスが特定クラスでない場合には、第１のクラス及び第２のクラスのうちの第２のクラスを選択し、選択したクラスに応じて予測係数を読み出し、読み出した予測係数を用いて低解像度の画像信号には含まれない注目画素を推定するようにしたことにより、入力画像信号の信号特性に適したクラス分類法を適用することができるので、入力画像信号の信号特性を反映した高解像度の画像信号を生成することができ、かくして一段と高解像度の画像信号を得ることのできる信号変換装置及び信号変換方法を実現し得る。
【図面の簡単な説明】
【図１】２次元ノンセパラブルフイルタで構成されるアツプコンバータを示すブロツク図である。
【図２】図１のクラス分類部及び予測係数生成部の構成を示すブロツク図である。
【図３】特定クラスを選択する論理部の構成を示すブロツク図である。
【図４】クラス生成のタツプパターンを示す略線図である。
【図５】選択クラス選択手順を示すフローチヤートである。
【図６】予測タツプパターンを示す略線図である。
【図７】予測係数を生成する予測係数学習回路を示すブロツク図である。
【図８】予測係数の学習手順を示すフローチヤートである。
【図９】特定クラスの設定手順を示すフローチヤートである。
【図１０】垂直／水平セパラブルフイルタによるアツプコンバータを示すブロツク図である。
【図１１】予測値を用いてＨＤ画素を生成するアツプコンバータを示すブロツク図である。
【図１２】ＨＤ画像を示す略線図である。
【図１３】従来の２次元ノンセパラブルフイルタを示すブロツク図である。
【図１４】従来の垂直／水平セパラブルフイルタを示すブロツク図である。
【符号の説明】
２、３……補間フイルタ、４Ａ〜４Ｄ……２次元フイルタ、５、８、１５、２５、３２……選択部、６Ａ、６Ｂ……垂直補間フイルタ、７Ａ、７Ｂ……水平補間フイルタ、１０、４５、６０……アツプコンバータ、１１、２０、４６、６１……入力端、１２、３７……クラス分類部、１３、４８……予測演算部、１４、４９……予測係数生成部、１６、５０、６３……出力端、２１……ＡＤＲＣクラス分類部、２２……アダマール変換クラス分類部、２３……論理部、２４Ａ〜２４Ｃ……予測係数テーブル、３０Ａ、３０Ｂ……クラスデータＲＯＭ、３１……制御ＲＯＭ。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１２〜図１４）
発明が解決しようとする課題
課題を解決するための手段
作用
実施例（図１〜図１１）
発明の効果
【０００２】
【産業上の利用分野】
本発明は信号変換装置及び信号変換方法に関し、例えばＮＴＳＣ等の標準解像度信号（ＳＤ：Standard Definition ）をハイビジヨン等の高解像度信号（ＨＤ：High Definition ）に変換するアツプコンバータに適用して好適なものである。
【０００３】
【従来の技術】
従来、この種のアツプコンバータにおいては、ＳＤ画像信号に対して周波数補間処理を施すことにより、画素数を増やしてＨＤ画像信号を形成している。例えば図１２に示すように、ＨＤ画像の走査線１上で大きな「○」印及び大きな「△」印でなるＳＤ画像信号に対して水平及び垂直方向にそれぞれ２倍の周波数補間を施すことにより、小さな「○」印及び小さな「△」印でなるＨＤ画像信号を生成する。
【０００４】
アツプコンバータによる補間例としては、ＳＤ画像信号のフイールドデータから、４種類の位置のＨＤ画素を生成する方法がある。例えば図中の「◎」印のＳＤ画素に注目すると、その近傍の４種類mode1,mode2,mode3 及びmode4 の位置のＨＤ画素を補間により生成する。
このとき用いる補間フイルタとしては、図１３に示す空間内２次元ノンセパラブルフイルタ２や、図１４に示す水平／垂直セパラブルフイルタ３がある。
【０００５】
２次元ノンセパラブルフイルタ２は４種類の位置のＨＤ画素mode1,mode2,mode3 及びmode4 それぞれに対して２次元フイルタ４Ａ〜４Ｄによつて独立に補間処理を実行し、各補間結果を選択部５において直列化しＨＤ画像信号を得る。
水平／垂直セパラブルフイルタ３は垂直補間フイルタ６Ａによりmode１及びmode３用の処理を実行し、垂直補間フイルタ６Ｂによりmode２及びmode４用の処理を実行してＨＤ画像信号の２本の走査線データを形成する。次に各走査線に対して水平フイルタ７Ａ及び７Ｂを用いて４種類の位置のＨＤ画素を補間して選択部８において直列化することによりＨＤ画像信号を生成する。
【０００６】
【発明が解決しようとする課題】
ところで上述したような従来のアツプコンバータでは補間フイルタとして理想フイルタを使用した場合でも、画素数は増えるものの空間解像度はＳＤ画像信号と変わらない。また実際には理想フイルタを用いることはできないため、ＳＤ画像信号より解像度の低下したＨＤ画像信号を生成することしかできないという問題がある。
【０００７】
このような問題を解決する方法として、入力ＳＤ画像信号の特徴に基づいてＳＤ画像信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の予測データでなる予測係数を用いて高解像度のＨＤ画像信号を生成するクラス分類適応処理方法が提案されている（特開平5-328185号公報参照）。
【０００８】
ところがクラス分類適応処理法を用いてＨＤ画像信号を生成する場合、学習によつて予測係数を生成するときに入力ＳＤ画像信号の特徴に応じて適切なクラス分類が行なわれないとＨＤ画像信号の予測精度が低下するという問題があつた。すなわちクラス分類の能力が十分でないと、本来、別のクラスに分かれるべきＨＤ画像信号が同じクラスに分類される。このため学習により得られる予測係数は、性質の異なるＨＤ画像信号の平均値を予測することになり、その結果、解像度復元能力が低下するという問題があつた。
【０００９】
本発明は以上の点を考慮してなされたもので、入力画像信号の多様な信号特性に対応した適切なクラス分類によつて低解像度の画像信号を一段と高解像度の画像信号に変換し得る信号変換装置及び信号変換方法を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力される第１の解像度の第１の画像信号をより高解像度な第２の解像度の第２の画像信号に変換する信号変換装置において、第１の画像信号を、第２の画像信号にのみ含まれる注目画素の周辺の所定数の第１の画像信号の画素の時空間領域でのレベル分布パターンに応じて、各レベル分布パターンに対応した複数のクラスのうち、第１の画像信号のレベル分布パターンを良く反映している第１のクラスに分類する第１のクラス分類手段と、第１の画像信号を、第２の画像信号にのみ含まれる注目画素の周辺の所定数の第１の画像信号の画素でなるタツプのパターンに対応した、複数のクラスとは異なる単一のクラスである第２のクラスに分類する第２のクラス分類手段と、第１のクラス分類手段によつて分類された第１のクラスと第２のクラス分類手段によつて分類された第２のクラスとから一のクラスを選択するクラス選択手段と、予め学習により第１のクラス分類手段及び第２のクラス分類手段のそれぞれにおいて、分類されたクラス毎に求めた、第２の画像信号を第１の画像信号より予測生成するための予測係数を記憶し、クラス選択手段により選択された一のクラスに応じて予測係数を出力する予測係数記憶手段と、第１の画像信号に対し、予測係数記憶手段から出力された予測係数を用いた予測演算を実行して第１の画像信号には含まれない注目画素を推定するようことにより、第２の画像信号を生成する予測演算手段とを設け、さらに、第１のクラス分類手段において、予め学習により第２の解像度の学習用画像信号を第１の解像度の学習用画像信号より予測生成するための予測係数をクラス毎に求める際に、第２の解像度の学習用画像信号中の画素値と、第１の解像度の学習用画像信号に対して予測係数を用いて予測生成した画素値との予測誤差が所定の誤差範囲内となるクラスを第１の特定クラスとしておき、クラス選択手段では、第１のクラスが第１の特定クラスに該当する場合は、第１のクラスを選択し、第１のクラスが第１の特定クラスに該当しない場合は、第２のクラスを選択するようにした。
【００１１】
【作用】
このように、入力画像信号を、高解像度の画像信号にのみ含まれる注目画素の周辺の所定数の低解像度の画像信号の画素の時空間領域でのレベル分布パターンを用いるクラス分類法により第１のクラスに分類すると共に、高解像度の画像信号の注目画素周辺の所定数の低解像度の画像信号の画素でなるタツプのパターンに対応した単一クラスである第２のクラスに分類し、第１のクラスが学習時の予測誤差が所定の誤差範囲内となる特定クラスである場合には、第１のクラス及び第２のクラスのうちの第１のクラスを選択し、第１のクラスが特定クラスでない場合には、第１のクラス及び第２のクラスのうちの第２のクラスを選択し、選択したクラスに応じて予測係数を読み出し、読み出した予測係数を用いて低解像度の画像信号には含まれない注目画素を推定するようにしたことにより、入力画像信号の信号特性を反映した高解像度の画像信号を生成することができる。
【００１２】
【実施例】
以下図面について本発明の一実施例を詳述する。
【００１３】
図１に示す１０は全体としてクラス分類適応処理を適用してＳＤ画像信号からＨＤ画像信号を生成する２次元ノンセパラブルフイルタによるアツプコンバータを示す。このアツプコンバータ１０に入力端１１を通じて入力されるＳＤ画像信号Ｓ1 は、クラス分類部１２及び予測演算部１３に並列に送出される。クラス分類部１２は新たに生成するＨＤ画像信号Ｓ2 の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスデータd0を生成し、予測係数生成部１４に送出する。
【００１４】
図２に示すように、クラス分類部１２では、入力端２０を通じて入力されるＳＤ画像信号Ｓ1 がＡＤＲＣクラス分類部２１及びアダマール変換クラス分類部２２に並列に送出される。ＡＤＲＣクラス分類部２１及びアダマール変換クラス分類部２２ではそれぞれ入力ＳＤ画像信号Ｓ1 をクラスc0及びc1にクラス分類して論理部２３に送出する。論理部２３には、上述したクラスc0及びc1に加えて入力ＳＤ画像信号Ｓ1 による全ての学習データを一つのクラスとして特定クラスに設定した単一クラス分類によるクラスc2が送出される。
論理部２３は、クラスc0、c1又はc2のうちいずれか一つを選択して選択クラスc3とすると共に、どのクラスc0、c1又はc2を選択したかを表す識別信号c4を生成し、選択クラスc3及び識別信号c4とを合わせてクラスd0として次段の予測係数生成部１４に送出する。
【００１５】
予測係数生成部１４の予測係数テーブル２４Ａ〜２４Ｃには、それぞれＡＤＲＣクラス分類法によつて得られる特定クラス、アダマール変換クラス分類法によつて得られる特定クラス及び単一クラス分類法による特定クラスのそれぞれに対応した予測係数が予め高解像度の画像信号をもとにした学習により求められて格納されている。例えば予測係数テーブル２４Ａには、ＡＤＲＣクラス分類部２１によつて生成されたクラスc0に対応した予測係数がクラスc0の各クラス番号毎に求められて格納されている。
【００１６】
予測係数テーブル２４Ａ〜２４Ｃは、選択クラスc3をアドレスデータとして予測係数を読み出し、それぞれ予測係数d11 、d12 及びd13 として選択器２５に送出する。選択器２５は識別信号c4に基づいて、入力された予測係数d11 、d12 及びd13 の中から何れか一つを選択し、選択した予測係数d11 、d12 又はd13 を予測データd1として予測演算部１３に送出する。
この結果、例えばクラス分類部１２でクラスc0が選択されクラスc3として出力された場合には、予測係数生成部１４からは予測係数テーブル２４Ａの予測係数d11 が選択されて予測係数d11 として出力される。
【００１７】
予測演算部１３は図１に示すように、４つの予測演算部１３Ａ〜１３Ｄより形成される。各演算部は、それぞれＳＤ画像信号Ｓ1 に対して予測データd1を用いた積和演算を実行し、走査線上の４種類の位置mode1 、mode2 、 mode3及びmode4 に対応するＨＤ画素d2、d3、d4及びd5を生成する。各予測演算部１３Ａ〜１３Ｄにおいて生成された各ＨＤ画素d2、d3、d4及びd5は選択部１５に送出される。選択部１５は各ＨＤ画素d2、d3、d4及びd5をバツフアメモリ（図示せず）を用いてＨＤ補間画素d2、d3、d4及びd5がテレビジヨン走査線順に並ぶように時系列に変換して出力端１６からＨＤ画像信号Ｓ2 として出力する。
【００１８】
図３に示すように論理部２３は、ＡＤＲＣクラス分類及びアダマール変換クラス分類のそれぞれに対応して、予め学習により設定してある特定クラスを記憶したクラスデータＲＯＭ(Read Only Memory)３０Ａ及び３０Ｂが設けられている。各クラスデータＲＯＭ３０Ａ及び３０Ｂは、対応する各クラス分類部から入力されるクラスc0又はc1が設定されている特定クラスと一致した場合、フラグオンとし、一致する特定クラスが無い場合にはフラグオフとする。
【００１９】
制御ＲＯＭ３１は、クラスデータＲＯＭ３０Ａ及び３０Ｂのフラグのオンオフの状態を見て入力ＳＤ画像信号Ｓ1 に対して最適なクラス（ＡＤＲＣクラス、周波数クラス又は単一クラス）すなわち選択クラスc3を選択すると共に、該選択クラスc3のクラス分類手段を表す識別信号c4を出力する。具体的には、クラスデータＲＯＭ３０Ａのフラグがオンの場合はクラスデータＲＯＭ３０ＢのフラグのオンオフにかかわらずＡＤＲＣクラスを選択クラスとするように設定する。またクラスデータＲＯＭ３０Ａのフラグがオフの場合、クラスデータＲＯＭ３０Ｂのフラグのオンオフに応じて、選択クラスを周波数クラス又は単一クラスとするように設定する。さらにクラスデータＲＯＭ３０Ａ及び３０Ｂのフラグが共にオフの場合は選択クラスc3を単一クラスとするように設定する。
【００２０】
すなわち、ＡＤＲＣクラス、周波数クラス及び単一クラスの順で優先順位を与え、クラスデータＲＯＭ３０Ａ及び３０Ｂのフラグのオンオフに応じてＡＤＲＣクラス、周波数クラス又は単一クラスの何れかのクラスを選択クラスc3として設定する。制御ＲＯＭ３１は、選択した選択クラスc3のクラス分類手段を表す識別信号c4を出力する。選択部３２は、この識別信号c4に基づいて入力されるＡＤＲＣクラスc0、アダマールクラスc1又は単一クラスc2の中の何れか一つを選択して選択クラスc3として出力する。
【００２１】
ＡＤＲＣクラス分類部２１は、図４に示すような入力ＳＤ画像信号Ｓ1 の注目画素（図中◎で示す）及びその近傍画素（図中○で示す）でなる７画素を入力ＳＤ画像信号Ｓ1 のクラス生成画素（タツプ) としてサンプリングする。これらの７画素を用いて入力信号の信号特性に応じたクラスを生成する。
【００２２】
ＡＤＲＣは、７画素分の８ビツトのＰＣＭ(Pulse Code Modulation) データをＡＤＲＣを用いた再量子化によりデータ圧縮してクラス数を削減する。すなわち７画素のデータから定義されるダイナミツクレンジＤＲに基づいて７画素の最小値を除去し、各画素の画素レベルを適応的に１ビツト量子化することによつてクラス数を128 クラスに削減する。ＡＤＲＣはＶＴＲ(Video Tape Recorder) 用信号圧縮方式として開発されたものであるが、少ないクラス数で入力信号の信号特性を表現するのに適している。
【００２３】
ＡＤＲＣは再量子化として定義される量子化ステツプ幅により、画素を再量子化するものである。ＡＤＲＣ出力であるＡＤＲＣコードｃi は、ダイナミツクレンジＤＲ、再量子化ビツト数ｋ、ＳＤ画素ｘi 及びその近傍領域内の最小画素レベルＭＩＮとを用いて次式
【数１】
このようにして入力ＳＤ画像信号Ｓ1 に対して（１）式を用いてＡＤＲＣコードｃi を生成し、ＡＤＲＣクラスc0を出力する。ＡＤＲＣクラスは時空間領域に属するものであり、入力ＳＤ画像信号Ｓ1 のレベル分布パターンに基づいて入力ＳＤ画像信号Ｓ1 をクラス分類する。このとき表現される画素は有限クラス数では注目画素近傍の信号変化に重点が置かれる。
【００２４】
一方、アダマール変換クラス分類部２２ではアダマール変換により周波数特性に基づいたクラス分類を実行する。アダマール変換は互いに直交する複数の直交変換基底より構成される直交変換である。このアダマール変換によつて入力ＳＤ画像信号Ｓ1 に対して直交変換を施し、入力ＳＤ画像信号Ｓ1 を互いに独立で無相関な複数の直交変換成分に分離する。
【００２５】
すなわちアダマール変換クラス分類部２２では１次元の入力ＳＤ画像信号Ｓ1 に対して４次アダマール変換を施す。４次アダマール変換は入力データＸ、アダマール変換行列Ｈ、出力Ｙとして次式
【数２】
この結果、アダマール基底と入力ＳＤ画像信号Ｓ1 との演算により、４個のアダマール成分ｙ1 〜ｙ4 が得られ、周波数クラスc1として次段の論理部２３に送出される。この（２）式のアダマール変換行列Ｈの係数から分かるようにアダマール変換は加減算のみで出力が得られるため回路の負担が小さい。アダマール変換による周波数クラスc1は入力ＳＤ画像信号Ｓ1 の比較的広い範囲に亘る信号特性を把握することができる。
【００２６】
また単一クラスは、所定ブロツク単位毎の入力ＳＤ画像信号Ｓ1 をタツプパターン毎に一つのクラスとして扱つたものである。単一クラスに対する予測処理は全ての学習データを全て同一視しているので統計的な平均処理となり強い定常表現ができる。
【００２７】
このようにしてＡＤＲＣクラス分類部２１、アダマール変換クラス分類部２２でそれぞれ生成されたＡＤＲＣクラスc0、周波数クラスc1及び単一クラス分類として得られる単一クラスc2が論理部２３に送出される。論理部２３では、図５に示す選択クラス選択手順に従つて上述した３つのクラスから特定クラスを選択する。
【００２８】
すなわち選択クラス選択手順は先ず、ステツプＳＰ１で開始されると、ステツプＳＰ２において入力ＳＤ画像信号Ｓ1 より生成されるＡＤＲＣクラスc0と一致するクラスが予め学習により登録されている特定クラスにあるか否かを判定し、あると判定した場合はステツプＳＰ３に移り、ＡＤＲＣクラスc0を選択クラスc3として選択し、ステツプ７に移つて選択クラス選択手順を終了する。
【００２９】
ここで入力ＳＤ画像信号Ｓ1 が上述したＡＤＲＣクラス分類による特定クラスに一致しない場合は、ステツプＳＰ４に移り、入力ＳＤ画像信号Ｓ1 よりアダマール変換によつて生成された周波数クラスc1と一致するクラスが、予め学習により登録されている特定クラスにあるか否かを判定し、あると判定した場合はステツプＳＰ５に移り、周波数クラスc1を選択クラスc3として選択し、ステツプ７に移つて選択クラス選択手順を終了する。ここで周波数クラスc1がアダマール変換クラス分類による特定クラスに該当しない場合はステツプＳＰ６に移る。
【００３０】
ステツプＳＰ６ではＡＤＲＣクラスc0及び周波数クラスc1の何れも特定クラスに該当しない入力ＳＤ画像信号Ｓ1 に対して、単一クラスc2を選択クラスc3として選択し、ステツプ７に移つて選択クラス選択手順を終了する。このようにＡＤＲＣクラスc0、周波数クラスc1及び単一クラスc2の優先順位で各クラス毎に一致する特定クラスを探して最初に一致した特定クラスを選択クラスc3とする。かくして、３つのクラス分類のうち何れか１つの特定クラスを選択クラスc3として設定すると選択クラス選択手順は終了する。
このように特性が異なる３つのクラス分類法を用いて入力ＳＤ画像信号Ｓ1 をクラス分類することで、一種類のクラス分類法では対応しきれない広い範囲に亘る信号特性を適切にクラス分類することができる。
【００３１】
このようにして得られる選択クラスc3に応じた予測データd1によつて予測演算部１３では入力ＳＤ画像信号Ｓ1 に対して予測演算が実行され、ＨＤ補間画素の推定画素ｙ′が生成される。この推定画素ｙ′は図６に示すように注目画素（図中◎で示す）及び周辺画素（図中○で示す）の13画素でなるタツプデータｘi と、クラスd0に基づいて予測係数生成部１４から読み出された予測データd1でなる予測係数ｗi を用いて次の予測式
【数３】
ここで用いられる予測係数ｗi は予め学習によつて求められ、予測係数テーブル２４Ａ〜２４Ｃに格納されている。
【００３２】
予測係数の学習は実際上、図７に示す予測係数学習回路３５によつて実行される。すなわちＨＤ画像信号Ｓ20を間引きフイルタ３６によつてＳＤ画像信号Ｓ10に変換してクラス分類部３７は及び予測係数算出回路３８に送出する。クラス分類部３７はクラス分類部１２と同様の構成でなり、ＳＤ画像信号Ｓ10をもとにして各クラス分類法による処理を実行する。この結果得られるクラスc0、c1及びc2を対応する予測係数テーブル４４Ａ、４４Ｂ及び４４Ｃと予測係数算出回路３８に送出する。
【００３３】
予測係数算出回路３８は、ＨＤ補間画素をもとめるための予測係数を各クラス分類法のクラスc0、c1及びc2それぞれに対して、入力ＨＤ画像信号Ｓ20から得られるＨＤ及びＳＤ画素でなる一組の学習データを用いて算出する。具体的には先ず、予測係数算出回路３８において、上述した学習データから予測係数を用いてたてた線形一次結合モデルから最小自乗法を用いて予測係数を求める。このとき予測係数の計算過程で得られる予測誤差を予測誤差抽出回路４０において抽出し、ソーテイング回路４１で予測誤差の誤差値に応じて順に並べ替える。この予測誤差の抽出及び並べ替えは、各クラスc0、c1及びc2について実行する。
ここで各クラスc0、c1及びc2において予測誤差が最小でかつ、所定の予測誤差範囲内のものを選び、その選択結果を予測係数選択部４２及びクラスデータメモリ４３Ａ及び４３Ｂに出力する。因みに各クラスにおいて最小の予測誤差のものでも、所定の予測誤差範囲外のものは選択されないことになる。
【００３４】
予測係数選択部４２は、ソーテイング回路４１の選択結果に基づいて各クラス分類法毎に特定された特定クラスの予測係数を各クラスc0、c1及びc2をアドレスデータとして予測係数テーブル４４Ａ〜４４Ｃに格納する。このようにして予測係数テーブル４４Ａ〜４４Ｃに蓄えられた各予測係数は、それぞれ予測係数テーブル２４Ａ〜２４Ｃに登録される。因みに予測係数テーブル４４Ｃには各予測タツプパターン毎に一組の予測係数が登録される。一方、クラスデータメモリ４３Ａ及び４３Ｂは、ソーテイング回路４１で選択した予測係数に対応する各クラスc0、c1及びc2のクラスデータを各クラス分類法の特定クラスとして特定して格納する。このようにしてクラスデータメモリ４３Ａ及び４３Ｂに蓄えられた特定クラスは、それぞれクラスデータＲＯＭ３０Ａ及び３０Ｂに登録される。
【００３５】
次に、上述した特定クラスに対応付けて予測係数テーブル２４Ａ〜２４Ｃに登録する予測係数の学習方法について、図８に示す予測係数学習手順にそつて説明する。予測係数学習手順はステツプＳＰ１０で開始されると、先ずステツプＳＰ１１において予測係数を学習するために、既に知られている画像に対応した学習データを生成する。
【００３６】
具体的には、図１２に示すＨＤ画像において、ＨＤ画素をＨＤ注目画素として、このＨＤ注目画素を周辺のＨＤ画素及びＳＤ画素でなる一組の学習データによつて予測係数を用いた線形一次結合モデルによつて表す。このとき用いた予測係数を各クラス毎に最小自乗法を用いて求める。なお、このように学習データを生成する際に、１つの画像のみを用いるのではなく複数の画像を用いて多数の学習データを生成すれば、より正確な予測係数を得ることができる。
【００３７】
ステツプＳＰ１２では、ステツプＳＰ１１で生成した学習データの数が予測係数を得るのに必要なだけ生成されたか否か判定する。ここで学習データ数が必要数に満たないと判定された場合には予測係数学習手順はステツプＳＰ１３に移る。
ステツプＳＰ１３では、クラス学習データをクラス分類する。クラス分類は先ず、初めに学習サンプリングデータの局所的な平坦度を検出し、当該検出結果に応じてクラス分類に用いる画素を選択する。これにより入力信号の変化の小さいものを学習対象から除外してノイズの影響を排除することができる。このクラス学習データのクラス分類は入力ＳＤ画像信号Ｓ1 をクラス分類する場合と同様の処理を実行することによつてなされる。
【００３８】
続いて予測係数学習手順はステツプＳＰ１４において、クラス分類された学習データに基づき、各クラス毎に正規化方程式を形成する。
ステツプＳＰ１４での処理を具体的に説明する。ここでは一般化するために学習データとしてｎ個のサンプリング画素が存在する場合について述べる。先ず各サンプリング画素の画素レベルｘ1 、……、ｘn と注目補間画素のサブサンプル以前の画素レベルｙの関係を、クラス毎に予測係数ｗ1 、……、ｗn によるｎタツプの線型一次結合モデルによる予測式で表す。この予測式を次式
【数４】
この（４）式における予測係数ｗ1 、……、ｗn を求めることにより、画素レベルｙを推定する。
【００３９】
次に予測係数ｗ1 、……、ｗn を最小自乗法により生成する例を示す。最小自乗法は次のように適用される。
一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の観測方程式を考える。
【数５】
【００４０】
先ず、（５）式の観測方程式をもとに、次の残差方程式を考える。
【数６】
【数７】
すなわち（７）式のｗi による偏微分が次式
【数８】
【数９】
【数１０】
【数１１】
この正規方程式は、掃き出し法（Gauss-Jordanの消去法）を用いて解くことができる。
【００４１】
この予測係数学習手順では、各クラス毎に未定係数ｗ1 、……、ｗn を求めるために未知数の数ｎと同じ数の正規化方程式が形成されるまでステツプＳＰ１１−ＳＰ１２−ＳＰ１３−ＳＰ１４−ＳＰ１１のループを繰り返す。
【００４２】
このようにして必要な数の正規化方程式が得られると、ステツプＳＰ１２では学習データが終了したか否かの判定に対して肯定結果が得られ、処理はステツプＳＰ１５の予測係数決定に移る。
【００４３】
ステツプＳＰ１５では、（１１）式の正規化方程式を解いて各クラス毎の予測係数ｗ1 、……、ｗn を決定する。このようにして得られた各クラス毎の予測係数を次のステツプＳＰ１６でクラス毎にアドレス分割された予測係数テーブル２４Ａ、２４Ｂ及び２４Ｃに登録する。以上の学習により、クラス分類適応処理の予測係数が生成され次のステツプＳＰ１７で予測係数学習手順を終了する。
【００４４】
ところでこのクラス分類適応処理における予測係数の生成には最小自乗法を用いているので容易に学習時の予測誤差を登録することができる。そこで予測係数の学習時に予測誤差を登録する方法を説明する。以下に算出法の詳細を記す。ここで（・）t は転置行列を示す。
【００４５】
先ず、（６）式で定義される誤差Ｅの自乗和を（１１）式から次式
【数１２】
（１２）式では学習に際して次式
【数１３】
【数１４】
（１３）式は学習中に入力ＳＤ画像信号Ｓ1 と目標ＨＤ画像信号Ｓ2 の画像データの積和を実行し、最終的に得られる予測係数との積和演算を実行することで得る。また（１４）式は目標ＨＤ画像信号Ｓ2 の画像データの自乗和である。このように予測係数学習手順による予測係数の学習時に各クラス毎の予測係数を予測係数テーブル２４Ａ〜２４Ｃに登録する際、（１３）式より得られるクラス別の予測誤差も同時に登録する。
【００４６】
具体的には図７に示す予測係数学習回路３５において、予測係数の学習時に予測係数算出回路３８によつて算出された予測係数の予測誤差を予測誤差抽出回路４０によつて抽出する。予測誤差抽出回路４０において抽出された予測誤差は、ソーテイング回路４１に送出され誤差値に応じて並び替えられる。この結果、得られる各クラスc0、c1及びc2における最小でかつ、所定の予測誤差範囲内のものを検出する。このようにして検出された予測係数をもとに該予測係数に対応するクラスを各クラスの特定クラスとしてそれぞれクラスデータＲＯＭ３０Ａ及び３０Ｂに登録する。
【００４７】
実際、特定クラスの登録は、図９に示す特定クラス設定手順に従つてなされる。すなわち特定クラス設定手順はステツプＳＰ２０で開始されると、先ずステツプＳＰ２１においてクラス分類法の種類を示すカウンタｋを０として初期化する。次にステツプＳＰ２２において、予測誤差抽出回路４０によつて（１２）式を用いて各クラス分類法（ＡＤＲＣクラス分類法、アダマール変換クラス分類法及び単一クラス分類法）毎に抽出した各クラス毎の予測誤差をソーテイング回路４１によつて誤差値に応じて順に並べ替える。この予測誤差が小さいクラスほど予測精度が良好なクラスとなる。
【００４８】
次にステツプＳＰ２３において、先ず、ＡＤＲＣクラス分類法による予測誤差のソーテイングが終了するとクラス分類法のカウンタｋをインクリメントする。次のステツプＳＰ２４では、対象となる３つのクラス分類法、すなわちＡＤＲＣクラス分類法、アダマール変換クラス分類法及び単一クラス分類法の３つに関してそれぞれの予測誤差のソーテイングが完了したか否かをカウンタｋが３以上であるか否かによつて判定する。つまりカウンタｋが１のときはステツプＳＰ２２に戻り、次に実行するアダマール変換クラス分類法の予測誤差を抽出してソーテイングループに入り、ＡＤＲＣクラス分類法と同様の手順によつて予測誤差を抽出してソーテイングする。さらにカウンタｋが２のときはステツプＳＰ２２に戻り、単一クラス分類法による予測誤差の抽出及びソーテイングを実行する。
【００４９】
最後にカウンタｋが３となると、対象となる３つのクラス分類法、すなわちＡＤＲＣクラス分類法、アダマール変換クラス分類法及び単一クラス分類法のそれぞれに関して予測誤差のソーテイングが完了したとして、次のステツプＳＰ２５に移る。
【００５０】
ステツプＳＰ２５では、ソーテイング回路４１によつて検出した各クラスc0、c1及びc2の最小の予測誤差が所定の予測誤差範囲内にある場合、これを各クラスの特定クラスとしてそれぞれクラスデータＲＯＭ３０Ａ及び３０Ｂに登録し、ステツプＳＰ２６で特定クラス設定手順を終了する。この特定クラスの設定結果に基づき論理部２３において、クラス分類法及びクラスc0、c1又はc2が選択される。以上のクラス分類適応処理により入力ＳＤ画像信号Ｓ1 の特性に基づいたクラス分類を実行し、この結果、ＨＤ画像信号Ｓ2 の予測精度を向上し得る。
【００５１】
以上の構成において、アツプコンバータ１０の入力端１１よりＳＤ画像信号Ｓ1 が入力されると、ＳＤ画像信号Ｓ1 はクラス分類部１２及び予測係数演算部１３に並列に送出される。
クラス分類部１２ではＳＤ画像信号Ｓ1 に基づいてクラスデータd0を生成して予測係数生成部１４に送出する。予測係数生成部１４では予め学習によつて求められている予測データd1をクラスデータd0に応じて読み出し、予測係数演算部１３に送出する。予測係数演算部１３では各予測演算部１３Ａ〜１３Ｄにおいて入力端１１から送出されてくるＳＤ画像信号Ｓ1 及び予測係数生成部１４から送出される予測データd1をもとにしてＨＤ画像上の４つの位置（mode1 〜mode4)に対応したＨＤ補間画像を生成する。
【００５２】
クラス分類部１２の論理部２３は、ＡＤＲＣクラス分類部２１、アダマール変換クラス分類部２２の順で送出されてくるＡＤＲＣクラスc0、周波数クラスc1がそれぞれの特定クラスと一致するか否かを判定する。この結果、ＡＤＲＣクラスc0が特定クラスに該当した場合、当該特定クラスを選択クラスc3とする。またこのときＡＤＲＣクラスc0が特定クラスと一致せず、周波数クラスc1が特定クラスと一致した場合は当該特定クラスを選択クラスc3とする。ここで入力ＳＤ画像信号Ｓ1 のＡＤＲＣクラスc0及び周波数クラスc1の何方のクラスもそれぞれの特定クラスと一致しない場合、単一クラスc2が選択クラスc3として設定される。さらに論理部２３は、選択クラスc3と、選択クラスc3の属するクラス分類法を表す識別信号c4を合わせてクラスd0として次段の予測係数生成部１４に送出する。
【００５３】
このようにして入力ＳＤ画像信号Ｓ1 は、注目画素近傍の信号変化の表現に重点が置かれたＡＤＲＣクラスc0、入力ＳＤ画像信号Ｓ1 の比較的広い範囲に亘る信号特性を把握することができる周波数クラスc1或いは入力ＳＤ画像信号Ｓ1 そのものの単一クラスc2のいずれかのクラスに分類される。このように特性が異なる３種類のクラス分類法を用いることによつて、入力ＳＤ画像信号Ｓ1 の広範囲に亘る多様な信号特性に対応した適切なクラス分類ができる。
【００５４】
予測係数生成部１４は、予測係数テーブル２４Ａ、２４Ｂ及び２４Ｃから各クラスc0、c1及びc2をアドレスデータとしてそれぞれ予測係数d11 、d12 及びd13 を読み出し、次段の選択部２５に送出する。
選択部２５は、識別信号c4に基づいて予測係数d11 、d12 及びd13 から選択クラスc3に対応する予測係数d11 、d12 又はd13 を選択して予測データd1として予測演算部１３に送出する。
予測演算部１３は、各予測演算部１３Ａ〜１３Ｄにおいて、選択された予測データd1を用いてＳＤ画像信号Ｓ1 の信号画素からＨＤ補間画素を算出し、選択部１５を通じて直列に並び替えて出力する。
【００５５】
以上の構成によれば、入力ＳＤ画像信号Ｓ1 に対してＡＤＲＣクラス分類及びアダマール変換クラス分類を並列処理により、ＡＤＲＣクラスc0又は周波数クラスc1に該当する特定クラスを選択クラスc3として選択する。さらにＡＤＲＣクラスc0及び周波数クラスc1の何方のクラスにも該当する特定クラスがない場合は単一クラス分類による単一クラスc2を選択クラスc3として選択する。これにより１種類だけのクラス分類法を用いた場合に比較して、広範囲に亘る信号特性に対応したより多様なクラス分類が成し得る。かくして入力ＳＤ画像信号Ｓ1 の信号特性に対応した適切なクラス分類によつて、ＨＤ画像信号を生成する際に用いる予測係数の精度を向上させ、従来に比してより空間解像度の高いＨＤ画像信号を得ることができる。
【００５６】
なお上述の実施例においては、入力画像信号のデータ圧縮によるクラス分類法としてＡＤＲＣクラス分類法を用いた場合について述べたが、本発明はこれに限らず、例えばＤＰＣＭ（Differential Pulse Code Modulatin ）やＶＱ（Vector Quantization ）の手法を用いてデータ圧縮しても良い。
【００５７】
また上述の実施例においては、周波数特性に基づいた入力信号のクラス分類法としてアダマール変換による直交変換を用いた場合について述べたが、本発明はこれに限らず、例えばフーリエ変換、カルーネンレーベ変換、離散余弦変換（ＤＣＴ）等の直交変換、或いはバンドパスフイルタ等を用いた周波数分類法によるクラス分類法を用いても良い。
なお本実施例で用いられたアダマール変換は４次の場合であるが、例えば８次のアダマール変換とすればアダマール変換成分は８種類となり、さらに詳細な周波数成分分類が可能となる。
【００５８】
また上述の実施例においては、クラス分類部において２種類のクラス分類法を用いた場合について述べたが、本発明はこれに限らず、クラス分類の種類を３種類以上の複数とすれば、より広範囲に亘つた多様な信号特性に対応したクラス分類ができる。
【００５９】
また上述の実施例においては、アツプコンバータとして２次元ノンセパラブルフイルタを用いた場合について述べたが、本発明はこれに限らず、図７との対応する部分に同一符号を付した図１０に示す垂直／水平セパラブルのフイルタ構成でなるアツプコンバータ４５を用いても良い。
【００６０】
アツプコンバータ４５においては、先ず、入力端４６を通じて入力されたＳＤ画像信号Ｓ1 がクラス分類部１２と予測演算部４８に供給される。予測演算部４８は走査線の位置mode１、mode２に対応する垂直予測演算部４８Ａ及び水平予測演算部４８Ｂと、走査線の位置mode３、mode４に対応する垂直予測演算部４８Ｃ及び水平予測演算部４８Ｄの２種類に分かれる。クラス分類部１２では入力ＳＤ画像信号Ｓ1 に応じたクラスd0が生成され、タツプ予測係数を予め記憶している記憶手段である予測係数ＲＯＭ４９に送出する。予測係数ＲＯＭ４９はタツプ予測係数の垂直成分と水平成分を記憶する垂直係数ＲＯＭ４９Ａと水平係数ＲＯＭ４９Ｂとに分かれている。クラスd0は垂直係数ＲＯＭ４９Ａと水平係数ＲＯＭ４９Ｂのそれぞれに供給される。
【００６１】
まず垂直係数ＲＯＭ４９Ａより出力される垂直予測係数d6は垂直予測演算部４８Ａ及び４８Ｃに供給される。
入力ＳＤ画像信号Ｓ1 と垂直予測係数d6による積和演算により垂直推定値d7、d8が生成される。この垂直推定値d7、d8は次段の水平予測演算部４８Ｂ及び４８Ｄにそれぞれ供給される。
【００６２】
水平係数ＲＯＭ４９Ｂより生成される水平予測係数d9は水平予測演算部４８Ｂ及び４８Ｄに供給され、垂直推定値d7、d8との積和演算によりＨＤ画素d15 、d16 を得る。
このＨＤ画素d15 、d16 信号は選択的に伝送され、選択部１５において適切な並び替えにより出力端５０より最終的な出力であるＨＤ画像信号Ｓ2 が出力される。
【００６３】
また上述の実施例においては、ＨＤ注目画素と注目画素周辺の伝送画素との相関関係を表す予測係数を用いてＳＤ画素から注目画素周辺のＨＤ画素を生成した場合について述べたが、本発明はこれに限らず、予測係数に代えて各クラス毎のＨＤ補間画素の予測値を予め設定して記憶手段に格納するようにしても良い。予測値によるＳＤ画像信号のＨＤ画像信号への信号変換は、図１との対応部分に同符号を付した、図１１に示すようなアツプコンバータ６０を用いる。
【００６４】
このアツプコンバータ６０には入力端６１を通じてクラス分類部１２にＳＤ画像信号Ｓ1 が送出される。このクラス分類部１２は、新たに生成する補間画素であるＨＤ補間画素周辺のＳＤ画素の特徴に基づいてクラスd0を生成して予測値ＲＯＭ６２Ａ〜６２Ｄに送出する。予測値ＲＯＭ６２Ａ〜６２Ｄには予め学習により求めておいたＨＤ補間画素の予測データである予測値が各クラス毎にクラスd0に対応付けされて格納してある。予測値ＲＯＭ６２Ａ〜６２Ｄはクラスd0をアドレスデータとしてそれぞれＨＤ補間画素の予測値d20 〜d23 を読み出し、選択部１５を通じて出力端６３より出力する。これにより予測値d20 〜d23 を入力画像ＳＤ画像信号Ｓ1 の信号画素のＨＤ補間画素とした高解像度の画像信号を得ることができる。
【００６５】
ここで予測値を求める第１の方法としては加重平均法を用いた学習法がある。加重平均法は、注目画素周辺のＳＤ画素を用いて注目画素をクラス分類し、クラス毎に積算した注目画素（すなわちＨＤ画素）の画素値を注目画素の個数に応じてインクリメントされた度数によつて割り算するといつた処理を様々な画像に対して行うことにより予測値を求める。
【００６６】
さらに予測係数を求める第２の方法としては、正規化による学習法がある。この学習法は、先ず注目画素を含む複数の画素からなるブロツクを形成し、ブロツク内のダイナミツクレンジによつて注目画素の画素値からそのブロツクの基準値を減算した値を正規化する。次にこの正規化された値の累積値を累積度数で割り算することにより予測値を得る。
【００６７】
また上述の実施例においては、ＳＤ画像信号をＨＤ画像信号に信号変換した場合について述べたが、本発明はこれに限らず、画像拡大する際の補間画素を生成するのに用いても良い。
【００６８】
【発明の効果】
上述のように本発明によれば、入力画像信号を、高解像度の画像信号にのみ含まれる注目画素周辺の所定数の低解像度の画像信号の画素の時空間領域でのレベル分布パターンを用いるクラス分類法により第１のクラスに分類すると共に、高解像度の画像信号の注目画素周辺の所定数の低解像度の画像信号の画素でなるタツプのパターンに対応した単一クラスである第２のクラスに分類し、第１のクラスが学習時の予測誤差が所定の誤差範囲内となる特定クラスである場合には、第１のクラス及び第２のクラスのうちの第１のクラスを選択し、第１のクラスが特定クラスでない場合には、第１のクラス及び第２のクラスのうちの第２のクラスを選択し、選択したクラスに応じて予測係数を読み出し、読み出した予測係数を用いて低解像度の画像信号には含まれない注目画素を推定するようにしたことにより、入力画像信号の信号特性に適したクラス分類法を適用することができるので、入力画像信号の信号特性を反映した高解像度の画像信号を生成することができ、かくして一段と高解像度の画像信号を得ることのできる信号変換装置及び信号変換方法を実現し得る。
【図面の簡単な説明】
【図１】２次元ノンセパラブルフイルタで構成されるアツプコンバータを示すブロツク図である。
【図２】図１のクラス分類部及び予測係数生成部の構成を示すブロツク図である。
【図３】特定クラスを選択する論理部の構成を示すブロツク図である。
【図４】クラス生成のタツプパターンを示す略線図である。
【図５】選択クラス選択手順を示すフローチヤートである。
【図６】予測タツプパターンを示す略線図である。
【図７】予測係数を生成する予測係数学習回路を示すブロツク図である。
【図８】予測係数の学習手順を示すフローチヤートである。
【図９】特定クラスの設定手順を示すフローチヤートである。
【図１０】垂直／水平セパラブルフイルタによるアツプコンバータを示すブロツク図である。
【図１１】予測値を用いてＨＤ画素を生成するアツプコンバータを示すブロツク図である。
【図１２】ＨＤ画像を示す略線図である。
【図１３】従来の２次元ノンセパラブルフイルタを示すブロツク図である。
【図１４】従来の垂直／水平セパラブルフイルタを示すブロツク図である。
【符号の説明】
２、３……補間フイルタ、４Ａ〜４Ｄ……２次元フイルタ、５、８、１５、２５、３２……選択部、６Ａ、６Ｂ……垂直補間フイルタ、７Ａ、７Ｂ……水平補間フイルタ、１０、４５、６０……アツプコンバータ、１１、２０、４６、６１……入力端、１２、３７……クラス分類部、１３、４８……予測演算部、１４、４９……予測係数生成部、１６、５０、６３……出力端、２１……ＡＤＲＣクラス分類部、２２……アダマール変換クラス分類部、２３……論理部、２４Ａ〜２４Ｃ……予測係数テーブル、３０Ａ、３０Ｂ……クラスデータＲＯＭ、３１……制御ＲＯＭ。
Claims (6)
- 入力される第１の解像度の第１の画像信号をより高解像度な第２の解像度の第２の画像信号に変換する信号変換装置において、
上記第１の画像信号を、上記第２の画像信号にのみ含まれる注目画素の周辺の所定数の上記第１の画像信号の画素の時空間領域でのレベル分布パターンに応じて、各レベル分布パターンに対応した複数のクラスのうち、上記第１の画像信号のレベル分布パターンを良く反映している第１のクラスに分類する第１のクラス分類手段と、
上記第１の画像信号を、上記第２の画像信号にのみ含まれる上記注目画素の周辺の所定数の上記第１の画像信号の画素でなるタツプのパターンに対応した、上記複数のクラスとは異なる単一のクラスである第２のクラスに分類する第２のクラス分類手段と、
上記第１のクラス分類手段によつて分類された上記第１のクラスと上記第２のクラス分類手段によつて分類された上記第２のクラスとから一のクラスを選択するクラス選択手段と、
予め学習により上記第１のクラス分類手段及び上記第２のクラス分類手段のそれぞれにおいて、分類されたクラス毎に求めた、上記第２の画像信号を上記第１の画像信号より予測生成するための予測係数を記憶し、上記クラス選択手段により選択された上記一のクラスに応じて上記予測係数を出力する予測係数記憶手段と、
上記第１の画像信号に対し、上記予測係数記憶手段から出力された上記予測係数を用いた予測演算を実行して当該第１の画像信号には含まれない上記注目画素を推定することにより、上記第２の画像信号を生成する予測演算手段と
を具え、
上記第１のクラス分類手段において、予め学習により上記第２の解像度の学習用画像信号を上記第１の解像度の学習用画像信号より予測生成するための予測係数をクラス毎に求める際に、上記第２の解像度の学習用画像信号中の画素値と、上記第１の解像度の学習用画像信号に対して上記予測係数を用いて予測生成した画素値との予測誤差が所定の誤差範囲内となるクラスを第１の特定クラスとしておき、
上記クラス選択手段は、
上記第１のクラスが、上記第１の特定クラスに該当する場合は、上記第１のクラスを選択し、上記第１のクラスが、上記第１の特定クラスに該当しない場合は、上記第２のクラスを選択する
ことを特徴とする信号変換装置。 - 上記第１の画像信号を、上記第２の画像信号にのみ含まれる上記注目画素の周辺の所定数の上記第１の画像信号の画素に直交変換を施して得られた周波数特性に基づき、各周波数特性に対応した複数のクラスのうち、上記第１の画像信号の周波数特性を良く反映している第３のクラスに分類する第３のクラス分類手段
を具え、
上記第３のクラス分類手段において、予め学習により上記第２の解像度の学習用画像信号を上記第１の解像度の学習用画像信号より予測生成するための予測係数をクラス毎に求める際に、上記第２の解像度の学習用画像信号中の画素値と、上記第１の解像度の学習用画像信号に対して上記予測係数を用いて予測生成した画素値との予測誤差が所定の誤差範囲内となるクラスを第２の特定クラスとしておき、
上記クラス選択手段は、
上記第１のクラスが、上記第１の特定クラスに該当する場合には、上記第１のクラスを選択し、上記第１のクラスが、上記第１の特定クラスに該当しない場合であつて、上記第３のクラスが上記第２の特定クラスに該当する場合には、上記第３のクラスを選択し、上記第１のクラスが、上記第１の特定クラスに該当しない場合であつて、上記第３のクラスが、上記第２の特定クラスに該当しない場合には、上記第２のクラスを選択する
ことを特徴とする請求項１に記載の信号変換装置。 - 上記第１の画像信号を、上記第２の画像信号にのみ含まれる上記注目画素の周辺の所定数の上記第１の画像信号の画素に直交変換を施して得られた周波数特性に基づき、各周波数特性に対応した複数のクラスのうち、上記第１の画像信号の周波数特性を良く反映している第３のクラスに分類する第３のクラス分類手段
を具え、
上記第３のクラス分類手段において、予め学習により上記第２の解像度の学習用画像信号を上記第１の解像度の学習用画像信号より予測生成するための予測係数をクラス毎に求める際に、上記第２の解像度の学習用画像信号中の画素値と、上記第１の解像度の学習用画像信号に対して上記予測係数を用いて予測生成した画素値との予測誤差が所定の誤差範囲内となるクラスを第２の特定クラスとしておき、
上記第１のクラス分類手段は、
上記第１のクラスが上記第１の特定クラスに一致する場合、一致する旨を示す第１のフラグ信号を出力し、
上記第３のクラス分類手段は、上記第３のクラスが上記第２の特定クラスに一致する場合、一致する旨を示す第２のフラグ信号を出力し、
上記クラス選択手段は、
上記第１のクラス分類手段及び上記第３のクラス分類手段の少なくともどちらか一方からフラグ信号が出力された場合には、優先順位にしたがつて、上記第１のフラグ信号に対応する上記第１のクラス又は上記第２のフラグ信号に対応する上記第３のクラスを選択し、上記第１のクラス分類手段及び上記第３のクラス分類手段のどちらからもフラグ信号が出力されない場合には、上記第２のクラスを選択する
ことを特徴とする請求項１に記載の信号変換装置。 - 入力される第１の解像度の第１の画像信号をより高解像度な第２の解像度の第２の画像信号に変換する信号変換装置において、
上記第１の画像信号を、上記第２の画像信号にのみ含まれる注目画素の周辺の所定数の上記第１の画像信号の画素の時空間領域でのレベル分布パターンに応じて、各レベル分布パターンに対応した複数のクラスのうち、上記第１の画像信号を良く反映している第１のクラスに分類する第１のクラス分類手段と、
上記第１の画像信号を、上記第２の画像信号にのみ含まれる上記注目画素の周辺の所定数の上記第１の画像信号の画素でなるタツプのパターンに対応した、上記複数のクラスとは異なる単一のクラスである第２のクラスに分類する第２のクラス分類手段と、
上記第１のクラス分類手段によつて分類された上記第１のクラスと上記第２のクラス分類手段によつて分類された上記第２のクラスとから一のクラスを選択するクラス選択手段と、
予め学習により上記第１のクラス分類手段及び上記第２のクラス分類手段のそれぞれにおいて、分類されたクラス毎に求めた、上記第２の画像信号を上記第１の画像信号より予測生成するための予測値を記憶し、上記クラス選択手段により選択された上記一のクラスに応じて上記予測値を出力する予測値記憶手段と、
上記第１の画像信号に対し、上記予測値記憶手段から出力された上記予測値より当該第１の画像信号には含まれない上記注目画素を推定することにより、上記第２の画像信号を生成する予測演算手段と
を具え、
上記第１のクラス分類手段において、予め学習により上記第２の解像度の学習用画像信号を上記第１の解像度の学習用画像信号より予測生成するための上記予測値をクラス毎に求める際に、上記第２の解像度の学習用画像信号中の画素値と、上記予測値との予測誤差が所定の誤差範囲内となるクラスを第１の特定クラスとしておき、
上記クラス選択手段は、
上記第１のクラスが、上記第１の特定クラスに該当する場合は、上記第１のクラスを選択し、上記第１のクラスが、上記第１の特定クラスに該当しない場合は、上記第２のクラスを選択する
ことを特徴とする信号変換装置。 - 入力される第１の解像度の第１の画像信号をより高解像度な第２の解像度の第２の画像信号に変換する信号変換方法において、
第１のクラス分類手段により、上記第１の画像信号を、上記第２の画像信号にのみ含まれる注目画素の周辺の所定数の上記第１の画像信号の画素の時空間領域でのレベル分布パターンに応じて、各レベル分布パターンに対応した複数のクラスのうち、上記第１の画像信号のレベル分布パターンを良く反映している第１のクラスに分類すると共に、第２のクラス分類手段により、上記第１の画像信号を、上記第２の画像信号にのみ含まれる上記注目画素の周辺の所定数の上記第１の画像信号の画素でなるタツプのパターンに対応した、上記複数のクラスとは異なる単一のクラスである第２のクラスに分類するクラス分類ステツプと、
上記クラス分類ステツプで分類された上記第１のクラスと上記第２のクラスとから一のクラスを選択するクラス選択ステツプと、
予め学習により上記第１のクラス分類手段及び上記第２のクラス分類手段のそれぞれにおいて、分類されたクラス毎に求めて記憶されている、上記第２の画像信号を上記第１の画像信号より予測生成するための予測係数を、上記クラス選択ステツプで選択された上記一のクラスに応じて出力する予測係数出力ステツプと、
上記第１の画像信号に対し、上記予測係数出力ステツプで出力された上記予測係数を用いた予測演算を実行して当該第１の画像信号には含まれない上記注目画素を推定することにより、上記第２の画像信号を生成する予測演算ステツプと
を具え、
上記第１のクラス分類手段において、予め学習により上記第２の解像度の学習用画像信号を上記第１の解像度の学習用画像信号より予測生成するための予測係数をクラス毎に求める際に、上記第２の解像度の学習用画像信号中の画素値と、上記第１の解像度の学習用画像信号に対して上記予測係数を用いて予測生成した画素値との予測誤差が所定の誤差範囲内となるクラスを第１の特定クラスとしておき、
上記クラス選択ステツプでは、
上記第１のクラスが、上記第１の特定クラスに該当する場合は、上記第１のクラスを選択し、上記第１のクラスが、上記第１の特定クラスに該当しない場合は、上記第２のクラスを選択する
ことを特徴とする信号変換方法。 - 入力される第１の解像度の第１の画像信号をより高解像度な第２の解像度の第２の画像信号に変換する信号変換方法において、
第１のクラス分類手段により、上記第１の画像信号を、上記第２の画像信号にのみ含まれる注目画素の周辺の所定数の上記第１の画像信号の画素の時空間領域でのレベル分布パターンに応じて、各レベル分布パターンに対応した複数のクラスのうち、上記第１の画像信号のレベル分布パターンを良く反映している第１のクラスに分類すると共に、第２のクラス分類手段により、上記第１の画像信号を、上記第２の画像信号にのみ含まれる上記注目画素の周辺の所定数の上記第１の画像信号の画素でなるタツプのパターンに対応した、上記複数のクラスとは異なる単一のクラスである第２のクラスに分類するクラス分類ステツプと、
上記クラス分類ステツプで分類された上記第１のクラスと上記第２のクラスとから一のクラスを選択するクラス選択ステツプと、
予め学習により上記第１のクラス分類手段及び上記第２のクラス分類手段のそれぞれにおいて、分類されたクラス毎に求めて記憶されている、上記第２の画像信号を上記第１の画像信号より予測生成するための補間画素となる予測値を、上記クラス選択ステツプで選択された上記一のクラスに応じて出力する予測値出力ステツプと、
上記第１の画像信号に対し、上記予測値出力ステツプで出力された上記予測値より当該第１の画像信号には含まれない上記注目画素を推定することにより、上記第２の画像信号を生成する予測演算ステツプと
を具え、
上記第１のクラス分類手段において、予め学習により上記第２の解像度の学習用画像信号を上記第１の解像度の学習用画像信号より予測生成するための上記予測値をクラス毎に求める際に、上記第２の解像度の学習用画像信号中の画素値と、上記予測値との予測誤差が所定の誤差範囲内となるクラスを第１の特定クラスとしておき、
上記クラス選択ステツプでは、
上記第１のクラスが、上記第１の特定クラスに該当する場合は、上記第１のクラスを選択し、上記第１のクラスが、上記第１の特定クラスに該当しない場合は、上記第２のクラスを選択する
ことを特徴とする信号変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12065995A JP3856244B2 (ja) | 1995-04-20 | 1995-04-20 | 信号変換装置及び信号変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12065995A JP3856244B2 (ja) | 1995-04-20 | 1995-04-20 | 信号変換装置及び信号変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08294089A JPH08294089A (ja) | 1996-11-05 |
| JP3856244B2 true JP3856244B2 (ja) | 2006-12-13 |
Family
ID=14791721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12065995A Expired - Lifetime JP3856244B2 (ja) | 1995-04-20 | 1995-04-20 | 信号変換装置及び信号変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3856244B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4752088B2 (ja) * | 2000-05-09 | 2011-08-17 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
| JP4645866B2 (ja) * | 2000-08-02 | 2011-03-09 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
-
1995
- 1995-04-20 JP JP12065995A patent/JP3856244B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08294089A (ja) | 1996-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3794505B2 (ja) | 信号変換装置及び信号変換方法 | |
| JPH07147681A (ja) | ディジタル画像信号の階層符号化および復号装置 | |
| JP3781203B2 (ja) | 画像信号補間装置及び画像信号補間方法 | |
| JP3503166B2 (ja) | 信号変換装置および方法 | |
| JPH09212650A (ja) | 動きベクトル検出装置および検出方法 | |
| US7679676B2 (en) | Spatial signal conversion | |
| JP3864400B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2000115716A (ja) | 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機 | |
| JP3859089B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3856244B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3849817B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3671469B2 (ja) | 予測係数の学習方法並びに信号変換装置および方法 | |
| JPH10136317A (ja) | 画像信号変換装置および方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3669522B2 (ja) | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 | |
| EP1636987B1 (en) | Spatial signal conversion | |
| JPH10112844A (ja) | 画像処理装置および画像処理方法 | |
| US8228995B2 (en) | Image processing apparatus, image processing method, and program | |
| JPH0888849A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JP3651093B2 (ja) | 動きベクトル検出装置および方法 | |
| JP3814850B2 (ja) | 信号変換装置および方法 | |
| JP3612728B2 (ja) | 信号変換装置および方法 | |
| JP4016138B2 (ja) | 画像信号変換装置及び画像信号変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050826 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060609 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060825 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060907 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130922 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |