JP3669522B2 - 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 - Google Patents
信号変換装置、信号変換方法、係数学習装置及び係数学習方法 Download PDFInfo
- Publication number
- JP3669522B2 JP3669522B2 JP10069295A JP10069295A JP3669522B2 JP 3669522 B2 JP3669522 B2 JP 3669522B2 JP 10069295 A JP10069295 A JP 10069295A JP 10069295 A JP10069295 A JP 10069295A JP 3669522 B2 JP3669522 B2 JP 3669522B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- prediction
- pixel
- class
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図７〜図９）
発明が解決しようとする課題
課題を解決するための手段
作用
実施例（図１〜図９）
発明の効果
【０００２】
【産業上の利用分野】
本発明は信号変換装置、信号変換方法及び係数学習装置に関し、例えばＮＴＳＣ等の標準解像度信号（ＳＤ：Standard Difinition ）をハイビジヨン等の高解像度信号（ＨＤ：High Difinition ）に変換するアツプコンバータに適用して好適なものである。
【０００３】
【従来の技術】
従来、この種のアツプコンバータにおいては、ＳＤ画像信号に対して周波数補間処理を施すことにより、画素数を増やしてＨＤ画像信号を形成している。例えば図７に示すように、ＨＤ画像の走査線１上で大きな「○」印及び大きな「△」印でなるＳＤ画像信号に対して水平及び垂直方向にそれぞれ２倍の周波数補間を施すことにより、小さな「○」印及び小さな「△」印でなるＨＤ画像信号を生成する。
【０００４】
アツプコンバータによる補間例としては、ＳＤ画像信号のフイールドデータから、４種類の位置のＨＤ画素を生成する方法がある。例えば図中の「◎」印のＳＤ画素に注目すると、その近傍の４種類mode1,mode2,mode3 及びmode4 の位置のＨＤ画素を補間により生成する。
このとき用いる補間フイルタとしては、図８に示す空間内２次元ノンセパラブルフイルタ２や、図９に示す水平／垂直セパラブルフイルタ３がある。
【０００５】
２次元ノンセパラブルフイルタ２は４種類の位置のＨＤ画素mode1,mode2,mode3 及びmode4 それぞれに対して２次元フイルタ４Ａ〜４Ｄによつて独立に補間処理を実行し、各補間結果を選択部５において直列化しＨＤ画像信号を得る。
水平／垂直セパラブルフイルタ３は垂直補間フイルタ６Ａによりmode１及びmode３用の処理を実行し、垂直補間フイルタ６Ｂによりmode２及びmode４用の処理を実行してＨＤ画像信号の２本の走査線データを形成する。次に各走査線に対して水平フイルタ７Ａ及び７Ｂを用いて４種類の位置のＨＤ画素を補間して選択部８において直列化することによりＨＤ画像信号を生成する。
【０００６】
【発明が解決しようとする課題】
ところで上述したような従来のアツプコンバータでは補間フイルタとして理想フイルタを使用した場合でも、画素数は増えるものの空間解像度はＳＤ画像信号と変わらない。また実際には理想フイルタを用いることはできないため、ＳＤ画像信号より解像度の低下したＨＤ画像信号を生成することしかできないという問題がある。
【０００７】
このような問題を解決する方法として、入力ＳＤ画像信号の特徴に基づいてＳＤ画像信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の予測データでなる予測係数を用いて高解像度のＨＤ画像信号を生成するクラス分類適応処理方法が提案されている（特開平5-328185号公報参照）。
【０００８】
ところでＨＤ画像信号のＨＤ画素を予測する際にＳＤ画像信号から抽出する画素のパターンは、全てのクラスで同一のものが設定されている。このためＳＤ画像信号から予測して生成するＨＤ画素に異なる入力ＳＤ画像信号の信号特性を反映するのに限界があるという問題があつた。
【０００９】
本発明は以上の点を考慮してなされたもので、入力画像信号の信号特性に応じた適切な予測タツプパターンをもとにして高解像度の画像信号を得ることができる信号変換装置、信号変換方法及び係数学習装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第１の画像信号をより高解像度な第２の画像信号に変換する信号変換装置において、第２の画像信号の注目画素周辺における第１の画像信号の複数画素の信号特性に応じて当該第１の画像信号をクラス分類し、第２の画像信号における注目画素を生成するためのクラス毎の予測係数それぞれが当該クラスに対応付けして記憶された予測係数記憶手段から、当該クラス分類で得られたクラスに対応する予測係数を出力し、第１の画像信号から、クラス分類で得られたクラスに応じた画素パターンの複数の画素を選択し、当該選択した複数の画素と、予測係数記憶手段から出力した予測係数とを用いた予測演算処理によつて第２の画像信号の注目画素を生成するようにし、予測演算処理の際、クラスに応じて選択する複数の画素の画素パターンを、第２の画像信号の注目画素周辺における第１の画像信号の複数の画素パターンのうち、注目画素に対する予測値と真の画素値との予測誤差が最小となる画素パターンとするようにした。
【００１１】
【作用】
従つて本発明では、第１の画像信号のクラスに応じて当該第１の画像信号から、第２の画像信号の注目画素に対する予測値と真の画素値との予測誤差が最小となる画素パターンの複数の画素を選択して当該注目画素の生成に用いるため、第１の画像信号の信号特性を適切に反映して第２の画像信号の注目画素を生成することができる。
【００１２】
【実施例】
以下図面について本発明の一実施例を詳述する。
【００１３】
図１に示す１０は全体としてクラス分類適応処理を適用してＳＤ画像信号からＨＤ画像信号を生成する２次元ノンセパラブルフイルタによるアツプコンバータを示す。このアツプコンバータ１０に入力端１１を通じて入力されるＳＤ画像信号Ｓ1 は、クラス分類部１２及び予測演算部１３に並列に送出される。クラス分類部１２では新たに生成するＨＤ画像信号の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスデータd0を生成する。クラスd0は記憶手段である予測係数ＲＯＭ(Read Only Memory)１４にアドレスデータとして送出される。
【００１４】
予測係数ＲＯＭ１４には、予め学習により求められたクラス毎の予測データd1でなる予測係数がクラスd0に対応して格納されている。予測係数ＲＯＭ１４はクラスd0をアドレスデータとして、予測データd1を読み出して予測演算部１３に送出する。予測演算部１３は、ＳＤ画像信号Ｓ１ に対して予測データd1を用いた所定の予測演算を実行することによりＨＤ補間画素を生成し、選択部１６より送出する。
【００１５】
クラス分類部１２は入力されたＳＤ画像信号Ｓ１ の特徴に応じたクラスd0を生成して予測係数ＲＯＭ１４及び制御ＲＯＭ１５に並列に送出する。クラス分類部１２では例えば、ＡＤＲＣクラス分類法を用いてクラス分類する。予測係数ＲＯＭ１４からはクラスd0に応じた予測データd1が読み出され、予測演算部１３Ａ〜１３Ｄに送出される。
【００１６】
予測演算部１３Ａ〜１３Ｄは各演算部においてそれぞれ走査線１上の４種類の位置mode1 、mode2 、 mode3及びmode4 に対応するＨＤ補間画素の予測値d10 、d11 、d12 及びd13 を生成する。さらに各予測演算部１３Ａ〜１３Ｄには、それぞれパターン予測演算部２０Ａ〜２０Ｄが設けられ、それぞれ異なる４種類の予測タツプパターンに基づいて複数の候補予測値d2、d3、d4、d5を生成する。
【００１７】
各パターン予測演算部２０Ａ〜２０Ｄには予測タツプパターンとして例えば、図２に示すような４種類の予測タツプパターンが用意されている。図２（Ａ）のタツプパターンは２次元に等方な相関を有する標準的なタツプパターンを示している。これに対して図２（Ｂ）及び（Ｃ）に示すタツプパターンは、それぞれ垂直方向に相関の大きい信号及び水平方向に相関の大きい信号に対して有効なタツプパターンである。さらに図２（Ｄ）に示すタツプパターンは広い領域での変化を予測に反映させる場合に有効なタツプパターンである。
因みに図中◎はＳＤ画像信号による注目画素であり、この注目画素近傍の複数ＨＤ補間画素の予測を行う。
【００１８】
各パターン予測演算部２０Ａ〜２０Ｄは、各予測タツプパターンのＳＤ画像信号Ｓ1 に対して予測データd1を用いた積和演算を実行する。これにより各予測タツプパターンの画素データをもとにしてＨＤ補間画素の予測値d2〜d5が生成され選択部１６に送出される。ここで制御ＲＯＭ１５よりＨＤ補間画素を選択するための選択データd6が選択部１６に送出される。制御ＲＯＭ１５にはクラスd0に対応付けられた予測タツプパターンのデータが記憶されている。選択データd6はクラスd0に応じた予測タツプパターンにより、生成されるＨＤ補間画素を選択する。予測演算部１３Ａ〜１３Ｄは各選択部１６において、この選択データd6によつてＨＤ補間画素を予測値d2〜d5から選択してＨＤ補間画素d10 〜d13 として選択部１７に送出する。選択部１７からは、バツフアメモリ（図示せず）を用いて直列に並び替えられたＨＤ補間画素d10 〜d13 が出力端１８よりＨＤ信号Ｓ2 として出力される。
【００１９】
クラス分類部１２でのクラス分類法に用いられるＡＤＲＣは再量子化として定義される量子化ステツプ幅により、画素を再量子化するものでＡＤＲＣコードｃi はダイナミツクレンジＤＲ、再量子化ビツト数ｋ、ＳＤ画素ｘi 及びその近傍領域内の最小画素レベルＭＩＮとから次式
【数１】
によつて表される。
【００２０】
クラス分類部１２は、入力ＳＤ画像信号Ｓ1 に対して７画素からなるクラス生成タツプを設定して入力信号の波形特性に応じてクラスを生成する。ここでクラス分類に際し、７画素分の８ビツトのＰＣＭ(Pulse Code Modulation) データを直接用いた場合、クラス数が２56通りと膨大になり実用的ではなくなる。そこで７画素分のＰＣＭデータに対してＡＤＲＣにより再量子化によるデータ圧縮処理を施してクラス数を削減する。すなわち７画素のデータから定義されるダイナミツクレンジＤＲに基づいて各画素の画素レベルを適応的に１ビツト量子化することによつてクラス数を128 クラスに削減することができる。因みにＡＤＲＣはＶＴＲ(Video Tape Recorder) 用信号圧縮方式として開発されたものであるが、少ないクラス数で入力信号の波形特性を表現するのに適している。
【００２１】
予測係数ＲＯＭ１４からはクラスd0をアドレスデータとしてＨＤ補間画素の予測値を生成する際に用いる予測データd1が読み出され、予測演算部１３に送出される。予測演算部１３Ａ〜１３Ｄは、各パターン予測演算部２０Ａ〜２０Ｄの各予測タツプパターンに対して予測データd1を用いてＨＤ補間画素d2〜d5を生成して選択部１６に送出する。選択部１６は制御ＲＯＭ１５より送出されてくるクラスd0に応じた選択データd6によつて入力信号特性に対応した適切な予測タツプパターンにより生成されたＨＤ補間画素をＨＤ補間画素d2〜d4又はd5より選択してＨＤ補間画素d10 〜d13 として選択部１７に送出する。
このようにして各予測演算部１３Ａ〜１３Ｄにおいて生成されたＨＤ補間画素d10 〜d13 は選択部１７で直列化されてＨＤ画像信号Ｓ２ として出力される。
【００２２】
パターン予測演算部２０Ａ〜２０Ｄでは、予測タツプパターン部（図示せず）により設定されたＳＤ画素ｘi と予測データd1でなる予測係数ｗi を用いてＨＤ画像の走査線１上の位置mode1 〜mode4 に相当するＨＤ補間画素の推定画素ｙ′を生成する。
すなわちＨＤ補間画素の推定画素ｙ′は１３個のＳＤ画素ｘi から予測係数ｗi を用いて予測式
【数２】
によつて信号変換され生成される。
ここで用いられる予測係数ｗi は各クラス毎に予め学習によつて求められ、クラスd0のクラス番号cnに対応付けられて予測係数ＲＯＭ１４に格納されている。
【００２３】
予測係数の学習は実際上、図３に示す予測係数学習回路３５によつてなされる。すなわちＨＤ画像信号Ｓ20を間引きフイルタ３６によつてＳＤ画像信号Ｓ10に変換してクラス分類部３７及び予測タツプパターン設定部３８に送出する。予測タツプパターン設定部３８はパターン予測演算部２０Ａ〜２０Ｄそれぞれで設定した予測タツプパターン（すなわち図２に示す４種類の予測タツプパターン）を設定し、これらを予測係数算出回路３９に送出する。クラス分類部３７はクラス分類部１２と同様の構成でなり、ＳＤ画像信号Ｓ10をもとにしてクラス分類処理を実行し、これにより得たクラス番号cnを予測係数ＲＯＭ１４、予測係数算出回路３９及び制御ＲＯＭ１５に送出する。
【００２４】
予測係数算出回路３９は、各クラス番号cnに対応したＨＤ補間画素の予測係数を入力ＨＤ画像信号Ｓ20から算出する。具体的には、図７に示すＨＤ画像において、ＨＤ画素をＨＤ注目画素として、周辺のＨＤ画素及びＳＤ画素でなる一組の学習データによつて予測係数を用いた線形一次結合モデルによつて表わす。このとき用いた予測係数を最小自乗法を用いて求める。ここで予測係数算出回路３９は４種類の予測タツプパターンそれぞれについての予測係数を求めるようになされている。
【００２５】
このとき最小誤差検出回路４０において、４種類の予測タツプパターンによる予測係数の計算過程で得られる予測誤差の最小のものを検出して、その検出結果を予測係数選択部４１及び制御ＲＯＭ１５に送出する。予測係数選択部４１は、この最小誤差検出回路４０の検出結果に基づいて各クラスについて予測誤差が最小となる予測タツプパターンを選択して各クラスに対応付けて制御ＲＯＭ１５に登録する。さらに予測係数選択部４１は予測誤差が最小となる予測係数（予測データd1）を予測係数ＲＯＭ１４に送出する。
【００２６】
これにより予測係数ＲＯＭ１４には各クラス番号cnに対応付けられた予測データd1が格納される。また制御ＲＯＭ１４には４種類の予測タツプパターンのいずれかが各クラス番号cnに対応付けられて登録される。
なお、このように学習データを生成する際に、１つの画像のみを用いるのではなく複数の画像を用いて多数の学習データを生成すれば、より正確な予測係数を得ることができる。
【００２７】
以下に上述した予測係数の具体的な学習方法について、図４に示す予測係数学習手順にそつて説明する。予測係数学習手順はステツプＳＰ１で開始されると、先ずステツプＳＰ２において予測係数を学習するために、入力ＨＤ画像信号Ｓ20からクラス学習データを生成する。
【００２８】
ステツプＳＰ３では、ステツプＳＰ２で生成した学習データの数が予測係数を得るのに必要なだけ生成されたか否か判定する。ここで学習データ数が必要数に満たないと判定された場合には予測係数学習手順はステツプＳＰ４に移る。
ステツプＳＰ４では、クラス学習データをクラス分類する。クラス分類は先ず、初めに学習サンプリングデータの局所的な平坦度を検出し、当該検出結果に応じてクラス分類に用いる画素を選択する。これにより入力信号の変化の小さいものを学習対象から除外してノイズの影響を排除することができる。このクラス学習データのクラス分類は入力ＳＤ画像信号Ｓ1 をクラス分類する場合と同様の処理を実行することによつてなされる。
【００２９】
続いて予測係数学習手順はステツプＳＰ５において、クラス分類された学習データに基づき、各クラス毎に正規化方程式を形成する。
ステツプＳＰ５での処理を具体的に説明する。ここでは一般化するために学習データとしてｎ個のサンプリング画素が存在する場合について述べる。先ず各サンプリング画素の画素レベルｘ1 、……、ｘn と注目補間画素のサブサンプル以前の画素レベルｙの関係を、クラス毎に予測係数ｗ1 、……、ｗn によるｎタツプの線型一次結合モデルによる予測式で表す。この予測式を次式
【数３】
に示す。
この（３）式における予測係数ｗ1 、……、ｗn を求めることにより、画素レベルｙを推定する。
【００３０】
次に予測係数ｗ1 、……、ｗn を最小自乗法により生成する例を示す。最小自乗法は次のように適用される。
一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の観測方程式を考える。
【数４】
この（４）式の観測方程式により収集されたデータに対して最小自乗法を適用する。（４）式の例においては、ｎ＝１３、ｍが学習データ数となる。
【００３１】
先ず、（４）式の観測方程式をもとに、次の残差方程式を考える。
【数５】
（５）式の残差方程式から、各ｗi の最確値は次式
【数６】
を最小にする条件が成り立つ場合と考えられる。
すなわち（６）式のｗi による偏微分が次式
【数７】
のときに、この（７）式のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、……、ｗn を算出すれば良い。そこで残差方程式（５）式から次式が得られる。
【数８】
この（８）式と（７）式とにより次式
【数９】
が得られる。そして（５）式及び（９）式から次に示す正規方程式が得られる。
【数１０】
（１０）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能なので、これにより各ｗi の最確値を求めることができる。
この正規方程式は、掃き出し法（Gauss-Jordanの消去法）を用いて解くことができる。
【００３２】
この予測係数学習手順では、各クラス毎に未定係数ｗ1 、……、ｗn を求めるために未知数の数ｎと同じ数の正規方程式が形成されるまでステツプＳＰ２−ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ２のループを繰り返す。
【００３３】
このようにして必要な数の正規方程式が得られると、ステツプＳＰ３では学習データが終了したか否かの判定に対して肯定結果が得られ、処理はステツプＳＰ６の予測係数決定に移る。
【００３４】
ステツプＳＰ６では、（１０）式の正規化方程式を解いて各クラス毎の予測係数ｗ1 、……、ｗn を決定する。このようにして得られた予測係数を次のステツプＳＰ７でクラス毎にアドレス分割されたＲＯＭ等の記憶手段に登録する。以上の学習により、クラス分類適応処理の予測係数が生成され次のステツプＳＰ８で予測係数学習手順を終了する。
【００３５】
このようにして個々の予測タツプパターンについて独立に予測係数を求める。このとき各クラスにおける予測誤差を同時に登録する。この予測係数学習手順では最小自乗法を用いて予測係数を生成しているので、学習途中での誤差を積算すれば容易に予測誤差を得ることができる。
【００３６】
（５）式によつて定義される誤差Ｅの自乗和は（１０）式により次式
【数１１】
によつて算出される。
ここで（・）t は転置行列を表す。
【００３７】
この（１１）式を得るために予測係数学習の際に次式
【数１２】
及び次式
【数１３】
によつて表される２つのデータを用いる。
すなわち（１２）式は予測係数学習の際に入力ＳＤ画像信号データと目標ＨＤ補間画素データの積和演算を行い、さらに最終的に生成された予測係数との積和演算を行うことによつて得ることができる。また（１３）式は目標ＨＤ補間画素データの自乗和である。
【００３８】
このようにして算出される予測誤差Ｅを用いて各クラスの予測タツプパターンを選択する。予測タツプパターンは図５に示す予測タツプパターン選択手順によつてＮ種類のクラスを登録する。
【００３９】
予測タツプパターン選択手順はステツプＳＰ１において開始されると、ステツプＳＰ２において先ず、クラス番号cnを０とすることによつて初期化する。続くステツプＳＰ３ではクラス番号cnを目的の登録クラス数Ｎに達しているか否かを判定して、クラス番号cnがＮに達していない場合はステツプＳＰ４に移る。
【００４０】
ステツプＳＰ４では各クラスにおいてそれぞれ得られる４種類の予測タツプパターンの予測誤差を最小誤差検出回路４０によつて比較する。この比較結果に基づいて予測誤差が最小となる予測タツプパターンをそのクラスの選択タツプパターンp0とする。次のステツプＳＰ５では、選択タツプパターンp0をクラス番号cnに対応付けて制御ＲＯＭ１５に登録し、同時にそのときの予測係数をクラス番号cnに対応付けて予測係数ＲＯＭ１４に登録する。続くステツプＳＰ６でクラス番号cnをインクリメントしてステツプＳＰ３の処理に戻る。以下、ＳＰ４−ＳＰ５−ＳＰ６−ＳＰ３の処理を繰り返して、登録するクラス数、すなわちクラス番号cnが所定の数値Ｎに達するとステツプＳＰ７に移つて予測タツプパターン選択手順を終了する。
【００４１】
このようにして予測タツプパターン選択手順によつて得られた選択タツプパターンp0はクラス番号cnと対応付けされ制御ＲＯＭ１５に登録される。この選択タツプパターンp0とクラス番号cnとの対応関係に基づいて各パターン予測演算部２０Ａ〜２０Ｄで生成されたＨＤ補間画素をクラス分類部１２のクラス分類結果であるクラスd0に応じて選択部１６において選択する。
【００４２】
以上の構成において、入力端１１を通じてアツプコンバータ１０に入力されるＳＤ画像信号Ｓ1 はクラス分類部１２及び予測係数演算部１３に対して並列に送出される。クラス分類部１２ではＳＤ画像信号Ｓ1 に基づいてクラスd0を生成して予測係数ＲＯＭ１４に送出する。予測係数ＲＯＭ１４では予め学習によつて求められている予測データd1をクラスd0に応じて読み出し、予測係数演算部１３に送出する。予測係数演算部１３では各予測演算部１３Ａ〜１３Ｄにおいて入力端１１から送出されてくるＳＤ画像信号Ｓ1 及び予測係数ＲＯＭ１４から送出される予測データd1をもとにして走査線上の４つの位置（mode1 〜mode4)に対応したＨＤ補間画素を生成する。
【００４３】
各予測演算部１３は、それぞれに設けられたパターン予測演算部２０Ａ〜２０Ｄにおいて予測データd1に基づいて４種類の異なつた予測タツプパターンによるＨＤ補間画素の予測値d2〜d5を生成して次段の選択部１６に送出する。
予測タツプパターンはそれぞれ２次元に等方な相関を有する標準的なタツプパターン（図２（Ａ））、垂直、水平方向に相関の大きい信号に対して有効なタツプパターン、（図２（Ｂ）及び（Ｃ））及び広い領域での変化を予測に反映させるタツプパターン（図２（Ｄ））が設定されている。これにより各予測タツプパターンによる所定ブロツク単位のＳＤ画像信号Ｓ1 から上述した特性を有する４種類のＨＤ補間画素の予測値d2〜d5が生成される。
【００４４】
一方、制御ＲＯＭ１５はクラスd0に対応する予測タツプパターンp0を読み出し、これに基づいた選択データd6を用いて選択部１６においてＨＤ補間画素を選択する。これによりクラスd0に応じて入力ＳＤ画像信号Ｓ１ の信号特性を適切に反映したＨＤ補間画素が得られる。このようにして選択されたＨＤ補間画素d10 〜d13 は次段の選択部１７に送出され、選択部１７において直列化された後、ＨＤ画像信号Ｓ２ として出力される。
【００４５】
以上の構成によれば、アツプコンバータ１０に入力されるＳＤ画像信号Ｓ1 をクラス分類して得られるクラスd0に応じて信号特性の表現の異なつた４種類の予測タツプパターンによつて生成したＨＤ補間画素を選択するようにしたことにより、入力ＳＤ画像信号Ｓ1 の信号特性を適切に反映した所望のＨＤ補間画素を得ることができる。これにより入力ＳＤ画像信号Ｓ1 の特性が反映された高解像度のＨＤ画像信号Ｓ2 を生成することができる。
【００４６】
なお上述の実施例においては、タツプデータのデータ圧縮にＡＤＲＣの手法を用いた場合について述べたが、本発明はこれに限らず、例えばＤＰＣＭ（Differential Pulse Code Modulatin ）やＶＱ（Vector Quantization ）の手法を用いてデータ圧縮しても良い。
【００４７】
また上述の実施例においては、パターン予測演算部２０Ａ〜２０Ｄを４種類として予測タツプパターンを４種類に設定した場合について述べたが、本発明はこれに限らず、２種類又は５種類以上のタツプパターンを設定しても良い。
【００４８】
また上述の実施例においては、アツプコンバータとして２次元ノンセパラブルフイルタを用いた場合について述べたが、本発明はこれに限らず、図１との対応部分に同符号を付した、図６に示すような垂直／水平セパラブル構成でなるアツプコンバータ４５を用いても上述した場合と同様の効果が得られる。
【００４９】
すなわちアツプコンバータ４５においては、先ず、入力端４６を通じて入力されたＳＤ画像信号Ｓ1 がクラス分類部１２と予測演算部４８に供給される。予測演算部４８は走査線１の位置mode1 、mode2 に対応する垂直予測演算部４８Ａ及び水平予測演算部４８Ｂと走査線１の位置mode3 、mode4 に対応する垂直予測演算部４８Ｃ及び水平予測演算部４８Ｄの２種類に分かれる。クラス分類部１２では入力ＳＤ画像信号Ｓ1 に応じたクラスd0が生成される。クラスd0は予測係数の垂直成分を記憶する垂直係数ＲＯＭ４９Ａ及び水平成分を記憶する水平係数ＲＯＭ４９Ｂに送出される。クラスd0は同時に、入力ＳＤ画像信号Ｓ1 に対する予測タツプパターンを記憶する垂直部用の制御ＲＯＭ５０Ａ及び水平部用の制御ＲＯＭ５０Ｂにも送出される。
【００５０】
まず垂直係数ＲＯＭ４９Ａより出力される垂直予測係数d15 は垂直予測演算部４８Ａ及び４８Ｃに供給される。
垂直予測演算部４８Ａの各パターン予測演算部５１Ａ〜５１Ｄでは入力ＳＤ画像信号Ｓ1 と垂直予測係数d15 による積和演算により垂直推定値d20 〜d23 が生成される。この垂直推定値d20 〜d23 は選択部５３に送出される。選択部５３は制御ＲＯＭ５０Ａから供給される制御信号d24 によつて垂直推定値d20 〜d23 から垂直推定値d25 を選択する。垂直推定値d25 は次段の水平予測演算部４８Ｂに供給される。
【００５１】
水平予測演算部４８Ｂ及び４８Ｄの各パターン予測演算部５２Ａ〜５２Ｄには水平係数ＲＯＭ４９Ｂより生成される水平予測係数d16 及び垂直推定値d25 が供給され、積和演算によりＨＤ補間画素の予測値d26 〜d29 を得る。
この予測値d24 〜d25 は選択部５４において、制御ＲＯＭ５０Ｂから送出される制御信号d30 によつて適応的に選択されその結果、ＨＤ補間画素d31 が次段の選択部１５に伝送される。同様の処理が垂直予測演算部４８Ｃ及び水平予測演算部４８Ｄにおいてなされ、選択部５４からＨＤ補間画素d32 が次段の選択部１５に伝送される。このようにして得られたＨＤ補間画素d31 及びd32 は選択部１５において適切に並び替えられ、出力端５５より最終的な出力であるＨＤ画像信号Ｓ２ として出力される。
【００５２】
また上述の実施例においては、各予測タツプパターン毎に予測値を並列に生成するため各予測タツプパターン毎に予測演算部を設けた場合について述べたが、本発明はこれに限らず、予測タツプパターンをクラスc0に応じて切り替える選択部を予測演算部の前段に設置しても良く、これにより１組だけの予測演算部によつて上述した実施例と同様の処理ができる。
【００５３】
また上述の実施例においては、ＳＤ画像信号をＨＤ画像信号に信号変換した場合について述べたが、本発明はこれに限らず、画像拡大する際の補間画素を生成するのに用いても良い。
【００５４】
【発明の効果】
上述のように本発明によれば、第１の画像信号をより高解像度な第２の画像信号に変換する信号変換装置において、第２の画像信号の注目画素周辺における第１の画像信号の複数画素の信号特性に応じて当該第１の画像信号をクラス分類し、第２の画像信号における注目画素を生成するためのクラス毎の予測係数それぞれが当該クラスに対応付けして記憶された予測係数記憶手段から、当該クラス分類で得られたクラスに対応する予測係数を出力し、第１の画像信号から、クラス分類で得られたクラスに応じた画素パターンの複数の画素を選択し、当該選択した複数の画素と、予測係数記憶手段から出力した予測係数とを用いた予測演算処理によつて第２の画像信号の注目画素を生成するようにし、予測演算処理の際、クラスに応じて選択する複数の画素の画素パターンを、第２の画像信号の注目画素周辺における第１の画像信号の複数の画素パターンのうち、注目画素に対する予測値と真の画素値との予測誤差が最小となる画素パターンとするようにしたことにより、第１の画像信号のクラスに応じて当該第１の画像信号から、第２の画像信号の注目画素に対する予測値と真の画素値との予測誤差が最小となる画素パターンの複数の画素を選択して当該注目画素の生成に用いることで、第１の画像信号の信号特性を適切に反映して第２の画像信号の注目画素を生成することができ、かくして第１の画像信号の信号特性に適応した高解像度の信号変換 を実行して第２の画像信号を得ることができる信号変換装置及び信号変換方法を実現することができる。
【図面の簡単な説明】
【図１】２次元ノンセパラブルフイルタで構成されるアツプコンバータを示すブロツク図である。
【図２】補間画素生成の予測タツプパターンを示す略線図である。
【図３】予測係数学習回路の構成を示すブロツク図である。
【図４】予測係数の学習手順を示すフローチヤートである。
【図５】予測タツプパターンの選択手順を示すフローチヤートである。
【図６】垂直／水平セパラブルフイルタによるアツプコンバータを示すブロツク図である。
【図７】ＨＤ画像を示す略線図である。
【図８】従来の２次元ノンセパラブルフイルタを示すブロツク図である。
【図９】従来の垂直／水平セパラブルフイルタを示すブロツク図である。
【符号の説明】
１……走査線、２、３……補間フイルタ、４Ａ〜４Ｄ……２次元フイルタ、５、８、１５、４５……選択部、６Ａ、６Ｂ、４８Ａ、４８Ｃ……垂直補間フイルタ、７Ａ、７Ｂ、４８Ｂ、４８Ｄ……水平補間フイルタ、１０、４５……アツプコンバータ、１１、４６……入力端、１２……クラス分類部、１３、４３……予測演算部、１４、４９Ａ、４９Ｂ……予測係数ＲＯＭ、１５、５０Ａ、５０Ｂ……制御ＲＯＭ、１８、５３……出力端、２０Ａ〜２０Ｄ……パターン予測演算部。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図７〜図９）
発明が解決しようとする課題
課題を解決するための手段
作用
実施例（図１〜図９）
発明の効果
【０００２】
【産業上の利用分野】
本発明は信号変換装置、信号変換方法及び係数学習装置に関し、例えばＮＴＳＣ等の標準解像度信号（ＳＤ：Standard Difinition ）をハイビジヨン等の高解像度信号（ＨＤ：High Difinition ）に変換するアツプコンバータに適用して好適なものである。
【０００３】
【従来の技術】
従来、この種のアツプコンバータにおいては、ＳＤ画像信号に対して周波数補間処理を施すことにより、画素数を増やしてＨＤ画像信号を形成している。例えば図７に示すように、ＨＤ画像の走査線１上で大きな「○」印及び大きな「△」印でなるＳＤ画像信号に対して水平及び垂直方向にそれぞれ２倍の周波数補間を施すことにより、小さな「○」印及び小さな「△」印でなるＨＤ画像信号を生成する。
【０００４】
アツプコンバータによる補間例としては、ＳＤ画像信号のフイールドデータから、４種類の位置のＨＤ画素を生成する方法がある。例えば図中の「◎」印のＳＤ画素に注目すると、その近傍の４種類mode1,mode2,mode3 及びmode4 の位置のＨＤ画素を補間により生成する。
このとき用いる補間フイルタとしては、図８に示す空間内２次元ノンセパラブルフイルタ２や、図９に示す水平／垂直セパラブルフイルタ３がある。
【０００５】
２次元ノンセパラブルフイルタ２は４種類の位置のＨＤ画素mode1,mode2,mode3 及びmode4 それぞれに対して２次元フイルタ４Ａ〜４Ｄによつて独立に補間処理を実行し、各補間結果を選択部５において直列化しＨＤ画像信号を得る。
水平／垂直セパラブルフイルタ３は垂直補間フイルタ６Ａによりmode１及びmode３用の処理を実行し、垂直補間フイルタ６Ｂによりmode２及びmode４用の処理を実行してＨＤ画像信号の２本の走査線データを形成する。次に各走査線に対して水平フイルタ７Ａ及び７Ｂを用いて４種類の位置のＨＤ画素を補間して選択部８において直列化することによりＨＤ画像信号を生成する。
【０００６】
【発明が解決しようとする課題】
ところで上述したような従来のアツプコンバータでは補間フイルタとして理想フイルタを使用した場合でも、画素数は増えるものの空間解像度はＳＤ画像信号と変わらない。また実際には理想フイルタを用いることはできないため、ＳＤ画像信号より解像度の低下したＨＤ画像信号を生成することしかできないという問題がある。
【０００７】
このような問題を解決する方法として、入力ＳＤ画像信号の特徴に基づいてＳＤ画像信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の予測データでなる予測係数を用いて高解像度のＨＤ画像信号を生成するクラス分類適応処理方法が提案されている（特開平5-328185号公報参照）。
【０００８】
ところでＨＤ画像信号のＨＤ画素を予測する際にＳＤ画像信号から抽出する画素のパターンは、全てのクラスで同一のものが設定されている。このためＳＤ画像信号から予測して生成するＨＤ画素に異なる入力ＳＤ画像信号の信号特性を反映するのに限界があるという問題があつた。
【０００９】
本発明は以上の点を考慮してなされたもので、入力画像信号の信号特性に応じた適切な予測タツプパターンをもとにして高解像度の画像信号を得ることができる信号変換装置、信号変換方法及び係数学習装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第１の画像信号をより高解像度な第２の画像信号に変換する信号変換装置において、第２の画像信号の注目画素周辺における第１の画像信号の複数画素の信号特性に応じて当該第１の画像信号をクラス分類し、第２の画像信号における注目画素を生成するためのクラス毎の予測係数それぞれが当該クラスに対応付けして記憶された予測係数記憶手段から、当該クラス分類で得られたクラスに対応する予測係数を出力し、第１の画像信号から、クラス分類で得られたクラスに応じた画素パターンの複数の画素を選択し、当該選択した複数の画素と、予測係数記憶手段から出力した予測係数とを用いた予測演算処理によつて第２の画像信号の注目画素を生成するようにし、予測演算処理の際、クラスに応じて選択する複数の画素の画素パターンを、第２の画像信号の注目画素周辺における第１の画像信号の複数の画素パターンのうち、注目画素に対する予測値と真の画素値との予測誤差が最小となる画素パターンとするようにした。
【００１１】
【作用】
従つて本発明では、第１の画像信号のクラスに応じて当該第１の画像信号から、第２の画像信号の注目画素に対する予測値と真の画素値との予測誤差が最小となる画素パターンの複数の画素を選択して当該注目画素の生成に用いるため、第１の画像信号の信号特性を適切に反映して第２の画像信号の注目画素を生成することができる。
【００１２】
【実施例】
以下図面について本発明の一実施例を詳述する。
【００１３】
図１に示す１０は全体としてクラス分類適応処理を適用してＳＤ画像信号からＨＤ画像信号を生成する２次元ノンセパラブルフイルタによるアツプコンバータを示す。このアツプコンバータ１０に入力端１１を通じて入力されるＳＤ画像信号Ｓ1 は、クラス分類部１２及び予測演算部１３に並列に送出される。クラス分類部１２では新たに生成するＨＤ画像信号の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスデータd0を生成する。クラスd0は記憶手段である予測係数ＲＯＭ(Read Only Memory)１４にアドレスデータとして送出される。
【００１４】
予測係数ＲＯＭ１４には、予め学習により求められたクラス毎の予測データd1でなる予測係数がクラスd0に対応して格納されている。予測係数ＲＯＭ１４はクラスd0をアドレスデータとして、予測データd1を読み出して予測演算部１３に送出する。予測演算部１３は、ＳＤ画像信号Ｓ１ に対して予測データd1を用いた所定の予測演算を実行することによりＨＤ補間画素を生成し、選択部１６より送出する。
【００１５】
クラス分類部１２は入力されたＳＤ画像信号Ｓ１ の特徴に応じたクラスd0を生成して予測係数ＲＯＭ１４及び制御ＲＯＭ１５に並列に送出する。クラス分類部１２では例えば、ＡＤＲＣクラス分類法を用いてクラス分類する。予測係数ＲＯＭ１４からはクラスd0に応じた予測データd1が読み出され、予測演算部１３Ａ〜１３Ｄに送出される。
【００１６】
予測演算部１３Ａ〜１３Ｄは各演算部においてそれぞれ走査線１上の４種類の位置mode1 、mode2 、 mode3及びmode4 に対応するＨＤ補間画素の予測値d10 、d11 、d12 及びd13 を生成する。さらに各予測演算部１３Ａ〜１３Ｄには、それぞれパターン予測演算部２０Ａ〜２０Ｄが設けられ、それぞれ異なる４種類の予測タツプパターンに基づいて複数の候補予測値d2、d3、d4、d5を生成する。
【００１７】
各パターン予測演算部２０Ａ〜２０Ｄには予測タツプパターンとして例えば、図２に示すような４種類の予測タツプパターンが用意されている。図２（Ａ）のタツプパターンは２次元に等方な相関を有する標準的なタツプパターンを示している。これに対して図２（Ｂ）及び（Ｃ）に示すタツプパターンは、それぞれ垂直方向に相関の大きい信号及び水平方向に相関の大きい信号に対して有効なタツプパターンである。さらに図２（Ｄ）に示すタツプパターンは広い領域での変化を予測に反映させる場合に有効なタツプパターンである。
因みに図中◎はＳＤ画像信号による注目画素であり、この注目画素近傍の複数ＨＤ補間画素の予測を行う。
【００１８】
各パターン予測演算部２０Ａ〜２０Ｄは、各予測タツプパターンのＳＤ画像信号Ｓ1 に対して予測データd1を用いた積和演算を実行する。これにより各予測タツプパターンの画素データをもとにしてＨＤ補間画素の予測値d2〜d5が生成され選択部１６に送出される。ここで制御ＲＯＭ１５よりＨＤ補間画素を選択するための選択データd6が選択部１６に送出される。制御ＲＯＭ１５にはクラスd0に対応付けられた予測タツプパターンのデータが記憶されている。選択データd6はクラスd0に応じた予測タツプパターンにより、生成されるＨＤ補間画素を選択する。予測演算部１３Ａ〜１３Ｄは各選択部１６において、この選択データd6によつてＨＤ補間画素を予測値d2〜d5から選択してＨＤ補間画素d10 〜d13 として選択部１７に送出する。選択部１７からは、バツフアメモリ（図示せず）を用いて直列に並び替えられたＨＤ補間画素d10 〜d13 が出力端１８よりＨＤ信号Ｓ2 として出力される。
【００１９】
クラス分類部１２でのクラス分類法に用いられるＡＤＲＣは再量子化として定義される量子化ステツプ幅により、画素を再量子化するものでＡＤＲＣコードｃi はダイナミツクレンジＤＲ、再量子化ビツト数ｋ、ＳＤ画素ｘi 及びその近傍領域内の最小画素レベルＭＩＮとから次式
【数１】
【００２０】
クラス分類部１２は、入力ＳＤ画像信号Ｓ1 に対して７画素からなるクラス生成タツプを設定して入力信号の波形特性に応じてクラスを生成する。ここでクラス分類に際し、７画素分の８ビツトのＰＣＭ(Pulse Code Modulation) データを直接用いた場合、クラス数が２56通りと膨大になり実用的ではなくなる。そこで７画素分のＰＣＭデータに対してＡＤＲＣにより再量子化によるデータ圧縮処理を施してクラス数を削減する。すなわち７画素のデータから定義されるダイナミツクレンジＤＲに基づいて各画素の画素レベルを適応的に１ビツト量子化することによつてクラス数を128 クラスに削減することができる。因みにＡＤＲＣはＶＴＲ(Video Tape Recorder) 用信号圧縮方式として開発されたものであるが、少ないクラス数で入力信号の波形特性を表現するのに適している。
【００２１】
予測係数ＲＯＭ１４からはクラスd0をアドレスデータとしてＨＤ補間画素の予測値を生成する際に用いる予測データd1が読み出され、予測演算部１３に送出される。予測演算部１３Ａ〜１３Ｄは、各パターン予測演算部２０Ａ〜２０Ｄの各予測タツプパターンに対して予測データd1を用いてＨＤ補間画素d2〜d5を生成して選択部１６に送出する。選択部１６は制御ＲＯＭ１５より送出されてくるクラスd0に応じた選択データd6によつて入力信号特性に対応した適切な予測タツプパターンにより生成されたＨＤ補間画素をＨＤ補間画素d2〜d4又はd5より選択してＨＤ補間画素d10 〜d13 として選択部１７に送出する。
このようにして各予測演算部１３Ａ〜１３Ｄにおいて生成されたＨＤ補間画素d10 〜d13 は選択部１７で直列化されてＨＤ画像信号Ｓ２ として出力される。
【００２２】
パターン予測演算部２０Ａ〜２０Ｄでは、予測タツプパターン部（図示せず）により設定されたＳＤ画素ｘi と予測データd1でなる予測係数ｗi を用いてＨＤ画像の走査線１上の位置mode1 〜mode4 に相当するＨＤ補間画素の推定画素ｙ′を生成する。
すなわちＨＤ補間画素の推定画素ｙ′は１３個のＳＤ画素ｘi から予測係数ｗi を用いて予測式
【数２】
ここで用いられる予測係数ｗi は各クラス毎に予め学習によつて求められ、クラスd0のクラス番号cnに対応付けられて予測係数ＲＯＭ１４に格納されている。
【００２３】
予測係数の学習は実際上、図３に示す予測係数学習回路３５によつてなされる。すなわちＨＤ画像信号Ｓ20を間引きフイルタ３６によつてＳＤ画像信号Ｓ10に変換してクラス分類部３７及び予測タツプパターン設定部３８に送出する。予測タツプパターン設定部３８はパターン予測演算部２０Ａ〜２０Ｄそれぞれで設定した予測タツプパターン（すなわち図２に示す４種類の予測タツプパターン）を設定し、これらを予測係数算出回路３９に送出する。クラス分類部３７はクラス分類部１２と同様の構成でなり、ＳＤ画像信号Ｓ10をもとにしてクラス分類処理を実行し、これにより得たクラス番号cnを予測係数ＲＯＭ１４、予測係数算出回路３９及び制御ＲＯＭ１５に送出する。
【００２４】
予測係数算出回路３９は、各クラス番号cnに対応したＨＤ補間画素の予測係数を入力ＨＤ画像信号Ｓ20から算出する。具体的には、図７に示すＨＤ画像において、ＨＤ画素をＨＤ注目画素として、周辺のＨＤ画素及びＳＤ画素でなる一組の学習データによつて予測係数を用いた線形一次結合モデルによつて表わす。このとき用いた予測係数を最小自乗法を用いて求める。ここで予測係数算出回路３９は４種類の予測タツプパターンそれぞれについての予測係数を求めるようになされている。
【００２５】
このとき最小誤差検出回路４０において、４種類の予測タツプパターンによる予測係数の計算過程で得られる予測誤差の最小のものを検出して、その検出結果を予測係数選択部４１及び制御ＲＯＭ１５に送出する。予測係数選択部４１は、この最小誤差検出回路４０の検出結果に基づいて各クラスについて予測誤差が最小となる予測タツプパターンを選択して各クラスに対応付けて制御ＲＯＭ１５に登録する。さらに予測係数選択部４１は予測誤差が最小となる予測係数（予測データd1）を予測係数ＲＯＭ１４に送出する。
【００２６】
これにより予測係数ＲＯＭ１４には各クラス番号cnに対応付けられた予測データd1が格納される。また制御ＲＯＭ１４には４種類の予測タツプパターンのいずれかが各クラス番号cnに対応付けられて登録される。
なお、このように学習データを生成する際に、１つの画像のみを用いるのではなく複数の画像を用いて多数の学習データを生成すれば、より正確な予測係数を得ることができる。
【００２７】
以下に上述した予測係数の具体的な学習方法について、図４に示す予測係数学習手順にそつて説明する。予測係数学習手順はステツプＳＰ１で開始されると、先ずステツプＳＰ２において予測係数を学習するために、入力ＨＤ画像信号Ｓ20からクラス学習データを生成する。
【００２８】
ステツプＳＰ３では、ステツプＳＰ２で生成した学習データの数が予測係数を得るのに必要なだけ生成されたか否か判定する。ここで学習データ数が必要数に満たないと判定された場合には予測係数学習手順はステツプＳＰ４に移る。
ステツプＳＰ４では、クラス学習データをクラス分類する。クラス分類は先ず、初めに学習サンプリングデータの局所的な平坦度を検出し、当該検出結果に応じてクラス分類に用いる画素を選択する。これにより入力信号の変化の小さいものを学習対象から除外してノイズの影響を排除することができる。このクラス学習データのクラス分類は入力ＳＤ画像信号Ｓ1 をクラス分類する場合と同様の処理を実行することによつてなされる。
【００２９】
続いて予測係数学習手順はステツプＳＰ５において、クラス分類された学習データに基づき、各クラス毎に正規化方程式を形成する。
ステツプＳＰ５での処理を具体的に説明する。ここでは一般化するために学習データとしてｎ個のサンプリング画素が存在する場合について述べる。先ず各サンプリング画素の画素レベルｘ1 、……、ｘn と注目補間画素のサブサンプル以前の画素レベルｙの関係を、クラス毎に予測係数ｗ1 、……、ｗn によるｎタツプの線型一次結合モデルによる予測式で表す。この予測式を次式
【数３】
この（３）式における予測係数ｗ1 、……、ｗn を求めることにより、画素レベルｙを推定する。
【００３０】
次に予測係数ｗ1 、……、ｗn を最小自乗法により生成する例を示す。最小自乗法は次のように適用される。
一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の観測方程式を考える。
【数４】
【００３１】
先ず、（４）式の観測方程式をもとに、次の残差方程式を考える。
【数５】
【数６】
すなわち（６）式のｗi による偏微分が次式
【数７】
【数８】
【数９】
【数１０】
この正規方程式は、掃き出し法（Gauss-Jordanの消去法）を用いて解くことができる。
【００３２】
この予測係数学習手順では、各クラス毎に未定係数ｗ1 、……、ｗn を求めるために未知数の数ｎと同じ数の正規方程式が形成されるまでステツプＳＰ２−ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ２のループを繰り返す。
【００３３】
このようにして必要な数の正規方程式が得られると、ステツプＳＰ３では学習データが終了したか否かの判定に対して肯定結果が得られ、処理はステツプＳＰ６の予測係数決定に移る。
【００３４】
ステツプＳＰ６では、（１０）式の正規化方程式を解いて各クラス毎の予測係数ｗ1 、……、ｗn を決定する。このようにして得られた予測係数を次のステツプＳＰ７でクラス毎にアドレス分割されたＲＯＭ等の記憶手段に登録する。以上の学習により、クラス分類適応処理の予測係数が生成され次のステツプＳＰ８で予測係数学習手順を終了する。
【００３５】
このようにして個々の予測タツプパターンについて独立に予測係数を求める。このとき各クラスにおける予測誤差を同時に登録する。この予測係数学習手順では最小自乗法を用いて予測係数を生成しているので、学習途中での誤差を積算すれば容易に予測誤差を得ることができる。
【００３６】
（５）式によつて定義される誤差Ｅの自乗和は（１０）式により次式
【数１１】
ここで（・）t は転置行列を表す。
【００３７】
この（１１）式を得るために予測係数学習の際に次式
【数１２】
【数１３】
すなわち（１２）式は予測係数学習の際に入力ＳＤ画像信号データと目標ＨＤ補間画素データの積和演算を行い、さらに最終的に生成された予測係数との積和演算を行うことによつて得ることができる。また（１３）式は目標ＨＤ補間画素データの自乗和である。
【００３８】
このようにして算出される予測誤差Ｅを用いて各クラスの予測タツプパターンを選択する。予測タツプパターンは図５に示す予測タツプパターン選択手順によつてＮ種類のクラスを登録する。
【００３９】
予測タツプパターン選択手順はステツプＳＰ１において開始されると、ステツプＳＰ２において先ず、クラス番号cnを０とすることによつて初期化する。続くステツプＳＰ３ではクラス番号cnを目的の登録クラス数Ｎに達しているか否かを判定して、クラス番号cnがＮに達していない場合はステツプＳＰ４に移る。
【００４０】
ステツプＳＰ４では各クラスにおいてそれぞれ得られる４種類の予測タツプパターンの予測誤差を最小誤差検出回路４０によつて比較する。この比較結果に基づいて予測誤差が最小となる予測タツプパターンをそのクラスの選択タツプパターンp0とする。次のステツプＳＰ５では、選択タツプパターンp0をクラス番号cnに対応付けて制御ＲＯＭ１５に登録し、同時にそのときの予測係数をクラス番号cnに対応付けて予測係数ＲＯＭ１４に登録する。続くステツプＳＰ６でクラス番号cnをインクリメントしてステツプＳＰ３の処理に戻る。以下、ＳＰ４−ＳＰ５−ＳＰ６−ＳＰ３の処理を繰り返して、登録するクラス数、すなわちクラス番号cnが所定の数値Ｎに達するとステツプＳＰ７に移つて予測タツプパターン選択手順を終了する。
【００４１】
このようにして予測タツプパターン選択手順によつて得られた選択タツプパターンp0はクラス番号cnと対応付けされ制御ＲＯＭ１５に登録される。この選択タツプパターンp0とクラス番号cnとの対応関係に基づいて各パターン予測演算部２０Ａ〜２０Ｄで生成されたＨＤ補間画素をクラス分類部１２のクラス分類結果であるクラスd0に応じて選択部１６において選択する。
【００４２】
以上の構成において、入力端１１を通じてアツプコンバータ１０に入力されるＳＤ画像信号Ｓ1 はクラス分類部１２及び予測係数演算部１３に対して並列に送出される。クラス分類部１２ではＳＤ画像信号Ｓ1 に基づいてクラスd0を生成して予測係数ＲＯＭ１４に送出する。予測係数ＲＯＭ１４では予め学習によつて求められている予測データd1をクラスd0に応じて読み出し、予測係数演算部１３に送出する。予測係数演算部１３では各予測演算部１３Ａ〜１３Ｄにおいて入力端１１から送出されてくるＳＤ画像信号Ｓ1 及び予測係数ＲＯＭ１４から送出される予測データd1をもとにして走査線上の４つの位置（mode1 〜mode4)に対応したＨＤ補間画素を生成する。
【００４３】
各予測演算部１３は、それぞれに設けられたパターン予測演算部２０Ａ〜２０Ｄにおいて予測データd1に基づいて４種類の異なつた予測タツプパターンによるＨＤ補間画素の予測値d2〜d5を生成して次段の選択部１６に送出する。
予測タツプパターンはそれぞれ２次元に等方な相関を有する標準的なタツプパターン（図２（Ａ））、垂直、水平方向に相関の大きい信号に対して有効なタツプパターン、（図２（Ｂ）及び（Ｃ））及び広い領域での変化を予測に反映させるタツプパターン（図２（Ｄ））が設定されている。これにより各予測タツプパターンによる所定ブロツク単位のＳＤ画像信号Ｓ1 から上述した特性を有する４種類のＨＤ補間画素の予測値d2〜d5が生成される。
【００４４】
一方、制御ＲＯＭ１５はクラスd0に対応する予測タツプパターンp0を読み出し、これに基づいた選択データd6を用いて選択部１６においてＨＤ補間画素を選択する。これによりクラスd0に応じて入力ＳＤ画像信号Ｓ１ の信号特性を適切に反映したＨＤ補間画素が得られる。このようにして選択されたＨＤ補間画素d10 〜d13 は次段の選択部１７に送出され、選択部１７において直列化された後、ＨＤ画像信号Ｓ２ として出力される。
【００４５】
以上の構成によれば、アツプコンバータ１０に入力されるＳＤ画像信号Ｓ1 をクラス分類して得られるクラスd0に応じて信号特性の表現の異なつた４種類の予測タツプパターンによつて生成したＨＤ補間画素を選択するようにしたことにより、入力ＳＤ画像信号Ｓ1 の信号特性を適切に反映した所望のＨＤ補間画素を得ることができる。これにより入力ＳＤ画像信号Ｓ1 の特性が反映された高解像度のＨＤ画像信号Ｓ2 を生成することができる。
【００４６】
なお上述の実施例においては、タツプデータのデータ圧縮にＡＤＲＣの手法を用いた場合について述べたが、本発明はこれに限らず、例えばＤＰＣＭ（Differential Pulse Code Modulatin ）やＶＱ（Vector Quantization ）の手法を用いてデータ圧縮しても良い。
【００４７】
また上述の実施例においては、パターン予測演算部２０Ａ〜２０Ｄを４種類として予測タツプパターンを４種類に設定した場合について述べたが、本発明はこれに限らず、２種類又は５種類以上のタツプパターンを設定しても良い。
【００４８】
また上述の実施例においては、アツプコンバータとして２次元ノンセパラブルフイルタを用いた場合について述べたが、本発明はこれに限らず、図１との対応部分に同符号を付した、図６に示すような垂直／水平セパラブル構成でなるアツプコンバータ４５を用いても上述した場合と同様の効果が得られる。
【００４９】
すなわちアツプコンバータ４５においては、先ず、入力端４６を通じて入力されたＳＤ画像信号Ｓ1 がクラス分類部１２と予測演算部４８に供給される。予測演算部４８は走査線１の位置mode1 、mode2 に対応する垂直予測演算部４８Ａ及び水平予測演算部４８Ｂと走査線１の位置mode3 、mode4 に対応する垂直予測演算部４８Ｃ及び水平予測演算部４８Ｄの２種類に分かれる。クラス分類部１２では入力ＳＤ画像信号Ｓ1 に応じたクラスd0が生成される。クラスd0は予測係数の垂直成分を記憶する垂直係数ＲＯＭ４９Ａ及び水平成分を記憶する水平係数ＲＯＭ４９Ｂに送出される。クラスd0は同時に、入力ＳＤ画像信号Ｓ1 に対する予測タツプパターンを記憶する垂直部用の制御ＲＯＭ５０Ａ及び水平部用の制御ＲＯＭ５０Ｂにも送出される。
【００５０】
まず垂直係数ＲＯＭ４９Ａより出力される垂直予測係数d15 は垂直予測演算部４８Ａ及び４８Ｃに供給される。
垂直予測演算部４８Ａの各パターン予測演算部５１Ａ〜５１Ｄでは入力ＳＤ画像信号Ｓ1 と垂直予測係数d15 による積和演算により垂直推定値d20 〜d23 が生成される。この垂直推定値d20 〜d23 は選択部５３に送出される。選択部５３は制御ＲＯＭ５０Ａから供給される制御信号d24 によつて垂直推定値d20 〜d23 から垂直推定値d25 を選択する。垂直推定値d25 は次段の水平予測演算部４８Ｂに供給される。
【００５１】
水平予測演算部４８Ｂ及び４８Ｄの各パターン予測演算部５２Ａ〜５２Ｄには水平係数ＲＯＭ４９Ｂより生成される水平予測係数d16 及び垂直推定値d25 が供給され、積和演算によりＨＤ補間画素の予測値d26 〜d29 を得る。
この予測値d24 〜d25 は選択部５４において、制御ＲＯＭ５０Ｂから送出される制御信号d30 によつて適応的に選択されその結果、ＨＤ補間画素d31 が次段の選択部１５に伝送される。同様の処理が垂直予測演算部４８Ｃ及び水平予測演算部４８Ｄにおいてなされ、選択部５４からＨＤ補間画素d32 が次段の選択部１５に伝送される。このようにして得られたＨＤ補間画素d31 及びd32 は選択部１５において適切に並び替えられ、出力端５５より最終的な出力であるＨＤ画像信号Ｓ２ として出力される。
【００５２】
また上述の実施例においては、各予測タツプパターン毎に予測値を並列に生成するため各予測タツプパターン毎に予測演算部を設けた場合について述べたが、本発明はこれに限らず、予測タツプパターンをクラスc0に応じて切り替える選択部を予測演算部の前段に設置しても良く、これにより１組だけの予測演算部によつて上述した実施例と同様の処理ができる。
【００５３】
また上述の実施例においては、ＳＤ画像信号をＨＤ画像信号に信号変換した場合について述べたが、本発明はこれに限らず、画像拡大する際の補間画素を生成するのに用いても良い。
【００５４】
【発明の効果】
上述のように本発明によれば、第１の画像信号をより高解像度な第２の画像信号に変換する信号変換装置において、第２の画像信号の注目画素周辺における第１の画像信号の複数画素の信号特性に応じて当該第１の画像信号をクラス分類し、第２の画像信号における注目画素を生成するためのクラス毎の予測係数それぞれが当該クラスに対応付けして記憶された予測係数記憶手段から、当該クラス分類で得られたクラスに対応する予測係数を出力し、第１の画像信号から、クラス分類で得られたクラスに応じた画素パターンの複数の画素を選択し、当該選択した複数の画素と、予測係数記憶手段から出力した予測係数とを用いた予測演算処理によつて第２の画像信号の注目画素を生成するようにし、予測演算処理の際、クラスに応じて選択する複数の画素の画素パターンを、第２の画像信号の注目画素周辺における第１の画像信号の複数の画素パターンのうち、注目画素に対する予測値と真の画素値との予測誤差が最小となる画素パターンとするようにしたことにより、第１の画像信号のクラスに応じて当該第１の画像信号から、第２の画像信号の注目画素に対する予測値と真の画素値との予測誤差が最小となる画素パターンの複数の画素を選択して当該注目画素の生成に用いることで、第１の画像信号の信号特性を適切に反映して第２の画像信号の注目画素を生成することができ、かくして第１の画像信号の信号特性に適応した高解像度の信号変換 を実行して第２の画像信号を得ることができる信号変換装置及び信号変換方法を実現することができる。
【図面の簡単な説明】
【図１】２次元ノンセパラブルフイルタで構成されるアツプコンバータを示すブロツク図である。
【図２】補間画素生成の予測タツプパターンを示す略線図である。
【図３】予測係数学習回路の構成を示すブロツク図である。
【図４】予測係数の学習手順を示すフローチヤートである。
【図５】予測タツプパターンの選択手順を示すフローチヤートである。
【図６】垂直／水平セパラブルフイルタによるアツプコンバータを示すブロツク図である。
【図７】ＨＤ画像を示す略線図である。
【図８】従来の２次元ノンセパラブルフイルタを示すブロツク図である。
【図９】従来の垂直／水平セパラブルフイルタを示すブロツク図である。
【符号の説明】
１……走査線、２、３……補間フイルタ、４Ａ〜４Ｄ……２次元フイルタ、５、８、１５、４５……選択部、６Ａ、６Ｂ、４８Ａ、４８Ｃ……垂直補間フイルタ、７Ａ、７Ｂ、４８Ｂ、４８Ｄ……水平補間フイルタ、１０、４５……アツプコンバータ、１１、４６……入力端、１２……クラス分類部、１３、４３……予測演算部、１４、４９Ａ、４９Ｂ……予測係数ＲＯＭ、１５、５０Ａ、５０Ｂ……制御ＲＯＭ、１８、５３……出力端、２０Ａ〜２０Ｄ……パターン予測演算部。
Claims (6)
- 第１の画像信号をより高解像度な第２の画像信号に変換する信号変換装置において、
上記第２の画像信号の注目画素周辺における上記第１の画像信号の複数画素の信号特性に応じて当該第１の画像信号をクラス分類し、当該分類結果でなるクラスを出力するクラス分類手段と、
上記第２の画像信号における注目画素を生成するための上記クラス毎の予測係数それぞれが当該クラスに対応付けして記憶され、上記クラス分類手段から出力された上記クラスに対応する上記予測係数を出力する予測係数記憶手段と、
上記第１の画像信号から、上記クラス分類手段から出力された上記クラスに応じた画素パターンの複数の画素を選択し、当該選択した上記複数の画素と、上記予測係数記憶手段から出力された上記予測係数とを用いた予測演算処理によつて上記第２の画像信号の上記注目画素を生成する予測演算手段と
を具え、
上記予測演算手段によつて上記クラスに応じて選択された上記複数の画素の上記画素パターンは、上記第２の画像信号の上記注目画素周辺における上記第１の画像信号の複数の画素パターンのうち、上記注目画素に対する予測値と真の画素値との予測誤差が最小となる画素パターンである
ことを特徴とする信号変換装置。 - 上記予測演算手段は、
上記第１の画像信号から複数の上記画素パターンそれぞれに対応する上記複数の画素を抽出し、当該抽出した上記複数の画素と、上記予測係数記憶手段から出力された上記予測係数とを用いた予測演算処理によつて各上記画素パターンに応じた複数の上記注目画素の上記予測値を生成する演算手段と、
上記第１の画像信号の上記複数画素の上記信号特性に応じた上記クラス毎の上記画素パターンそれぞれを当該クラスに対応付けて記憶し、上記クラス分類手段から出力された上記クラスに対応する上記画素パターンを選択する制御手段と、
上記演算手段によつて生成された各上記画素パターンに応じた複数の上記予測値から、上記制御手段によつて選択された上記画素パターンに応じた上記予測値を上記注目画素として選択する選択手段と
を具えることを特徴とする請求項１に記載の信号変換装置。 - 上記予測演算手段によつて上記クラスに応じて選択された上記画素パターンは、
上記クラス毎に上記第２の画像信号を用いて上記複数の画素パターンのそれぞれに対応する複数の上記予測係数を求めた際、当該複数の上記予測係数をそれぞれ用いて生成される上記注目画素について上記予測値と上記真の画素値との上記予測誤差が最小となる上記予測係数に対応した上記画素パターンであり、
上記予測係数記憶手段に記憶される上記予測係数は、
上記予測誤差が最小となる上記予測係数である
ことを特徴とする請求項１に記載の信号変換装置。 - 第１の画像信号をより高解像度な第２の画像信号に変換する信号変換方法において、
上記第２の画像信号の注目画素周辺における上記第１の画像信号の複数画素の信号特性に応じて当該第１の画像信号をクラス分類し、当該分類結果でなるクラスを得るクラス分類ステツプと、
上記第２の画像信号における注目画素を生成するために上記クラス毎に予め設定した予測係数のうち、上記クラス分類ステツプで得られた上記クラスに対応する上記予測係数を選択する予測係数選択ステツプと、
上記第１の画像信号から、上記クラス分類ステツプで得られた上記クラスに応じた画素パターンの複数の画素を選択し、当該選択した上記複数の画素と、上記予測係数選択ステツプで選択された上記予測係数とを用いた予測演算処理によつて上記第２の画像信号の上記注目画素を生成する予測演算ステツプと
を具え、
上記予測演算ステツプで上記クラスに応じて選択された上記複数の画素の上記画素パターンは、上記第２の画像信号の上記注目画素周辺における上記第１の画像信号の複数の画素パターンのうち、上記注目画素に対する予測値と真の画素値との予測誤差が最小となる画素パターンである
ことを特徴とする信号変換方法。 - 第１の画像信号より高解像度な第２の画像信号を当該第１の画像信号に変換する画像信号変換手段と、
上記画像信号変換手段から出力された上記第１の画像信号をクラス分類し、得られた分類結果でなるクラスを出力するクラス分類手段と、
上記画像信号変換手段から出力された上記第１の画像信号に基づいて画素パターンを複数設定するパターン設定手段と、
上記画像信号変換手段から出力された上記第１の画像信号の所定の画素から上記第２の画像信号の画素に変換するための予測式の係数データを、複数の上記画素パターンそれぞれについて生成する係数算出手段と、
各上記画素パターンそれぞれについて生成された上記係数データを用いて上記予測式により上記第１の画像信号の上記所定の画素から上記第２の画像信号の上記画素に変換した際に、当該第１の画像信号の上記所定の画素から上記第２の画像信号の上記画素への変換の誤差が最小となる上記画素パターンを選択する選択手段と、
上記選択手段によつて選択された上記画素パターンを上記クラスに対応させて格納するメモリと
を具えることを特徴とする係数学習装置。 - 第１の画像信号より高解像度な第２の画像信号を当該第１の画像信号に変換する画像信号変換ステツプと、
上記画像信号変換ステツプで上記第２の画像信号から変換して得られた上記第１の画像信号をクラス分類し、得られた分類結果でなるクラスを得るクラス分類ステツプと、
上記画像信号変換ステツプで上記第２の画像信号から変換して得られた上記第１の画像信号に基づいて画素パターンを複数設定するパターン設定ステツプと、
上記画像信号変換ステツプで上記第２の画像信号から変換して得られた上記第１の画像信号の所定の画素から上記第２の画像信号の画素に変換するための予測式の係数データを、複数の上記画素パターンそれぞれについて生成する係数算出ステツプと、
各上記画素パターンそれぞれについて生成された上記係数データを用いて上記予測式により上記第１の画像信号の上記所定の画素から上記第２の画像信号の上記画素に変換した際に、当該第１の画像信号の上記所定の画素から上記第２の画像信号の上記画素への変換の誤差が最小となる上記画素パターンを選択する選択ステツプと、
上記選択ステツプで選択された上記画素パターンを上記クラスに対応させて格納する格納ステツプと
を具えることを特徴とする係数学習方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10069295A JP3669522B2 (ja) | 1995-03-31 | 1995-03-31 | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10069295A JP3669522B2 (ja) | 1995-03-31 | 1995-03-31 | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08275118A JPH08275118A (ja) | 1996-10-18 |
| JP3669522B2 true JP3669522B2 (ja) | 2005-07-06 |
Family
ID=14280789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10069295A Expired - Lifetime JP3669522B2 (ja) | 1995-03-31 | 1995-03-31 | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3669522B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1197946B1 (en) | 2000-02-10 | 2007-04-04 | Sony Corporation | Image processing device and method, and recording medium |
| US7689105B2 (en) | 2002-03-08 | 2010-03-30 | Sony Corporation | Record medium and its reproducer, reproducing method, record medium manufacturing apparatus, record medium manufacturing method, and recorder |
| JP4590827B2 (ja) * | 2002-03-08 | 2010-12-01 | ソニー株式会社 | 記録媒体及び記録装置 |
-
1995
- 1995-03-31 JP JP10069295A patent/JP3669522B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08275118A (ja) | 1996-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5940132A (en) | Image signal converting apparatus | |
| KR100465559B1 (ko) | 신호변환장치및신호변환방법 | |
| JP3845870B2 (ja) | ディジタル信号処理用集積回路 | |
| JP3794505B2 (ja) | 信号変換装置及び信号変換方法 | |
| JPH11191880A (ja) | 画像変換装置および画像変換方法、並びに学習装置および学習方法 | |
| JP2000244851A (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP3321915B2 (ja) | 画像信号変換装置 | |
| JP3859089B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3669522B2 (ja) | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP3671469B2 (ja) | 予測係数の学習方法並びに信号変換装置および方法 | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3743077B2 (ja) | 画像信号変換装置および方法 | |
| JP2000152250A (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP2010118940A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3334468B2 (ja) | 量子化ビット数変換装置および方法 | |
| JP3856244B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3867730B2 (ja) | ディジタル信号処理用集積回路 | |
| US8228995B2 (en) | Image processing apparatus, image processing method, and program | |
| JPH0730859A (ja) | フレーム補間装置 | |
| JP3772408B2 (ja) | 画像信号変換装置および方法 | |
| JPH0775066A (ja) | 画像信号変換装置 | |
| JP4131049B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP2005051638A (ja) | 信号処理装置および信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041126 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050325 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050407 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080422 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110422 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110422 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120422 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120422 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |