JP3831955B2 - クラス分類適応処理装置および方法 - Google Patents
クラス分類適応処理装置および方法 Download PDFInfo
- Publication number
- JP3831955B2 JP3831955B2 JP13836495A JP13836495A JP3831955B2 JP 3831955 B2 JP3831955 B2 JP 3831955B2 JP 13836495 A JP13836495 A JP 13836495A JP 13836495 A JP13836495 A JP 13836495A JP 3831955 B2 JP3831955 B2 JP 3831955B2
- Authority
- JP
- Japan
- Prior art keywords
- coefficient data
- image information
- class
- data
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【産業上の利用分野】
この発明は、例えば入力のデータの時空間画素をブロック化し、それを何らかの手法によりクラス分類し、このクラス毎に線形一次結合でモデル化し、最小二乗法で学習することにより係数データを得て、その係数データを用いて処理を行うクラス分類適応処理装置および方法に関する。
【０００２】
【従来の技術】
従来、クラス分類適応処理を応用したものとして、ＳＤ（Standerd Definition ）からＨＤ（High Definition ）への画像情報変換装置、時空間モデル符号化、ＭＵＳＥの画質改善、コンポジット信号のＹ／Ｃ分離など様々なアプリケーションのアイデアが出願されている。すなわち、ある大きさの時空間の画素をブロック化し、これを何らかの手法（例えばＡＤＲＣ（Adaptive Dynamic Range Coding ））によりクラス分類し、このクラス毎に線形一次結合でモデル化、つまり予測式を立て、最小二乗法などを用いて学習することにより係数データを得るというものである。
【０００３】
上述の手順の学習によって算出された係数データは、係数ＲＯＭあるいはＲＡＭ（以下、係数ＲＯＭと称する）に蓄えられる。演算精度を保つためには、各係数データにある程度以上の語長を持たすことが必要である。通常のフィルタリングあるいは適応処理の場合、この係数データは１組あるいは高々数組である。そのため、各係数データの語長を長く取っても、係数データを格納する係数ＲＯＭの大きさは問題にならないほど小さく済む。
【０００４】
しかしながら、一般にクラス分類適応処理においては、分割するクラス数が多いほど高性能の処理を実現することができる。そのため、高い性能を要求するアプリケーションにおいては、多くのクラスに分割する必要がある。したがって、その場合、係数データを格納しておく係数ＲＯＭの容量は、クラス数に応じて大きなものになり、そのままの形ではハードウェア的に実現が困難な場合があった。
【０００５】
この係数ＲＯＭの容量削減には、２つのアプローチが考えられる。ひとつはクラス数の削減、もうひとつは係数データの語長の削減である。クラス数の削減のアプローチについては他に譲ることとし、ここでは係数データの語長の削減についてのみ考える。係数データの語長の削減のもっとも単純な方法は、各係数データの語長を短く制限することである。例えば、元々ｎビットの語長で格納されていた係数データをｎ／２ビットにすれば、それだけで係数ＲＯＭの大きさを１／２にすることができる。しかしながら、係数データの語長の単純な削除が過度に行われた場合、計算精度が著しく劣化するという問題がある。
【０００６】
これに対する１つの改善法に、ＡＤＲＣを用いて係数の正規化を行った後、係数ＲＯＭに格納するという方式がある。この方式を用いることにより、与えられた語長を有効利用することが出来るため、係数データの誤差自体は著しく減少する。しかしながら、語長によっては上述の手法を用いても係数データに大きな誤差が発生する場合があり、また推定演算式のゲインが変化する問題は、視覚的にも重要である。このゲインの変化について詳しく述べる。
【０００７】
クラス分類適応処理は、入力のデータの時空間画素をブロック化し、それを何らかの手法によりクラス分類し、このクラス毎に線形一次結合でモデル化し、最小二乗法で学習することにより係数データを得て、その係数データを用いて処理を行うものである。具体的には、入力画像レベルｘ1 、ｘ2 、・・・、ｘn と出力画像レベルｙの間で、クラス毎に係数データｗ1 、・・・、ｗn によるｎタップの線形推定式を設定し、それを正規方程式をたてることにより解き、係数データｗ1 、・・・、ｗn を決定し、それを用いて入力画像と出力画像の間の変換を行う。
【０００８】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn （１）
【０００９】
このような線形推定式において係数データの和（ｗ1 ＋ｗ2 ＋・・・＋ｗn ）をフィルタのゲインと呼ぶが、一般にこのゲインはどのクラスにおいても1.0 に非常に近い値となる。
【００１０】
しかしながら、係数データの語長制限などによって各係数データが誤差を持った場合、各クラスのフィルタのゲインは必ずしも1.0 に近い値をとらない。通常の場合は、各々の誤差が加算されて1.0 からかけ離れた値をとることもある。
【００１１】
例えば、簡単のため、輝度変化のほどんどない領域において、ゲインが1.0 から大きく外れたクラスを用いて画像変換を行ったと考えてみる。本来なら画像変換してもほとんどデータは変化しないはずであるが、係数データが誤差を持ち、さらにゲインが1.0 から大きく外れていることにより、変換によりデータが大きく変化し、その部分の輝度（すなわちクロマ、色相など）が大きく変わることにより、明るさが原画と異なってくるため、その部分の劣化が目立つことになる。
【００１２】
以上のように、フィルタのゲインの値が大きく変化することは視覚的に大きな劣化を導くことがあった。
【００１３】
【発明が解決しようとする課題】
この発明は、上述の問題点に鑑みてなさたものであり、クラス分類適応処理において、容量を削減しても結果の劣化が最小限にとどまるような係数ＲＯＭの提供を目的とする。
【００１４】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換装置において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割する画像情報分割手段と、
画像情報分割手段により分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
語長が制限された複数の係数データがクラス情報毎に記憶されており、クラス検出手段からのクラス情報に応じて複数の係数データを出力する係数データ記憶手段と、
係数データ記憶手段から供給された複数の係数データの総和が略1.0 となるように変換する補正手段と、
推定式を用いて、変換された複数の係数データと、外部から供給された画像情報とから、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力する画像情報変換手段と
を有することを特徴とするクラス分類適応処理装置である。
【００１５】
さらに、請求項２に記載の発明は、第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換装置において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割する画像情報分割手段と、
画像情報分割手段により分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
語長が制限された複数の係数データに正規化を施し、正規化が施された複数の係数データがクラス情報毎に記憶されており、クラス検出手段からのクラス情報に応じて複数の係数データを出力する係数データ記憶手段と、
正規化が施された複数の係数データを推定式に用いられる複数の係数データへ変換する係数変換手段と、
係数変換手段から供給された複数の係数データの総和が略1.0 となるように変換する補正手段と、
推定式を用いて、変換された複数の係数データと、外部から供給された画像情報とから、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力する画像情報変換手段と
を有することを特徴とするクラス分類適応処理装置である。
【００１６】
また、請求項４に記載の発明は、第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換方法において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割するステップと、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するステップと、
語長が制限された複数の係数データがクラス情報毎に記憶されており、クラス情報に応じて複数の係数データを出力するステップと、
供給された複数の係数データの総和が略1.0 となるように変換するステップと、
推定式を用いて、変換された複数の係数データと、外部から供給された画像情報とから、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力するステップと
を有することを特徴とするクラス分類適応処理方法である。
【００１７】
そして、請求項５に記載の発明は、第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換方法において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割するステップと、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するステップと、
語長が制限された複数の係数データに正規化を施し、正規化が施された複数の係数データがクラス情報毎に記憶されており、クラス情報に応じて複数の係数データを出力するステップと、
正規化が施された複数の係数データを推定式に用いられる複数の係数データへ変換するステップと、
供給された複数の係数データの総和が略1.0 となるように変換するステップと、
推定式を用いて、変換された複数の係数データと、外部から供給された画像情報とから、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力するステップと
を有することを特徴とするクラス分類適応処理方法である。
【００１８】
【作用】
クラス分類適応処理装置および方法において、語長制限されて記録されている係数データを用いて推定演算を行う場合、ゲイン補正を行い、ゲインが略1.0 に変化された係数データを用いることにより、記録情報量は増やさずに計算結果の精度を上げる。
【００１９】
【実施例】
以下、この発明のクラス分類適応処理装置および方法の実施例について図面を参照しながら説明する。図１は、この一実施例、すなわち画像信号変換装置のＲＯＭテーブルに格納される係数データの作成方法について説明したブロック図である。
【００２０】
係数データを学習により得るためには、まず、既に知られているＨＤ画像に対応した、ＨＤ画像の１／４の画素数のＳＤ画像を生成する。具体的には、理想フィルタ回路により、入力端子１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフィルタ２により、フィールド内の垂直方向の周波数が１／２になるように間引き処理し、さらに水平間引きフィルタ３により、ＨＤデータの水平方向の画素を間引き処理することにより、１／４の画素数のＨＤ画像、すなわちＳＤ画像が生成される。
【００２１】
水平間引きフィルタ３の出力信号は、領域分割化回路４に供給される。領域分割化回路４では、供給されたＳＤ画像信号が複数の領域に分割される。複数の領域に分割されたＳＤ画像信号は、ＡＤＲＣ符号化回路５に供給される。
【００２２】
ＡＤＲＣ符号化回路５は、分割された領域毎に供給されるＳＤデータの一次元的あるいは二次元的なレベル分布のパターンを検出すると共に、各領域の全てのデータあるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを生成し、このパターン圧縮データをクラスコード発生回路６に供給する。
【００２３】
クラスコード発生回路６は、ＡＤＲＣ符号化回路５から供給されるパターン圧縮データに基づいて、その領域が属するクラスを決定し、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路６は、クラスコードを正規方程式加算回路８に出力する。
【００２４】
正規方程式加算回路８には、クラスコード発生回路６の出力データの他に、領域分割化回路４より供給されたＳＤデータ、水平間引きフィルタ３より供給されたＨＤデータが入力される。正規方程式加算回路８は、これらのデータを用いて、正規方程式の加算を行い、全てのトレーニングデータの入力が終了した後、予測係数決定回路９に正規方程式データを出力する。
【００２５】
予測係数決定回路９は、正規方程式を掃き出し法などの一般的な行列解法を用いてそれを解き、予測係数を算出する。予測係数決定回路９により算出された予測係数は、係数データとしてメモリ１０に格納される。このメモリ１０は、図２に示すように、各クラスのタップ毎に係数データが格納され、係数ＲＯＭが生成される。
【００２６】
続いて、上述の手法により生成された係数ＲＯＭを使用し、実際にクラス分類適応処理を用いた画像信号変換装置の信号処理の概略的構成を図３に示す。２１で示す入力端子から、ＳＤデータが供給される。このＳＤデータは、外部から供給された画像情報、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化されたものである。入力端子２１から供給されたＳＤデータは、領域分割化回路２２に供給される。
【００２７】
領域分割化回路２２は、生成するＨＤ画素の時間的、空間的に近傍に位置するＳＤ画素を抽出する処理を行う。領域分割化回路２２により抽出された複数のＳＤ画素がクラス分類回路２３および遅延回路２７に供給される。遅延回路２７は、クラス分類回路２３、クラスコード発生回路２４、ＲＯＭテーブル２５およびゲイン補正回路２６の処理に必要な時間だけデータを遅延させて推定演算回路２８に出力する。
【００２８】
クラス分類回路２３は、領域毎に供給されるＳＤ画素の１次元的あるいは２次元的なレベル分布のパターンを検出するためのものである。例えば、ＡＤＲＣをクラス分類回路２３で用いることにより、各領域のＳＤ画素を例えば８ビットのＳＤ画素から２ビットのＳＤ画素に圧縮するような演算を行うとにより、各領域でのパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２４に供給する。
【００２９】
クラスコード発生回路２４は、クラス分類回路２３から供給されるパターン圧縮データに基づいて、その領域が属するクラスを検出し、そのクラスを示すクラスコードが係数ＲＯＭの構成をなすＲＯＭテーブル２５へ供給される。このクラスコードは、ＲＯＭテーブル２５からの読み出しアドレスを示すものとなっている。
【００３０】
ＲＯＭテーブル２５には、上述のような手法により、線形推定式を用いてＳＤ画素に対応するＨＤ画素を算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりＳＤ画素を、この画像情報よりも高い解像度の画像情報である、いわゆるハイビジョンの規格に合致したＨＤ画素に変換するための情報である。ＲＯＭテーブル２５からは、クラスコードで示されるアドレスによって、そのクラスの係数データが読み出され、この係数データは、ゲイン補正回路２６に供給される。
【００３１】
係数ＲＯＭからは語長制限されて格納された係数データが読み出されるため、各クラスのフィルタのゲインは、必ずしも1.0 に近い値を取らない。これが変換画像の劣化を生むのは、上述した通りである。そこで、この実施例では、各クラスのゲイン補正を行うことにより、その欠点を補う。そのＲＯＭテーブル２５とゲイン補正回路２６の概略的構造を図４に示す。
【００３２】
推定演算回路２８は、遅延回路２７を介して領域分割化回路２２から供給されるＳＤ画素およびゲイン補正回路２６から供給される係数データを用いて、ＳＤ画素に対応するＨＤ画素を算出する。作成されたＨＤ画素は、水平補間フィルタ３０に供給される。
【００３３】
水平補間フィルタ２９は、補間処理により水平方向の画素数を２倍にするものである。水平補間フィルタ２９の出力は、出力端子３０を介して出力される。この出力端子３０を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像器やＨＤビデオテープレコーダ装置等に供給される。
【００３４】
ここで、図５を用いてゲイン補正回路２６の説明を行う。例えば、推定演算式がｎタップであった場合、クラスコード発生回路２４からの信号により、ＲＯＭテーブル２５からの出力信号は、ゲイン補正回路２６の中の加算回路４１に供給される。加算回路４１は、供給されたｗ1 、・・・、ｗn のｎ個の係数データの加算を行い、その加算値ａを補正係数決定回路４２に供給する。
【００３５】
ａ＝ｗ1 ＋ｗ2 ＋・・・＋ｗn （２）
【００３６】
本来、この加算値ａ、すなわちフィルタのゲインは1.0 に近い値を取るはずである。しかしながら、係数データの語長制限によりこのゲインが1.0 とかけ離れた値を取る場合があるのは上述した通りである。補正係数決定回路４２は、フィルタのゲインが略1.0 となるような補正係数ｂを決定する。
【００３７】
ｂ＝１／ａ （３）
【００３８】
補正係数決定回路４２の出力信号、すなわち決定された補正係数ｂは、乗算器４３1 〜４３n に送られ、そこで各々の係数に掛け合わされ、その乗算器４３1 〜４３n の出力値ｚ1 、ｚ2 、・・・、ｚn が推定演算回路２８に出力される係数である。
【００３９】
ｚ1 ＝ｂｗ1
ｚ2 ＝ｂｗ2
・・・・・
ｚn ＝ｂｗn （４）
【００４０】
ここで、係数ＲＯＭの容量を削減するために、上述のゲイン補正に対して係数データの正規化を組み合わせた他の実施例を図６に示す。この他の実施例は、図１に示した一実施例に対して係数符号化回路１１を加えた構成であるため、ここでは、係数符号化回路１１に関する説明を行う。上述したように、予測係数決定回路９では、掃き出し法などの一般的な行列解法を用いて、予測係数が算出され、その予測係数は、係数符号化回路１１に供給される。
【００４１】
予測係数決定回路９により算出された予測係数は、係数符号化回路１１において、例えばＡＤＲＣの符号化を行うことにより係数データの正規化が行われ、メモリ１０に格納される。より具体的には、図７に示すようにＡＤＲＣエンコードからなる係数符号化回路１１を用いて係数データの正規化を行うことによりデータ領域の持つ語長の範囲を完全に活かした係数データが生成される。
【００４２】
ここで、係数符号化回路１１とメモリ１０のより詳細なブロック図の一例を図８に示す。予測係数決定回路９から供給される係数データが入力端子５１を介してタップ分割回路５３へ供給され、供給される係数データに応じたコントロール信号が入力端子５２からタップ分割回路５３へ供給される。タップ分割回路５３では、そのコントロール信号に基づいて供給された係数データが各タップに分割される。各タップに分割された係数データは、それぞれのタップの端子を介してＡＤＲＣエンコード回路５４へ供給される。
【００４３】
ＡＤＲＣエンコード回路５４において、係数データが各タップ毎に最大値ＭＡＸおよび最小値ＭＩＮなどが検出され、ＡＤＲＣエンコードが行われメモリ１０へ供給される。メモリ１０では、入力端子５２からのコントロール信号に応じて所定のクラスおよび所定のタップへ格納される。
【００４４】
すなわち、ＡＤＲＣエンコード回路５４0 では、各クラスのタップ０の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ＡＤＲＣエンコードが行われる。同様に、ＡＤＲＣエンコード回路５４1 では、各クラスのタップ０の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ＡＤＲＣエンコードが行われる。このＡＤＲＣエンコード回路５４において、エンコードされた係数データは、図７に示すように、タップ毎に各クラスに格納され、さらに最小値ＭＩＮとダイナミックレンジＤＲもタップ毎に格納される。
【００４５】
この一例では、最小値ＭＩＮとダイナミックレンジＤＲがタップ毎に格納されているが、タップ毎に格納されるデータは、最大値ＭＡＸと最小値ＭＩＮまたは最大値ＭＡＸとダイナミックレンジＤＲでも良い。さらに、この格納されたデータは、エンコードされる前のデータで格納される。
【００４６】
このような手法は、係数データがタップ毎に相関を持っているため、効率の良い量子化が行われる。さらに、タップによって、係数データのレベルの集中が高いものと、低いものとがあるため、量子化を行うときの割り当てビット数を変えても良い。
【００４７】
上述したように従来の手法によると、予測係数決定回路９により算出された予測係数は、そのままメモリ１０に格納されていた。その場合、メモリの大きさにより語長が制限され、単純に下位ビットデータが削減された形で格納されていた。そのため、語長が短く制限された場合、係数データの誤差が大きくなり、結果的に計算精度が劣化する現象を引き起こす。
【００４８】
この他の実施例において、ＡＤＲＣを用いて係数データの正規化を行うことにより本来格納できる領域の範囲を完全に活かした格納データ生成方式を行う。本来、ＡＤＲＣは、ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であるが、ここでは、格納データ生成のための正規化に使用している。ＡＤＲＣ回路は、係数データのダイナミックレンジをＤＲ、格納するデータの語長をｎ、各係数データのデータレベルをＬ、再量子化コードすなわち係数ＲＯＭに格納するコードをＱとして以下の式（５）により係数データの最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行うことにより、正規化を実施する。扱うデータが自然数ではなく、符号付きの小数点データであるため通常のＡＤＲＣとは多少異なっているが原理的には同一である。
【００４９】
ＤＲ＝ＭＡＸ−ＭＩＮ
Ｑ＝〔（Ｌ−ＭＩＮ）・２n ／ＤＲ〕 （５）
ただし、Ｑの最大値は２n −１とする。
【００５０】
ここで、係数データの最大値ＭＡＸおよび最小値ＭＩＮの検出は、各タップ毎に行われる。これは、クラスが変化しても同一タップ内の係数データは、一般的にそれほど大きく変化せず、同一タップ内で最大値ＭＡＸおよび最小値ＭＩＮを取ることによって、そのダイナミックレンジＤＲを小さくすることができることが多いからである。また、上述したように最小値ＭＩＮとダイナミックレンジＤＲ、最大値ＭＡＸと最小値ＭＩＮあるいは最大値ＭＡＸとダイナミックレンジＤＲは、データ長を削減する前の語長で格納する。この手法を用いることにより、データ語長を可能な限り有効に使うことが出来るので単純な足切り等の手法により語長を削減した場合より、語長制限により係数データの誤差を大幅に減らすことができる。したがって、最終的な誤差も減らすことができる。
【００５１】
続いて、他の実施例において生成された係数ＲＯＭを使用した画像信号変換装置を図９に示す。この図９は、図３に示した一実施例に対して係数復号回路３１を加えた構成であるため、ここでは、係数復号回路３１に関する説明を行う。上述したように、ＲＯＭテーブル２５からは、クラスコードで示されるアドレスによって、そのクラスの係数データが読み出され、この係数データは、係数復号回路３１に供給される。
【００５２】
上述の一実施例では、係数ＲＯＭには、生成された係数データがそのまま格納されていた。そのため、クラスコードに示されるアドレスから、そのクラスの係数データが読み出され、その係数データは推定演算回路２８に送られ、推定演算回路２８において、演算が実施されていた。しかしながら、このような手法では係数ＲＯＭの語長分のデータがフルに使い切れていないため、係数データの語長を短縮したときに計算精度の劣化が起こりやすい。
【００５３】
他の実施例のクラス分類適応処理装置の係数ＲＯＭには先に説明したように係数データがＡＤＲＣによって符号化された形で格納されている。そこで、この係数復号回路３１では、ＲＯＭテーブル２５に格納されている、例えば最小値ＭＩＮ、ダイナミックレンジＤＲおよび符号化された係数データＱを用いて、以下の式（６）により係数データのＡＤＲＣの復号化を行う。
【００５４】
Ｌ＝〔Ｑ・ＤＲ／２n ＋ＭＩＮ＋０．５〕 （６）
【００５５】
係数復号回路２６において、生成された復号値Ｌは、ゲイン補正回路２６に供給される。ＲＯＭテーブル２５からの係数データは、図１０に示すように、タップ毎にＡＤＲＣデコードからなる係数復号回路３１を介して、ゲイン補正回路２６において、上述したようなゲイン補正がなされた後、後段の推定演算回路２８へ供給される。
【００５６】
【発明の効果】
この発明に依れば、係数ＲＯＭの生成は、従来と同様に行い、係数ＲＯＭの使用時にのみゲイン補正回路を用いて、フィルタのゲインを略1.0 に補正することにより、語長制限による係数データの誤差およびそれによる計算結果の精度劣化を抑えることができる。
【００５７】
また、この発明に依れば、ＡＤＲＣを用いて係数データの正規化を行い係数を格納するという方式とゲイン補正を併用することで、さらなる計算精度の劣化を軽減することが可能である。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の学習時の一実施例である。
【図２】この発明に係る係数ＲＯＭ生成時の一例を示すブロック図である。
【図３】この発明に係る画像情報変換装置の一実施例である。
【図４】この発明に係る係数ＲＯＭ使用時の一例を示すブロック図である。
【図５】この発明のゲイン補正回路の一実施例である。
【図６】この発明に係る画像情報変換装置の学習時の他の実施例である。
【図７】この発明に係る係数ＲＯＭ生成時の一例を示すブロック図である。
【図８】この発明に係る係数符号化の一実施例を示すブロック図である。
【図９】この発明に係る画像情報変換装置の他の実施例である。
【図１０】この発明に係る係数ＲＯＭ使用時の一例を示すブロック図である。
【符号の説明】
２２ 領域分割化回路
２３ クラス分類回路
２４ クラスコード発生回路
２５ ＲＯＭテーブル
２６ ゲイン補正回路
２８ 推定演算回路
２９ 水平補間フィルタ
【産業上の利用分野】
この発明は、例えば入力のデータの時空間画素をブロック化し、それを何らかの手法によりクラス分類し、このクラス毎に線形一次結合でモデル化し、最小二乗法で学習することにより係数データを得て、その係数データを用いて処理を行うクラス分類適応処理装置および方法に関する。
【０００２】
【従来の技術】
従来、クラス分類適応処理を応用したものとして、ＳＤ（Standerd Definition ）からＨＤ（High Definition ）への画像情報変換装置、時空間モデル符号化、ＭＵＳＥの画質改善、コンポジット信号のＹ／Ｃ分離など様々なアプリケーションのアイデアが出願されている。すなわち、ある大きさの時空間の画素をブロック化し、これを何らかの手法（例えばＡＤＲＣ（Adaptive Dynamic Range Coding ））によりクラス分類し、このクラス毎に線形一次結合でモデル化、つまり予測式を立て、最小二乗法などを用いて学習することにより係数データを得るというものである。
【０００３】
上述の手順の学習によって算出された係数データは、係数ＲＯＭあるいはＲＡＭ（以下、係数ＲＯＭと称する）に蓄えられる。演算精度を保つためには、各係数データにある程度以上の語長を持たすことが必要である。通常のフィルタリングあるいは適応処理の場合、この係数データは１組あるいは高々数組である。そのため、各係数データの語長を長く取っても、係数データを格納する係数ＲＯＭの大きさは問題にならないほど小さく済む。
【０００４】
しかしながら、一般にクラス分類適応処理においては、分割するクラス数が多いほど高性能の処理を実現することができる。そのため、高い性能を要求するアプリケーションにおいては、多くのクラスに分割する必要がある。したがって、その場合、係数データを格納しておく係数ＲＯＭの容量は、クラス数に応じて大きなものになり、そのままの形ではハードウェア的に実現が困難な場合があった。
【０００５】
この係数ＲＯＭの容量削減には、２つのアプローチが考えられる。ひとつはクラス数の削減、もうひとつは係数データの語長の削減である。クラス数の削減のアプローチについては他に譲ることとし、ここでは係数データの語長の削減についてのみ考える。係数データの語長の削減のもっとも単純な方法は、各係数データの語長を短く制限することである。例えば、元々ｎビットの語長で格納されていた係数データをｎ／２ビットにすれば、それだけで係数ＲＯＭの大きさを１／２にすることができる。しかしながら、係数データの語長の単純な削除が過度に行われた場合、計算精度が著しく劣化するという問題がある。
【０００６】
これに対する１つの改善法に、ＡＤＲＣを用いて係数の正規化を行った後、係数ＲＯＭに格納するという方式がある。この方式を用いることにより、与えられた語長を有効利用することが出来るため、係数データの誤差自体は著しく減少する。しかしながら、語長によっては上述の手法を用いても係数データに大きな誤差が発生する場合があり、また推定演算式のゲインが変化する問題は、視覚的にも重要である。このゲインの変化について詳しく述べる。
【０００７】
クラス分類適応処理は、入力のデータの時空間画素をブロック化し、それを何らかの手法によりクラス分類し、このクラス毎に線形一次結合でモデル化し、最小二乗法で学習することにより係数データを得て、その係数データを用いて処理を行うものである。具体的には、入力画像レベルｘ1 、ｘ2 、・・・、ｘn と出力画像レベルｙの間で、クラス毎に係数データｗ1 、・・・、ｗn によるｎタップの線形推定式を設定し、それを正規方程式をたてることにより解き、係数データｗ1 、・・・、ｗn を決定し、それを用いて入力画像と出力画像の間の変換を行う。
【０００８】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn （１）
【０００９】
このような線形推定式において係数データの和（ｗ1 ＋ｗ2 ＋・・・＋ｗn ）をフィルタのゲインと呼ぶが、一般にこのゲインはどのクラスにおいても1.0 に非常に近い値となる。
【００１０】
しかしながら、係数データの語長制限などによって各係数データが誤差を持った場合、各クラスのフィルタのゲインは必ずしも1.0 に近い値をとらない。通常の場合は、各々の誤差が加算されて1.0 からかけ離れた値をとることもある。
【００１１】
例えば、簡単のため、輝度変化のほどんどない領域において、ゲインが1.0 から大きく外れたクラスを用いて画像変換を行ったと考えてみる。本来なら画像変換してもほとんどデータは変化しないはずであるが、係数データが誤差を持ち、さらにゲインが1.0 から大きく外れていることにより、変換によりデータが大きく変化し、その部分の輝度（すなわちクロマ、色相など）が大きく変わることにより、明るさが原画と異なってくるため、その部分の劣化が目立つことになる。
【００１２】
以上のように、フィルタのゲインの値が大きく変化することは視覚的に大きな劣化を導くことがあった。
【００１３】
【発明が解決しようとする課題】
この発明は、上述の問題点に鑑みてなさたものであり、クラス分類適応処理において、容量を削減しても結果の劣化が最小限にとどまるような係数ＲＯＭの提供を目的とする。
【００１４】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換装置において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割する画像情報分割手段と、
画像情報分割手段により分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
語長が制限された複数の係数データがクラス情報毎に記憶されており、クラス検出手段からのクラス情報に応じて複数の係数データを出力する係数データ記憶手段と、
係数データ記憶手段から供給された複数の係数データの総和が略1.0 となるように変換する補正手段と、
推定式を用いて、変換された複数の係数データと、外部から供給された画像情報とから、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力する画像情報変換手段と
を有することを特徴とするクラス分類適応処理装置である。
【００１５】
さらに、請求項２に記載の発明は、第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換装置において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割する画像情報分割手段と、
画像情報分割手段により分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
語長が制限された複数の係数データに正規化を施し、正規化が施された複数の係数データがクラス情報毎に記憶されており、クラス検出手段からのクラス情報に応じて複数の係数データを出力する係数データ記憶手段と、
正規化が施された複数の係数データを推定式に用いられる複数の係数データへ変換する係数変換手段と、
係数変換手段から供給された複数の係数データの総和が略1.0 となるように変換する補正手段と、
推定式を用いて、変換された複数の係数データと、外部から供給された画像情報とから、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力する画像情報変換手段と
を有することを特徴とするクラス分類適応処理装置である。
【００１６】
また、請求項４に記載の発明は、第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換方法において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割するステップと、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するステップと、
語長が制限された複数の係数データがクラス情報毎に記憶されており、クラス情報に応じて複数の係数データを出力するステップと、
供給された複数の係数データの総和が略1.0 となるように変換するステップと、
推定式を用いて、変換された複数の係数データと、外部から供給された画像情報とから、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力するステップと
を有することを特徴とするクラス分類適応処理方法である。
【００１７】
そして、請求項５に記載の発明は、第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換方法において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割するステップと、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するステップと、
語長が制限された複数の係数データに正規化を施し、正規化が施された複数の係数データがクラス情報毎に記憶されており、クラス情報に応じて複数の係数データを出力するステップと、
正規化が施された複数の係数データを推定式に用いられる複数の係数データへ変換するステップと、
供給された複数の係数データの総和が略1.0 となるように変換するステップと、
推定式を用いて、変換された複数の係数データと、外部から供給された画像情報とから、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力するステップと
を有することを特徴とするクラス分類適応処理方法である。
【００１８】
【作用】
クラス分類適応処理装置および方法において、語長制限されて記録されている係数データを用いて推定演算を行う場合、ゲイン補正を行い、ゲインが略1.0 に変化された係数データを用いることにより、記録情報量は増やさずに計算結果の精度を上げる。
【００１９】
【実施例】
以下、この発明のクラス分類適応処理装置および方法の実施例について図面を参照しながら説明する。図１は、この一実施例、すなわち画像信号変換装置のＲＯＭテーブルに格納される係数データの作成方法について説明したブロック図である。
【００２０】
係数データを学習により得るためには、まず、既に知られているＨＤ画像に対応した、ＨＤ画像の１／４の画素数のＳＤ画像を生成する。具体的には、理想フィルタ回路により、入力端子１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフィルタ２により、フィールド内の垂直方向の周波数が１／２になるように間引き処理し、さらに水平間引きフィルタ３により、ＨＤデータの水平方向の画素を間引き処理することにより、１／４の画素数のＨＤ画像、すなわちＳＤ画像が生成される。
【００２１】
水平間引きフィルタ３の出力信号は、領域分割化回路４に供給される。領域分割化回路４では、供給されたＳＤ画像信号が複数の領域に分割される。複数の領域に分割されたＳＤ画像信号は、ＡＤＲＣ符号化回路５に供給される。
【００２２】
ＡＤＲＣ符号化回路５は、分割された領域毎に供給されるＳＤデータの一次元的あるいは二次元的なレベル分布のパターンを検出すると共に、各領域の全てのデータあるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを生成し、このパターン圧縮データをクラスコード発生回路６に供給する。
【００２３】
クラスコード発生回路６は、ＡＤＲＣ符号化回路５から供給されるパターン圧縮データに基づいて、その領域が属するクラスを決定し、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路６は、クラスコードを正規方程式加算回路８に出力する。
【００２４】
正規方程式加算回路８には、クラスコード発生回路６の出力データの他に、領域分割化回路４より供給されたＳＤデータ、水平間引きフィルタ３より供給されたＨＤデータが入力される。正規方程式加算回路８は、これらのデータを用いて、正規方程式の加算を行い、全てのトレーニングデータの入力が終了した後、予測係数決定回路９に正規方程式データを出力する。
【００２５】
予測係数決定回路９は、正規方程式を掃き出し法などの一般的な行列解法を用いてそれを解き、予測係数を算出する。予測係数決定回路９により算出された予測係数は、係数データとしてメモリ１０に格納される。このメモリ１０は、図２に示すように、各クラスのタップ毎に係数データが格納され、係数ＲＯＭが生成される。
【００２６】
続いて、上述の手法により生成された係数ＲＯＭを使用し、実際にクラス分類適応処理を用いた画像信号変換装置の信号処理の概略的構成を図３に示す。２１で示す入力端子から、ＳＤデータが供給される。このＳＤデータは、外部から供給された画像情報、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化されたものである。入力端子２１から供給されたＳＤデータは、領域分割化回路２２に供給される。
【００２７】
領域分割化回路２２は、生成するＨＤ画素の時間的、空間的に近傍に位置するＳＤ画素を抽出する処理を行う。領域分割化回路２２により抽出された複数のＳＤ画素がクラス分類回路２３および遅延回路２７に供給される。遅延回路２７は、クラス分類回路２３、クラスコード発生回路２４、ＲＯＭテーブル２５およびゲイン補正回路２６の処理に必要な時間だけデータを遅延させて推定演算回路２８に出力する。
【００２８】
クラス分類回路２３は、領域毎に供給されるＳＤ画素の１次元的あるいは２次元的なレベル分布のパターンを検出するためのものである。例えば、ＡＤＲＣをクラス分類回路２３で用いることにより、各領域のＳＤ画素を例えば８ビットのＳＤ画素から２ビットのＳＤ画素に圧縮するような演算を行うとにより、各領域でのパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２４に供給する。
【００２９】
クラスコード発生回路２４は、クラス分類回路２３から供給されるパターン圧縮データに基づいて、その領域が属するクラスを検出し、そのクラスを示すクラスコードが係数ＲＯＭの構成をなすＲＯＭテーブル２５へ供給される。このクラスコードは、ＲＯＭテーブル２５からの読み出しアドレスを示すものとなっている。
【００３０】
ＲＯＭテーブル２５には、上述のような手法により、線形推定式を用いてＳＤ画素に対応するＨＤ画素を算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりＳＤ画素を、この画像情報よりも高い解像度の画像情報である、いわゆるハイビジョンの規格に合致したＨＤ画素に変換するための情報である。ＲＯＭテーブル２５からは、クラスコードで示されるアドレスによって、そのクラスの係数データが読み出され、この係数データは、ゲイン補正回路２６に供給される。
【００３１】
係数ＲＯＭからは語長制限されて格納された係数データが読み出されるため、各クラスのフィルタのゲインは、必ずしも1.0 に近い値を取らない。これが変換画像の劣化を生むのは、上述した通りである。そこで、この実施例では、各クラスのゲイン補正を行うことにより、その欠点を補う。そのＲＯＭテーブル２５とゲイン補正回路２６の概略的構造を図４に示す。
【００３２】
推定演算回路２８は、遅延回路２７を介して領域分割化回路２２から供給されるＳＤ画素およびゲイン補正回路２６から供給される係数データを用いて、ＳＤ画素に対応するＨＤ画素を算出する。作成されたＨＤ画素は、水平補間フィルタ３０に供給される。
【００３３】
水平補間フィルタ２９は、補間処理により水平方向の画素数を２倍にするものである。水平補間フィルタ２９の出力は、出力端子３０を介して出力される。この出力端子３０を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像器やＨＤビデオテープレコーダ装置等に供給される。
【００３４】
ここで、図５を用いてゲイン補正回路２６の説明を行う。例えば、推定演算式がｎタップであった場合、クラスコード発生回路２４からの信号により、ＲＯＭテーブル２５からの出力信号は、ゲイン補正回路２６の中の加算回路４１に供給される。加算回路４１は、供給されたｗ1 、・・・、ｗn のｎ個の係数データの加算を行い、その加算値ａを補正係数決定回路４２に供給する。
【００３５】
ａ＝ｗ1 ＋ｗ2 ＋・・・＋ｗn （２）
【００３６】
本来、この加算値ａ、すなわちフィルタのゲインは1.0 に近い値を取るはずである。しかしながら、係数データの語長制限によりこのゲインが1.0 とかけ離れた値を取る場合があるのは上述した通りである。補正係数決定回路４２は、フィルタのゲインが略1.0 となるような補正係数ｂを決定する。
【００３７】
ｂ＝１／ａ （３）
【００３８】
補正係数決定回路４２の出力信号、すなわち決定された補正係数ｂは、乗算器４３1 〜４３n に送られ、そこで各々の係数に掛け合わされ、その乗算器４３1 〜４３n の出力値ｚ1 、ｚ2 、・・・、ｚn が推定演算回路２８に出力される係数である。
【００３９】
ｚ1 ＝ｂｗ1
ｚ2 ＝ｂｗ2
・・・・・
ｚn ＝ｂｗn （４）
【００４０】
ここで、係数ＲＯＭの容量を削減するために、上述のゲイン補正に対して係数データの正規化を組み合わせた他の実施例を図６に示す。この他の実施例は、図１に示した一実施例に対して係数符号化回路１１を加えた構成であるため、ここでは、係数符号化回路１１に関する説明を行う。上述したように、予測係数決定回路９では、掃き出し法などの一般的な行列解法を用いて、予測係数が算出され、その予測係数は、係数符号化回路１１に供給される。
【００４１】
予測係数決定回路９により算出された予測係数は、係数符号化回路１１において、例えばＡＤＲＣの符号化を行うことにより係数データの正規化が行われ、メモリ１０に格納される。より具体的には、図７に示すようにＡＤＲＣエンコードからなる係数符号化回路１１を用いて係数データの正規化を行うことによりデータ領域の持つ語長の範囲を完全に活かした係数データが生成される。
【００４２】
ここで、係数符号化回路１１とメモリ１０のより詳細なブロック図の一例を図８に示す。予測係数決定回路９から供給される係数データが入力端子５１を介してタップ分割回路５３へ供給され、供給される係数データに応じたコントロール信号が入力端子５２からタップ分割回路５３へ供給される。タップ分割回路５３では、そのコントロール信号に基づいて供給された係数データが各タップに分割される。各タップに分割された係数データは、それぞれのタップの端子を介してＡＤＲＣエンコード回路５４へ供給される。
【００４３】
ＡＤＲＣエンコード回路５４において、係数データが各タップ毎に最大値ＭＡＸおよび最小値ＭＩＮなどが検出され、ＡＤＲＣエンコードが行われメモリ１０へ供給される。メモリ１０では、入力端子５２からのコントロール信号に応じて所定のクラスおよび所定のタップへ格納される。
【００４４】
すなわち、ＡＤＲＣエンコード回路５４0 では、各クラスのタップ０の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ＡＤＲＣエンコードが行われる。同様に、ＡＤＲＣエンコード回路５４1 では、各クラスのタップ０の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ＡＤＲＣエンコードが行われる。このＡＤＲＣエンコード回路５４において、エンコードされた係数データは、図７に示すように、タップ毎に各クラスに格納され、さらに最小値ＭＩＮとダイナミックレンジＤＲもタップ毎に格納される。
【００４５】
この一例では、最小値ＭＩＮとダイナミックレンジＤＲがタップ毎に格納されているが、タップ毎に格納されるデータは、最大値ＭＡＸと最小値ＭＩＮまたは最大値ＭＡＸとダイナミックレンジＤＲでも良い。さらに、この格納されたデータは、エンコードされる前のデータで格納される。
【００４６】
このような手法は、係数データがタップ毎に相関を持っているため、効率の良い量子化が行われる。さらに、タップによって、係数データのレベルの集中が高いものと、低いものとがあるため、量子化を行うときの割り当てビット数を変えても良い。
【００４７】
上述したように従来の手法によると、予測係数決定回路９により算出された予測係数は、そのままメモリ１０に格納されていた。その場合、メモリの大きさにより語長が制限され、単純に下位ビットデータが削減された形で格納されていた。そのため、語長が短く制限された場合、係数データの誤差が大きくなり、結果的に計算精度が劣化する現象を引き起こす。
【００４８】
この他の実施例において、ＡＤＲＣを用いて係数データの正規化を行うことにより本来格納できる領域の範囲を完全に活かした格納データ生成方式を行う。本来、ＡＤＲＣは、ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であるが、ここでは、格納データ生成のための正規化に使用している。ＡＤＲＣ回路は、係数データのダイナミックレンジをＤＲ、格納するデータの語長をｎ、各係数データのデータレベルをＬ、再量子化コードすなわち係数ＲＯＭに格納するコードをＱとして以下の式（５）により係数データの最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行うことにより、正規化を実施する。扱うデータが自然数ではなく、符号付きの小数点データであるため通常のＡＤＲＣとは多少異なっているが原理的には同一である。
【００４９】
ＤＲ＝ＭＡＸ−ＭＩＮ
Ｑ＝〔（Ｌ−ＭＩＮ）・２n ／ＤＲ〕 （５）
ただし、Ｑの最大値は２n −１とする。
【００５０】
ここで、係数データの最大値ＭＡＸおよび最小値ＭＩＮの検出は、各タップ毎に行われる。これは、クラスが変化しても同一タップ内の係数データは、一般的にそれほど大きく変化せず、同一タップ内で最大値ＭＡＸおよび最小値ＭＩＮを取ることによって、そのダイナミックレンジＤＲを小さくすることができることが多いからである。また、上述したように最小値ＭＩＮとダイナミックレンジＤＲ、最大値ＭＡＸと最小値ＭＩＮあるいは最大値ＭＡＸとダイナミックレンジＤＲは、データ長を削減する前の語長で格納する。この手法を用いることにより、データ語長を可能な限り有効に使うことが出来るので単純な足切り等の手法により語長を削減した場合より、語長制限により係数データの誤差を大幅に減らすことができる。したがって、最終的な誤差も減らすことができる。
【００５１】
続いて、他の実施例において生成された係数ＲＯＭを使用した画像信号変換装置を図９に示す。この図９は、図３に示した一実施例に対して係数復号回路３１を加えた構成であるため、ここでは、係数復号回路３１に関する説明を行う。上述したように、ＲＯＭテーブル２５からは、クラスコードで示されるアドレスによって、そのクラスの係数データが読み出され、この係数データは、係数復号回路３１に供給される。
【００５２】
上述の一実施例では、係数ＲＯＭには、生成された係数データがそのまま格納されていた。そのため、クラスコードに示されるアドレスから、そのクラスの係数データが読み出され、その係数データは推定演算回路２８に送られ、推定演算回路２８において、演算が実施されていた。しかしながら、このような手法では係数ＲＯＭの語長分のデータがフルに使い切れていないため、係数データの語長を短縮したときに計算精度の劣化が起こりやすい。
【００５３】
他の実施例のクラス分類適応処理装置の係数ＲＯＭには先に説明したように係数データがＡＤＲＣによって符号化された形で格納されている。そこで、この係数復号回路３１では、ＲＯＭテーブル２５に格納されている、例えば最小値ＭＩＮ、ダイナミックレンジＤＲおよび符号化された係数データＱを用いて、以下の式（６）により係数データのＡＤＲＣの復号化を行う。
【００５４】
Ｌ＝〔Ｑ・ＤＲ／２n ＋ＭＩＮ＋０．５〕 （６）
【００５５】
係数復号回路２６において、生成された復号値Ｌは、ゲイン補正回路２６に供給される。ＲＯＭテーブル２５からの係数データは、図１０に示すように、タップ毎にＡＤＲＣデコードからなる係数復号回路３１を介して、ゲイン補正回路２６において、上述したようなゲイン補正がなされた後、後段の推定演算回路２８へ供給される。
【００５６】
【発明の効果】
この発明に依れば、係数ＲＯＭの生成は、従来と同様に行い、係数ＲＯＭの使用時にのみゲイン補正回路を用いて、フィルタのゲインを略1.0 に補正することにより、語長制限による係数データの誤差およびそれによる計算結果の精度劣化を抑えることができる。
【００５７】
また、この発明に依れば、ＡＤＲＣを用いて係数データの正規化を行い係数を格納するという方式とゲイン補正を併用することで、さらなる計算精度の劣化を軽減することが可能である。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の学習時の一実施例である。
【図２】この発明に係る係数ＲＯＭ生成時の一例を示すブロック図である。
【図３】この発明に係る画像情報変換装置の一実施例である。
【図４】この発明に係る係数ＲＯＭ使用時の一例を示すブロック図である。
【図５】この発明のゲイン補正回路の一実施例である。
【図６】この発明に係る画像情報変換装置の学習時の他の実施例である。
【図７】この発明に係る係数ＲＯＭ生成時の一例を示すブロック図である。
【図８】この発明に係る係数符号化の一実施例を示すブロック図である。
【図９】この発明に係る画像情報変換装置の他の実施例である。
【図１０】この発明に係る係数ＲＯＭ使用時の一例を示すブロック図である。
【符号の説明】
２２ 領域分割化回路
２３ クラス分類回路
２４ クラスコード発生回路
２５ ＲＯＭテーブル
２６ ゲイン補正回路
２８ 推定演算回路
２９ 水平補間フィルタ
Claims (6)
- 第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換装置において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割する画像情報分割手段と、
上記画像情報分割手段により分割された上記ブロック毎に画像情報のレベル分布のパターンが検出され、上記検出されたパターンに基づいて、上記ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
語長が制限された複数の係数データが上記クラス情報毎に記憶されており、上記クラス検出手段からの上記クラス情報に応じて上記複数の係数データを出力する係数データ記憶手段と、
上記係数データ記憶手段から供給された上記複数の係数データの総和が略1.0 となるように変換する補正手段と、
推定式を用いて、上記変換された複数の係数データと、上記外部から供給された画像情報とから、上記外部から供給された画像情報よりも高い解像度の画像情報に変換して出力する画像情報変換手段と
を有することを特徴とするクラス分類適応処理装置。 - 第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換装置において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割する画像情報分割手段と、
上記画像情報分割手段により分割された上記ブロック毎に画像情報のレベル分布のパターンが検出され、上記検出されたパターンに基づいて、上記ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
語長が制限された複数の係数データに正規化を施し、上記正規化が施された上記複数の係数データが上記クラス情報毎に記憶されており、上記クラス検出手段からの上記クラス情報に応じて上記複数の係数データを出力する係数データ記憶手段と、
上記正規化が施された複数の係数データを推定式に用いられる複数の係数データへ変換する係数変換手段と、
上記係数変換手段から供給された上記複数の係数データの総和が略1.0 となるように変換する補正手段と、
上記推定式を用いて、上記変換された複数の係数データと、上記外部から供給された画像情報とから、上記外部から供給された画像情報よりも高い解像度の画像情報に変換して出力する画像情報変換手段と
を有することを特徴とするクラス分類適応処理装置。 - 請求項２に記載のクラス分類適応処理装置において、
上記係数変換手段は、正規化としてＡＤＲＣ符号化がなされた上記複数の係数データに対してＡＤＲＣ復号化を行う係数データ復号手段とからなり
上記ＡＤＲＣ符号化は、ブロック内に含まれる複数の係数データの最大値および上記複数の係数データの最小値を検出する手段と、
上記最大値および最小値から上記ブロックのダイナミックレンジを検出する手段と、
上記最大値または最小値を基準とした相対的なレベル関係を持つように修正された修正入力データを形成する手段と、
上記修正入力データを元の量子化ビット数以下のビット数で量子化する手段と
からなることを特徴とするクラス分類適応処理装置。 - 第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換方法において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割するステップと、
分割された上記ブロック毎に画像情報のレベル分布のパターンが検出され、上記検出されたパターンに基づいて、上記ブロックの画像情報が属するクラス情報を出力するステップと、
語長が制限された複数の係数データが上記クラス情報毎に記憶されており、上記クラス情報に応じて上記複数の係数データを出力するステップと、
供給された上記複数の係数データの総和が略1.0 となるように変換するステップと、
推定式を用いて、上記変換された複数の係数データと、上記外部から供給された画像情報とから、上記外部から供給された画像情報よりも高い解像度の画像情報に変換して出力するステップと
を有することを特徴とするクラス分類適応処理方法。 - 第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換する画像情報変換方法において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割するステップと、
分割された上記ブロック毎に画像情報のレベル分布のパターンが検出され、上記検出されたパターンに基づいて、上記ブロックの画像情報が属するクラス情報を出力するステップと、
語長が制限された複数の係数データに正規化を施し、上記正規化が施された上記複数の係数データが上記クラス情報毎に記憶されており、上記クラス情報に応じて上記複数の係数データを出力するステップと、
上記正規化が施された複数の係数データを推定式に用いられる複数の係数データへ変換するステップと、
供給された上記複数の係数データの総和が略1.0 となるように変換するステップと、
上記推定式を用いて、上記変換された複数の係数データと、上記外部から供給された画像情報とから、上記外部から供給された画像情報よりも高い解像度の画像情報に変換して出力するステップと
を有することを特徴とするクラス分類適応処理方法。 - 請求項５に記載のクラス分類適応処理方法において、
供給された上記係数データを補正するステップは、正規化としてＡＤＲＣ符号化がなされた上記係数データに対してＡＤＲＣ復号化を行うステップとからなり
上記ＡＤＲＣ符号化は、ブロック内に含まれる複数の係数データの最大値および上記複数の係数データの最小値を検出するステップと、
上記最大値および最小値から上記ブロックのダイナミックレンジを検出するステップと、
上記最大値または最小値を基準とした相対的なレベル関係を持つように修正された修正入力データを形成するステップと、
上記修正入力データを元の量子化ビット数以下のビット数で量子化するステップと
からなることを特徴とするクラス分類適応処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13836495A JP3831955B2 (ja) | 1995-05-12 | 1995-05-12 | クラス分類適応処理装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13836495A JP3831955B2 (ja) | 1995-05-12 | 1995-05-12 | クラス分類適応処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08307836A JPH08307836A (ja) | 1996-11-22 |
| JP3831955B2 true JP3831955B2 (ja) | 2006-10-11 |
Family
ID=15220213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13836495A Expired - Lifetime JP3831955B2 (ja) | 1995-05-12 | 1995-05-12 | クラス分類適応処理装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3831955B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4055203B2 (ja) * | 2002-09-12 | 2008-03-05 | ソニー株式会社 | データ処理装置およびデータ処理方法、記録媒体、並びにプログラム |
-
1995
- 1995-05-12 JP JP13836495A patent/JP3831955B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08307836A (ja) | 1996-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100289592B1 (ko) | 디지털 영상 신호에 대한 계층 엔코딩 및 디코딩장치 | |
| JP3888597B2 (ja) | 動き補償符号化装置、及び動き補償符号化復号化方法 | |
| US5146326A (en) | Coded picture information decoding apparatus having means for improving picture distortion | |
| JPS63299587A (ja) | 高能率符号化装置 | |
| KR100281197B1 (ko) | 신호변환장치 | |
| JP2001519988A (ja) | ビデオデータから符号化パラメータを抽出するシステム | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3870428B2 (ja) | 画像情報変換装置および方法並びに係数データ生成装置および方法 | |
| JP2723867B2 (ja) | 画像信号復号化装置 | |
| JP3627291B2 (ja) | ブロック歪み除去装置および方法 | |
| JP3831955B2 (ja) | クラス分類適応処理装置および方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JPH1093929A (ja) | 画像情報変換装置および方法 | |
| JPH0851598A (ja) | 画像情報変換装置 | |
| JPS62239693A (ja) | デイジタル画像信号のデ−タ整理および再構成方法 | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JPS6326951B2 (ja) | ||
| JP3748115B2 (ja) | 画像データ復号装置及び画像データ復号方法 | |
| JP3896635B2 (ja) | 画像データ変換装置及び方法、予測係数生成装置及び方法 | |
| JPH0746548A (ja) | ディジタル画像信号処理装置 | |
| KR102025494B1 (ko) | 베이어 영상 압축을 위한 시각적 무손실 압축 기법에 기반한 장치 및 그 방법 | |
| JP3356337B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPS61140291A (ja) | 動画像信号の動静分離装置 | |
| JP4001143B2 (ja) | 係数生成装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060411 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060607 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060627 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060710 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090728 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130728 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |