JP3870428B2

JP3870428B2 - Image information conversion apparatus and method, and coefficient data generation apparatus and method

Info

Publication number: JP3870428B2
Application number: JP13622395A
Authority: JP
Inventors: 真史内田; 哲二郎近藤; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-05-10
Filing date: 1995-05-10
Publication date: 2007-01-17
Anticipated expiration: 2022-01-17
Also published as: JPH08307835A

Description

【０００１】
【産業上の利用分野】
この発明は、例えば入力のデータの時空間画素をブロック化し、それを何らかの手法によりクラス分類し、このクラス毎に線形一次結合でモデル化し、最小二乗法で学習することにより係数データを得て、その係数データを用いて処理を行う画像情報変換装置および方法並びに係数データ生成装置および方法に関する。
【０００２】
【従来の技術】
従来、クラス分類適応処理を応用したものとして、ＳＤ（Standerd Definition ）からＨＤ（High Definition ）への画像情報変換装置、時空間モデル符号化、ＭＵＳＥの画質改善、コンポジット信号のＹ／Ｃ分離など様々なアプリケーションのアイデアが出願されている。すなわち、ある大きさの時空間の画素をブロック化し、これを何らかの手法（例えばＡＤＲＣ（Adaptive Dynamic Range Coding ））によりクラス分類し、このクラス毎に線形一次結合でモデル化、つまり予測式を立て、最小二乗法などを用いて学習することにより係数データを得るというものである。
【０００３】
クラス分類適応処理による画像情報変換装置では、一般に図７に示すような複数のフィールドの画像データを用いて、以下のような線形一次結合式を用いて新たな画素データの創造を行う。この式（１）におけるｙは創造される画素データ、ｗ_nは予測係数、ｘ_nは推定に用いる画素データである。
【０００４】
ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ_nｘ_n （１）
【０００５】
上述の手順の学習によって算出された係数データは、係数ＲＯＭあるいはＲＡＭ（以下、係数ＲＯＭと称する）に蓄えられる。演算精度を保つためには、各係数データにある程度以上の語長を持たすことが必要である。通常のフィルタリングあるいは適応処理の場合、この係数データは１組あるいは高々数組である。そのため、各係数データの語長を長く取っても、係数データを格納する係数ＲＯＭの大きさは問題にならないほど小さく済む。
【０００６】
しかしながら、一般にクラス分類適応処理においては、図８に示すように、クラス毎の各タップ（各画素位置）に係数データが格納され、図９に示すように、選択されたクラスの各タップの係数データが読み出される。このようにクラス分類適応処理では、分割するクラス数が多いほど高性能の処理を実現することができる。そのため、高い性能を要求するアプリケーションにおいては、多くのクラスに分割する必要がある。したがって、その場合、係数データを格納しておく係数ＲＯＭの容量は、クラス数に応じて大きなものになり、そのままの形ではハードウェア的に実現が困難な場合があった。
【０００７】
この係数ＲＯＭの容量削減には、２つのアプローチが考えられる。ひとつはクラス数の削減、もうひとつは係数データの語長の削減である。クラス数の削減のアプローチについては他に譲ることとし、ここでは係数データの語長の削減についてのみ考える。係数データの語長の削減のもっとも単純な方法は、各係数データの語長を短く制限することである。例えば、元々ｎビットの語長で格納されていた係数データをｎ／２ビットにすれば、それだけで係数ＲＯＭの大きさを１／２にすることができる。しかしながら、係数データの語長の単純な削除が過度に行われた場合、計算精度が著しく劣化するという問題がある。
【０００８】
その最大の原因は、削減された語長では係数データ自体の誤差が大きくなるため、結果的に復号結果の誤差が大きくなるというものであるが、さらに従来の手法では与えられた語長のすべてを有効に使っていないという理由も存在する。これについて詳しく述べる。
【０００９】
係数データを６ビットの語長で係数ＲＯＭに格納することを考える。通常、６ビットの領域は、上位１ビットを符号領域、下位５ビットをデータ領域として使用される。例えば、フィルタの各係数データが｛-0.276,+1.321,+0.569,+0.336 ｝であるようなフィルタがあったとすると、係数データの絶対値の最大値の２のベキ乗倍がデータ領域である５ビットの範囲を超えないような、すなわち３１以下となるような２のベキ乗数を選択し、それを乗ずることにより、各係数データをデータ領域に格納する。
【００１０】
すなわち、この場合は、係数データの絶対値の最大値が1.321 であり、その３２倍は、42.272となり３１を超えるため、各係数データに１６を乗ずることにより、データを係数ＲＯＭに格納する。各係数データの絶対値の１６倍は、｛4.416,21.136,9.104,5.376｝となり、これらの値を、例えば四捨五入した値、すなわち｛4,21,9,5｝が係数ＲＯＭの下位５ビットに格納されることになる。
【００１１】
ところで、本来６ビットの領域は、±３１を表現できる。しかしながら、上述の例では、最大値が２１、最小値が−５であり、その領域を有効利用していないことがわかる。これが、係数データの誤差の増大につながり、結果として計算精度の劣化を招いているわけである。
【００１２】
特に、クラス分類適応処理においては、係数データの分布特性がタップに依って異なることも多い。すなわち、全係数データを見たときには、係数データのダイナミックレンジが非常に大きい場合でも、各タップ内で係数データを見た場合、クラスに依らずそれほど係数データの変化が大きくない場合もある。
【００１３】
例えば、全係数データを見たときの係数データの絶対値の最大値が、2.068 であった場合、上述と同様に６ビットで記録しようとすると、2.068 ×16＝33.088であるので、３１を超えるから、各係数データに８を掛けたものが格納されることになる。ところが、あるタップ内で見たとき、係数データの最大値が+0.651、最小値が+0.488だったとすると、それぞれに８を掛けると+0.651は5.028 となるため５として、+0.488は3.904 となるため４として格納されることになる。すなわち、このタップの係数データは、0.488 〜0.651 の間の種々の値を取っているにも拘らず、６ビットの語長に制限されて格納された場合、このタップの係数データはわずか２つの値で表現されることになってしまう。このような場合、特に本来表現できる領域を活かし切れていないことが顕著である。
【００１４】
【発明が解決しようとする課題】
この発明は、上述の問題点に鑑みてなされたものであるり、クラス分類適応処理を用いて、容量を削減しても結果の劣化が最小限にとどまるような画像情報変換装置および方法並びに係数データ生成装置および方法の提供を目的とする。
【００１５】
【課題を解決するための手段】
請求項１に記載の発明は、ディジタル画像信号を、より画素数の多いディジタル画像信号に変換するようにした画像情報変換装置において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画素からなる複数のブロックに分割する画像情報分割手段と、
画像情報分割手段により分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報に変換するための情報である線形推定式の係数データを、ブロックの画素位置毎に正規化するために符号化した符号化係数データがクラス毎に記憶されており、クラス検出手段からのクラス情報に応じて符号化係数データを出力する係数データ記憶手段と、
係数データ記憶手段から供給された符号化係数データを復号することにより生成される係数データと、外部から供給された画像情報内の複数画素の画素値との線形一次結合である上記線形推定式を用いて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力する画像変換手段と
を有することを特徴とする画像情報変換装置である。
【００１６】
さらに、請求項２に記載の発明は、ディジタル画像信号を、より画素数の多いディジタル画像信号に変換する推定式に用いられる係数データを生成する係数データ生成装置において、
より画素数の多いディジタル画像信号に対してフィルタを用いてディジタル画像信号の画素数を減少させるフィルタ手段と、
減少した画素数を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割する画像情報分割手段と、
画像情報分割手段により分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
より画素数の多いディジタル画像信号と画素数が減少したディジタル画像信号とから係数データを生成する係数データ生成手段と、
生成された係数データをブロックの画素位置毎に正規化し、正規化された係数データをクラス情報に応じて記憶する係数データ記憶手段と
を有することを特徴とする係数データ生成装置である。
【００１７】
ディジタル画像信号を、より画素数の多いディジタル画像信号に変換するようにした画像情報変換方法において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画素からなる複数のブロックに分割するステップと、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するステップと、
外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報に変換するための情報である線形推定式の係数データを、ブロックの画素位置毎に正規化するために符号化した符号化係数データがクラス毎に記憶されており、クラス情報に応じて符号化係数データを出力するステップと、
符号化係数データを復号することにより生成される係数データと、外部から供給された画像情報内の複数画素の画素値との線形一次結合である上記線形推定式を用いて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力するステップと
を有することを特徴とする画像情報変換方法である。
【００１８】
さらに、請求項６に記載の発明は、ディジタル画像信号を、より画素数の多いディジタル画像信号に変換する推定式に用いられる係数データを生成する係数データ生成方法において、
より画素数の多いディジタル画像信号に対してフィルタを用いてディジタル画像信号の画素数を減少させるステップと、
減少した画素数を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割するステップと、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するステップと、
より画素数の多いディジタル画像信号と画素数が減少したディジタル画像信号とから係数データを生成するステップと、
生成された係数データをブロックの画素位置毎に正規化し、正規化された係数データをクラス情報に応じて係数データ記憶手段に記憶するステップとを有することを特徴とする係数データ生成方法である。
【００１９】
【作用】
画像情報変換装置および方法では、係数データの語長を短くして格納する際、ＡＤＲＣ等の処理によりデータを正規化した形で格納する。これにより、データ語長を最大限に有効利用できるので、短い語長でも係数データの誤差が小さくなる。特に、０をまたいで分布するような係数データに関しては、本来０であった係数データが語長制限後も必ず０になるような方式の語長制限を行うことにより、本来０であった係数データが誤差を持つことによる画質劣化を抑える。
【００２０】
【実施例】
以下、この発明の画像情報変換装置および方法の実施例について図面を参照しながら説明する。図１は、この一実施例、すなわち画像情報変換装置のＲＯＭテーブルに格納される係数データの作成方法について説明したブロック図である。
【００２１】
係数データを学習により得るためには、まず、既に知られているＨＤ画像に対応した、ＨＤ画像の１／４の画素数のＳＤ画像を生成する。具体的には、理想フィルタ回路により、入力端子１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフィルタ２により、フィールド内の垂直方向の周波数が１／２になるように間引き処理し、さらに水平間引きフィルタ３により、ＨＤデータの水平方向の画素を間引き処理することにより、１／４の画素数のＨＤ画像、すなわちＳＤ画像が生成される。
【００２２】
水平間引きフィルタ３の出力信号は、領域分割化回路４に供給される。領域分割化回路４では、供給されたＳＤ画像信号が複数の領域に分割される。複数の領域に分割されたＳＤ画像信号は、ＡＤＲＣ符号化回路５に供給される。
【００２３】
ＡＤＲＣ符号化回路５は、分割された領域毎に供給されるＳＤデータの一次元的あるいは二次元的なレベル分布のパターンを検出すると共に、各領域の全てのデータあるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを生成し、このパターン圧縮データをクラスコード発生回路６に供給する。
【００２４】
クラスコード発生回路６は、ＡＤＲＣ符号化回路５から供給されるパターン圧縮データに基づいて、その領域が属するクラスを決定し、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路６は、クラスコードを正規方程式加算回路８に出力する。
【００２５】
正規方程式加算回路８には、クラスコード発生回路６の出力データの他に、領域分割化回路４より供給されたＳＤデータ、水平間引きフィルタ３より供給されたＨＤデータが入力される。正規方程式加算回路８は、これらのデータを用いて、正規方程式の加算を行い、全てのトレーニングデータの入力が終了した後、予測係数決定回路９に正規方程式データを出力する。
【００２６】
予測係数決定回路９は、正規方程式を掃き出し法などの一般的な行列解法を用いてそれを解き、予測係数を算出する。算出された予測係数は、係数符号化回路１０に供給される。予測係数決定回路９により算出された予測係数は、係数符号化回路１０において、ＡＤＲＣの符号化を行うことにより係数データが正規化されメモリ１１に格納される。より具体的には、ＡＤＲＣを用いて係数データの正規化を行うことによりデータ領域の持つ語長の範囲を完全に活かした格納データ生成方式が行われる。
【００２７】
ここで、係数符号化回路１０とメモリ１１のより詳細なブロック図の一例を図２に示す。予測係数決定回路９から供給される係数データが入力端子１６を介してタップ分割回路１８へ供給され、供給される係数データに応じたコントロール信号が入力端子１７からタップ分割回路１８へ供給される。タップ分割回路１８では、そのコントロール信号に基づいて供給された係数データを各タップに分割する。各タップに分割された係数データは、それぞれのタップの端子を介してＡＤＲＣエンコード回路１９へ供給される。
【００２８】
ＡＤＲＣエンコード回路１９において、係数データが各タップ毎に最大値ＭＡＸおよび最小値ＭＩＮなどが検出され、ＡＤＲＣエンコードが行われメモリ１１へ供給される。メモリ１１では、入力端子１７からのコントロール信号に応じて所定のクラスおよび所定のタップへ格納される。
【００２９】
すなわち、ＡＤＲＣエンコード回路１９₀では、各クラスのタップ０（画素位置が０）の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ＡＤＲＣエンコードが行われる。同様に、ＡＤＲＣエンコード回路１９₁では、各クラスのタップ０の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ＡＤＲＣエンコードが行われる。このＡＤＲＣエンコード回路１９において、エンコードされた係数データは、図３に示すように、タップ毎に各クラスに格納され、さらに最小値ＭＩＮとダイナミックレンジＤＲもタップ毎に格納される。
【００３０】
この一例では、最小値ＭＩＮとダイナミックレンジＤＲがタップ毎に格納されているが、タップ毎に格納されるデータは、最大値ＭＡＸと最小値ＭＩＮまたは最大値ＭＡＸとダイナミックレンジＤＲでも良い。さらに、この格納されたデータは、エンコードされる前のデータで格納される。
【００３１】
このような手法は、係数データがタップ毎に相関を持っているため、効率の良い量子化が行われる。さらに、タップによって、係数データのレベルの集中が高いものと、低いものとがあるため、量子化を行うときの割り当てビット数を変えても良い。
【００３２】
上述したように従来の手法によると、予測係数決定回路９により算出された予測係数は、そのままメモリ１１に格納されていた。その場合、メモリの大きさにより語長が制限され、単純に下位ビットデータが削減された形で格納されていた。そのため、語長が短く制限された場合、係数データの誤差が大きくなり、結果的に計算精度が劣化する現象を引き起こす。
【００３３】
この実施例において、ＡＤＲＣを用いて係数データの正規化を行うことにより本来格納できる領域の範囲を完全に活かした格納データ生成方式を行う。本来、ＡＤＲＣは、ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であるが、ここでは、格納データ生成のための正規化に使用している。ＡＤＲＣ回路は、係数データのダイナミックレンジをＤＲ、格納するデータの語長をｎ、各係数データのデータレベルをＬ、再量子化コードすなわち係数ＲＯＭに格納するコードをＱとして以下の式（２）により係数データの最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行うことにより、正規化を実施する。扱うデータが自然数ではなく、符号付きの小数点データであるため通常のＡＤＲＣとは多少異なっているが原理的には同一である。
【００３４】
ＤＲ＝ＭＡＸ−ＭＩＮ
Ｑ＝〔（Ｌ−ＭＩＮ）・２ⁿ／ＤＲ〕（２）
ただし、Ｑの最大値は２ⁿ−１とする。
【００３５】
ここで、係数データの最大値ＭＡＸおよび最小値ＭＩＮの検出は、各タップ毎に行われる。これは、クラスが変化しても同一タップ内の係数データは、一般的にそれほど大きく変化せず、同一タップ内で最大値ＭＡＸおよび最小値ＭＩＮを取ることによって、そのダイナミックレンジＤＲを小さくすることができることが多いからである。また、上述したように最小値ＭＩＮとダイナミックレンジＤＲ、最大値ＭＡＸと最小値ＭＩＮあるいは最大値ＭＡＸとダイナミックレンジＤＲは、データ長を削減する前の語長で格納する。この手法を用いることにより、データ語長を可能な限り有効に使うことが出来るので単純な足切り等の手法により語長を削減した場合より、語長制限により係数データの誤差を大幅に減らすことができる。したがって、最終的な誤差も減らすことができる。
【００３６】
まとめると、従来の係数ＲＯＭの生成においては、図８に示すように、予測係数決定回路により決定された係数データをそのまま、あるいは足切りをするかたちで係数ＲＯＭに格納してたのに対して、この実施例においては、図３に示すように、各タップ毎の係数データに対してＡＤＲＣ処理を行い、すなわち各タップ毎に係数データの正規化を行い係数データの語長を最大限有効に使う形で格納することにより、係数データの誤差を減らすというものである。
【００３７】
続いて、上述の手法により生成された係数ＲＯＭを使用し、実際にクラス分類適応処理を用いた画像情報変換装置の信号処理の概略的構成を図４に示す。２１で示す入力端子から、ＳＤデータが供給される。このＳＤデータは、外部から供給された画像情報、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化されたものである。入力端子２１から供給されたＳＤデータは、領域分割化回路２２に供給される。
【００３８】
領域分割化回路２２は、生成するＨＤ画素の時間的、空間的に近傍に位置するＳＤ画素を抽出する処理を行う。領域分割化回路２２により抽出された複数のＳＤ画素がクラス分類回路２３および遅延回路２７に供給される。遅延回路２７は、クラス分類回路２３、クラスコード発生回路２４、ＲＯＭテーブル２５、係数復号回路２６の処理に必要な時間だけデータを遅延させて推定演算回路２８に出力する。
【００３９】
クラス分類回路２３は、領域毎に供給されるＳＤ画素の１次元的あるいは２次元的なレベル分布のパターンを検出するためのものである。例えば、ＡＤＲＣをクラス分類回路２３で用いることにより、各領域のＳＤ画素を例えば８ビットのＳＤ画素から２ビットのＳＤ画素に圧縮するような演算を行うとにより、各領域でのパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２４に供給する。
【００４０】
クラスコード発生回路２４は、クラス分類回路２３から供給されるパターン圧縮データに基づいて、その領域が属するクラスを検出し、そのクラスを示すクラスコードがＲＯＭテーブル２５へ供給される。このクラスコードは、ＲＯＭテーブル２５からの読み出しアドレスを示すものとなっている。
【００４１】
ＲＯＭテーブル２５には、上述のような手法により、線形推定式を用いてＳＤ画素に対応するＨＤ画素を算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりＳＤ画素を、この画像情報よりも高い解像度の画像情報である、いわゆるハイビジョンの規格に合致したＨＤ画素に変換するための情報である。ＲＯＭテーブル２５からは、クラスコードで示されるアドレスによって、そのクラスの係数データが読み出され、この係数データは、係数復号回路２６に供給される。
【００４２】
上述した図８に示すように従来の係数ＲＯＭには、生成された係数データがそのまま格納されていた。そのため、クラスコードに示されるアドレスから、そのクラスの係数データが読み出され、その係数データは推定演算回路２８に送られ、推定演算回路２８において、演算が実施されていた。しかしながら、このような従来の手法では係数ＲＯＭの語長分のデータがフルに使い切れていないため、係数データの語長を短縮したときに計算精度の劣化が起こりやすい。
【００４３】
この発明のクラス分類適応処理装置の係数ＲＯＭには先に説明したように係数データがＡＤＲＣによって符号化された形で格納されている。そこで、この係数復号回路２６では、ＲＯＭテーブル２５に格納されている、例えば最小値ＭＩＮ、ダイナミックレンジＤＲおよび符号化された係数データＱを用いて、以下の式（３）により係数データのＡＤＲＣの復号化を行う。係数復号回路２６において、生成された復号値Ｌは、推定演算回路２８に供給される。
【００４４】
Ｌ＝〔Ｑ・ＤＲ／２ⁿ＋ＭＩＮ＋０．５〕（３）
【００４５】
まとめると、従来の係数ＲＯＭは、正規方程式を解いて生成されたままの（あるいはその値を単純に足切りをした）係数データが格納されていたため、図９に示すように、所定のクラスの係数データを参照することにより、そのままの形で推定演算を行うことが出来たが、この実施例では、係数データがＡＤＲＣエンコードされた形で格納されているため、図５に示すように、それぞれＡＤＲＣデコードした後、推定演算を行う必要がある。
【００４６】
推定演算回路２８は、遅延回路２７を介して領域分割化回路２２から供給されるＳＤ画素および係数復号回路２６から供給される係数データを用いて、ＳＤ画素に対応するＨＤ画素を算出する。作成されたＨＤ画素は、水平補間フィルタ２９に供給される。
【００４７】
水平補間フィルタ２９は、補間処理により水平方向の画素数を２倍にするものである。水平補間フィルタ２９の出力は、出力端子３０を介して出力される。この出力端子３０を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像器やＨＤビデオテープレコーダ装置等に供給される。
【００４８】
ここで、上述の処理では、本来の大きさが０であった係数データが、時によっては誤差を持ち、創造画像の品質に影響を与える場合があるため、本来０であった係数データは、ＡＤＲＣ処理による係数語長削減後も、必ず０とするための他の実施例を図６に示す。予測係数決定回路９により算出された予測係数は、メモリ３１に蓄えられる。メモリ３１から読み出された各予測係数は、ＡＤＲＣエンコード回路３２により、まず上述のような通常のＡＤＲＣ処理により各タップ毎にＡＤＲＣエンコードが行われる。ＡＤＲＣエンコードされた係数データ、最小値ＭＩＮ、最大値ＭＡＸおよびダイナミックレンジＤＲは、メモリ３３に格納される。メモリ３３のデータは、ＡＤＲＣデコード回路３４に供給される。
【００４９】
ＡＤＲＣデコード回路３４は、以下の式（４）により、エンコードされた各係数データのデコードを行う。デコードされた各係数データは、絶対値化回路３５に供給される。絶対値化回路３５は、デコードされた各係数データの絶対値化を行う。絶対値化された各係数データおよびＡＤＲＣデコード回路３４から供給される絶対値化する前の各係数データは、絶対値最小値検出回路３６に供給される。
【００５０】
Ｌ＝Ｑ・ＤＲ／２ⁿ＋ＭＩＮ（４）
【００５１】
絶対値最小値検出回路３６は、絶対値化された各係数データの中から、最小となるデータ｜ａ｜を選択し、それを導くような絶対値化前の係数データａをＡＤＲＣデコード回路３４から供給される係数データの中から検出し、その値を加算器３７に供給する。加算器３７は、メモリ３３から供給された最小値ＭＩＮに、係数データａを足し込む。このデータを新たな最小値ＭＩＮ´と呼ぶことにする。すなわち、新最小値ＭＩＮ´は式（５）で算出される。新最小値ＭＩＮ´は、再ＡＤＲＣエンコード回路３８に供給される。
【００５２】
ＭＩＮ´＝ＭＩＮ＋ａ（５）
【００５３】
再ＡＤＲＣエンコード回路３８は、メモリ３１から供給される各予測係数と、メモリ３３から供給されるダイナミックレンジＤＲ、および加算器３７から供給される新最小値ＭＩＮ´を用いて、式（６）により、再びＡＤＲＣエンコードを行う。
【００５４】
Ｑ´＝〔（Ｌ−ＭＩＮ´）・２ⁿ／ＤＲ〕（６）
【００５５】
ただし、Ｑ´の最大値は２ⁿ−１、Ｑ´の最小値は０とする。エンコードされた各係数データＱ´およびダイナミックレンジＤＲ、新最小値ＭＩＮ´は、メモリ３９に格納される。
【００５６】
ところで、各タップの係数データが０をまたいで分布していない場合、０を保つような語長制限には、あまり意味がなく、むしろわずかながら誤差を増加させる恐れがあるため、０を保つような語長制限を行わないほうが望ましい。そこで、メモリ３３から供給された最大値ＭＡＸおよび最小値ＭＩＮを用いて、判定回路４０において、予測係数が０をまたいで分布しているか否かを判定する。
【００５７】
予測係数が０をまたいで分布していると判定された場合、他の実施例に示すように０を保つような語長制限法が好ましいため、メモリ３９に格納されている係数データＱ´およびダイナミックレンジＤＲ、新最小値ＭＩＮ´を処理結果として出力する。一方、予測係数が０をまたいで分布していないと判断された場合、従来の語長制限法が好ましいため、メモリ３３に格納されている係数データＱおよびダイナミックレンジＤＲ、最小値ＭＩＮを処理結果として出力する。出力された処理結果は、メモリ１１に供給され、係数ＲＯＭとして使用される。
【００５８】
例えば、あるタップの係数データの分布が｛-1.432,0.0,-0.691,0.518 ｝として、予測係数決定回路９からメモリ３１へ要求された場合、ＡＤＲＣエンコード回路３２では、通常のＡＤＲＣによる２ビットの語長制限が行われる。その結果は、メモリ３３に格納される。このＡＤＲＣエンコード回路３２において、行われるＡＤＲＣエンコードでは、最大値ＭＡＸが0.518 、最小値ＭＩＮが-1.432が用いられる。これらの値を用いてＡＤＲＣエンコード回路３２では、係数データのＡＤＲＣエンコードが行われる。そのエンコードされた係数データＱは、最小値ＭＩＮおよびダイナミックレンジＤＲとともにメモリ３３へ格納される。
【００５９】
ＡＤＲＣデコード回路３４では、ＡＤＲＣエンコード回路３２において、エンコードされた係数データＱのデコードがなされる。デコードがなされた係数データ｛-1.432,-0.132,-0.782,0.518｝の分布の中から絶対値の最小値となるデータ｜ａ｜が検出され、検出されたデータ｜ａ｜と対応する係数データａ（＝-0.132）は、最小値ＭＩＮ（＝-1.432）と加算され、新最小値ＭＩＮ´（-0.132＋(-1.432)＝-1.564）として再ＡＤＲＣエンコード回路３８へ供給される。この再ＡＤＲＣエンコード回路３８では、新最小値ＭＩＮ´を使用してＡＤＲＣエンコード回路３２でエンコードされた係数データが再びエンコードされ、その結果は、メモリ３９に格納される。
【００６０】
判定回路４０では、この係数データが０をまたいで分布しているか否が判定される。係数データが０をまたいで分布している場合、絶対値最小値検出回路３６から出力される係数データａは、マイナスの値となるため、再ＡＤＲＣエンコード回路３８では、最小値ＭＩＮが係数データａのレベル分シフトが行われる。すなわち、ＡＤＲＣエンコードさらにＡＤＲＣデコードを行うことによって、本来0.0 であった係数データが-0.132の値となる。そこで、本来0.0 であった係数データを0.0 とするために、-0.132だけ最小値ＭＩＮ（＝-1.432）のシフトを行うことよって、ＡＤＲＣエンコードされた0.0 の値を持つ係数データは、ＡＤＲＣデコードされたときも0.0 の値となる。
【００６１】
通常の係数ＲＯＭ生成においては、図８に示すように、予測係数決定回路により決定された係数データをそのまま、あるいは足切りをするかたちで係数ＲＯＭに格納していた。これに対して、他の実施例は、図３に示すように、各タップの係数データに対してＡＤＲＣ処理を行い、すなわち係数データの正規化をして係数データの語長を最大限有効に使う形で格納することにより、係数データの誤差を減らす。この際、０をまたぐような分布をしている係数データに関しては、上述のように０をキープするような係数データの語長が行われている。
【００６２】
なお、エンコード時には、係数データが０をまたいで分布している場合と０をまたいで分布していない場合とで処理を変えているが、このデコード側では処理を切り換える必要はない。そのため、デコード側は、従来の構成で良い。
【００６３】
なお、上述の説明では、最小値ＭＩＮをシフトさせることにより、０をキープするようなＡＤＲＣ処理を行ったが、必ずしもこの方式である必要はない。例えば、デコード時にも最も０に近いようなデコードデータは、０としてデコードすることが可能である。
【００６４】
なお、上述の説明では略したが、係数復号回路２６と推定演算回路２８の間にゲイン補正回路を設けても良い。
【００６５】
【発明の効果】
この発明に依れば、係数データをＡＤＲＣにより正規化して格納することにより記録語長を最大限に有効利用できるので、同じ記録語長でも、係数データの誤差を押さえることができ、結果的に計算結果の誤差を小さくすることができる。
【００６６】
また、この発明に依れば、０をまたぐ分布を持つ係数データに関しては、０をキープするようなエンコードを実現することにより、本来０であった係数データが誤差を持つことによる画質劣化を軽減することができる。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の学習時の実施例である。
【図２】この発明の係数ＲＯＭ生成の実施例を示すブロック図である。
【図３】この発明に係る係数ＲＯＭ生成の動作を説明するための略線図である。
【図４】この発明に係る画像情報変換装置の実施例である。
【図５】この発明に係る係数ＲＯＭの動作を説明するための略線図である。
【図６】この発明の係数ＲＯＭ生成の他の実施例を示すブロック図である。
【図７】クラス分類適応処理を説明するための略線図である。
【図８】従来の係数ＲＯＭ生成の動作を説明するための略線図である。
【図９】従来の係数ＲＯＭの動作を説明するための略線図である。
【符号の説明】
２垂直間引きフィルタ
３水平間引きフィルタ
４領域分割化回路
５ＡＤＲＣ回路
６クラスコード発生回路
８正規方程式加算回路
９予測係数決定回路
１０係数符号化回路[0001]
[Industrial application fields]
  The present invention, for example, blocks the spatio-temporal pixels of the input data, classifies it by some method, models it by linear linear combination for each class, obtains coefficient data by learning by the least square method, Image information conversion apparatus for performing processing using the coefficient data, andMethod, coefficient data generation device, andRegarding the method.
[0002]
[Prior art]
Conventionally, application of class classification adaptive processing includes SD (Standered Definition) to HD (High Definition) image information conversion device, spatio-temporal model coding, MUSE image quality improvement, Y / C separation of composite signal, etc. Application ideas have been filed. In other words, a pixel of a space-time of a certain size is blocked, and this is classified into classes by some method (for example, ADRC (Adaptive Dynamic Range Coding)), and for each class, modeling is performed by linear linear combination, that is, a prediction formula is established, Coefficient data is obtained by learning using a least square method or the like.
[0003]
  Image by class classification adaptive processinginformationIn the conversion apparatus, new pixel data is generally created using the following linear linear combination formula using image data of a plurality of fields as shown in FIG. Y in this formula (1) is pixel data to be created, w_nIs the prediction coefficient, x_nIs pixel data used for estimation.
[0004]
y = w₁x₁+ W₂x₂+ ... + w_nx_n            (1)
[0005]
The coefficient data calculated by learning the above procedure is stored in a coefficient ROM or RAM (hereinafter referred to as coefficient ROM). In order to maintain calculation accuracy, each coefficient data must have a certain word length or more. In the case of normal filtering or adaptive processing, this coefficient data is one set or at most several sets. For this reason, even if the word length of each coefficient data is increased, the size of the coefficient ROM for storing the coefficient data is small enough not to cause a problem.
[0006]
  However, in general, in the classification adaptation process, as shown in FIG.ofEach tap(Each pixel position)The coefficient data is stored, and the coefficient data of each tap of the selected class is read as shown in FIG. As described above, in the class classification adaptive processing, as the number of classes to be divided increases, higher performance processing can be realized. Therefore, an application that requires high performance needs to be divided into many classes. Therefore, in that case, the capacity of the coefficient ROM for storing coefficient data becomes large according to the number of classes, and in some cases, it may be difficult to realize in hardware.
[0007]
Two approaches are conceivable for reducing the capacity of the coefficient ROM. One is to reduce the number of classes, and the other is to reduce the word length of coefficient data. The approach to reduce the number of classes will be left to others, and only the reduction of the word length of coefficient data will be considered here. The simplest method for reducing the word length of coefficient data is to limit the word length of each coefficient data to be short. For example, if the coefficient data originally stored with a word length of n bits is reduced to n / 2 bits, the size of the coefficient ROM can be halved by itself. However, when the simple deletion of the word length of the coefficient data is excessively performed, there is a problem that the calculation accuracy is remarkably deteriorated.
[0008]
The biggest cause is that the error of the coefficient data itself becomes large with the reduced word length, and as a result, the error of the decoding result becomes large. There is also a reason for not using it effectively. This will be described in detail.
[0009]
  Consider storing coefficient data in a coefficient ROM with a word length of 6 bits. Usually, in the 6-bit area, the upper 1 bit is used as a code area and the lower 5 bits are used as a data area. For example, each coefficient data of the filter is {−0.276, + 1.321, + 0.569, + 0.336}NaIf there is a filter, select a power of 2 so that the power of 2 of the maximum absolute value of the coefficient data does not exceed the 5-bit range of the data area, that is, 31 or less, By multiplying it, each coefficient data is stored in the data area.
[0010]
That is, in this case, the maximum absolute value of the coefficient data is 1.321, and 32 times the value is 42.272, which exceeds 31, so the data is stored in the coefficient ROM by multiplying each coefficient data by 16. 16 times the absolute value of each coefficient data is {4.416,21.136,9.104,5.376}, and these values are rounded, for example, {4,21,9,5} is the lower 5 bits of the coefficient ROM. Will be stored.
[0011]
By the way, an area of 6 bits originally can express ± 31. However, in the above example, the maximum value is 21 and the minimum value is −5, which indicates that the area is not effectively used. This leads to an increase in the error of the coefficient data, resulting in deterioration of calculation accuracy.
[0012]
In particular, in class classification adaptive processing, the distribution characteristics of coefficient data often differ depending on the taps. That is, when all coefficient data is viewed, even if the dynamic range of the coefficient data is very large, when the coefficient data is viewed within each tap, the coefficient data may not change so much regardless of the class.
[0013]
For example, when the maximum absolute value of coefficient data when viewing all coefficient data is 2.068, if it is attempted to record with 6 bits as described above, it is 2.068 × 16 = 33.088, which exceeds 31. Thus, the coefficient data multiplied by 8 is stored. However, if the maximum value of the coefficient data is +0.651 and the minimum value is +0.488 when viewed within a certain tap, when multiplied by 8, +0.651 becomes 5.028, so that +0.488 becomes 3.904 Therefore, it is stored as 4. That is, when the coefficient data of this tap takes various values between 0.488 and 0.651, when stored with a 6-bit word length limited, the coefficient data of this tap is only two. It will be expressed as a value. In such a case, it is remarkable that the area that can be originally expressed is not fully utilized.
[0014]
[Problems to be solved by the invention]
  The present invention has been made in view of the above-mentioned problems, and an image information conversion apparatus that uses a class classification adaptive process to minimize degradation of results even when the capacity is reduced.Method, coefficient data generation device, andThe purpose is to provide a method.
[0015]
[Means for Solving the Problems]
  The invention according to claim 1 is an image information conversion apparatus configured to convert a digital image signal into a digital image signal having a larger number of pixels.
  Multiple externally supplied image information located in the vicinity in space and timePixelImage information dividing means for dividing into a plurality of blocks consisting of:
  A class detection unit for detecting a level distribution pattern of the image information for each block divided by the image information dividing unit, and outputting class information to which the image information of the block belongs based on the detected pattern;
  This is information for converting image information supplied from outside into image information having a higher resolution than image information supplied from outside.linearCoefficient data for estimation formulaTheNormalize for each pixel position of the blockEncoded to doCoefficient data is stored for each class, depending on the class information from the class detection meansCodingCoefficient data storage means for outputting coefficient data;
  Supplied from the coefficient data storage meansCodingCoefficient dataUsing the above linear estimation equation that is a linear linear combination of coefficient data generated by decoding and pixel values of a plurality of pixels in image information supplied from the outsideImage conversion means for converting image information supplied from outside into image information having a higher resolution than image information supplied from outside;
It is an image information converter characterized by having.
[0016]
  Furthermore, the invention according to claim 2In a coefficient data generation device for generating coefficient data used in an estimation formula for converting a digital image signal into a digital image signal having a larger number of pixels,
  Filter means for reducing the number of pixels of the digital image signal by using a filter for the digital image signal having a larger number of pixels;
  Image information dividing means for dividing the reduced number of pixels into a plurality of blocks composed of a plurality of image data located in the vicinity in space and time;
  A class detection unit for detecting a level distribution pattern of the image information for each block divided by the image information dividing unit, and outputting class information to which the image information of the block belongs based on the detected pattern;
  Coefficient data generating means for generating coefficient data from a digital image signal having a larger number of pixels and a digital image signal having a reduced number of pixels;
  Generated coefficient dataBlock pixel positionNormalize every time and store the normalized coefficient data according to the class informationCoefficient data storage meansWhen
It is characterized by havingCoefficient data generationDevice.
[0017]
In an image information conversion method for converting a digital image signal into a digital image signal having a larger number of pixels,
  Multiple externally supplied image information located in the vicinity in space and timePixelDividing into a plurality of blocks consisting of:
  A level distribution pattern of image information is detected for each divided block, and based on the detected pattern, outputting class information to which the image information of the block belongs;
  This is information for converting image information supplied from outside into image information having a higher resolution than image information supplied from outside.linearCoefficient data for estimation formulaTheNormalize for each pixel position of the blockEncoded to doCoefficient data is stored for each class, depending on the class informationCodingOutputting coefficient data;
  CodingCoefficient dataUsing the above linear estimation equation that is a linear linear combination of coefficient data generated by decoding and pixel values of a plurality of pixels in image information supplied from the outsideConverting image information supplied from outside into image information having a higher resolution than image information supplied from outside;
It is the image information conversion method characterized by having.
[0018]
  And claims6The invention described inIn a coefficient data generation method for generating coefficient data used in an estimation formula for converting a digital image signal into a digital image signal having a larger number of pixels,
  Reducing the number of pixels of the digital image signal using a filter for the digital image signal having a larger number of pixels;
  Dividing the reduced number of pixels into a plurality of blocks composed of a plurality of image data located in the vicinity in space and time;
  A level distribution pattern of image information is detected for each divided block, and based on the detected pattern, outputting class information to which the image information of the block belongs;
  Generating coefficient data from a digital image signal having a larger number of pixels and a digital image signal having a reduced number of pixels;
  Generated coefficient dataBlock pixel positionNormalized every time, normalized coefficient data according to class informationCoefficient data storage meansAnd memorizing stepCoefficient data generationIs the method.
[0019]
[Action]
  Image information conversionIn the apparatus and method, when the coefficient data is stored with the word length shortened, the data is stored in a normalized form by processing such as ADRC. As a result, the data word length can be effectively utilized to the maximum extent, so that the error of the coefficient data is reduced even with a short word length. In particular, with respect to coefficient data distributed across 0, the coefficient data that was originally 0 is obtained by performing word length restriction in such a way that the coefficient data that was originally 0 always becomes 0 even after the word length restriction. Image quality degradation due to data errorSuppressionYeah.
[0020]
【Example】
  Below, images of the present inventioninformationEmbodiments of the conversion apparatus and method will be described with reference to the drawings. FIG. 1 shows an example of this, namely an image.informationIt is the block diagram explaining the production method of the coefficient data stored in the ROM table of a converter.
[0021]
In order to obtain coefficient data by learning, first, an SD image corresponding to an already known HD image and having a number of pixels of 1/4 of the HD image is generated. Specifically, the ideal filter circuit thins out the pixels in the vertical direction of the HD data supplied via the input terminal 1 by the vertical thinning filter 2 so that the vertical frequency in the field is halved. Further, the horizontal thinning filter 3 thins out pixels in the horizontal direction of the HD data, thereby generating an HD image having a 1/4 pixel number, that is, an SD image.
[0022]
The output signal of the horizontal thinning filter 3 is supplied to the area dividing circuit 4. In the area dividing circuit 4, the supplied SD image signal is divided into a plurality of areas. The SD image signal divided into a plurality of regions is supplied to the ADRC encoding circuit 5.
[0023]
The ADRC encoding circuit 5 detects a one-dimensional or two-dimensional level distribution pattern of SD data supplied for each divided area, and converts all data or a part of data in each area, for example, Pattern compression data is generated by performing an operation such as compression from 8-bit SD data to 2-bit SD data, and this pattern compression data is supplied to the class code generation circuit 6.
[0024]
The class code generation circuit 6 determines a class to which the area belongs based on the pattern compression data supplied from the ADRC encoding circuit 5 and outputs a class code indicating the class. The class code generation circuit 6 outputs the class code to the normal equation addition circuit 8.
[0025]
In addition to the output data of the class code generating circuit 6, the normal equation adding circuit 8 receives SD data supplied from the area dividing circuit 4 and HD data supplied from the horizontal thinning filter 3. The normal equation adding circuit 8 uses these data to add the normal equations, and after completing the input of all the training data, outputs the normal equation data to the prediction coefficient determining circuit 9.
[0026]
The prediction coefficient determination circuit 9 solves the normal equation using a general matrix solving method such as a sweeping method and calculates a prediction coefficient. The calculated prediction coefficient is supplied to the coefficient encoding circuit 10. The prediction coefficient calculated by the prediction coefficient determination circuit 9 is normalized by the coefficient encoding circuit 10 by performing ADRC encoding, and stored in the memory 11. More specifically, a storage data generation method that fully utilizes the word length range of the data area is performed by normalizing coefficient data using ADRC.
[0027]
An example of a more detailed block diagram of the coefficient encoding circuit 10 and the memory 11 is shown in FIG. Coefficient data supplied from the prediction coefficient determination circuit 9 is supplied to the tap dividing circuit 18 via the input terminal 16, and a control signal corresponding to the supplied coefficient data is supplied from the input terminal 17 to the tap dividing circuit 18. The tap dividing circuit 18 divides the coefficient data supplied based on the control signal into each tap. The coefficient data divided into the respective taps is supplied to the ADRC encoding circuit 19 through the terminals of the respective taps.
[0028]
The ADRC encoding circuit 19 detects the maximum value MAX, the minimum value MIN, etc. for each tap of the coefficient data, performs ADRC encoding, and supplies the result to the memory 11. In the memory 11, the data is stored in a predetermined class and a predetermined tap according to a control signal from the input terminal 17.
[0029]
  That is, the ADRC encoding circuit 19₀Then tap 0 for each class(Pixel position is 0)The maximum value MAX and the minimum value MIN are detected, and ADRC encoding is performed. Similarly, the ADRC encoding circuit 19₁Then, the maximum value MAX and the minimum value MIN of the tap 0 of each class are detected, and ADRC encoding is performed. In the ADRC encoding circuit 19, the encoded coefficient data is stored in each class for each tap as shown in FIG. 3, and the minimum value MIN and dynamic range DR are also stored for each tap.
[0030]
In this example, the minimum value MIN and the dynamic range DR are stored for each tap, but the data stored for each tap may be the maximum value MAX and the minimum value MIN or the maximum value MAX and the dynamic range DR. Further, the stored data is stored as data before being encoded.
[0031]
In such a method, since the coefficient data has a correlation for each tap, efficient quantization is performed. Furthermore, since the tap has a high level of coefficient data and a low level of coefficient data, the number of bits allocated for quantization may be changed.
[0032]
As described above, according to the conventional method, the prediction coefficient calculated by the prediction coefficient determination circuit 9 is stored in the memory 11 as it is. In that case, the word length is limited by the size of the memory, and the lower bit data is simply stored in a reduced form. For this reason, when the word length is limited to be short, the error of the coefficient data becomes large, resulting in a phenomenon that the calculation accuracy deteriorates.
[0033]
In this embodiment, a storage data generation method that fully utilizes the range of areas that can be originally stored by performing coefficient data normalization using ADRC is performed. Originally, ADRC is an adaptive requantization method developed for high-efficiency coding for VTRs, but here, it is used for normalization for generating stored data. The ADRC circuit uses the following equation (2), where DR is the dynamic range of the coefficient data, n is the word length of the data to be stored, L is the data level of each coefficient data, and Q is the code stored in the requantization code, that is, the coefficient ROM. Thus, normalization is performed by equally dividing the coefficient data between the maximum value MAX and the minimum value MIN by the designated bit length and performing requantization. Since the data to be handled is not a natural number but a signed decimal point data, it is slightly different from normal ADRC, but is the same in principle.
[0034]
DR = MAX-MIN
Q = [(L-MIN) · 2ⁿ/ DR] (2)
However, the maximum value of Q is 2ⁿ-1.
[0035]
Here, detection of the maximum value MAX and the minimum value MIN of the coefficient data is performed for each tap. This is because the coefficient data in the same tap generally does not change so much even if the class changes, and the dynamic range DR is reduced by taking the maximum value MAX and the minimum value MIN within the same tap. It is because there are many things that can be done. Further, as described above, the minimum value MIN and the dynamic range DR, the maximum value MAX and the minimum value MIN, or the maximum value MAX and the dynamic range DR are stored in the word length before the data length is reduced. By using this method, the data word length can be used as effectively as possible, so the error in the coefficient data can be greatly reduced by limiting the word length compared to the case where the word length is reduced by a simple cut-off method. Can do. Therefore, the final error can also be reduced.
[0036]
In summary, in the generation of the conventional coefficient ROM, as shown in FIG. 8, the coefficient data determined by the prediction coefficient determination circuit is stored in the coefficient ROM as it is or is cut off. In this embodiment, as shown in FIG. 3, the ADRC process is performed on the coefficient data for each tap, that is, the coefficient data is normalized for each tap to maximize the word length of the coefficient data. By storing the data in the usage form, the error of the coefficient data is reduced.
[0037]
  Subsequently, the image using the coefficient ROM generated by the above-described method and actually using the classification adaptation processinformationFIG. 4 shows a schematic configuration of signal processing of the conversion device. SD data is supplied from an input terminal 21. The SD data is obtained by digitizing image information supplied from the outside, for example, a so-called NTSC video signal. The SD data supplied from the input terminal 21 is supplied to the area dividing circuit 22.
[0038]
The area dividing circuit 22 performs processing for extracting SD pixels located in the vicinity of the generated HD pixels in terms of time and space. A plurality of SD pixels extracted by the area dividing circuit 22 are supplied to the class classification circuit 23 and the delay circuit 27. The delay circuit 27 delays the data by a time required for processing of the class classification circuit 23, the class code generation circuit 24, the ROM table 25, and the coefficient decoding circuit 26 and outputs the data to the estimation calculation circuit 28.
[0039]
The class classification circuit 23 is for detecting a one-dimensional or two-dimensional level distribution pattern of SD pixels supplied for each region. For example, by using ADRC in the class classification circuit 23, by performing an operation such as compressing SD pixels in each area from, for example, 8-bit SD pixels to 2-bit SD pixels, pattern compressed data in each area is converted. The pattern compression data is supplied to the class code generation circuit 24.
[0040]
The class code generation circuit 24 detects the class to which the area belongs based on the pattern compression data supplied from the class classification circuit 23, and the class code indicating the class is supplied to the ROM table 25. This class code indicates a read address from the ROM table 25.
[0041]
In the ROM table 25, coefficient data for calculating HD pixels corresponding to SD pixels using a linear estimation formula is stored for each class by the method described above. This is information for converting an SD pixel into an HD pixel conforming to a so-called high-vision standard, which is image information having a resolution higher than that of the image information, using a linear estimation formula. The coefficient data of the class is read from the ROM table 25 by the address indicated by the class code, and the coefficient data is supplied to the coefficient decoding circuit 26.
[0042]
  Figure above8As shown in FIG. 1, the generated coefficient data is stored as it is in the conventional coefficient ROM. Therefore, the coefficient data of the class is read from the address indicated by the class code, the coefficient data is sent to the estimation calculation circuit 28, and the calculation is performed in the estimation calculation circuit 28. However, in such a conventional method, the data for the word length of the coefficient ROM is not fully used, and therefore the calculation accuracy is likely to deteriorate when the word length of the coefficient data is shortened.
[0043]
As described above, coefficient data is stored in the coefficient ROM of the class classification adaptive processing apparatus of the present invention in a form encoded by ADRC. Therefore, in the coefficient decoding circuit 26, for example, using the minimum value MIN, the dynamic range DR, and the encoded coefficient data Q stored in the ROM table 25, the ADRC of the coefficient data is expressed by the following equation (3). Decrypt. In the coefficient decoding circuit 26, the generated decoded value L is supplied to the estimation calculation circuit 28.
[0044]
L = [Q · DR / 2ⁿ+ MIN + 0.5] (3)
[0045]
  In summary, the conventional coefficient ROM stores coefficient data that has been generated by solving a normal equation (or that value is simply truncated).9As shown in FIG. 5, the estimation calculation can be performed as it is by referring to the coefficient data of a predetermined class. However, in this embodiment, the coefficient data is stored in an ADRC encoded form. As shown in FIG. 5, it is necessary to perform estimation calculation after ADRC decoding.
[0046]
The estimation calculation circuit 28 calculates an HD pixel corresponding to the SD pixel using the SD pixel supplied from the region dividing circuit 22 and the coefficient data supplied from the coefficient decoding circuit 26 via the delay circuit 27. The created HD pixel is supplied to the horizontal interpolation filter 29.
[0047]
The horizontal interpolation filter 29 doubles the number of pixels in the horizontal direction by interpolation processing. The output of the horizontal interpolation filter 29 is output via the output terminal 30. The HD data output via the output terminal 30 is supplied to, for example, an HD television receiver or an HD video tape recorder device.
[0048]
  Here, in the above-described processing, the coefficient data originally having a size of 0 has an error in some cases and may affect the quality of the creative image. Another embodiment for reducing the coefficient word length by ADRC processing to always be 06Shown in The prediction coefficient calculated by the prediction coefficient determination circuit 9 is stored in the memory 31. Each prediction coefficient read from the memory 31 is first subjected to ADRC encoding by the ADRC encoding circuit 32 for each tap by the normal ADRC processing as described above. The ADRC encoded coefficient data, the minimum value MIN, the maximum value MAX, and the dynamic range DR are stored in the memory 33. Data in the memory 33 is supplied to the ADRC decoding circuit 34.
[0049]
The ADRC decoding circuit 34 decodes each encoded coefficient data by the following equation (4). Each decoded coefficient data is supplied to the absolute value circuit 35. The absolute value converting circuit 35 converts the decoded coefficient data into absolute values. Each coefficient data converted to an absolute value and each coefficient data before being converted to an absolute value supplied from the ADRC decoding circuit 34 are supplied to an absolute value minimum value detection circuit 36.
[0050]
L = Q · DR / 2ⁿ+ MIN (4)
[0051]
The absolute value minimum value detection circuit 36 selects the minimum data | a | from the coefficient data converted into absolute values, and converts the coefficient data a before the absolute value that leads to it into the ADRC decoding circuit 34. Is detected from the coefficient data supplied from, and the value is supplied to the adder 37. The adder 37 adds the coefficient data “a” to the minimum value MIN supplied from the memory 33. This data will be referred to as a new minimum value MIN ′. That is, the new minimum value MIN ′ is calculated by Expression (5). The new minimum value MIN ′ is supplied to the re-ADRC encoding circuit 38.
[0052]
MIN '= MIN + a (5)
[0053]
The re-ADRC encoding circuit 38 uses each prediction coefficient supplied from the memory 31, the dynamic range DR supplied from the memory 33, and the new minimum value MIN ′ supplied from the adder 37, according to Expression (6). Then, ADRC encoding is performed again.
[0054]
Q '= [(L-MIN'). 2ⁿ/ DR] (6)
[0055]
However, the maximum value of Q 'is 2ⁿThe minimum value of −1 and Q ′ is 0. Each encoded coefficient data Q ′, dynamic range DR, and new minimum value MIN ′ are stored in the memory 39.
[0056]
By the way, when the coefficient data of each tap is not distributed across 0, there is not much meaning to the word length restriction that keeps 0, but rather it may slightly increase the error, so keep 0. It is preferable not to limit the word length. Therefore, using the maximum value MAX and the minimum value MIN supplied from the memory 33, the determination circuit 40 determines whether or not the prediction coefficient is distributed across 0.
[0057]
When it is determined that the prediction coefficient is distributed across 0, a word length restriction method that maintains 0 as shown in other embodiments is preferable, and therefore, coefficient data Q ′ stored in the memory 39 and The dynamic range DR and the new minimum value MIN ′ are output as processing results. On the other hand, if it is determined that the prediction coefficient is not distributed across 0, the conventional word length restriction method is preferable, so that the coefficient data Q, dynamic range DR, and minimum value MIN stored in the memory 33 are processed. Output as. The output processing result is supplied to the memory 11 and used as a coefficient ROM.
[0058]
For example, when the coefficient data distribution of a tap is {-1.432,0.0, -0.691,0.518} and the prediction coefficient determination circuit 9 requests the memory 31, the ADRC encoding circuit 32 uses a 2-bit normal ADRC. Word length restriction is performed. The result is stored in the memory 33. In this ADRC encoding circuit 32, the maximum value MAX is 0.518 and the minimum value MIN is -1.432 in the ADRC encoding performed. Using these values, the ADRC encoding circuit 32 performs ADRC encoding of the coefficient data. The encoded coefficient data Q is stored in the memory 33 together with the minimum value MIN and the dynamic range DR.
[0059]
In the ADRC decoding circuit 34, the encoded coefficient data Q is decoded in the ADRC encoding circuit 32. Data | a | having the minimum absolute value is detected from the distribution of the coefficient data {-1.432, -0.132, -0.782, 0.518} that has been decoded, and the coefficient data corresponding to the detected data | a | a (= −0.132) is added to the minimum value MIN (= −1.432) and supplied to the re-ADRC encoding circuit 38 as a new minimum value MIN ′ (−0.132 + (− 1.432) = − 1.564). In the re-ADRC encoding circuit 38, the coefficient data encoded by the ADRC encoding circuit 32 is encoded again using the new minimum value MIN ′, and the result is stored in the memory 39.
[0060]
In the determination circuit 40, it is determined whether or not the coefficient data is distributed across zero. When the coefficient data is distributed across 0, the coefficient data a output from the absolute value minimum value detection circuit 36 is a negative value. Therefore, in the re-ADRC encoding circuit 38, the minimum value MIN is the coefficient data a. Is shifted by the corresponding level. That is, by performing ADRC encoding and ADRC decoding, the coefficient data that was originally 0.0 becomes a value of -0.132. Therefore, in order to set the coefficient data that was originally 0.0 to 0.0, the coefficient data having a value of 0.0 that is ADRC encoded is ADRC decoded by shifting the minimum value MIN (= -1.432) by −0.132. Will also be 0.0.
[0061]
  In normal coefficient ROM generation,8As shown in FIG. 5, the coefficient data determined by the prediction coefficient determination circuit is stored in the coefficient ROM as it is or after being cut off. On the other hand, another embodiment is shown in FIG.3As shown in FIG. 4, by performing ADRC processing on the coefficient data of each tap, that is, by normalizing the coefficient data and storing it in such a way as to use the word length of the coefficient data as effectively as possible, the error of the coefficient data is reduced. cut back. At this time, for coefficient data having a distribution that crosses 0, the word length of coefficient data that keeps 0 is performed as described above.
[0062]
At the time of encoding, the processing is changed between the case where the coefficient data is distributed over 0 and the case where the coefficient data is not distributed over 0, but it is not necessary to switch the processing on the decoding side. Therefore, the decoding side may have a conventional configuration.
[0063]
In the above description, the ADRC process is performed to keep 0 by shifting the minimum value MIN. However, this method is not necessarily required. For example, the decoded data that is closest to 0 at the time of decoding can be decoded as 0.
[0064]
Although omitted in the above description, a gain correction circuit may be provided between the coefficient decoding circuit 26 and the estimation calculation circuit 28.
[0065]
【The invention's effect】
According to this invention, since the coefficient data is normalized by ADRC and stored, the recorded word length can be utilized to the maximum extent, so that even with the same recorded word length, the error of the coefficient data can be suppressed. The error of the calculation result can be reduced.
[0066]
In addition, according to the present invention, with respect to coefficient data having a distribution that crosses 0, encoding that keeps 0 is realized, thereby reducing image quality deterioration due to an error in coefficient data that was originally 0. can do.
[Brief description of the drawings]
FIG. 1 is an embodiment at the time of learning of an image information conversion apparatus according to the present invention.
FIG. 2 is a block diagram showing an embodiment of coefficient ROM generation according to the present invention.
FIG. 3 is a schematic diagram for explaining an operation of generating a coefficient ROM according to the present invention.
FIG. 4 is an embodiment of an image information conversion apparatus according to the present invention.
FIG. 5 is a schematic diagram for explaining the operation of the coefficient ROM according to the present invention.
FIG. 6 is a block diagram showing another embodiment of coefficient ROM generation according to the present invention.
FIG. 7 is a schematic diagram for explaining class classification adaptation processing;
FIG. 8 is a schematic diagram for explaining a conventional coefficient ROM generation operation;
FIG. 9 is a schematic diagram for explaining the operation of a conventional coefficient ROM;
[Explanation of symbols]
2 Vertical thinning filter
3 Horizontal thinning filter
4 Area division circuit
5 ADRC circuit
6 Class code generator
8 Normal equation addition circuit
9 Prediction coefficient determination circuit
10 Coefficient encoding circuit

Claims

In an image information conversion apparatus configured to convert a digital image signal into a digital image signal having a larger number of pixels,
Image information dividing means for dividing image information supplied from outside into a plurality of blocks composed of a plurality of pixels located in the vicinity in space and time;
Class detection means for detecting a level distribution pattern of image information for each of the blocks divided by the image information dividing means and outputting class information to which the image information of the block belongs based on the detected pattern;
The image information supplied from the external, the information coefficient data of a linear estimation expression is used to convert the high resolution image data than the image information supplied from the external, normalized for each pixel position of the block Coding coefficient data encoded to be stored for each class, coefficient data storage means for outputting the coding coefficient data according to the class information from the class detection means,
The linear that is a linear linear combination of coefficient data generated by decoding the encoded coefficient data supplied from the coefficient data storage means and pixel values of a plurality of pixels in the image information supplied from the outside Image conversion means for converting the image information supplied from the outside into image information having a higher resolution than the image information supplied from the outside using an estimation formula, and outputting the image information. Conversion device.

In a coefficient data generation device for generating coefficient data used in an estimation formula for converting a digital image signal into a digital image signal having a larger number of pixels,
Filter means for reducing the number of pixels of the digital image signal by using a filter for the digital image signal having a larger number of pixels;
Image information dividing means for dividing the reduced number of pixels into a plurality of blocks composed of a plurality of image data located in the vicinity in space and time;
A class detection unit for detecting a level distribution pattern of image information for each of the blocks divided by the image information dividing unit, and outputting class information to which the image information of the block belongs based on the detected pattern;
Coefficient data generating means for generating coefficient data from the digital image signal having a larger number of pixels and the digital image signal having the reduced number of pixels;
A coefficient data generation apparatus comprising: coefficient data storage means for normalizing the generated coefficient data for each pixel position of the block and storing the normalized coefficient data according to the class information.

In the coefficient data generation device according to claim 2,
In the normalization, coefficient data is generated from the digital image signal having a larger number of pixels and the digital image signal having the reduced number of pixels, and the ADRC is generated for each pixel position of the block with respect to the generated coefficient data. It is made by coefficient data processing means for encoding,
The coefficient data processing means for ADRC encoding is
Means for detecting a maximum value of a plurality of coefficient data included in a pixel position of the same block and a minimum value of the plurality of coefficient data;
Means for detecting the dynamic range of the block from the maximum and minimum values;
Means for forming corrected input data corrected to have a relative level relationship based on the maximum value or the minimum value;
A coefficient data generating apparatus comprising: means for quantizing the corrected input data with a number of bits less than or equal to the original number of quantization bits.

In the coefficient data generation device according to claim 3,
Decoding means for decoding the ADRC encoded coefficient data;
Absolute value converting means for converting the decoded coefficient data into absolute values;
Absolute value minimum value selection means for selecting the smallest of the absolute value coefficient data,
A second minimum value calculating means for adding the detected minimum value and the coefficient data before the absolute value minimum value is converted into an absolute value to obtain a second minimum value;
Second coefficient data processing means for subjecting the coefficient data from the coefficient data generating means to ADRC encoding based on the detected dynamic range and the second minimum value;
Determination means for determining whether or not the coefficient data of the pixel position of the block is distributed so as to cross 0;
The coefficient data generation device according to claim 1, wherein the determination unit outputs a processing result using the second minimum value when it is determined that the value exceeds 0.

In an image information conversion method for converting a digital image signal into a digital image signal having a larger number of pixels,
Dividing image information supplied from the outside into a plurality of blocks composed of a plurality of pixels located in the vicinity in space and time;
A level distribution pattern of image information is detected for each of the divided blocks, and based on the detected pattern, outputting class information to which the image information of the block belongs;
The image information supplied from the external, the information coefficient data of a linear estimation expression is used to convert the high resolution image data than the image information supplied from the external, normalized for each pixel position of the block Encoding coefficient data encoded for each class is stored, and outputting the encoding coefficient data according to the class information;
Using the linear estimation formula that is a linear linear combination of coefficient data generated by decoding the encoded coefficient data and pixel values of a plurality of pixels in image information supplied from the outside, Converting the supplied image information into image information having a resolution higher than that of the image information supplied from outside, and outputting the image information.

In a coefficient data generation method for generating coefficient data used in an estimation formula for converting a digital image signal into a digital image signal having a larger number of pixels,
Reducing the number of pixels of the digital image signal using a filter for the digital image signal having a larger number of pixels;
Dividing the reduced number of pixels into a plurality of blocks composed of a plurality of image data located in the vicinity in space and time;
A level distribution pattern of image information is detected for each of the divided blocks, and based on the detected pattern, outputting class information to which the image information of the block belongs;
Generating coefficient data from a digital image signal having a larger number of pixels and a digital image signal having a reduced number of pixels;
Coefficient data generation comprising: normalizing the generated coefficient data for each pixel position of the block, and storing the normalized coefficient data in coefficient data storage means according to the class information Method.

The coefficient data generation method according to claim 6,
In the normalization, coefficient data is generated from the digital image signal having a larger number of pixels and the digital image signal having the reduced number of pixels, and the ADRC is generated for each pixel position of the block with respect to the generated coefficient data. It is done in the coefficient data processing step to encode,
The coefficient data processing step for ADRC encoding is as follows.
Detecting a maximum value of a plurality of coefficient data included in a pixel position of the same block and a minimum value of the plurality of coefficient data;
Detecting the dynamic range of the block from the maximum and minimum values;
Forming modified input data modified to have a relative level relationship relative to the maximum or minimum value;
A coefficient data generation method comprising: quantizing the modified input data with a number of bits equal to or less than an original number of quantization bits.

The coefficient data generation method according to claim 7,
Decoding the ADRC encoded coefficient data;
Converting the decoded coefficient data into absolute values;
A step of selecting a minimum one of the coefficient data converted into absolute values;
Adding the absolute value before the coefficient data of the detected minimum value and the minimum absolute value, determining a second minimum value,
Based on the detected dynamic range and the second minimum value, a step of performing ADRC encoding on the coefficient data,
Determining whether coefficient data of pixel positions of the block is distributed so as to cross 0,
The coefficient data generation method characterized in that the determination step outputs a processing result using the second minimum value when it is determined that the value exceeds 0.