JP4126632B2 - 画像データ変換装置及び画像データ変換方法 - Google Patents
画像データ変換装置及び画像データ変換方法 Download PDFInfo
- Publication number
- JP4126632B2 JP4126632B2 JP28409898A JP28409898A JP4126632B2 JP 4126632 B2 JP4126632 B2 JP 4126632B2 JP 28409898 A JP28409898 A JP 28409898A JP 28409898 A JP28409898 A JP 28409898A JP 4126632 B2 JP4126632 B2 JP 4126632B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- pixel
- image data
- class code
- taps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像データ変換装置及び画像データ変換方法に関し、例えば精細度の低い画像データを精細度の高い画像データに変換する画像データ変換装置及び画像データ変換方法に適用して好適なものである。
【０００２】
【従来の技術】
従来、例えば帯域制限によって精細度が劣化した画像（いわゆるぼけ画像）に対して補間演算による補間処理を施すことにより画素補間を行い、その画質の改善を図るようになされた画像データ変換装置がある。
【０００３】
【発明が解決しようとする課題】
ところで、画像データ変換装置としては、予め低精細度及び高精細度の各画像データに基づいて、低精細度の画像を高精細度の画像に変換する際の予測係数を求めておき、当該予測係数を用いた予測演算によって例えば低精細度の画像を高精細度の画像に変換するアップコンバータがある。
【０００４】
このアップコンバータにおいては、算出しようとする注目画素の周囲の複数画素を低精細度の画像データから抽出し、当該抽出された各画素の信号レベル分布に基づいてその画像を特徴付けるクラスを割り当て、当該クラスに応じて予め算出されている予測係数を用いた予測演算を行うようになされている。
【０００５】
かかるクラス分類適応処理においては、クラスを割り当てる際に抽出する複数画素を広い間隔かつ広い範囲で選択すれば、特に精細度の低いぼけた画像の特徴を、少ない画素を基に正確に把握することができると考えられる。
【０００６】
ところが、抽出する複数画素を広い間隔で選択すると、細かい絵柄に対してその特徴を正確に把握することが困難になる問題があった。
【０００７】
従って、クラスを割り当てる際に抽出する複数画素を高密度かつ広い範囲で多く選択すれば絵柄やその精細度に関わらず画像を忠実に特徴付けることができると考えられる。ところが多くの画素を抽出してクラス分類しようとすると、クラス数が膨大になりそれに伴う予測係数の記憶回路等のハードウエアの規模が膨大になる問題があった。
【０００８】
本発明は以上の点を考慮してなされたもので、簡易な構成によって画像の精細度に応じた当該画像の正確な特徴付を行うことができる画像データ変換装置及び画像データ変換方法を提案しようとするものである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第１画像データから注目画素と、当該注目画素を中心として前後に所定の画素間隔おきに配置された複数の画素とからなる画素グループをクラスタップとして、画素間隔が順次広げられた結果得られる複数のクラスタップをそれぞれ抽出し、複数のクラスタップにおける注目画素及び複数の画素からなる信号レベル分布が表されたクラスコードをそれぞれ生成し、画素間隔が広げられる前後のクラスタップにそれぞれ対応するクラスコード同士を比較し、画素間隔を広げる前の前クラスコードと画素間隔を広げた後の後クラスコードとの共通部分により傾向を判断し、前クラスコードと後クラスコードとの傾向が異なるとき、前クラスコードを最適クラスコードとして選択決定し、最適クラスコードに対応した第１画像データよりも高精細の第２画像データを予測生成するための予測係数と、最適クラスコードに対応する最適クラスタップとが用いられた予測演算を実行することにより第２画像データの注目画素を生成することにより、一段と少ない画素数かつ広い範囲で第１の画像の注目画素の特徴を正確に把握することができる。
【００１０】
従って、第１の画像の特徴を忠実に把握し得る画像データ変換装置を一段と簡易な構成で実現できる。
【００１１】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１２】
（１）クラス分類適応処理の原理
ここでは例えば標準解像度の画像データ（以下、これをＳＤ（Standard Definition ）画像データと呼ぶ）をその各画素の信号レベル分布に応じたクラスに分類し、クラス毎に所定のデータ処理を施すことにより高解像度の画像データ（以下、これをＨＤ（High Definition ）画像データと呼ぶ）を生成するいわゆるクラス分類適応処理の原理について説明する。
【００１３】
図１は、このクラス分類適応処理を実現するアップコンバータ５１の回路構成を示す。アップコンバータ１は、外部から供給される例えば８ビットのパルス符号変調（ＰＣＭ：Pulse Code Modulation ）データでなるＳＤ画像データＳ５１をクラス分類部５２及び予測演算部５３に入力する。クラス分類部５２は、例えば図２に示すように、ＳＤ画像データＳ５１のうち注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計７画素（タップ）をクラス分類用の画素（以下、これをクラスタップと呼ぶ）として設定し、それらの信号レベル分布に基づいてクラスコードＳ５２を生成する。因みに、図中実線は第１フィールドを示し、点線は第２フィールドを示す。
【００１４】
このクラス分類部５２によってクラスコードＳ５２を生成する方法としては、ＰＣＭデータを直接使用する（すなわちＰＣＭデータをそのままクラスデータＳ５２とする）方法や、ＡＤＲＣ（Adaptive Dynamic Range Coding ）等のデータ圧縮方法を用いてクラス数を削減するような方法が考えられる。このうちＰＣＭデータをそのままクラスコードＳ５２とする方法では、クラスタップとして８ビットのＰＣＭデータを７タップ用いることから、クラス数が２56という膨大な数のクラス数に分類されることになり、実用上問題がある。
【００１５】
そこで実際には、クラス分類部５２は、ＡＤＲＣのようなデータ圧縮処理（すなわち再量子化処理）を施すことによりクラス数を削減するようになされている。このＡＤＲＣによる分類法は、注目画素を中心とする近傍領域内の数タップからＡＤＲＣコードを、次式
【００１６】
【数１】
【００１７】
によって求め、当該ＡＤＲＣコードに基づいてクラスコードＳ５２を生成する手法を用いている。ここで、ｃi はＡＤＲＣコード、ｘi は各クラスタップの入力画素値、ＭＩＮは領域内にある各クラスタップの入力画素値のうちの最小画素値、ＤＲは領域内のダイナミックレンジ（最大画素値と最小画素値との差分）、ｋは再量子化ビット数である。
【００１８】
すなわちＡＤＲＣによる分類法は、領域内のダイナミックレンジから再量子化ビット数に応じた量子化ステップ幅を算出し、入力画素値から最小画素値を減算した画素値を量子化ステップ幅に応じて再量子化するものである。例えば領域内の７タップにおいて各クラスタップを１ビットに再量子化する１ビットＡＤＲＣを行う場合では、領域内のダイナミックレンジに基づいて７タップの各入力画素値を適応的に１ビット量子化し、その結果、７タップの入力画素値を７ビットのデータに削減することができるので、全体としてクラス数を１２８クラスにまで削減することができる。
【００１９】
図１に戻って、予測係数ＲＯＭ（Read Only Memory）５４は、後述する学習回路６０によって予め生成された各クラス毎に対応した予測係数データＳ５３を格納しており、クラス分類部５２から供給されるクラスコードＳ５２に応じた予測係数データＳ５３を読み出し、これを予測演算部５３に送出する。予測演算部５３は、例えば図３に示すように、外部から入力されるＳＤ画像データＳ５１のうち、注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計１３タップを予測演算用の画素（以下、これを予測タップと呼ぶ）として選定し、当該予測タップの各画素値と予測係数データＳ５３とを用いて、線形一次結合でなる次式
【００２０】
【数２】
【００２１】
によって表される積和演算を行うことにより、予測タップには存在しないＨＤ画素の集まりであるＨＤ画像データＳ５４を生成し、これを外部に出力する。ここで、ｘ′は各ＨＤ画素値、ｘi は各予測タップの画素値、ｗi は予測係数、ｎは予測タップ数であり、この場合ｎは１３である。
【００２２】
ところで図４は、予測係数ＲＯＭ５４に格納されている予測係数データを生成する学習回路６０の回路構成を示し、当該学習回路６０は、予測係数データを予め生成して、これを予測係数ＲＯＭ５４に格納するようになされている。学習回路６０は、いわゆる教師信号としてのＨＤ画像データＳ６０を垂直間引きフィルタ６１及び予測係数算出回路６２に入力する。学習回路６０は、ＨＤ画像データＳ６０を垂直間引きフィルタ６１及び水平間引きフィルタ６３によって間引くことにより、生徒信号としてのＳＤ画像データＳ６１を生成し、これをクラス分類部６４及び予測係数算出回路６２に入力するようになされている。
【００２３】
クラス分類部６４は、図１に示すアップコンバータのクラス分類部５２と同様の構成でなり、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラスコードＳ６２を生成した後、これを予測係数算出回路６２に送出する。予測係数算出回路６２は、ＨＤ画像データＳ６０及びＳＤ画像データＳ６１を基に、クラスコードＳ６２が示すクラスに応じた予測係数をクラス毎に算出し、その結果得た予測係数データＳ６３を予測係数ＲＯＭ５４に格納する。
【００２４】
この場合、予測係数算出回路６２は、上述の（２）式における予測係数ｗを最小自乗法によって求めるようになされている。具体的には予測係数算出回路６２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素値として、いわゆる観測方程式と呼ばれる次式
【００２５】
【数３】
【００２６】
を生成するように各データを収集する。ここでｍは予測するＨＤ画素の画素数を示す学習データ数、ｎは予測タップ数である。
【００２７】
次に予測係数算出回路６２は、この（３）式を基に、次式
【００２８】
【数４】
【００２９】
に示す残差方程式を立てる。従って各予測係数ｗi は、この（４）式から、次式
【００３０】
【数５】
【００３１】
が最小のときに最適な値となることがわかる。すなわち次式
【００３２】
【数６】
【００３３】
を満たすように予測係数ｗi が算出される。
【００３４】
そこで予測係数算出回路６２は、このｎ個ある（６）式を満たすようなｗ1 、ｗ2 、……、ｗn を算出すればよいことになり、上述の（４）式から、次式
【００３５】
【数７】
【００３６】
を得、これら（６）及び（７）式から、次式
【００３７】
【数８】
【００３８】
を求める。そして予測係数算出回路６２は、上述の（４）及び（８）式から、次式
【００３９】
【数９】
【００４０】
によって表される正規方程式を生成する。このようにして予測係数算出回路６２は、予測タップ数ｎと同一次数の連立方程式でなる正規方程式を生成し、掃き出し法（Gauss Jordanの消去法）を用いてこの正規方程式を解くことにより、各予測係数ｗi を算出する。
【００４１】
以下、学習回路６０による予測係数生成手順について図５に示すフローチャートを用いて説明する。学習回路６０はステップＳＰ６１から入り続くステップＳＰ６２において、教師信号としてのＨＤ画像データＳ６０から生徒信号としてのＳＤ画像データＳ６１を生成することにより、予測係数を生成するのに必要な学習データを生成する。ステップＳＰ６３において、学習回路６０は、予測係数を生成するのに必要十分な学習データが得られたか否か判定し、その結果、未だ必要十分な学習データが得られていないと判断された場合にはステップＳＰ６３において否定結果を得ることによりステップＳＰ６４に移行する。
【００４２】
ステップＳＰ６４において、学習回路６０は、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラス分類を行う。ステップＳＰ６５において、学習回路６０は、各クラス毎に上述の（９）式でなる正規方程式を生成し、ステップＳＰ６２に戻って同様の処理手順を繰り返すことにより、予測係数を生成するのに必要十分な正規方程式を生成する。
【００４３】
これに対してステップＳＰ６３において肯定結果が得られると、このことは必要十分な学習データが得られたことを表しており、このとき学習回路６０はステップＳＰ６６に移って、上述の（９）式でなる正規方程式を掃き出し法によって解くことにより、予測係数ｗ1 、ｗ2 、……、ｗn を各クラス毎に生成する。そしてステップＳＰ６７において、学習回路６０は、生成した各クラス毎の予測係数ｗ1 、ｗ2 、……、ｗn を予測係数ＲＯＭ５４（図１）に格納し、ステップＳＰ６８において当該予測係数生成手順を終了する。
【００４４】
（２）クラス分類適応処理を用いた画像データ変換装置
図６は図１〜図５について上述したクラス分類適応処理を用いた画像データ変換装置１００として、入力画像データＤ１００である標準解像度の画像データ（以下これをＳＤ(Standard Definition) 画像データと呼ぶ）を高解像度の出力画像データＤ１１４（（ＨＤ:High Definition) 画像データ）に変換する装置を示すものである。
【００４５】
図６において画像データ変換装置１００は、ＳＤ画像データである入力画像データＤ１００を複数の領域切り出し部１０１Ａ、１０１Ｂ、……１０１ｋに入力する。
【００４６】
複数の領域切り出し部１０１Ａ、１０１Ｂ、……１０１ｋは、それぞれ生成しようとするＨＤ画像の注目画素に対応するＳＤ画像（入力画像データＤ１００）の注目画素とその周囲の画素に対応する複数の画素を、このとき入力されるＳＤ画像データ（入力画像データＤ１００）の画素からクラスタップとして抽出する。
【００４７】
このとき、各領域切り出し部１０１Ａ、１０１Ｂ、……１０１ｋは、それぞれ異なる画素間隔でＳＤ画像（入力画像データＤ１００）からクラスタップを切り出すようになされている。すなわち、領域切り出し部１０１Ａは図７（Ａ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像の注目画素ＰＥ１と当該注目画素ＰＥ１の左右水平方向に隣接する４つの画素ＰＥ２、ＰＥ３、ＰＥ４及びＰＥ５とからなる５つの画素のデータをそれぞれ第１のクラスタップＣＴ０として抽出する。
【００４８】
また、領域切り出し部１０１Ｂは図７（Ｂ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像の注目画素ＰＥ１と当該注目画素ＰＥ１の左右水平方向に１画素ずつ間引いてなる１画素おきの４つの画素ＰＥ１２、ＰＥ１３、ＰＥ１４及びＰＥ１５とからなる５つの画素のデータをそれぞれ第２のクラスタップＣＴ１として抽出する。
【００４９】
また、領域切り出し部１０１Ｃは図７（Ｃ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像の注目画素ＰＥ１と当該注目画素ＰＥ１の左右水平方向に２画素ずつ間引いてなる２画素おきの４つの画素ＰＥ２２、ＰＥ２３、ＰＥ２４及びＰＥ２５とからなる５つの画素のデータをそれぞれ第３のクラスタップＣＴ２として抽出する。
【００５０】
以下同様にして、複数の領域切り出し部においてそれぞれ注目画素ＰＥ１の左右水平方向に間引く画素数を１画素ずつ増やしてクラスタップを抽出して行き、合計ｋ個の領域切り出し部１０１Ａ〜１０１ｋにおいてそれぞれクラスタップＣＴ０〜ＣＴ（ｋ−１）を抽出する。因みに、ｋ番目の領域切り出し部１０１ｋでは（ｋ−１）画素ずつ間引いたクラスタップＣＴ（ｋ−１）を抽出することになる。
【００５１】
この実施の形態の場合、例えば５つの領域切り出し部１０１Ａ〜１０１ｋを用いることによって、図７（Ａ）〜（Ｅ）に示すように、０画素間隔のクラスタップＣＴ０から４画素間隔のクラスタップＣＴ（ｋ−１＝４）まで５通りのクラスタップを抽出するものとする。
【００５２】
各領域切り出し部１０１Ａ〜１０１ｋはそれぞれの間引き間隔で切り出したクラスタップＣＴ０〜ＣＴ（ｋ−１）を、それぞれ対応するパターン抽出部１０３Ａ〜１０３ｋに供給する。パターン抽出部１０３Ａ〜１０３ｋは、領域切り出し部１０１Ａ〜１０１ｋから供給される各クラスタップＣＴ０〜ＣＴ（ｋ−１）の各画素値に基づいて、各クラスタップＣＴ０〜ＣＴ（ｋ−１）によって表される波形パターンを（１）式について上述した１ビットＡＤＲＣの手法を用いて抽出する。
【００５３】
すなわち、図８に示すように、高精細度の原画像波形ＯＲＧ（図８（Ａ））に対して画像データ変換装置１００（図６）に入力される入力画像データＤ１００の精細度が低下した状態である場合（図８（Ｂ）〜（Ｄ））、図８（Ｂ）に示すように領域切り出し部１０１Ａにおいては当該入力画像データＤ１００によって表される画素について注目画素ＰＥ１を中心として順次隣接する比較的狭い切り出し領域Ｔ０の合計５つの画素ＰＥ１〜ＰＥ５をそれぞれクラスタップＣＴ０として切り出し、これをパターン抽出部１０３Ａに供給する。
【００５４】
従って、パターン抽出部１０３Ａは、図８（Ｂ）に示すように、クラスタップＣＴ０として切り出された各画素ＰＥ１〜ＰＥ５について、１ビットＡＤＲＣによるパターン抽出を行うことにより、当該５つの画素ＰＥ１〜ＰＥ５の波形パターンとして、図８（Ｂ）において水平方向左側から順次「００１１１」で表される波形パターンデータＤ１０３Ａを得る。パターン抽出部１０３Ａはこのようにして抽出された波形パターンデータＤ１０３Ａをクラスコード発生部１０５に供給する。
【００５５】
また、領域切り出し部１０１Ｂは図８（Ｃ）に示すように、入力画像データＤ１００によって表される画素について注目画素ＰＥ１を中心として１画素おきに隣接する合計５つの画素ＰＥ１及びＰＥ１２〜ＰＥ１５をそれぞれ切り出し領域Ｔ１のクラスタップＣＴ１として切り出し、これをパターン抽出部１０３Ｂに供給する。
【００５６】
従って、パターン抽出部１０３Ｂは、図８（Ｃ）に示すように、クラスタップＣＴ１として切り出された各画素ＰＥ１及びＰＥ１２〜ＰＥ１５について、１ビットＡＤＲＣによるパターン抽出を行うことにより、当該５つの画素ＰＥ１及びＰＥ１２〜ＰＥ１５の波形パターンとして、図８（Ｃ）において水平方向左側から順次「０１１１０」で表される波形パターンデータＤ１０３Ｂを得る。パターン抽出部１０３Ｂはこのようにして抽出された波形パターンデータＤ１０３Ｂをクラスコード発生部１０５に供給する。
【００５７】
また、領域切り出し部１０１Ｃは図８（Ｄ）に示すように、入力画像データＤ１００によって表される画素について注目画素ＰＥ１を中心として２画素おきに隣接する合計５つの画素ＰＥ１及びＰＥ２２〜ＰＥ２５をそれぞれ切り出し領域Ｔ２のクラスタップＣＴ２として切り出し、これをパターン抽出部１０３Ｃに供給する。
【００５８】
従って、パターン抽出部１０３Ｃは、図８（Ｄ）に示すように、クラスタップＣＴ２として切り出された各画素ＰＥ１及びＰＥ２２〜ＰＥ２５について、１ビットＡＤＲＣによるパターン抽出を行うことにより、当該５つの画素ＰＥ１及びＰＥ２２〜ＰＥ２５の波形パターンとして、図８（Ｄ）において水平方向左側から順次「００１００」で表される波形パターンデータＤ１０３Ｃを得る。パターン抽出部１０３Ｃはこのようにして抽出された波形パターンデータＤ１０３Ｃをクラスコード発生部１０５に供給する。
【００５９】
また、領域切り出し部１０１Ｄ（図示せず）〜１０１ｋにおいても同様にしてクラスタップＣＴ３〜ＣＴ（ｋ−１）を切り出し、これを対応するパターン抽出部１０３Ｄ（図示せず）〜１０３ｋに供給し、それぞれの波形パターンを抽出しこれを波形パターンデータＤ１０３Ｄ（図示せず）〜Ｄ１０３ｋとしてクラスコード発生部１０５に供給する。
【００６０】
クラスコード発生部１０５は、図９に示すように、パターン抽出部１０３Ａ〜１０３ｋ（図６）からそれぞれ供給される波形パターンデータＤ１０３Ａ〜Ｄ１０３ｋをそれぞれ対応するクラスコード発生部１０７Ａ〜１０７ｋに入力する。
【００６１】
クラスコード発生部１０７Ａ〜１０７ｋはそれぞれ入力された波形パターンデータＤ１０３Ａ〜Ｄ１０７ｋを各波形パターンを表すクラスコードに変換し、当該クラスコードデータＤ１０７Ａ〜Ｄ１０７ｋをクラスコード比較器１０８及びクラスコードセレクタ１１１に供給する。
【００６２】
クラスコード比較器１０８は、各クラスコード発生部１０７Ａ〜１０７ｋから供給されるクラスコードデータＤ１０７Ａ〜Ｄ１０７ｋを比較することにより、図８について上述した精細度の低い入力画像データＤ１００（図８（Ｂ）〜（Ｄ））の原画像データである高精細度の波形パターン（図８（Ａ））の特徴を判別すると共に、当該原画像の波形パターンの特徴に最も近い波形パターンを得るためのクラス（クラスタップＣＴ０〜ＣＴ（ｋ−１））をクラスコードデータＤ１０７Ａ〜Ｄ１０７ｋによって表されるクラスコードの中から選択する。
【００６３】
すなわち、画像データ変換装置１００の入力画像データＤ１００である精細度の低い画像データにおいては、その原画像である高精細度の画像に比べて変化のある波形パターンが変化の少ない波形パターンになっている場合がある。従って、画像データ変換装置１００は、画素間隔を変化させて切り出した各クラスタップＣＴ０〜ＣＴ（ｋ−１）が表す波形パターン（クラス）をクラスコード比較器１０８において比較することにより、原画像の波形パターンの特徴を判別し、当該判別された特徴に最も近い波形パターンを表すクラスを選択する。
【００６４】
この場合、クラスコード比較器１０８は図１０に示す処理手順に従って原画像の特徴に最も近い波形パターン（クラス）を選択する。この処理手順においてクラスコード比較器１０８は、入力画像データＤ１００から間引き間隔を順次広げて複数クラスのクラスタップを切り出す際に、当該間引き間隔を広げる前後で波形パターンの比較を行い、間引く間隔を広げる前後で注目画素近傍の波形の特徴（タップ情報）が失われるか否かを判別することにより、原画像の波形の特徴に最も近い波形パターンを選択する。
【００６５】
そして、クラスコード比較器１０８は、間引く間隔を広げる前後で波形の特徴（タップ情報）が失われるか否かを判断する方法として、間引く間隔を広げる前の波形パターンが、間引く間隔を広げた後の波形パターンの一部であるか否かを判別するようになされている。
【００６６】
すなわち、間引く間隔を広げる前のクラスタップによって形成される波形パターンをＣＬＳａとすると共に間引く間隔を広げた後のクラスタップによって形成される波形パターンをＣＬＳｂとし、クラスタップを水平方向の５タップとした場合の波形パターンＣＬＳａとして例えば「００１１１」、「０００１１」、「１１０００」及び「１１１００」の４つのパターンを考える。
【００６７】
波形パターンＣＬＳａが「００１１１」又は「０００１１」である場合、注目画素を中心として、左右の波形データは「００」又は「１１」となっている。従って、これら２ビット分のデータは、それぞれ「０」又は「１」で代表させることができ、波形パターンＣＬＳａとして「００１１１」を間引くことによって「×０１１×」で表される波形パターンＣＬＳｂ（但し、×は「０」又は「１」）が得られるとき、または、波形パターンＣＬＳａとして「０００１１」を間引くことによって「×００１×」で表される波形パターンＣＬＳｂ（但し、×は「０」又は「１」）が得られるとき、間引き後の波形パターンＣＬＳｂは、間引き前の波形パターンＣＬＳａの一部であると判断することができ、これに対して間引き後の波形パターンＣＬＳｂとして「×０１１×」（但し、×は「０」又は「１」）又は「×００１×」（但し、×は「０」又は「１」）が得られないとき、クラスコード比較器１０８は、間引き前の波形パターンＣＬＳａが原画像の特徴を表す波形パターンであると判断することができ、当該波形パターンＣＬＳａをこのときの注目画素ＰＥ１のクラス波形として選択する。
【００６８】
また、波形パターンＣＬＳａが「１１０００」又は「１１１００」である場合、注目画素を中心として、左右の波形データは「１１」又は「００」となっている。従って、これら２ビット分のデータは、それぞれ「１」又は「０」で代表させることができ、波形パターンＣＬＳａとして「１１０００」を間引くことによって「×１００×」で表される波形パターンＣＬＳｂ（但し、×は「０」又は「１」）が得られるとき、または、波形パターンＣＬＳａとして「１１１００」を間引くことによって「×１１０×」で表される波形パターンＣＬＳｂ（但し、×は「０」又は「１」）が得られるとき、間引き後の波形パターンＣＬＳｂは、間引き前の波形パターンＣＬＳａの一部であると判断することができ、これに対して間引き後の波形パターンＣＬＳｂとして「×１００×」（但し、×は「０」又は「１」）又は「×１１０×」（但し、×は「０」又は「１」）が得られないとき、クラスコード比較器１０８は、間引き前の波形パターンＣＬＳａが原画像の特徴を表す波形パターンであると判断することができ、当該波形パターンＣＬＳａをこのときの注目画素ＰＥ１のクラス波形として選択する。
【００６９】
このように、入力画像データＤ１００として高域成分が失われた精細度の低い画像データが画像データ変換装置１００に入力された場合、当該入力画像データＤ１００のクラスタップを切り出す際に、注目画素近傍のタップ情報（波形の特徴）を失わない程度にタップ間隔（間引き間隔）を広げることにより、注目画素近傍から波形全体に亘っての特徴を忠実に表すクラスタップを選択することができる。
【００７０】
従って、クラスコード比較器１０８は、図１０の処理手順に入ると、ステップＳＰ１００からステップＳＰ１０１に移り、当該ステップＳＰ１０１において間引き間隔が「０」である波形パターンＣＬＳ０と、間引き間隔が「１」である波形パターンＣＬＳ１とを比較し、波形パターンＣＬＳ０が波形パターンＣＬＳ１の一部であるか否かを判断する。
【００７１】
因みに、波形パターンＣＬＳ０は図８（Ｂ）について上述したように、パターン抽出部１０３Ａにおいて入力画像データＤ１００から間引き間隔を「０」として切り出されたクラスタップＣＴ０に対して１ビットＡＤＲＣを行うことにより得られる波形パターンデータＤ１０３Ａであり、また、波形パターンＣＬＳ１は図８（Ｃ）について上述したように、パターン抽出部１０３Ｂにおいて入力画像データＤ１００から間引き間隔を「１」として切り出されたクラスタップＣＴ１に対して１ビットＡＤＲＣを行うことにより得られる波形パターンデータＤ１０３Ｂである。
【００７２】
ステップＳＰ１０１において否定結果が得られると、このことは、間引き前の波形パターンＣＬＳ０が間引き後の波形パターンＣＬＳ１の一部ではないことを表しており、このときクラスコード比較器１０８はステップＳＰ１１１に移って、間引き前の波形パターンＣＬＳ０をこのときの注目画素ＰＥ１を表す波形パターン（すなわちクラスタップ）として選択する。
【００７３】
これに対してステップＳＰ１０１において肯定結果が得られると、このことは間引き前の波形パターンＣＬＳ０が間引き後の波形パターンＣＬＳ１の一部であることを表しており、このときクラスコード比較器１０８はステップＳＰ１０２に移って、さらに間引き間隔を広げた波形パターンＣＬＳ２を間引き間隔を広げる前の波形パターンＣＬＳ１と比較する。
【００７４】
因みに、波形パターンＣＬＳ２は図８（Ｄ）について上述したように、パターン抽出部１０３Ｃにおいて入力画像データＤ１００から間引き間隔を「２」として切り出されたクラスタップＣＴ２に対して１ビットＡＤＲＣを行うことにより得られる波形パターンデータＤ１０３Ｃである。
【００７５】
ステップＳＰ１０２において否定結果が得られると、このことは、間引き前の波形パターンＣＬＳ１が間引き後の波形パターンＣＬＳ２の一部ではないことを表しており、このときクラスコード比較器１０８はステップＳＰ１１２に移って、間引き前の波形パターンＣＬＳ１をこのときの注目画素ＰＥ１を表す波形パターン（すなわちクラスタップ）として選択する。
【００７６】
これに対してステップＳＰ１０２において肯定結果が得られると、このことは間引き前の波形パターンＣＬＳ１が間引き後の波形パターンＣＬＳ２の一部であることを表しており、このときクラスコード比較器１０８はステップＳＰ１０３に移って、さらに間引き間隔を広げた波形パターンＣＬＳ３を間引き間隔を広げる前の波形パターンＣＬＳ２と比較する。
【００７７】
因みに、波形パターンＣＬＳ３は、入力画像データＤ１００から間引き間隔を「３」として切り出されたクラスタップＣＴ３に対して１ビットＡＤＲＣを行うことにより得られる波形パターンデータである。
【００７８】
ステップＳＰ１０３において否定結果が得られると、このことは、間引き前の波形パターンＣＬＳ２が間引き後の波形パターンＣＬＳ３の一部ではないことを表しており、このときクラスコード比較器１０８はステップＳＰ１１３に移って、間引き前の波形パターンＣＬＳ２をこのときの注目画素ＰＥ１を表す波形パターン（すなわちクラスタップ）として選択する。
【００７９】
これに対してステップＳＰ１０３において肯定結果が得られると、このことは間引き前の波形パターンＣＬＳ２が間引き後の波形パターンＣＬＳ３の一部であることを表しており、このときクラスコード比較器１０８はステップＳＰ１０４に移って、さらに間引き間隔を広げた波形パターンＣＬＳ４を間引き間隔を広げる前の波形パターンＣＬＳ３と比較する。
【００８０】
因みに、波形パターンＣＬＳ４は、入力画像データＤ１００から間引き間隔を「４」として切り出されたクラスタップＣＴ４に対して１ビットＡＤＲＣを行うことにより得られる波形パターンデータである。
【００８１】
ステップＳＰ１０４において否定結果が得られると、このことは、間引き前の波形パターンＣＬＳ３が間引き後の波形パターンＣＬＳ４の一部ではないことを表しており、このときクラスコード比較器１０８はステップＳＰ１１４に移って、間引き前の波形パターンＣＬＳ３をこのときの注目画素ＰＥ１を表す波形パターン（すなわちクラスタップ）として選択する。
【００８２】
これに対してステップＳＰ１０４において肯定結果が得られると、このことは間引き前の波形パターンＣＬＳ３が間引き後の波形パターンＣＬＳ４の一部であることを表しており、このときクラスコード比較器１０８はステップＳＰ１１５に移って、間引き後の波形パターンＣＬＳ４をこのときの注目画素ＰＥ１を表す波形パターン（すなわちクラスタップ）として選択する。
【００８３】
かくして、クラスコード比較器１０８は図１０に示す処理手順によって、クラスタップＣＴ０〜ＣＴ４（＝ＣＴ（ｋ−１））のうち原画像の特徴を最も良く表すと推定されるクラスタップを選択し、当該クラスタップを表すクラスコードをこのときの注目画素ＰＥ１に対する最適クラスコードとする。そして、クラスコード比較器１０８は、当該最適クラスコードを選択する制御データＤ１０８をクラスコードセレクタ１１１（図９）及びスイッチ回路ＳＷ１１５（図６）にそれぞれに供給する。
【００８４】
クラスコードセレクタ１１１は、クラスコード比較器１０８から供給される制御データＤ１０８に基づいて、クラスコード発生部１０７Ａ〜１０７ｋ（この実施の形態の場合ｋ＝５）からそれぞれ出力されるクラスコードデータＤ１０７Ａ〜Ｄ１０７ｋのうち、クラスコード比較器１０８において最適クラスコードとして選択されたクラスコードデータを選択し、これを最適クラスコードデータＤ１１１としてＲＯＭテーブル１１３（図６）に供給する。
【００８５】
ＲＯＭテーブル１１３は、後述する学習処理によって予め算出されている各クラスに対応する予測タップの予測係数ｗi （ｉ＝１〜ｎ）の組を記憶しており、クラスコードセレクタ１１１（図９）から供給される最適クラスコードデータＤ１１１に対応した予測係数ｗi （ｉ＝１〜ｎ）を読み出し、当該予測係数データＤ１１３を予測演算部１１４に供給する。
【００８６】
またこのとき、クラスコード発生部１０５（図６）のクラスコード比較器１０８は、最適クラスコードを選択する制御データＤ１０８をスイッチ回路ＳＷ１１５に供給する。スイッチ回路ＳＷ１１５は、制御データＤ１０８によって選択指定された最適クラスコードで表されるクラスに対応した予測タップを領域切り出し部１０２Ａ〜１０２ｋから供給される予測タップＦＴ０〜ＦＴ（ｋ−１）の中から選択する。
【００８７】
すなわち、領域切り出し部１０２Ａ〜１０２ｋは、それぞれ入力画像データＤ１００を入力し、当該入力画像データＤ１００から予測タップを切り出すようになされている。この場合、図１１に示すように、各領域切り出し部１０２Ａ〜１０２ｋは、図７について上述した領域切り出し部１０１Ａ〜１０１ｋにおけるクラスタップＣＴ０〜ＣＴ（ｋ−１）の切り出し方法と同様にして、それぞれ異なる画素間隔で予測タップＦＴ０〜ＦＴ（ｋ−１）を切り出すようになされている。
【００８８】
領域切り出し部１０２Ａは、図１１（Ａ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像（入力画像データＤ１００）の注目画素ＰＥ１と当該注目画素ＰＥ１の左右水平方向に隣接する４つの画素ＰＥ２、ＰＥ３、ＰＥ４及びＰＥ５とからなる５つの画素のデータをそれぞれ第１の予測タップＦＴ０として抽出する。この実施の形態の場合、当該予測タップＦＴ０は領域切り出し部１０１Ａにおいて切り出されるクラスタップＣＴ０と同一の画素で構成されており、クラスコード発生部１０５において最適クラスとして選択された波形パターンがクラスタップＣＴ０から得られる波形パターンである場合には、当該クラスタップＣＴ０に対応した予測タップＦＴ０がスイッチ回路ＳＷ１１５において選択されるようになされている。
【００８９】
また、領域切り出し部１０２Ｂは図１１（Ｂ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像の注目画素ＰＥ１と当該画素ＰＥ１の左右水平方向に１画素ずつ間引いてなる１画素おきの４つの画素ＰＥ１２、ＰＥ１３、ＰＥ１４及びＰＥ１５とからなる５つの画素のデータをそれぞれ第２の予測タップＦＴ１として抽出する。この実施の形態の場合、当該予測タップＦＴ１は領域切り出し部１０１Ｂにおいて切り出されるクラスタップＣＴ１と同一の画素で構成されており、クラスコード発生部１０５において最適クラスとして選択された波形パターンがクラスタップＣＴ１から得られる波形パターンである場合には、当該クラスタップＣＴ１に対応した予測タップＦＴ１がスイッチ回路ＳＷ１１５において選択されるようになされている。
【００９０】
また、領域切り出し部１０２Ｃは図１１（Ｃ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像の注目画素ＰＥ１と当該画素ＰＥ１の左右水平方向に２画素ずつ間引いてなる２画素おきの４つの画素ＰＥ２２、ＰＥ２３、ＰＥ２４及びＰＥ２５とからなる５つの画素のデータをそれぞれ第３の予測タップＦＴ２として抽出する。この実施の形態の場合、当該予測タップＦＴ２は領域切り出し部１０１Ｃにおいて切り出されるクラスタップＣＴ２と同一の画素で構成されており、クラスコード発生部１０５において最適クラスとして選択された波形パターンがクラスタップＣＴ２から得られる波形パターンである場合には、当該クラスタップＣＴ２に対応した予測タップＦＴ２がスイッチ回路ＳＷ１１５において選択されるようになされている。
【００９１】
以下同様にして、複数の領域切り出し部１０２Ｄ（図示せず）〜１０２ｋにおいてそれぞれ注目画素ＰＥ１の左右水平方向に間引く画素数を１画素ずつ増やしてクラスタップを抽出して行き、合計ｋ個の領域切り出し部１０２Ａ〜１０２ｋにおいてそれぞれ予測タップＦＴ０〜ＦＴ（ｋ−１）を抽出する。因みに、ｋ番目の領域切り出し部１０２ｋでは（ｋ−１）画素ずつ間引いた予測タップＦＴ（ｋ−１）を抽出することになる。
【００９２】
この実施の形態の場合、クラスタップを切り出す５つの領域切り出し部１０１Ａ〜１０１ｋに対応して、予測タップを切り出す５つの領域切り出し部１０２Ａ〜１０２ｋを用いることによって、図１１（Ａ）〜（Ｅ）に示すように、０画素間隔のクラスタップＦＴ０から４画素間隔のクラスタップＦＴ（ｋ−１＝４）まで５通りの予測タップを最適クラスが得られるクラスタップに対応して抽出するものとする。
【００９３】
かくして、スイッチ回路ＳＷ１１５は、クラスコード発生部１０５のクラスコード比較器１０８（図９）から出力される制御データＤ１０８に基づいて、このときの最適クラスが得られるクラスタップに対応する予測タップＦＴ０〜ＦＴ（ｋ−１）を選択し、これを予測演算部１１４に供給する。
【００９４】
ここで図１２は、ＲＯＭテーブル１１３及び予測演算部１１４の詳細構成を示し、インデックスデコーダ１２４は、クラスコード発生部１０５から供給される最適クラスコードデータＤ１１１をデコードすることによりアドレスデータＡＤi （ｉ＝１〜ｘ）を得、当該アドレスデータＡＤi （ｉ＝１〜ｘ）をテーブル部１２２に送出することにより、アドレスデータＡＤi （ｉ＝１〜ｘ）に応じたクラスの組（ＫＥ1 〜ＫＥx のいずれか）の各予測係数ｗi を読み出す。そしてＲＯＭテーブル１１３は当該読み出した予測係数データＤ１１３を予測演算部１１４の対応する各レジスタ１３３Ａ1 〜１３３Ａn を介して乗算器１３４Ａ1 〜１３４Ａn に供給する。
【００９５】
従って各乗算器１３４Ａ1 〜１３４Ａn には、入力画像データＤ１００から最適クラスとして抽出された波形パターンに応じた予測係数ｗi （ｉ＝１〜ｎ）が入力されることになる。
【００９６】
そしてさらに、各乗算器１３４Ａ1 〜１３４Ａn には、それぞれ領域切り出し部１０２Ａ〜１０２（ｋ−１）のいずれかからスイッチ回路ＳＷ１１５（図６）によって選択された予測タップ（ＦＴ０〜ＦＴ（ｋ−１）のいずれか）の各画素値ｘi （ｉ＝１〜ｎ）が供給される。
【００９７】
従って、各乗算器１３４Ａ1 〜１３４Ａn は、それぞれ予測タップの画素値ｘi と予測係数ｗi とを乗算し、各乗算結果を続く加算器１３５に供給することによりこれらを加算する。かくして予測演算部１１４は加算器１３５の加算結果として上述の（２）式の演算結果を得ることにより、このとき求めようとするＨＤ画像の注目画素の画素値ｘ´を得る。
【００９８】
予測演算部１１４は、かかる予測演算によって得られた各注目画素の画素値ｘ´を、ＨＤ画像を構成する出力画像データＤ１１４として出力する。
【００９９】
ここでＲＯＭテーブル１１３のテーブル部１２２に記憶される各予測係数ｗi は、図１３に示す学習回路１５０によって予め算出される。すなわち図１３において学習回路１５０は、高精細度のＨＤ画像データＤ１５０を教師画像として正規方程式生成部１６１に供給すると共に、このＨＤ画像データＤ１５０をローパスフィルタ１７０を介して高域成分を除去することにより画質が劣化したＳＤ画像データＤ１７０を生成し、これを生徒画像として領域切り出し部１５１Ａ〜１５１ｋ及び領域切り出し部１５２Ａ〜１５２ｋに供給する。
【０１００】
領域切り出し部１５１Ａ〜１５１ｋは、それぞれ図６について上述した領域切り出し部１０１Ａ〜１０１ｋと同様にして、間引き間隔が「０」であるクラスタップＣＴ０から順次間引き間隔を増やしたクラスタップＣＴ０〜ＣＴ（ｋ−１）をＳＤ画像データＤ１７０から切り出し、これらを対応するパターン抽出部１５３Ａ〜１５３（ｋ−１）に供給する。
【０１０１】
パターン抽出部１５３Ａ〜１５３ｋは、それぞれ図６について上述したパターン抽出部１０３Ａ〜１０３ｋと同様にして、クラスタップＣＴ０〜ＣＴ（ｋ−１）として切り出された５つの画素について、１ビットＡＤＲＣによるパターン抽出を行うことにより、図８について上述した場合と同様に当該５つの画素の波形パターンを抽出する。そしてパターン抽出部１５３Ａ〜１５３ｋはそれぞれ抽出した波形パターンを波形パターンデータＤ１５３Ａ〜Ｄ１５３ｋとしてクラスコード発生部１５８に供給する。
【０１０２】
クラスコード発生部１５８は、各パターン抽出部１５３Ａ〜１５３ｋからそれぞれ供給される波形パターンデータＤ１５３Ａ〜Ｄ１５３ｋの中から、図１０について上述した手順と同様の手順に従って、最も教師画像（ＨＤ画像データＤ１５０）の特徴に近いと判断される波形クラスを選択し、これを最適クラスコードデータＤ１５８として正規方程式生成部１６１に供給する。
【０１０３】
正規方程式生成部１６１は、供給される教師信号（ＨＤ画像データＤ１５０）と領域切り出し部１５２Ａ〜１５２ｋから供給される各予測タップの画素値を用いて、クラスコード毎に正規方程式を上述の（３）式〜（９）式によって生成する。
【０１０４】
因みに、領域切り出し部１５２Ａ〜１５２ｋは、それぞれ図６について上述した領域切り出し部１０２Ａ〜１０２ｋと同様にして、間引き間隔が「０」であるクラスタップＦＴ０から順次間引き間隔を増やしたクラスタップＦＴ０〜ＦＴ（ｋ−１）をＳＤ画像データＤ１７０から切り出すようになされており、当該予測タップを切り出す各領域切り出し部１５２Ａ〜１５２ｋはそれぞれクラスタップを切り出す領域切り出し部１５１Ａ〜１５１ｋに対応付けられている。
【０１０５】
従って、学習回路１５０においても、図６について上述した画像データ変換装置１００の場合と同様にして、クラスコード発生部１５８において最適クラスが選択されると、当該最適クラスを選択する制御データＤ１５８によってスイッチ回路ＳＷ１６５が切換えられ、これによりこのとき最適クラスとして選択されたクラスタップを切り出した領域切り出し部（１５１Ａ〜１５１ｋのいずれか）に対応する予測タップ用の領域切り出し部（１５２Ａ〜１５２ｋのいずれか）が選択される。
【０１０６】
かくして正規方程式生成部１６１は、最適クラスコードごとに領域切り出し部（１５２Ａ〜１５２ｋのいずれか）から供給される予測タップの画素値と教師信号とに基づいて正規方程式Ｄ１６１を生成し、これを予測係数決定部１６２に供給する。
【０１０７】
予測係数決定部１６２は、予測タップ数と同一次数の連立方程式が得られると、掃き出し法又は最小二乗法等を用いて正規方程式を解くことにより予測係数ｗi を求める。
【０１０８】
予測係数決定部１６２はこのようにして求められた各予測タップに対応する予測係数ｗi を予測係数データＤ１６２として予測係数テーブル部１２２に供給し、クラスごとに対応する領域に記憶する。
【０１０９】
（３）実施の形態の動作及び効果
以上の構成において、画像データ変換装置１００は、ＳＤ画像でなる入力画像データＤ１００の各注目画素について、領域切り出し部１０１Ａ〜１０１ｋにおいてそれぞれ異なる間引き間隔でクラスタップＣＴ０〜ＣＴ（ｋ−１）を切り出す。
【０１１０】
このとき、例えば図１４に示す入力画像データＤ１００が入力されたとすると、領域切り出し部１０１Ａにおいては、図１４（Ａ）に示すように間引き間隔が「０」である画素ＰＥ１、ＰＥ２、ＰＥ３、ＰＥ４及びＰＥ５がクラスタップＣＴ０として切り出される。この場合、クラスタップＣＴ０によって表される波形パターンは、ほぼ平坦で若干右上がりの波形となり、比較的狭い切り出し領域Ｔ０において忠実に波形パターンが把握される。
【０１１１】
これに対して領域切り出し部１０１Ｂにおいては、図１４（Ｂ）に示すように間引き間隔が「１」である画素ＰＥ１、ＰＥ１２、ＰＥ１３、ＰＥ１４及びＰＥ１５がクラスタップＣＴ１として切り出される。この場合、クラスタップＣＴ１によって表される波形パターンは、注目画素ＰＥ１の左右のパターンとして図中左から順に「下がる」、「上がる」、「下がる」のように入力画像データＤ１００の特徴を切り出し領域Ｔ０よりも広い範囲（切り出し領域Ｔ１）で忠実に表している。因みに、切り出し領域Ｔ１が広くなると、画素レベルの変化が小さな低精細度の画像の波形の変化を一段と抽出し易くなる。
【０１１２】
これに対して領域切り出し部１０１Ｃにおいては、図１４（Ｃ）に示すように間引き間隔が「２」である比較的広い切り出し領域Ｔ２において画素ＰＥ１、ＰＥ２２、ＰＥ２３、ＰＥ２４及びＰＥ２５がクラスタップＣＴ２として切り出される。この場合、クラスタップＣＴ２によって表される波形パターンは、注目画素ＰＥ１及び画素ＰＥ２３の間においてレベルが一旦下がる波形パターンの特徴が失われている。
【０１１３】
このように間引き間隔が順次広げられた各クラスタップＣＴ０〜ＣＴ（ｋ−１）の中で、入力画像データＤ１００の特徴を最も忠実に表しているクラスタップ（すなわちクラスコード）が、クラスコード発生部１０５において図１０について上述した処理手順によって選択される。
【０１１４】
従って、図１４に示す入力画像データＤ１００に対しては、クラスコード発生部１０５は、間引き間隔が「１」であるクラスタップＣＴ１による波形パターンをクラスコード化したものを最適クラスとして選択する。画像データ変換装置１００は、このようにして選択した最適クラスに応じて予測係数を選び、当該予測係数及び予測タップの画素値を用いて予測演算を行うことにより、求めるべきＨＤ画像の注目画素について、ＳＤ画像（入力画像データＤ１００）からその特徴を十分に予測することができる。
【０１１５】
画像データ変換装置１００は求めようとする各注目画素について順次クラスタップの切り出し及び最適クラスの選択並びに当該選択された最適クラスに応じた予測演算を実行することにより、画素毎に精細度に応じた最適クラスの選択を行うことができ、画像の詳細な精細度状態に応じた変換を行うことができる。
【０１１６】
かくして以上の構成によれば、画像データ変換装置１００は、入力画像データ１００の画素毎に複数の領域切り出し部１０１Ａ〜１０１ｋ及びパターン抽出部１０３Ａ〜１０３ｋからのクラスコード同士を比較して最適クラスコードを求めることにより、比較的少ないクラスタップによって、かつ、できるだけ広い範囲で入力画像データＤ１００の波形の特徴を忠実に把握することができ、これによりタップ数の増加に伴う回路規模の大型化を回避し得ると共に、広い範囲でのクラスタップの切り出しによって、精細度の低い入力画像データＤ１００に対して波形の特徴を十分に把握し得ると共にＳＮ比の改善を行うことができる。
【０１１７】
（４）他の実施の形態
上述の実施の形態においては、クラスタップＣＴ０〜ＣＴ（ｋ−１）を切り出す領域切り出し部１０１Ａ〜１０１ｋに対応して予測タップＦＴ０〜ＦＴ（ｋ−１）を切り出す領域切り出し部１０２Ａ〜１０２ｋを設け、最適クラスが得られるクラスタップに対応した予測タップを用いる場合について述べたが、本発明はこれに限らず、クラスコード発生部１０５において選択された最適クラスに応じて切り出す予測タップを適応的に切り換えたり、固定された予測タップを用いる等、クラスタップとは異なる種々の予測タップを用いることができる。
【０１１８】
また上述の実施の形態においては、領域切り出し部１０１Ａ〜１０１ｋにおいて間引き間隔を「０」画素から順次１画素ずつ増やして行く場合について述べたが、本発明はこれに限らず、種々の間引き間隔を適用することができる。
【０１１９】
また上述の実施の形態においては、ＳＤ画像をＨＤ画像に変換する画像データ変換装置に本発明を適用する場合について述べたが、本発明はこれに限らず、例えばＳＤ画像の走査線数を変換してＳＤ画像を得る場合、ＨＤ画像の走査線数を変換してＨＤ画像を得る場合、インターレース方式の画像をノンインターレース方式の画像に変換する場合、入力画像データを補間処理又は拡大処理する場合等、種々の画像データ変換装置に広く適用することができる。
【０１２０】
【発明の効果】
上述のように本発明によれば、第１画像データから注目画素と、当該注目画素を中心として前後に所定の画素間隔おきに配置された複数の画素とからなる画素グループをクラスタップとして、画素間隔が順次広げられた結果得られる複数のクラスタップをそれぞれ抽出し、複数のクラスタップにおける注目画素及び複数の画素からなる信号レベル分布が表されたクラスコードをそれぞれ生成し、画素間隔が広げられる前後のクラスタップにそれぞれ対応するクラスコード同士を比較し、画素間隔を広げる前の前クラスコードと画素間隔を広げた後の後クラスコードとの共通部分により傾向を判断し、前クラスコードと後クラスコードとの傾向が異なるとき、前クラスコードを最適クラスコードとして選択決定し、最適クラスコードに対応した第１画像データよりも高精細の第２画像データを予測生成するための予測係数と、最適クラスコードに対応する最適クラスタップとが用いられた予測演算を実行することにより第２画像データの注目画素を生成することにより、第１の画像データの注目画素を特徴付ける画素グループの画素数を一段と少なくしつつ広い範囲で画素グループを構成することができる。
【０１２１】
従って、第１の画像の特徴を忠実に把握し得る画像データ変換装置を一段と簡易な構成で実現できる。
【図面の簡単な説明】
【図１】本発明によるクラス分類適応処理の原理の説明に供するブロック図である。
【図２】本発明によるクラス分類適応処理の原理の説明に供する略線図である。
【図３】本発明によるクラス分類適応処理の原理の説明に供する略線図である。
【図４】本発明によるクラス分類適応処理の原理の説明に供するブロック図である。
【図５】本発明によるクラス分類適応処理の原理の説明に供するフローチャートである。
【図６】本発明による画像データ変換装置の一実施の形態を示すブロック図である。
【図７】クラスタップの切り出しの説明に供する略線図である。
【図８】波形パターンの抽出の説明に供する略線図である。
【図９】クラスコード発生部の構成を示すブロック図である。
【図１０】最適クラスの選択処理手順を示すフローチャートである。
【図１１】予測タップの切り出しの説明に供する略線図である。
【図１２】予測演算部の構成を示すブロック図である。
【図１３】学習回路の構成を示すブロック図である。
【図１４】間引き間隔の変化に伴う抽出波形パターンの変化を示す信号波形図である。
【符号の説明】
１００……画像データ変換装置、１０１Ａ〜１０１ｋ、１０２Ａ〜１０２ｋ、１５１Ａ〜１５１ｋ、１５２Ａ〜１５２ｋ……領域切り出し部、１０３Ａ〜１０３ｋ、１５３Ａ〜１５３ｋ……パターン抽出部、１０５、１０７Ａ〜１０７ｋ、１５８……クラスコード発生部、１０８……クラスコード比較器、１１１……クラスコードセレクタ、１１３……ＲＯＭテーブル、１１４……予測演算部、１２２……予測係数テーブル部、１６１……正規方程式生成部、１６２……予測係数決定部、ＣＴ０〜ＣＴ（ｋ−１）……クラスタップ、ＦＴ０〜ＦＴ（ｋ−１）……予測タップ。
【発明の属する技術分野】
本発明は画像データ変換装置及び画像データ変換方法に関し、例えば精細度の低い画像データを精細度の高い画像データに変換する画像データ変換装置及び画像データ変換方法に適用して好適なものである。
【０００２】
【従来の技術】
従来、例えば帯域制限によって精細度が劣化した画像（いわゆるぼけ画像）に対して補間演算による補間処理を施すことにより画素補間を行い、その画質の改善を図るようになされた画像データ変換装置がある。
【０００３】
【発明が解決しようとする課題】
ところで、画像データ変換装置としては、予め低精細度及び高精細度の各画像データに基づいて、低精細度の画像を高精細度の画像に変換する際の予測係数を求めておき、当該予測係数を用いた予測演算によって例えば低精細度の画像を高精細度の画像に変換するアップコンバータがある。
【０００４】
このアップコンバータにおいては、算出しようとする注目画素の周囲の複数画素を低精細度の画像データから抽出し、当該抽出された各画素の信号レベル分布に基づいてその画像を特徴付けるクラスを割り当て、当該クラスに応じて予め算出されている予測係数を用いた予測演算を行うようになされている。
【０００５】
かかるクラス分類適応処理においては、クラスを割り当てる際に抽出する複数画素を広い間隔かつ広い範囲で選択すれば、特に精細度の低いぼけた画像の特徴を、少ない画素を基に正確に把握することができると考えられる。
【０００６】
ところが、抽出する複数画素を広い間隔で選択すると、細かい絵柄に対してその特徴を正確に把握することが困難になる問題があった。
【０００７】
従って、クラスを割り当てる際に抽出する複数画素を高密度かつ広い範囲で多く選択すれば絵柄やその精細度に関わらず画像を忠実に特徴付けることができると考えられる。ところが多くの画素を抽出してクラス分類しようとすると、クラス数が膨大になりそれに伴う予測係数の記憶回路等のハードウエアの規模が膨大になる問題があった。
【０００８】
本発明は以上の点を考慮してなされたもので、簡易な構成によって画像の精細度に応じた当該画像の正確な特徴付を行うことができる画像データ変換装置及び画像データ変換方法を提案しようとするものである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第１画像データから注目画素と、当該注目画素を中心として前後に所定の画素間隔おきに配置された複数の画素とからなる画素グループをクラスタップとして、画素間隔が順次広げられた結果得られる複数のクラスタップをそれぞれ抽出し、複数のクラスタップにおける注目画素及び複数の画素からなる信号レベル分布が表されたクラスコードをそれぞれ生成し、画素間隔が広げられる前後のクラスタップにそれぞれ対応するクラスコード同士を比較し、画素間隔を広げる前の前クラスコードと画素間隔を広げた後の後クラスコードとの共通部分により傾向を判断し、前クラスコードと後クラスコードとの傾向が異なるとき、前クラスコードを最適クラスコードとして選択決定し、最適クラスコードに対応した第１画像データよりも高精細の第２画像データを予測生成するための予測係数と、最適クラスコードに対応する最適クラスタップとが用いられた予測演算を実行することにより第２画像データの注目画素を生成することにより、一段と少ない画素数かつ広い範囲で第１の画像の注目画素の特徴を正確に把握することができる。
【００１０】
従って、第１の画像の特徴を忠実に把握し得る画像データ変換装置を一段と簡易な構成で実現できる。
【００１１】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１２】
（１）クラス分類適応処理の原理
ここでは例えば標準解像度の画像データ（以下、これをＳＤ（Standard Definition ）画像データと呼ぶ）をその各画素の信号レベル分布に応じたクラスに分類し、クラス毎に所定のデータ処理を施すことにより高解像度の画像データ（以下、これをＨＤ（High Definition ）画像データと呼ぶ）を生成するいわゆるクラス分類適応処理の原理について説明する。
【００１３】
図１は、このクラス分類適応処理を実現するアップコンバータ５１の回路構成を示す。アップコンバータ１は、外部から供給される例えば８ビットのパルス符号変調（ＰＣＭ：Pulse Code Modulation ）データでなるＳＤ画像データＳ５１をクラス分類部５２及び予測演算部５３に入力する。クラス分類部５２は、例えば図２に示すように、ＳＤ画像データＳ５１のうち注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計７画素（タップ）をクラス分類用の画素（以下、これをクラスタップと呼ぶ）として設定し、それらの信号レベル分布に基づいてクラスコードＳ５２を生成する。因みに、図中実線は第１フィールドを示し、点線は第２フィールドを示す。
【００１４】
このクラス分類部５２によってクラスコードＳ５２を生成する方法としては、ＰＣＭデータを直接使用する（すなわちＰＣＭデータをそのままクラスデータＳ５２とする）方法や、ＡＤＲＣ（Adaptive Dynamic Range Coding ）等のデータ圧縮方法を用いてクラス数を削減するような方法が考えられる。このうちＰＣＭデータをそのままクラスコードＳ５２とする方法では、クラスタップとして８ビットのＰＣＭデータを７タップ用いることから、クラス数が２56という膨大な数のクラス数に分類されることになり、実用上問題がある。
【００１５】
そこで実際には、クラス分類部５２は、ＡＤＲＣのようなデータ圧縮処理（すなわち再量子化処理）を施すことによりクラス数を削減するようになされている。このＡＤＲＣによる分類法は、注目画素を中心とする近傍領域内の数タップからＡＤＲＣコードを、次式
【００１６】
【数１】
によって求め、当該ＡＤＲＣコードに基づいてクラスコードＳ５２を生成する手法を用いている。ここで、ｃi はＡＤＲＣコード、ｘi は各クラスタップの入力画素値、ＭＩＮは領域内にある各クラスタップの入力画素値のうちの最小画素値、ＤＲは領域内のダイナミックレンジ（最大画素値と最小画素値との差分）、ｋは再量子化ビット数である。
【００１８】
すなわちＡＤＲＣによる分類法は、領域内のダイナミックレンジから再量子化ビット数に応じた量子化ステップ幅を算出し、入力画素値から最小画素値を減算した画素値を量子化ステップ幅に応じて再量子化するものである。例えば領域内の７タップにおいて各クラスタップを１ビットに再量子化する１ビットＡＤＲＣを行う場合では、領域内のダイナミックレンジに基づいて７タップの各入力画素値を適応的に１ビット量子化し、その結果、７タップの入力画素値を７ビットのデータに削減することができるので、全体としてクラス数を１２８クラスにまで削減することができる。
【００１９】
図１に戻って、予測係数ＲＯＭ（Read Only Memory）５４は、後述する学習回路６０によって予め生成された各クラス毎に対応した予測係数データＳ５３を格納しており、クラス分類部５２から供給されるクラスコードＳ５２に応じた予測係数データＳ５３を読み出し、これを予測演算部５３に送出する。予測演算部５３は、例えば図３に示すように、外部から入力されるＳＤ画像データＳ５１のうち、注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計１３タップを予測演算用の画素（以下、これを予測タップと呼ぶ）として選定し、当該予測タップの各画素値と予測係数データＳ５３とを用いて、線形一次結合でなる次式
【００２０】
【数２】
によって表される積和演算を行うことにより、予測タップには存在しないＨＤ画素の集まりであるＨＤ画像データＳ５４を生成し、これを外部に出力する。ここで、ｘ′は各ＨＤ画素値、ｘi は各予測タップの画素値、ｗi は予測係数、ｎは予測タップ数であり、この場合ｎは１３である。
【００２２】
ところで図４は、予測係数ＲＯＭ５４に格納されている予測係数データを生成する学習回路６０の回路構成を示し、当該学習回路６０は、予測係数データを予め生成して、これを予測係数ＲＯＭ５４に格納するようになされている。学習回路６０は、いわゆる教師信号としてのＨＤ画像データＳ６０を垂直間引きフィルタ６１及び予測係数算出回路６２に入力する。学習回路６０は、ＨＤ画像データＳ６０を垂直間引きフィルタ６１及び水平間引きフィルタ６３によって間引くことにより、生徒信号としてのＳＤ画像データＳ６１を生成し、これをクラス分類部６４及び予測係数算出回路６２に入力するようになされている。
【００２３】
クラス分類部６４は、図１に示すアップコンバータのクラス分類部５２と同様の構成でなり、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラスコードＳ６２を生成した後、これを予測係数算出回路６２に送出する。予測係数算出回路６２は、ＨＤ画像データＳ６０及びＳＤ画像データＳ６１を基に、クラスコードＳ６２が示すクラスに応じた予測係数をクラス毎に算出し、その結果得た予測係数データＳ６３を予測係数ＲＯＭ５４に格納する。
【００２４】
この場合、予測係数算出回路６２は、上述の（２）式における予測係数ｗを最小自乗法によって求めるようになされている。具体的には予測係数算出回路６２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素値として、いわゆる観測方程式と呼ばれる次式
【００２５】
【数３】
を生成するように各データを収集する。ここでｍは予測するＨＤ画素の画素数を示す学習データ数、ｎは予測タップ数である。
【００２７】
次に予測係数算出回路６２は、この（３）式を基に、次式
【００２８】
【数４】
に示す残差方程式を立てる。従って各予測係数ｗi は、この（４）式から、次式
【００３０】
【数５】
が最小のときに最適な値となることがわかる。すなわち次式
【００３２】
【数６】
を満たすように予測係数ｗi が算出される。
【００３４】
そこで予測係数算出回路６２は、このｎ個ある（６）式を満たすようなｗ1 、ｗ2 、……、ｗn を算出すればよいことになり、上述の（４）式から、次式
【００３５】
【数７】
を得、これら（６）及び（７）式から、次式
【００３７】
【数８】
を求める。そして予測係数算出回路６２は、上述の（４）及び（８）式から、次式
【００３９】
【数９】
によって表される正規方程式を生成する。このようにして予測係数算出回路６２は、予測タップ数ｎと同一次数の連立方程式でなる正規方程式を生成し、掃き出し法（Gauss Jordanの消去法）を用いてこの正規方程式を解くことにより、各予測係数ｗi を算出する。
【００４１】
以下、学習回路６０による予測係数生成手順について図５に示すフローチャートを用いて説明する。学習回路６０はステップＳＰ６１から入り続くステップＳＰ６２において、教師信号としてのＨＤ画像データＳ６０から生徒信号としてのＳＤ画像データＳ６１を生成することにより、予測係数を生成するのに必要な学習データを生成する。ステップＳＰ６３において、学習回路６０は、予測係数を生成するのに必要十分な学習データが得られたか否か判定し、その結果、未だ必要十分な学習データが得られていないと判断された場合にはステップＳＰ６３において否定結果を得ることによりステップＳＰ６４に移行する。
【００４２】
ステップＳＰ６４において、学習回路６０は、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラス分類を行う。ステップＳＰ６５において、学習回路６０は、各クラス毎に上述の（９）式でなる正規方程式を生成し、ステップＳＰ６２に戻って同様の処理手順を繰り返すことにより、予測係数を生成するのに必要十分な正規方程式を生成する。
【００４３】
これに対してステップＳＰ６３において肯定結果が得られると、このことは必要十分な学習データが得られたことを表しており、このとき学習回路６０はステップＳＰ６６に移って、上述の（９）式でなる正規方程式を掃き出し法によって解くことにより、予測係数ｗ1 、ｗ2 、……、ｗn を各クラス毎に生成する。そしてステップＳＰ６７において、学習回路６０は、生成した各クラス毎の予測係数ｗ1 、ｗ2 、……、ｗn を予測係数ＲＯＭ５４（図１）に格納し、ステップＳＰ６８において当該予測係数生成手順を終了する。
【００４４】
（２）クラス分類適応処理を用いた画像データ変換装置
図６は図１〜図５について上述したクラス分類適応処理を用いた画像データ変換装置１００として、入力画像データＤ１００である標準解像度の画像データ（以下これをＳＤ(Standard Definition) 画像データと呼ぶ）を高解像度の出力画像データＤ１１４（（ＨＤ:High Definition) 画像データ）に変換する装置を示すものである。
【００４５】
図６において画像データ変換装置１００は、ＳＤ画像データである入力画像データＤ１００を複数の領域切り出し部１０１Ａ、１０１Ｂ、……１０１ｋに入力する。
【００４６】
複数の領域切り出し部１０１Ａ、１０１Ｂ、……１０１ｋは、それぞれ生成しようとするＨＤ画像の注目画素に対応するＳＤ画像（入力画像データＤ１００）の注目画素とその周囲の画素に対応する複数の画素を、このとき入力されるＳＤ画像データ（入力画像データＤ１００）の画素からクラスタップとして抽出する。
【００４７】
このとき、各領域切り出し部１０１Ａ、１０１Ｂ、……１０１ｋは、それぞれ異なる画素間隔でＳＤ画像（入力画像データＤ１００）からクラスタップを切り出すようになされている。すなわち、領域切り出し部１０１Ａは図７（Ａ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像の注目画素ＰＥ１と当該注目画素ＰＥ１の左右水平方向に隣接する４つの画素ＰＥ２、ＰＥ３、ＰＥ４及びＰＥ５とからなる５つの画素のデータをそれぞれ第１のクラスタップＣＴ０として抽出する。
【００４８】
また、領域切り出し部１０１Ｂは図７（Ｂ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像の注目画素ＰＥ１と当該注目画素ＰＥ１の左右水平方向に１画素ずつ間引いてなる１画素おきの４つの画素ＰＥ１２、ＰＥ１３、ＰＥ１４及びＰＥ１５とからなる５つの画素のデータをそれぞれ第２のクラスタップＣＴ１として抽出する。
【００４９】
また、領域切り出し部１０１Ｃは図７（Ｃ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像の注目画素ＰＥ１と当該注目画素ＰＥ１の左右水平方向に２画素ずつ間引いてなる２画素おきの４つの画素ＰＥ２２、ＰＥ２３、ＰＥ２４及びＰＥ２５とからなる５つの画素のデータをそれぞれ第３のクラスタップＣＴ２として抽出する。
【００５０】
以下同様にして、複数の領域切り出し部においてそれぞれ注目画素ＰＥ１の左右水平方向に間引く画素数を１画素ずつ増やしてクラスタップを抽出して行き、合計ｋ個の領域切り出し部１０１Ａ〜１０１ｋにおいてそれぞれクラスタップＣＴ０〜ＣＴ（ｋ−１）を抽出する。因みに、ｋ番目の領域切り出し部１０１ｋでは（ｋ−１）画素ずつ間引いたクラスタップＣＴ（ｋ−１）を抽出することになる。
【００５１】
この実施の形態の場合、例えば５つの領域切り出し部１０１Ａ〜１０１ｋを用いることによって、図７（Ａ）〜（Ｅ）に示すように、０画素間隔のクラスタップＣＴ０から４画素間隔のクラスタップＣＴ（ｋ−１＝４）まで５通りのクラスタップを抽出するものとする。
【００５２】
各領域切り出し部１０１Ａ〜１０１ｋはそれぞれの間引き間隔で切り出したクラスタップＣＴ０〜ＣＴ（ｋ−１）を、それぞれ対応するパターン抽出部１０３Ａ〜１０３ｋに供給する。パターン抽出部１０３Ａ〜１０３ｋは、領域切り出し部１０１Ａ〜１０１ｋから供給される各クラスタップＣＴ０〜ＣＴ（ｋ−１）の各画素値に基づいて、各クラスタップＣＴ０〜ＣＴ（ｋ−１）によって表される波形パターンを（１）式について上述した１ビットＡＤＲＣの手法を用いて抽出する。
【００５３】
すなわち、図８に示すように、高精細度の原画像波形ＯＲＧ（図８（Ａ））に対して画像データ変換装置１００（図６）に入力される入力画像データＤ１００の精細度が低下した状態である場合（図８（Ｂ）〜（Ｄ））、図８（Ｂ）に示すように領域切り出し部１０１Ａにおいては当該入力画像データＤ１００によって表される画素について注目画素ＰＥ１を中心として順次隣接する比較的狭い切り出し領域Ｔ０の合計５つの画素ＰＥ１〜ＰＥ５をそれぞれクラスタップＣＴ０として切り出し、これをパターン抽出部１０３Ａに供給する。
【００５４】
従って、パターン抽出部１０３Ａは、図８（Ｂ）に示すように、クラスタップＣＴ０として切り出された各画素ＰＥ１〜ＰＥ５について、１ビットＡＤＲＣによるパターン抽出を行うことにより、当該５つの画素ＰＥ１〜ＰＥ５の波形パターンとして、図８（Ｂ）において水平方向左側から順次「００１１１」で表される波形パターンデータＤ１０３Ａを得る。パターン抽出部１０３Ａはこのようにして抽出された波形パターンデータＤ１０３Ａをクラスコード発生部１０５に供給する。
【００５５】
また、領域切り出し部１０１Ｂは図８（Ｃ）に示すように、入力画像データＤ１００によって表される画素について注目画素ＰＥ１を中心として１画素おきに隣接する合計５つの画素ＰＥ１及びＰＥ１２〜ＰＥ１５をそれぞれ切り出し領域Ｔ１のクラスタップＣＴ１として切り出し、これをパターン抽出部１０３Ｂに供給する。
【００５６】
従って、パターン抽出部１０３Ｂは、図８（Ｃ）に示すように、クラスタップＣＴ１として切り出された各画素ＰＥ１及びＰＥ１２〜ＰＥ１５について、１ビットＡＤＲＣによるパターン抽出を行うことにより、当該５つの画素ＰＥ１及びＰＥ１２〜ＰＥ１５の波形パターンとして、図８（Ｃ）において水平方向左側から順次「０１１１０」で表される波形パターンデータＤ１０３Ｂを得る。パターン抽出部１０３Ｂはこのようにして抽出された波形パターンデータＤ１０３Ｂをクラスコード発生部１０５に供給する。
【００５７】
また、領域切り出し部１０１Ｃは図８（Ｄ）に示すように、入力画像データＤ１００によって表される画素について注目画素ＰＥ１を中心として２画素おきに隣接する合計５つの画素ＰＥ１及びＰＥ２２〜ＰＥ２５をそれぞれ切り出し領域Ｔ２のクラスタップＣＴ２として切り出し、これをパターン抽出部１０３Ｃに供給する。
【００５８】
従って、パターン抽出部１０３Ｃは、図８（Ｄ）に示すように、クラスタップＣＴ２として切り出された各画素ＰＥ１及びＰＥ２２〜ＰＥ２５について、１ビットＡＤＲＣによるパターン抽出を行うことにより、当該５つの画素ＰＥ１及びＰＥ２２〜ＰＥ２５の波形パターンとして、図８（Ｄ）において水平方向左側から順次「００１００」で表される波形パターンデータＤ１０３Ｃを得る。パターン抽出部１０３Ｃはこのようにして抽出された波形パターンデータＤ１０３Ｃをクラスコード発生部１０５に供給する。
【００５９】
また、領域切り出し部１０１Ｄ（図示せず）〜１０１ｋにおいても同様にしてクラスタップＣＴ３〜ＣＴ（ｋ−１）を切り出し、これを対応するパターン抽出部１０３Ｄ（図示せず）〜１０３ｋに供給し、それぞれの波形パターンを抽出しこれを波形パターンデータＤ１０３Ｄ（図示せず）〜Ｄ１０３ｋとしてクラスコード発生部１０５に供給する。
【００６０】
クラスコード発生部１０５は、図９に示すように、パターン抽出部１０３Ａ〜１０３ｋ（図６）からそれぞれ供給される波形パターンデータＤ１０３Ａ〜Ｄ１０３ｋをそれぞれ対応するクラスコード発生部１０７Ａ〜１０７ｋに入力する。
【００６１】
クラスコード発生部１０７Ａ〜１０７ｋはそれぞれ入力された波形パターンデータＤ１０３Ａ〜Ｄ１０７ｋを各波形パターンを表すクラスコードに変換し、当該クラスコードデータＤ１０７Ａ〜Ｄ１０７ｋをクラスコード比較器１０８及びクラスコードセレクタ１１１に供給する。
【００６２】
クラスコード比較器１０８は、各クラスコード発生部１０７Ａ〜１０７ｋから供給されるクラスコードデータＤ１０７Ａ〜Ｄ１０７ｋを比較することにより、図８について上述した精細度の低い入力画像データＤ１００（図８（Ｂ）〜（Ｄ））の原画像データである高精細度の波形パターン（図８（Ａ））の特徴を判別すると共に、当該原画像の波形パターンの特徴に最も近い波形パターンを得るためのクラス（クラスタップＣＴ０〜ＣＴ（ｋ−１））をクラスコードデータＤ１０７Ａ〜Ｄ１０７ｋによって表されるクラスコードの中から選択する。
【００６３】
すなわち、画像データ変換装置１００の入力画像データＤ１００である精細度の低い画像データにおいては、その原画像である高精細度の画像に比べて変化のある波形パターンが変化の少ない波形パターンになっている場合がある。従って、画像データ変換装置１００は、画素間隔を変化させて切り出した各クラスタップＣＴ０〜ＣＴ（ｋ−１）が表す波形パターン（クラス）をクラスコード比較器１０８において比較することにより、原画像の波形パターンの特徴を判別し、当該判別された特徴に最も近い波形パターンを表すクラスを選択する。
【００６４】
この場合、クラスコード比較器１０８は図１０に示す処理手順に従って原画像の特徴に最も近い波形パターン（クラス）を選択する。この処理手順においてクラスコード比較器１０８は、入力画像データＤ１００から間引き間隔を順次広げて複数クラスのクラスタップを切り出す際に、当該間引き間隔を広げる前後で波形パターンの比較を行い、間引く間隔を広げる前後で注目画素近傍の波形の特徴（タップ情報）が失われるか否かを判別することにより、原画像の波形の特徴に最も近い波形パターンを選択する。
【００６５】
そして、クラスコード比較器１０８は、間引く間隔を広げる前後で波形の特徴（タップ情報）が失われるか否かを判断する方法として、間引く間隔を広げる前の波形パターンが、間引く間隔を広げた後の波形パターンの一部であるか否かを判別するようになされている。
【００６６】
すなわち、間引く間隔を広げる前のクラスタップによって形成される波形パターンをＣＬＳａとすると共に間引く間隔を広げた後のクラスタップによって形成される波形パターンをＣＬＳｂとし、クラスタップを水平方向の５タップとした場合の波形パターンＣＬＳａとして例えば「００１１１」、「０００１１」、「１１０００」及び「１１１００」の４つのパターンを考える。
【００６７】
波形パターンＣＬＳａが「００１１１」又は「０００１１」である場合、注目画素を中心として、左右の波形データは「００」又は「１１」となっている。従って、これら２ビット分のデータは、それぞれ「０」又は「１」で代表させることができ、波形パターンＣＬＳａとして「００１１１」を間引くことによって「×０１１×」で表される波形パターンＣＬＳｂ（但し、×は「０」又は「１」）が得られるとき、または、波形パターンＣＬＳａとして「０００１１」を間引くことによって「×００１×」で表される波形パターンＣＬＳｂ（但し、×は「０」又は「１」）が得られるとき、間引き後の波形パターンＣＬＳｂは、間引き前の波形パターンＣＬＳａの一部であると判断することができ、これに対して間引き後の波形パターンＣＬＳｂとして「×０１１×」（但し、×は「０」又は「１」）又は「×００１×」（但し、×は「０」又は「１」）が得られないとき、クラスコード比較器１０８は、間引き前の波形パターンＣＬＳａが原画像の特徴を表す波形パターンであると判断することができ、当該波形パターンＣＬＳａをこのときの注目画素ＰＥ１のクラス波形として選択する。
【００６８】
また、波形パターンＣＬＳａが「１１０００」又は「１１１００」である場合、注目画素を中心として、左右の波形データは「１１」又は「００」となっている。従って、これら２ビット分のデータは、それぞれ「１」又は「０」で代表させることができ、波形パターンＣＬＳａとして「１１０００」を間引くことによって「×１００×」で表される波形パターンＣＬＳｂ（但し、×は「０」又は「１」）が得られるとき、または、波形パターンＣＬＳａとして「１１１００」を間引くことによって「×１１０×」で表される波形パターンＣＬＳｂ（但し、×は「０」又は「１」）が得られるとき、間引き後の波形パターンＣＬＳｂは、間引き前の波形パターンＣＬＳａの一部であると判断することができ、これに対して間引き後の波形パターンＣＬＳｂとして「×１００×」（但し、×は「０」又は「１」）又は「×１１０×」（但し、×は「０」又は「１」）が得られないとき、クラスコード比較器１０８は、間引き前の波形パターンＣＬＳａが原画像の特徴を表す波形パターンであると判断することができ、当該波形パターンＣＬＳａをこのときの注目画素ＰＥ１のクラス波形として選択する。
【００６９】
このように、入力画像データＤ１００として高域成分が失われた精細度の低い画像データが画像データ変換装置１００に入力された場合、当該入力画像データＤ１００のクラスタップを切り出す際に、注目画素近傍のタップ情報（波形の特徴）を失わない程度にタップ間隔（間引き間隔）を広げることにより、注目画素近傍から波形全体に亘っての特徴を忠実に表すクラスタップを選択することができる。
【００７０】
従って、クラスコード比較器１０８は、図１０の処理手順に入ると、ステップＳＰ１００からステップＳＰ１０１に移り、当該ステップＳＰ１０１において間引き間隔が「０」である波形パターンＣＬＳ０と、間引き間隔が「１」である波形パターンＣＬＳ１とを比較し、波形パターンＣＬＳ０が波形パターンＣＬＳ１の一部であるか否かを判断する。
【００７１】
因みに、波形パターンＣＬＳ０は図８（Ｂ）について上述したように、パターン抽出部１０３Ａにおいて入力画像データＤ１００から間引き間隔を「０」として切り出されたクラスタップＣＴ０に対して１ビットＡＤＲＣを行うことにより得られる波形パターンデータＤ１０３Ａであり、また、波形パターンＣＬＳ１は図８（Ｃ）について上述したように、パターン抽出部１０３Ｂにおいて入力画像データＤ１００から間引き間隔を「１」として切り出されたクラスタップＣＴ１に対して１ビットＡＤＲＣを行うことにより得られる波形パターンデータＤ１０３Ｂである。
【００７２】
ステップＳＰ１０１において否定結果が得られると、このことは、間引き前の波形パターンＣＬＳ０が間引き後の波形パターンＣＬＳ１の一部ではないことを表しており、このときクラスコード比較器１０８はステップＳＰ１１１に移って、間引き前の波形パターンＣＬＳ０をこのときの注目画素ＰＥ１を表す波形パターン（すなわちクラスタップ）として選択する。
【００７３】
これに対してステップＳＰ１０１において肯定結果が得られると、このことは間引き前の波形パターンＣＬＳ０が間引き後の波形パターンＣＬＳ１の一部であることを表しており、このときクラスコード比較器１０８はステップＳＰ１０２に移って、さらに間引き間隔を広げた波形パターンＣＬＳ２を間引き間隔を広げる前の波形パターンＣＬＳ１と比較する。
【００７４】
因みに、波形パターンＣＬＳ２は図８（Ｄ）について上述したように、パターン抽出部１０３Ｃにおいて入力画像データＤ１００から間引き間隔を「２」として切り出されたクラスタップＣＴ２に対して１ビットＡＤＲＣを行うことにより得られる波形パターンデータＤ１０３Ｃである。
【００７５】
ステップＳＰ１０２において否定結果が得られると、このことは、間引き前の波形パターンＣＬＳ１が間引き後の波形パターンＣＬＳ２の一部ではないことを表しており、このときクラスコード比較器１０８はステップＳＰ１１２に移って、間引き前の波形パターンＣＬＳ１をこのときの注目画素ＰＥ１を表す波形パターン（すなわちクラスタップ）として選択する。
【００７６】
これに対してステップＳＰ１０２において肯定結果が得られると、このことは間引き前の波形パターンＣＬＳ１が間引き後の波形パターンＣＬＳ２の一部であることを表しており、このときクラスコード比較器１０８はステップＳＰ１０３に移って、さらに間引き間隔を広げた波形パターンＣＬＳ３を間引き間隔を広げる前の波形パターンＣＬＳ２と比較する。
【００７７】
因みに、波形パターンＣＬＳ３は、入力画像データＤ１００から間引き間隔を「３」として切り出されたクラスタップＣＴ３に対して１ビットＡＤＲＣを行うことにより得られる波形パターンデータである。
【００７８】
ステップＳＰ１０３において否定結果が得られると、このことは、間引き前の波形パターンＣＬＳ２が間引き後の波形パターンＣＬＳ３の一部ではないことを表しており、このときクラスコード比較器１０８はステップＳＰ１１３に移って、間引き前の波形パターンＣＬＳ２をこのときの注目画素ＰＥ１を表す波形パターン（すなわちクラスタップ）として選択する。
【００７９】
これに対してステップＳＰ１０３において肯定結果が得られると、このことは間引き前の波形パターンＣＬＳ２が間引き後の波形パターンＣＬＳ３の一部であることを表しており、このときクラスコード比較器１０８はステップＳＰ１０４に移って、さらに間引き間隔を広げた波形パターンＣＬＳ４を間引き間隔を広げる前の波形パターンＣＬＳ３と比較する。
【００８０】
因みに、波形パターンＣＬＳ４は、入力画像データＤ１００から間引き間隔を「４」として切り出されたクラスタップＣＴ４に対して１ビットＡＤＲＣを行うことにより得られる波形パターンデータである。
【００８１】
ステップＳＰ１０４において否定結果が得られると、このことは、間引き前の波形パターンＣＬＳ３が間引き後の波形パターンＣＬＳ４の一部ではないことを表しており、このときクラスコード比較器１０８はステップＳＰ１１４に移って、間引き前の波形パターンＣＬＳ３をこのときの注目画素ＰＥ１を表す波形パターン（すなわちクラスタップ）として選択する。
【００８２】
これに対してステップＳＰ１０４において肯定結果が得られると、このことは間引き前の波形パターンＣＬＳ３が間引き後の波形パターンＣＬＳ４の一部であることを表しており、このときクラスコード比較器１０８はステップＳＰ１１５に移って、間引き後の波形パターンＣＬＳ４をこのときの注目画素ＰＥ１を表す波形パターン（すなわちクラスタップ）として選択する。
【００８３】
かくして、クラスコード比較器１０８は図１０に示す処理手順によって、クラスタップＣＴ０〜ＣＴ４（＝ＣＴ（ｋ−１））のうち原画像の特徴を最も良く表すと推定されるクラスタップを選択し、当該クラスタップを表すクラスコードをこのときの注目画素ＰＥ１に対する最適クラスコードとする。そして、クラスコード比較器１０８は、当該最適クラスコードを選択する制御データＤ１０８をクラスコードセレクタ１１１（図９）及びスイッチ回路ＳＷ１１５（図６）にそれぞれに供給する。
【００８４】
クラスコードセレクタ１１１は、クラスコード比較器１０８から供給される制御データＤ１０８に基づいて、クラスコード発生部１０７Ａ〜１０７ｋ（この実施の形態の場合ｋ＝５）からそれぞれ出力されるクラスコードデータＤ１０７Ａ〜Ｄ１０７ｋのうち、クラスコード比較器１０８において最適クラスコードとして選択されたクラスコードデータを選択し、これを最適クラスコードデータＤ１１１としてＲＯＭテーブル１１３（図６）に供給する。
【００８５】
ＲＯＭテーブル１１３は、後述する学習処理によって予め算出されている各クラスに対応する予測タップの予測係数ｗi （ｉ＝１〜ｎ）の組を記憶しており、クラスコードセレクタ１１１（図９）から供給される最適クラスコードデータＤ１１１に対応した予測係数ｗi （ｉ＝１〜ｎ）を読み出し、当該予測係数データＤ１１３を予測演算部１１４に供給する。
【００８６】
またこのとき、クラスコード発生部１０５（図６）のクラスコード比較器１０８は、最適クラスコードを選択する制御データＤ１０８をスイッチ回路ＳＷ１１５に供給する。スイッチ回路ＳＷ１１５は、制御データＤ１０８によって選択指定された最適クラスコードで表されるクラスに対応した予測タップを領域切り出し部１０２Ａ〜１０２ｋから供給される予測タップＦＴ０〜ＦＴ（ｋ−１）の中から選択する。
【００８７】
すなわち、領域切り出し部１０２Ａ〜１０２ｋは、それぞれ入力画像データＤ１００を入力し、当該入力画像データＤ１００から予測タップを切り出すようになされている。この場合、図１１に示すように、各領域切り出し部１０２Ａ〜１０２ｋは、図７について上述した領域切り出し部１０１Ａ〜１０１ｋにおけるクラスタップＣＴ０〜ＣＴ（ｋ−１）の切り出し方法と同様にして、それぞれ異なる画素間隔で予測タップＦＴ０〜ＦＴ（ｋ−１）を切り出すようになされている。
【００８８】
領域切り出し部１０２Ａは、図１１（Ａ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像（入力画像データＤ１００）の注目画素ＰＥ１と当該注目画素ＰＥ１の左右水平方向に隣接する４つの画素ＰＥ２、ＰＥ３、ＰＥ４及びＰＥ５とからなる５つの画素のデータをそれぞれ第１の予測タップＦＴ０として抽出する。この実施の形態の場合、当該予測タップＦＴ０は領域切り出し部１０１Ａにおいて切り出されるクラスタップＣＴ０と同一の画素で構成されており、クラスコード発生部１０５において最適クラスとして選択された波形パターンがクラスタップＣＴ０から得られる波形パターンである場合には、当該クラスタップＣＴ０に対応した予測タップＦＴ０がスイッチ回路ＳＷ１１５において選択されるようになされている。
【００８９】
また、領域切り出し部１０２Ｂは図１１（Ｂ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像の注目画素ＰＥ１と当該画素ＰＥ１の左右水平方向に１画素ずつ間引いてなる１画素おきの４つの画素ＰＥ１２、ＰＥ１３、ＰＥ１４及びＰＥ１５とからなる５つの画素のデータをそれぞれ第２の予測タップＦＴ１として抽出する。この実施の形態の場合、当該予測タップＦＴ１は領域切り出し部１０１Ｂにおいて切り出されるクラスタップＣＴ１と同一の画素で構成されており、クラスコード発生部１０５において最適クラスとして選択された波形パターンがクラスタップＣＴ１から得られる波形パターンである場合には、当該クラスタップＣＴ１に対応した予測タップＦＴ１がスイッチ回路ＳＷ１１５において選択されるようになされている。
【００９０】
また、領域切り出し部１０２Ｃは図１１（Ｃ）に示すように、生成しようとするＨＤ画像の注目画素に対応するＳＤ画像の注目画素ＰＥ１と当該画素ＰＥ１の左右水平方向に２画素ずつ間引いてなる２画素おきの４つの画素ＰＥ２２、ＰＥ２３、ＰＥ２４及びＰＥ２５とからなる５つの画素のデータをそれぞれ第３の予測タップＦＴ２として抽出する。この実施の形態の場合、当該予測タップＦＴ２は領域切り出し部１０１Ｃにおいて切り出されるクラスタップＣＴ２と同一の画素で構成されており、クラスコード発生部１０５において最適クラスとして選択された波形パターンがクラスタップＣＴ２から得られる波形パターンである場合には、当該クラスタップＣＴ２に対応した予測タップＦＴ２がスイッチ回路ＳＷ１１５において選択されるようになされている。
【００９１】
以下同様にして、複数の領域切り出し部１０２Ｄ（図示せず）〜１０２ｋにおいてそれぞれ注目画素ＰＥ１の左右水平方向に間引く画素数を１画素ずつ増やしてクラスタップを抽出して行き、合計ｋ個の領域切り出し部１０２Ａ〜１０２ｋにおいてそれぞれ予測タップＦＴ０〜ＦＴ（ｋ−１）を抽出する。因みに、ｋ番目の領域切り出し部１０２ｋでは（ｋ−１）画素ずつ間引いた予測タップＦＴ（ｋ−１）を抽出することになる。
【００９２】
この実施の形態の場合、クラスタップを切り出す５つの領域切り出し部１０１Ａ〜１０１ｋに対応して、予測タップを切り出す５つの領域切り出し部１０２Ａ〜１０２ｋを用いることによって、図１１（Ａ）〜（Ｅ）に示すように、０画素間隔のクラスタップＦＴ０から４画素間隔のクラスタップＦＴ（ｋ−１＝４）まで５通りの予測タップを最適クラスが得られるクラスタップに対応して抽出するものとする。
【００９３】
かくして、スイッチ回路ＳＷ１１５は、クラスコード発生部１０５のクラスコード比較器１０８（図９）から出力される制御データＤ１０８に基づいて、このときの最適クラスが得られるクラスタップに対応する予測タップＦＴ０〜ＦＴ（ｋ−１）を選択し、これを予測演算部１１４に供給する。
【００９４】
ここで図１２は、ＲＯＭテーブル１１３及び予測演算部１１４の詳細構成を示し、インデックスデコーダ１２４は、クラスコード発生部１０５から供給される最適クラスコードデータＤ１１１をデコードすることによりアドレスデータＡＤi （ｉ＝１〜ｘ）を得、当該アドレスデータＡＤi （ｉ＝１〜ｘ）をテーブル部１２２に送出することにより、アドレスデータＡＤi （ｉ＝１〜ｘ）に応じたクラスの組（ＫＥ1 〜ＫＥx のいずれか）の各予測係数ｗi を読み出す。そしてＲＯＭテーブル１１３は当該読み出した予測係数データＤ１１３を予測演算部１１４の対応する各レジスタ１３３Ａ1 〜１３３Ａn を介して乗算器１３４Ａ1 〜１３４Ａn に供給する。
【００９５】
従って各乗算器１３４Ａ1 〜１３４Ａn には、入力画像データＤ１００から最適クラスとして抽出された波形パターンに応じた予測係数ｗi （ｉ＝１〜ｎ）が入力されることになる。
【００９６】
そしてさらに、各乗算器１３４Ａ1 〜１３４Ａn には、それぞれ領域切り出し部１０２Ａ〜１０２（ｋ−１）のいずれかからスイッチ回路ＳＷ１１５（図６）によって選択された予測タップ（ＦＴ０〜ＦＴ（ｋ−１）のいずれか）の各画素値ｘi （ｉ＝１〜ｎ）が供給される。
【００９７】
従って、各乗算器１３４Ａ1 〜１３４Ａn は、それぞれ予測タップの画素値ｘi と予測係数ｗi とを乗算し、各乗算結果を続く加算器１３５に供給することによりこれらを加算する。かくして予測演算部１１４は加算器１３５の加算結果として上述の（２）式の演算結果を得ることにより、このとき求めようとするＨＤ画像の注目画素の画素値ｘ´を得る。
【００９８】
予測演算部１１４は、かかる予測演算によって得られた各注目画素の画素値ｘ´を、ＨＤ画像を構成する出力画像データＤ１１４として出力する。
【００９９】
ここでＲＯＭテーブル１１３のテーブル部１２２に記憶される各予測係数ｗi は、図１３に示す学習回路１５０によって予め算出される。すなわち図１３において学習回路１５０は、高精細度のＨＤ画像データＤ１５０を教師画像として正規方程式生成部１６１に供給すると共に、このＨＤ画像データＤ１５０をローパスフィルタ１７０を介して高域成分を除去することにより画質が劣化したＳＤ画像データＤ１７０を生成し、これを生徒画像として領域切り出し部１５１Ａ〜１５１ｋ及び領域切り出し部１５２Ａ〜１５２ｋに供給する。
【０１００】
領域切り出し部１５１Ａ〜１５１ｋは、それぞれ図６について上述した領域切り出し部１０１Ａ〜１０１ｋと同様にして、間引き間隔が「０」であるクラスタップＣＴ０から順次間引き間隔を増やしたクラスタップＣＴ０〜ＣＴ（ｋ−１）をＳＤ画像データＤ１７０から切り出し、これらを対応するパターン抽出部１５３Ａ〜１５３（ｋ−１）に供給する。
【０１０１】
パターン抽出部１５３Ａ〜１５３ｋは、それぞれ図６について上述したパターン抽出部１０３Ａ〜１０３ｋと同様にして、クラスタップＣＴ０〜ＣＴ（ｋ−１）として切り出された５つの画素について、１ビットＡＤＲＣによるパターン抽出を行うことにより、図８について上述した場合と同様に当該５つの画素の波形パターンを抽出する。そしてパターン抽出部１５３Ａ〜１５３ｋはそれぞれ抽出した波形パターンを波形パターンデータＤ１５３Ａ〜Ｄ１５３ｋとしてクラスコード発生部１５８に供給する。
【０１０２】
クラスコード発生部１５８は、各パターン抽出部１５３Ａ〜１５３ｋからそれぞれ供給される波形パターンデータＤ１５３Ａ〜Ｄ１５３ｋの中から、図１０について上述した手順と同様の手順に従って、最も教師画像（ＨＤ画像データＤ１５０）の特徴に近いと判断される波形クラスを選択し、これを最適クラスコードデータＤ１５８として正規方程式生成部１６１に供給する。
【０１０３】
正規方程式生成部１６１は、供給される教師信号（ＨＤ画像データＤ１５０）と領域切り出し部１５２Ａ〜１５２ｋから供給される各予測タップの画素値を用いて、クラスコード毎に正規方程式を上述の（３）式〜（９）式によって生成する。
【０１０４】
因みに、領域切り出し部１５２Ａ〜１５２ｋは、それぞれ図６について上述した領域切り出し部１０２Ａ〜１０２ｋと同様にして、間引き間隔が「０」であるクラスタップＦＴ０から順次間引き間隔を増やしたクラスタップＦＴ０〜ＦＴ（ｋ−１）をＳＤ画像データＤ１７０から切り出すようになされており、当該予測タップを切り出す各領域切り出し部１５２Ａ〜１５２ｋはそれぞれクラスタップを切り出す領域切り出し部１５１Ａ〜１５１ｋに対応付けられている。
【０１０５】
従って、学習回路１５０においても、図６について上述した画像データ変換装置１００の場合と同様にして、クラスコード発生部１５８において最適クラスが選択されると、当該最適クラスを選択する制御データＤ１５８によってスイッチ回路ＳＷ１６５が切換えられ、これによりこのとき最適クラスとして選択されたクラスタップを切り出した領域切り出し部（１５１Ａ〜１５１ｋのいずれか）に対応する予測タップ用の領域切り出し部（１５２Ａ〜１５２ｋのいずれか）が選択される。
【０１０６】
かくして正規方程式生成部１６１は、最適クラスコードごとに領域切り出し部（１５２Ａ〜１５２ｋのいずれか）から供給される予測タップの画素値と教師信号とに基づいて正規方程式Ｄ１６１を生成し、これを予測係数決定部１６２に供給する。
【０１０７】
予測係数決定部１６２は、予測タップ数と同一次数の連立方程式が得られると、掃き出し法又は最小二乗法等を用いて正規方程式を解くことにより予測係数ｗi を求める。
【０１０８】
予測係数決定部１６２はこのようにして求められた各予測タップに対応する予測係数ｗi を予測係数データＤ１６２として予測係数テーブル部１２２に供給し、クラスごとに対応する領域に記憶する。
【０１０９】
（３）実施の形態の動作及び効果
以上の構成において、画像データ変換装置１００は、ＳＤ画像でなる入力画像データＤ１００の各注目画素について、領域切り出し部１０１Ａ〜１０１ｋにおいてそれぞれ異なる間引き間隔でクラスタップＣＴ０〜ＣＴ（ｋ−１）を切り出す。
【０１１０】
このとき、例えば図１４に示す入力画像データＤ１００が入力されたとすると、領域切り出し部１０１Ａにおいては、図１４（Ａ）に示すように間引き間隔が「０」である画素ＰＥ１、ＰＥ２、ＰＥ３、ＰＥ４及びＰＥ５がクラスタップＣＴ０として切り出される。この場合、クラスタップＣＴ０によって表される波形パターンは、ほぼ平坦で若干右上がりの波形となり、比較的狭い切り出し領域Ｔ０において忠実に波形パターンが把握される。
【０１１１】
これに対して領域切り出し部１０１Ｂにおいては、図１４（Ｂ）に示すように間引き間隔が「１」である画素ＰＥ１、ＰＥ１２、ＰＥ１３、ＰＥ１４及びＰＥ１５がクラスタップＣＴ１として切り出される。この場合、クラスタップＣＴ１によって表される波形パターンは、注目画素ＰＥ１の左右のパターンとして図中左から順に「下がる」、「上がる」、「下がる」のように入力画像データＤ１００の特徴を切り出し領域Ｔ０よりも広い範囲（切り出し領域Ｔ１）で忠実に表している。因みに、切り出し領域Ｔ１が広くなると、画素レベルの変化が小さな低精細度の画像の波形の変化を一段と抽出し易くなる。
【０１１２】
これに対して領域切り出し部１０１Ｃにおいては、図１４（Ｃ）に示すように間引き間隔が「２」である比較的広い切り出し領域Ｔ２において画素ＰＥ１、ＰＥ２２、ＰＥ２３、ＰＥ２４及びＰＥ２５がクラスタップＣＴ２として切り出される。この場合、クラスタップＣＴ２によって表される波形パターンは、注目画素ＰＥ１及び画素ＰＥ２３の間においてレベルが一旦下がる波形パターンの特徴が失われている。
【０１１３】
このように間引き間隔が順次広げられた各クラスタップＣＴ０〜ＣＴ（ｋ−１）の中で、入力画像データＤ１００の特徴を最も忠実に表しているクラスタップ（すなわちクラスコード）が、クラスコード発生部１０５において図１０について上述した処理手順によって選択される。
【０１１４】
従って、図１４に示す入力画像データＤ１００に対しては、クラスコード発生部１０５は、間引き間隔が「１」であるクラスタップＣＴ１による波形パターンをクラスコード化したものを最適クラスとして選択する。画像データ変換装置１００は、このようにして選択した最適クラスに応じて予測係数を選び、当該予測係数及び予測タップの画素値を用いて予測演算を行うことにより、求めるべきＨＤ画像の注目画素について、ＳＤ画像（入力画像データＤ１００）からその特徴を十分に予測することができる。
【０１１５】
画像データ変換装置１００は求めようとする各注目画素について順次クラスタップの切り出し及び最適クラスの選択並びに当該選択された最適クラスに応じた予測演算を実行することにより、画素毎に精細度に応じた最適クラスの選択を行うことができ、画像の詳細な精細度状態に応じた変換を行うことができる。
【０１１６】
かくして以上の構成によれば、画像データ変換装置１００は、入力画像データ１００の画素毎に複数の領域切り出し部１０１Ａ〜１０１ｋ及びパターン抽出部１０３Ａ〜１０３ｋからのクラスコード同士を比較して最適クラスコードを求めることにより、比較的少ないクラスタップによって、かつ、できるだけ広い範囲で入力画像データＤ１００の波形の特徴を忠実に把握することができ、これによりタップ数の増加に伴う回路規模の大型化を回避し得ると共に、広い範囲でのクラスタップの切り出しによって、精細度の低い入力画像データＤ１００に対して波形の特徴を十分に把握し得ると共にＳＮ比の改善を行うことができる。
【０１１７】
（４）他の実施の形態
上述の実施の形態においては、クラスタップＣＴ０〜ＣＴ（ｋ−１）を切り出す領域切り出し部１０１Ａ〜１０１ｋに対応して予測タップＦＴ０〜ＦＴ（ｋ−１）を切り出す領域切り出し部１０２Ａ〜１０２ｋを設け、最適クラスが得られるクラスタップに対応した予測タップを用いる場合について述べたが、本発明はこれに限らず、クラスコード発生部１０５において選択された最適クラスに応じて切り出す予測タップを適応的に切り換えたり、固定された予測タップを用いる等、クラスタップとは異なる種々の予測タップを用いることができる。
【０１１８】
また上述の実施の形態においては、領域切り出し部１０１Ａ〜１０１ｋにおいて間引き間隔を「０」画素から順次１画素ずつ増やして行く場合について述べたが、本発明はこれに限らず、種々の間引き間隔を適用することができる。
【０１１９】
また上述の実施の形態においては、ＳＤ画像をＨＤ画像に変換する画像データ変換装置に本発明を適用する場合について述べたが、本発明はこれに限らず、例えばＳＤ画像の走査線数を変換してＳＤ画像を得る場合、ＨＤ画像の走査線数を変換してＨＤ画像を得る場合、インターレース方式の画像をノンインターレース方式の画像に変換する場合、入力画像データを補間処理又は拡大処理する場合等、種々の画像データ変換装置に広く適用することができる。
【０１２０】
【発明の効果】
上述のように本発明によれば、第１画像データから注目画素と、当該注目画素を中心として前後に所定の画素間隔おきに配置された複数の画素とからなる画素グループをクラスタップとして、画素間隔が順次広げられた結果得られる複数のクラスタップをそれぞれ抽出し、複数のクラスタップにおける注目画素及び複数の画素からなる信号レベル分布が表されたクラスコードをそれぞれ生成し、画素間隔が広げられる前後のクラスタップにそれぞれ対応するクラスコード同士を比較し、画素間隔を広げる前の前クラスコードと画素間隔を広げた後の後クラスコードとの共通部分により傾向を判断し、前クラスコードと後クラスコードとの傾向が異なるとき、前クラスコードを最適クラスコードとして選択決定し、最適クラスコードに対応した第１画像データよりも高精細の第２画像データを予測生成するための予測係数と、最適クラスコードに対応する最適クラスタップとが用いられた予測演算を実行することにより第２画像データの注目画素を生成することにより、第１の画像データの注目画素を特徴付ける画素グループの画素数を一段と少なくしつつ広い範囲で画素グループを構成することができる。
【０１２１】
従って、第１の画像の特徴を忠実に把握し得る画像データ変換装置を一段と簡易な構成で実現できる。
【図面の簡単な説明】
【図１】本発明によるクラス分類適応処理の原理の説明に供するブロック図である。
【図２】本発明によるクラス分類適応処理の原理の説明に供する略線図である。
【図３】本発明によるクラス分類適応処理の原理の説明に供する略線図である。
【図４】本発明によるクラス分類適応処理の原理の説明に供するブロック図である。
【図５】本発明によるクラス分類適応処理の原理の説明に供するフローチャートである。
【図６】本発明による画像データ変換装置の一実施の形態を示すブロック図である。
【図７】クラスタップの切り出しの説明に供する略線図である。
【図８】波形パターンの抽出の説明に供する略線図である。
【図９】クラスコード発生部の構成を示すブロック図である。
【図１０】最適クラスの選択処理手順を示すフローチャートである。
【図１１】予測タップの切り出しの説明に供する略線図である。
【図１２】予測演算部の構成を示すブロック図である。
【図１３】学習回路の構成を示すブロック図である。
【図１４】間引き間隔の変化に伴う抽出波形パターンの変化を示す信号波形図である。
【符号の説明】
１００……画像データ変換装置、１０１Ａ〜１０１ｋ、１０２Ａ〜１０２ｋ、１５１Ａ〜１５１ｋ、１５２Ａ〜１５２ｋ……領域切り出し部、１０３Ａ〜１０３ｋ、１５３Ａ〜１５３ｋ……パターン抽出部、１０５、１０７Ａ〜１０７ｋ、１５８……クラスコード発生部、１０８……クラスコード比較器、１１１……クラスコードセレクタ、１１３……ＲＯＭテーブル、１１４……予測演算部、１２２……予測係数テーブル部、１６１……正規方程式生成部、１６２……予測係数決定部、ＣＴ０〜ＣＴ（ｋ−１）……クラスタップ、ＦＴ０〜ＦＴ（ｋ−１）……予測タップ。
Claims (4)
- 第１画像データから注目画素と、当該注目画素を中心として前後に所定の画素間隔おきに配置された複数の画素とからなる画素グループをクラスタップとして、上記画素間隔が順次広げられた結果得られる複数の上記クラスタップをそれぞれ抽出するクラスタップ抽出部と、
複数の上記クラスタップにおける上記注目画素及び上記複数の画素からなる信号レベル分布が表されたクラスコードをそれぞれ生成するクラスコード生成部と、
上記画素間隔が広げられる前後の上記クラスタップにそれぞれ対応する上記クラスコード同士を比較し、上記画素間隔を広げる前の前クラスコードと上記画素間隔を広げた後の後クラスコードとの共通部分により傾向を判断し、上記前クラスコードと上記後クラスコードとの傾向が異なるとき、上記前クラスコードを最適クラスコードとして選択決定する最適クラスコード決定部と、
上記最適クラスコードに対応した上記第１画像データよりも高精細の第２画像データを予測生成するための予測係数と、上記最適クラスコードに対応する最適クラスタップとが用いられた予測演算を実行することにより上記第２画像データの注目画素を生成する注目画素生成部と
を有する画像データ変換装置。 - 上記注目画素生成部は、
複数の上記クラスタップにそれぞれ対応する複数の上記予測係数から上記最適クラスコードに応じた最適予測係数を用いて上記第２画像データの画素を生成する
請求項１に記載の画像データ変換装置。 - 上記クラスコード生成部は、
上記注目画素及び上記複数の画素からなる上記信号レベル分布に所定のデータ圧縮処理を施すことにより再量子化された複数の上記クラスコードをそれぞれ生成する
請求項１に記載の画像データ変換装置。 - 第１画像データから注目画素と、当該注目画素を中心として前後に所定の画素間隔おきに配置された複数の画素とからなる画素グループをクラスタップとして、上記画素間隔が順次広げられた結果得られる複数の上記クラスタップをそれぞれ抽出するクラスタップ抽出ステップと、
複数の上記クラスタップにおける上記注目画素及び上記複数の画素からなる信号レベル分布が表されたクラスコードをそれぞれ生成するクラスコード生成ステップと、
上記画素間隔が広げられる前後の上記クラスタップにそれぞれ対応する上記クラスコード同士を比較し、上記画素間隔を広げる前の前クラスコードと上記画素間隔を広げた後の後クラスコードとの共通部分により傾向を判断し、上記前クラスコードと上記後クラスコードとの傾向が異なるとき、上記前クラスコードを最適クラスコードとして選択決定する最適クラスコード決定ステップと、
上記最適クラスコードに対応した上記第１画像データよりも高精細の第２画像データを予測生成するための予測係数と、上記最適クラスコードに対応する最適クラスタップとが用いられた予測演算を実行することにより上記第２画像データの注目画素を生成する注目画素生成ステップと
を有する画像データ変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28409898A JP4126632B2 (ja) | 1998-10-06 | 1998-10-06 | 画像データ変換装置及び画像データ変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28409898A JP4126632B2 (ja) | 1998-10-06 | 1998-10-06 | 画像データ変換装置及び画像データ変換方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000115718A JP2000115718A (ja) | 2000-04-21 |
| JP2000115718A5 JP2000115718A5 (ja) | 2005-10-27 |
| JP4126632B2 true JP4126632B2 (ja) | 2008-07-30 |
Family
ID=17674191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28409898A Expired - Fee Related JP4126632B2 (ja) | 1998-10-06 | 1998-10-06 | 画像データ変換装置及び画像データ変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4126632B2 (ja) |
-
1998
- 1998-10-06 JP JP28409898A patent/JP4126632B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000115718A (ja) | 2000-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| KR20010007300A (ko) | 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체 | |
| JPWO2018047952A1 (ja) | イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラム | |
| KR101239268B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
| KR20060136335A (ko) | 화상 처리 장치, 화상 처리 방법, 및 프로그램 | |
| JP4126632B2 (ja) | 画像データ変換装置及び画像データ変換方法 | |
| JP2000059652A (ja) | ノイズ除去装置及びノイズ除去方法 | |
| JP2000125268A (ja) | 画像データ変換装置及び画像データ変換方法 | |
| JP4352298B2 (ja) | 演算装置及び変換装置並びにそれらの方法 | |
| JP4655213B2 (ja) | 画像処理装置および方法、プログラム並びに記録媒体 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4457276B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP2000348019A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JPH08186824A (ja) | 符号化装置及び方法 | |
| JP4168298B2 (ja) | データ変換装置及びデータ変換方法 | |
| JP4131049B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP4126629B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP4235852B2 (ja) | 画像データ変換装置及び画像データ変換方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP4235853B2 (ja) | 画像データ変換装置及び画像データ変換方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP2000200349A (ja) | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 | |
| US20100183234A1 (en) | Apparatus, method, and program | |
| JP3888361B2 (ja) | 画像信号変換装置および変換方法 | |
| JPS6161733B2 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050818 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20080201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080418 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080501 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |