JP4300436B2

JP4300436B2 - 画像データ変換装置及び画像データ変換方法

Info

Publication number: JP4300436B2
Application number: JP27328698A
Authority: JP
Inventors: 哲二郎近藤; 寿一白木; 秀雄中屋; 靖立平; 俊彦浜松; 隆也星野; 正明服部
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-28
Filing date: 1998-09-28
Publication date: 2009-07-22
Anticipated expiration: 2018-09-28
Also published as: JP2000099714A

Description

【０００１】
【発明の属する技術分野】
本発明は画像データ変換装置及び画像データ変換方法に関し、例えば画像データの画質を改善する画像データ変換装置に適用して好適なものである。
【０００２】
【従来の技術】
従来、画像データ変換装置においては、例えば帯域制限によって精細度が劣化した画像（いわゆるぼけ画像）に対して補間フィルタによる周波数補間処理を施すことにより画素補間を行い、その画質の改善を図っている。
【０００３】
【発明が解決しようとする課題】
ところで画像データ変換装置としては、この精細度の劣化した画像データから複数の画素を抽出して、それら抽出した各画素の信号レベル分布に基づいてクラス分類した後、予測係数と呼ばれるデータが予め格納されているメモリからそのクラスに対応する予測係数を読み出し、当該予測係数と精細度の劣化した画像データとから高精細度の画像データを予測演算するいわゆるクラス分類適応処理を用いたアップコンバータがある。
【０００４】
その際、アップコンバータは、画像全体にわたって全て同一の範囲及び密度で複数の画素を抽出していることから、例えばレベル変化の激しい領域から画素を抽出した場合に、その波形の特徴を有効に抽出することができず、その結果、適切なクラス分類を行うことができずに、画像データの画質を十分に改善し得ない問題があった。
【０００５】
本発明は以上の点を考慮してなされたもので、従来に比して一段と画質を向上し得る画像データ変換装置及び画像データ変換方法を提案しようとするものである。
【０００６】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第１の画像データを第２の画像データに変換する画像データ変換装置において、第１の画像データから複数の間引き率に応じて注目画素を含む複数の画素でなるクラスタップを抽出し、当該クラスタップから間引き率に応じた複数のクラスコードを生成するクラスコード生成手段と、クラスコードに応じて複数の予測係数データを発生する予測係数データ発生手段と、第１の画像データから複数の間引き率に応じて注目画素でなる注目画素予測タップデータを抽出する注目画素予測タップデータ抽出手段と、注目画素予測タップデータと予測係数データとの積和演算を施すことにより複数の間引き率に応じた注目画素予測画像データを生成する注目画素予測画像データ生成手段と、第１の画像データから注目画素及び当該注目画素に隣接した画素を抽出し、抽出した画素の信号レベルを表すタップデータから注目画素に対する２次微分値を算出する２次微分値算出手段と、注目画素予測画像データの画素のうち、２次微分値算出手段によって得られた２次微分値の符号を表す２次微分符号データに基づいて画素の最大値又は最小値のいずれか一方を上記予測注目画素として選択する画素データ選択手段とを設けるようにした。
【０００７】
この結果、第１の画像データから各間引き率によって生成された注目画素予測画像データの画素のうち２次微分値の符号を表す２次微分符号データに基づいて画素の最大値又は最小値を予測注目画素として選択することにより、同一の間引き率を用いる場合に比して波形の特徴量を有効に抽出することができる。
【０００８】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【０００９】
（１）クラス分類適応処理の原理
ここで図１は、クラス分類適応処理を実現するアップコンバータ５１の回路構成を示す。アップコンバータ５１は、外部から供給される例えば８ビットのパルス符号変調（ＰＣＭ：Pulse Code Modulation ）データでなるＳＤ画像データＳ５１をクラス分類部５２及び予測演算部５３に入力する。クラス分類部５２は、例えば図２に示すように、ＳＤ画像データＳ５１のうち注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計７画素（タップ）をクラス分類用の画素（以下、これをクラスタップと呼ぶ）として設定し、それらの信号レベル分布に基づいてクラスコードＳ５２を生成する。因みに、図中実線は第１フィールドを示し、点線は第２フィールドを示す。
【００１０】
このクラス分類部５２によってクラスコードＳ５２を生成する方法としては、ＰＣＭデータを直接使用する（すなわちＰＣＭデータをそのままクラスデータＳ５２とする）方法や、ＡＤＲＣ（Adaptive Dynamic Range Coding ）等のデータ圧縮方法を用いてクラス数を削減するような方法が考えられる。このうちＰＣＭデータをそのままクラスコードＳ５２とする方法では、クラスタップとして８ビットのＰＣＭデータを７タップ用いることから、クラス数が２⁵⁶という膨大な数のクラス数に分類されることになり、実用上問題がある。
【００１１】
そこで実際には、クラス分類部５２は、ＡＤＲＣのようなデータ圧縮処理（すなわち再量子化処理）を施すことによりクラス数を削減するようになされている。このＡＤＲＣによる分類法は、注目画素を中心とする近傍領域内の数タップからＡＤＲＣコードを、次式
【００１２】
【数１】

【００１３】
によって求め、当該ＡＤＲＣコードに基づいてクラスコードＳ５２を生成する手法を用いている。ここで、ｃ_iはＡＤＲＣコード、ｘ_iは各クラスタップの入力画素値、ＭＩＮは領域内にある各クラスタップの入力画素値のうちの最小画素値、ＤＲは領域内のダイナミックレンジ（最大画素値と最小画素値との差分）、ｋは再量子化ビット数である。
【００１４】
すなわちＡＤＲＣによる分類法は、領域内のダイナミックレンジから再量子化ビット数に応じた量子化ステップ幅を算出し、入力画素値から最小画素値を減算した画素値を量子化ステップ幅に応じて再量子化するものである。例えば領域内の７タップにおいて各クラスタップを１ビットに再量子化する１ビットＡＤＲＣを行う場合では、領域内のダイナミックレンジに基づいて７タップの各入力画素値を適応的に１ビット量子化し、その結果、７タップの入力画素値を７ビットのデータに削減することができるので、全体としてクラス数を１２８クラスにまで削減することができる。
【００１５】
図１に戻って、予測係数ＲＯＭ（Read Only Memory）５４は、後述する学習回路６０によって予め生成された各クラス毎に対応する予測係数データＳ５３を格納しており、クラス分類部５２から供給されるクラスコードＳ５２に応じた予測係数データＳ５３を読み出し、これを予測演算部５３に送出する。予測演算部５３は、例えば図３に示すように、外部から入力されるＳＤ画像データＳ５１のうち、注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計１３タップを予測演算用の画素（以下、これを予測タップと呼ぶ）として選定し、当該予測タップの各画素値と予測係数データＳ５３とを用いて、線形一次結合でなる次式
【００１６】
【数２】

【００１７】
によって表される積和演算を行うことにより、予測タップには存在しないＨＤ画素の集まりであるＨＤ画像データＳ５４を生成し、これを外部に出力する。ここで、ｘ′は各ＨＤ画素値、ｘ_iは各予測タップの画素値、ｗ_iは予測係数、ｎは予測タップ数であり、この場合ｎは１３である。
【００１８】
ところで図４は、予測係数ＲＯＭ５４に格納されている予測係数データを生成する学習回路６０の回路構成を示し、当該学習回路６０は、予測係数データを予め生成して、これを予測係数ＲＯＭ５４に格納するようになされている。学習回路６０は、いわゆる教師信号としてのＨＤ画像データＳ６０を垂直間引きフィルタ６１及び予測係数算出回路６２に入力する。学習回路６０は、ＨＤ画像データＳ６０を垂直間引きフィルタ６１及び水平間引きフィルタ６２によって間引くことにより、生徒信号としてのＳＤ画像データＳ６１を生成し、これをクラス分類部６４及び予測係数算出回路６２に入力するようになされている。
【００１９】
クラス分類部６４は、図１に示すアップコンバータのクラス分類部５２と同様の構成でなり、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラスコードＳ６２を生成した後、これを予測係数算出回路６２に送出する。予測係数算出回路６２は、ＨＤ画像データＳ６０及びＳＤ画像データＳ６１を基に、クラスコードＳ６２が示すクラスに応じた予測係数をクラス毎に算出し、その結果得た予測係数データＳ６３を予測係数ＲＯＭ５４に格納する。
【００２０】
この場合、予測係数算出回路６２は、上述の（２）式における予測係数ｗを最小自乗法によって求めるようになされている。具体的には予測係数算出回路６２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素値として、いわゆる観測方程式と呼ばれる次式
【００２１】
【数３】

【００２２】
を生成するように各データを収集する。ここでｍは予測するＨＤ画素の画素数を示す学習データ数、ｎは予測タップ数である。
【００２３】
次に予測係数算出回路６２は、この（３）式を基に、次式
【００２４】
【数４】

【００２５】
に示す残差方程式を立てる。従って各予測係数ｗ_iは、この（４）式から、次式
【００２６】
【数５】

【００２７】
が最小のときに最適な値となることがわかる。すなわち次式
【００２８】
【数６】

【００２９】
を満たすように予測係数ｗ_iが算出される。
【００３０】
そこで予測係数算出回路６２は、このｎ個ある（６）式を満たすようなｗ₁、ｗ₂、……、ｗ_nを算出すればよいことになり、上述の（４）式から、次式
【００３１】
【数７】

【００３２】
を得、これら（６）及び（７）式から、次式
【００３３】
【数８】

【００３４】
を求める。そして予測係数算出回路６２は、上述の（４）及び（８）式から、次式
【００３５】
【数９】

【００３６】
によって表される正規方程式を生成する。このようにして予測係数算出回路６２は、予測タップ数ｎと同一次数の連立方程式でなる正規方程式を生成し、掃き出し法（Gauss Jordanの消去法）を用いてこの正規方程式を解くことにより、各予測係数ｗ_iを算出する。
【００３７】
以下、学習回路６０による予測係数生成手順について図５に示すフローチャートを用いて説明する。ステップＳＰ６１から入ったステップＳＰ６２において、学習回路６０は、教師信号としてのＨＤ画像データＳ６０から生徒信号としてのＳＤ画像データＳ６１を生成することにより、予測係数を生成するのに必要な学習データを生成する。ステップＳＰ６３において、学習回路６０は、予測係数を生成するのに必要十分な学習データが得られたか否か判定し、その結果、未だ必要十分な学習データが得られていないと判断された場合にはステップＳＰ６３において否定結果を得ることによりステップＳＰ６４に移行する。
【００３８】
ステップＳＰ６４において、学習回路６０は、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラス分類を行う。ステップＳＰ６５において、学習回路６０は、各クラス毎に上述の（９）式でなる正規方程式を生成し、ステップＳＰ６２に戻って同様の処理手順を繰り返すことにより、予測係数を生成するのに必要十分な正規方程式を生成する。
【００３９】
これに対してステップＳＰ６３において肯定結果が得られると、このことは必要十分な学習データが得られたことを表しており、このとき学習回路６０はステップＳＰ６６に移って、上述の（９）式でなる正規方程式を掃き出し法によって解くことにより、予測係数ｗ₁、ｗ₂、……、ｗ_nを各クラス毎に生成する。そしてステップＳＰ６７において、学習回路６０は、生成した各クラス毎の予測係数ｗ₁、ｗ₂、……、ｗ_nを予測係数ＲＯＭ５４に格納し、ステップＳＰ６８に移って処理を終了する。
【００４０】
（２）クラス分類適応処理を適用した画像データ変換装置
図６において、１００は全体として図１〜図５について上述したクラス分類適応処理の原理を用いたアップコンバータの構成を示す。アップコンバータ１００は、精細度の劣化した画像データＳ１００を領域切り出し部１０１Ａ〜１０１Ｄ及び１０２Ａ〜１０２Ｄ並びに１０３にそれぞれ入力する。領域切り出し部１０１Ａは、間引き幅なしの間引き率Ｒ１でクラスタップを抽出するものであり、画像データＳ１００から画素を間引くことなく注目画素及び当該注目画素を含む周辺画素でなるクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１０１Ａをクラスコード生成部１０４Ａに送出する。
【００４１】
領域切り出し部１０１Ｂは、間引き幅を１画素とする間引き率Ｒ２でクラスタップを抽出するものであり、画像データＳ１００から１画素おきにクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１０１Ｂをクラスコード生成部１０４Ｂに送出する。領域切り出し部１０１Ｃは、間引き幅を２画素とする間引き率Ｒ３でクラスタップを抽出するものであり、画像データＳ１００から２画素おきにクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１０１Ｃをクラスコード生成部１０４Ｃに送出する。領域切り出し部１０１Ｄは、間引き幅を３画素とする間引き率Ｒ４でクラスタップを抽出するものであり、画像データＳ１００から３画素おきにクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１０１Ｄをクラスコード生成部１０４Ｄに送出する。
【００４２】
クラスコード生成部１０４Ａは、間引き率Ｒ１によるクラスタップデータＳ１０１Ａに基づいてクラスコードＳ１０２Ａを生成し、これをＲＯＭ１０５Ａに送出する。同様にしてクラスコード生成部１０４Ｂ〜１０４Ｄは、それぞれ間引き率Ｒ２〜Ｒ４によるクラスタップデータＳ１０１Ｂ〜Ｓ１０１Ｄに基づいてクラスコードＳ１０２Ｂ〜Ｓ１０２Ｄを生成し、これをＲＯＭ１０５Ｂ〜１０５Ｄに送出する。
【００４３】
ＲＯＭ１０５Ａは、後述する学習回路によって予め生成された間引き率Ｒ１におけるクラス毎の予測係数を格納しており、供給されるクラスコードＳ１０２Ａに応じた予測係数データＳ１０３Ａを読み出し、これを予測演算部１０６Ａに送出する。同様にしてＲＯＭ１０５Ｂ〜１０５Ｄは、それぞれ後述する学習回路によって予め生成された間引き率Ｒ２〜Ｒ４におけるクラス毎の予測係数を格納しており、供給されるクラスコードＳ１０２Ｂ〜Ｓ１０２Ｄに応じた予測係数データＳ１０３Ｂ〜Ｓ１０２Ｄを読み出し、これを予測演算部１０６Ｂ〜１０６Ｄに送出する。
【００４４】
一方、領域切り出し部１０２Ａは、間引き率Ｒ１で画像データＳ１００から注目画素及び当該注目画素でなる予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１０４Ａを予測演算部１０６Ａに送出する。領域切り出し部１０２Ｂは、間引き率Ｒ２で画像データＳ１００から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１０４Ｂを予測演算部１０６Ｂに送出する。領域切り出し部１０２Ｃは、間引き率Ｒ３で画像データＳ１００から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１０４Ｃを予測演算部１０６Ｃに送出する。領域切り出し部１０２Ｄは、間引き率Ｒ４で画像データＳ１００から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１０４Ｄを予測演算部１０６Ｄに送出する。
【００４５】
予測演算部１０６Ａは、予測タップデータＳ１０４Ａと予測係数データＳ１０３Ａとの積和演算を施すことにより間引き率Ｒ１による予測画像データＳ１０５Ａを生成し、これを最大及び最小値検出部１０７に送出する。同様にして予測演算部１０６Ｂ〜１０６Ｄは、予測タップデータＳ１０４Ｂ〜Ｓ１０４Ｄと予測係数データＳ１０３Ｂ〜Ｓ１０３Ｄとの積和演算を施すことにより間引き率Ｒ２〜Ｒ４による予測画像データＳ１０５Ｂ〜Ｓ１０５Ｄを生成し、これを最大及び最小値検出部１０７に送出する。
【００４６】
最大及び最小値検出部１０７は、予測画像データＳ１０５Ａ〜Ｓ１０５Ｄを画素毎に比較することにより、各画素における４つの画素値のうち最大値及び最小値を検出し、その最大値データＳ１０６Ａ及び最小値データＳ１０６Ｂを選択部１０８に送出する。
【００４７】
一方、領域切り出し部１０３は、画像データＳ１００から例えば注目画素ｂ及び当該注目画素に隣接する２画素ａ、ｃを抽出し、それらの信号レベル分布データを示すタップデータＳ１０７を２次微分算出部１０９に送出する。２次微分算出部１０９は、タップデータＳ１０７から注目画素ｂにおける２次微分値ｋ（ｂ）を、次式
【００４８】
【数１０】

【００４９】
によって求める。ここで、ｆ（ａ）は画素ａにおける画素値を示し、ｆ（ｂ）は注目画素ｂにおける画素値を示し、ｆ（ｃ）は画素ｃにおける画素値を示す。
【００５０】
そして２次微分算出部１０９は、２次微分値ｋ（ｂ）の符号を示す２次微分符号データＳ１０８を選択部１０８に送出する。選択部１０８は、最大値データＳ１０６Ａ及び最小値データＳ１０６Ｂのうち、注目画素における２次微分符号データＳ１０８が「正」の場合には最小値データＳ１０６Ｂを選択する一方、２次微分データＳ１０８が「負」の場合には最大値データＳ１０６Ａを選択する。このように選択部１０８は、各画素毎に最適な画素値を順次選択していくことにより、当該画素値の集まりでなる復元画像データＳ１０９を生成し、これを外部に出力する。
【００５１】
図７は、アップコンバータ１００のＲＯＭ１０５Ａ〜１０５Ｄ（図６）にそれぞれ格納されている各予測係数を生成する学習回路１２０の構成を示す。学習回路１２０は、教師画像として高精細度の画像データＳ１２０をローパスフィルタ１２１、間引き率決定部１２２及び正規方程式演算部１２３に送出する。ＬＰＦ１２１は、画像データＳ１２０を間引くことにより生徒画像として精細度の劣化した画像データＳ１２１を生成し、これを領域切り出し部１２４Ａ〜１２４Ｄ及び１２５Ａ〜１２５Ｄ並びに１２６及び１２７に送出する。
【００５２】
領域切り出し部１２４Ａ〜１２４Ｄは、図６に示すアップコンバータ１００の領域切り出し部１０１Ａ〜１０１Ｄとそれぞれ同様の構成でなり、画像データＳ１２１から各間引き率Ｒ１〜Ｒ４でクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１２２Ａ〜Ｓ１２２Ｄを対応するクラスコード生成部１３０Ａ〜１３０Ｄに送出する。
【００５３】
クラスコード生成部１３０Ａ〜１３０Ｄは、図６に示すアップコンバータ１００のクラスコード生成部１０４Ａ〜１０４Ｄと同様の構成でなり、それぞれクラスタップデータＳ１２２Ａ〜Ｓ１２２Ｄに基づいてクラスコードＳ１２３Ａ〜Ｓ１２３Ｄを生成し、これらを対応するＲＯＭ１３１Ａ〜１３１Ｄに送出する。ＲＯＭ１３１Ａ〜１３１Ｄは、さらに後述する学習回路によって予め生成された各クラス毎に対応する予測係数をそれぞれ格納しており、供給されるクラスコードＳ１２３Ａ〜Ｓ１２３Ｄに応じた予測係数データＳ１２４Ａ〜Ｓ１２４Ｄを読み出し、これらを対応する予測演算部１３２Ａ〜１３２Ｄに送出する。
【００５４】
一方、領域切り出し部１２５Ａ〜１２５Ｄは、図６に示すアップコンバータ１００の領域切り出し部１０２Ａ〜１０２Ｄと同様の構成でなり、それぞれ画像データＳ１２１から各間引き率Ｒ１〜Ｒ４に応じて予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１３０Ａ〜Ｓ１３０Ｄを予測演算部１３２Ａ〜１３２Ｄに送出する。
【００５５】
予測演算部１３２Ａ〜１３２Ｄは、図６に示すアップコンバータ１００の予測演算部１０６Ａ〜１０６Ｄと同様の構成でなり、それぞれ予測タップデータＳ１３０Ａ〜Ｓ１３０Ｄと予測係数データＳ１２４Ａ〜Ｓ１２４Ｄとの積和演算を施すことにより各間引き率Ｒ１〜Ｒ４による予測画像データＳ１３１Ａ〜Ｓ１３１Ｄを生成し、これらを間引き率決定部１２２に送出する。
【００５６】
間引き率決定部１２２は、高精細度の画像データＳ１２０と各間引き率Ｒ１〜Ｒ４による予測画像データＳ１３１Ａ〜Ｓ１３１Ｄとの差分を画素毎に算出し、その差分値の大きさが最小になる予測画像データＳ１３１の間引き率Ｒを画素毎に選択する。そして間引き率決定部１２２は、この画素毎に選択された間引き率Ｒを間引き率データＳ１３２として領域切り出し部１２６及び１２７に送出する。
【００５７】
領域切り出し部１２６は、供給される間引き率データＳ１３２に応じて間引き幅を変化させながらクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１３３をクラスコード生成部１３３に送出する。クラスコード生成部１３３は、クラスタップデータＳ１３３に基づいてクラスコードＳ１３４を生成し、これを正規方程式演算部１２３に送出する。
【００５８】
領域切り出し部１２７は、供給される間引き率データＳ１３２に応じて間引き幅変化させながら予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１３５を正規方程式演算部１２３に送出する。正規方程式演算部１２３は、教師画像としての高精細度の画像データＳ１２０と各間引き率Ｒ１〜Ｒ４による予測タップデータＳ１３５とから、各間引き率Ｒ１〜Ｒ４におけるクラスコード毎の正規方程式を生成し、これら各間引き率Ｒ１〜Ｒ４毎の正規方程式データＳ１３６Ａ〜Ｓ１３６Ｄをそれぞれ対応する予測係数決定部１３４Ａ〜１３４Ｄに送出する。
【００５９】
予測係数決定部１３４Ａは、間引き率Ｒ１における正規方程式データＳ１３６Ａが必要な数だけ供給されると、最小自乗法を用いて当該正規方程式を解くことにより画像データ生成用の予測係数を算出し、その予測係数データＳ１３７Ａをメモリ１３５Ａに送出して当該メモリ１３５Ａに格納する。
【００６０】
同様にして、各予測係数決定部１３４Ｂ〜１３４Ｄは、間引き率Ｒ２〜Ｒ４における正規方程式データＳ１３５Ｂ〜Ｓ１３５Ｄがそれぞれ必要な数だけ供給されると、最小自乗法を用いて当該正規方程式を解くことにより画像データ生成用の各予測係数をそれぞれ算出し、それら予測係数データＳ１３７Ｂ〜Ｓ１３７Ｄを対応するメモリ１３５Ｂ〜１３５Ｄに送出して当該メモリ１３５Ｂ〜１３５Ｄにそれぞれ格納する。その後、これらメモリ１３５Ａ〜１３５Ｄに格納されている各予測係数は、図６に示すアップコンバータ１００の対応するＲＯＭ１０５Ａ〜１０５Ｄにそれぞれ書き込まれる。
【００６１】
続いて図８は、上述の学習回路１２０のＲＯＭ１３１Ａ〜１３１Ｄにそれぞれ格納されている予測係数を生成する学習回路１５０の構成を示す。学習回路１２０は、教師画像として高精細度の画像データＳ１５０をＬＰＦ１５１及び正規方程式演算部１５２に入力する。ＬＰＦ１５１は、画像データＳ１５０を間引くことにより生徒画像として精細度の劣化した画像データＳ１５１を生成し、これを領域切り出し部１５３及び１５４に送出する。
【００６２】
領域切り出し部１５３は、まず間引き率Ｒ１で画像データＳ１５１からクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１５２をクラスコード生成部１５５に送出する。クラスコード生成部１５５は、クラスタップデータＳ１５２に基づいてクラスコードＳ１５３を生成し、これを正規方程式演算部１５２に送出する。
【００６３】
領域切り出し部１５４は、領域切り出し部１５３と同様に間引き率Ｒ１で画像データＳ１５１から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１５４を正規方程式演算部１５２に送出する。正規方程式演算部１５２は、教師画像としての高精細度の画像データＳ１５０と予測タップデータＳ１５４とからクラスコードＳ１５３毎に正規方程式を生成し、この正規方程式データＳ１５５を予測係数決定部１５６に送出する。
【００６４】
予測係数決定部１５６は、正規方程式データＳ１５５が必要な数だけ供給されると最小自乗法を用いて当該正規方程式を解くことにより間引き率Ｒ１による予測係数を算出し、この間引き率Ｒ１による予測係数データＳ１５６をメモリ１５７に送出して当該メモリ１５７に格納する。その後、メモリ１５７に格納されてる間引き率Ｒ１による予測係数データは、図７に示す学習回路１２０のＲＯＭ１３１Ａに書き込まれる。
【００６５】
以下、同様にして学習回路１５０は、領域切り出し部１５３及び１５４の間引き率Ｒを変化させながら上述したデータ処理を施すことにより間引き率Ｒ２〜Ｒ４による予測係数データを生成し、これらをメモリ１５７に格納する。その後、このメモリ１５７に格納されている各間引き率Ｒ２〜Ｒ４による予測係数データは、図７に示す学習回路１２０の対応するＲＯＭ１３１Ｂ〜１３１Ｄにそれぞれ書き込まれる。
【００６６】
以上の構成において、アップコンバータ１００は、画像データＳ１００から生成された各間引き率Ｒ１〜Ｒ４による予測画像データＳ１０５Ａ〜Ｓ１０５Ｄを画素毎に比較することにより、各画素における最大値及び最小値を抽出して、このうち注目画素の２次微分値が「正」の場合には最小値を選択する一方、「負」の場合には最大値を選択して復元画像データＳ１０９を生成する。
【００６７】
このように予測画像データＳ１０５Ａ〜Ｓ１０５Ｄの中から各画素毎に最大値及び最小値を抽出した後、これらのうちいずれか一方を選択すれば、各画素間のレベル変化を明確にしてその波形特徴量を有効に抽出することとなり、精細度が劣化する前の元の画像データに最も近似する画像データが復元される。
【００６８】
以上の構成によれば、画像データＳ１００を各間引き率Ｒ１〜Ｒ４でクラス分類適応処理することによって生成された予測画像データＳ１０５Ａ〜Ｓ１０５Ｄの中から、各画素における最大値及び最小値をそれぞれ抽出して、このうちいずれか一方を選択して復元画像データＳ１０９を生成することにより、同一の間引き率でタップを抽出してクラス分類適応処理を施す場合に比して波形の特徴量を有効に抽出することができ、かくして簡易な構成で従来に比して一段と画質を向上し得る。
【００６９】
なお上述の実施の形態においては、クラスタップ及び予測タップを間引き率Ｒ１〜Ｒ４で抽出した場合について述べたが、本発明はこれに限らず、要は、複数の間引き率によってクラスタップ及び予測タップを抽出して各間引き率による予測画像データを生成すれば良い。
【００７０】
また上述の実施の形態においては、２次微分算出部１０９から供給される２次微分符号データＳ１０８に基づいて最大値データＳ１０６Ａ及び最小値データＳ１０６Ｂのうちいずれか一方を選択した場合について述べたが、本発明はこれに限らず、例えば画像データＳ１００の注目画素との差分が小さい方を選択したり、また、画像データＳ１００の注目画素に隣接する２つの画素を用いて注目画素の画素値を算出し、この算出した画素値との差分が小さい方を選択しても良い。
【００７１】
また上述の実施の形態においては、複数のクラス決定手段として、領域切り出し部１０１Ａ〜１０１Ｄ及びクラスコード生成部１０４Ａ〜１０４Ｄを適用した場合について述べたが、本発明はこれに限らず、要は、第１の画像データから画素の各間引き率に応じて注目画素を含む複数の画素を抽出し、当該抽出された複数の画素から注目画素に対するクラスをそれぞれ決定する複数のクラス決定手段であれば良い。
【００７２】
また上述の実施の形態においては、複数の予測データ発生手段として、ＲＯＭ１０５Ａ〜１０５Ｄを適用した場合について述べたが、本発明はこれに限らず、要は、クラスに応じて予測データをそれぞれ発生する複数の予測データ発生手段であれば良い。
【００７３】
また上述の実施の形態においては、複数の画素データ発生手段として、予測演算部１０６Ａ〜１０６Ｄを適用した場合について述べたが、本発明はこれに限らず、要は、予測データから注目画素をそれぞれ発生する複数の画素データ発生手段であれば良い。
【００７４】
さらに上述の実施の形態においては、画素データ選択手段として、領域切り出し部１０３、最大及び最小値検出部１０７、選択部１０８及び２次微分算出部１０９を適用した場合について述べたが、本発明はこれに限らず、要は、各注目画素のうち最大値又は最小値を第２の画像データの注目画素として選択する画素データ選択手段であれば良い。
【００７５】
【発明の効果】
上述のように本発明によれば、第１の画像データから複数の間引き率によって生成されたクラスコードを生成し、当該クラスコードを用いて複数の間引き率に対応した予測係数データを生成し、第１画像データの注目画素の予測タップを抽出して予測タップデータを生成し、予測係数データと予測タップデータとの積和演算処理を施すことにより注目画素予測画像データを生成し、生成した当該注目画素予測画像データの画素のうち２次微分値の符号を表す２次微分符号データに基づいて画素の最大値又は最小値のいずれか一方を予測注目画素として選択し予測画像データを生成することにより、各画素間のレベル変化を明確にして波形の特徴量を有効に抽出できるため、第１の画像データから一段と画質が向上した第２の画像データを生成することができ、かくして簡易な構成で一段と画質を向上し得る画像データ変換装置を実現できる。
【図面の簡単な説明】
【図１】アップコンバータの構成を示すブロック図である。
【図２】クラスタップ配置例を示す略線図である。
【図３】予測タップ配置例を示す略線図である。
【図４】学習回路の構成を示すブロック図である。
【図５】予測係数生成手順を示すフローチャートである。
【図６】本発明によるアップコンバータの一実施の形態を示すブロック図である。
【図７】画像データ生成用の予測係数を算出する学習回路の構成を示すブロック図である。
【図８】間引き率決定用の予測係数を算出する学習回路の構成を示すブロック図である。
【符号の説明】
１０１、１０２、１０３……領域切り出し部、１０４……クラスコード生成部、１０５……ＲＯＭ、１０６……予測演算部、１０７……最大及び最小値検出部、１０８……選択部、１０９……２次微分算出部。

Claims

第１の画像データを第２の画像データに変換する画像データ変換装置において、
上記第１の画像データから複数の間引き率に応じて注目画素を含む複数の画素でなるクラスタップを抽出し、当該クラスタップから上記間引き率に応じた複数のクラスコードを生成するクラスコード生成手段と、
上記複数のクラスコードに応じて複数の予測係数データを発生する予測係数データ発生手段と、
上記第１の画像データから上記複数の間引き率に応じて上記注目画素でなる注目画素予測タップデータを抽出する注目画素予測タップデータ抽出手段と、
上記注目画素予測タップデータと上記予測係数データとの積和演算を施すことにより上記複数の間引き率に応じた注目画素予測画像データを生成する注目画素予測画像データ生成手段と、
上記第１の画像データから上記注目画素及び当該注目画素に隣接した画素を抽出し、抽出した当該画素の信号レベルを表すタップデータから上記注目画素に対する２次微分値を算出する２次微分値算出手段と、
上記注目画素予測画像データの画素のうち、上記２次微分値算出手段によって得られた上記２次微分値の符号を表す２次微分符号データに基づいて上記画素の最大値又は最小値のいずれか一方を上記予測注目画素として選択する画素データ選択手段と
を具える画像データ変換装置。
第１の画像データを第２の画像データに変換する画像データ変換方法において、
上記第１の画像データから複数の間引き率に応じて注目画素を含む複数の画素でなるクラスタップを抽出し、当該クラスタップから上記間引き率に応じた複数のクラスコードを生成するクラスコード生成ステップと、
上記複数のクラスコードに応じて複数の予測係数データを発生する予測係数データ発生ステップと、
上記第１の画像データから上記複数の間引き率に応じて上記注目画素でなる注目画素予測タップデータを抽出する注目画素予測タップデータ抽出ステップと、
上記注目画素予測タップデータと上記予測係数データとの積和演算を施すことにより上記複数の間引き率に応じた注目画素予測画像データを生成する注目画素予測画像データ生成ステップと、
上記第１の画像データから上記注目画素及び当該注目画素に隣接した画素を抽出し、抽出した当該画素の信号レベルを表すタップデータから上記注目画素に対する２次微分値を算出する２次微分値算出ステップと、
上記注目画素予測画像データの画素のうち、上記２次微分値算出手段によって得られた上記２次微分値の符号を表す２次微分符号データに基づいて上記画素の最大値又は最小値のいずれか一方を上記予測注目画素として選択する画素データ選択ステップと
を有する画像データ変換方法。