JP4131303B2 - 画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体 - Google Patents
画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体 Download PDFInfo
- Publication number
- JP4131303B2 JP4131303B2 JP25787998A JP25787998A JP4131303B2 JP 4131303 B2 JP4131303 B2 JP 4131303B2 JP 25787998 A JP25787998 A JP 25787998A JP 25787998 A JP25787998 A JP 25787998A JP 4131303 B2 JP4131303 B2 JP 4131303B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- prediction
- pixel data
- order
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 44
- 238000000034 method Methods 0.000 title claims description 44
- 238000000605 extraction Methods 0.000 claims description 79
- 238000010168 coupling process Methods 0.000 claims description 57
- 238000005859 coupling reaction Methods 0.000 claims description 57
- 230000008878 coupling Effects 0.000 claims description 53
- 238000004364 calculation method Methods 0.000 claims description 49
- 230000002093 peripheral effect Effects 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims 4
- 239000011159 matrix material Substances 0.000 description 31
- 230000015654 memory Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 239000000284 extract Substances 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体に関し、特に、入力された画像信号を同一フォーマットもしくは異なるフォーマットの画像信号に変換する際に、入力された画像データの画質が悪くとも、確実に画質が補正されたか、もしくは画質が改善された画像信号を提供できるようにした画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体に関する。
【０００２】
【従来の技術】
本出願人は、例えば、特開平８−５１５９９号として、より高解像度の画素データを得ることができるようにする技術を提案している。この提案においては、例えばＳＤ(Standard Definition)画素データからなる画像データから、ＨＤ(High Definition)画素データからなる画像データを創造する場合、創造するＨＤ画素データの近傍に位置するＳＤ画素データを用いてクラス分類を行い（クラスを決定し）、それぞれのクラス毎に、予測係数を学習させておき、その予測係数とＳＤ画素データとの線形１次結合をＨＤ画素データとしていた。
【０００３】
また、本出願人は、特願平１０−２３２５０１号として、予測係数とＳＤ画素データとの単一の高次結合（例えば、２次結合）の結果をＨＤ画素データとすることにより、創造するＨＤ画素データの予測精度をより向上させる技術を提案している。
【０００４】
【発明が解決しようとする課題】
ところで、上述したような高次結合を用いて画素データを創造する技術は、画像の複雑な部分（空間周波数が高い部分）を創造する場合には有効である。しかしながら、画像の平坦な部分（空間周波数が低い部分）を創造する場合には、必ずしも高次結合による処理は必要ない。したがって、創造する全ての画素を単一の高次結合を用いて創造した場合、不必要な演算を行うことにより、その処理に要する時間が長くなる課題があった。
【０００５】
また、最適な予測係数を求める学習装置に単一の高次結合を適用した場合、画像の多くの部分を占める平坦な部分の影響を受け、高次結合を適用したことによる効果が低減する課題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、画像の部分的な特性に対応して、適用する高次結合の次数を変化することにより、入力された画像データの画質を効率よく補正することができるようしたものである。
【０００７】
【課題を解決するための手段】
本発明の画像変換装置は、第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、予測タップの次数を３次に選択する選択手段と、クラスタップとしての複数の画素データを符号化した符号化データに、選択手段により選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類手段と、予め学習された予測係数から、分類手段により生成されたクラスコードに対応する予測係数を発生する発生手段と、予測タップと予測係数との選択手段により選択された次数の結合である予測演算を行うことにより、第２の画像信号の予測画素データを生成する生成手段とを備えることを特徴とする。
【０００８】
本発明の画像変換方法は、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、予測タップの次数を３次に選択する選択ステップと、クラスタップとしての複数の画素データを符号化した符号化データに、選択ステップの処理で選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類ステップと、予め学習された予測係数から、分類手段により生成されたクラスコードに対応する予測係数を発生する発生ステップと、予測タップと予測係数との選択ステップの処理で選択された次数の結合である予測演算を行うことにより、第２の画像信号の予測画素データを生成する生成ステップとを含むことを特徴とする。
【０００９】
本発明の記録媒体は、第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、予測タップの次数を３次に選択する選択ステップと、クラスタップとしての複数の画素データを符号化した符号化データに、選択ステップの処理で選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類ステップと、予め学習された予測係数から、分類手段により生成されたクラスコードに対応する予測係数を発生する発生ステップと、予測タップと予測係数との選択ステップの処理で選択された次数の結合である予測演算を行うことにより、第２の画像信号の予測画素データを生成する生成ステップとを含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００１０】
本発明の学習装置は、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、出力された２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、高次結合の次数を３次に選択する選択手段と、クラスタップとしての複数の画素データを符号化した符号化データに、選択手段により選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類手段と、分類手段によって、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式を生成し、正規方程式を解法することにより、予測係数を生成する生成手段と、生成手段によって生成された予測係数を発生手段によって発生されたクラスコードに対応するアドレスに記憶する記憶手段とを備えることを特徴とする。
【００１１】
本発明の学習方法は、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、出力された２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、高次結合の次数を３次に選択する選択ステップと、クラスタップとしての複数の画素データを符号化した符号化データに、選択ステップの処理で選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類ステップと、分類ステップの処理で、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式を生成し、正規方程式を解法することにより、予測係数を生成する生成ステップと、生成ステップの処理で生成された予測係数を発生ステップの処理で発生されたクラスコードに対応するアドレスに記憶する記憶ステップとを含むことを特徴とする。
【００１２】
本発明の記録媒体は、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、出力された２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、高次結合の次数を３次に選択する選択ステップと、クラスタップとしての複数の画素データを符号化した符号化データに、選択ステップの処理で選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類ステップと、分類ステップの処理で、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式を生成し、正規方程式を解法することにより、予測係数を生成する生成ステップと、生成ステップの処理で生成された予測係数を発生ステップの処理で発生されたクラスコードに対応するアドレスに記憶する記憶ステップとを含む処理を学習装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００１３】
本発明の画像変換システムは、学習装置が、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、出力された２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、高次結合の次数を３次に選択する選択手段と、クラスタップとしての複数の画素データを符号化した符号化データに、選択手段により選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類手段と、分類手段によって、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式を生成し、正規方程式を解法することにより、予測係数を生成する生成手段と、生成手段によって生成された予測係数を発生手段によって発生されたクラスコードに対応するアドレスに記憶する記憶手段とを備え、画像変換装置が、第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、予測タップの次数を３次に選択する選択手段と、クラスタップとしての複数の画素データを符号化した符号化データに、選択手段により選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類手段と、予め学習された予測係数から、分類手段により生成されたクラスコードに対応する予測係数を発生する発生手段と、予測タップと予測係数との選択手段により選択された次数の結合である予測演算を行うことにより、第２の画像信号の予測画素データを生成する生成手段とを備えることを特徴とする。
【００１４】
本発明の画像変換装置、画像変換方法、および記録媒体のプログラムにおいては、第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データがクラスタップとして抽出され、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値が出力され、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数が２次に選択され、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数が１次に選択され、出力された２つの差分値の絶対値が異なる場合、予測タップの次数が３次に選択され、クラスタップとしての複数の画素データが符号化された符号化データに、選択された次数を表すビットが付加されて、注目画素に対応するクラスコードが生成される。さらに、予め学習された予測係数から、生成されたクラスコードに対応する予測係数が発生され、予測タップと予測係数との選択された次数の結合である予測演算が行われることにより、第２の画像信号の予測画素データが生成される。
【００１５】
本発明の学習装置、学習方法、および記録媒体のプログラムにおいては、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データがクラスタップとして抽出され、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値が出力され、出力された２つの差分値が等しい場合、高次結合の次数が２次に選択され、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数が１次に選択され、出力された２つの差分値の絶対値が異なる場合、高次結合の次数が３次に選択され、クラスタップとしての複数の画素データが符号化された符号化データに、選択された次数を表すビットが付加されて、注目画素に対応するクラスコードが生成される。また、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式が生成され、この正規方程式を解法することにより、予測係数が生成される。さらに、生成された予測係数が発生されたクラスコードに対応するアドレスに記憶される。
【００１６】
本発明の画像変換システムにおいては、学習装置により、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データがクラスタップとして抽出され、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値が出力され、出力された２つの差分値が等しい場合、高次結合の次数が２次に選択され、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数が１次に選択され、出力された２つの差分値の絶対値が異なる場合、高次結合の次数が３次に選択され、クラスタップとしての複数の画素データが符号化された符号化データに、選択された次数を表すビットが付加されて、注目画素に対応するクラスコードが生成される。また、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式が生成され、この正規方程式を解法することにより、予測係数が生成される。さらに、生成された予測係数が発生されたクラスコードに対応するアドレスに記憶される。また、画像変換装置により、第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データがクラスタップとして抽出され、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値が出力され、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数が２次に選択され、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数が１次に選択され、出力された２つの差分値の絶対値が異なる場合、予測タップの次数が３次に選択され、クラスタップとしての複数の画素データが符号化された符号化データに、選択された次数を表すビットが付加されて、注目画素に対応するクラスコードが生成される。さらに、予め学習された予測係数から、生成されたクラスコードに対応する予測係数が発生され、予測タップと予測係数との選択された次数の結合である予測演算が行われることにより、第２の画像信号の予測画素データが生成される。
【００１７】
【発明の実施の形態】
以下に本発明の実施の形態を説明する。
【００２４】
なお、本明細書においてシステムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。
【００２５】
本発明を適用した画像変換装置の第１の構成例について、図１を参照して説明する。同図には、例えば画質の悪い（ぼけた画像の）ＳＤ画像データ（または、ＨＤ画像データ）を、画質改善されたＳＤ画像データ（または、ＨＤ画像データ）に変換する構成例が示されている。以下においては、入力画像データがＳＤ画像データである場合について説明する。
【００２６】
例えば、画質の悪い（ぼけた画像の）ＳＤ画像データが、入力端子を介して画像変換装置に入力される。入力された画像データは、領域切り出し部１、領域切り出し部２、および特徴量抽出部３に供給される。特徴量抽出部３は、入力されたＳＤ画像データのぼけ量を表す特徴量を検出し、その検出した特徴量を領域切り出し部１、および領域切り出し部２に出力するようになされている。
【００２７】
領域切り出し部１は、入力された画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これを近傍波形推定部４、およびADRC(Adaptive Dynamic Range Coding)パターン抽出部７に出力する。領域切り出し部１において切り出されるクラスタップは、特徴量抽出部３の出力する特徴量に対応して制御される。
【００２８】
領域切り出し部２は、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測次数切換部６に出力する。この領域切り出し部２により切り出される予測タップのセットは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して制御される。
【００２９】
近傍波形推定部４は、領域切り出し部１から入力されたクラスタップの注目画素近傍の波形特性（その詳細は図７を参照して後述する）を検出して、その情報（近傍差分値）を予測次数選択部５に出力する。予測次数選択部５は、近傍波形推定部４から入力された近傍差分値に基づいて、適用する高次結合の次数として１次乃至３次のうちのいずれかを選択し、その情報を予測次数切換部６、およびクラスコード生成部８に出力するようになされている。予測次数切換部６は、領域切り出し部２から入力された予測タップを、１次予測部１０乃至３次予測部１２のうちの、予測次数選択部５から入力された高次結合の次数に対応するものに出力するようになされている。
【００３０】
ADRCパターン抽出部７は、空間内の波形表現を目的としたクラス分類を行い、分類したクラスをクラスコード生成部８に出力する。クラスコード生成部８は、予測次数選択部５から入力された高次結合の次数と、ADRCパターン抽出部７から入力されたクラスとを用いてクラスコードを生成し、ROMテーブル９−１乃至９−３（以下、特にROMテーブル９−１乃至９−３を個々に区別する必要がない場合、単にROMテーブル９と記述する）に出力する。
【００３１】
ROMテーブル９においては、クラスコード生成部８から入力されたクラスコードに対応する予測係数のセットが読み出され、１次予測部１０乃至３次予測部１２のうちの対応するものに供給される。すなわち、クラスコードは、ROMテーブル９のアドレスに対応しており、そのアドレスに予め記憶されている予測係数のセットが読み出されて１次予測部１０乃至３次予測部１２の対応するものに供給されるようになされている。なお、ROMテーブル９−１乃至９−３には、それぞれ、後述する学習装置（図１４）により生成された１次結合用の予測係数、２次結合用の予測係数、または３次結合用の予測係数が予め記録されている。
【００３２】
１次予測部１０は、予測次数切換部６から入力された予測タップと、ROMテーブル９−１から入力された予測係数との１次結合を演算して、その演算結果を画質を補正した画像データとして出力する。２次予測部１１は、予測次数切換部６から入力された予測タップと、ROMテーブル９−２から入力された予測係数との２次結合を演算して、その演算結果を画質を補正した画像データとして出力する。３次予測部１２は、予測次数切換部６から入力された予測タップと、ROMテーブル９−３から入力された予測係数との３次結合を演算して、その演算結果を画質を補正した画像データとして出力する。これらの出力された画像データは、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送されるようになされている。
【００３３】
次に、その動作について説明する。領域切り出し部１は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図２に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計５個の画素データをクラスタップとして切り出す。あるいは、図３に示すように、注目画素データに対応する画素データと、上下左右方向に３画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して決定される。
【００３４】
ここで、図４のフローチャートを参照して、特徴量抽出部３の特徴量抽出処理について説明する。ステップＳ１において、特徴量抽出部３は、入力された各画素データに対するフレーム毎の自己相関係数を算出する。そして、この自己相関係数を画素データのぼけ量を表す特徴量の尺度に利用する。すなわち、図５に示すように、１フレームの画像データが７２０画素×４８０画素の画素データで構成されているものとすると、所定の注目画素に対してその注目画素を中心として、７２０画素×４８０画素の画素データのうちの５１２画素×２５６画素の画素データからなるブロック（以下、このブロックを、適宜、基準ブロックと呼ぶ）を構成し、その基準ブロックの位置を画素単位で所定の範囲内を上下左右方向に移動させ、移動させたときのそれぞれの位置に対応する自己相関係数を算出する。
【００３５】
例えば、所定の注目画素データを中心とした基準ブロック内の各画素値をＸij（ｉ＝０，１，２，・・・，ｎ、ｊ＝０，１，２，・・・，ｍ）、基準ブロック内の画素値の平均値をＸav、基準ブロックが移動された位置に対応するブロック内の各画素値をＹij（ｉ＝０，１，２，・・・，ｎ、ｊ＝０，１，２，・・・，ｍ）、そのブロック内の画素値の平均値をＹavとすると、基準ブロックを移動させたときのその位置に対応する自己相関係数は、次式（１）で表される。
【数１】
【００３６】
なお、上述したように、本実施の形態では、基準ブロックが５１２画素×２５６画素の画素データから構成されているため、ｎ＝５１１、ｍ＝２５５の値となる。このようにして、所定の範囲内で基準ブロックをシフトしてそれぞれの位置に対応する自己相関係数を得ることができる。
【００３７】
図６は、このようにして求められた自己相関係数の例を表している。ブロック（基準ブロック）をシフトしないとき、自己相関係数は１である。これに対して、フレームＦ１の場合、例えば、ブロック（基準ブロック）を右方向に３画素分シフトしたとき、自己相関係数は０．８５に低下し、さらに、シフト量を増加させるに従って、自己相関係数は、より小さい値に低下する。このことは、ブロック（基準ブロック）を左方向にシフトした場合にも同様である。
【００３８】
一方、フレームＦ２においては、ブロック（基準ブロック）を１画素分右または左方向にシフトしたとき、自己相関係数が０．８５に低下し、それ以上シフトすると、自己相関係数はさらに低下する。このことは、フレームＦ１は、フレームＦ２に比べて、周囲との自己相関が強い、つまり、フレームＦ１は、フレームＦ２に比べてぼけ量が大きいことを意味している。
【００３９】
特徴量抽出部３は、ステップＳ２において、自己相関係数が所定の基準値（例えば、０．８５）となる画素シフト量を求め、ステップＳ３で、その画素シフト量を、ぼけ量を表す特徴量として出力する。つまり、所定の範囲内で、基準ブロックをシフトしたときの、それぞれの位置に対応する自己相関係数と基準値を比較することにより、自己相関係数が基準値となる画素シフト量を求める。図６の例の場合、入力された画素データがフレームＦ１の画素データである場合、特徴量は３とされ、入力された画素データがフレームＦ２の画素データである場合、特徴量は１とされる。
【００４０】
領域切り出し部１は、特徴量抽出部３から、特徴量１が入力されたとき、例えば、図２に示すように、狭い間隔内に配置された画素データをクラスタップとして切り出す（抽出する）。これに対して、特徴量３が入力されたとき、領域切り出し部１は、図３に示すように、より広い間隔で配置されている画素データをクラスタップとして切り出す（抽出する）。
【００４１】
図６に示すように、特徴量が１である画像（フレームＦ２）は、強い自己相関を有する画素データの範囲が狭くなっている。そこで、図２に示すように、クラスタップを構成する画素データとしても狭い範囲に配置されているものを選択する。これに対して、特徴量が３である画像（フレームＦ１）の場合、強い自己相関を有する範囲がより広くなっている。そこで、図３に示すように、クラスタップを構成する画素データも、より広い範囲から切り出すようにする。このように、ぼけ量を表す特徴量に応じて、クラスタップとして切り出す画素データをダイナミックに変化させるようにすることで、より適切なクラスタップを切り出すことが可能となる。
【００４２】
図示は省略するが、領域切り出し部２における予測タップも、領域切り出し部１におけるクラスタップの切り出しと同様に、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して、予測タップとして切り出す画素データをダイナミックに変化させる。なお、この領域切り出し部２において切り出される予測タップは、領域切り出し部１において切り出されるクラスタップと同一にしてもよいし、異なるものとしてもよい。
【００４３】
近傍波形推定部４は、図７に示すように、領域切り出し部１から入力されたクラスタップの中の注目画素のレベルx[k]と、その両隣の画素のレベルx[k-1]，x[K+1]との差分ｄ０(=x[k]-x[k-1])，ｄ１(=x[k]-x[k+1])を演算して予測次数選択部５に出力する。予測次数選択部５は、差分ｄ０と差分ｄ１とを比較し、図７(A)に示すように、ｄ０とｄ１が等しい場合、高次結合の次数を２次に選択し、図７(B)に示すように、ｄ０とｄ１の符号が異なり、その絶対値が等しい場合、高次結合の次数を１次に選択し、さらに、図７(C)に示すように、ｄ０とｄ１の絶対値が異なる場合、高次結合の次数を３次に選択して、選択した次数を予測次数切換部６、およびクラスコード生成部８に出力する。
【００４４】
予測次数切換部６は、領域切り出し部２から入力された予測タップを、１次予測部１０乃至３次予測部１２のうちの、予測次数選択部５から入力された高次結合の次数に対応するものに出力する。
【００４５】
ADRCパターン抽出部７は、領域切り出し部１で切り出されたクラスタップに対してADRC処理を実行してクラス分類を行い、その情報をクラスコード生成部８に出力する。すなわち、クラスタップとして抽出された５つの画素データ内のダイナミックレンジをＤＲ、ビット割当をｎ、クラスタップとしての各画素データのレベルをＬ、再量子化コードをＱとするとき、次式を演算する。
Ｑ＝｛（Ｌ−MIN＋０．５）×２n／ＤＲ｝
ＤＲ＝MAX−MIN＋１
【００４６】
なお、ここで｛ ｝は切り捨て処理を意味する。また、MAXとMINは、クラスタップを構成する５つの画素データ内の最大値と最小値をそれぞれ表している。これにより、例えば領域切り出し部１で切り出されたクラスタップを構成する５個の画素データが、それぞれ例えば８ビット（ｎ＝８）で構成されているとすると、これらのそれぞれが２ビットに圧縮される。したがって、空間クラスを表すデータは合計１０ビットで表される。
【００４７】
クラスコード生成部８は、ADRCパターン抽出部７から入力された空間クラスを表すデータに、予測次数選択部５より供給される高次結合の次数を表すビットを付加してクラスコードを生成する。例えば、高次結合の次数が２ビットで表されるとすると、１２ビットのクラスコードが発生され、ROMテーブル９に出力される。
【００４８】
ROMテーブル９においては、入力されたクラスコードに対応するアドレスから予測係数のセットが読み出され、１次予測部１０乃至３次予測部１２のうちの対応するものに供給される。
【００４９】
ここで、予測係数のセットについて説明する。本実施の形態においては、予測演算に用いられる高次結合の次数として、注目画素の近傍の空間的な特徴に基づいて１次乃至３次のうちのいずれかが選択される。例えば、３次結合が選択された場合、実測値（予測タップ）をｘiとし、実測値の１次の予測係数をａiとし、実測値の２次の予測係数をｂiとし、実測値の３次の予測係数をｃiとすると、補正された画素データとなる最確値ｙmは次式（２）によって表される。ただし、Ｎは予測タップを構成する画素数である。
【数２】
【００５０】
また、２次結合が選択された場合、最確値ｙmは式（２）の右辺から第３項を削除したもので表され、１次結合が選択された場合、最確値ｙmは式（２）の右辺の第１項だけで表される。
【００５１】
例えば、２次結合が選択された場合について説明する。この場合、最確値ｙmは上述したように、次式（３）により表される。
【数３】
【００５２】
ここで、真値をｙtとし、誤差をｅとすれば、最小自乗法の誤差方程式は、次式（４）のように表すことができる。
【数４】
【００５３】
式（３）から明らかなように、係数ａi，ｂiは、最確値ｙmを与える係数であるので、その係数ａi，ｂiは、誤差を示す式（４）の値を最小値とするはずである。式（４）の値を最小とする係数ａi，ｂiを求めるには、次式（５）に示すように、式（４）を係数ａi，ｂiで偏微分した式が０となる係数ａi，ｂiを求めればよい。ただし、Ｄは式（４）の最右辺である。
【数５】
【００５４】
式（５）を係数ａi，ｂiで整理し、行列を用いて表現すれば、次式（６）に示すようになる。
【数６】
【００５５】
さらに、式（６）の左辺の２Ｎ×２Ｎの行列の逆行列を演算して、式（６）の両辺に左から乗ずれば、実測値の１次の予測係数ａi、および実測値の２次の予測係数ｂiが求められる。なお、１次結合、または３次結合に用いられる予測係数も同様にして求めることができる。
【００５６】
１次予測部１０は、予測次数切換部６から入力された予測タップと、ROMテーブル９−１から入力された予測係数との１次結合を演算して、その演算結果を画質を補正した画像データとして出力する。２次予測部１１は、予測次数切換部６から入力された予測タップと、ROMテーブル９−２から入力された予測係数との２次結合を演算して、その演算結果を画質を補正した画像データとして出力する。３次予測部１２は、予測次数切換部６から入力された予測タップと、ROMテーブル９−３から入力された予測係数との３次結合を演算して、その演算結果を画質を補正した画像データとして出力する。
【００５７】
図８は、領域切り出し部２で切り出された予測タップがＮ個の画素から構成される場合における３次予測部１２の詳細な構成例を示している。入力信号として予測次数切換部６から供給された予測タップ（画素データＸ0乃至ＸN-1）のうちの画素データＸ0は、２乗演算部２１−１、３乗演算部２２−１、および係数乗算部２３−１に供給される。２乗演算部２１−１および３乗演算部２２−１は、それぞれ供給された画素データＸ0を２乗、または３乗して、対応する係数乗算部２４−１、または係数乗算部２５−１に出力する。これに対して、ROMテーブル９から、係数乗算部２３−１乃至２５−１のそれぞれに、対応する予測係数ａ0，ｂ0、またはｃ0が供給される。
【００５８】
係数乗算部２３−１乃至２５−１は、入力された画素データと予測係数とを乗算して積和部２６−１に出力する。積和部２６−１は、係数乗算部２３−１乃至２５−１のそれぞれから入力された乗算結果を加算して、予測出力１として積和部２７に出力する。
【００５９】
同様に、２次演算部２１−ｉ乃至積算部２６−ｉ（ｉ＝１乃至Ｎ−１）において、予測次数切換部６から供給された予測タップの画素データＸi、並びにROMテーブル９から供給される予測係数ａi，ｂi、およびｃiを用いて予測出力ｉ＋１が演算されて、積和部２７に供給される。
【００６０】
積和部２７は、積和部２６−１乃至２６−Ｎから入力された予測出力１乃至Ｎを加算して、画質（ぼけ）が補正された画素データとなる予測結果を出力する。
【００６１】
なお、２次予測部１１は、図８に示した３次予測部１２の構成例から、３乗演算部２２−ｉ（ｉ＝１乃至Ｎ）、および係数演算部２５−ｉを削除したものであり、１次予測部１０は、さらに２乗演算部２１−ｉ、および係数乗算部２４−ｉを削除したものであるので、その詳細な説明は省略する。また、１次予測部１０乃至３次予測部１２を一体化し、時分割で１次結合乃至３次結合を演算するようにしてもよい。
【００６２】
図９は、特徴量抽出部３における他の特徴量抽出処理の例を表している。この例においては、ステップＳ１１において、所定の注目画素の近傍のエッジが検出される。ステップＳ１２において、検出したエッジに対応するエッジコードが特徴量として出力される。例えば、図１０に示すように、右上から左下方向に、斜めのエッジが検出された場合、特徴量抽出部３は、エッジコード０を出力し、図１１に示すように、水平方向のエッジが検出された場合、エッジコード１を出力する。
【００６３】
領域切り出し部１は、特徴量抽出部３より、図１０に示すエッジコード０が入力されたとき、図１２に示すような画素データをクラスタップとして切り出す（抽出する）。このクラスタップは、右上から左下方向に延在するエッジを検出するのに最適な画素データで構成されている。これに対して、領域切り出し部１は、図１１に示すようなエッジコード１が入力されたとき、図１３に示すような画素データをクラスタップとして切り出す（抽出する）。このクラスタップは、水平方向のエッジを検出するのに最適な画素データで構成される。領域切り出し部２においても同様に、エッジコードに対応して予測タップを構成する画素データの切り出し（抽出）処理が実行される。
【００６４】
このように、入力された画素データの自己相関、エッジといった特徴量に対応して切り出すクラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させることができ、さらにクラスタップの空間波形に対応して高次結合の次数を変化させることができるので、より適切な予測演算結果を得ることが可能となる。
【００６５】
図１４は、図１のROMテーブル９−１乃至９−３が記憶するクラス毎（クラスコード毎）の予測係数のセットを学習によって得る学習装置の構成例を示している。この構成例においては、例えば、画質の良好な教師信号（学習信号）としてのＳＤ画像データを用いてクラス毎（クラスコード毎）の予測係数のセットを生成する構成が示されている。
【００６６】
例えば、画質の良好な教師信号（学習信号）としての画像データが、予測次数切換部３６に入力されるとともに、ローパスフィルタ(LPF)３１に入力される。ローパスフィルタ３１は、入力された教師信号（学習信号）としての画像データの高域成分を除去することで、画質の劣化した生徒信号（学習信号）を生成する。ローパスフィルタ２１から出力された、画質の劣化した生徒信号（学習信号）は、ぼけ量を表す特徴量を抽出する特徴量抽出部３２、並びにクラスタップおよび予測タップとして所定の範囲の画像データを切り出す（抽出する）領域切り出し部３３に入力される。
【００６７】
特徴量抽出部３２は、入力された画質の劣化した生徒信号（学習信号）の画素データのぼけ量を表す特徴量を抽出し、その特徴量を領域切り出し部３３に供給する。領域切り出し部３３は、入力されたぼけ量を表す特徴量に対応して、クラスタップおよび予測タップとして切り出す画素データをダイナミックに変化させ、切り出したクラスタップおよび予測タップを近傍波形推定部３４、予測次数切換部３６、およびADRCパターン抽出部３７に出力する。
【００６８】
予測次数切換部３６は、画質の良好な教師信号（学習信号）、および領域切り出し部３３から入力された予測タップを、予測次数選択部３５から入力される高次結合の次数に対応して、１次予測正規方程式行列メモリ３９乃至３次予測正規方程式行列メモリ４１のうちのいずれかに供給する。
【００６９】
なお、近傍波形推定部３４乃至クラスコード生成部３８のそれぞれの構成および動作は、図１に示された近傍波形推定部４乃至クラスコード生成部８と同一であるので、その説明は省略する。
【００７０】
１次予測正規方程式行列メモリ３９乃至３次予測正規方程式行列メモリ４１は、入力された教師信号（学習信号）と予測次数切換部３６から供給された予測タップとしての画素データとを、クラス毎（クラスコード毎）に予め記憶している正規方程式行列に代入し、その正規方程式行列（例えば、上述した式（６））を逆行列演算部４２に供給する。行列演算部４２は、供給された正規方程式行列を解き（例えば式（６）の場合、左辺の２Ｎ×２Ｎの行列の逆行列を演算して、両辺に左から乗ずる）、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、ROMメモリ９−１乃至９−３に供給され、クラスコードに対応するアドレスに記憶される。
【００７１】
図１５は、本発明を適用した画像変換装置の第２の構成例を示している。この画像変換装置は、例えば図１６に示すように、低解像度のＳＤ画像データを、水平および垂直方向の解像度（画素数）がそれぞれ２倍であるＨＤ画像データに変換するものである。この画像変換装置においては、入力された画像データが、領域切り出し部５１、領域切り出し部５２、および特徴量抽出部５３に供給される。特徴量抽出部５３は、入力されたＳＤ画像データのぼけ量を表す特徴量を検出し、その検出した特徴量を領域切り出し部５１、および領域切り出し部５２に出力するようになされている。
【００７２】
領域切り出し部５１は、入力された画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これを近傍波形推定部５４、およびADRCパターン抽出部５７に出力する。領域切り出し部５１において切り出されるクラスタップは、特徴量抽出部５３の出力する特徴量に対応して制御される。
【００７３】
領域切り出し部５２は、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測次数切換部５６に出力する。この領域切り出し部５２により切り出される予測タップのセットは、特徴量抽出部５３の出力するぼけ量を表す特徴量に対応して制御される。
【００７４】
近傍波形推定部５４は、領域切り出し部５１から入力されたクラスタップの中の注目画素の近傍の波形特性を検出して、その情報（近傍差分値）を予測次数選択部５５に出力する。予測次数選択部５５は、近傍波形推定部５４から入力された近傍差分値に基づいて、適用する高次結合の次数として１次乃至３次のうちのいずれかを選択し、その情報を予測次数切換部５６、およびクラスコード生成部５８に出力するようになされている。予測次数切換部５６は、領域切り出し部５２から入力された予測タップを、１次予測部６０乃至３次予測部６２のうちの、予測次数選択部５５から入力された高次結合の次数に対応するものに出力するようになされている。
【００７５】
ADRCパターン抽出部５７は、空間内の波形表現を目的としたクラス分類を行い、分類したクラスをクラスコード生成部５８に出力する。クラスコード生成部５８は、予測次数選択部５５から入力された高次結合の次数と、ADRCパターン抽出部５７から入力されたクラスとを用いてクラスコードを生成し、ROMテーブル５９−１乃至５９−３（以下、特にROMテーブル５９−１乃至５９−３を個々に区別する必要がない場合、単にROMテーブル５９と記述する）に出力する。
【００７６】
ROMテーブル９においては、クラスコード生成部５８から入力されたクラスコードに対応する予測係数のセットが読み出され、１次予測部６０乃至３次予測部６２のうちの対応するものに供給される。すなわち、クラスコードは、ROMテーブル５９のアドレスに対応しており、そのアドレスに予め記憶されている予測係数のセットが読み出されて１次予測部６０乃至３次予測部６２のうちの対応するものに供給されるようになされている。なお、ROMテーブル５９−１乃至５９−３には、後述する学習装置（図１７）が生成した１次結合用の予測係数、２次結合用の予測係数、または３次結合用の予測係数が予め記録されている。
【００７７】
１次予測部６０は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−１から入力された予測係数との１次結合を演算して、その演算結果をＨＤ画像データとして出力する。２次予測部６１は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−２から入力された予測係数との２次結合を演算して、その演算結果をＨＤ画像データとして出力する。３次予測部６２は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−３から入力された予測係数との３次結合を演算して、その演算結果をＨＤ画像データとして出力する。なお、ここでは、例えば、図１６に示した注目画素ａを中心とする３×３個のＳＤ画素ａ乃至ｉの予測タップが用いられた場合、同図の注目画素ａを中心とする２×２個のＨＤ画素Ａ乃至Ｄの画素データが演算されるようになされている。
【００７８】
これらの出力された画像データは、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【００７９】
次に、その動作について説明する。領域切り出し部５１は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図２に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計５個の画素データをクラスタップとして切り出す。あるいは、図３に示すように、注目画素データに対応する画素データと、上下左右方向に３画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部５３の出力するぼけ量を表す特徴量に対応して決定される。領域切り出し部５２は、特徴量抽出部５３の出力するぼけ量を表す特徴量に対応して、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測次数切換部５６に出力する。例えば、図１６に示すように、注目画素ａを中心とする３×３のＳＤ画素ａ乃至ｉが切り出されて予測次数切換部５６に出力される。なお、この領域切り出し部５２において切り出される予測タップは、領域切り出し部５１において切り出されるクラスタップと同一にしてもよい。
【００８０】
近傍波形推定部５４は、図７に示すように、領域切り出し部５１から入力されたクラスタップの中の注目画素のレベルx[k]と、その両隣の画素のレベルx[k-1]，x[K+1]との差分ｄ０(=x[k]-x[k-1])，ｄ１(=x[k]-x[k+1])を演算して予測次数選択部５５に出力する。予測次数選択部５５は、差分ｄ０と差分ｄ１とを比較し、その結果が、図７(A)に示すように、ｄ０とｄ１が等しい場合、高次結合の次数を２次に選択し、図７(B)に示すように、ｄ０とｄ１の符号が異なり、その絶対値が等しい場合、高次結合の次数を１次に選択し、さらに、図７(C)に示すように、ｄ０とｄ１の絶対値が異なる場合、高次結合の次数を３次に選択して、選択した次数を予測次数切換部５６、およびクラスコード生成部５８に出力する。
【００８１】
予測次数切換部５６は、領域切り出し部５２から入力された予測タップを、１次予測部６０乃至３次予測部６２のうちの、予測次数選択部５５から入力された高次結合の次数に対応するものに出力する。
【００８２】
ADRCパターン抽出部５７は、領域切り出し部５１で切り出されたクラスタップに対してADRC処理を実行してクラス分類を行い、その情報をクラスコード生成部５８に出力する。クラスコード生成部５８は、ADRCパターン抽出部５７から入力された空間クラスを表すデータに、予測次数選択部５５より供給される高次結合の次数を表すビットを付加してクラスコードを生成する。例えば、高次結合の次数が２ビットで表されるとすると、１２ビットのクラスコードが発生され、ROMテーブル５９に出力される。
【００８３】
ROMテーブル５９においては、入力されたクラスコードに対応する予測係数のセットが読み出され、１次予測部６０乃至３次予測部６２のうちの対応するものに供給される。
【００８４】
１次予測部６０は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−１から入力された予測係数との１次結合を演算して、その演算結果をＨＤ画像データとして出力する。２次予測部６１は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−２から入力された予測係数との２次結合を演算して、その演算結果をＨＤ画像データとして出力する。３次予測部６２は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−３から入力された予測係数との３次結合を演算して、その演算結果をＨＤ画像データとして出力する。なお、１次予測部６０乃至３次予測部６２の構成および動作については、図８で説明したものと同様であるので、その説明は省略する。
【００８５】
この出力されたＨＤ画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【００８６】
図１７は、図１５のROMテーブル５９−１乃至５９−３に記憶されるクラス毎（クラスコード毎）の予測係数のセットを学習によって求める学習装置の構成例を示している。この構成例においては、例えば、高解像度のＨＤ画像データを教師信号（学習信号）として用い、クラス毎（クラスコード毎）の予測係数のセットを生成する構成が示されている。
【００８７】
例えば、教師信号（学習信号）として高解像度のＨＤ画像データが、予測次数切換部７６に入力されるとともに、間引き部７１に入力される。間引き部７１は、入力された教師信号（学習信号）としてのＨＤ画像データから、水平および垂直方向の解像度を低下させたＳＤ画像データを生成する。すなわち、間引き部７１は、例えば図１６に示すように、２×２個のＨＤ画素Ａ乃至Ｄの画素値を平均し、その値をＨＤ画素Ａ乃至Ｄの中心に位置するＳＤ画素ａの画像データ（学習信号）とする。
【００８８】
間引き部７１から出力された、ＳＤ画素の生徒信号（学習信号）は、ぼけ量を表す特徴量を抽出する特徴量抽出部７２、並びにクラスタップおよび予測タップとして所定の範囲の画像データを切り出す（抽出する）領域切り出し部７３に入力される。
【００８９】
特徴量抽出部７２は、入力されたＳＤ画素の生徒信号（学習信号）のぼけ量を表す特徴量を抽出し、その特徴量を領域切り出し部７３に供給する。領域切り出し部７３は、入力されたぼけ量を表す特徴量に対応して、クラスタップおよび予測タップとして切り出す画素データをダイナミックに変化させ、切り出したクラスタップおよび予測タップを近傍波形推定部７４、予測次数切換部７６、およびADRCパターン抽出部７７に出力する。
【００９０】
予測次数切換部７６は、高解像度の教師信号（学習信号）、および領域切り出し部７３から入力された予測タップを、予測次数選択部７５から入力される高次結合の次数に対応して１次予測正規方程式行列メモリ７９乃至３次予測正規方程式行列メモリ８１のうちのいずれかに供給する。
【００９１】
なお、近傍波形推定部７４乃至クラスコード生成部７８のそれぞれの構成および動作は、図１５に示された近傍波形推定部５４乃至クラスコード生成部５８と同様であるので、その説明は省略する。
【００９２】
１次予測正規方程式行列メモリ７９乃至３次予測正規方程式行列メモリ８１は、入力された教師信号（学習信号）と予測次数切換部７６から供給された予測タップとしての画素データとを、クラス毎（クラスコード毎）に予め記憶している正規方程式行列に代入し、その正規方程式行列を逆行列演算部８２に供給する。行列演算部８２は、供給された正規方程式行列を解き、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、ROMメモリ５９−１乃至５９−３に供給され、クラスコードに対応するアドレスに記憶される。
【００９３】
なお、本実施の形態においては、クラス毎の予測係数のセットを、図１４または図１７に示した構成によって演算して求めるようにしたが、コンピュータを用いてシミュレーションで演算して求めるようにしてもよい。
【００９４】
このように、本実施の形態によれば、画像の部分的な空間波形に対応して高次結合の次数を変化させるので、無駄な演算を行うことなく生成される画像の精度を高くすることができる。
【００９５】
また、本実施の形態においては、高次結合の次数として、１次乃至３次のうちのいずれかを用いるようにしたが、３次以上の高次結合を用いるようにしてもよい。
【００９６】
また、クラスタップまたは予測タップとして切り出される画素データの数は、上述した例に限らず、その数はいくつであってもよい。ただし、クラスタップまたは予測タップとして切り出す数を多くすればするほど画質改善の精度、または生成される高解像度画素の精度は高くなるが、演算量が多くなったり、メモリが大きくなったりするため、演算量、ハード面での負荷が大きくなるため、最適な数を設定する必要がある。
【００９７】
さらに、本実施の形態においては、ＳＤ画像信号からＳＤ画像信号への変換（ＳＤ−ＳＤ変換）、ＨＤ画像信号からＨＤ画像信号への変換（ＨＤ−ＨＤ変換）、およびＳＤ画像信号からＨＤ画像信号への変換（ＳＤ−ＨＤ変換）について記載されているが、本発明はこれに限らず、他のフォーマット（インターレース信号、ノンインターレース信号など）の変換にももちろん適用可能である。ただし、この場合、クラスタップまたは予測タップとして画像データを切り出す際には、注目画素データとなる画素は実際には存在しないため、切り出しの対象画素データとはならない。
【００９８】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えられる。したがって、本発明の要旨は本実施の形態に限定されるものではない。
【００９９】
また、上述したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【０１００】
【発明の効果】
以上のように、本発明の画像変換装置、画像変換方法、および記録媒体のプログラムによれば、入力された画像データの画質を効率よく補正することが可能となる。
【０１０１】
また、本発明の学習装置、学習換方法、および記録媒体のプログラムによれば、入力された画像データの画質を効率よく補正することが可能な予測係数を求めることができる。
【０１０２】
さらに、本発明の画像変換システムによれば、クラスコードに対応するアドレスに生成した予測係数を記憶し、クラスタップの空間波形を推定し、推定した空間波形に基づいて高次結合の次数を選択するようにしたので、入力された画像データの画質を効率よく補正することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像変換装置の第１の構成例を示すブロック図である。
【図２】図１の領域切り出し部１における切り出し処理を説明する図である。
【図３】図１の領域切り出し部１における切り出し処理を説明する図である。
【図４】図１の特徴量抽出部３における特徴量抽出処理を説明するフローチャートである。
【図５】図４のステップＳ１の自己相関係数を算出する処理を説明する図である。
【図６】図４のステップＳ１において算出される自己相関係数を説明する図である。
【図７】図１の近傍波形推定部４における近傍波形推定処理を説明する図である。
【図８】図１の３次予測部１２の詳細な構成例を示すブロック図である。
【図９】図１の特徴量抽出部３における他の特徴量抽出処理を説明するフローチャートである。
【図１０】図１の特徴量抽出部３における他の特徴量抽出の例を示す図である。
【図１１】図１の特徴量抽出部３における他の特徴量抽出の例を示す図である。
【図１２】図１の領域切り出し部１における切り出し処理を説明する図である。
【図１３】図１の領域切り出し部１における切り出し処理を説明する図である。
【図１４】本発明を適用した学習装置の構成例を示すブロック図である。
【図１５】本発明を適用した画像変換装置の第２の構成例を示すブロック図である。
【図１６】図１５の領域切り出し部５２における切り出し処理を説明する図である。
【図１７】本発明を適用した学習装置の他の構成例を示すブロック図である。
【符号の説明】
１，２ 領域切り出し部， ３ 特徴量抽出部， ４ 近傍波形推定部， ５予測次数選択部， ６ 予測次数切換部， ７ ADRCパターン抽出部， ８ クラスコード発生部， ９ ROMテーブル， １０ １次予測部， １１ ２次予測部， １２ ３次予測部， ２１ ２乗演算部， ２２ ３乗演算部， ２３乃至２５ 係数乗算部， ２６ 積和部， ２７ 積和部， ３１ LPF， ３２ 特徴量抽出部， ３３ 領域切り出し部， ３４ 近傍波形推定部， ３５ 予測次数選択部， ３６ 予測次数切換部， ３７ ADRCパターン抽出部，３８ クラスコード生成部， ３９ １次予測正規方程式行列メモリ， ４０２次予測正規方程式行列メモリ， ４１ ３次予測正規方程式行列メモリ， ４２ 逆行列演算部， ５１，５２ 領域切り出し部， ５３ 特徴量抽出部，５４ 近傍波形推定部， ５５ 予測次数選択部， ５６ 予測次数切換部，５７ ADRCパターン抽出部， ５８ クラスコード発生部， ５９ ROMテーブル， ６０ １次予測部， ６１ ２次予測部， ６２ ３次予測部， ７１間引き部， ７２ 特徴量抽出部， ７３ 領域切り出し部， ７４ 近傍波形推定部， ７５ 予測次数選択部， ７６ 予測次数切換部， ７７ ADRCパターン抽出部， ７８ クラスコード生成部， ７９ １次予測正規方程式行列メモリ， ８０ ２次予測正規方程式行列メモリ， ８１ ３次予測正規方程式行列メモリ， ８２ 逆行列演算部
【発明の属する技術分野】
本発明は、画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体に関し、特に、入力された画像信号を同一フォーマットもしくは異なるフォーマットの画像信号に変換する際に、入力された画像データの画質が悪くとも、確実に画質が補正されたか、もしくは画質が改善された画像信号を提供できるようにした画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体に関する。
【０００２】
【従来の技術】
本出願人は、例えば、特開平８−５１５９９号として、より高解像度の画素データを得ることができるようにする技術を提案している。この提案においては、例えばＳＤ(Standard Definition)画素データからなる画像データから、ＨＤ(High Definition)画素データからなる画像データを創造する場合、創造するＨＤ画素データの近傍に位置するＳＤ画素データを用いてクラス分類を行い（クラスを決定し）、それぞれのクラス毎に、予測係数を学習させておき、その予測係数とＳＤ画素データとの線形１次結合をＨＤ画素データとしていた。
【０００３】
また、本出願人は、特願平１０−２３２５０１号として、予測係数とＳＤ画素データとの単一の高次結合（例えば、２次結合）の結果をＨＤ画素データとすることにより、創造するＨＤ画素データの予測精度をより向上させる技術を提案している。
【０００４】
【発明が解決しようとする課題】
ところで、上述したような高次結合を用いて画素データを創造する技術は、画像の複雑な部分（空間周波数が高い部分）を創造する場合には有効である。しかしながら、画像の平坦な部分（空間周波数が低い部分）を創造する場合には、必ずしも高次結合による処理は必要ない。したがって、創造する全ての画素を単一の高次結合を用いて創造した場合、不必要な演算を行うことにより、その処理に要する時間が長くなる課題があった。
【０００５】
また、最適な予測係数を求める学習装置に単一の高次結合を適用した場合、画像の多くの部分を占める平坦な部分の影響を受け、高次結合を適用したことによる効果が低減する課題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、画像の部分的な特性に対応して、適用する高次結合の次数を変化することにより、入力された画像データの画質を効率よく補正することができるようしたものである。
【０００７】
【課題を解決するための手段】
本発明の画像変換装置は、第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、予測タップの次数を３次に選択する選択手段と、クラスタップとしての複数の画素データを符号化した符号化データに、選択手段により選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類手段と、予め学習された予測係数から、分類手段により生成されたクラスコードに対応する予測係数を発生する発生手段と、予測タップと予測係数との選択手段により選択された次数の結合である予測演算を行うことにより、第２の画像信号の予測画素データを生成する生成手段とを備えることを特徴とする。
【０００８】
本発明の画像変換方法は、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、予測タップの次数を３次に選択する選択ステップと、クラスタップとしての複数の画素データを符号化した符号化データに、選択ステップの処理で選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類ステップと、予め学習された予測係数から、分類手段により生成されたクラスコードに対応する予測係数を発生する発生ステップと、予測タップと予測係数との選択ステップの処理で選択された次数の結合である予測演算を行うことにより、第２の画像信号の予測画素データを生成する生成ステップとを含むことを特徴とする。
【０００９】
本発明の記録媒体は、第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、予測タップの次数を３次に選択する選択ステップと、クラスタップとしての複数の画素データを符号化した符号化データに、選択ステップの処理で選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類ステップと、予め学習された予測係数から、分類手段により生成されたクラスコードに対応する予測係数を発生する発生ステップと、予測タップと予測係数との選択ステップの処理で選択された次数の結合である予測演算を行うことにより、第２の画像信号の予測画素データを生成する生成ステップとを含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００１０】
本発明の学習装置は、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、出力された２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、高次結合の次数を３次に選択する選択手段と、クラスタップとしての複数の画素データを符号化した符号化データに、選択手段により選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類手段と、分類手段によって、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式を生成し、正規方程式を解法することにより、予測係数を生成する生成手段と、生成手段によって生成された予測係数を発生手段によって発生されたクラスコードに対応するアドレスに記憶する記憶手段とを備えることを特徴とする。
【００１１】
本発明の学習方法は、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、出力された２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、高次結合の次数を３次に選択する選択ステップと、クラスタップとしての複数の画素データを符号化した符号化データに、選択ステップの処理で選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類ステップと、分類ステップの処理で、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式を生成し、正規方程式を解法することにより、予測係数を生成する生成ステップと、生成ステップの処理で生成された予測係数を発生ステップの処理で発生されたクラスコードに対応するアドレスに記憶する記憶ステップとを含むことを特徴とする。
【００１２】
本発明の記録媒体は、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、出力された２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、高次結合の次数を３次に選択する選択ステップと、クラスタップとしての複数の画素データを符号化した符号化データに、選択ステップの処理で選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類ステップと、分類ステップの処理で、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式を生成し、正規方程式を解法することにより、予測係数を生成する生成ステップと、生成ステップの処理で生成された予測係数を発生ステップの処理で発生されたクラスコードに対応するアドレスに記憶する記憶ステップとを含む処理を学習装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００１３】
本発明の画像変換システムは、学習装置が、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、出力された２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、高次結合の次数を３次に選択する選択手段と、クラスタップとしての複数の画素データを符号化した符号化データに、選択手段により選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類手段と、分類手段によって、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式を生成し、正規方程式を解法することにより、予測係数を生成する生成手段と、生成手段によって生成された予測係数を発生手段によって発生されたクラスコードに対応するアドレスに記憶する記憶手段とを備え、画像変換装置が、第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数を２次に選択し、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数を１次に選択し、出力された２つの差分値の絶対値が異なる場合、予測タップの次数を３次に選択する選択手段と、クラスタップとしての複数の画素データを符号化した符号化データに、選択手段により選択された次数を表すビットを付加して、注目画素に対応するクラスコードを生成する分類手段と、予め学習された予測係数から、分類手段により生成されたクラスコードに対応する予測係数を発生する発生手段と、予測タップと予測係数との選択手段により選択された次数の結合である予測演算を行うことにより、第２の画像信号の予測画素データを生成する生成手段とを備えることを特徴とする。
【００１４】
本発明の画像変換装置、画像変換方法、および記録媒体のプログラムにおいては、第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データがクラスタップとして抽出され、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値が出力され、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数が２次に選択され、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数が１次に選択され、出力された２つの差分値の絶対値が異なる場合、予測タップの次数が３次に選択され、クラスタップとしての複数の画素データが符号化された符号化データに、選択された次数を表すビットが付加されて、注目画素に対応するクラスコードが生成される。さらに、予め学習された予測係数から、生成されたクラスコードに対応する予測係数が発生され、予測タップと予測係数との選択された次数の結合である予測演算が行われることにより、第２の画像信号の予測画素データが生成される。
【００１５】
本発明の学習装置、学習方法、および記録媒体のプログラムにおいては、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データがクラスタップとして抽出され、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値が出力され、出力された２つの差分値が等しい場合、高次結合の次数が２次に選択され、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数が１次に選択され、出力された２つの差分値の絶対値が異なる場合、高次結合の次数が３次に選択され、クラスタップとしての複数の画素データが符号化された符号化データに、選択された次数を表すビットが付加されて、注目画素に対応するクラスコードが生成される。また、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式が生成され、この正規方程式を解法することにより、予測係数が生成される。さらに、生成された予測係数が発生されたクラスコードに対応するアドレスに記憶される。
【００１６】
本発明の画像変換システムにおいては、学習装置により、学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データがクラスタップとして抽出され、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値が出力され、出力された２つの差分値が等しい場合、高次結合の次数が２次に選択され、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、高次結合の次数が１次に選択され、出力された２つの差分値の絶対値が異なる場合、高次結合の次数が３次に選択され、クラスタップとしての複数の画素データが符号化された符号化データに、選択された次数を表すビットが付加されて、注目画素に対応するクラスコードが生成される。また、学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により注目画素に対応する学習用の第２の画像信号の予測画素を予測する関係式における予測係数を求めるために生成された行列式に対し、学習用の第１の画像信号および学習用の第２の画像信号を代入することにより正規方程式が生成され、この正規方程式を解法することにより、予測係数が生成される。さらに、生成された予測係数が発生されたクラスコードに対応するアドレスに記憶される。また、画像変換装置により、第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データがクラスタップとして抽出され、クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値が出力され、出力された２つの差分値が等しい場合、第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、第１の画像信号から第２の画像信号を予測するために予め学習された予測係数との結合により注目画素に対応する第２の画像信号の予測画素を予測する予測演算における、予測タップの次数が２次に選択され、出力された２つの差分値の符号が異なり、それらの絶対値が等しい場合、予測タップの次数が１次に選択され、出力された２つの差分値の絶対値が異なる場合、予測タップの次数が３次に選択され、クラスタップとしての複数の画素データが符号化された符号化データに、選択された次数を表すビットが付加されて、注目画素に対応するクラスコードが生成される。さらに、予め学習された予測係数から、生成されたクラスコードに対応する予測係数が発生され、予測タップと予測係数との選択された次数の結合である予測演算が行われることにより、第２の画像信号の予測画素データが生成される。
【００１７】
【発明の実施の形態】
以下に本発明の実施の形態を説明する。
【００２４】
なお、本明細書においてシステムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。
【００２５】
本発明を適用した画像変換装置の第１の構成例について、図１を参照して説明する。同図には、例えば画質の悪い（ぼけた画像の）ＳＤ画像データ（または、ＨＤ画像データ）を、画質改善されたＳＤ画像データ（または、ＨＤ画像データ）に変換する構成例が示されている。以下においては、入力画像データがＳＤ画像データである場合について説明する。
【００２６】
例えば、画質の悪い（ぼけた画像の）ＳＤ画像データが、入力端子を介して画像変換装置に入力される。入力された画像データは、領域切り出し部１、領域切り出し部２、および特徴量抽出部３に供給される。特徴量抽出部３は、入力されたＳＤ画像データのぼけ量を表す特徴量を検出し、その検出した特徴量を領域切り出し部１、および領域切り出し部２に出力するようになされている。
【００２７】
領域切り出し部１は、入力された画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これを近傍波形推定部４、およびADRC(Adaptive Dynamic Range Coding)パターン抽出部７に出力する。領域切り出し部１において切り出されるクラスタップは、特徴量抽出部３の出力する特徴量に対応して制御される。
【００２８】
領域切り出し部２は、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測次数切換部６に出力する。この領域切り出し部２により切り出される予測タップのセットは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して制御される。
【００２９】
近傍波形推定部４は、領域切り出し部１から入力されたクラスタップの注目画素近傍の波形特性（その詳細は図７を参照して後述する）を検出して、その情報（近傍差分値）を予測次数選択部５に出力する。予測次数選択部５は、近傍波形推定部４から入力された近傍差分値に基づいて、適用する高次結合の次数として１次乃至３次のうちのいずれかを選択し、その情報を予測次数切換部６、およびクラスコード生成部８に出力するようになされている。予測次数切換部６は、領域切り出し部２から入力された予測タップを、１次予測部１０乃至３次予測部１２のうちの、予測次数選択部５から入力された高次結合の次数に対応するものに出力するようになされている。
【００３０】
ADRCパターン抽出部７は、空間内の波形表現を目的としたクラス分類を行い、分類したクラスをクラスコード生成部８に出力する。クラスコード生成部８は、予測次数選択部５から入力された高次結合の次数と、ADRCパターン抽出部７から入力されたクラスとを用いてクラスコードを生成し、ROMテーブル９−１乃至９−３（以下、特にROMテーブル９−１乃至９−３を個々に区別する必要がない場合、単にROMテーブル９と記述する）に出力する。
【００３１】
ROMテーブル９においては、クラスコード生成部８から入力されたクラスコードに対応する予測係数のセットが読み出され、１次予測部１０乃至３次予測部１２のうちの対応するものに供給される。すなわち、クラスコードは、ROMテーブル９のアドレスに対応しており、そのアドレスに予め記憶されている予測係数のセットが読み出されて１次予測部１０乃至３次予測部１２の対応するものに供給されるようになされている。なお、ROMテーブル９−１乃至９−３には、それぞれ、後述する学習装置（図１４）により生成された１次結合用の予測係数、２次結合用の予測係数、または３次結合用の予測係数が予め記録されている。
【００３２】
１次予測部１０は、予測次数切換部６から入力された予測タップと、ROMテーブル９−１から入力された予測係数との１次結合を演算して、その演算結果を画質を補正した画像データとして出力する。２次予測部１１は、予測次数切換部６から入力された予測タップと、ROMテーブル９−２から入力された予測係数との２次結合を演算して、その演算結果を画質を補正した画像データとして出力する。３次予測部１２は、予測次数切換部６から入力された予測タップと、ROMテーブル９−３から入力された予測係数との３次結合を演算して、その演算結果を画質を補正した画像データとして出力する。これらの出力された画像データは、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送されるようになされている。
【００３３】
次に、その動作について説明する。領域切り出し部１は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図２に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計５個の画素データをクラスタップとして切り出す。あるいは、図３に示すように、注目画素データに対応する画素データと、上下左右方向に３画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して決定される。
【００３４】
ここで、図４のフローチャートを参照して、特徴量抽出部３の特徴量抽出処理について説明する。ステップＳ１において、特徴量抽出部３は、入力された各画素データに対するフレーム毎の自己相関係数を算出する。そして、この自己相関係数を画素データのぼけ量を表す特徴量の尺度に利用する。すなわち、図５に示すように、１フレームの画像データが７２０画素×４８０画素の画素データで構成されているものとすると、所定の注目画素に対してその注目画素を中心として、７２０画素×４８０画素の画素データのうちの５１２画素×２５６画素の画素データからなるブロック（以下、このブロックを、適宜、基準ブロックと呼ぶ）を構成し、その基準ブロックの位置を画素単位で所定の範囲内を上下左右方向に移動させ、移動させたときのそれぞれの位置に対応する自己相関係数を算出する。
【００３５】
例えば、所定の注目画素データを中心とした基準ブロック内の各画素値をＸij（ｉ＝０，１，２，・・・，ｎ、ｊ＝０，１，２，・・・，ｍ）、基準ブロック内の画素値の平均値をＸav、基準ブロックが移動された位置に対応するブロック内の各画素値をＹij（ｉ＝０，１，２，・・・，ｎ、ｊ＝０，１，２，・・・，ｍ）、そのブロック内の画素値の平均値をＹavとすると、基準ブロックを移動させたときのその位置に対応する自己相関係数は、次式（１）で表される。
【数１】
なお、上述したように、本実施の形態では、基準ブロックが５１２画素×２５６画素の画素データから構成されているため、ｎ＝５１１、ｍ＝２５５の値となる。このようにして、所定の範囲内で基準ブロックをシフトしてそれぞれの位置に対応する自己相関係数を得ることができる。
【００３７】
図６は、このようにして求められた自己相関係数の例を表している。ブロック（基準ブロック）をシフトしないとき、自己相関係数は１である。これに対して、フレームＦ１の場合、例えば、ブロック（基準ブロック）を右方向に３画素分シフトしたとき、自己相関係数は０．８５に低下し、さらに、シフト量を増加させるに従って、自己相関係数は、より小さい値に低下する。このことは、ブロック（基準ブロック）を左方向にシフトした場合にも同様である。
【００３８】
一方、フレームＦ２においては、ブロック（基準ブロック）を１画素分右または左方向にシフトしたとき、自己相関係数が０．８５に低下し、それ以上シフトすると、自己相関係数はさらに低下する。このことは、フレームＦ１は、フレームＦ２に比べて、周囲との自己相関が強い、つまり、フレームＦ１は、フレームＦ２に比べてぼけ量が大きいことを意味している。
【００３９】
特徴量抽出部３は、ステップＳ２において、自己相関係数が所定の基準値（例えば、０．８５）となる画素シフト量を求め、ステップＳ３で、その画素シフト量を、ぼけ量を表す特徴量として出力する。つまり、所定の範囲内で、基準ブロックをシフトしたときの、それぞれの位置に対応する自己相関係数と基準値を比較することにより、自己相関係数が基準値となる画素シフト量を求める。図６の例の場合、入力された画素データがフレームＦ１の画素データである場合、特徴量は３とされ、入力された画素データがフレームＦ２の画素データである場合、特徴量は１とされる。
【００４０】
領域切り出し部１は、特徴量抽出部３から、特徴量１が入力されたとき、例えば、図２に示すように、狭い間隔内に配置された画素データをクラスタップとして切り出す（抽出する）。これに対して、特徴量３が入力されたとき、領域切り出し部１は、図３に示すように、より広い間隔で配置されている画素データをクラスタップとして切り出す（抽出する）。
【００４１】
図６に示すように、特徴量が１である画像（フレームＦ２）は、強い自己相関を有する画素データの範囲が狭くなっている。そこで、図２に示すように、クラスタップを構成する画素データとしても狭い範囲に配置されているものを選択する。これに対して、特徴量が３である画像（フレームＦ１）の場合、強い自己相関を有する範囲がより広くなっている。そこで、図３に示すように、クラスタップを構成する画素データも、より広い範囲から切り出すようにする。このように、ぼけ量を表す特徴量に応じて、クラスタップとして切り出す画素データをダイナミックに変化させるようにすることで、より適切なクラスタップを切り出すことが可能となる。
【００４２】
図示は省略するが、領域切り出し部２における予測タップも、領域切り出し部１におけるクラスタップの切り出しと同様に、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して、予測タップとして切り出す画素データをダイナミックに変化させる。なお、この領域切り出し部２において切り出される予測タップは、領域切り出し部１において切り出されるクラスタップと同一にしてもよいし、異なるものとしてもよい。
【００４３】
近傍波形推定部４は、図７に示すように、領域切り出し部１から入力されたクラスタップの中の注目画素のレベルx[k]と、その両隣の画素のレベルx[k-1]，x[K+1]との差分ｄ０(=x[k]-x[k-1])，ｄ１(=x[k]-x[k+1])を演算して予測次数選択部５に出力する。予測次数選択部５は、差分ｄ０と差分ｄ１とを比較し、図７(A)に示すように、ｄ０とｄ１が等しい場合、高次結合の次数を２次に選択し、図７(B)に示すように、ｄ０とｄ１の符号が異なり、その絶対値が等しい場合、高次結合の次数を１次に選択し、さらに、図７(C)に示すように、ｄ０とｄ１の絶対値が異なる場合、高次結合の次数を３次に選択して、選択した次数を予測次数切換部６、およびクラスコード生成部８に出力する。
【００４４】
予測次数切換部６は、領域切り出し部２から入力された予測タップを、１次予測部１０乃至３次予測部１２のうちの、予測次数選択部５から入力された高次結合の次数に対応するものに出力する。
【００４５】
ADRCパターン抽出部７は、領域切り出し部１で切り出されたクラスタップに対してADRC処理を実行してクラス分類を行い、その情報をクラスコード生成部８に出力する。すなわち、クラスタップとして抽出された５つの画素データ内のダイナミックレンジをＤＲ、ビット割当をｎ、クラスタップとしての各画素データのレベルをＬ、再量子化コードをＱとするとき、次式を演算する。
Ｑ＝｛（Ｌ−MIN＋０．５）×２n／ＤＲ｝
ＤＲ＝MAX−MIN＋１
【００４６】
なお、ここで｛ ｝は切り捨て処理を意味する。また、MAXとMINは、クラスタップを構成する５つの画素データ内の最大値と最小値をそれぞれ表している。これにより、例えば領域切り出し部１で切り出されたクラスタップを構成する５個の画素データが、それぞれ例えば８ビット（ｎ＝８）で構成されているとすると、これらのそれぞれが２ビットに圧縮される。したがって、空間クラスを表すデータは合計１０ビットで表される。
【００４７】
クラスコード生成部８は、ADRCパターン抽出部７から入力された空間クラスを表すデータに、予測次数選択部５より供給される高次結合の次数を表すビットを付加してクラスコードを生成する。例えば、高次結合の次数が２ビットで表されるとすると、１２ビットのクラスコードが発生され、ROMテーブル９に出力される。
【００４８】
ROMテーブル９においては、入力されたクラスコードに対応するアドレスから予測係数のセットが読み出され、１次予測部１０乃至３次予測部１２のうちの対応するものに供給される。
【００４９】
ここで、予測係数のセットについて説明する。本実施の形態においては、予測演算に用いられる高次結合の次数として、注目画素の近傍の空間的な特徴に基づいて１次乃至３次のうちのいずれかが選択される。例えば、３次結合が選択された場合、実測値（予測タップ）をｘiとし、実測値の１次の予測係数をａiとし、実測値の２次の予測係数をｂiとし、実測値の３次の予測係数をｃiとすると、補正された画素データとなる最確値ｙmは次式（２）によって表される。ただし、Ｎは予測タップを構成する画素数である。
【数２】
また、２次結合が選択された場合、最確値ｙmは式（２）の右辺から第３項を削除したもので表され、１次結合が選択された場合、最確値ｙmは式（２）の右辺の第１項だけで表される。
【００５１】
例えば、２次結合が選択された場合について説明する。この場合、最確値ｙmは上述したように、次式（３）により表される。
【数３】
ここで、真値をｙtとし、誤差をｅとすれば、最小自乗法の誤差方程式は、次式（４）のように表すことができる。
【数４】
式（３）から明らかなように、係数ａi，ｂiは、最確値ｙmを与える係数であるので、その係数ａi，ｂiは、誤差を示す式（４）の値を最小値とするはずである。式（４）の値を最小とする係数ａi，ｂiを求めるには、次式（５）に示すように、式（４）を係数ａi，ｂiで偏微分した式が０となる係数ａi，ｂiを求めればよい。ただし、Ｄは式（４）の最右辺である。
【数５】
式（５）を係数ａi，ｂiで整理し、行列を用いて表現すれば、次式（６）に示すようになる。
【数６】
さらに、式（６）の左辺の２Ｎ×２Ｎの行列の逆行列を演算して、式（６）の両辺に左から乗ずれば、実測値の１次の予測係数ａi、および実測値の２次の予測係数ｂiが求められる。なお、１次結合、または３次結合に用いられる予測係数も同様にして求めることができる。
【００５６】
１次予測部１０は、予測次数切換部６から入力された予測タップと、ROMテーブル９−１から入力された予測係数との１次結合を演算して、その演算結果を画質を補正した画像データとして出力する。２次予測部１１は、予測次数切換部６から入力された予測タップと、ROMテーブル９−２から入力された予測係数との２次結合を演算して、その演算結果を画質を補正した画像データとして出力する。３次予測部１２は、予測次数切換部６から入力された予測タップと、ROMテーブル９−３から入力された予測係数との３次結合を演算して、その演算結果を画質を補正した画像データとして出力する。
【００５７】
図８は、領域切り出し部２で切り出された予測タップがＮ個の画素から構成される場合における３次予測部１２の詳細な構成例を示している。入力信号として予測次数切換部６から供給された予測タップ（画素データＸ0乃至ＸN-1）のうちの画素データＸ0は、２乗演算部２１−１、３乗演算部２２−１、および係数乗算部２３−１に供給される。２乗演算部２１−１および３乗演算部２２−１は、それぞれ供給された画素データＸ0を２乗、または３乗して、対応する係数乗算部２４−１、または係数乗算部２５−１に出力する。これに対して、ROMテーブル９から、係数乗算部２３−１乃至２５−１のそれぞれに、対応する予測係数ａ0，ｂ0、またはｃ0が供給される。
【００５８】
係数乗算部２３−１乃至２５−１は、入力された画素データと予測係数とを乗算して積和部２６−１に出力する。積和部２６−１は、係数乗算部２３−１乃至２５−１のそれぞれから入力された乗算結果を加算して、予測出力１として積和部２７に出力する。
【００５９】
同様に、２次演算部２１−ｉ乃至積算部２６−ｉ（ｉ＝１乃至Ｎ−１）において、予測次数切換部６から供給された予測タップの画素データＸi、並びにROMテーブル９から供給される予測係数ａi，ｂi、およびｃiを用いて予測出力ｉ＋１が演算されて、積和部２７に供給される。
【００６０】
積和部２７は、積和部２６−１乃至２６−Ｎから入力された予測出力１乃至Ｎを加算して、画質（ぼけ）が補正された画素データとなる予測結果を出力する。
【００６１】
なお、２次予測部１１は、図８に示した３次予測部１２の構成例から、３乗演算部２２−ｉ（ｉ＝１乃至Ｎ）、および係数演算部２５−ｉを削除したものであり、１次予測部１０は、さらに２乗演算部２１−ｉ、および係数乗算部２４−ｉを削除したものであるので、その詳細な説明は省略する。また、１次予測部１０乃至３次予測部１２を一体化し、時分割で１次結合乃至３次結合を演算するようにしてもよい。
【００６２】
図９は、特徴量抽出部３における他の特徴量抽出処理の例を表している。この例においては、ステップＳ１１において、所定の注目画素の近傍のエッジが検出される。ステップＳ１２において、検出したエッジに対応するエッジコードが特徴量として出力される。例えば、図１０に示すように、右上から左下方向に、斜めのエッジが検出された場合、特徴量抽出部３は、エッジコード０を出力し、図１１に示すように、水平方向のエッジが検出された場合、エッジコード１を出力する。
【００６３】
領域切り出し部１は、特徴量抽出部３より、図１０に示すエッジコード０が入力されたとき、図１２に示すような画素データをクラスタップとして切り出す（抽出する）。このクラスタップは、右上から左下方向に延在するエッジを検出するのに最適な画素データで構成されている。これに対して、領域切り出し部１は、図１１に示すようなエッジコード１が入力されたとき、図１３に示すような画素データをクラスタップとして切り出す（抽出する）。このクラスタップは、水平方向のエッジを検出するのに最適な画素データで構成される。領域切り出し部２においても同様に、エッジコードに対応して予測タップを構成する画素データの切り出し（抽出）処理が実行される。
【００６４】
このように、入力された画素データの自己相関、エッジといった特徴量に対応して切り出すクラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させることができ、さらにクラスタップの空間波形に対応して高次結合の次数を変化させることができるので、より適切な予測演算結果を得ることが可能となる。
【００６５】
図１４は、図１のROMテーブル９−１乃至９−３が記憶するクラス毎（クラスコード毎）の予測係数のセットを学習によって得る学習装置の構成例を示している。この構成例においては、例えば、画質の良好な教師信号（学習信号）としてのＳＤ画像データを用いてクラス毎（クラスコード毎）の予測係数のセットを生成する構成が示されている。
【００６６】
例えば、画質の良好な教師信号（学習信号）としての画像データが、予測次数切換部３６に入力されるとともに、ローパスフィルタ(LPF)３１に入力される。ローパスフィルタ３１は、入力された教師信号（学習信号）としての画像データの高域成分を除去することで、画質の劣化した生徒信号（学習信号）を生成する。ローパスフィルタ２１から出力された、画質の劣化した生徒信号（学習信号）は、ぼけ量を表す特徴量を抽出する特徴量抽出部３２、並びにクラスタップおよび予測タップとして所定の範囲の画像データを切り出す（抽出する）領域切り出し部３３に入力される。
【００６７】
特徴量抽出部３２は、入力された画質の劣化した生徒信号（学習信号）の画素データのぼけ量を表す特徴量を抽出し、その特徴量を領域切り出し部３３に供給する。領域切り出し部３３は、入力されたぼけ量を表す特徴量に対応して、クラスタップおよび予測タップとして切り出す画素データをダイナミックに変化させ、切り出したクラスタップおよび予測タップを近傍波形推定部３４、予測次数切換部３６、およびADRCパターン抽出部３７に出力する。
【００６８】
予測次数切換部３６は、画質の良好な教師信号（学習信号）、および領域切り出し部３３から入力された予測タップを、予測次数選択部３５から入力される高次結合の次数に対応して、１次予測正規方程式行列メモリ３９乃至３次予測正規方程式行列メモリ４１のうちのいずれかに供給する。
【００６９】
なお、近傍波形推定部３４乃至クラスコード生成部３８のそれぞれの構成および動作は、図１に示された近傍波形推定部４乃至クラスコード生成部８と同一であるので、その説明は省略する。
【００７０】
１次予測正規方程式行列メモリ３９乃至３次予測正規方程式行列メモリ４１は、入力された教師信号（学習信号）と予測次数切換部３６から供給された予測タップとしての画素データとを、クラス毎（クラスコード毎）に予め記憶している正規方程式行列に代入し、その正規方程式行列（例えば、上述した式（６））を逆行列演算部４２に供給する。行列演算部４２は、供給された正規方程式行列を解き（例えば式（６）の場合、左辺の２Ｎ×２Ｎの行列の逆行列を演算して、両辺に左から乗ずる）、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、ROMメモリ９−１乃至９−３に供給され、クラスコードに対応するアドレスに記憶される。
【００７１】
図１５は、本発明を適用した画像変換装置の第２の構成例を示している。この画像変換装置は、例えば図１６に示すように、低解像度のＳＤ画像データを、水平および垂直方向の解像度（画素数）がそれぞれ２倍であるＨＤ画像データに変換するものである。この画像変換装置においては、入力された画像データが、領域切り出し部５１、領域切り出し部５２、および特徴量抽出部５３に供給される。特徴量抽出部５３は、入力されたＳＤ画像データのぼけ量を表す特徴量を検出し、その検出した特徴量を領域切り出し部５１、および領域切り出し部５２に出力するようになされている。
【００７２】
領域切り出し部５１は、入力された画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これを近傍波形推定部５４、およびADRCパターン抽出部５７に出力する。領域切り出し部５１において切り出されるクラスタップは、特徴量抽出部５３の出力する特徴量に対応して制御される。
【００７３】
領域切り出し部５２は、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測次数切換部５６に出力する。この領域切り出し部５２により切り出される予測タップのセットは、特徴量抽出部５３の出力するぼけ量を表す特徴量に対応して制御される。
【００７４】
近傍波形推定部５４は、領域切り出し部５１から入力されたクラスタップの中の注目画素の近傍の波形特性を検出して、その情報（近傍差分値）を予測次数選択部５５に出力する。予測次数選択部５５は、近傍波形推定部５４から入力された近傍差分値に基づいて、適用する高次結合の次数として１次乃至３次のうちのいずれかを選択し、その情報を予測次数切換部５６、およびクラスコード生成部５８に出力するようになされている。予測次数切換部５６は、領域切り出し部５２から入力された予測タップを、１次予測部６０乃至３次予測部６２のうちの、予測次数選択部５５から入力された高次結合の次数に対応するものに出力するようになされている。
【００７５】
ADRCパターン抽出部５７は、空間内の波形表現を目的としたクラス分類を行い、分類したクラスをクラスコード生成部５８に出力する。クラスコード生成部５８は、予測次数選択部５５から入力された高次結合の次数と、ADRCパターン抽出部５７から入力されたクラスとを用いてクラスコードを生成し、ROMテーブル５９−１乃至５９−３（以下、特にROMテーブル５９−１乃至５９−３を個々に区別する必要がない場合、単にROMテーブル５９と記述する）に出力する。
【００７６】
ROMテーブル９においては、クラスコード生成部５８から入力されたクラスコードに対応する予測係数のセットが読み出され、１次予測部６０乃至３次予測部６２のうちの対応するものに供給される。すなわち、クラスコードは、ROMテーブル５９のアドレスに対応しており、そのアドレスに予め記憶されている予測係数のセットが読み出されて１次予測部６０乃至３次予測部６２のうちの対応するものに供給されるようになされている。なお、ROMテーブル５９−１乃至５９−３には、後述する学習装置（図１７）が生成した１次結合用の予測係数、２次結合用の予測係数、または３次結合用の予測係数が予め記録されている。
【００７７】
１次予測部６０は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−１から入力された予測係数との１次結合を演算して、その演算結果をＨＤ画像データとして出力する。２次予測部６１は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−２から入力された予測係数との２次結合を演算して、その演算結果をＨＤ画像データとして出力する。３次予測部６２は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−３から入力された予測係数との３次結合を演算して、その演算結果をＨＤ画像データとして出力する。なお、ここでは、例えば、図１６に示した注目画素ａを中心とする３×３個のＳＤ画素ａ乃至ｉの予測タップが用いられた場合、同図の注目画素ａを中心とする２×２個のＨＤ画素Ａ乃至Ｄの画素データが演算されるようになされている。
【００７８】
これらの出力された画像データは、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【００７９】
次に、その動作について説明する。領域切り出し部５１は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図２に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計５個の画素データをクラスタップとして切り出す。あるいは、図３に示すように、注目画素データに対応する画素データと、上下左右方向に３画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部５３の出力するぼけ量を表す特徴量に対応して決定される。領域切り出し部５２は、特徴量抽出部５３の出力するぼけ量を表す特徴量に対応して、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測次数切換部５６に出力する。例えば、図１６に示すように、注目画素ａを中心とする３×３のＳＤ画素ａ乃至ｉが切り出されて予測次数切換部５６に出力される。なお、この領域切り出し部５２において切り出される予測タップは、領域切り出し部５１において切り出されるクラスタップと同一にしてもよい。
【００８０】
近傍波形推定部５４は、図７に示すように、領域切り出し部５１から入力されたクラスタップの中の注目画素のレベルx[k]と、その両隣の画素のレベルx[k-1]，x[K+1]との差分ｄ０(=x[k]-x[k-1])，ｄ１(=x[k]-x[k+1])を演算して予測次数選択部５５に出力する。予測次数選択部５５は、差分ｄ０と差分ｄ１とを比較し、その結果が、図７(A)に示すように、ｄ０とｄ１が等しい場合、高次結合の次数を２次に選択し、図７(B)に示すように、ｄ０とｄ１の符号が異なり、その絶対値が等しい場合、高次結合の次数を１次に選択し、さらに、図７(C)に示すように、ｄ０とｄ１の絶対値が異なる場合、高次結合の次数を３次に選択して、選択した次数を予測次数切換部５６、およびクラスコード生成部５８に出力する。
【００８１】
予測次数切換部５６は、領域切り出し部５２から入力された予測タップを、１次予測部６０乃至３次予測部６２のうちの、予測次数選択部５５から入力された高次結合の次数に対応するものに出力する。
【００８２】
ADRCパターン抽出部５７は、領域切り出し部５１で切り出されたクラスタップに対してADRC処理を実行してクラス分類を行い、その情報をクラスコード生成部５８に出力する。クラスコード生成部５８は、ADRCパターン抽出部５７から入力された空間クラスを表すデータに、予測次数選択部５５より供給される高次結合の次数を表すビットを付加してクラスコードを生成する。例えば、高次結合の次数が２ビットで表されるとすると、１２ビットのクラスコードが発生され、ROMテーブル５９に出力される。
【００８３】
ROMテーブル５９においては、入力されたクラスコードに対応する予測係数のセットが読み出され、１次予測部６０乃至３次予測部６２のうちの対応するものに供給される。
【００８４】
１次予測部６０は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−１から入力された予測係数との１次結合を演算して、その演算結果をＨＤ画像データとして出力する。２次予測部６１は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−２から入力された予測係数との２次結合を演算して、その演算結果をＨＤ画像データとして出力する。３次予測部６２は、予測次数切換部５６から入力された予測タップと、ROMテーブル５９−３から入力された予測係数との３次結合を演算して、その演算結果をＨＤ画像データとして出力する。なお、１次予測部６０乃至３次予測部６２の構成および動作については、図８で説明したものと同様であるので、その説明は省略する。
【００８５】
この出力されたＨＤ画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【００８６】
図１７は、図１５のROMテーブル５９−１乃至５９−３に記憶されるクラス毎（クラスコード毎）の予測係数のセットを学習によって求める学習装置の構成例を示している。この構成例においては、例えば、高解像度のＨＤ画像データを教師信号（学習信号）として用い、クラス毎（クラスコード毎）の予測係数のセットを生成する構成が示されている。
【００８７】
例えば、教師信号（学習信号）として高解像度のＨＤ画像データが、予測次数切換部７６に入力されるとともに、間引き部７１に入力される。間引き部７１は、入力された教師信号（学習信号）としてのＨＤ画像データから、水平および垂直方向の解像度を低下させたＳＤ画像データを生成する。すなわち、間引き部７１は、例えば図１６に示すように、２×２個のＨＤ画素Ａ乃至Ｄの画素値を平均し、その値をＨＤ画素Ａ乃至Ｄの中心に位置するＳＤ画素ａの画像データ（学習信号）とする。
【００８８】
間引き部７１から出力された、ＳＤ画素の生徒信号（学習信号）は、ぼけ量を表す特徴量を抽出する特徴量抽出部７２、並びにクラスタップおよび予測タップとして所定の範囲の画像データを切り出す（抽出する）領域切り出し部７３に入力される。
【００８９】
特徴量抽出部７２は、入力されたＳＤ画素の生徒信号（学習信号）のぼけ量を表す特徴量を抽出し、その特徴量を領域切り出し部７３に供給する。領域切り出し部７３は、入力されたぼけ量を表す特徴量に対応して、クラスタップおよび予測タップとして切り出す画素データをダイナミックに変化させ、切り出したクラスタップおよび予測タップを近傍波形推定部７４、予測次数切換部７６、およびADRCパターン抽出部７７に出力する。
【００９０】
予測次数切換部７６は、高解像度の教師信号（学習信号）、および領域切り出し部７３から入力された予測タップを、予測次数選択部７５から入力される高次結合の次数に対応して１次予測正規方程式行列メモリ７９乃至３次予測正規方程式行列メモリ８１のうちのいずれかに供給する。
【００９１】
なお、近傍波形推定部７４乃至クラスコード生成部７８のそれぞれの構成および動作は、図１５に示された近傍波形推定部５４乃至クラスコード生成部５８と同様であるので、その説明は省略する。
【００９２】
１次予測正規方程式行列メモリ７９乃至３次予測正規方程式行列メモリ８１は、入力された教師信号（学習信号）と予測次数切換部７６から供給された予測タップとしての画素データとを、クラス毎（クラスコード毎）に予め記憶している正規方程式行列に代入し、その正規方程式行列を逆行列演算部８２に供給する。行列演算部８２は、供給された正規方程式行列を解き、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、ROMメモリ５９−１乃至５９−３に供給され、クラスコードに対応するアドレスに記憶される。
【００９３】
なお、本実施の形態においては、クラス毎の予測係数のセットを、図１４または図１７に示した構成によって演算して求めるようにしたが、コンピュータを用いてシミュレーションで演算して求めるようにしてもよい。
【００９４】
このように、本実施の形態によれば、画像の部分的な空間波形に対応して高次結合の次数を変化させるので、無駄な演算を行うことなく生成される画像の精度を高くすることができる。
【００９５】
また、本実施の形態においては、高次結合の次数として、１次乃至３次のうちのいずれかを用いるようにしたが、３次以上の高次結合を用いるようにしてもよい。
【００９６】
また、クラスタップまたは予測タップとして切り出される画素データの数は、上述した例に限らず、その数はいくつであってもよい。ただし、クラスタップまたは予測タップとして切り出す数を多くすればするほど画質改善の精度、または生成される高解像度画素の精度は高くなるが、演算量が多くなったり、メモリが大きくなったりするため、演算量、ハード面での負荷が大きくなるため、最適な数を設定する必要がある。
【００９７】
さらに、本実施の形態においては、ＳＤ画像信号からＳＤ画像信号への変換（ＳＤ−ＳＤ変換）、ＨＤ画像信号からＨＤ画像信号への変換（ＨＤ−ＨＤ変換）、およびＳＤ画像信号からＨＤ画像信号への変換（ＳＤ−ＨＤ変換）について記載されているが、本発明はこれに限らず、他のフォーマット（インターレース信号、ノンインターレース信号など）の変換にももちろん適用可能である。ただし、この場合、クラスタップまたは予測タップとして画像データを切り出す際には、注目画素データとなる画素は実際には存在しないため、切り出しの対象画素データとはならない。
【００９８】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えられる。したがって、本発明の要旨は本実施の形態に限定されるものではない。
【００９９】
また、上述したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【０１００】
【発明の効果】
以上のように、本発明の画像変換装置、画像変換方法、および記録媒体のプログラムによれば、入力された画像データの画質を効率よく補正することが可能となる。
【０１０１】
また、本発明の学習装置、学習換方法、および記録媒体のプログラムによれば、入力された画像データの画質を効率よく補正することが可能な予測係数を求めることができる。
【０１０２】
さらに、本発明の画像変換システムによれば、クラスコードに対応するアドレスに生成した予測係数を記憶し、クラスタップの空間波形を推定し、推定した空間波形に基づいて高次結合の次数を選択するようにしたので、入力された画像データの画質を効率よく補正することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像変換装置の第１の構成例を示すブロック図である。
【図２】図１の領域切り出し部１における切り出し処理を説明する図である。
【図３】図１の領域切り出し部１における切り出し処理を説明する図である。
【図４】図１の特徴量抽出部３における特徴量抽出処理を説明するフローチャートである。
【図５】図４のステップＳ１の自己相関係数を算出する処理を説明する図である。
【図６】図４のステップＳ１において算出される自己相関係数を説明する図である。
【図７】図１の近傍波形推定部４における近傍波形推定処理を説明する図である。
【図８】図１の３次予測部１２の詳細な構成例を示すブロック図である。
【図９】図１の特徴量抽出部３における他の特徴量抽出処理を説明するフローチャートである。
【図１０】図１の特徴量抽出部３における他の特徴量抽出の例を示す図である。
【図１１】図１の特徴量抽出部３における他の特徴量抽出の例を示す図である。
【図１２】図１の領域切り出し部１における切り出し処理を説明する図である。
【図１３】図１の領域切り出し部１における切り出し処理を説明する図である。
【図１４】本発明を適用した学習装置の構成例を示すブロック図である。
【図１５】本発明を適用した画像変換装置の第２の構成例を示すブロック図である。
【図１６】図１５の領域切り出し部５２における切り出し処理を説明する図である。
【図１７】本発明を適用した学習装置の他の構成例を示すブロック図である。
【符号の説明】
１，２ 領域切り出し部， ３ 特徴量抽出部， ４ 近傍波形推定部， ５予測次数選択部， ６ 予測次数切換部， ７ ADRCパターン抽出部， ８ クラスコード発生部， ９ ROMテーブル， １０ １次予測部， １１ ２次予測部， １２ ３次予測部， ２１ ２乗演算部， ２２ ３乗演算部， ２３乃至２５ 係数乗算部， ２６ 積和部， ２７ 積和部， ３１ LPF， ３２ 特徴量抽出部， ３３ 領域切り出し部， ３４ 近傍波形推定部， ３５ 予測次数選択部， ３６ 予測次数切換部， ３７ ADRCパターン抽出部，３８ クラスコード生成部， ３９ １次予測正規方程式行列メモリ， ４０２次予測正規方程式行列メモリ， ４１ ３次予測正規方程式行列メモリ， ４２ 逆行列演算部， ５１，５２ 領域切り出し部， ５３ 特徴量抽出部，５４ 近傍波形推定部， ５５ 予測次数選択部， ５６ 予測次数切換部，５７ ADRCパターン抽出部， ５８ クラスコード発生部， ５９ ROMテーブル， ６０ １次予測部， ６１ ２次予測部， ６２ ３次予測部， ７１間引き部， ７２ 特徴量抽出部， ７３ 領域切り出し部， ７４ 近傍波形推定部， ７５ 予測次数選択部， ７６ 予測次数切換部， ７７ ADRCパターン抽出部， ７８ クラスコード生成部， ７９ １次予測正規方程式行列メモリ， ８０ ２次予測正規方程式行列メモリ， ８１ ３次予測正規方程式行列メモリ， ８２ 逆行列演算部
Claims (10)
- 複数の画素データからなる第１の画像信号を、前記第１の画像信号よりも高質な、複数の画素データからなる第２の画像信号に変換する画像変換装置において、
前記第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、
出力された前記２つの差分値が等しい場合、前記第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、前記第１の画像信号から前記第２の画像信号を予測するために予め学習された予測係数との結合により前記注目画素に対応する前記第２の画像信号の予測画素を予測する予測演算における、前記予測タップの次数を２次に選択し、出力された前記２つの差分値の符号が異なり、それらの絶対値が等しい場合、前記予測タップの次数を１次に選択し、出力された前記２つの差分値の絶対値が異なる場合、前記予測タップの次数を３次に選択する選択手段と、
前記クラスタップとしての複数の画素データを符号化した符号化データに、前記選択手段により選択された次数を表すビットを付加して、前記注目画素に対応するクラスコードを生成する分類手段と、
前記予め学習された予測係数から、前記分類手段により生成されたクラスコードに対応する予測係数を発生する発生手段と、
前記予測タップと前記予測係数との前記選択手段により選択された次数の結合である予測演算を行うことにより、前記第２の画像信号の予測画素データを生成する生成手段と
を備えることを特徴とする画像変換装置。 - 前記第１の画像信号の画像のぼけの程度を表す特徴量として画素単位で自己相関係数を検出して、その検出結果に対応して画像のぼけの程度が大きいほど、前記クラスタップ抽出手段により抽出される前記クラスタップをより広い範囲から抽出するように抽出動作を制御する検出手段を
さらに備えることを特徴とする請求項１に記載の画像変換装置。 - 前記第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データを予測タップとして抽出する予測タップ抽出手段をさらに備え、
前記生成手段は、前記予測タップ抽出手段からの予測タップと、前記発生手段からの予測係数との、前記選択手段により選択された次数の結合である予測演算を行うことにより前記第２の画像信号の予測画素データを生成する
ことを特徴とする請求項１に記載の画像変換装置。 - 複数の画素データからなる第１の画像信号を、前記第１の画像信号よりも高質な、複数の画素データからなる第２の画像信号に変換する画像変換装置の画像変換方法において、
前記第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、
出力された前記２つの差分値が等しい場合、前記第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、前記第１の画像信号から前記第２の画像信号を予測するために予め学習された予測係数との結合により前記注目画素に対応する前記第２の画像信号の予測画素を予測する予測演算における、前記予測タップの次数を２次に選択し、出力された前記２つの差分値の符号が異なり、それらの絶対値が等しい場合、前記予測タップの次数を１次に選択し、出力された前記２つの差分値の絶対値が異なる場合、前記予測タップの次数を３次に選択する選択ステップと、
前記クラスタップとしての複数の画素データを符号化した符号化データに、前記選択ステップの処理で選択された次数を表すビットを付加して、前記注目画素に対応するクラスコードを生成する分類ステップと、
前記予め学習された予測係数から、前記分類手段により生成されたクラスコードに対応する予測係数を発生する発生ステップと、
前記予測タップと前記予測係数との前記選択ステップの処理で選択された次数の結合である予測演算を行うことにより、前記第２の画像信号の予測画素データを生成する生成ステップと
を含むことを特徴とする画像変換方法。 - 複数の画素データからなる第１の画像信号を、前記第１の画像信号よりも高質な、複数の画素データからなる第２の画像信号に変換する画像変換装置の制御用のプログラムであって、
前記第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、
出力された前記２つの差分値が等しい場合、前記第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、前記第１の画像信号から前記第２の画像信号を予測するために予め学習された予測係数との結合により前記注目画素に対応する前記第２の画像信号の予測画素を予測する予測演算における、前記予測タップの次数を２次に選択し、出力された前記２つの差分値の符号が異なり、それらの絶対値が等しい場合、前記予測タップの次数を１次に選択し、出力された前記２つの差分値の絶対値が異なる場合、前記予測タップの次数を３次に選択する選択ステップと、
前記クラスタップとしての複数の画素データを符号化した符号化データに、前記選択ステップの処理で選択された次数を表すビットを付加して、前記注目画素に対応するクラスコードを生成する分類ステップと、
前記予め学習された予測係数から、前記分類手段により生成されたクラスコードに対応する予測係数を発生する発生ステップと、
前記予測タップと前記予測係数との前記選択ステップの処理で選択された次数の結合である予測演算を行うことにより、前記第２の画像信号の予測画素データを生成する生成ステップと
を含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする、コンピュータ読み取り可能な記録媒体。 - 複数の画素データからなる第１の画像信号を、前記第１の画像信号よりも高質な、複数の画素データからなる第２の画像信号に変換するとき、前記第１の画像信号との高次結合に用いられる予測係数を生成する学習装置において、
学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、
出力された前記２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された前記２つの差分値の符号が異なり、それらの絶対値が等しい場合、前記高次結合の次数を１次に選択し、出力された前記２つの差分値の絶対値が異なる場合、前記高次結合の次数を３次に選択する選択手段と、
前記クラスタップとしての複数の画素データを符号化した符号化データに、前記選択手段により選択された次数を表すビットを付加して、前記注目画素に対応するクラスコードを生成する分類手段と、
前記分類手段によって、前記学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、前記学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、前記学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により前記注目画素に対応する前記学習用の第２の画像信号の予測画素を予測する関係式における前記予測係数を求めるために生成された行列式に対し、前記学習用の第１の画像信号および前記学習用の第２の画像信号を代入することにより正規方程式を生成し、前記正規方程式を解法することにより、前記予測係数を生成する生成手段と、
前記生成手段によって生成された予測係数を前記発生手段によって発生されたクラスコードに対応するアドレスに記憶する記憶手段と
を備えることを特徴とする学習装置。 - 前記第１の画像信号の画像のぼけの程度を表す特徴量として画素単位で自己相関係数を検出して、その検出結果に対応して画像のぼけの程度が大きいほど、前記クラスタップ抽出手段により抽出される前記クラスタップをより広い範囲から抽出するように抽出動作を制御する検出手段を
さらに備えることを特徴とする請求項６に記載の学習装置。 - 複数の画素データからなる第１の画像信号を、前記第１の画像信号よりも高質な、複数の画素データからなる第２の画像信号に変換するとき、前記第１の画像信号との高次結合に用いられる予測係数を生成する学習装置の学習方法において、
学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、
出力された前記２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された前記２つの差分値の符号が異なり、それらの絶対値が等しい場合、前記高次結合の次数を１次に選択し、出力された前記２つの差分値の絶対値が異なる場合、前記高次結合の次数を３次に選択する選択ステップと、
前記クラスタップとしての複数の画素データを符号化した符号化データに、前記選択ステップの処理で選択された次数を表すビットを付加して、前記注目画素に対応するクラスコードを生成する分類ステップと、
前記分類ステップの処理で、前記学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、前記学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、前記学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により前記注目画素に対応する前記学習用の第２の画像信号の予測画素を予測する関係式における前記予測係数を求めるために生成された行列式に対し、前記学習用の第１の画像信号および前記学習用の第２の画像信号を代入することにより正規方程式を生成し、前記正規方程式を解法することにより、前記予測係数を生成する生成ステップと、
前記生成ステップの処理で生成された予測係数を前記発生ステップの処理で発生されたクラスコードに対応するアドレスに記憶する記憶ステップと
を含むことを特徴とする学習方法。 - 複数の画素データからなる第１の画像信号を、前記第１の画像信号よりも高質な、複数の画素データからなる第２の画像信号に変換するとき、前記第１の画像信号との高次結合に用いられる予測係数を生成する学習装置の制御用のプログラムであって、
学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定ステップと、
出力された前記２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された前記２つの差分値の符号が異なり、それらの絶対値が等しい場合、前記高次結合の次数を１次に選択し、出力された前記２つの差分値の絶対値が異なる場合、前記高次結合の次数を３次に選択する選択ステップと、
前記クラスタップとしての複数の画素データを符号化した符号化データに、前記選択ステップの処理で選択された次数を表すビットを付加して、前記注目画素に対応するクラスコードを生成する分類ステップと、
前記分類ステップの処理で、前記学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、前記学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、前記学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により前記注目画素に対応する前記学習用の第２の画像信号の予測画素を予測する関係式における前記予測係数を求めるために生成された行列式に対し、前記学習用の第１の画像信号および前記学習用の第２の画像信号を代入することにより正規方程式を生成し、前記正規方程式を解法することにより、前記予測係数を生成する生成ステップと、
前記生成ステップの処理で生成された予測係数を前記発生ステップの処理で発生されたクラスコードに対応するアドレスに記憶する記憶ステップと
を含む処理を学習装置のコンピュータに実行させるプログラムが記録されていることを特徴とする、コンピュータ読み取り可能な記録媒体。 - 複数の画素データからなる第１の画像信号を、前記第１の画像信号よりも高質な、複数の画素データからなる第２の画像信号に変換するとき、前記第１の画像信号との高次結合に用いられる予測係数を生成する学習装置と、前記学習装置で生成された前記予測係数を用いて、前記第１の画像信号を前記第２の画像信号に変換する画像変換装置からなる画像変換システムにおいて、
前記学習装置は、
学習用の第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、
出力された前記２つの差分値が等しい場合、高次結合の次数を２次に選択し、出力された前記２つの差分値の符号が異なり、それらの絶対値が等しい場合、前記高次結合の次数を１次に選択し、出力された前記２つの差分値の絶対値が異なる場合、前記高次結合の次数を３次に選択する選択手段と、
前記クラスタップとしての複数の画素データを符号化した符号化データに、前記選択手段により選択された次数を表すビットを付加して、前記注目画素に対応するクラスコードを生成する分類手段と、
前記分類手段によって、前記学習用の第１の画像信号の中の注目画素に対応して生成されたクラスコード毎、前記学習用の第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、前記学習用の第１の画像信号に対応する学習用の第２の画像信号を予測するための予測係数との結合により前記注目画素に対応する前記学習用の第２の画像信号の予測画素を予測する関係式における前記予測係数を求めるために生成された行列式に対し、前記学習用の第１の画像信号および前記学習用の第２の画像信号を代入することにより正規方程式を生成し、前記正規方程式を解法することにより、前記予測係数を生成する生成手段と、
前記生成手段によって生成された予測係数を前記発生手段によって発生されたクラスコードに対応するアドレスに記憶する記憶手段とを備え、
前記画像変換装置は、
前記第１の画像信号の中の注目画素の画素データと、その周辺に位置する周辺画素の画素データとからなる複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップ内の注目画素と、その両隣の各画素とのレベルの差分である２つの差分値を出力する推定手段と、
出力された前記２つの差分値が等しい場合、前記第１の画像信号の中の注目画素の画素データとその周辺に位置する周辺画素の画素データとからなる複数の画素データとしての予測タップと、前記第１の画像信号から前記第２の画像信号を予測するために予め学習された予測係数との結合により前記注目画素に対応する前記第２の画像信号の予測画素を予測する予測演算における、前記予測タップの次数を２次に選択し、出力された前記２つの差分値の符号が異なり、それらの絶対値が等しい場合、前記予測タップの次数を１次に選択し、出力された前記２つの差分値の絶対値が異なる場合、前記予測タップの次数を３次に選択する選択手段と、
前記クラスタップとしての複数の画素データを符号化した符号化データに、前記選択手段により選択された次数を表すビットを付加して、前記注目画素に対応するクラスコードを生成する分類手段と、
前記予め学習された予測係数から、前記分類手段により生成されたクラスコードに対応する予測係数を発生する発生手段と、
前記予測タップと前記予測係数との前記選択手段により選択された次数の結合である予測演算を行うことにより、前記第２の画像信号の予測画素データを生成する生成手段とを備える
ことを特徴とする画像変換システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25787998A JP4131303B2 (ja) | 1998-09-11 | 1998-09-11 | 画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25787998A JP4131303B2 (ja) | 1998-09-11 | 1998-09-11 | 画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000092456A JP2000092456A (ja) | 2000-03-31 |
| JP4131303B2 true JP4131303B2 (ja) | 2008-08-13 |
Family
ID=17312461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25787998A Expired - Fee Related JP4131303B2 (ja) | 1998-09-11 | 1998-09-11 | 画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4131303B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4645866B2 (ja) * | 2000-08-02 | 2011-03-09 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP4645868B2 (ja) * | 2000-08-02 | 2011-03-09 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP4872862B2 (ja) * | 2006-09-28 | 2012-02-08 | ソニー株式会社 | 画像データ演算装置および方法、プログラム、並びに記録媒体 |
| JP5130171B2 (ja) * | 2008-09-22 | 2013-01-30 | 株式会社日立製作所 | 画像信号処理装置および画像信号処理方法 |
-
1998
- 1998-09-11 JP JP25787998A patent/JP4131303B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000092456A (ja) | 2000-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5490287B2 (ja) | エッジ領域を効果的に圧縮して復元する方法及び装置 | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| WO1998051072A1 (en) | Image converter and image conversion method | |
| EP1420585B1 (en) | Picture information converting apparatus and method thereof | |
| CN101001351A (zh) | 帧速率转换器 | |
| JP4131303B2 (ja) | 画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体 | |
| JPH0787481A (ja) | 異常検出装置 | |
| KR100968987B1 (ko) | 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 기록 매체 | |
| JP2002300538A (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する種係数データの生成装置および生成方法、並びに情報提供媒体 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP4035895B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP4139979B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP4062771B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP3890638B2 (ja) | 画像情報変換装置および方法 | |
| JP4300603B2 (ja) | 画像情報変換装置および方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP2004228438A (ja) | 集積回路および情報信号処理装置 | |
| JP4457276B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| CN100521741C (zh) | 图像处理装置和图像处理方法 | |
| JP4337186B2 (ja) | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 | |
| JP4441860B2 (ja) | 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP3826434B2 (ja) | 信号変換装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080501 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080514 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110606 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120606 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130606 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |