JP4139979B2 - 画像変換装置および方法、並びに記録媒体 - Google Patents
画像変換装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4139979B2 JP4139979B2 JP23250198A JP23250198A JP4139979B2 JP 4139979 B2 JP4139979 B2 JP 4139979B2 JP 23250198 A JP23250198 A JP 23250198A JP 23250198 A JP23250198 A JP 23250198A JP 4139979 B2 JP4139979 B2 JP 4139979B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- prediction
- image
- tap
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像変換装置および方法、並びに記録媒体に関し、特に、入力された画像信号を同一フォーマットもしくは異なるフォーマットの画像信号に変換する際に、入力された画像データの画質が悪くとも、確実に画質が補正されたもしくは画質が改善された画像信号を提供できるようにした画像変換装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本出願人は、例えば、特開平８−５１５９９号として、より高解像度の画素データを得ることができるようにする技術を提案している。この提案においては、例えばＳＤ(Standard Definition)画素データからなる画像データからＨＤ(High Definition)画素データからなる画像データを創造する場合、創造するＨＤ画素データの近傍に位置するＳＤ画素データを用いてクラス分類を行い（クラスを決定し）、それぞれのクラス毎に、予測係数値を学習させておき、画像静止部においては、フレーム内相関を利用し、動き部においては、フィールド内相関を利用して、より真値に近いＨＤ画素データを得るようにしている。
【０００３】
【発明が解決しようとする課題】
ところで、この技術を用いて、例えば、非常に画質の悪い（画像のぼけた）画像を良好な画質の画像に補正することができる。しかしながら、非常に画質が悪い画像データの場合、この非常に画質が悪い画像データを用いてクラス分類を行うと、適切なクラス分類を行うことができず、適切なクラスを決定することができない。適切なクラスを求めることができないと、適切な予測係数値のセットを得ることができず、結局、充分な画質の補正を行うことができない課題があった。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、入力された画像データの画質が悪くとも、確実に画質を補正することができるようした画像変換装置および方法を提供するものである。
【０００５】
【課題を解決するための手段】
本発明の画像変換装置は、第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と注目画素の近傍に位置する複数の画素を、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出手段と、クラスタップを構成する複数の画素に応じて、クラスタップをクラス分類することにより、注目画素の特徴を表すクラスコードを発生するクラス分類手段と、画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段と、クラスコードに対応する予測係数を記憶手段から読み出すことにより発生する発生手段と、第１の画像信号を構成する複数の画素のうち、注目画素の近傍に位置する複数の画素を、第２の画像信号の画素を生成するための予測タップとして抽出する予測タップ抽出手段と、予測係数と前記予測タップを構成する各画素との積である１次の項から、予測係数と予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、第２の画像信号の画素を生成する生成手段とを備えることを特徴とする。
【０００６】
本発明の画像変換方法は、第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と注目画素の近傍に位置する複数の画素を、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップを構成する複数の画素に応じて、クラスタップをクラス分類することにより、注目画素の特徴を表すクラスコードを発生するクラス分類ステップと、画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段から、クラスコードに対応する予測係数を読み出すことにより発生する発生ステップと、第１の画像信号を構成する複数の画素のうち、注目画素の近傍に位置する複数の画素を、第２の画像信号の画素を生成するための予測タップとして抽出する予測タップ抽出ステップと、予測係数と前記予測タップを構成する各画素との積である１次の項から、予測係数と予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、第２の画像信号の画素を生成する生成ステップとを含むことを特徴とする。
【０００７】
本発明の記録媒体は、第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と注目画素の近傍に位置する複数の画素を、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップを構成する複数の画素に応じて、クラスタップをクラス分類することにより、注目画素の特徴を表すクラスコードを発生するクラス分類ステップと、画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段から、クラスコードに対応する予測係数を読み出すことにより発生する発生ステップと、第１の画像信号を構成する複数の画素のうち、注目画素の近傍に位置する複数の画素を、第２の画像信号の画素を生成するための予測タップとして抽出する予測タップ抽出ステップと、予測係数と前記予測タップを構成する各画素との積である１次の項から、予測係数と予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、第２の画像信号の画素を生成する生成ステップとを含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【０００８】
本発明の画像変換装置および方法、並びに記録媒体のプログラムにおいては、第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と注目画素の近傍に位置する複数の画素が、クラスコードを生成するためのクラスタップとして抽出され、クラスタップを構成する複数の画素に応じて、クラスタップをクラス分類することにより、注目画素の特徴を表すクラスコードが発生され、画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段から、クラスコードに対応する予測係数が読み出されることにより発生される。さらに、第１の画像信号を構成する複数の画素のうち、注目画素の近傍に位置する複数の画素が、第２の画像信号の画素を生成す・るための予測タップとして抽出され、予測係数と前記予測タップを構成する各画素との積である１次の項から、予測係数と予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、第２の画像信号の画素が生成される。
【０００９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。
【００１０】
請求項１に記載の画像変換装置は、第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と注目画素の近傍に位置する複数の画素を、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出手段（例えば、図１の領域切り出し部１）と、クラスタップを構成する複数の画素に応じて、クラスタップをクラス分類することにより、注目画素の特徴を表すクラスコードを発生するクラス分類手段（例えば、図１のADRCパターン抽出部４）と、画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段（例えば、図１のADRCパターン抽出部４が内蔵するROMテーブル）と、クラスコードに対応する予測係数を記憶手段から読み出すことにより発生する発生手段（例えば、図１のADRCパターン抽出部４）と、第１の画像信号を構成する複数の画素のうち、注目画素の近傍に位置する複数の画素を、第２の画像信号の画素を生成するための予測タップとして抽出する予測タップ抽出手段（例えば、図１の領域切り出し部２）と、予測係数と前記予測タップを構成する各画素との積である１次の項から、予測係数と予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、第２の画像信号の画素を生成する生成手段（例えば、図１の予測演算部５）とを備える。
【００１１】
請求項２に記載の画像変換装置は、第１の画像信号の画像のぼけの程度を表す特徴量を検出し、ぼけの程度が大きい場合、クラスタップ抽出手段に対してクラスタップのサイズを大きくするように制御し、ぼけの程度が小さい場合、クラスタップ抽出手段に対してクラスタップのサイズを小さくするように制御する検出手段（例えば、図１の特徴量抽出部３）をさらに備える。
【００１３】
但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１４】
以下に、本発明の実施の形態について説明する。図１は、本発明を適用した画像変換装置の第１の構成例を示すブロック図である。同図には、例えば画質の悪い（ぼけた画像の）ＳＤ画像データ（または、ＨＤ画像データ）を、画質改善されたＳＤ画像データ（または、ＨＤ画像データ）に変換する構成例が示されている。以下においては、入力画像データがＳＤ画像データである場合について説明する。
【００１５】
例えば、画質の悪い（ぼけた画像の）ＳＤ画像データが、入力端子を介して画像変換装置に入力される。入力された画像データは、領域切り出し部１、領域切り出し部２、および特徴量抽出部３に供給される。特徴量抽出部３は、入力されたＳＤ画像データのぼけ量を表す特徴量を検出し、その検出した特徴量を領域切り出し部１、領域切り出し部２、およびADRC(Adaptive Dynamic Range Coding)パターン抽出部４に出力する。領域切り出し部１は、入力された画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これをADRCパターン抽出部４に出力する。領域切り出し部１において切り出されるクラスタップは、特徴量抽出部３の出力する特徴量に対応して制御される。ADRCパターン抽出部４は、空間内の波形表現を目的としたクラス分類を行い、そのクラスおよび特徴量抽出部３から出力された特徴量に対応するクラスコードを発生する。さらに、ADRCパターン抽出部４は、内蔵するROMテーブルが記憶している予測係数のセットのうちの発生したクラスコードに対応するものを予測演算部５に出力するようになされている。
【００１６】
領域切り出し部２は、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測演算部５に出力する。この領域切り出し部２により切り出される予測タップのセットは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して制御される。予測演算部５は、領域切り出し部２より入力された予測タップのセットと、ADRCパターン抽出部４より入力された予測係数のセットとから予測演算を行い、その演算結果を、画質を補正した画像データとして出力する。この出力された画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【００１７】
次に、その動作について説明する。領域切り出し部１は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図２に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計５個の画素データをクラスタップとして切り出す。あるいは、図３に示すように、注目画素データに対応する画素データと、上下左右方向に３画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して決定される。
【００１８】
ここで、図４のフローチャートを参照して、特徴量抽出部３の特徴量抽出処理について説明する。最初にステップＳ１において、特徴量抽出部３は、入力された各画素データに対するフレーム毎の自己相関係数を算出する。そして、この自己相関係数を画素データのぼけ量を表す特徴量の尺度に利用する。すなわち、図５に示すように、１フレームの画像データが７２０画素×４８０画素の画素データで構成されているものとすると、所定の注目画素に対してその注目画素を中心として、７２０画素×４８０画素の画素データのうちの５１２画素×２５６画素の画素データからなるブロック（以下、このブロックを、適宜、基準ブロックと呼ぶ）を構成し、その基準ブロックの位置を画素単位で所定の範囲内を上下左右方向に移動させ、移動させたときのそれぞれの位置に対応する自己相関係数を算出する。
【００１９】
例えば、所定の注目画素データを中心とした基準ブロック内の各画素値をＸij（ｉ＝０，１，２，・・・，ｎ、ｊ＝０，１，２，・・・，ｍ）、基準ブロック内の画素値の平均値をＸav、基準ブロックが移動された位置に対応するブロック内の各画素値をＹij（ｉ＝０，１，２，・・・，ｎ、ｊ＝０，１，２，・・・，ｍ）、そのブロック内の画素値の平均値をＹavとすると、基準ブロックを移動させたときのその位置に対応する自己相関係数は、次式で表される。
【数１】
【００２０】
なお、上述したように、本実施の形態では、基準ブロックが５１２画素×２５６画素の画素データから構成されているため、ｎ＝５１１、ｍ＝２５５の値である。このようにして、所定の範囲内を基準ブロックをシフトしてそれぞれの位置に対応する自己相関係数を得ることができる。
【００２１】
図６は、このようにして求められた自己相関係数の例を表している。ブロック（基準ブロック）をシフトしないとき、自己相関係数は１である。これに対して、フレームＦ１の場合、例えば、ブロック（基準ブロック）を右方向に３画素分シフトしたとき、自己相関係数は０．８５に低下し、さらに、シフト量を増加させるに従って、自己相関係数は、より小さい値に低下する。このことは、ブロック（基準ブロック）を左方向にシフトした場合にも同様である。
【００２２】
一方、フレームＦ２においては、ブロック（基準ブロック）を１画素分右または左方向にシフトしたとき、自己相関係数が０．８５に低下し、それ以上シフトすると、自己相関係数はさらに低下する。このことは、フレームＦ１は、フレームＦ２に比べて、周囲との自己相関が強い、つまり、フレームＦ１は、フレームＦ２に比べてぼけ量が大きいことを意味している。
【００２３】
特徴量抽出部３は、ステップＳ２において、自己相関係数が所定の基準値（例えば、０．８５）となる画素シフト量を求め、ステップＳ３で、その画素シフト量を、ぼけ量を表す特徴量として出力する。つまり、所定の範囲内で、基準ブロックをシフトしたときの、それぞれの位置に対応する自己相関係数と基準値を比較することにより、自己相関係数が基準値となる画素シフト量を求める。図６の例の場合、入力された画素データがフレームＦ１の画素データである場合、特徴量は３とされ、入力された画素データがフレームＦ２の画素データである場合、特徴量は１とされる。
【００２４】
領域切り出し部１は、特徴量抽出部３から、特徴量１が入力されたとき、例えば、図２に示すように、狭い間隔内に配置された画素データをクラスタップとして切り出す（抽出する）。これに対して、特徴量３が入力されたとき、領域切り出し部１は、図３に示すように、より広い間隔で配置されている画素データをクラスタップとして切り出す（抽出する）。
【００２５】
図６に示すように、特徴量が１である画像（フレームＦ２）は、強い自己相関を有する画素データの範囲が狭くなっている。そこで、図２に示すように、クラスタップを構成する画素データとしても狭い範囲に配置されているものを選択する。これに対して、特徴量が３である画像（フレームＦ１）の場合、強い自己相関を有する範囲がより広くなっている。そこで、図３に示すように、クラスタップを構成する画素データも、より広い範囲から切り出すようにする。このように、ぼけ量を表す特徴量に応じて、クラスタップとして切り出す画素データをダイナミックに変化させるようにすることで、より適切なクラスタップを切り出すことが可能となる。
【００２６】
図示は省略するが、領域切り出し部２における予測タップも、領域切り出し部１におけるクラスタップの切り出しと同様に、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して、予測タップとして切り出す画素データをダイナミックに変化させる。なお、この領域切り出し部２において切り出される予測タップ（画素データ）は、領域切り出し部１において切り出されるクラスタップ（画素データ）と同一にしてもよいし、異なるものとしてもよい。
【００２７】
ADRCパターン抽出部４は、領域切り出し部１で切り出されたクラスタップに対してADRC処理を実行してクラス分類を行う（クラスを決定する）。すなわち、クラスタップとして抽出された５つの画素データ内のダイナミックレンジをＤＲ、ビット割当をｎ、クラスタップとしての各画素データのレベルをＬ、再量子化コードをＱとするとき、次式を演算する。
Ｑ＝｛（Ｌ−MIN＋０．５）×２n／ＤＲ｝
ＤＲ＝MAX−MIN＋１
【００２８】
なお、ここで｛ ｝は切り捨て処理を意味する。また、MAXとMINは、クラスタップを構成する５つの画素データ内の最大値と最小値をそれぞれ表している。これにより、例えば領域切り出し部１で切り出されたクラスタップを構成する５個の画素データが、それぞれ例えば８ビット（ｎ＝８）で構成されているとすると、これらのそれぞれが２ビットに圧縮される。従って、空間クラスを表すデータは合計１０ビットで表される。
【００２９】
さらに、ADRCパターン抽出部４は、空間クラスを表すデータに、特徴量抽出部３より供給されるぼけ量を表す特徴量を表すビットを付加してクラスコードを発生する。例えば、ぼけ量を表す特徴量が２ビットで表されるとすると、１２ビットのクラスコードが発生され、ADRCパターン抽出部４が内蔵するROMテーブルから、このクラスコードに対応する予測係数のセットが読み出され、予測演算部５に供給される。すなわち、クラスコードは、ROMテーブルのアドレスに対応しており、そのアドレスに記憶されている予測係数のセットが読み出されて予測演算部５に供給される。
【００３０】
ここで、予測係数のセットについて説明する。従来において、予測係数は、例えば、予測係数ω1乃至ωnのように、その次数が１であり、次式（１）に示す積和演算により、画質（ぼけ）が補正された画素データとなる予測結果ｙが演算されていた。
ｙ＝ω1ｘ1＋ω2ｘ2＋・・・＋ωnｘn ・・・（１）
【００３１】
しかしながら、上述したような線形１次結合に予測演算では、高精度の予測が行えない、そこで本実施の形態においては、予測係数の次数を上げて、予測演算をＮ次結合（Ｎは、２以上の数）により実施することとした。
【００３２】
例えば、予測演算を線形２次式により行う場合について説明する。実測値（予測タップ）をｘiとし、実測値の１次の予測係数をａiとし、実測値の２次の予測係数をｂiとすると、最確値ｙmは次式（２）によって表される。
【数２】
【００３３】
なお、真値をｙtとし、誤差をｅとすれば、最小自乗法の誤差方程式は、次式（３）のように表すことができる。
【数３】
【００３４】
式（２）から明らかなように、係数ａi，ｂiは、最確値ｙmを与える係数であるので、その係数ａi，ｂiは、誤差を示す式（３）の値を最小値とするはずである。式（３）の値を最小とする係数ａi，ｂiを求めるには、次式（４）に示すように、式（３）を係数ａi，ｂiで偏微分した式が０となる係数ａi，ｂiでを求めればよい。ただし、Ｄは式（３）の最右辺である。
【数４】
【００３５】
式（４）を係数ａi，ｂiで整理し、行列で表現すれば、次式（５）に示すようになる。
【数５】
【００３６】
さらに、式（５）の左辺の２Ｎ×２Ｎの行列の逆行列を演算して、式（５）の両辺に左から乗ずれば、実測値の１次の予測係数ａi、および実測値の２次の予測係数ｂiが求められる。なお、２次以上のＮ次結合により予測演算を行う場合も、その予測係数の演算は同様にして行うことができる。
【００３７】
図７は、領域切り出し部２から供給された予測タップを構成する画素データがＷ個であり、Ｎ次結合により予測演算を行う場合の予測演算部５の詳細な構成を示している。入力信号として領域切り出し部２から供給される画素データは、最初のタイミングにおいて、係数乗算部１１−１−１、２乗演算部１２−１乃至Ｎ乗演算部１３−１、および遅延部１６−１に供給される。２乗演算部１２−１乃至Ｎ乗演算部１３−１は、それぞれ供給された画素データを乗算して、対応する係数乗算部１１−２−１乃至１１−Ｎ−１に出力する。一方、ADRCパターン抽出部４から、係数乗算部１１−１−１、および２乗演算部１２−１乃至Ｎ乗演算部１３−１にそれぞれに対応する予測係数が供給される。
【００３８】
係数乗算部１１−１−１、および２乗演算部１２−１乃至Ｎ乗演算部１３−１のそれぞれは、乗算された画素データと予測係数を掛けあわせて積和部１４−１−１に出力する。積和部１４−１−１は、係数乗算部１１−１−１、および２乗演算部１２−１乃至Ｎ乗演算部１３−１のそれぞれから入力された演算結果を足し合わせ、予測出力１乃至Ｍとして積和部１７に出力する。
【００３９】
次のタイミングにおいて、遅延部１６−１は、最初のタイミングで供給された画素データを後段に出力する。その後段においては、以後１タイミングずつ遅延して上述した処理と同様の処理が行われる。
【００４０】
積和部１７は、積和部１４−１乃至１４−Ｍから入力された予測出力１乃至Ｍを足し合わせて、画質（ぼけ）が補正された画素データとなる予測結果を出力する。
【００４１】
図８は、特徴量抽出部３における他の特徴量抽出処理の例を表している。この例においては、ステップＳ１１において、所定の注目画素の近傍のエッジが検出される。ステップＳ１２において、検出したエッジに対応するエッジコードが特徴量として出力される。例えば、図９に示すように、右上から左下方向に、斜めのエッジが検出された場合、特徴量抽出部３は、エッジコード０を出力し、図１０に示すように、水平方向のエッジが検出された場合、エッジコード１を出力する。
【００４２】
領域切り出し部１は、特徴量抽出部３より、図９に示すエッジコード０が入力されたとき、図１１に示すような画素データをクラスタップとして切り出す（抽出する）。このクラスタップは、右上から左下方向に延在するエッジを検出するのに最適な画素データで構成されている。これに対して、領域切り出し部１は、図１０に示すようなエッジコード１が入力されたとき、図１２に示すような画素データをクラスタップとして切り出す（抽出する）。このクラスタップは、水平方向のエッジを検出するのに最適な画素データで構成される。領域切り出し部２においても同様に、エッジコードに対応して予測タップを構成する画素データの切り出し（抽出）処理が実行される。
【００４３】
このように、入力された画素データの自己相関、エッジといった特徴量に対応して切り出すクラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させることができるので、より適切な予測演算結果を得ることが可能となる。
【００４４】
図１３は、ACRDパターン抽出部４に内蔵するROMテーブルに記憶するクラス毎（クラスコード毎）の予測係数のセットを学習によって得るための構成例を表している。この構成例においては、例えば、画質の良好な教師信号（学習信号）としてのＳＤ画像データ（または、ＨＤ画像データ）を用いてクラス毎（クラスコード毎）の予測係数のセットを生成する構成が示されている。
【００４５】
例えば、画質の良好な教師信号（学習信号）としての画像データが、正規方程式演算部２７に入力されるとともに、ローパスフィルタ(LPF)２１に入力される。ローパスフィルタ２１は、入力された教師信号（学習信号）としての画像データの高域成分を除去することで、画質の劣化した画像データ（学習信号）を生成する。ローパスフィルタ２１から出力された、画質の劣化した画像データ（学習信号）は、クラスタップとして所定の範囲の画像データを切り出す（抽出する）領域切り出し部２２、予測タップとして所定の範囲の画像データを切り出す（抽出する）領域切り出し部２３、および、ぼけ量を表す特徴量を抽出する特徴量抽出部２４に入力される。特徴量抽出部２４は、入力された画質の劣化した画像データ（学習信号）の画素データのぼけ量を表す特徴量を抽出し、抽出したその特徴量を、領域切り出し部２２、領域切り出し部２３、およびADRCパターン抽出部２５に供給する。領域切り出し部２２と、領域切り出し部２３は、入力されたぼけ量を表す特徴量に対応して、クラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させる。
【００４６】
ADRCパターン抽出部２５は、領域切り出し部２２より入力されたクラスタップとしての画素データのクラス分類を行い（クラスを決定し）、そのクラスとぼけ量を表す特徴量とからクラスコードを発生し、正規方程式演算部２７に出力する。なお、上述した領域切り出し部２２、領域切り出し部２３、特徴量抽出部２４、およびADRCパターン抽出部２５のそれぞれの構成および動作は、図１に示された領域切り出し部１、領域切り出し部２、特徴量抽出部３、およびADRCパターン抽出部４と同一であるため、ここでは説明を省略する。
【００４７】
正規方程式演算部２７は、入力される教師信号（学習信号）と領域切り出し部２３から供給される予測タップとしての画素データとから、クラス毎（クラスコード毎）に正規方程式を生成し、その正規方程式を予測係数決定部２８に供給する。そして、クラス毎に必要な数の正規方程式が求められたとき、正規方程式演算部２７は、例えば、クラス毎に最小自乗法を用いて正規方程式を解き、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、予測係数決定部２８からメモリ２９に供給され、記憶される。このメモリ２９に記憶されたクラス毎の予測係数のセットが、図１のADRCパターン抽出部４に内蔵されるROMテーブルに書き込まれることになる。
【００４８】
図１４は、本発明を適用した画像変換装置の第２の構成例を示している。この画像変換装置は、例えば図１５に示すように、低解像度のＳＤ画像データを、水平および垂直方向の解像度がそれぞれ２倍であるＨＤ画像データに変換するものである。この画像変換装置には、入力端子を介してＳＤ画像データが入力されて領域切り出し部４１、領域切り出し部４２、および特徴量抽出部４３に供給される。特徴量抽出部４３は、入力されたＳＤ画像の特徴量を抽出し、その特徴量を領域切り出し部４１、領域切り出し部４２、およびADRCパターン抽出部４４に出力するようになされている。
【００４９】
領域切り出し部４１は、入力されたＳＤ画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これをADRCパターン抽出部４４に出力する。領域切り出し部４１において切り出されるクラスタップは、特徴量抽出部４３の出力する特徴量に対応して制御される。ADRCパターン抽出部４４は、空間内の波形表現を目的としたクラス分類を行い、そのクラスおよび特徴量抽出部４３から出力された特徴量に対応するクラスコードを発生する。さらに、ADRCパターン抽出部４４は、内蔵するROMテーブルが記憶している予測係数のセットのうちの発生したクラスコードに対応するものを予測演算部４５に出力するようになされている。
【００５０】
領域切り出し部４２は、入力されたＳＤ画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測演算部４５に出力する。この領域切り出し部４２により切り出される予測タップのセットは、特徴量抽出部４３の出力する特徴量に対応して制御される。予測演算部４５は、領域切り出し部４２より入力された予測タップのセットと、ADRCパターン抽出部４４より入力された予測係数のセットとから予測演算を行い、その演算結果を、画質を補正した画像データとして出力する。この出力された画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送されるようになされている。
【００５１】
次に、その動作について説明する。領域切り出し部４１は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図２に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計５個の画素データをクラスタップとして切り出す。あるいは、図３に示すように、注目画素データに対応する画素データと、上下左右方向に３画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部４３の出力する特徴量に対応して決定される。なお、特徴量抽出部４３の特徴量抽出処理は、図４で説明した特徴量抽出処理と同様であるので、その説明を省略する。
【００５２】
ADRCパターン抽出部４４は、領域切り出し部４１で切り出されたクラスタップに対してADRC処理を実行してクラス分類を行う。そして、ADRCパターン抽出部４４は、分類したクラスに対応するクラスコードを発生する。さらに、ADRCパターン抽出部４４は、内蔵するROMテーブルから、このクラスコードに対応する４組の予測係数のセットを読み出し、予測演算部４５に供給する。すなわち、クラスコードは、ROMテーブルのアドレスに対応しており、そのアドレスに記憶されている予測係数のセットが読み出されて予測演算部４５に供給される。
【００５３】
領域切り出し部４１およびADRCパターン抽出部４４の処理に平行して、領域切り出し部４２は、入力された画像データの中から、特徴量抽出部４３の出力する特徴量に対応して、所定の画素データを予測タップとして切り出す処理を実行する。例えば、図１５に示すように、注目画素ａを中心とする３×３のＳＤ画素ａ乃至ｉを切り出して予測演算部４５に出力する。なお、この領域切り出し部４２において切り出される予測タップは、領域切り出し部４１において切り出されるクラスタップと同一にしてもよい。
【００５４】
予測演算部４５は、領域切り出し部４２より入力された予測タップのセットと、ADRCパターン抽出部４４より入力された予測係数のセットとから予測演算を行い、その演算結果を、ＨＤ画像データとして出力する。このとき、予測演算部４５では、上述した予測演算部５による予測演算と同様に、例えば、式（２）を用いて予測演算が行われる。ただし、式（２）における実測値（予測タップ）ｘiはＳＤ画素データａ乃至ｉであり、最確値ｙmは、注目画素ａの近傍のＨＤ画素データである。すなわち、図１５に示した３×３のＳＤ画素ａ乃至ｉの予測タップを用いて、同図の注目画素ａを中心とする２×２のＨＤ画素Ａ乃至Ｄの画素データが予測される。したがって、このとき、予測演算部４５には、ADRCパターン抽出部４４から４組の予測係数のセットが供給される。なお、予測演算部４５の予測演算の詳細については、図７で説明した演算と同様であるので、その説明は省略する。
【００５５】
この出力されたＨＤ画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【００５６】
図１６は、ACRDパターン抽出部４４に内蔵するROMテーブルに記憶するクラス毎（クラスコード毎）の予測係数のセットを学習によって得るための構成例を表している。この構成例においては、例えば、高解像度のＨＤ画像データを教師信号（学習信号）として用い、クラス毎（クラスコード毎）の予測係数のセットを生成する構成が示されている。
【００５７】
例えば、教師信号（学習信号）として高解像度のＨＤ画像データが、正規方程式演算部５６に入力されるとともに、間引き部５１に入力される。間引き部５１は、入力された教師信号（学習信号）としてのＨＤ画像データを、水平および垂直方向の解像度を低下させたＳＤ画像データを生成する。すなわち、間引き部５１は、例えば図１５に示すように、２×２のＨＤ画素Ａ乃至Ｄの画素値を平均し、ＨＤ画素Ａ乃至Ｄの中心に位置する画素ａの画像データ（学習信号）を生成することにより、低解像度のＳＤ画像データを生成する。
【００５８】
間引き部５１から出力されたＳＤ画像データ（学習信号）は、クラスタップとして所定の範囲のＳＤ画像データを切り出す領域切り出し部５２、予測タップとして所定の範囲のＳＤ画像データを切り出す領域切り出し部５３、および、特徴量を抽出する特徴量抽出部５４に入力される。特徴量抽出部５４は、入力されたＳＤ画像データ（学習信号）の特徴量を抽出し、抽出した特徴量を、領域切り出し部５２、領域切り出し部５３、およびADRCパターン抽出部５５に供給する。領域切り出し部５２および領域切り出し部５３は、それぞれ入力された特徴量に対応して、クラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させる。
【００５９】
ADRCパターン抽出部５５は、領域切り出し部５２より入力されたクラスタップとしてのＳＤ画像データのクラス分類を行い（クラスを決定し）、そのクラスと特徴量とからクラスコードを発生し、正規方程式演算部５６に出力する。なお、上述した領域切り出し部５２、領域切り出し部５３、特徴量抽出部５４、およびADRCパターン抽出部５５のそれぞれの構成および動作は、図１４に示した領域切り出し部４１、領域切り出し部４２、特徴量抽出部４３、およびADRCパターン抽出部４４と同一であるので、その説明を省略する。
【００６０】
正規方程式演算部５６は、入力される教師信号（学習信号）としてのＨＤ画像データと領域切り出し部５３から供給される予測タップとしてのＳＤ画像データとから、クラス毎（クラスコード毎）に正規方程式を生成し、その正規方程式を予測係数決定部５７に供給する。そして、クラス毎に必要な数の正規方程式が求められたとき、正規方程式演算部５６は、例えば、クラス毎に最小自乗法を用いて正規方程式を解き、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、予測係数決定部５７からメモリ５８に供給され、記憶される。このメモリ５８に記憶されたクラス毎の予測係数のセットが、図１４のADRCパターン抽出部４４に内蔵されるROMテーブルに書き込まれることになる。
【００６１】
なお、本実施の形態においては、クラス毎の予測係数のセットを、図１３または図１６に示した構成によって演算して求めるようにしたが、コンピュータを用いてシュミレーションで演算して求めるようにしてもよい。
【００６２】
また、本実施の形態においては、図１、または図１４に示されるADRCパターン抽出部４、またはADRCパターン抽出部４４に内蔵されるROMテーブルに記憶された、図１３、または図１６に示した方法で演算されたクラス毎の予測係数のセットと、予測タップとして切り出された画素データとから、画質改善、または高解像度化された画素データを生成するようになされているが、本発明はこれに限らず、ROMテーブルに学習によって演算されたクラス毎（クラスコード毎）の画素データの予測値そのものを記憶しておき、クラスコードによってその予測値を読み出すようにしてもよい。
【００６３】
この場合、図１に示される領域切り出し部２、図１３に示される領域切り出し部２３、図１４に示される領域切り出し部４２、および図１６に示される領域切り出し部５３は省略でき、図１に示される予測演算部５および図１４に示される予測演算部４５は、ROMテーブルから出力された画素データを出力デバイスに対応したフォーマットに変換して出力するようになされる。さらに、この場合は、図１３に示される正規方程式演算部２７および予測係数決定部２８、並びに図１６に示される正規方程式演算部５６および予測係数決定部５７のかわりに、重心法を用いてクラス毎の予測値が生成され、このクラス毎の予測値がメモリ２９、またはメモリ５８にそれぞれ記憶される。
【００６４】
さらに、クラス毎の予測値そのもののかわりに、クラス毎の予測値のそれぞれを基準値で正規化し、クラス毎の正規化された予測値をROMテーブルに記憶しておいてもよい。この場合、図１に示した予測演算部５、および図１４に示した予測演算部４５では、基準値に基づいて正規化された予測値から予測値を演算することになる。
【００６５】
さらに、クラスタップまたは予測タップとして切り出される画素データの数は、上述した例に限らず、その数はいくつであってもよい。ただし、クラスタップまたは予測タップとして切り出す数を多くすればするほど画質改善の精度は高くなるが、演算量が多くなったり、メモリが大きくなったりするため、演算量、ハード面での負荷が大きくなるため、最適な数を設定する必要がある。
【００６６】
また、本実施の形態においては、ＳＤ画像信号からＳＤ画像信号への変換（ＳＤ−ＳＤ変換）、ＨＤ画像信号からＨＤ画像信号への変換（ＨＤ−ＨＤ変換）、およびＳＤ画像信号からＨＤ画像信号への変換（ＳＤ−ＨＤ変換）について記載されているが、本発明はこれに限らず、他のフォーマット（インターレース信号、ノンインターレース信号など）の変換にももちろん適用可能である。ただし、この場合、クラスタップまたは予測タップとして画像データを切り出す際には、注目画素データとなる画素は実際には存在しないため、切り出しの対象画素データとはならない。
【００６７】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えられる。従って、本発明の要旨は本実施の形態に限定されるものではない。
【００６８】
また、上述したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００６９】
【発明の効果】
以上のように、本発明によれば、入力される画像データの画質が悪くても、クラスタップまたは予測タップとして最適な画素データを抽出することができ、適切な予測処理を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像変換装置の構成例を示すブロック図である。
【図２】図１の領域切り出し部１における切り出し処理を説明する図である。
【図３】図１の領域切り出し部１における切り出し処理を説明する図である。
【図４】図１の特徴量抽出部３における特徴量抽出処理を説明するフローチャートである。
【図５】図４のステップＳ１の自己相関係数を算出する処理を説明する図である。
【図６】図４のステップＳ１において算出される自己相関係数を説明する図である。
【図７】図１の予測演算部５の詳細な構成を示すブロック図である。
【図８】図１の特徴量抽出部３における他の特徴量抽出処理を説明する図である。
【図９】図１の特徴量抽出部３における他の特徴量抽出の例を示す図である。
【図１０】図１の特徴量抽出部３における他の特徴量抽出の例を示す図である。
【図１１】図１の領域切り出し部１における切り出し処理を説明する図である。
【図１２】図１の領域切り出し部１における切り出し処理を説明する図である。
【図１３】図１のADRCパターン抽出部４に内蔵されるROMテーブルの予測係数の学習処理を行うための構成例を示すブロック図である。
【図１４】本発明を適用した画像変換装置の他の構成例を示すブロック図である。
【図１５】図１４の領域切り出し部４２における切り出し処理を説明する図である。
【図１６】図１４のADRCパターン抽出部４４に内蔵されるROMテーブルの予測係数の学習処理を行うための構成例を示すブロック図である。
【符号の説明】
１，２ 領域切り出し部， ３ 特徴量抽出部， ４ ADRCパターン抽出部，５ 予測演算部， ２１ LPF， ２２，２３ 領域切り出し部， ２４ 特徴量抽出部， ２５ ADRCパターン抽出部， ２７ 正規方程式演算部， ２８予測係数決定部， ２９ メモリ， ４１，４２ 領域切り出し部， ４３ 特徴量抽出部， ４４ ADRCパターン抽出部， ４５ 予測演算部， ５１ 間引き部， ５２，５３ 領域切り出し部， ５４ 特徴量抽出部， ５５ ADRCパターン抽出部， ５６ 正規方程式演算部， ５７ 予測係数決定部， ５８メモリ
【発明の属する技術分野】
本発明は、画像変換装置および方法、並びに記録媒体に関し、特に、入力された画像信号を同一フォーマットもしくは異なるフォーマットの画像信号に変換する際に、入力された画像データの画質が悪くとも、確実に画質が補正されたもしくは画質が改善された画像信号を提供できるようにした画像変換装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本出願人は、例えば、特開平８−５１５９９号として、より高解像度の画素データを得ることができるようにする技術を提案している。この提案においては、例えばＳＤ(Standard Definition)画素データからなる画像データからＨＤ(High Definition)画素データからなる画像データを創造する場合、創造するＨＤ画素データの近傍に位置するＳＤ画素データを用いてクラス分類を行い（クラスを決定し）、それぞれのクラス毎に、予測係数値を学習させておき、画像静止部においては、フレーム内相関を利用し、動き部においては、フィールド内相関を利用して、より真値に近いＨＤ画素データを得るようにしている。
【０００３】
【発明が解決しようとする課題】
ところで、この技術を用いて、例えば、非常に画質の悪い（画像のぼけた）画像を良好な画質の画像に補正することができる。しかしながら、非常に画質が悪い画像データの場合、この非常に画質が悪い画像データを用いてクラス分類を行うと、適切なクラス分類を行うことができず、適切なクラスを決定することができない。適切なクラスを求めることができないと、適切な予測係数値のセットを得ることができず、結局、充分な画質の補正を行うことができない課題があった。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、入力された画像データの画質が悪くとも、確実に画質を補正することができるようした画像変換装置および方法を提供するものである。
【０００５】
【課題を解決するための手段】
本発明の画像変換装置は、第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と注目画素の近傍に位置する複数の画素を、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出手段と、クラスタップを構成する複数の画素に応じて、クラスタップをクラス分類することにより、注目画素の特徴を表すクラスコードを発生するクラス分類手段と、画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段と、クラスコードに対応する予測係数を記憶手段から読み出すことにより発生する発生手段と、第１の画像信号を構成する複数の画素のうち、注目画素の近傍に位置する複数の画素を、第２の画像信号の画素を生成するための予測タップとして抽出する予測タップ抽出手段と、予測係数と前記予測タップを構成する各画素との積である１次の項から、予測係数と予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、第２の画像信号の画素を生成する生成手段とを備えることを特徴とする。
【０００６】
本発明の画像変換方法は、第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と注目画素の近傍に位置する複数の画素を、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップを構成する複数の画素に応じて、クラスタップをクラス分類することにより、注目画素の特徴を表すクラスコードを発生するクラス分類ステップと、画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段から、クラスコードに対応する予測係数を読み出すことにより発生する発生ステップと、第１の画像信号を構成する複数の画素のうち、注目画素の近傍に位置する複数の画素を、第２の画像信号の画素を生成するための予測タップとして抽出する予測タップ抽出ステップと、予測係数と前記予測タップを構成する各画素との積である１次の項から、予測係数と予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、第２の画像信号の画素を生成する生成ステップとを含むことを特徴とする。
【０００７】
本発明の記録媒体は、第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と注目画素の近傍に位置する複数の画素を、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出ステップと、クラスタップを構成する複数の画素に応じて、クラスタップをクラス分類することにより、注目画素の特徴を表すクラスコードを発生するクラス分類ステップと、画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段から、クラスコードに対応する予測係数を読み出すことにより発生する発生ステップと、第１の画像信号を構成する複数の画素のうち、注目画素の近傍に位置する複数の画素を、第２の画像信号の画素を生成するための予測タップとして抽出する予測タップ抽出ステップと、予測係数と前記予測タップを構成する各画素との積である１次の項から、予測係数と予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、第２の画像信号の画素を生成する生成ステップとを含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【０００８】
本発明の画像変換装置および方法、並びに記録媒体のプログラムにおいては、第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と注目画素の近傍に位置する複数の画素が、クラスコードを生成するためのクラスタップとして抽出され、クラスタップを構成する複数の画素に応じて、クラスタップをクラス分類することにより、注目画素の特徴を表すクラスコードが発生され、画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段から、クラスコードに対応する予測係数が読み出されることにより発生される。さらに、第１の画像信号を構成する複数の画素のうち、注目画素の近傍に位置する複数の画素が、第２の画像信号の画素を生成す・るための予測タップとして抽出され、予測係数と前記予測タップを構成する各画素との積である１次の項から、予測係数と予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、第２の画像信号の画素が生成される。
【０００９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。
【００１０】
請求項１に記載の画像変換装置は、第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と注目画素の近傍に位置する複数の画素を、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出手段（例えば、図１の領域切り出し部１）と、クラスタップを構成する複数の画素に応じて、クラスタップをクラス分類することにより、注目画素の特徴を表すクラスコードを発生するクラス分類手段（例えば、図１のADRCパターン抽出部４）と、画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段（例えば、図１のADRCパターン抽出部４が内蔵するROMテーブル）と、クラスコードに対応する予測係数を記憶手段から読み出すことにより発生する発生手段（例えば、図１のADRCパターン抽出部４）と、第１の画像信号を構成する複数の画素のうち、注目画素の近傍に位置する複数の画素を、第２の画像信号の画素を生成するための予測タップとして抽出する予測タップ抽出手段（例えば、図１の領域切り出し部２）と、予測係数と前記予測タップを構成する各画素との積である１次の項から、予測係数と予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、第２の画像信号の画素を生成する生成手段（例えば、図１の予測演算部５）とを備える。
【００１１】
請求項２に記載の画像変換装置は、第１の画像信号の画像のぼけの程度を表す特徴量を検出し、ぼけの程度が大きい場合、クラスタップ抽出手段に対してクラスタップのサイズを大きくするように制御し、ぼけの程度が小さい場合、クラスタップ抽出手段に対してクラスタップのサイズを小さくするように制御する検出手段（例えば、図１の特徴量抽出部３）をさらに備える。
【００１３】
但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１４】
以下に、本発明の実施の形態について説明する。図１は、本発明を適用した画像変換装置の第１の構成例を示すブロック図である。同図には、例えば画質の悪い（ぼけた画像の）ＳＤ画像データ（または、ＨＤ画像データ）を、画質改善されたＳＤ画像データ（または、ＨＤ画像データ）に変換する構成例が示されている。以下においては、入力画像データがＳＤ画像データである場合について説明する。
【００１５】
例えば、画質の悪い（ぼけた画像の）ＳＤ画像データが、入力端子を介して画像変換装置に入力される。入力された画像データは、領域切り出し部１、領域切り出し部２、および特徴量抽出部３に供給される。特徴量抽出部３は、入力されたＳＤ画像データのぼけ量を表す特徴量を検出し、その検出した特徴量を領域切り出し部１、領域切り出し部２、およびADRC(Adaptive Dynamic Range Coding)パターン抽出部４に出力する。領域切り出し部１は、入力された画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これをADRCパターン抽出部４に出力する。領域切り出し部１において切り出されるクラスタップは、特徴量抽出部３の出力する特徴量に対応して制御される。ADRCパターン抽出部４は、空間内の波形表現を目的としたクラス分類を行い、そのクラスおよび特徴量抽出部３から出力された特徴量に対応するクラスコードを発生する。さらに、ADRCパターン抽出部４は、内蔵するROMテーブルが記憶している予測係数のセットのうちの発生したクラスコードに対応するものを予測演算部５に出力するようになされている。
【００１６】
領域切り出し部２は、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測演算部５に出力する。この領域切り出し部２により切り出される予測タップのセットは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して制御される。予測演算部５は、領域切り出し部２より入力された予測タップのセットと、ADRCパターン抽出部４より入力された予測係数のセットとから予測演算を行い、その演算結果を、画質を補正した画像データとして出力する。この出力された画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【００１７】
次に、その動作について説明する。領域切り出し部１は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図２に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計５個の画素データをクラスタップとして切り出す。あるいは、図３に示すように、注目画素データに対応する画素データと、上下左右方向に３画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して決定される。
【００１８】
ここで、図４のフローチャートを参照して、特徴量抽出部３の特徴量抽出処理について説明する。最初にステップＳ１において、特徴量抽出部３は、入力された各画素データに対するフレーム毎の自己相関係数を算出する。そして、この自己相関係数を画素データのぼけ量を表す特徴量の尺度に利用する。すなわち、図５に示すように、１フレームの画像データが７２０画素×４８０画素の画素データで構成されているものとすると、所定の注目画素に対してその注目画素を中心として、７２０画素×４８０画素の画素データのうちの５１２画素×２５６画素の画素データからなるブロック（以下、このブロックを、適宜、基準ブロックと呼ぶ）を構成し、その基準ブロックの位置を画素単位で所定の範囲内を上下左右方向に移動させ、移動させたときのそれぞれの位置に対応する自己相関係数を算出する。
【００１９】
例えば、所定の注目画素データを中心とした基準ブロック内の各画素値をＸij（ｉ＝０，１，２，・・・，ｎ、ｊ＝０，１，２，・・・，ｍ）、基準ブロック内の画素値の平均値をＸav、基準ブロックが移動された位置に対応するブロック内の各画素値をＹij（ｉ＝０，１，２，・・・，ｎ、ｊ＝０，１，２，・・・，ｍ）、そのブロック内の画素値の平均値をＹavとすると、基準ブロックを移動させたときのその位置に対応する自己相関係数は、次式で表される。
【数１】
なお、上述したように、本実施の形態では、基準ブロックが５１２画素×２５６画素の画素データから構成されているため、ｎ＝５１１、ｍ＝２５５の値である。このようにして、所定の範囲内を基準ブロックをシフトしてそれぞれの位置に対応する自己相関係数を得ることができる。
【００２１】
図６は、このようにして求められた自己相関係数の例を表している。ブロック（基準ブロック）をシフトしないとき、自己相関係数は１である。これに対して、フレームＦ１の場合、例えば、ブロック（基準ブロック）を右方向に３画素分シフトしたとき、自己相関係数は０．８５に低下し、さらに、シフト量を増加させるに従って、自己相関係数は、より小さい値に低下する。このことは、ブロック（基準ブロック）を左方向にシフトした場合にも同様である。
【００２２】
一方、フレームＦ２においては、ブロック（基準ブロック）を１画素分右または左方向にシフトしたとき、自己相関係数が０．８５に低下し、それ以上シフトすると、自己相関係数はさらに低下する。このことは、フレームＦ１は、フレームＦ２に比べて、周囲との自己相関が強い、つまり、フレームＦ１は、フレームＦ２に比べてぼけ量が大きいことを意味している。
【００２３】
特徴量抽出部３は、ステップＳ２において、自己相関係数が所定の基準値（例えば、０．８５）となる画素シフト量を求め、ステップＳ３で、その画素シフト量を、ぼけ量を表す特徴量として出力する。つまり、所定の範囲内で、基準ブロックをシフトしたときの、それぞれの位置に対応する自己相関係数と基準値を比較することにより、自己相関係数が基準値となる画素シフト量を求める。図６の例の場合、入力された画素データがフレームＦ１の画素データである場合、特徴量は３とされ、入力された画素データがフレームＦ２の画素データである場合、特徴量は１とされる。
【００２４】
領域切り出し部１は、特徴量抽出部３から、特徴量１が入力されたとき、例えば、図２に示すように、狭い間隔内に配置された画素データをクラスタップとして切り出す（抽出する）。これに対して、特徴量３が入力されたとき、領域切り出し部１は、図３に示すように、より広い間隔で配置されている画素データをクラスタップとして切り出す（抽出する）。
【００２５】
図６に示すように、特徴量が１である画像（フレームＦ２）は、強い自己相関を有する画素データの範囲が狭くなっている。そこで、図２に示すように、クラスタップを構成する画素データとしても狭い範囲に配置されているものを選択する。これに対して、特徴量が３である画像（フレームＦ１）の場合、強い自己相関を有する範囲がより広くなっている。そこで、図３に示すように、クラスタップを構成する画素データも、より広い範囲から切り出すようにする。このように、ぼけ量を表す特徴量に応じて、クラスタップとして切り出す画素データをダイナミックに変化させるようにすることで、より適切なクラスタップを切り出すことが可能となる。
【００２６】
図示は省略するが、領域切り出し部２における予測タップも、領域切り出し部１におけるクラスタップの切り出しと同様に、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して、予測タップとして切り出す画素データをダイナミックに変化させる。なお、この領域切り出し部２において切り出される予測タップ（画素データ）は、領域切り出し部１において切り出されるクラスタップ（画素データ）と同一にしてもよいし、異なるものとしてもよい。
【００２７】
ADRCパターン抽出部４は、領域切り出し部１で切り出されたクラスタップに対してADRC処理を実行してクラス分類を行う（クラスを決定する）。すなわち、クラスタップとして抽出された５つの画素データ内のダイナミックレンジをＤＲ、ビット割当をｎ、クラスタップとしての各画素データのレベルをＬ、再量子化コードをＱとするとき、次式を演算する。
Ｑ＝｛（Ｌ−MIN＋０．５）×２n／ＤＲ｝
ＤＲ＝MAX−MIN＋１
【００２８】
なお、ここで｛ ｝は切り捨て処理を意味する。また、MAXとMINは、クラスタップを構成する５つの画素データ内の最大値と最小値をそれぞれ表している。これにより、例えば領域切り出し部１で切り出されたクラスタップを構成する５個の画素データが、それぞれ例えば８ビット（ｎ＝８）で構成されているとすると、これらのそれぞれが２ビットに圧縮される。従って、空間クラスを表すデータは合計１０ビットで表される。
【００２９】
さらに、ADRCパターン抽出部４は、空間クラスを表すデータに、特徴量抽出部３より供給されるぼけ量を表す特徴量を表すビットを付加してクラスコードを発生する。例えば、ぼけ量を表す特徴量が２ビットで表されるとすると、１２ビットのクラスコードが発生され、ADRCパターン抽出部４が内蔵するROMテーブルから、このクラスコードに対応する予測係数のセットが読み出され、予測演算部５に供給される。すなわち、クラスコードは、ROMテーブルのアドレスに対応しており、そのアドレスに記憶されている予測係数のセットが読み出されて予測演算部５に供給される。
【００３０】
ここで、予測係数のセットについて説明する。従来において、予測係数は、例えば、予測係数ω1乃至ωnのように、その次数が１であり、次式（１）に示す積和演算により、画質（ぼけ）が補正された画素データとなる予測結果ｙが演算されていた。
ｙ＝ω1ｘ1＋ω2ｘ2＋・・・＋ωnｘn ・・・（１）
【００３１】
しかしながら、上述したような線形１次結合に予測演算では、高精度の予測が行えない、そこで本実施の形態においては、予測係数の次数を上げて、予測演算をＮ次結合（Ｎは、２以上の数）により実施することとした。
【００３２】
例えば、予測演算を線形２次式により行う場合について説明する。実測値（予測タップ）をｘiとし、実測値の１次の予測係数をａiとし、実測値の２次の予測係数をｂiとすると、最確値ｙmは次式（２）によって表される。
【数２】
なお、真値をｙtとし、誤差をｅとすれば、最小自乗法の誤差方程式は、次式（３）のように表すことができる。
【数３】
式（２）から明らかなように、係数ａi，ｂiは、最確値ｙmを与える係数であるので、その係数ａi，ｂiは、誤差を示す式（３）の値を最小値とするはずである。式（３）の値を最小とする係数ａi，ｂiを求めるには、次式（４）に示すように、式（３）を係数ａi，ｂiで偏微分した式が０となる係数ａi，ｂiでを求めればよい。ただし、Ｄは式（３）の最右辺である。
【数４】
式（４）を係数ａi，ｂiで整理し、行列で表現すれば、次式（５）に示すようになる。
【数５】
さらに、式（５）の左辺の２Ｎ×２Ｎの行列の逆行列を演算して、式（５）の両辺に左から乗ずれば、実測値の１次の予測係数ａi、および実測値の２次の予測係数ｂiが求められる。なお、２次以上のＮ次結合により予測演算を行う場合も、その予測係数の演算は同様にして行うことができる。
【００３７】
図７は、領域切り出し部２から供給された予測タップを構成する画素データがＷ個であり、Ｎ次結合により予測演算を行う場合の予測演算部５の詳細な構成を示している。入力信号として領域切り出し部２から供給される画素データは、最初のタイミングにおいて、係数乗算部１１−１−１、２乗演算部１２−１乃至Ｎ乗演算部１３−１、および遅延部１６−１に供給される。２乗演算部１２−１乃至Ｎ乗演算部１３−１は、それぞれ供給された画素データを乗算して、対応する係数乗算部１１−２−１乃至１１−Ｎ−１に出力する。一方、ADRCパターン抽出部４から、係数乗算部１１−１−１、および２乗演算部１２−１乃至Ｎ乗演算部１３−１にそれぞれに対応する予測係数が供給される。
【００３８】
係数乗算部１１−１−１、および２乗演算部１２−１乃至Ｎ乗演算部１３−１のそれぞれは、乗算された画素データと予測係数を掛けあわせて積和部１４−１−１に出力する。積和部１４−１−１は、係数乗算部１１−１−１、および２乗演算部１２−１乃至Ｎ乗演算部１３−１のそれぞれから入力された演算結果を足し合わせ、予測出力１乃至Ｍとして積和部１７に出力する。
【００３９】
次のタイミングにおいて、遅延部１６−１は、最初のタイミングで供給された画素データを後段に出力する。その後段においては、以後１タイミングずつ遅延して上述した処理と同様の処理が行われる。
【００４０】
積和部１７は、積和部１４−１乃至１４−Ｍから入力された予測出力１乃至Ｍを足し合わせて、画質（ぼけ）が補正された画素データとなる予測結果を出力する。
【００４１】
図８は、特徴量抽出部３における他の特徴量抽出処理の例を表している。この例においては、ステップＳ１１において、所定の注目画素の近傍のエッジが検出される。ステップＳ１２において、検出したエッジに対応するエッジコードが特徴量として出力される。例えば、図９に示すように、右上から左下方向に、斜めのエッジが検出された場合、特徴量抽出部３は、エッジコード０を出力し、図１０に示すように、水平方向のエッジが検出された場合、エッジコード１を出力する。
【００４２】
領域切り出し部１は、特徴量抽出部３より、図９に示すエッジコード０が入力されたとき、図１１に示すような画素データをクラスタップとして切り出す（抽出する）。このクラスタップは、右上から左下方向に延在するエッジを検出するのに最適な画素データで構成されている。これに対して、領域切り出し部１は、図１０に示すようなエッジコード１が入力されたとき、図１２に示すような画素データをクラスタップとして切り出す（抽出する）。このクラスタップは、水平方向のエッジを検出するのに最適な画素データで構成される。領域切り出し部２においても同様に、エッジコードに対応して予測タップを構成する画素データの切り出し（抽出）処理が実行される。
【００４３】
このように、入力された画素データの自己相関、エッジといった特徴量に対応して切り出すクラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させることができるので、より適切な予測演算結果を得ることが可能となる。
【００４４】
図１３は、ACRDパターン抽出部４に内蔵するROMテーブルに記憶するクラス毎（クラスコード毎）の予測係数のセットを学習によって得るための構成例を表している。この構成例においては、例えば、画質の良好な教師信号（学習信号）としてのＳＤ画像データ（または、ＨＤ画像データ）を用いてクラス毎（クラスコード毎）の予測係数のセットを生成する構成が示されている。
【００４５】
例えば、画質の良好な教師信号（学習信号）としての画像データが、正規方程式演算部２７に入力されるとともに、ローパスフィルタ(LPF)２１に入力される。ローパスフィルタ２１は、入力された教師信号（学習信号）としての画像データの高域成分を除去することで、画質の劣化した画像データ（学習信号）を生成する。ローパスフィルタ２１から出力された、画質の劣化した画像データ（学習信号）は、クラスタップとして所定の範囲の画像データを切り出す（抽出する）領域切り出し部２２、予測タップとして所定の範囲の画像データを切り出す（抽出する）領域切り出し部２３、および、ぼけ量を表す特徴量を抽出する特徴量抽出部２４に入力される。特徴量抽出部２４は、入力された画質の劣化した画像データ（学習信号）の画素データのぼけ量を表す特徴量を抽出し、抽出したその特徴量を、領域切り出し部２２、領域切り出し部２３、およびADRCパターン抽出部２５に供給する。領域切り出し部２２と、領域切り出し部２３は、入力されたぼけ量を表す特徴量に対応して、クラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させる。
【００４６】
ADRCパターン抽出部２５は、領域切り出し部２２より入力されたクラスタップとしての画素データのクラス分類を行い（クラスを決定し）、そのクラスとぼけ量を表す特徴量とからクラスコードを発生し、正規方程式演算部２７に出力する。なお、上述した領域切り出し部２２、領域切り出し部２３、特徴量抽出部２４、およびADRCパターン抽出部２５のそれぞれの構成および動作は、図１に示された領域切り出し部１、領域切り出し部２、特徴量抽出部３、およびADRCパターン抽出部４と同一であるため、ここでは説明を省略する。
【００４７】
正規方程式演算部２７は、入力される教師信号（学習信号）と領域切り出し部２３から供給される予測タップとしての画素データとから、クラス毎（クラスコード毎）に正規方程式を生成し、その正規方程式を予測係数決定部２８に供給する。そして、クラス毎に必要な数の正規方程式が求められたとき、正規方程式演算部２７は、例えば、クラス毎に最小自乗法を用いて正規方程式を解き、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、予測係数決定部２８からメモリ２９に供給され、記憶される。このメモリ２９に記憶されたクラス毎の予測係数のセットが、図１のADRCパターン抽出部４に内蔵されるROMテーブルに書き込まれることになる。
【００４８】
図１４は、本発明を適用した画像変換装置の第２の構成例を示している。この画像変換装置は、例えば図１５に示すように、低解像度のＳＤ画像データを、水平および垂直方向の解像度がそれぞれ２倍であるＨＤ画像データに変換するものである。この画像変換装置には、入力端子を介してＳＤ画像データが入力されて領域切り出し部４１、領域切り出し部４２、および特徴量抽出部４３に供給される。特徴量抽出部４３は、入力されたＳＤ画像の特徴量を抽出し、その特徴量を領域切り出し部４１、領域切り出し部４２、およびADRCパターン抽出部４４に出力するようになされている。
【００４９】
領域切り出し部４１は、入力されたＳＤ画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これをADRCパターン抽出部４４に出力する。領域切り出し部４１において切り出されるクラスタップは、特徴量抽出部４３の出力する特徴量に対応して制御される。ADRCパターン抽出部４４は、空間内の波形表現を目的としたクラス分類を行い、そのクラスおよび特徴量抽出部４３から出力された特徴量に対応するクラスコードを発生する。さらに、ADRCパターン抽出部４４は、内蔵するROMテーブルが記憶している予測係数のセットのうちの発生したクラスコードに対応するものを予測演算部４５に出力するようになされている。
【００５０】
領域切り出し部４２は、入力されたＳＤ画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測演算部４５に出力する。この領域切り出し部４２により切り出される予測タップのセットは、特徴量抽出部４３の出力する特徴量に対応して制御される。予測演算部４５は、領域切り出し部４２より入力された予測タップのセットと、ADRCパターン抽出部４４より入力された予測係数のセットとから予測演算を行い、その演算結果を、画質を補正した画像データとして出力する。この出力された画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送されるようになされている。
【００５１】
次に、その動作について説明する。領域切り出し部４１は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図２に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計５個の画素データをクラスタップとして切り出す。あるいは、図３に示すように、注目画素データに対応する画素データと、上下左右方向に３画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部４３の出力する特徴量に対応して決定される。なお、特徴量抽出部４３の特徴量抽出処理は、図４で説明した特徴量抽出処理と同様であるので、その説明を省略する。
【００５２】
ADRCパターン抽出部４４は、領域切り出し部４１で切り出されたクラスタップに対してADRC処理を実行してクラス分類を行う。そして、ADRCパターン抽出部４４は、分類したクラスに対応するクラスコードを発生する。さらに、ADRCパターン抽出部４４は、内蔵するROMテーブルから、このクラスコードに対応する４組の予測係数のセットを読み出し、予測演算部４５に供給する。すなわち、クラスコードは、ROMテーブルのアドレスに対応しており、そのアドレスに記憶されている予測係数のセットが読み出されて予測演算部４５に供給される。
【００５３】
領域切り出し部４１およびADRCパターン抽出部４４の処理に平行して、領域切り出し部４２は、入力された画像データの中から、特徴量抽出部４３の出力する特徴量に対応して、所定の画素データを予測タップとして切り出す処理を実行する。例えば、図１５に示すように、注目画素ａを中心とする３×３のＳＤ画素ａ乃至ｉを切り出して予測演算部４５に出力する。なお、この領域切り出し部４２において切り出される予測タップは、領域切り出し部４１において切り出されるクラスタップと同一にしてもよい。
【００５４】
予測演算部４５は、領域切り出し部４２より入力された予測タップのセットと、ADRCパターン抽出部４４より入力された予測係数のセットとから予測演算を行い、その演算結果を、ＨＤ画像データとして出力する。このとき、予測演算部４５では、上述した予測演算部５による予測演算と同様に、例えば、式（２）を用いて予測演算が行われる。ただし、式（２）における実測値（予測タップ）ｘiはＳＤ画素データａ乃至ｉであり、最確値ｙmは、注目画素ａの近傍のＨＤ画素データである。すなわち、図１５に示した３×３のＳＤ画素ａ乃至ｉの予測タップを用いて、同図の注目画素ａを中心とする２×２のＨＤ画素Ａ乃至Ｄの画素データが予測される。したがって、このとき、予測演算部４５には、ADRCパターン抽出部４４から４組の予測係数のセットが供給される。なお、予測演算部４５の予測演算の詳細については、図７で説明した演算と同様であるので、その説明は省略する。
【００５５】
この出力されたＨＤ画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【００５６】
図１６は、ACRDパターン抽出部４４に内蔵するROMテーブルに記憶するクラス毎（クラスコード毎）の予測係数のセットを学習によって得るための構成例を表している。この構成例においては、例えば、高解像度のＨＤ画像データを教師信号（学習信号）として用い、クラス毎（クラスコード毎）の予測係数のセットを生成する構成が示されている。
【００５７】
例えば、教師信号（学習信号）として高解像度のＨＤ画像データが、正規方程式演算部５６に入力されるとともに、間引き部５１に入力される。間引き部５１は、入力された教師信号（学習信号）としてのＨＤ画像データを、水平および垂直方向の解像度を低下させたＳＤ画像データを生成する。すなわち、間引き部５１は、例えば図１５に示すように、２×２のＨＤ画素Ａ乃至Ｄの画素値を平均し、ＨＤ画素Ａ乃至Ｄの中心に位置する画素ａの画像データ（学習信号）を生成することにより、低解像度のＳＤ画像データを生成する。
【００５８】
間引き部５１から出力されたＳＤ画像データ（学習信号）は、クラスタップとして所定の範囲のＳＤ画像データを切り出す領域切り出し部５２、予測タップとして所定の範囲のＳＤ画像データを切り出す領域切り出し部５３、および、特徴量を抽出する特徴量抽出部５４に入力される。特徴量抽出部５４は、入力されたＳＤ画像データ（学習信号）の特徴量を抽出し、抽出した特徴量を、領域切り出し部５２、領域切り出し部５３、およびADRCパターン抽出部５５に供給する。領域切り出し部５２および領域切り出し部５３は、それぞれ入力された特徴量に対応して、クラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させる。
【００５９】
ADRCパターン抽出部５５は、領域切り出し部５２より入力されたクラスタップとしてのＳＤ画像データのクラス分類を行い（クラスを決定し）、そのクラスと特徴量とからクラスコードを発生し、正規方程式演算部５６に出力する。なお、上述した領域切り出し部５２、領域切り出し部５３、特徴量抽出部５４、およびADRCパターン抽出部５５のそれぞれの構成および動作は、図１４に示した領域切り出し部４１、領域切り出し部４２、特徴量抽出部４３、およびADRCパターン抽出部４４と同一であるので、その説明を省略する。
【００６０】
正規方程式演算部５６は、入力される教師信号（学習信号）としてのＨＤ画像データと領域切り出し部５３から供給される予測タップとしてのＳＤ画像データとから、クラス毎（クラスコード毎）に正規方程式を生成し、その正規方程式を予測係数決定部５７に供給する。そして、クラス毎に必要な数の正規方程式が求められたとき、正規方程式演算部５６は、例えば、クラス毎に最小自乗法を用いて正規方程式を解き、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、予測係数決定部５７からメモリ５８に供給され、記憶される。このメモリ５８に記憶されたクラス毎の予測係数のセットが、図１４のADRCパターン抽出部４４に内蔵されるROMテーブルに書き込まれることになる。
【００６１】
なお、本実施の形態においては、クラス毎の予測係数のセットを、図１３または図１６に示した構成によって演算して求めるようにしたが、コンピュータを用いてシュミレーションで演算して求めるようにしてもよい。
【００６２】
また、本実施の形態においては、図１、または図１４に示されるADRCパターン抽出部４、またはADRCパターン抽出部４４に内蔵されるROMテーブルに記憶された、図１３、または図１６に示した方法で演算されたクラス毎の予測係数のセットと、予測タップとして切り出された画素データとから、画質改善、または高解像度化された画素データを生成するようになされているが、本発明はこれに限らず、ROMテーブルに学習によって演算されたクラス毎（クラスコード毎）の画素データの予測値そのものを記憶しておき、クラスコードによってその予測値を読み出すようにしてもよい。
【００６３】
この場合、図１に示される領域切り出し部２、図１３に示される領域切り出し部２３、図１４に示される領域切り出し部４２、および図１６に示される領域切り出し部５３は省略でき、図１に示される予測演算部５および図１４に示される予測演算部４５は、ROMテーブルから出力された画素データを出力デバイスに対応したフォーマットに変換して出力するようになされる。さらに、この場合は、図１３に示される正規方程式演算部２７および予測係数決定部２８、並びに図１６に示される正規方程式演算部５６および予測係数決定部５７のかわりに、重心法を用いてクラス毎の予測値が生成され、このクラス毎の予測値がメモリ２９、またはメモリ５８にそれぞれ記憶される。
【００６４】
さらに、クラス毎の予測値そのもののかわりに、クラス毎の予測値のそれぞれを基準値で正規化し、クラス毎の正規化された予測値をROMテーブルに記憶しておいてもよい。この場合、図１に示した予測演算部５、および図１４に示した予測演算部４５では、基準値に基づいて正規化された予測値から予測値を演算することになる。
【００６５】
さらに、クラスタップまたは予測タップとして切り出される画素データの数は、上述した例に限らず、その数はいくつであってもよい。ただし、クラスタップまたは予測タップとして切り出す数を多くすればするほど画質改善の精度は高くなるが、演算量が多くなったり、メモリが大きくなったりするため、演算量、ハード面での負荷が大きくなるため、最適な数を設定する必要がある。
【００６６】
また、本実施の形態においては、ＳＤ画像信号からＳＤ画像信号への変換（ＳＤ−ＳＤ変換）、ＨＤ画像信号からＨＤ画像信号への変換（ＨＤ−ＨＤ変換）、およびＳＤ画像信号からＨＤ画像信号への変換（ＳＤ−ＨＤ変換）について記載されているが、本発明はこれに限らず、他のフォーマット（インターレース信号、ノンインターレース信号など）の変換にももちろん適用可能である。ただし、この場合、クラスタップまたは予測タップとして画像データを切り出す際には、注目画素データとなる画素は実際には存在しないため、切り出しの対象画素データとはならない。
【００６７】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えられる。従って、本発明の要旨は本実施の形態に限定されるものではない。
【００６８】
また、上述したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００６９】
【発明の効果】
以上のように、本発明によれば、入力される画像データの画質が悪くても、クラスタップまたは予測タップとして最適な画素データを抽出することができ、適切な予測処理を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像変換装置の構成例を示すブロック図である。
【図２】図１の領域切り出し部１における切り出し処理を説明する図である。
【図３】図１の領域切り出し部１における切り出し処理を説明する図である。
【図４】図１の特徴量抽出部３における特徴量抽出処理を説明するフローチャートである。
【図５】図４のステップＳ１の自己相関係数を算出する処理を説明する図である。
【図６】図４のステップＳ１において算出される自己相関係数を説明する図である。
【図７】図１の予測演算部５の詳細な構成を示すブロック図である。
【図８】図１の特徴量抽出部３における他の特徴量抽出処理を説明する図である。
【図９】図１の特徴量抽出部３における他の特徴量抽出の例を示す図である。
【図１０】図１の特徴量抽出部３における他の特徴量抽出の例を示す図である。
【図１１】図１の領域切り出し部１における切り出し処理を説明する図である。
【図１２】図１の領域切り出し部１における切り出し処理を説明する図である。
【図１３】図１のADRCパターン抽出部４に内蔵されるROMテーブルの予測係数の学習処理を行うための構成例を示すブロック図である。
【図１４】本発明を適用した画像変換装置の他の構成例を示すブロック図である。
【図１５】図１４の領域切り出し部４２における切り出し処理を説明する図である。
【図１６】図１４のADRCパターン抽出部４４に内蔵されるROMテーブルの予測係数の学習処理を行うための構成例を示すブロック図である。
【符号の説明】
１，２ 領域切り出し部， ３ 特徴量抽出部， ４ ADRCパターン抽出部，５ 予測演算部， ２１ LPF， ２２，２３ 領域切り出し部， ２４ 特徴量抽出部， ２５ ADRCパターン抽出部， ２７ 正規方程式演算部， ２８予測係数決定部， ２９ メモリ， ４１，４２ 領域切り出し部， ４３ 特徴量抽出部， ４４ ADRCパターン抽出部， ４５ 予測演算部， ５１ 間引き部， ５２，５３ 領域切り出し部， ５４ 特徴量抽出部， ５５ ADRCパターン抽出部， ５６ 正規方程式演算部， ５７ 予測係数決定部， ５８メモリ
Claims (12)
- 複数の画素からなる第１の画像信号を複数の画素からなる前記第１の画像信号よりも画質改善された第２の画像信号に変換する画像変換装置において、
前記第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と前記注目画素の近傍に位置する複数の画素を、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップを構成する複数の画素に応じて、前記クラスタップをクラス分類することにより、前記注目画素の特徴を表すクラスコードを発生するクラス分類手段と、
画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段と、
前記クラスコードに対応する予測係数を前記記憶手段から読み出すことにより発生する発生手段と、
前記第１の画像信号を構成する複数の画素のうち、前記注目画素の近傍に位置する複数の画素を、前記第２の画像信号の画素を生成するための予測タップとして抽出する予測タップ抽出手段と、
前記予測係数と前記予測タップを構成する各画素との積である１次の項から、前記予測係数と前記予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、前記第２の画像信号の画素を生成する生成手段と
を備えることを特徴とする画像変換装置。 - 前記第１の画像信号の画像のぼけの程度を表す特徴量を検出し、前記ぼけの程度が大きい場合、前記クラスタップ抽出手段に対して前記クラスタップのサイズを大きくするように制御し、前記ぼけの程度が小さい場合、前記クラスタップ抽出手段に対して前記クラスタップのサイズを小さくするように制御する検出手段を
さらに備えることを特徴とする請求項１に記載の画像変換装置。 - 前記第１の画像信号と前記第２の画像信号は同じフォーマットの画像信号である
ことを特徴とする請求項１に記載の画像変換装置。 - 前記第１の画像信号と前記第２の画像信号は異なるフォーマットの画像信号である
ことを特徴とする請求項１に記載の画像変換装置。 - 前記記憶手段は、前記クラスコードをアドレスとする記憶領域に前記予測係数を記憶している
ことを特徴とする請求項１に記載の画像変換装置。 - 前記記憶手段は、画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数のセットを記憶しており、
前記発生手段は、前記クラスコードに対応する予測係数のセットを前記記憶手段から読み出すことにより発生し、
前記生成手段は、前記予測係数のセットと前記予測タップを構成する各画素のＮ（Ｎ≧２）乗との積和演算処理により、前記第２の画像信号の画素を生成する
ことを特徴とする請求項１に記載の画像変換装置。 - 前記検出手段は、画像信号の所定の範囲において画素をシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、その自己相関係数を画像のぼけの程度を表す尺度として、前記画像のぼけの程度を表す特徴量を検出する
ことを特徴とする請求項２に記載の画像変換装置。 - 前記検出手段は、前記自己相関係数が所定の基準値となるまで前記画素をシフトし、そのシフト量を、前記画像のぼけの程度を表す特徴量として出力する
ことを特徴とする請求項７に記載の画像変換装置。 - 前記自己相関係数は、画像のぼけ具合を表す尺度である
ことを特徴とする請求項８に記載の画像変換装置。 - 前記クラス分類手段は、前記クラスタップをクラス分類することによりそのクラスを表す第１のクラスコードと、前記画像のぼけの程度を表す特徴量を表す第２のクラスコードからなるクラスコードを発生する
ことを特徴とする請求項１に記載の画像変換装置。 - 複数の画素からなる第１の画像信号を複数の画素からなる前記第１の画像信号よりも高画質の第２の画像信号に変換する画像変換装置の画像変換方法において、
前記第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と前記注目画素の近傍に位置する複数の画素を、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップを構成する複数の画素に応じて、前記クラスタップをクラス分類することにより、前記注目画素の特徴を表すクラスコードを発生するクラス分類ステップと、
画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段から、前記クラスコードに対応する予測係数を読み出すことにより発生する発生ステップと、
前記第１の画像信号を構成する複数の画素のうち、前記注目画素の近傍に位置する複数の画素を、前記第２の画像信号の画素を生成するための予測タップとして抽出する予測タップ抽出ステップと、
前記予測係数と前記予測タップを構成する各画素との積である１次の項から、前記予測係数と前記予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、前記第２の画像信号の画素を生成する生成ステップと
を含むことを特徴とする画像変換方法。 - 複数の画素からなる第１の画像信号を複数の画素からなる前記第１の画像信号よりも高画質の第２の画像信号に変換する画像変換装置の制御用のプログラムであって、
前記第１の画像信号を構成する複数の画素のうち、処理対象とする注目画素と前記注目画素の近傍に位置する複数の画素を、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップを構成する複数の画素に応じて、前記クラスタップをクラス分類することにより、前記注目画素の特徴を表すクラスコードを発生するクラス分類ステップと、
画質の良好な学習信号を用いてクラス毎に予め学習によって生成されている予測係数を記憶する記憶手段から、前記クラスコードに対応する予測係数を読み出すことにより発生する発生ステップと、
前記第１の画像信号を構成する複数の画素のうち、前記注目画素の近傍に位置する複数の画素を、前記第２の画像信号の画素を生成するための予測タップとして抽出する予測タップ抽出ステップと、
前記予測係数と前記予測タップを構成する各画素との積である１次の項から、前記予測係数と前記予測タップを構成する各画素のＮ（Ｎ≧２）乗との積であるＮ次の項までのＮ個の項の結合演算を含む予測演算処理により、前記第２の画像信号の画素を生成する生成ステップと
を含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23250198A JP4139979B2 (ja) | 1998-06-19 | 1998-08-19 | 画像変換装置および方法、並びに記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10-172502 | 1998-06-19 | ||
| JP17250298 | 1998-06-19 | ||
| JP23250198A JP4139979B2 (ja) | 1998-06-19 | 1998-08-19 | 画像変換装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000078534A JP2000078534A (ja) | 2000-03-14 |
| JP4139979B2 true JP4139979B2 (ja) | 2008-08-27 |
Family
ID=26494843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23250198A Expired - Fee Related JP4139979B2 (ja) | 1998-06-19 | 1998-08-19 | 画像変換装置および方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4139979B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4596196B2 (ja) * | 2000-08-02 | 2010-12-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP4538705B2 (ja) | 2000-08-02 | 2010-09-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP4596197B2 (ja) | 2000-08-02 | 2010-12-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| WO2002013512A1 (fr) * | 2000-08-07 | 2002-02-14 | Sony Corporation | Procede et dispositif de traitement d'image et support enregistre |
-
1998
- 1998-08-19 JP JP23250198A patent/JP4139979B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000078534A (ja) | 2000-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5490287B2 (ja) | エッジ領域を効果的に圧縮して復元する方法及び装置 | |
| US7876323B2 (en) | Display apparatus and display method, learning apparatus and learning method, and programs therefor | |
| EP0912045A1 (en) | Image converter and image conversion method | |
| EP1420585B1 (en) | Picture information converting apparatus and method thereof | |
| KR100643427B1 (ko) | 영상신호의 변환장치 및 변환방법과 그것을 사용한 화상표시장치 및 텔레비전 수신기 | |
| US7061539B2 (en) | Information signal processing device, information signal processing method, image signal processing device, image display comprising the same, and information providing medium | |
| JP4139979B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP4035895B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP2002300538A (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する種係数データの生成装置および生成方法、並びに情報提供媒体 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP4062771B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP2001285881A (ja) | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 | |
| US20050226537A1 (en) | Apparatus and method for generating coefficient data, apparatus and method for generating coefficient-seed data, information-signal processing apparatus, program, and medium having recorded the program thereon | |
| JP4131303B2 (ja) | 画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体 | |
| JP3890638B2 (ja) | 画像情報変換装置および方法 | |
| JP4337186B2 (ja) | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 | |
| JPH0888849A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| KR100982625B1 (ko) | 정보 신호의 처리 장치 및 처리 방법 | |
| US8228995B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4038881B2 (ja) | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 | |
| US7529787B2 (en) | Apparatus and method for generating coefficient data, apparatus and method for processing information signal, program, and medium for recording the same | |
| JP2001285882A (ja) | ノイズ低減装置および方法 | |
| JP3767019B2 (ja) | 積和演算回路および方法 | |
| JP2006020347A (ja) | 係数生成装置および方法 | |
| JP2000115721A (ja) | 信号処理装置及び信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080229 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080515 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080528 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |