JP4457276B2 - 画像処理装置および画像処理方法、並びに記録媒体 - Google Patents
画像処理装置および画像処理方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4457276B2 JP4457276B2 JP2000112075A JP2000112075A JP4457276B2 JP 4457276 B2 JP4457276 B2 JP 4457276B2 JP 2000112075 A JP2000112075 A JP 2000112075A JP 2000112075 A JP2000112075 A JP 2000112075A JP 4457276 B2 JP4457276 B2 JP 4457276B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- prediction
- student
- teacher
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに記録媒体に関し、特に、例えば、各種の画像データに対して、適切な処理を施すことができるようにする画像処理装置および画像処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、ＳＤ(Standard Density)画像をＨＤ(High Density)画像に変換する技術として、クラス分類適応処理を先に提案している。
【０００３】
クラス分類適応処理によれば、例えば、水平ライン数が５２５ラインのインターレース方式のＳＤ画像や、水平ライン数が２６２ラインのプログレッシブ方式（ノンインターレース方式）のＳＤ画像等を、その横および縦の画素数をいずれも２倍にした、水平ライン数が５２５ラインのプログレッシブ方式のＨＤ画像等に変換し、その解像度を向上させることができる。
【０００４】
ここで、例えば、水平ライン数が５２５ラインのインターレース方式の画像を、以下、適宜、その水平ライン数を表す数字（５２５）と、インターレース方式を表すアルファベット（ｉ）とを用いて、５２５ｉと記述する。また、例えば、水平ライン数が２６２ラインのプログレッシブ方式の画像を、以下、適宜、その水平ライン数を表す数字（２６２）と、プログレッシブ方式を表すアルファベット（ｐ）とを用いて、２６２ｐと記述する。この場合、例えば、水平ライン数が５２５ラインのプログレッシブ方式の画像は、５２５ｐと表される。
【０００５】
【発明が解決しようとする課題】
ところで、例えば、ＳＤ画像をＨＤ画像に変換するクラス分類適応処理を行う処理回路を、ハードウェアにより構成する場合には、そのハードウェアは、所定の規格（フォーマット）のＳＤ画像が入力されるものとして、そのＳＤ画像を処理するのに適切な機能を有するように設計、製造等される。
【０００６】
従って、例えば、５２５ｉのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適切なようにクラス分類処理を行うハードウェアでは、２６２ｐのＳＤ画像を処理することができないか、または処理することができても、２６２ｐのＳＤ画像に対して適切なクラス分類適応処理が施されないことがある。
【０００７】
一方、５２５ｉのＳＤ画像に対して適切なクラス分類適応処理を施すハードウェアと、２６２ｐのＳＤ画像に対して適切なクラス分類適応処理を施すハードウェアとを別に用意するのでは、高コスト化を招くことになり、さらに、この場合でも、５２５ｉおよび２６２ｐのＳＤ画像以外のＳＤ画像に対処することは困難である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、各種の画像、即ち、特に、例えば、信号フォーマットの異なる画像に対して適切な処理を施すことができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の第１の画像処理装置は、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成手段と、教師画像と生徒画像に基づいて、予測係数を求める予測係数演算手段とを備えることを特徴とする。
【００１０】
この第１の画像処理装置には、教師画像を構成する画素のうちの、注目している注目画素を予測するのに、予測係数とともに用いる生徒画像の画素を選択し、予測タップとして出力する予測タップ構成手段をさらに設けることができ、この場合、予測係数演算手段には、予測タップおよび教師画像に基づいて、予測係数を求めさせることができる。
【００１１】
第１の画像処理装置には、注目画素を、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒画像の画素を選択し、クラスタップとして出力するクラスタップ構成手段と、クラスタップに基づいて、注目画素のクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、予測係数演算手段には、予測タップおよび教師画像に基づいて、クラスごとの予測係数を求めさせることができる。
【００１２】
第１の画像処理装置において、予測係数は、第１の画像から、第２の画像を線形予測するための、の画像の画素と乗算される係数とすることができる。
【００１３】
第１の画像処理装置は、生徒画像生成手段において、教師画像の画素数を少なくしたものを、そのまま生徒画像とするか、または、教師画像の画素数を少なくし、さらに所定の画面の水平ラインの位置を垂直方向にずらしたものを、生徒画像とするかが選択可能なように構成することができる。
【００１４】
本発明の第１の画像処理方法は、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成ステップと、教師画像と生徒画像に基づいて、予測係数を求める予測係数演算ステップとを備えることを特徴とする。
【００１５】
本発明の第１の記録媒体は、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成ステップと、教師画像と生徒画像に基づいて、予測係数を求める予測係数演算ステップとを備えるプログラムが記録されていることを特徴とする。
【００１６】
本発明の第２の画像処理装置は、第１の画像のフォーマットを識別する識別手段と、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第１の画像のフォーマットに対応する種類の予測係数を選択する選択手段と、選択手段において選択された種類の予測係数を用いて、第１の画像から、第２の画像を予測する予測手段とを備えることを特徴とする。
【００１７】
第２の画像処理装置において、複数種類の予測係数は、教師画像と、その画素数を少なくすることにより生成された生徒画像とから求められた予測係数を、さらに含むものとすることができる。
【００１８】
第２の画像処理装置には、第２の画像を構成する画素のうちの、注目している注目画素を予測するのに、予測係数とともに用いる第１の画像の画素を選択し、予測タップとして出力する予測タップ構成手段をさらに設けることができ、この場合、予測手段には、予測タップおよび予測係数に基づいて、注目画素の予測値を求めさせることができる。
【００１９】
第２の画像処理装置には、注目画素を、幾つかのクラスのうちのいずれかにクラス分類するのに用いる第１の画像の画素を選択し、クラスタップとして出力するクラスタップ構成手段と、クラスタップに基づいて、注目画素のクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、予測手段には、予測タップおよび注目画素のクラスに対応する予測係数に基づいて、注目画素の予測値を求めさせることができる。
【００２０】
第２の画像処理装置において、予測手段には、第１の画像と予測係数とを用いて、第２の画像を線形予測させることができる。
【００２１】
第２の画像処理装置には、複数種類の予測係数を記憶している記憶手段をさらに設けることができる。
【００２２】
本発明の第２の画像処理方法は、第１の画像のフォーマットを識別する識別ステップと、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第１の画像のフォーマットに対応する種類の予測係数を選択する選択ステップと、選択ステップにおいて選択された種類の予測係数を用いて、第１の画像から、第２の画像を予測する予測ステップとを備えることを特徴とする。
【００２３】
本発明の第２の記録媒体は、第１の画像のフォーマットを識別する識別ステップと、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第１の画像のフォーマットに対応する種類の予測係数を選択する選択ステップと、選択ステップにおいて選択された種類の予測係数を用いて、第１の画像から、第２の画像を予測する予測ステップとを備えるプログラムが記録されていることを特徴とする。
【００２４】
本発明の第１の画像処理装置および画像処理方法、並びに記録媒体においては、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像が生成され、その生徒画像と教師画像に基づいて、予測係数が求められる。
【００２５】
本発明の第２の画像処理装置および画像処理方法、並びに記録媒体においては、第１の画像のフォーマットが識別され、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第１の画像のフォーマットに対応する種類の予測係数が選択される。そして、その選択された種類の予測係数を用いて、第１の画像から、第２の画像が予測される。
【００２６】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００２７】
処理すべき画像データであるＳＤ画像は、データ処理部１および機能制御部２に供給されるようになっており、機能制御部２は、後述するようにして、ＳＤ画像のフォーマット等を識別し、その識別結果に基づいて、データ処理部１の機能を制御する制御信号を、データ処理部１に出力する。
【００２８】
データ処理部１は、機能制御部２からの制御信号に基づいて、その内部の機能を設定し、そこに供給されるＳＤ画像を処理する。これにより、データ処理部１は、ＳＤ画像に対して、それに適切な処理を施し、その処理結果であるＨＤ画像を出力する。
【００２９】
従って、データ処理部１では、そこに入力されるＳＤ画像に適切な処理を施すことができるように、その機能が変化し、そのＳＤ画像に処理が施されるので、装置を高コスト化することなく、ＳＤ画像を適切に処理することができる。
【００３０】
なお、図１の画像処理装置においては、機能制御部２に対して、データ処理部１の機能の設定を指令するコマンドを与えることができるようにもなっており、機能制御部２は、コマンドを受信すると、そのコマンドに対応した制御信号を、データ処理部１に出力する。
【００３１】
次に、図１のデータ処理部１について、そこで、例えば、クラス分類適応処理が行われる場合を例に説明するが、その前に、その前段階の準備として、クラス分類適応処理について説明する。
【００３２】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００３３】
即ち、適応処理では、例えば、標準解像度または低解像度の画像（ＳＤ画像）を構成する画素（以下、適宜、ＳＤ画素という）と、所定の予測係数との線形結合により、そのＳＤ画像の解像度を向上させた高解像度の画像（ＨＤ画像）の画素の予測値を求めることで、そのＳＤ画像の解像度を向上させた画像が得られる。
【００３４】
具体的には、例えば、いま、あるＨＤ画像を教師データとするとともに、そのＨＤ画像の解像度を劣化させたＳＤ画像を生徒データとして、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００３５】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【００３６】
式（１）を一般化するために、予測係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【００３７】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００３８】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００３９】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００４０】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００４１】
従って、上述の自乗誤差を予測係数ｗjで微分したものが０になる場合、即ち、次式を満たす予測係数ｗjが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００４２】
【数４】
・・・（４）
【００４３】
そこで、まず、式（３）を、予測係数ｗjで微分することにより、次式が成立する。
【００４４】
【数５】
・・・（５）
【００４５】
式（４）および（５）より、式（６）が得られる。
【００４６】
【数６】
・・・（６）
【００４７】
さらに、式（３）の残差方程式における生徒データｘij、予測係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００４８】
【数７】
・・・（７）
【００４９】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００５０】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適な予測係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００５１】
以上のようにして、最適な予測係数ｗjを求めておき、さらに、その予測係数ｗjを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００５２】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【００５３】
また、ここでは、適応処理について、解像度を向上させる場合を例にして説明したが、適応処理によれば、予測係数を求めるのに用いる教師データおよび生徒データを変えることで、例えば、Ｓ／Ｎ(Signal to Noise Ratio)の向上や、ぼけの改善等の画質の向上を図ることが可能である。
【００５４】
次に、図２は、図１のデータ処理部１が、ＳＤ画像から、その解像度を向上させたＨＤ画像の予測値を求めるクラス分類適応処理としての予測処理を行う予測装置として構成される場合の、その構成例を示している。
【００５５】
この予測装置としてのデータ処理部１では、そこに入力される各種のＳＤ画像に対して、それに適切なクラス分類適応処理が施されることにより、そのＳＤ画像の解像度を向上させたＨＤ画像が得られるようになっている。
【００５６】
なお、ここでは、説明を簡単にするために、例えば、ＳＤ画像として、５２５ｉの画像か、または２６２ｐの画像が入力され、いずれのＳＤ画像についても、５２５ｐの画像が、ＨＤ画像として出力されるものとする。また、例えば、２６２ｐのＳＤ画像のフレームレート、５２５ｉのＳＤ画像のフィールドレート、および５２５ｐのＨＤ画像のフレームレートは、いずれも同一で、例えば、６０Ｈｚとする（よって、５２５ｉのＳＤ画像のフレームレートは３０Ｈｚである）。
【００５７】
従って、ここでは、２６２ｐのＳＤ画像については、その１フレームが、１フレームのＨＤ画像に対応し、５２５ｉのＳＤ画像については、その１フィールドが、１フレームのＨＤ画像に対応する。また、２６２ｐまたは５２５ｉのＳＤ画像の１水平ライン上の画素数と、５２５ｐのＨＤ画像の１水平ライン上の画素数との比は、例えば、１：２であるとする。以上から、２６２ｐのＳＤ画像も、５２５ｉのＳＤ画像も、図３に示すように、その横と縦の画素数を、それぞれ２倍にして解像度を向上させた５２５ｐのＨＤ画像に変換されることとなる。なお、図３において、○印がＳＤ画素を、×印がＨＤ画素を、それぞれ表している。
【００５８】
ここで、５２５ｉの画像として代表的なものとしては、例えば、テレビジョン放送局から放送されてくるテレビジョン放送番組を構成する、ＮＴＳＣ(National Television System Committee)方式の画像（以下、適宜、テレビジョン画像という）があり、また、２６２ｐの画像として代表的なものとしては、例えば、ゲーム機から再生されるゲーム用の画像（以下、適宜、ゲーム画像という）がある。
【００５９】
フレームメモリ１１には、解像度を向上させる対象としてのＳＤ画像が、例えば、１フレームまたは１フィールド単位などで供給されるようになっており、フレームメモリ１１は、そのＳＤ画像を、所定の期間記憶する。
【００６０】
なお、フレームメモリ１１は、複数バンクを有しており、これにより、複数フレームまたはフィールドのＳＤ画像を、同時に記憶しておくことができるようになっている。
【００６１】
予測タップ構成回路１２は、フレームメモリ１１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、フレームメモリ１１のＳＤ画像から選択し、その選択したＳＤ画素によって、予測係数との乗算に用いる予測タップを構成する。
【００６２】
また、予測タップ構成回路１２は、予測タップとするＳＤ画素の選択パターンを、レジスタ１８Ｂにセットされている情報（以下、適宜、予測タップ構成情報という）に基づいて設定する。
【００６３】
即ち、予測タップ構成回路１２は、予測タップ構成情報に基づいて、例えば、図３に示すように、注目画素の位置に最も近い、ＳＤ画像の画素（図３では、Ｐ33とＰ34の２つあるが、ここでは、例えば、Ｐ33とする）、およびその上下左右に隣接する４個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34、並びにＳＤ画素Ｐ33に対応する、１フレーム前のＳＤ画素および１フレーム後のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６４】
また、予測タップ構成回路１２は、予測タップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右に隣接する４個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34、並びにＳＤ画素Ｐ33に対応する、１フィールド前のＳＤ画素および１フィールド後のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６５】
さらに、予測タップ構成回路１２は、予測タップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右に１画素おきに隣接する４個のＳＤ画素Ｐ13，Ｐ53，Ｐ31，Ｐ35、並びにＳＤ画素Ｐ33に対応する、２フレーム前（または２フィールド前）のＳＤ画素、および２フレーム後（または２フィールド後）のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６６】
予測タップ構成回路１２は、予測タップ構成情報に基づいて、上述のように、選択パターンを設定し、その選択パターンにしたがって、注目画素についての予測タップとなるＳＤ画素を、フレームメモリ１１に記憶されたＳＤ画像から選択し、そのようなＳＤ画素で構成される予測タップを、予測演算回路１６に出力する。
【００６７】
なお、予測タップとして選択するＳＤ画素は、上述したパターンのものに限定されるものではない。また、上述の場合には、７個のＳＤ画素で予測タップを構成するようにしたが、予測タップを構成するＳＤ画素の数も、予測タップ構成情報に基づいて、適宜設定することが可能である。
【００６８】
クラスタップ構成回路１３は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、フレームメモリ１１のＳＤ画像から選択し、その選択したＳＤ画素によって、注目画素を幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いるクラスタップを構成する。
【００６９】
また、クラスタップ構成回路１３は、クラスタップとするＳＤ画素の選択パターンを、レジスタ１８Ｃにセットされている情報（以下、適宜、クラスタップ構成情報という）に基づいて設定する。
【００７０】
即ち、クラスタップ構成回路１３は、クラスタップ構成情報に基づいて、例えば、図３に示すように、注目画素の位置に最も近い、ＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に隣接する８個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34，Ｐ22，Ｐ42，Ｐ24，Ｐ44、並びにＳＤ画素Ｐ33に対応する、１フレーム前のＳＤ画素および１フレーム後のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７１】
また、クラスタップ構成回路１３は、クラスタップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に隣接する８個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34，Ｐ22，Ｐ42，Ｐ24，Ｐ44、並びにＳＤ画素Ｐ33に対応する、１フィールド前のＳＤ画素および１フィールド後のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７２】
さらに、クラスタップ構成回路１３は、クラスタップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に１画素おきに隣接する８個のＳＤ画素Ｐ13，Ｐ53，Ｐ31，Ｐ35，Ｐ11，Ｐ51，Ｐ15，Ｐ55、並びにＳＤ画素Ｐ33に対応する、２フレーム前（または２フィールド前）のＳＤ画素、および２フレーム後（または２フィールド後）のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７３】
クラスタップ構成回路１３は、クラスタップ構成情報に基づいて、上述のように、選択パターンを設定し、その選択パターンにしたがって、注目画素についてのクラスタップとなるＳＤ画素を、フレームメモリ１１に記憶されたＳＤ画像から選択し、そのようなＳＤ画素で構成されるクラスタップを、クラス分類回路１４に出力する。
【００７４】
なお、クラスタップとして選択するＳＤ画素も、上述したパターンのものに限定されるものではない。また、上述の場合には、１１個のＳＤ画素でクラスタップを構成するようにしたが、クラスタップを構成するＳＤ画素の数も、クラスタップ構成情報に基づいて、適宜設定することが可能である。
【００７５】
クラス分類回路１４は、クラスタップ構成回路１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ１５に対して、アドレスとして供給する。
【００７６】
ここで、図４は、図２のクラス分類回路１４の構成例を示している。
【００７７】
クラスタップは、動きクラス分類回路２１および時空間クラス分類回路２２に供給されるようになっている。
【００７８】
動きクラス分類回路２１は、例えば、クラスタップを構成するＳＤ画素のうち、時間方向に並ぶものを用いて、注目画素を、画像の動きに注目してクラス分類するようになっている。即ち、動きクラス分類回路２１は、例えば、図３における、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、そのＳＤ画素Ｐ33に対応する、１フィールド前（あるいは、本実施の形態では、２フィールド前や、１フレーム前、２フレーム前等）のＳＤ画素、および１フィールド後（あるいは、本実施の形態では、２フィールド後や、１フレーム後、２フレーム後等）のＳＤ画素の合計３画素を用いて、注目画素をクラス分類する。
【００７９】
具体的には、動きクラス分類回路２１は、上述のように、時間方向に並ぶ３個のＳＤ画素のうちの、時間的に隣接するものどうしの差分絶対値の総和を演算し、その総和値と、所定の閾値との大小関係を判定する。そして、動きクラス分類回路２１は、その大小関係に基づいて、例えば、０または１のクラスコードを、合成回路２３に出力する。
【００８０】
ここで、動きクラス分類回路２１が出力するクラスコードを、以下、適宜、動きクラスコードという。
【００８１】
時空間クラス分類回路２２は、例えば、クラスタップを構成するＳＤ画素のすべてを用いて、注目画素を、画像の空間方向と時間方向とのレベル分布に注目してクラス分類するようになっている。
【００８２】
ここで、時空間クラス分類回路２２においてクラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００８３】
ADRCを用いる方法では、クラスタップを構成するＳＤ画素が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００８４】
なお、KビットADRCにおいては、例えば、クラスタップを構成するＳＤ画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するＳＤ画素がKビットに再量子化される。即ち、クラスタップを構成するＳＤ画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する各ＳＤ画素についてのKビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各ＳＤ画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００８５】
ここで、時空間クラス分類回路２２には、例えば、クラスタップを構成するＳＤ画素のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個のＳＤ画素で構成され、各ＳＤ画素に、Ｋビットが割り当てられているとすると、時空間クラス分類回路２２が出力するクラスコードの場合の数は、（２N）K個となり、画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００８６】
従って、時空間クラス分類回路２２においては、上述のように、画素値のビット数等を、いわば圧縮するADRC処理等のような圧縮処理を行ってから、クラス分類を行うのが好ましい。なお、時空間クラス分類回路２２における圧縮処理としては、ADRC処理に限定されるものではなく、その他、例えば、ベクトル量子化等を用いることも可能である。
【００８７】
ここで、時空間クラス分類回路２２が出力するクラスコードを、以下、適宜、時空間クラスコードという。
【００８８】
合成回路２３は、動きクラス分類回路２１が出力する動きクラスコード（本実施の形態では、１ビットのクラスコード）を表すビット列と、時空間クラス分類回路２２が出力する時空間クラスコードを表すビット列とを、１のビット列として並べる（合成する）ことにより、注目画素の最終的なクラスコードを生成し、係数メモリ１５に出力する。
【００８９】
なお、図４の実施の形態では、レジスタ１８Ｃにセットされたクラスタップ構成情報が、動きクラス分類回路２１、時空間クラス分類回路２２、および合成回路２３に供給されるようになっている。これは、クラスタップ構成回路１３において構成されるクラスタップとしてのＳＤ画素の数が変化する場合があり、その場合に対処するためである。
【００９０】
また、動きクラス分類回路２１で得られた動きクラスコードは、図４において点線で示すように、時空間クラス分類回路２２に供給し、時空間クラス分類回路２２では、動きクラスコードに応じて、クラス分類に用いるＳＤ画素を変更するようにすることが可能である。
【００９１】
即ち、上述の場合には、時空間クラス分類回路２２に対して、１１個のＳＤ画素からなるクラスタップが供給されるが、この場合、時空間クラス分類回路２２においては、例えば、動きクラスコードが０のときには、１１個のＳＤ画素のうちの所定の１０個を用いてクラス分類を行い、動きクラスコードが１のときは、残りの１個のＳＤ画素を、所定の１０個のＳＤ画素のうちの所定の１個と替えた１０個のＳＤ画素を用いて、クラス分類を行うようにすることが可能である。
【００９２】
ここで、時空間クラス分類回路２２において、１ビットADRC処理を行うことによりクラス分類を行う場合には、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行うと、時空間クラスコードの場合の数は、（２11）1通りとなる。
【００９３】
一方、上述のように、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合には、１０個のＳＤ画素を用いてのクラス分類の結果得られる時空間クラスコードの場合の数は、（２10）1通りとなる。従って、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行う場合に比較して、一見、時空間クラスコードの場合の数が減ることとなる。
【００９４】
しかしながら、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合には、その変更対象となっている２つのＳＤ画素のうちのいずれを、クラス分類に用いたかの１ビットの情報が必要となるから、その１ビットの情報を加味すれば、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合でも、そのクラス分類により得られる時空間クラスコードの場合の数は、（２10）1×２1通り、即ち、（２11）1通りとなり、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行う場合と同一である。
【００９５】
図２に戻り、係数メモリ１５は、後述するような学習処理が行われることにより得られる複数種類の予測係数を記憶している。即ち、係数メモリ１５は、複数バンクで構成され、各バンクには、対応する種類の予測係数が記憶されている。係数メモリ１５は、レジスタ１８Ｄにセットされている情報（以下、適宜、係数情報という）に基づいて、使用するバンクを設定（選択）し、そのバンクから、クラス分類回路１４から供給されるクラスコードに対応するアドレスに記憶されている予測係数を読み出して、予測演算回路１６に供給する。
【００９６】
予測演算回路１６は、予測タップ構成回路１２から供給される予測タップと、係数メモリ１５から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、ＳＤ画像の解像度を向上させたＨＤ画像の予測値として、画像再構成回路１７に出力する。
【００９７】
画像再構成回路１７は、例えば、予測演算回路１６が出力する予測値から、順次、１フレームの５２５ｐのＨＤ画像を構成して出力する。
【００９８】
なお、ここでは、上述したことから、２６２ｐのＳＤ画像については、１フレームのライン数が２倍のＨＤ画像に変換され、また、５２５ｉのＳＤ画像については、その１フィールドのライン数が２倍のＨＤ画像に変換される。従って、ＨＤ画像の水平同期周波数は、変換前のＳＤ画像の水平同期周波数の２倍となるが、そのような水平同期周波数の変換も、画像再構成回路１７において行われる。
【００９９】
また、本実施の形態では、ＳＤ画像を、５２５ｐのＨＤ画像に変換することとしているが、ＳＤ画像は、５２５ｐ以外の、例えば、１０５０ｉや１０５０ｐ等の各種のフォーマットのＨＤ画像に変換することも可能である。画像構成回路１７において、どのようなフォーマットのＨＤ画像を出力するかは、レジスタ１８Ａにセットされている情報（以下、適宜、ＨＤ画像フォーマット情報という）に基づいて設定される。
【０１００】
レジスタ群１８は、予測タップ構成回路１２、クラスタップ設定回路１３、係数メモリ１５、および画像構成回路１７の機能を設定するための情報を記憶するようになっている。
【０１０１】
即ち、レジスタ群１８は、図２の実施の形態では、４つのレジスタ１８Ａ乃至１８Ｄから構成され、上述したように、レジスタ１８ＡにはＨＤ画像フォーマット情報が、レジスタ１８Ｂには予測タップ構成情報が、レジスタ１８Ｃにはクラスタップ構成情報が、レジスタ１８Ｄには係数情報が、それぞれ、制御信号によってセットされるようになっている。従って、図２の実施の形態において、制御信号は、これらのＨＤ画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報を含んでいる。
【０１０２】
ＨＤ画像フォーマット情報は、機能制御部２において、例えば、ＳＤ画像がテレビジョン画像であるか、またはゲーム画像であるかが判定され、その判定結果に基づいて決定される。即ち、テレビジョン画像は、一般には、自然画であるが、自然画は、画素値の変化が比較的滑らかな部分が多いため、インターレース方式であっても、それほど問題はない。しかしながら、ゲーム画像は、画素値の変化が急峻である部分が多いため、解像度を向上させても、インターレース方式のＨＤ画像（例えば、５２５ｉや１０５０ｉのＨＤ画像）とすると、ラインフリッカ（いわゆる、ちらつき）が目立ち、好ましくない。そこで、機能制御部２は、ＳＤ画像がゲーム画像である場合には、例えば、少なくとも、プログレッシブ方式のＨＤ画像を表すＨＤフォーマット情報を、制御信号に含めて出力する。
【０１０３】
予測タップ構成情報、クラスタップ構成情報、および係数情報は、機能制御部２において、例えば、ＳＤ画像が５２５ｉの画像であるか、または２６２ｐの画像であるかや、画像のアクティビティ、画像に含まれるノイズ等が識別され、その識別結果等に基づいて決定される。
【０１０４】
次に、図５のフローチャートを参照して、データ処理部１が図２に示したような予測装置として構成される場合の、図１の画像処理装置の処理（予測処理）について説明する。
【０１０５】
処理すべきＳＤ画像は、フレーム単位またはフィールド単位で、フレームメモリ１１に、順次供給され、フレームメモリ１１では、そこに供給されるＳＤ画像が記憶される。
【０１０６】
一方、ＳＤ画像は、機能制御部２（図１）にも供給され、機能制御部２は、ステップＳ１において、そのＳＤ画像のフォーマットや種類等を識別し、その識別結果に基づいて、制御信号を生成する。そして、その制御信号が、レジスタ群１８に供給される。これにより、レジスタ群１８のレジスタ１８Ａ乃至１８Ｄには、制御信号にしたがったＨＤ画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、または係数情報が、それぞれセットされる。
【０１０７】
なお、本実施の形態では、ＳＤ画像を、常に、５２５ｐのＨＤ画像に変換することとしているため、ＨＤ画像フォーマット情報としては、そのような情報がセットされる。但し、上述したように、ＨＤ画像フォーマット情報は、ＳＤ画像の種類の識別結果（例えば、テレビジョン画像か、またはゲーム画像か等）に基づいて設定することも可能である。
【０１０８】
以上のようにして、レジスタ群１８に情報がセットされた後は、ステップＳ２において、フレームメモリ１１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ構成回路１２は、フレームメモリ１１に記憶されたＳＤ画像の画素を用いて、注目画素についての予測タップを構成する。さらに、ステップＳ２では、クラスタップ構成回路１３は、フレームメモリ１１に記憶されたＳＤ画像の画素を用いて、注目画素についてのクラスタップを構成する。そして、予測タップは、予測演算回路１６に供給され、クラスタップは、クラス分類回路１４に供給される。
【０１０９】
なお、予測タップ構成回路１２は、レジスタ１８Ｂにセットされた予測タップ構成情報にしたがって、予測タップとするＳＤ画素の選択パターンを設定し、その選択パターンにしたがって、ＳＤ画素を選択することにより、予測タップを構成する。クラスタップ構成回路１３も、レジスタ１８Ｃにセットされたクラスタップ構成情報にしたがって、クラスタップとするＳＤ画素の選択パターンを設定し、その選択パターンにしたがって、ＳＤ画素を選択することにより、クラスタップを構成する。
【０１１０】
その後、ステップＳ３に進み、クラス分類回路１４は、クラスタップ構成回路１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ１５に対して、アドレスとして供給し、ステップＳ４に進む。
【０１１１】
ステップＳ４では、係数メモリ１５は、そこに記憶されている各クラスごとの予測係数のうち、クラス分類回路１４からのクラスコードで表されるアドレスに記憶されているものを読み出し、予測演算回路１６に供給する。
【０１１２】
なお、係数メモリ１５は、自身が有する複数バンクのうちの、レジスタ１８Ｄにセットされた係数情報に対応するものを選択し、その選択しているバンクにおける、クラス分類回路１４からのクラスコードで表されるアドレスに記憶されている予測係数を読み出す。
【０１１３】
予測演算回路１６は、ステップＳ５において、予測タップ構成回路１２から供給される予測タップと、係数メモリ１５から供給される予測係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、画像再構成回路１７に供給する。
【０１１４】
画像再構成回路１７は、ステップＳ６において、予測演算回路１６から、例えば、１フレーム分の予測値が得られたかどうかを判定し、まだ、１フレーム分の予測値が得られていないと判定された場合、ステップＳ２に戻り、ＨＤ画像のフレームを構成する画素のうち、まだ注目画素とされていないものが、新たに注目画素とされ、以下、同様の処理が繰り返される。
【０１１５】
一方、ステップＳ６において、１フレーム分の予測値が得られたと判定された場合、ステップＳ７に進み、画像再構成回路１７は、その１フレーム分の予測値でなる１フレームのＨＤ画像（ここでは、５２５ｐのＨＤ画像）を構成して出力し、ステップＳ１に戻る。そして、次のＨＤ画像のフレームを対象に、ステップＳ１以降の処理を繰り返す。
【０１１６】
次に、図６は、図２の係数メモリ１５に記憶させる予測係数を学習する学習処理を行う学習装置の一実施の形態の構成例を示している。
【０１１７】
教師データとしてのＨＤ画像（以下、適宜、教師画像という）は、例えば、フレーム単位で、フレームメモリ３１に供給され、フレームメモリ３１は、そこに供給される教師画像を順次記憶する。
【０１１８】
ここで、本実施の形態では、図２の予測装置において求められるＨＤ画像は、５２５ｐの画像であるため、教師画像としては、そのような５２５ｐの画像が用いられる。
【０１１９】
間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像を、例えば、フレーム単位で読み出し、ＬＰＦ(Low Pass Filter)をかけることによって、画像の周波数帯域を下げ、さらに、画素の水平方向の間引きおよび垂直方向の間引きを行うことによって、画素数を減少させる。これにより、間引きフィルタ３２は、教師画像の解像度を低下させ、生徒データとしてのＳＤ画像（以下、適宜、生徒画像という）を生成し、フレームメモリ３３に供給する。
【０１２０】
即ち、本実施の形態では、図２の予測装置において、５２５ｉまたは２６２ｐのＳＤ画像から、５２５ｐのＨＤ画像が求められる。さらに、本実施の形態では、５２５ｐのＨＤ画像は、５２５ｉのＳＤ画像についても、２６２ｐのＳＤ画像についても、その横および縦の画素数を２倍にしたものとなっている。
【０１２１】
このため、間引きフィルタ３２は、５２５ｐのＨＤ画像である教師画像から、５２５ｉまたは２６２ｐのＳＤ画像である生徒画像を得るために、まず、教師画像にＬＰＦ（ここでは、いわゆるハーフバンドフィルタ）をかけることによって、その周波数帯域幅を、元の１／２にする。
【０１２２】
さらに、間引きフィルタ３２は、教師画像にＬＰＦをかけて得られる画像の水平方向に並ぶ画素を、１画素ごとに間引き、その画素数を、元の１／２にする。そして、間引きフィルタ３２は、水平方向の画素数を間引いた教師画像の各フレームの水平ラインを、１水平ラインごとに間引き、その水平ライン数を、元の１／２にすることで、２６２ｐのＳＤ画像を、生徒画像として生成する。
【０１２３】
あるいは、また、間引きフィルタ３２は、水平方向の画素数を間引いた教師画像の各フレームの水平ラインのうち、例えば、奇数フレームについては、偶数ライン（偶数番目の水平ライン）を間引き、偶数フレームについては、奇数ラインを間引き、その水平ライン数を、元の１／２にすることで、５２５ｉのＳＤ画像を、生徒画像として生成する。
【０１２４】
なお、間引きフィルタ３２は、生徒画像として、２６２ｐのＳＤ画像、または５２５ｉのＳＤ画像のうちのいずれを生成するかは、レジスタ４０Ａにセットされている情報（以下、適宜、生徒画像フォーマット情報）に基づいて設定する。
【０１２５】
フレームメモリ３３は、間引きフィルタ３２が出力する生徒画像を、例えば、フレーム単位またはフィールド単位で順次記憶する。
【０１２６】
予測タップ構成回路３４は、フレームメモリ３１に記憶された教師画像を構成する画素（以下、適宜、教師画素という）を、順次、注目画素とし、その注目画素の位置に対応する生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画像の画素（以下、適宜、生徒画素という）を、フレームメモリ３３から読み出し、予測係数との乗算に用いる予測タップを構成する。
【０１２７】
即ち、予測タップ構成回路３４は、図２の予測タップ構成回路１２と同様に、レジスタ４０Ｂにセットされている情報（この情報も、以下、適宜、予測タップ構成情報という）に基づいて、予測タップとする生徒画素の選択パターンを設定し、その選択パターンにしたがって、注目画素についての予測タップとなる生徒画素を、フレームメモリ３３に記憶された生徒画像から選択する。そして、予測タップ構成回路３４は、そのような生徒画素で構成される予測タップを、正規方程式加算回路３７に出力する。
【０１２８】
クラスタップ構成回路３５は、注目画素の位置に対応する、生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画素を、フレームメモリ３３から読み出し、クラス分類に用いるクラスタップを構成する。
【０１２９】
即ち、クラスタップ構成回路３５は、図２のクラスタップ構成回路１３と同様に、レジスタ４０Ｃにセットされている情報（この情報も、以下、適宜、クラスタップ構成情報という）に基づいて、クラスタップとする生徒画素の選択パターンを設定し、その選択パターンにしたがって、注目画素についてのクラスタップとなる生徒画素を、フレームメモリ３３に記憶された生徒画像から選択する。そして、クラスタップ構成回路３５は、そのような生徒画素で構成されるクラスタップを、クラス分類回路３６に出力する。
【０１３０】
クラス分類回路３６は、図２のクラス分類回路１４と同様に構成され、クラスタップ構成回路３５からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、正規方程式加算回路３７に供給する。
【０１３１】
なお、クラス分類回路３６には、レジスタ４０Ｃにセットされているクラスタップ構成情報が供給されるようになっているが、これは、図４で説明した、図２のクラス分類回路１４にクラスタップ構成情報が供給されるようになっているのと同様の理由からである。
【０１３２】
正規方程式加算回路３７は、フレームメモリ３１から、注目画素となっている教師画素を読み出し、予測タップ構成回路３４からの予測タップ（を構成する生徒画素）と、注目画素（教師画素）を対象とした足し込みを行う。
【０１３３】
即ち、正規方程式加算回路３７は、クラス分類回路３６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒画素どうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１３４】
さらに、正規方程式加算回路３７は、やはり、クラス分類回路３６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）および注目画素（教師画素）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒画素と注目画素（教師画素）の乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１３５】
正規方程式加算回路３７は、以上の足し込みを、フレームメモリ３１に記憶された教師画素すべてを、注目画素として行い、これにより、クラスごとに、式（８）に示した正規方程式がたてられる。
【０１３６】
予測係数決定回路３８は、正規方程式加算回路３７においてクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を求め、メモリ３９の、各クラスに対応するアドレスに供給する。
【０１３７】
なお、教師画像として用意する画像の数（フレーム数）や、その画像の内容等によっては、正規方程式加算回路３７において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、予測係数決定回路３８は、そのようなクラスについては、例えば、デフォルトの予測係数を出力する。
【０１３８】
メモリ３９は、予測係数決定回路３８から供給される予測係数を記憶する。即ち、メモリ３９は、複数バンクで構成され、各バンクに、対応する種類の予測係数を記憶する。なお、メモリ３９は、レジスタ４０Ｄにセットされている情報（この情報も、以下、適宜、係数情報という）に基づいて、使用するバンクを設定し、そのバンクにおける、クラス分類回路１４から供給されるクラスコードに対応するアドレスに、予測係数決定回路３８から供給される予測係数を記憶する。
【０１３９】
レジスタ群４０は、間引きフィルタ３２、予測タップ構成回路３４、クラスタップ設定回路３５、およびメモリ３９の機能を設定するための情報を記憶する。
【０１４０】
即ち、レジスタ群４０は、図６の実施の形態では、４つのレジスタ４０Ａ乃至４０Ｄから構成され、レジスタ４０Ａには生徒画像フォーマット情報が、レジスタ４０Ｂには予測タップ構成情報が、レジスタ４０Ｃにはクラスタップ構成情報が、レジスタ４０Ｄには係数情報が、それぞれ、図示せぬコントローラ等から供給される制御信号によってセットされる。従って、図６の実施の形態において、制御信号は、これらの生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報を含んでいる。
【０１４１】
制御信号に含まれる生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報は、本実施の形態では、生徒画像を、５２５ｉのＳＤ画像、または２６２ｐのうちのいずれのＳＤ画像とするか等によって決定される。
【０１４２】
次に、図７のフローチャートを参照して、図６の学習装置の処理（学習処理）について説明する。
【０１４３】
予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ３１に供給されるとともに、コントローラ等に、コマンドが供給される。コントローラ等は、ステップＳ２１において、そこに供給されるコマンドに基づいて、制御信号を生成し、その制御信号が、レジスタ群４０に供給される。これにより、レジスタ群４０のレジスタ４０Ａ乃至４０Ｄには、制御信号にしたがった生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、または係数情報が、それぞれセットされる。
【０１４４】
以上のようにして、レジスタ群４０に情報がセットされた後は、ステップＳ２２において、予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ３１に記憶され、ステップＳ２３に進み、正規方程式加算回路３７において、式（８）における、クラスｃごとの行列Ａを記憶するための配列変数A[c]と、ベクトルＶを記憶するための配列変数V[c]とが０に初期化され、ステップＳ２４に進む。
【０１４５】
ステップＳ２４では、間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像を処理することにより、レジスタ４０Ａにセットされた生徒画像フォーマット情報にしたがった生徒画像としての５２５ｉまたは２６２ｐのＳＤ画像を生成する。即ち、間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像に対して、ＬＰＦ(Low Pass Filter)をかけ、さらに、その画素数を間引くことより、教師画像の解像度を低下させた生徒画像を生成する。この生徒画像は、フレームメモリ３３に、順次供給されて記憶される。
【０１４６】
そして、ステップＳ２５に進み、フレームメモリ３１に記憶された教師画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ構成回路３４は、フレームメモリ３３に記憶された生徒画素を、レジスタ４０Ｂにセットされている予測タップ構成情報に対応する選択パターンにしたがって選択することにより、注目画素についての予測タップを構成する。さらに、ステップＳ２５では、クラスタップ構成回路３５は、フレームメモリ３３に記憶された生徒画素を、レジスタ４０Ｃにセットされているクラスタップ構成情報に対応する選択パターンにしたがって選択することにより、注目画素についてのクラスタップを構成する。そして、予測タップは、正規方程式加算回路３７に供給され、クラスタップは、クラス分類回路３６に供給される。
【０１４７】
クラス分類回路３６は、ステップＳ２６において、クラスタップ構成回路３５からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、正規方程式加算回路７に供給し、ステップＳ２７に進む。
【０１４８】
ステップＳ２７では、正規方程式加算回路３７は、フレームメモリ３１から、注目画素となっている教師画素を読み出し、予測タップ（を構成する生徒画素）、注目画素（教師画素）を対象とし、配列変数A[c]とv[c]を用いて、式（８）の行列Ａとベクトルｖの、上述したような足し込みを、クラス分類回路３６からのクラスｃごとに行う。
【０１４９】
そして、ステップＳ２８に進み、フレームメモリ３１に記憶された教師画像を構成する教師画素すべてを注目画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、ステップＳ２５に戻る。この場合、まだ、注目画素されていない教師画素のうちの１つが、新たに注目画素とされ、ステップＳ２５乃至Ｓ２８の処理が繰り返される。
【０１５０】
また、ステップＳ２８において、教師画素すべてを注目画素として、足し込みを行ったと判定された場合、即ち、正規方程式加算回路３７においてクラスごとの正規方程式が得られた場合、ステップＳ２９に進み、予測係数決定回路３８は、そのクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を求め、メモリ３９の、各クラスに対応するアドレスに供給する。
【０１５１】
メモリ３９は、自身が有する複数バンクのうちの、レジスタ４０Ｄにセットされた係数情報に対応するものを選択しており、その選択しているバンクの各アドレスに、予測係数決定回路３８からの、クラスごとの予測係数を記憶し、学習処理を終了する。
【０１５２】
なお、図７の学習処理は、メモリ３９のバンク切り替えが行われるごとに行われる。即ち、学習処理は、予測係数の種類ごとに行われる。
【０１５３】
ここで、本実施の形態では、予測係数の種類として、大きくは、例えば、５２５ｉのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適した予測係数（以下、適宜、５２５ｉ用の予測係数という）と、２６２ｐのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適した予測係数（以下、適宜、２６２ｐ用の予測係数という）との２種類がある。
【０１５４】
さらに、５２５ｉ用の予測係数や、２６２ｐ用の予測係数には、ノイズの比較的少ないＳＤ画像をＨＤ画像に変換するのに適した予測係数や、ノイズの比較的少ないＳＤ画像をＨＤ画像に変換するのに適した予測係数といった種類や、アクティビティの小さいＳＤ画像をＨＤ画像に変換するのに適した予測係数や、アクティビティの大きいＳＤ画像をＨＤ画像に変換するのに適した予測係数といった種類等がある。
【０１５５】
次に、図８は、図１の機能制御部２が、そこに入力されるＳＤ画像のフォーマット（ここでは、５２５ｉのＳＤ画像か、２６２ｐのＳＤ画像か）を識別し、その識別結果に基づいて制御信号を出力する場合の構成例を示している。
【０１５６】
ＨＤ画像に変換する対象のＳＤ画像は、同期信号分離部５１に供給され、同期信号分離部５１は、そこに供給されるＳＤ画像から、水平同期信号および垂直同期信号を分離し、位相検出部５２に供給する。位相検出部５２は、同期信号分離部５１からの垂直同期信号を基準として、同じく同期信号分離部５１からの水平同期信号の位相を検出し、フォーマット判断部５３に出力する。フォーマット判断部５３は、位相検出部５２からの水平同期信号の位相に基づいて、入力されたＳＤ画像が、５２５ｉの画像か、または２６２ｐの画像かを判断し、その判断結果を、制御信号出力部５４に出力する。制御信号出力部５４は、フォーマット判断部５３からの、ＳＤ画像の判断結果に基づいて、制御信号を生成し、図２の予測装置としてのデータ処理部１（図１）に出力する。
【０１５７】
ここで、ＳＤ画像が、５２５ｉの画像である場合の、その信号波形を、図９（Ａ）および図９（Ｂ）に示す。５２５ｉの画像については、奇数フィールドと偶数フィールドが存在し、図９（Ａ）は、奇数フィールドの信号波形を、図９（Ｂ）は、偶数フィールドの信号波形を、それぞれ示している。
【０１５８】
同期信号分離部５１では、図９（Ａ）の奇数フィールドの信号波形や、図９（Ｂ）の偶数フィールドの信号波形から、図９（Ｃ）に示すような垂直同期信号が抽出される。さらに、同期信号分離部５１では、図９（Ａ）の奇数フィールドの信号波形から、図９（Ｄ）に示すような水平同期信号が抽出されるとともに、図９（Ｂ）の偶数フィールドの信号波形から、図９（Ｅ）に示すような水平同期信号が抽出される。
【０１５９】
図９（Ｄ）と図９（Ｅ）とを比較して分かるように、５２５ｉの画像のようなインターレース方式の画像においては、水平同期信号の周期を１Ｈと表すと、その奇数フィールドの水平同期信号と、偶数フィールドの水平同期信号との位相は、１／２Ｈだけずれている。
【０１６０】
従って、インターレース方式の画像については、例えば、いま、図９（Ｃ）と同様の図１０（Ａ）に示す垂直同期信号の立ち下がりエッジのタイミングを基準とした場合において、図１０（Ｂ）に示すように、奇数フィールドの水平同期信号の位相が０であるとすると、偶数フィールドの水平同期信号の位相は、図１０（Ｃ）に示すように、１／２Ｈとなる。即ち、インターレース方式の画像については、垂直同期信号を基準とする水平同期信号の位相が変化することがある（ここでは、位相が０になったり、１／２Ｈになったりする）。
【０１６１】
一方、ＳＤ画像が、２６２ｐの画像である場合の、その各フレームの信号波形は、図１１（Ａ）に示すようになり、同期信号分離部５１では、図１１（Ａ）の信号波形から、図１１（Ｂ）に示すような垂直同期信号が抽出される。さらに、同期信号分離部５１では、図１１（Ａ）の信号波形から、図１１（Ｃ）に示すような水平同期信号が抽出される。
【０１６２】
図１１（Ｂ）と図１１（Ｃ）とを比較して分かるように、２６２ｐの画像のようなプログレッシブ方式の画像においては、図１１（Ｂ）に示す垂直同期信号の立ち下がりエッジのタイミングを基準とした場合において、水平同期信号の位相は、図１１（Ｃ）に示すように、常に一定となる。即ち、プログレッシブ方式の画像については、垂直同期信号を基準とする水平同期信号の位相が変化することはなく、一定である（ここでは、位相が０のままである）。
【０１６３】
従って、ＳＤ画像が、インターレース方式の画像か、またはプログレッシブ方式の画像かは、上述のような水平同期信号の位相の変化の有無によって判断することができ、図８の機能制御部２では、フォーマット判断部５３において、位相検出部５２が検出する、垂直同期信号を基準とする水平同期信号の位相の変化の有無によって、ＳＤ画像が、インターレース方式の画像か、またはプログレッシブ方式の画像かが判断される。
【０１６４】
ＳＤ画像が、インターレース方式の画像と判断（識別）された場合、制御信号出力部５４は、５２５ｉのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適した予測係数を用いるべき旨の係数情報を生成する。さらに、制御信号出力部５４は、インターレース方式の画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１６５】
また、ＳＤ画像が、プログレッシブ方式の画像と判断（識別）された場合、制御信号出力部５４は、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適した予測係数を用いるべき旨の係数情報を生成する。さらに、制御信号出力部５４は、プログレッシブ方式の画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１６６】
なお、図８の機能制御部２において、フォーマット判断部５３には、そこに入力されるＳＤ画像の垂直同期信号の周波数を検出させることも可能であり、この場合、制御信号出力部５４には、各垂直同期周波数のＳＤ画像に適した係数情報や、予測タップ構成情報、クラスタップ構成情報を生成させることが可能である。但し、この場合、図２の予測装置における係数メモリ１５には、各垂直同期周波数のＳＤ画像をＨＤ画像に変換するのに適した予測係数が記憶されていることが必要である。
【０１６７】
また、プログレッシブ方式の画像であっても、例えば、１フレームごとに内容が更新される画像や、２フレームごとに内容が更新される画像があるが、機能制御部２では、このような画像の更新レートを求めるようにすることも可能である。この場合、学習処理（図７）において、各更新レートごとに適した予測係数を求めておき、予測処理（図５）において、入力されるＳＤ画像の更新レートに適した予測係数を用いて、ＨＤ画像を求めるようにすることができる。なお、更新レートは、例えば、フレーム間の相関等に基づいて求めることができる。
【０１６８】
ところで、５２５ｉのＳＤ画像においては、図１２（Ａ）に示すように、奇数フィールドと、偶数フィールドとで、垂直方向の画素の位置が、１水平ライン分ずれており、２６２ｐのＳＤ画像においては、図１２（Ｂ）に示すように、すべてのフレームで、垂直方向の画素の位置は、一定である。なお、図１２において（後述する図１３においても同様）、縦軸は、画像の所定の列における画素の並びを、横軸は、時間を、それぞれ表している。
【０１６９】
また、ここでは、上述したことから、５２５ｉのＳＤ画像の水平ライン上の画素数と、２６２ｐのＳＤ画像の水平ライン上の画素数とは同一であり、従って、５２５ｉのＳＤ画像の１フレーム（奇数フィールドと偶数フィールドの組）における画素数と、２６２ｐのＳＤ画像の２フレームにおける画素数は同一である。
【０１７０】
そこで、いま、図２の予測装置のフレームメモリ１１に、５２５ｉのＳＤ画像は、１フレーム単位で（連続する２フィールド単位で）、２６２ｐのＳＤ画像は、連続する２フレーム単位で、それぞれ記憶させることとする。
【０１７１】
この場合、５２５ｉのＳＤ画像については、その１フレームを構成する画素が、フレームメモリ１１の、例えば、各画素の位置に対応するアドレスに記憶される。
【０１７２】
一方、２６２ｐのＳＤ画像については、その連続する２フレームを構成する画素のうち、奇数フレームの画素は、フレームメモリ１１の、例えば、各画素の位置に対応するアドレスに記憶され、偶数フレームの画素は、フレームメモリ１１の、例えば、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶される。
【０１７３】
即ち、２６２ｐのＳＤ画像については、奇数フレームの画素と、偶数フレームの画素とは同一位置にあるから、奇数フレームの画素を、フレームメモリ１１の、各画素の位置に対応するアドレスに記憶させた場合には、偶数フレームの画素を、フレームメモリ１１の、各画素の位置に対応するアドレスに記憶させることはできないため、フレームメモリ１１の、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶される。
【０１７４】
従って、フレームメモリ１１に入力されるＳＤ画像が、５２５ｉの画像である場合には、問題はないが、２６２ｐの画像である場合には、その偶数フレームの画素が、フレームメモリ１１の、各画素の位置に対応するアドレスではなく、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶されるため、図２の予測装置では、２６２ｐのＳＤ画像を、そのうちの偶数フレームの画素を１水平ライン分だけずらして、いわば、５２５ｉのＳＤ画像に変換したものを対象に、以降の処理が施されることになる。
【０１７５】
一方、図６の学習装置では、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数を求める学習処理は、５２５ｐのＨＤ画像である教師画像と、その教師画像から生成された、２６２ｐのＳＤ画像である生徒画像とを用いて行われる。
【０１７６】
従って、学習処理における場合と、予測処理における場合とで、同一の注目画素について構成される予測タップやクラスタップとして選択されるＳＤ画素が、異なるものとなる。即ち、学習処理における場合と、予測処理における場合とで、同一の注目画素について、異なるＳＤ画素によって、予測タップやクラスタップが構成されることとなる。その結果、２６２ｐのＳＤ画像については、予測処理による解像度の向上が阻害されることとなる。
【０１７７】
そこで、図６の学習装置において、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数を求める学習処理を行う場合には、５２５ｐの教師画像から得られた２６２ｐの画像ではなく、その２６２ｐの画像を、そのうちの偶数フレームの画素を１水平ライン分だけずらして５２５ｉのＳＤ画像に変換したものを、生徒画像として、学習処理を行うようにすることができる。
【０１７８】
これは、例えば、図６の学習装置における間引きフィルタ３２に、図１３に示すような処理を行わせることで実現することができる。
【０１７９】
即ち、５２５ｉのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数（５２５ｉ用の予測係数）を求める学習処理を行う場合には、間引きフィルタ３２に、図１３（Ａ）に示すように、５２５ｐの教師画像から、上述したようにして、５２５ｉのＳＤ画像を生成させ、これを、そのまま生徒画像として用いるようにすれば良い。
【０１８０】
一方、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数（２６２ｐ用の予測係数）を求める学習処理を行う場合には、間引きフィルタ３２に、図１３（Ｂ）に示すように、５２５ｐの教師画像から、上述したようにして、２６２ｐのＳＤ画像を生成させ、さらに、そのＳＤ画像の偶数フレームの画素を１水平ライン分だけ垂直方向にずらして５２５ｉのＳＤ画像に変換し、これを、生徒画像として用いるようにすれば良い。
【０１８１】
このように、５２５ｐの教師画像から、２６２ｐのＳＤ画像を生成し、そのＳＤ画像の偶数フレームの画素を１水平ライン分だけ垂直方向にずらして５２５ｉのＳＤ画像に変換したものを、生徒画像として用いて、学習処理を行うことで、図２の予測装置において、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適切な２６２ｐ用の予測係数を求めることができる。
【０１８２】
なお、２６２ｐ用の予測係数を求める生徒画像を生成するのか、または５２５ｉ用の予測係数を求める生徒画像を生成するのかは、間引きフィルタ３２において、レジスタ４０Ａにセットされている生徒画像フォーマット情報に基づいて選択させることができる。
【０１８３】
以上のようにして求めた、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適切な２６２ｐ用の予測係数を、係数メモリ１５（図２）のあるバンクに記憶させておくことで、２６２ｐのＳＤ画像についても、予測処理によって、その解像度を十分に向上させたＨＤ画像を得ることができる。
【０１８４】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８５】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０１８７】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８８】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１８９】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードやマウス等で構成される入力部１０７が操作されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１９０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１９１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１９２】
なお、本実施の形態では、ＳＤ画像として、２６２ｐと５２５ｉの２種類の画像を用いることとしたが、本発明は、これ以外のフォーマットのＳＤ画像にも対処可能である。
【０１９３】
さらに、本実施の形態では、ＨＤ画素を線形予測するようにしたが、ＨＤ画素は、例えば、２次予測その他の予測方式によって予測することも可能である。
【０１９４】
【発明の効果】
本発明の第１の画像処理装置および画像処理方法、並びに記録媒体によれば、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像が生成され、その生徒画像と教師画像に基づいて、予測係数が求められる。従って、その予測係数を用いることにより、ある画像に対して適切な処理を施すことが可能となる。
【０１９５】
本発明の第２の画像処理装置および画像処理方法、並びに記録媒体によれば、第１の画像のフォーマットが識別され、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第１の画像のフォーマットに対応する種類の予測係数が選択される。そして、その選択された種類の予測係数を用いて、第１の画像から、第２の画像が予測される。従って、第１の画像に対して、そのフォーマットに適した処理を施し、第２の画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１のデータ処理部１を予測装置として構成した場合の構成例を示すブロック図である。
【図３】予測タップおよびクラスタップとなる画素を説明するための図である。
【図４】図２のクラス分類回路１４の構成例を示すブロック図である。
【図５】図２の予測装置による予測処理を説明するためのフローチャートである。
【図６】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図７】図６の学習装置による学習処理を説明するためのフローチャートである。
【図８】図１の機能制御部２の構成例を示すブロック図である。
【図９】図８の機能制御部２の処理を説明するための波形図である。
【図１０】図８の機能制御部２の処理を説明するための波形図である。
【図１１】図８の機能制御部２の処理を説明するための波形図である。
【図１２】５２５ｉと２６２ｐの画像の画素の配置位置を示す図である。
【図１３】教師画像から生徒画像を生成する方法を説明するための図である。
【図１４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ データ処理部， ２ 機能制御部， １１ フレームメモリ， １２ 予測タップ構成回路， １３ クラスタップ構成回路， １４ クラス分類回路，１５ 係数メモリ， １６ 予測演算回路， １７ 画像再構成回路， １８レジスタ群， １８Ａ乃至１８Ｄ レジスタ， ２１ 動きクラス分類回路，２２ 時空間クラス分類回路， ２３ 合成回路， ３１ フレームメモリ，３２ 間引きフィルタ， ３３ フレームメモリ， ３４ 予測タップ構成回路， ３５ クラスタップ構成回路， ３６ クラス分類回路， ３７ 正規方程式加算回路， ３８ 予測係数決定回路， ３９ メモリ， ４０ レジスタ群， ４０Ａ乃至４０Ｄ レジスタ， ５１ 同期信号分離部， ５２ 位相検出部， ５３ フォーマット判断部， ５４ 制御信号出力部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに記録媒体に関し、特に、例えば、各種の画像データに対して、適切な処理を施すことができるようにする画像処理装置および画像処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、ＳＤ(Standard Density)画像をＨＤ(High Density)画像に変換する技術として、クラス分類適応処理を先に提案している。
【０００３】
クラス分類適応処理によれば、例えば、水平ライン数が５２５ラインのインターレース方式のＳＤ画像や、水平ライン数が２６２ラインのプログレッシブ方式（ノンインターレース方式）のＳＤ画像等を、その横および縦の画素数をいずれも２倍にした、水平ライン数が５２５ラインのプログレッシブ方式のＨＤ画像等に変換し、その解像度を向上させることができる。
【０００４】
ここで、例えば、水平ライン数が５２５ラインのインターレース方式の画像を、以下、適宜、その水平ライン数を表す数字（５２５）と、インターレース方式を表すアルファベット（ｉ）とを用いて、５２５ｉと記述する。また、例えば、水平ライン数が２６２ラインのプログレッシブ方式の画像を、以下、適宜、その水平ライン数を表す数字（２６２）と、プログレッシブ方式を表すアルファベット（ｐ）とを用いて、２６２ｐと記述する。この場合、例えば、水平ライン数が５２５ラインのプログレッシブ方式の画像は、５２５ｐと表される。
【０００５】
【発明が解決しようとする課題】
ところで、例えば、ＳＤ画像をＨＤ画像に変換するクラス分類適応処理を行う処理回路を、ハードウェアにより構成する場合には、そのハードウェアは、所定の規格（フォーマット）のＳＤ画像が入力されるものとして、そのＳＤ画像を処理するのに適切な機能を有するように設計、製造等される。
【０００６】
従って、例えば、５２５ｉのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適切なようにクラス分類処理を行うハードウェアでは、２６２ｐのＳＤ画像を処理することができないか、または処理することができても、２６２ｐのＳＤ画像に対して適切なクラス分類適応処理が施されないことがある。
【０００７】
一方、５２５ｉのＳＤ画像に対して適切なクラス分類適応処理を施すハードウェアと、２６２ｐのＳＤ画像に対して適切なクラス分類適応処理を施すハードウェアとを別に用意するのでは、高コスト化を招くことになり、さらに、この場合でも、５２５ｉおよび２６２ｐのＳＤ画像以外のＳＤ画像に対処することは困難である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、各種の画像、即ち、特に、例えば、信号フォーマットの異なる画像に対して適切な処理を施すことができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の第１の画像処理装置は、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成手段と、教師画像と生徒画像に基づいて、予測係数を求める予測係数演算手段とを備えることを特徴とする。
【００１０】
この第１の画像処理装置には、教師画像を構成する画素のうちの、注目している注目画素を予測するのに、予測係数とともに用いる生徒画像の画素を選択し、予測タップとして出力する予測タップ構成手段をさらに設けることができ、この場合、予測係数演算手段には、予測タップおよび教師画像に基づいて、予測係数を求めさせることができる。
【００１１】
第１の画像処理装置には、注目画素を、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒画像の画素を選択し、クラスタップとして出力するクラスタップ構成手段と、クラスタップに基づいて、注目画素のクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、予測係数演算手段には、予測タップおよび教師画像に基づいて、クラスごとの予測係数を求めさせることができる。
【００１２】
第１の画像処理装置において、予測係数は、第１の画像から、第２の画像を線形予測するための、の画像の画素と乗算される係数とすることができる。
【００１３】
第１の画像処理装置は、生徒画像生成手段において、教師画像の画素数を少なくしたものを、そのまま生徒画像とするか、または、教師画像の画素数を少なくし、さらに所定の画面の水平ラインの位置を垂直方向にずらしたものを、生徒画像とするかが選択可能なように構成することができる。
【００１４】
本発明の第１の画像処理方法は、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成ステップと、教師画像と生徒画像に基づいて、予測係数を求める予測係数演算ステップとを備えることを特徴とする。
【００１５】
本発明の第１の記録媒体は、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成ステップと、教師画像と生徒画像に基づいて、予測係数を求める予測係数演算ステップとを備えるプログラムが記録されていることを特徴とする。
【００１６】
本発明の第２の画像処理装置は、第１の画像のフォーマットを識別する識別手段と、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第１の画像のフォーマットに対応する種類の予測係数を選択する選択手段と、選択手段において選択された種類の予測係数を用いて、第１の画像から、第２の画像を予測する予測手段とを備えることを特徴とする。
【００１７】
第２の画像処理装置において、複数種類の予測係数は、教師画像と、その画素数を少なくすることにより生成された生徒画像とから求められた予測係数を、さらに含むものとすることができる。
【００１８】
第２の画像処理装置には、第２の画像を構成する画素のうちの、注目している注目画素を予測するのに、予測係数とともに用いる第１の画像の画素を選択し、予測タップとして出力する予測タップ構成手段をさらに設けることができ、この場合、予測手段には、予測タップおよび予測係数に基づいて、注目画素の予測値を求めさせることができる。
【００１９】
第２の画像処理装置には、注目画素を、幾つかのクラスのうちのいずれかにクラス分類するのに用いる第１の画像の画素を選択し、クラスタップとして出力するクラスタップ構成手段と、クラスタップに基づいて、注目画素のクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、予測手段には、予測タップおよび注目画素のクラスに対応する予測係数に基づいて、注目画素の予測値を求めさせることができる。
【００２０】
第２の画像処理装置において、予測手段には、第１の画像と予測係数とを用いて、第２の画像を線形予測させることができる。
【００２１】
第２の画像処理装置には、複数種類の予測係数を記憶している記憶手段をさらに設けることができる。
【００２２】
本発明の第２の画像処理方法は、第１の画像のフォーマットを識別する識別ステップと、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第１の画像のフォーマットに対応する種類の予測係数を選択する選択ステップと、選択ステップにおいて選択された種類の予測係数を用いて、第１の画像から、第２の画像を予測する予測ステップとを備えることを特徴とする。
【００２３】
本発明の第２の記録媒体は、第１の画像のフォーマットを識別する識別ステップと、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第１の画像のフォーマットに対応する種類の予測係数を選択する選択ステップと、選択ステップにおいて選択された種類の予測係数を用いて、第１の画像から、第２の画像を予測する予測ステップとを備えるプログラムが記録されていることを特徴とする。
【００２４】
本発明の第１の画像処理装置および画像処理方法、並びに記録媒体においては、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像が生成され、その生徒画像と教師画像に基づいて、予測係数が求められる。
【００２５】
本発明の第２の画像処理装置および画像処理方法、並びに記録媒体においては、第１の画像のフォーマットが識別され、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第１の画像のフォーマットに対応する種類の予測係数が選択される。そして、その選択された種類の予測係数を用いて、第１の画像から、第２の画像が予測される。
【００２６】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００２７】
処理すべき画像データであるＳＤ画像は、データ処理部１および機能制御部２に供給されるようになっており、機能制御部２は、後述するようにして、ＳＤ画像のフォーマット等を識別し、その識別結果に基づいて、データ処理部１の機能を制御する制御信号を、データ処理部１に出力する。
【００２８】
データ処理部１は、機能制御部２からの制御信号に基づいて、その内部の機能を設定し、そこに供給されるＳＤ画像を処理する。これにより、データ処理部１は、ＳＤ画像に対して、それに適切な処理を施し、その処理結果であるＨＤ画像を出力する。
【００２９】
従って、データ処理部１では、そこに入力されるＳＤ画像に適切な処理を施すことができるように、その機能が変化し、そのＳＤ画像に処理が施されるので、装置を高コスト化することなく、ＳＤ画像を適切に処理することができる。
【００３０】
なお、図１の画像処理装置においては、機能制御部２に対して、データ処理部１の機能の設定を指令するコマンドを与えることができるようにもなっており、機能制御部２は、コマンドを受信すると、そのコマンドに対応した制御信号を、データ処理部１に出力する。
【００３１】
次に、図１のデータ処理部１について、そこで、例えば、クラス分類適応処理が行われる場合を例に説明するが、その前に、その前段階の準備として、クラス分類適応処理について説明する。
【００３２】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００３３】
即ち、適応処理では、例えば、標準解像度または低解像度の画像（ＳＤ画像）を構成する画素（以下、適宜、ＳＤ画素という）と、所定の予測係数との線形結合により、そのＳＤ画像の解像度を向上させた高解像度の画像（ＨＤ画像）の画素の予測値を求めることで、そのＳＤ画像の解像度を向上させた画像が得られる。
【００３４】
具体的には、例えば、いま、あるＨＤ画像を教師データとするとともに、そのＨＤ画像の解像度を劣化させたＳＤ画像を生徒データとして、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００３５】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【００３６】
式（１）を一般化するために、予測係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
【００３７】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００３８】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【００３９】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００４０】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗjは、自乗誤差
【数３】
【００４１】
従って、上述の自乗誤差を予測係数ｗjで微分したものが０になる場合、即ち、次式を満たす予測係数ｗjが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００４２】
【数４】
【００４３】
そこで、まず、式（３）を、予測係数ｗjで微分することにより、次式が成立する。
【００４４】
【数５】
【００４５】
式（４）および（５）より、式（６）が得られる。
【００４６】
【数６】
【００４７】
さらに、式（３）の残差方程式における生徒データｘij、予測係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００４８】
【数７】
【００４９】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００５０】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適な予測係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００５１】
以上のようにして、最適な予測係数ｗjを求めておき、さらに、その予測係数ｗjを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００５２】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【００５３】
また、ここでは、適応処理について、解像度を向上させる場合を例にして説明したが、適応処理によれば、予測係数を求めるのに用いる教師データおよび生徒データを変えることで、例えば、Ｓ／Ｎ(Signal to Noise Ratio)の向上や、ぼけの改善等の画質の向上を図ることが可能である。
【００５４】
次に、図２は、図１のデータ処理部１が、ＳＤ画像から、その解像度を向上させたＨＤ画像の予測値を求めるクラス分類適応処理としての予測処理を行う予測装置として構成される場合の、その構成例を示している。
【００５５】
この予測装置としてのデータ処理部１では、そこに入力される各種のＳＤ画像に対して、それに適切なクラス分類適応処理が施されることにより、そのＳＤ画像の解像度を向上させたＨＤ画像が得られるようになっている。
【００５６】
なお、ここでは、説明を簡単にするために、例えば、ＳＤ画像として、５２５ｉの画像か、または２６２ｐの画像が入力され、いずれのＳＤ画像についても、５２５ｐの画像が、ＨＤ画像として出力されるものとする。また、例えば、２６２ｐのＳＤ画像のフレームレート、５２５ｉのＳＤ画像のフィールドレート、および５２５ｐのＨＤ画像のフレームレートは、いずれも同一で、例えば、６０Ｈｚとする（よって、５２５ｉのＳＤ画像のフレームレートは３０Ｈｚである）。
【００５７】
従って、ここでは、２６２ｐのＳＤ画像については、その１フレームが、１フレームのＨＤ画像に対応し、５２５ｉのＳＤ画像については、その１フィールドが、１フレームのＨＤ画像に対応する。また、２６２ｐまたは５２５ｉのＳＤ画像の１水平ライン上の画素数と、５２５ｐのＨＤ画像の１水平ライン上の画素数との比は、例えば、１：２であるとする。以上から、２６２ｐのＳＤ画像も、５２５ｉのＳＤ画像も、図３に示すように、その横と縦の画素数を、それぞれ２倍にして解像度を向上させた５２５ｐのＨＤ画像に変換されることとなる。なお、図３において、○印がＳＤ画素を、×印がＨＤ画素を、それぞれ表している。
【００５８】
ここで、５２５ｉの画像として代表的なものとしては、例えば、テレビジョン放送局から放送されてくるテレビジョン放送番組を構成する、ＮＴＳＣ(National Television System Committee)方式の画像（以下、適宜、テレビジョン画像という）があり、また、２６２ｐの画像として代表的なものとしては、例えば、ゲーム機から再生されるゲーム用の画像（以下、適宜、ゲーム画像という）がある。
【００５９】
フレームメモリ１１には、解像度を向上させる対象としてのＳＤ画像が、例えば、１フレームまたは１フィールド単位などで供給されるようになっており、フレームメモリ１１は、そのＳＤ画像を、所定の期間記憶する。
【００６０】
なお、フレームメモリ１１は、複数バンクを有しており、これにより、複数フレームまたはフィールドのＳＤ画像を、同時に記憶しておくことができるようになっている。
【００６１】
予測タップ構成回路１２は、フレームメモリ１１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、フレームメモリ１１のＳＤ画像から選択し、その選択したＳＤ画素によって、予測係数との乗算に用いる予測タップを構成する。
【００６２】
また、予測タップ構成回路１２は、予測タップとするＳＤ画素の選択パターンを、レジスタ１８Ｂにセットされている情報（以下、適宜、予測タップ構成情報という）に基づいて設定する。
【００６３】
即ち、予測タップ構成回路１２は、予測タップ構成情報に基づいて、例えば、図３に示すように、注目画素の位置に最も近い、ＳＤ画像の画素（図３では、Ｐ33とＰ34の２つあるが、ここでは、例えば、Ｐ33とする）、およびその上下左右に隣接する４個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34、並びにＳＤ画素Ｐ33に対応する、１フレーム前のＳＤ画素および１フレーム後のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６４】
また、予測タップ構成回路１２は、予測タップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右に隣接する４個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34、並びにＳＤ画素Ｐ33に対応する、１フィールド前のＳＤ画素および１フィールド後のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６５】
さらに、予測タップ構成回路１２は、予測タップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右に１画素おきに隣接する４個のＳＤ画素Ｐ13，Ｐ53，Ｐ31，Ｐ35、並びにＳＤ画素Ｐ33に対応する、２フレーム前（または２フィールド前）のＳＤ画素、および２フレーム後（または２フィールド後）のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６６】
予測タップ構成回路１２は、予測タップ構成情報に基づいて、上述のように、選択パターンを設定し、その選択パターンにしたがって、注目画素についての予測タップとなるＳＤ画素を、フレームメモリ１１に記憶されたＳＤ画像から選択し、そのようなＳＤ画素で構成される予測タップを、予測演算回路１６に出力する。
【００６７】
なお、予測タップとして選択するＳＤ画素は、上述したパターンのものに限定されるものではない。また、上述の場合には、７個のＳＤ画素で予測タップを構成するようにしたが、予測タップを構成するＳＤ画素の数も、予測タップ構成情報に基づいて、適宜設定することが可能である。
【００６８】
クラスタップ構成回路１３は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、フレームメモリ１１のＳＤ画像から選択し、その選択したＳＤ画素によって、注目画素を幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いるクラスタップを構成する。
【００６９】
また、クラスタップ構成回路１３は、クラスタップとするＳＤ画素の選択パターンを、レジスタ１８Ｃにセットされている情報（以下、適宜、クラスタップ構成情報という）に基づいて設定する。
【００７０】
即ち、クラスタップ構成回路１３は、クラスタップ構成情報に基づいて、例えば、図３に示すように、注目画素の位置に最も近い、ＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に隣接する８個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34，Ｐ22，Ｐ42，Ｐ24，Ｐ44、並びにＳＤ画素Ｐ33に対応する、１フレーム前のＳＤ画素および１フレーム後のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７１】
また、クラスタップ構成回路１３は、クラスタップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に隣接する８個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34，Ｐ22，Ｐ42，Ｐ24，Ｐ44、並びにＳＤ画素Ｐ33に対応する、１フィールド前のＳＤ画素および１フィールド後のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７２】
さらに、クラスタップ構成回路１３は、クラスタップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に１画素おきに隣接する８個のＳＤ画素Ｐ13，Ｐ53，Ｐ31，Ｐ35，Ｐ11，Ｐ51，Ｐ15，Ｐ55、並びにＳＤ画素Ｐ33に対応する、２フレーム前（または２フィールド前）のＳＤ画素、および２フレーム後（または２フィールド後）のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７３】
クラスタップ構成回路１３は、クラスタップ構成情報に基づいて、上述のように、選択パターンを設定し、その選択パターンにしたがって、注目画素についてのクラスタップとなるＳＤ画素を、フレームメモリ１１に記憶されたＳＤ画像から選択し、そのようなＳＤ画素で構成されるクラスタップを、クラス分類回路１４に出力する。
【００７４】
なお、クラスタップとして選択するＳＤ画素も、上述したパターンのものに限定されるものではない。また、上述の場合には、１１個のＳＤ画素でクラスタップを構成するようにしたが、クラスタップを構成するＳＤ画素の数も、クラスタップ構成情報に基づいて、適宜設定することが可能である。
【００７５】
クラス分類回路１４は、クラスタップ構成回路１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ１５に対して、アドレスとして供給する。
【００７６】
ここで、図４は、図２のクラス分類回路１４の構成例を示している。
【００７７】
クラスタップは、動きクラス分類回路２１および時空間クラス分類回路２２に供給されるようになっている。
【００７８】
動きクラス分類回路２１は、例えば、クラスタップを構成するＳＤ画素のうち、時間方向に並ぶものを用いて、注目画素を、画像の動きに注目してクラス分類するようになっている。即ち、動きクラス分類回路２１は、例えば、図３における、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、そのＳＤ画素Ｐ33に対応する、１フィールド前（あるいは、本実施の形態では、２フィールド前や、１フレーム前、２フレーム前等）のＳＤ画素、および１フィールド後（あるいは、本実施の形態では、２フィールド後や、１フレーム後、２フレーム後等）のＳＤ画素の合計３画素を用いて、注目画素をクラス分類する。
【００７９】
具体的には、動きクラス分類回路２１は、上述のように、時間方向に並ぶ３個のＳＤ画素のうちの、時間的に隣接するものどうしの差分絶対値の総和を演算し、その総和値と、所定の閾値との大小関係を判定する。そして、動きクラス分類回路２１は、その大小関係に基づいて、例えば、０または１のクラスコードを、合成回路２３に出力する。
【００８０】
ここで、動きクラス分類回路２１が出力するクラスコードを、以下、適宜、動きクラスコードという。
【００８１】
時空間クラス分類回路２２は、例えば、クラスタップを構成するＳＤ画素のすべてを用いて、注目画素を、画像の空間方向と時間方向とのレベル分布に注目してクラス分類するようになっている。
【００８２】
ここで、時空間クラス分類回路２２においてクラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００８３】
ADRCを用いる方法では、クラスタップを構成するＳＤ画素が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００８４】
なお、KビットADRCにおいては、例えば、クラスタップを構成するＳＤ画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するＳＤ画素がKビットに再量子化される。即ち、クラスタップを構成するＳＤ画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する各ＳＤ画素についてのKビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各ＳＤ画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００８５】
ここで、時空間クラス分類回路２２には、例えば、クラスタップを構成するＳＤ画素のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個のＳＤ画素で構成され、各ＳＤ画素に、Ｋビットが割り当てられているとすると、時空間クラス分類回路２２が出力するクラスコードの場合の数は、（２N）K個となり、画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００８６】
従って、時空間クラス分類回路２２においては、上述のように、画素値のビット数等を、いわば圧縮するADRC処理等のような圧縮処理を行ってから、クラス分類を行うのが好ましい。なお、時空間クラス分類回路２２における圧縮処理としては、ADRC処理に限定されるものではなく、その他、例えば、ベクトル量子化等を用いることも可能である。
【００８７】
ここで、時空間クラス分類回路２２が出力するクラスコードを、以下、適宜、時空間クラスコードという。
【００８８】
合成回路２３は、動きクラス分類回路２１が出力する動きクラスコード（本実施の形態では、１ビットのクラスコード）を表すビット列と、時空間クラス分類回路２２が出力する時空間クラスコードを表すビット列とを、１のビット列として並べる（合成する）ことにより、注目画素の最終的なクラスコードを生成し、係数メモリ１５に出力する。
【００８９】
なお、図４の実施の形態では、レジスタ１８Ｃにセットされたクラスタップ構成情報が、動きクラス分類回路２１、時空間クラス分類回路２２、および合成回路２３に供給されるようになっている。これは、クラスタップ構成回路１３において構成されるクラスタップとしてのＳＤ画素の数が変化する場合があり、その場合に対処するためである。
【００９０】
また、動きクラス分類回路２１で得られた動きクラスコードは、図４において点線で示すように、時空間クラス分類回路２２に供給し、時空間クラス分類回路２２では、動きクラスコードに応じて、クラス分類に用いるＳＤ画素を変更するようにすることが可能である。
【００９１】
即ち、上述の場合には、時空間クラス分類回路２２に対して、１１個のＳＤ画素からなるクラスタップが供給されるが、この場合、時空間クラス分類回路２２においては、例えば、動きクラスコードが０のときには、１１個のＳＤ画素のうちの所定の１０個を用いてクラス分類を行い、動きクラスコードが１のときは、残りの１個のＳＤ画素を、所定の１０個のＳＤ画素のうちの所定の１個と替えた１０個のＳＤ画素を用いて、クラス分類を行うようにすることが可能である。
【００９２】
ここで、時空間クラス分類回路２２において、１ビットADRC処理を行うことによりクラス分類を行う場合には、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行うと、時空間クラスコードの場合の数は、（２11）1通りとなる。
【００９３】
一方、上述のように、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合には、１０個のＳＤ画素を用いてのクラス分類の結果得られる時空間クラスコードの場合の数は、（２10）1通りとなる。従って、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行う場合に比較して、一見、時空間クラスコードの場合の数が減ることとなる。
【００９４】
しかしながら、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合には、その変更対象となっている２つのＳＤ画素のうちのいずれを、クラス分類に用いたかの１ビットの情報が必要となるから、その１ビットの情報を加味すれば、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合でも、そのクラス分類により得られる時空間クラスコードの場合の数は、（２10）1×２1通り、即ち、（２11）1通りとなり、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行う場合と同一である。
【００９５】
図２に戻り、係数メモリ１５は、後述するような学習処理が行われることにより得られる複数種類の予測係数を記憶している。即ち、係数メモリ１５は、複数バンクで構成され、各バンクには、対応する種類の予測係数が記憶されている。係数メモリ１５は、レジスタ１８Ｄにセットされている情報（以下、適宜、係数情報という）に基づいて、使用するバンクを設定（選択）し、そのバンクから、クラス分類回路１４から供給されるクラスコードに対応するアドレスに記憶されている予測係数を読み出して、予測演算回路１６に供給する。
【００９６】
予測演算回路１６は、予測タップ構成回路１２から供給される予測タップと、係数メモリ１５から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、ＳＤ画像の解像度を向上させたＨＤ画像の予測値として、画像再構成回路１７に出力する。
【００９７】
画像再構成回路１７は、例えば、予測演算回路１６が出力する予測値から、順次、１フレームの５２５ｐのＨＤ画像を構成して出力する。
【００９８】
なお、ここでは、上述したことから、２６２ｐのＳＤ画像については、１フレームのライン数が２倍のＨＤ画像に変換され、また、５２５ｉのＳＤ画像については、その１フィールドのライン数が２倍のＨＤ画像に変換される。従って、ＨＤ画像の水平同期周波数は、変換前のＳＤ画像の水平同期周波数の２倍となるが、そのような水平同期周波数の変換も、画像再構成回路１７において行われる。
【００９９】
また、本実施の形態では、ＳＤ画像を、５２５ｐのＨＤ画像に変換することとしているが、ＳＤ画像は、５２５ｐ以外の、例えば、１０５０ｉや１０５０ｐ等の各種のフォーマットのＨＤ画像に変換することも可能である。画像構成回路１７において、どのようなフォーマットのＨＤ画像を出力するかは、レジスタ１８Ａにセットされている情報（以下、適宜、ＨＤ画像フォーマット情報という）に基づいて設定される。
【０１００】
レジスタ群１８は、予測タップ構成回路１２、クラスタップ設定回路１３、係数メモリ１５、および画像構成回路１７の機能を設定するための情報を記憶するようになっている。
【０１０１】
即ち、レジスタ群１８は、図２の実施の形態では、４つのレジスタ１８Ａ乃至１８Ｄから構成され、上述したように、レジスタ１８ＡにはＨＤ画像フォーマット情報が、レジスタ１８Ｂには予測タップ構成情報が、レジスタ１８Ｃにはクラスタップ構成情報が、レジスタ１８Ｄには係数情報が、それぞれ、制御信号によってセットされるようになっている。従って、図２の実施の形態において、制御信号は、これらのＨＤ画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報を含んでいる。
【０１０２】
ＨＤ画像フォーマット情報は、機能制御部２において、例えば、ＳＤ画像がテレビジョン画像であるか、またはゲーム画像であるかが判定され、その判定結果に基づいて決定される。即ち、テレビジョン画像は、一般には、自然画であるが、自然画は、画素値の変化が比較的滑らかな部分が多いため、インターレース方式であっても、それほど問題はない。しかしながら、ゲーム画像は、画素値の変化が急峻である部分が多いため、解像度を向上させても、インターレース方式のＨＤ画像（例えば、５２５ｉや１０５０ｉのＨＤ画像）とすると、ラインフリッカ（いわゆる、ちらつき）が目立ち、好ましくない。そこで、機能制御部２は、ＳＤ画像がゲーム画像である場合には、例えば、少なくとも、プログレッシブ方式のＨＤ画像を表すＨＤフォーマット情報を、制御信号に含めて出力する。
【０１０３】
予測タップ構成情報、クラスタップ構成情報、および係数情報は、機能制御部２において、例えば、ＳＤ画像が５２５ｉの画像であるか、または２６２ｐの画像であるかや、画像のアクティビティ、画像に含まれるノイズ等が識別され、その識別結果等に基づいて決定される。
【０１０４】
次に、図５のフローチャートを参照して、データ処理部１が図２に示したような予測装置として構成される場合の、図１の画像処理装置の処理（予測処理）について説明する。
【０１０５】
処理すべきＳＤ画像は、フレーム単位またはフィールド単位で、フレームメモリ１１に、順次供給され、フレームメモリ１１では、そこに供給されるＳＤ画像が記憶される。
【０１０６】
一方、ＳＤ画像は、機能制御部２（図１）にも供給され、機能制御部２は、ステップＳ１において、そのＳＤ画像のフォーマットや種類等を識別し、その識別結果に基づいて、制御信号を生成する。そして、その制御信号が、レジスタ群１８に供給される。これにより、レジスタ群１８のレジスタ１８Ａ乃至１８Ｄには、制御信号にしたがったＨＤ画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、または係数情報が、それぞれセットされる。
【０１０７】
なお、本実施の形態では、ＳＤ画像を、常に、５２５ｐのＨＤ画像に変換することとしているため、ＨＤ画像フォーマット情報としては、そのような情報がセットされる。但し、上述したように、ＨＤ画像フォーマット情報は、ＳＤ画像の種類の識別結果（例えば、テレビジョン画像か、またはゲーム画像か等）に基づいて設定することも可能である。
【０１０８】
以上のようにして、レジスタ群１８に情報がセットされた後は、ステップＳ２において、フレームメモリ１１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ構成回路１２は、フレームメモリ１１に記憶されたＳＤ画像の画素を用いて、注目画素についての予測タップを構成する。さらに、ステップＳ２では、クラスタップ構成回路１３は、フレームメモリ１１に記憶されたＳＤ画像の画素を用いて、注目画素についてのクラスタップを構成する。そして、予測タップは、予測演算回路１６に供給され、クラスタップは、クラス分類回路１４に供給される。
【０１０９】
なお、予測タップ構成回路１２は、レジスタ１８Ｂにセットされた予測タップ構成情報にしたがって、予測タップとするＳＤ画素の選択パターンを設定し、その選択パターンにしたがって、ＳＤ画素を選択することにより、予測タップを構成する。クラスタップ構成回路１３も、レジスタ１８Ｃにセットされたクラスタップ構成情報にしたがって、クラスタップとするＳＤ画素の選択パターンを設定し、その選択パターンにしたがって、ＳＤ画素を選択することにより、クラスタップを構成する。
【０１１０】
その後、ステップＳ３に進み、クラス分類回路１４は、クラスタップ構成回路１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ１５に対して、アドレスとして供給し、ステップＳ４に進む。
【０１１１】
ステップＳ４では、係数メモリ１５は、そこに記憶されている各クラスごとの予測係数のうち、クラス分類回路１４からのクラスコードで表されるアドレスに記憶されているものを読み出し、予測演算回路１６に供給する。
【０１１２】
なお、係数メモリ１５は、自身が有する複数バンクのうちの、レジスタ１８Ｄにセットされた係数情報に対応するものを選択し、その選択しているバンクにおける、クラス分類回路１４からのクラスコードで表されるアドレスに記憶されている予測係数を読み出す。
【０１１３】
予測演算回路１６は、ステップＳ５において、予測タップ構成回路１２から供給される予測タップと、係数メモリ１５から供給される予測係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、画像再構成回路１７に供給する。
【０１１４】
画像再構成回路１７は、ステップＳ６において、予測演算回路１６から、例えば、１フレーム分の予測値が得られたかどうかを判定し、まだ、１フレーム分の予測値が得られていないと判定された場合、ステップＳ２に戻り、ＨＤ画像のフレームを構成する画素のうち、まだ注目画素とされていないものが、新たに注目画素とされ、以下、同様の処理が繰り返される。
【０１１５】
一方、ステップＳ６において、１フレーム分の予測値が得られたと判定された場合、ステップＳ７に進み、画像再構成回路１７は、その１フレーム分の予測値でなる１フレームのＨＤ画像（ここでは、５２５ｐのＨＤ画像）を構成して出力し、ステップＳ１に戻る。そして、次のＨＤ画像のフレームを対象に、ステップＳ１以降の処理を繰り返す。
【０１１６】
次に、図６は、図２の係数メモリ１５に記憶させる予測係数を学習する学習処理を行う学習装置の一実施の形態の構成例を示している。
【０１１７】
教師データとしてのＨＤ画像（以下、適宜、教師画像という）は、例えば、フレーム単位で、フレームメモリ３１に供給され、フレームメモリ３１は、そこに供給される教師画像を順次記憶する。
【０１１８】
ここで、本実施の形態では、図２の予測装置において求められるＨＤ画像は、５２５ｐの画像であるため、教師画像としては、そのような５２５ｐの画像が用いられる。
【０１１９】
間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像を、例えば、フレーム単位で読み出し、ＬＰＦ(Low Pass Filter)をかけることによって、画像の周波数帯域を下げ、さらに、画素の水平方向の間引きおよび垂直方向の間引きを行うことによって、画素数を減少させる。これにより、間引きフィルタ３２は、教師画像の解像度を低下させ、生徒データとしてのＳＤ画像（以下、適宜、生徒画像という）を生成し、フレームメモリ３３に供給する。
【０１２０】
即ち、本実施の形態では、図２の予測装置において、５２５ｉまたは２６２ｐのＳＤ画像から、５２５ｐのＨＤ画像が求められる。さらに、本実施の形態では、５２５ｐのＨＤ画像は、５２５ｉのＳＤ画像についても、２６２ｐのＳＤ画像についても、その横および縦の画素数を２倍にしたものとなっている。
【０１２１】
このため、間引きフィルタ３２は、５２５ｐのＨＤ画像である教師画像から、５２５ｉまたは２６２ｐのＳＤ画像である生徒画像を得るために、まず、教師画像にＬＰＦ（ここでは、いわゆるハーフバンドフィルタ）をかけることによって、その周波数帯域幅を、元の１／２にする。
【０１２２】
さらに、間引きフィルタ３２は、教師画像にＬＰＦをかけて得られる画像の水平方向に並ぶ画素を、１画素ごとに間引き、その画素数を、元の１／２にする。そして、間引きフィルタ３２は、水平方向の画素数を間引いた教師画像の各フレームの水平ラインを、１水平ラインごとに間引き、その水平ライン数を、元の１／２にすることで、２６２ｐのＳＤ画像を、生徒画像として生成する。
【０１２３】
あるいは、また、間引きフィルタ３２は、水平方向の画素数を間引いた教師画像の各フレームの水平ラインのうち、例えば、奇数フレームについては、偶数ライン（偶数番目の水平ライン）を間引き、偶数フレームについては、奇数ラインを間引き、その水平ライン数を、元の１／２にすることで、５２５ｉのＳＤ画像を、生徒画像として生成する。
【０１２４】
なお、間引きフィルタ３２は、生徒画像として、２６２ｐのＳＤ画像、または５２５ｉのＳＤ画像のうちのいずれを生成するかは、レジスタ４０Ａにセットされている情報（以下、適宜、生徒画像フォーマット情報）に基づいて設定する。
【０１２５】
フレームメモリ３３は、間引きフィルタ３２が出力する生徒画像を、例えば、フレーム単位またはフィールド単位で順次記憶する。
【０１２６】
予測タップ構成回路３４は、フレームメモリ３１に記憶された教師画像を構成する画素（以下、適宜、教師画素という）を、順次、注目画素とし、その注目画素の位置に対応する生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画像の画素（以下、適宜、生徒画素という）を、フレームメモリ３３から読み出し、予測係数との乗算に用いる予測タップを構成する。
【０１２７】
即ち、予測タップ構成回路３４は、図２の予測タップ構成回路１２と同様に、レジスタ４０Ｂにセットされている情報（この情報も、以下、適宜、予測タップ構成情報という）に基づいて、予測タップとする生徒画素の選択パターンを設定し、その選択パターンにしたがって、注目画素についての予測タップとなる生徒画素を、フレームメモリ３３に記憶された生徒画像から選択する。そして、予測タップ構成回路３４は、そのような生徒画素で構成される予測タップを、正規方程式加算回路３７に出力する。
【０１２８】
クラスタップ構成回路３５は、注目画素の位置に対応する、生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画素を、フレームメモリ３３から読み出し、クラス分類に用いるクラスタップを構成する。
【０１２９】
即ち、クラスタップ構成回路３５は、図２のクラスタップ構成回路１３と同様に、レジスタ４０Ｃにセットされている情報（この情報も、以下、適宜、クラスタップ構成情報という）に基づいて、クラスタップとする生徒画素の選択パターンを設定し、その選択パターンにしたがって、注目画素についてのクラスタップとなる生徒画素を、フレームメモリ３３に記憶された生徒画像から選択する。そして、クラスタップ構成回路３５は、そのような生徒画素で構成されるクラスタップを、クラス分類回路３６に出力する。
【０１３０】
クラス分類回路３６は、図２のクラス分類回路１４と同様に構成され、クラスタップ構成回路３５からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、正規方程式加算回路３７に供給する。
【０１３１】
なお、クラス分類回路３６には、レジスタ４０Ｃにセットされているクラスタップ構成情報が供給されるようになっているが、これは、図４で説明した、図２のクラス分類回路１４にクラスタップ構成情報が供給されるようになっているのと同様の理由からである。
【０１３２】
正規方程式加算回路３７は、フレームメモリ３１から、注目画素となっている教師画素を読み出し、予測タップ構成回路３４からの予測タップ（を構成する生徒画素）と、注目画素（教師画素）を対象とした足し込みを行う。
【０１３３】
即ち、正規方程式加算回路３７は、クラス分類回路３６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒画素どうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１３４】
さらに、正規方程式加算回路３７は、やはり、クラス分類回路３６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）および注目画素（教師画素）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒画素と注目画素（教師画素）の乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１３５】
正規方程式加算回路３７は、以上の足し込みを、フレームメモリ３１に記憶された教師画素すべてを、注目画素として行い、これにより、クラスごとに、式（８）に示した正規方程式がたてられる。
【０１３６】
予測係数決定回路３８は、正規方程式加算回路３７においてクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を求め、メモリ３９の、各クラスに対応するアドレスに供給する。
【０１３７】
なお、教師画像として用意する画像の数（フレーム数）や、その画像の内容等によっては、正規方程式加算回路３７において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、予測係数決定回路３８は、そのようなクラスについては、例えば、デフォルトの予測係数を出力する。
【０１３８】
メモリ３９は、予測係数決定回路３８から供給される予測係数を記憶する。即ち、メモリ３９は、複数バンクで構成され、各バンクに、対応する種類の予測係数を記憶する。なお、メモリ３９は、レジスタ４０Ｄにセットされている情報（この情報も、以下、適宜、係数情報という）に基づいて、使用するバンクを設定し、そのバンクにおける、クラス分類回路１４から供給されるクラスコードに対応するアドレスに、予測係数決定回路３８から供給される予測係数を記憶する。
【０１３９】
レジスタ群４０は、間引きフィルタ３２、予測タップ構成回路３４、クラスタップ設定回路３５、およびメモリ３９の機能を設定するための情報を記憶する。
【０１４０】
即ち、レジスタ群４０は、図６の実施の形態では、４つのレジスタ４０Ａ乃至４０Ｄから構成され、レジスタ４０Ａには生徒画像フォーマット情報が、レジスタ４０Ｂには予測タップ構成情報が、レジスタ４０Ｃにはクラスタップ構成情報が、レジスタ４０Ｄには係数情報が、それぞれ、図示せぬコントローラ等から供給される制御信号によってセットされる。従って、図６の実施の形態において、制御信号は、これらの生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報を含んでいる。
【０１４１】
制御信号に含まれる生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報は、本実施の形態では、生徒画像を、５２５ｉのＳＤ画像、または２６２ｐのうちのいずれのＳＤ画像とするか等によって決定される。
【０１４２】
次に、図７のフローチャートを参照して、図６の学習装置の処理（学習処理）について説明する。
【０１４３】
予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ３１に供給されるとともに、コントローラ等に、コマンドが供給される。コントローラ等は、ステップＳ２１において、そこに供給されるコマンドに基づいて、制御信号を生成し、その制御信号が、レジスタ群４０に供給される。これにより、レジスタ群４０のレジスタ４０Ａ乃至４０Ｄには、制御信号にしたがった生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、または係数情報が、それぞれセットされる。
【０１４４】
以上のようにして、レジスタ群４０に情報がセットされた後は、ステップＳ２２において、予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ３１に記憶され、ステップＳ２３に進み、正規方程式加算回路３７において、式（８）における、クラスｃごとの行列Ａを記憶するための配列変数A[c]と、ベクトルＶを記憶するための配列変数V[c]とが０に初期化され、ステップＳ２４に進む。
【０１４５】
ステップＳ２４では、間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像を処理することにより、レジスタ４０Ａにセットされた生徒画像フォーマット情報にしたがった生徒画像としての５２５ｉまたは２６２ｐのＳＤ画像を生成する。即ち、間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像に対して、ＬＰＦ(Low Pass Filter)をかけ、さらに、その画素数を間引くことより、教師画像の解像度を低下させた生徒画像を生成する。この生徒画像は、フレームメモリ３３に、順次供給されて記憶される。
【０１４６】
そして、ステップＳ２５に進み、フレームメモリ３１に記憶された教師画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ構成回路３４は、フレームメモリ３３に記憶された生徒画素を、レジスタ４０Ｂにセットされている予測タップ構成情報に対応する選択パターンにしたがって選択することにより、注目画素についての予測タップを構成する。さらに、ステップＳ２５では、クラスタップ構成回路３５は、フレームメモリ３３に記憶された生徒画素を、レジスタ４０Ｃにセットされているクラスタップ構成情報に対応する選択パターンにしたがって選択することにより、注目画素についてのクラスタップを構成する。そして、予測タップは、正規方程式加算回路３７に供給され、クラスタップは、クラス分類回路３６に供給される。
【０１４７】
クラス分類回路３６は、ステップＳ２６において、クラスタップ構成回路３５からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、正規方程式加算回路７に供給し、ステップＳ２７に進む。
【０１４８】
ステップＳ２７では、正規方程式加算回路３７は、フレームメモリ３１から、注目画素となっている教師画素を読み出し、予測タップ（を構成する生徒画素）、注目画素（教師画素）を対象とし、配列変数A[c]とv[c]を用いて、式（８）の行列Ａとベクトルｖの、上述したような足し込みを、クラス分類回路３６からのクラスｃごとに行う。
【０１４９】
そして、ステップＳ２８に進み、フレームメモリ３１に記憶された教師画像を構成する教師画素すべてを注目画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、ステップＳ２５に戻る。この場合、まだ、注目画素されていない教師画素のうちの１つが、新たに注目画素とされ、ステップＳ２５乃至Ｓ２８の処理が繰り返される。
【０１５０】
また、ステップＳ２８において、教師画素すべてを注目画素として、足し込みを行ったと判定された場合、即ち、正規方程式加算回路３７においてクラスごとの正規方程式が得られた場合、ステップＳ２９に進み、予測係数決定回路３８は、そのクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を求め、メモリ３９の、各クラスに対応するアドレスに供給する。
【０１５１】
メモリ３９は、自身が有する複数バンクのうちの、レジスタ４０Ｄにセットされた係数情報に対応するものを選択しており、その選択しているバンクの各アドレスに、予測係数決定回路３８からの、クラスごとの予測係数を記憶し、学習処理を終了する。
【０１５２】
なお、図７の学習処理は、メモリ３９のバンク切り替えが行われるごとに行われる。即ち、学習処理は、予測係数の種類ごとに行われる。
【０１５３】
ここで、本実施の形態では、予測係数の種類として、大きくは、例えば、５２５ｉのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適した予測係数（以下、適宜、５２５ｉ用の予測係数という）と、２６２ｐのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適した予測係数（以下、適宜、２６２ｐ用の予測係数という）との２種類がある。
【０１５４】
さらに、５２５ｉ用の予測係数や、２６２ｐ用の予測係数には、ノイズの比較的少ないＳＤ画像をＨＤ画像に変換するのに適した予測係数や、ノイズの比較的少ないＳＤ画像をＨＤ画像に変換するのに適した予測係数といった種類や、アクティビティの小さいＳＤ画像をＨＤ画像に変換するのに適した予測係数や、アクティビティの大きいＳＤ画像をＨＤ画像に変換するのに適した予測係数といった種類等がある。
【０１５５】
次に、図８は、図１の機能制御部２が、そこに入力されるＳＤ画像のフォーマット（ここでは、５２５ｉのＳＤ画像か、２６２ｐのＳＤ画像か）を識別し、その識別結果に基づいて制御信号を出力する場合の構成例を示している。
【０１５６】
ＨＤ画像に変換する対象のＳＤ画像は、同期信号分離部５１に供給され、同期信号分離部５１は、そこに供給されるＳＤ画像から、水平同期信号および垂直同期信号を分離し、位相検出部５２に供給する。位相検出部５２は、同期信号分離部５１からの垂直同期信号を基準として、同じく同期信号分離部５１からの水平同期信号の位相を検出し、フォーマット判断部５３に出力する。フォーマット判断部５３は、位相検出部５２からの水平同期信号の位相に基づいて、入力されたＳＤ画像が、５２５ｉの画像か、または２６２ｐの画像かを判断し、その判断結果を、制御信号出力部５４に出力する。制御信号出力部５４は、フォーマット判断部５３からの、ＳＤ画像の判断結果に基づいて、制御信号を生成し、図２の予測装置としてのデータ処理部１（図１）に出力する。
【０１５７】
ここで、ＳＤ画像が、５２５ｉの画像である場合の、その信号波形を、図９（Ａ）および図９（Ｂ）に示す。５２５ｉの画像については、奇数フィールドと偶数フィールドが存在し、図９（Ａ）は、奇数フィールドの信号波形を、図９（Ｂ）は、偶数フィールドの信号波形を、それぞれ示している。
【０１５８】
同期信号分離部５１では、図９（Ａ）の奇数フィールドの信号波形や、図９（Ｂ）の偶数フィールドの信号波形から、図９（Ｃ）に示すような垂直同期信号が抽出される。さらに、同期信号分離部５１では、図９（Ａ）の奇数フィールドの信号波形から、図９（Ｄ）に示すような水平同期信号が抽出されるとともに、図９（Ｂ）の偶数フィールドの信号波形から、図９（Ｅ）に示すような水平同期信号が抽出される。
【０１５９】
図９（Ｄ）と図９（Ｅ）とを比較して分かるように、５２５ｉの画像のようなインターレース方式の画像においては、水平同期信号の周期を１Ｈと表すと、その奇数フィールドの水平同期信号と、偶数フィールドの水平同期信号との位相は、１／２Ｈだけずれている。
【０１６０】
従って、インターレース方式の画像については、例えば、いま、図９（Ｃ）と同様の図１０（Ａ）に示す垂直同期信号の立ち下がりエッジのタイミングを基準とした場合において、図１０（Ｂ）に示すように、奇数フィールドの水平同期信号の位相が０であるとすると、偶数フィールドの水平同期信号の位相は、図１０（Ｃ）に示すように、１／２Ｈとなる。即ち、インターレース方式の画像については、垂直同期信号を基準とする水平同期信号の位相が変化することがある（ここでは、位相が０になったり、１／２Ｈになったりする）。
【０１６１】
一方、ＳＤ画像が、２６２ｐの画像である場合の、その各フレームの信号波形は、図１１（Ａ）に示すようになり、同期信号分離部５１では、図１１（Ａ）の信号波形から、図１１（Ｂ）に示すような垂直同期信号が抽出される。さらに、同期信号分離部５１では、図１１（Ａ）の信号波形から、図１１（Ｃ）に示すような水平同期信号が抽出される。
【０１６２】
図１１（Ｂ）と図１１（Ｃ）とを比較して分かるように、２６２ｐの画像のようなプログレッシブ方式の画像においては、図１１（Ｂ）に示す垂直同期信号の立ち下がりエッジのタイミングを基準とした場合において、水平同期信号の位相は、図１１（Ｃ）に示すように、常に一定となる。即ち、プログレッシブ方式の画像については、垂直同期信号を基準とする水平同期信号の位相が変化することはなく、一定である（ここでは、位相が０のままである）。
【０１６３】
従って、ＳＤ画像が、インターレース方式の画像か、またはプログレッシブ方式の画像かは、上述のような水平同期信号の位相の変化の有無によって判断することができ、図８の機能制御部２では、フォーマット判断部５３において、位相検出部５２が検出する、垂直同期信号を基準とする水平同期信号の位相の変化の有無によって、ＳＤ画像が、インターレース方式の画像か、またはプログレッシブ方式の画像かが判断される。
【０１６４】
ＳＤ画像が、インターレース方式の画像と判断（識別）された場合、制御信号出力部５４は、５２５ｉのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適した予測係数を用いるべき旨の係数情報を生成する。さらに、制御信号出力部５４は、インターレース方式の画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１６５】
また、ＳＤ画像が、プログレッシブ方式の画像と判断（識別）された場合、制御信号出力部５４は、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適した予測係数を用いるべき旨の係数情報を生成する。さらに、制御信号出力部５４は、プログレッシブ方式の画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１６６】
なお、図８の機能制御部２において、フォーマット判断部５３には、そこに入力されるＳＤ画像の垂直同期信号の周波数を検出させることも可能であり、この場合、制御信号出力部５４には、各垂直同期周波数のＳＤ画像に適した係数情報や、予測タップ構成情報、クラスタップ構成情報を生成させることが可能である。但し、この場合、図２の予測装置における係数メモリ１５には、各垂直同期周波数のＳＤ画像をＨＤ画像に変換するのに適した予測係数が記憶されていることが必要である。
【０１６７】
また、プログレッシブ方式の画像であっても、例えば、１フレームごとに内容が更新される画像や、２フレームごとに内容が更新される画像があるが、機能制御部２では、このような画像の更新レートを求めるようにすることも可能である。この場合、学習処理（図７）において、各更新レートごとに適した予測係数を求めておき、予測処理（図５）において、入力されるＳＤ画像の更新レートに適した予測係数を用いて、ＨＤ画像を求めるようにすることができる。なお、更新レートは、例えば、フレーム間の相関等に基づいて求めることができる。
【０１６８】
ところで、５２５ｉのＳＤ画像においては、図１２（Ａ）に示すように、奇数フィールドと、偶数フィールドとで、垂直方向の画素の位置が、１水平ライン分ずれており、２６２ｐのＳＤ画像においては、図１２（Ｂ）に示すように、すべてのフレームで、垂直方向の画素の位置は、一定である。なお、図１２において（後述する図１３においても同様）、縦軸は、画像の所定の列における画素の並びを、横軸は、時間を、それぞれ表している。
【０１６９】
また、ここでは、上述したことから、５２５ｉのＳＤ画像の水平ライン上の画素数と、２６２ｐのＳＤ画像の水平ライン上の画素数とは同一であり、従って、５２５ｉのＳＤ画像の１フレーム（奇数フィールドと偶数フィールドの組）における画素数と、２６２ｐのＳＤ画像の２フレームにおける画素数は同一である。
【０１７０】
そこで、いま、図２の予測装置のフレームメモリ１１に、５２５ｉのＳＤ画像は、１フレーム単位で（連続する２フィールド単位で）、２６２ｐのＳＤ画像は、連続する２フレーム単位で、それぞれ記憶させることとする。
【０１７１】
この場合、５２５ｉのＳＤ画像については、その１フレームを構成する画素が、フレームメモリ１１の、例えば、各画素の位置に対応するアドレスに記憶される。
【０１７２】
一方、２６２ｐのＳＤ画像については、その連続する２フレームを構成する画素のうち、奇数フレームの画素は、フレームメモリ１１の、例えば、各画素の位置に対応するアドレスに記憶され、偶数フレームの画素は、フレームメモリ１１の、例えば、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶される。
【０１７３】
即ち、２６２ｐのＳＤ画像については、奇数フレームの画素と、偶数フレームの画素とは同一位置にあるから、奇数フレームの画素を、フレームメモリ１１の、各画素の位置に対応するアドレスに記憶させた場合には、偶数フレームの画素を、フレームメモリ１１の、各画素の位置に対応するアドレスに記憶させることはできないため、フレームメモリ１１の、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶される。
【０１７４】
従って、フレームメモリ１１に入力されるＳＤ画像が、５２５ｉの画像である場合には、問題はないが、２６２ｐの画像である場合には、その偶数フレームの画素が、フレームメモリ１１の、各画素の位置に対応するアドレスではなく、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶されるため、図２の予測装置では、２６２ｐのＳＤ画像を、そのうちの偶数フレームの画素を１水平ライン分だけずらして、いわば、５２５ｉのＳＤ画像に変換したものを対象に、以降の処理が施されることになる。
【０１７５】
一方、図６の学習装置では、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数を求める学習処理は、５２５ｐのＨＤ画像である教師画像と、その教師画像から生成された、２６２ｐのＳＤ画像である生徒画像とを用いて行われる。
【０１７６】
従って、学習処理における場合と、予測処理における場合とで、同一の注目画素について構成される予測タップやクラスタップとして選択されるＳＤ画素が、異なるものとなる。即ち、学習処理における場合と、予測処理における場合とで、同一の注目画素について、異なるＳＤ画素によって、予測タップやクラスタップが構成されることとなる。その結果、２６２ｐのＳＤ画像については、予測処理による解像度の向上が阻害されることとなる。
【０１７７】
そこで、図６の学習装置において、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数を求める学習処理を行う場合には、５２５ｐの教師画像から得られた２６２ｐの画像ではなく、その２６２ｐの画像を、そのうちの偶数フレームの画素を１水平ライン分だけずらして５２５ｉのＳＤ画像に変換したものを、生徒画像として、学習処理を行うようにすることができる。
【０１７８】
これは、例えば、図６の学習装置における間引きフィルタ３２に、図１３に示すような処理を行わせることで実現することができる。
【０１７９】
即ち、５２５ｉのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数（５２５ｉ用の予測係数）を求める学習処理を行う場合には、間引きフィルタ３２に、図１３（Ａ）に示すように、５２５ｐの教師画像から、上述したようにして、５２５ｉのＳＤ画像を生成させ、これを、そのまま生徒画像として用いるようにすれば良い。
【０１８０】
一方、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数（２６２ｐ用の予測係数）を求める学習処理を行う場合には、間引きフィルタ３２に、図１３（Ｂ）に示すように、５２５ｐの教師画像から、上述したようにして、２６２ｐのＳＤ画像を生成させ、さらに、そのＳＤ画像の偶数フレームの画素を１水平ライン分だけ垂直方向にずらして５２５ｉのＳＤ画像に変換し、これを、生徒画像として用いるようにすれば良い。
【０１８１】
このように、５２５ｐの教師画像から、２６２ｐのＳＤ画像を生成し、そのＳＤ画像の偶数フレームの画素を１水平ライン分だけ垂直方向にずらして５２５ｉのＳＤ画像に変換したものを、生徒画像として用いて、学習処理を行うことで、図２の予測装置において、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適切な２６２ｐ用の予測係数を求めることができる。
【０１８２】
なお、２６２ｐ用の予測係数を求める生徒画像を生成するのか、または５２５ｉ用の予測係数を求める生徒画像を生成するのかは、間引きフィルタ３２において、レジスタ４０Ａにセットされている生徒画像フォーマット情報に基づいて選択させることができる。
【０１８３】
以上のようにして求めた、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適切な２６２ｐ用の予測係数を、係数メモリ１５（図２）のあるバンクに記憶させておくことで、２６２ｐのＳＤ画像についても、予測処理によって、その解像度を十分に向上させたＨＤ画像を得ることができる。
【０１８４】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８５】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０１８７】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８８】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１８９】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードやマウス等で構成される入力部１０７が操作されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１９０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１９１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１９２】
なお、本実施の形態では、ＳＤ画像として、２６２ｐと５２５ｉの２種類の画像を用いることとしたが、本発明は、これ以外のフォーマットのＳＤ画像にも対処可能である。
【０１９３】
さらに、本実施の形態では、ＨＤ画素を線形予測するようにしたが、ＨＤ画素は、例えば、２次予測その他の予測方式によって予測することも可能である。
【０１９４】
【発明の効果】
本発明の第１の画像処理装置および画像処理方法、並びに記録媒体によれば、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像が生成され、その生徒画像と教師画像に基づいて、予測係数が求められる。従って、その予測係数を用いることにより、ある画像に対して適切な処理を施すことが可能となる。
【０１９５】
本発明の第２の画像処理装置および画像処理方法、並びに記録媒体によれば、第１の画像のフォーマットが識別され、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第１の画像のフォーマットに対応する種類の予測係数が選択される。そして、その選択された種類の予測係数を用いて、第１の画像から、第２の画像が予測される。従って、第１の画像に対して、そのフォーマットに適した処理を施し、第２の画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１のデータ処理部１を予測装置として構成した場合の構成例を示すブロック図である。
【図３】予測タップおよびクラスタップとなる画素を説明するための図である。
【図４】図２のクラス分類回路１４の構成例を示すブロック図である。
【図５】図２の予測装置による予測処理を説明するためのフローチャートである。
【図６】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図７】図６の学習装置による学習処理を説明するためのフローチャートである。
【図８】図１の機能制御部２の構成例を示すブロック図である。
【図９】図８の機能制御部２の処理を説明するための波形図である。
【図１０】図８の機能制御部２の処理を説明するための波形図である。
【図１１】図８の機能制御部２の処理を説明するための波形図である。
【図１２】５２５ｉと２６２ｐの画像の画素の配置位置を示す図である。
【図１３】教師画像から生徒画像を生成する方法を説明するための図である。
【図１４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ データ処理部， ２ 機能制御部， １１ フレームメモリ， １２ 予測タップ構成回路， １３ クラスタップ構成回路， １４ クラス分類回路，１５ 係数メモリ， １６ 予測演算回路， １７ 画像再構成回路， １８レジスタ群， １８Ａ乃至１８Ｄ レジスタ， ２１ 動きクラス分類回路，２２ 時空間クラス分類回路， ２３ 合成回路， ３１ フレームメモリ，３２ 間引きフィルタ， ３３ フレームメモリ， ３４ 予測タップ構成回路， ３５ クラスタップ構成回路， ３６ クラス分類回路， ３７ 正規方程式加算回路， ３８ 予測係数決定回路， ３９ メモリ， ４０ レジスタ群， ４０Ａ乃至４０Ｄ レジスタ， ５１ 同期信号分離部， ５２ 位相検出部， ５３ フォーマット判断部， ５４ 制御信号出力部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
Claims (15)
- 第１の画像から、第２の画像を予測するときに用いる予測係数の学習を行う画像処理装置であって、
教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成手段と、
前記教師画像と生徒画像に基づいて、前記予測係数を求める予測係数演算手段と
を備えることを特徴とする画像処理装置。 - 前記教師画像を構成する画素のうちの、注目している注目画素を予測するのに、前記予測係数とともに用いる前記生徒画像の画素を選択し、予測タップとして出力する予測タップ構成手段をさらに備え、
前記予測係数演算手段は、前記予測タップおよび前記教師画像に基づいて、前記予測係数を求める
ことを特徴とする請求項１に記載の画像処理装置。 - 前記注目画素を、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記生徒画像の画素を選択し、クラスタップとして出力するクラスタップ構成手段と、
前記クラスタップに基づいて、前記注目画素のクラスを求めるクラス分類を行うクラス分類手段と
をさらに備え、
前記予測係数演算手段は、前記予測タップおよび前記教師画像に基づいて、前記クラスごとの予測係数を求める
ことを特徴とする請求項２に記載の画像処理装置。 - 前記予測係数は、第１の画像から、第２の画像を線形予測するための、前記第１の画像の画素と乗算される係数である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記生徒画像生成手段において、前記教師画像の画素数を少なくしたものを、そのまま前記生徒画像とするか、または、前記教師画像の画素数を少なくし、さらに所定の画面の水平ラインの位置を垂直方向にずらしたものを、前記生徒画像とするかが選択可能となっている
ことを特徴とする請求項１に記載の画像処理装置。 - 第１の画像から、第２の画像を予測するときに用いる予測係数の学習を行う画像処理方法であって、
教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成ステップと、
前記教師画像と生徒画像に基づいて、前記予測係数を求める予測係数演算ステップと
を備えることを特徴とする画像処理方法。 - 第１の画像から、第２の画像を予測するときに用いる予測係数を学習する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成ステップと、
前記教師画像と生徒画像に基づいて、前記予測係数を求める予測係数演算ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。 - 所定の予測係数を用いて、第１の画像から、第２の画像を予測する画像処理装置であって、
前記第１の画像のフォーマットを識別する識別手段と、
教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、前記第１の画像のフォーマットに対応する種類の予測係数を選択する選択手段と、
前記選択手段において選択された種類の予測係数を用いて、前記第１の画像から、前記第２の画像を予測する予測手段と
を備えることを特徴とする画像処理装置。 - 前記複数種類の予測係数は、前記教師画像と、その画素数を少なくすることにより生成された前記生徒画像とから求められた予測係数を、さらに含む
ことを特徴とする請求項８に記載の画像処理装置。 - 前記第２の画像を構成する画素のうちの、注目している注目画素を予測するのに、前記予測係数とともに用いる前記第１の画像の画素を選択し、予測タップとして出力する予測タップ構成手段をさらに備え、
前記予測手段は、前記予測タップおよび予測係数に基づいて、前記注目画素の予測値を求める
ことを特徴とする請求項８に記載の画像処理装置。 - 前記注目画素を、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記第１の画像の画素を選択し、クラスタップとして出力するクラスタップ構成手段と、
前記クラスタップに基づいて、前記注目画素のクラスを求めるクラス分類を行うクラス分類手段と
をさらに備え、
前記予測手段は、前記予測タップおよび前記注目画素のクラスに対応する前記予測係数に基づいて、前記注目画素の予測値を求める
ことを特徴とする請求項１０に記載の画像処理装置。 - 前記予測手段は、前記第１の画像と予測係数とを用いて、第２の画像を線形予測する
ことを特徴とする請求項８に記載の画像処理装置。 - 前記複数種類の予測係数を記憶している記憶手段をさらに備える
ことを特徴とする請求項８に記載の画像処理装置。 - 所定の予測係数を用いて、第１の画像から、第２の画像を予測する画像処理方法であって、
前記第１の画像のフォーマットを識別する識別ステップと、
教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、前記第１の画像のフォーマットに対応する種類の予測係数を選択する選択ステップと、
前記選択ステップにおいて選択された種類の予測係数を用いて、前記第１の画像から、前記第２の画像を予測する予測ステップと
を備えることを特徴とする画像処理方法。 - 所定の予測係数を用いて、第１の画像から、第２の画像を予測する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記第１の画像のフォーマットを識別する識別ステップと、
教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、前記第１の画像のフォーマットに対応する種類の予測係数を選択する選択ステップと、
前記選択ステップにおいて選択された種類の予測係数を用いて、前記第１の画像から、前記第２の画像を予測する予測ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000112075A JP4457276B2 (ja) | 2000-04-13 | 2000-04-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000112075A JP4457276B2 (ja) | 2000-04-13 | 2000-04-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001298713A JP2001298713A (ja) | 2001-10-26 |
| JP4457276B2 true JP4457276B2 (ja) | 2010-04-28 |
Family
ID=18624305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000112075A Expired - Fee Related JP4457276B2 (ja) | 2000-04-13 | 2000-04-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4457276B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1666500A (zh) * | 2002-06-27 | 2005-09-07 | 汤姆森许可贸易公司 | 检测滤波系数ram并执行自动存储体切换的方法和系统 |
| JP4055203B2 (ja) * | 2002-09-12 | 2008-03-05 | ソニー株式会社 | データ処理装置およびデータ処理方法、記録媒体、並びにプログラム |
| JP4650123B2 (ja) * | 2005-06-27 | 2011-03-16 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP4605468B2 (ja) * | 2006-03-16 | 2011-01-05 | ソニー株式会社 | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
-
2000
- 2000-04-13 JP JP2000112075A patent/JP4457276B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001298713A (ja) | 2001-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| JP4696388B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 | |
| JPH11191880A (ja) | 画像変換装置および画像変換方法、並びに学習装置および学習方法 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP2002218414A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに情報提供媒体 | |
| JP2002196737A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに情報提供媒体 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| KR100968987B1 (ko) | 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 기록 매체 | |
| JP2007006304A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2000115716A (ja) | 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機 | |
| JP4457276B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4310689B2 (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
| JP4512956B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP2000078539A (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4311258B2 (ja) | 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体 | |
| JP2000092455A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4310691B2 (ja) | 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム | |
| JP4305688B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4174891B2 (ja) | 画像情報変換装置および方法 | |
| JP4232430B2 (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100114 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100127 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140219 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |