JP4512956B2 - データ処理装置およびデータ処理方法、並びに記録媒体 - Google Patents
データ処理装置およびデータ処理方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4512956B2 JP4512956B2 JP2000011702A JP2000011702A JP4512956B2 JP 4512956 B2 JP4512956 B2 JP 4512956B2 JP 2000011702 A JP2000011702 A JP 2000011702A JP 2000011702 A JP2000011702 A JP 2000011702A JP 4512956 B2 JP4512956 B2 JP 4512956B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- prediction
- pixel
- class
- tap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、各種の画像データに対して、適切な処理を施すことができるようにするデータ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、ＳＤ(Standard Density)画像をＨＤ(High Density)画像に変換する技術として、クラス分類適応処理を先に提案している。
【０００３】
クラス分類適応処理によれば、例えば、水平ライン数が５２５ラインのインターレース方式のＳＤ画像や、水平ライン数が２６２ラインのプログレッシブ方式（ノンインターレース方式）のＳＤ画像を、その横および縦の画素数をいずれも２倍にした水平ライン数が５２５ラインのプログレッシブ方式のＨＤ画像に変換し、その解像度を向上させることができる。
【０００４】
ここで、例えば、水平ライン数が５２５ラインのインターレース方式の画像を、以下、適宜、その水平ライン数を表す数字（５２５）と、インターレース方式を表すアルファベット（ｉ）とを用いて、５２５ｉと記述する。また、例えば、水平ライン数が２６２ラインのプログレッシブ方式の画像を、以下、適宜、その水平ライン数を表す数字（２６２）と、プログレッシブ方式を表すアルファベット（ｐ）とを用いて、２６２ｐと記述する。この場合、例えば、水平ライン数が５２５ラインのプログレッシブ方式の画像は、５２５ｐと表される。
【０００５】
【発明が解決しようとする課題】
ところで、例えば、ＳＤ画像をＨＤ画像に変換するクラス分類適応処理を行う処理回路を、ハードウェアにより構成する場合には、そのハードウェアは、所定の規格（フォーマット）のＳＤ画像が入力されるものとして、そのＳＤ画像を処理するのに適切な機能を有するように設計、製造等される。
【０００６】
従って、例えば、５２５ｉのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適切なようにクラス分類処理を行うハードウェアでは、２６２ｐのＳＤ画像を処理することができないか、または処理することができても、２６２ｐのＳＤ画像に対して適切なクラス分類適応処理が施されないことがある。
【０００７】
一方、５２５ｉのＳＤ画像に対して適切なクラス分類適応処理を施すハードウェアと、２６２ｐのＳＤ画像に対して適切なクラス分類適応処理を施すハードウェアとを別に用意するのでは、高コスト化を招くことになり、さらに、この場合でも、５２５ｉおよび２６２ｐのＳＤ画像以外のＳＤ画像に対処することは困難である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、各種のＳＤ画像等の入力データに対して適切な処理を施すことができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の一側面のデータ処理装置、又は、記録媒体は、入力データを処理するデータ処理装置であって、前記入力データを識別する識別手段と、前記識別手段による識別結果に基づいて、機能を設定し、前記入力データを処理する処理手段とを備え、前記入力データは、画像データであり、前記処理手段は、新たな画像データの画素のうちの、注目している注目画素を予測するのに、所定の予測係数とともに用いる予測タップを構成する前記画像データの画素を選択し、前記予測タップを構成する予測タップ構成手段と、前記予測タップおよび前記予測係数に基づいて、前記注目画素の予測値を求める予測手段とを有するデータ処理装置、又は、データ処理装置として、コンピュータを機能させるためのプログラムが記録された記録媒体である。
【００２２】
本発明の一側面のデータ処理方法は、入力データを処理するデータ処理方法であって、前記入力データを識別する識別ステップと、前記識別ステップによる識別結果に基づいて、機能を設定し、前記入力データを処理する処理ステップとを備え、前記入力データは、画像データであり、前記処理ステップでは、新たな画像データの画素のうちの、注目している注目画素を予測するのに、所定の予測係数とともに用いる予測タップを構成する前記画像データの画素を選択し、前記予測タップを構成し、前記予測タップおよび前記予測係数に基づいて、前記注目画素の予測値を求めるデータ処理方法である。
【００２４】
本発明の一側面においては、前記入力データが識別され、その識別結果に基づいて、機能が設定され、前記入力データが処理される。前記入力データは、画像データであり、前記入力データの処理では、新たな画像データの画素のうちの、注目している注目画素を予測するのに、所定の予測係数とともに用いる予測タップを構成する前記画像データの画素が選択されて、前記予測タップが構成され、前記予測タップおよび前記予測係数に基づいて、前記注目画素の予測値が求められる。
【００２５】
【発明の実施の形態】
図１は、本発明を適用したデータ処理装置の一実施の形態の構成例を示している。
【００２６】
処理すべき入力データは、データ処理部１および機能制御部２に供給されるようになっており、機能制御部２は、後述するようにして、入力データのフォーマット等を識別し、その識別結果に基づいて、データ処理部１の機能を制御する制御信号を、データ処理部１に出力する。
【００２７】
データ処理部１は、機能制御部２からの制御信号に基づいて、その内部の機能を設定し、そこに供給される入力データを処理する。これにより、データ処理部１は、入力データに対して、それに適切な処理を施し、その処理結果である出力データを出力する。
【００２８】
従って、データ処理部１では、入力データに適切な処理を施すことができるように、その機能が変化し、入力データに処理が施されるので、装置を高コスト化することなく、入力データを適切に処理することができる。
【００２９】
なお、図１のデータ処理装置においては、機能制御部２に対して、データ処理部１の機能の設定を指令するコマンドを与えることができるようにもなっており、機能制御部２は、コマンドを受信すると、そのコマンドに対応した制御信号を、データ処理部１に出力するようになっている。
【００３０】
次に、図１のデータ処理部１について、そこで、例えば、クラス分類適応処理が行われる場合を例に説明するが、その前に、その前段階の準備として、クラス分類適応処理について説明する。
【００３１】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００３２】
即ち、適応処理では、例えば、標準解像度または低解像度の画像（ＳＤ画像）を構成する画素（以下、適宜、ＳＤ画素という）と、所定の予測係数との線形結合により、そのＳＤ画像の解像度を向上させた高解像度の画像（ＨＤ画像）の画素の予測値を求めることで、そのＳＤ画像の解像度を向上させた画像が得られる。
【００３３】
具体的には、例えば、いま、あるＨＤ画像を教師データとするとともに、そのＨＤ画像の解像度を劣化させたＳＤ画像を生徒データとして、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００３４】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【００３５】
式（１）を一般化するために、予測係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【００３６】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００３７】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００３８】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００３９】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００４０】
従って、上述の自乗誤差を予測係数ｗjで微分したものが０になる場合、即ち、次式を満たす予測係数ｗjが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００４１】
【数４】
・・・（４）
【００４２】
そこで、まず、式（３）を、予測係数ｗjで微分することにより、次式が成立する。
【００４３】
【数５】
・・・（５）
【００４４】
式（４）および（５）より、式（６）が得られる。
【００４５】
【数６】
・・・（６）
【００４６】
さらに、式（３）の残差方程式における生徒データｘij、予測係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００４７】
【数７】
・・・（７）
【００４８】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００４９】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適な予測係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００５０】
以上のようにして、最適な予測係数ｗjを求めておき、さらに、その予測係数ｗjを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００５１】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【００５２】
また、ここでは、適応処理について、解像度を向上させる場合を例にして説明したが、適応処理によれば、予測係数を求めるのに用いる教師データおよび生徒データを変えることで、例えば、Ｓ／Ｎ(Signal to Noise Ratio)の向上や、ぼけの改善等の画質の向上を図ることが可能である。
【００５３】
次に、図２は、図１のデータ処理部１が、ＳＤ画像から、その解像度を向上させたＨＤ画像の予測値を求めるクラス分類適応処理としての予測処理を行う予測装置として構成される場合の、その構成例を示している。
【００５４】
この予測装置としてのデータ処理部１では、そこに入力される各種のＳＤ画像に対して、それに適切なクラス分類適応処理が施されることにより、そのＳＤ画像の解像度を向上させたＨＤ画像が得られるようになっている。
【００５５】
なお、ここでは、説明を簡単にするために、例えば、ＳＤ画像として、５２５ｉの画像か、または２６２ｐの画像が入力され、いずれのＳＤ画像についても、５２５ｐの画像が、ＨＤ画像として出力されるものとする。また、例えば、２６２ｐのＳＤ画像のフレームレート、５２５ｉのＳＤ画像のフィールドレート、および５２５ｐのＨＤ画像のフレームレートは、いずれも同一で、例えば、６０Ｈｚとする（よって、５２５ｉのＳＤ画像のフレームレートは３０Ｈｚである）。
【００５６】
従って、ここでは、２６２ｐのＳＤ画像については、その１フレームが、１フレームのＨＤ画像に対応し、５２５ｉのＳＤ画像については、その１フィールドが、１フレームのＨＤ画像に対応する。また、２６２ｐまたは５２５ｉのＳＤ画像の１水平ライン上の画素数と、５２５ｐのＨＤ画像の１水平ライン上の画素数との比は、例えば、１：２であるとする。以上から、２６２ｐのＳＤ画像も、５２５ｉのＳＤ画像も、図３に示すように、その横と縦の画素数を、それぞれ２倍にして解像度を向上させた５２５ｐのＨＤ画像に変換されることとなる。なお、図３において、○印がＳＤ画素を、×印がＨＤ画素を、それぞれ表している。
【００５７】
ここで、５２５ｉの画像として代表的なものとしては、例えば、テレビジョン放送局から放送されてくるテレビジョン放送番組を構成する、ＮＴＳＣ(National Television System Committee)方式の画像（以下、適宜、テレビジョン画像という）があり、また、２６２ｐの画像として代表的なものとしては、例えば、ゲーム機から再生されるゲーム用の画像（以下、適宜、ゲーム画像という）がある。
【００５８】
フレームメモリ１１には、解像度を向上させる対象としてのＳＤ画像が、例えば、１フレームまたは１フィールド単位などで供給されるようになっており、フレームメモリ１１は、そのＳＤ画像を、所定の期間記憶する。
【００５９】
なお、フレームメモリ１１は、複数バンクを有しており、これにより、複数フレームまたはフィールドのＳＤ画像を、同時に記憶しておくことができるようになっている。
【００６０】
予測タップ構成回路１２は、フレームメモリ１１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、フレームメモリ１１のＳＤ画像から選択し、予測係数との乗算に用いる予測タップを構成する。
【００６１】
また、予測タップ構成回路１２は、予測タップとするＳＤ画素の選択パターンを、レジスタ１８Ｂにセットされている情報（以下、適宜、予測タップ構成情報という）に基づいて設定する。
【００６２】
即ち、予測タップ構成回路１２は、予測タップ構成情報に基づいて、例えば、図３に示すように、注目画素の位置に最も近い、ＳＤ画像の画素（図３では、Ｐ33とＰ34の２つあるが、ここでは、例えば、Ｐ33とする）、およびその上下左右に隣接する４個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34、並びにＳＤ画素Ｐ33に対応する、１フレーム前のＳＤ画素および１フレーム後のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６３】
また、予測タップ構成回路１２は、予測タップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右に隣接する４個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34、並びにＳＤ画素Ｐ33に対応する、１フィールド前のＳＤ画素および１フィールド後のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６４】
さらに、予測タップ構成回路１２は、予測タップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右に１画素おきに隣接する４個のＳＤ画素Ｐ13，Ｐ53，Ｐ31，Ｐ35、並びにＳＤ画素Ｐ33に対応する、２フレーム前（または２フィールド前）のＳＤ画素、および２フレーム後（または２フィールド後）のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６５】
予測タップ構成回路１２は、予測タップ構成情報に基づいて、上述のように、選択パターンを設定し、その選択パターンにしたがって、注目画素についての予測タップとなるＳＤ画素を、フレームメモリ１１に記憶されたＳＤ画像から選択し、そのようなＳＤ画素で構成される予測タップを、予測演算回路１６に出力する。
【００６６】
なお、予測タップとして選択するＳＤ画素は、上述したパターンのものに限定されるものではない。また、上述の場合には、７個のＳＤ画素で予測タップを構成するようにしたが、予測タップを構成するＳＤ画素の数も、予測タップ構成情報に基づいて、適宜設定することが可能である。
【００６７】
クラスタップ構成回路１３は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、フレームメモリ１１のＳＤ画像から選択し、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いるクラスタップを構成する。
【００６８】
また、クラスタップ構成回路１３は、クラスタップとするＳＤ画素の選択パターンを、レジスタ１８Ｃにセットされている情報（以下、適宜、クラスタップ構成情報という）に基づいて設定する。
【００６９】
即ち、クラスタップ構成回路１３は、クラスタップ構成情報に基づいて、例えば、図３に示すように、注目画素の位置に最も近い、ＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に隣接する８個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34，Ｐ22，Ｐ42，Ｐ24，Ｐ44、並びにＳＤ画素Ｐ33に対応する、１フレーム前のＳＤ画素および１フレーム後のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７０】
また、クラスタップ構成回路１３は、クラスタップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に隣接する８個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34，Ｐ22，Ｐ42，Ｐ24，Ｐ44、並びにＳＤ画素Ｐ33に対応する、１フィールド前のＳＤ画素および１フィールド後のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７１】
さらに、クラスタップ構成回路１３は、クラスタップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に１画素おきに隣接する８個のＳＤ画素Ｐ13，Ｐ53，Ｐ31，Ｐ35，Ｐ11，Ｐ51，Ｐ15，Ｐ55、並びにＳＤ画素Ｐ33に対応する、２フレーム前（または２フィールド前）のＳＤ画素、および２フレーム後（または２フィールド後）のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７２】
クラスタップ構成回路１３は、クラスタップ構成情報に基づいて、上述のように、選択パターンを設定し、その選択パターンにしたがって、注目画素についてのクラスタップとなるＳＤ画素を、フレームメモリ１１に記憶されたＳＤ画像から選択し、そのようなＳＤ画素で構成されるクラスタップを、クラス分類回路１４に出力する。
【００７３】
なお、クラスタップとして選択するＳＤ画素も、上述したパターンのものに限定されるものではない。また、上述の場合には、１１個のＳＤ画素でクラスタップを構成するようにしたが、クラスタップを構成するＳＤ画素の数も、クラスタップ構成情報に基づいて、適宜設定することが可能である。
【００７４】
クラス分類回路１４は、クラスタップ構成回路１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ１５に対して、アドレスとして供給する。
【００７５】
ここで、図４は、図２のクラス分類回路１４の構成例を示している。
【００７６】
クラスタップは、動きクラス分類回路２１および時空間クラス分類回路２２に供給されるようになっている。
【００７７】
動きクラス分類回路２１は、例えば、クラスタップを構成するＳＤ画素のうち、時間方向に並ぶものを用いて、注目画素を、画像の動きに注目してクラス分類するようになっている。即ち、動きクラス分類回路２１は、例えば、図３における、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、そのＳＤ画素Ｐ33に対応する、１フィールド前（あるいは、本実施の形態では、２フィールド前や、１フレーム前、２フレーム前等）のＳＤ画素、および１フィールド後（あるいは、本実施の形態では、２フィールド後や、１フレーム後、２フレーム後等）のＳＤ画素の合計３画素を用いて、注目画素をクラス分類する。
【００７８】
具体的には、動きクラス分類回路２１は、上述のように、時間方向に並ぶ３個のＳＤ画素のうちの、時間的に隣接するものどうしの差分絶対値の総和を演算し、その総和値と、所定の閾値との大小関係を判定する。そして、動きクラス分類回路２１は、その大小関係に基づいて、例えば、０または１のクラスコードを、合成回路２３に出力する。
【００７９】
ここで、動きクラス分類回路２１が出力するクラスコードを、以下、適宜、動きクラスコードという。
【００８０】
時空間クラス分類回路２２は、例えば、クラスタップを構成するＳＤ画素のすべてを用いて、注目画素を、画像の空間方向と時間方向とのレベル分布に注目してクラス分類するようになっている。
【００８１】
ここで、時空間クラス分類回路２２においてクラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００８２】
ADRCを用いる方法では、クラスタップを構成するＳＤ画素が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００８３】
なお、KビットADRCにおいては、例えば、クラスタップを構成するＳＤ画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するＳＤ画素がKビットに再量子化される。即ち、クラスタップを構成するＳＤ画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する各ＳＤ画素についてのKビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各ＳＤ画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００８４】
ここで、時空間クラス分類回路２２には、例えば、クラスタップを構成するＳＤ画素のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個のＳＤ画素で構成され、各ＳＤ画素に、Ｋビットが割り当てられているとすると、時空間クラス分類回路２２が出力するクラスコードの場合の数は、（２N）K個となり、画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００８５】
従って、時空間クラス分類回路２２においては、上述のように、画素値のビット数等を、いわば圧縮するADRC処理等のような圧縮処理を行ってから、クラス分類を行うのが好ましい。なお、時空間クラス分類回路２２における圧縮処理としては、ADRC処理に限定されるものではなく、その他、例えば、ベクトル量子化等を用いることも可能である。
【００８６】
ここで、時空間クラス分類回路２２が出力するクラスコードを、以下、適宜、時空間クラスコードという。
【００８７】
合成回路２３は、動きクラス分類回路２１が出力する動きクラスコード（本実施の形態では、１ビットのクラスコード）を表すビット列と、時空間クラス分類回路２２が出力する時空間クラスコードを表すビット列とを、１のビット列として並べる（合成する）ことにより、注目画素の最終的なクラスコードを生成し、係数メモリ１５に出力する。
【００８８】
なお、図４の実施の形態では、レジスタ１８Ｃにセットされたクラスタップ構成情報が、動きクラス分類回路２１、時空間クラス分類回路２２、および合成回路２３に供給されるようになっている。これは、クラスタップ構成回路１３において構成されるクラスタップとしてのＳＤ画素の数が変化する場合があり、その場合に対処するためである。
【００８９】
また、動きクラス分類回路２１で得られた動きクラスコードは、図４において点線で示すように、時空間クラス分類回路２２に供給し、時空間クラス分類回路２２では、動きクラスコードに応じて、クラス分類に用いるＳＤ画素を変更するようにすることが可能である。
【００９０】
即ち、上述の場合には、時空間クラス分類回路２２に対して、１１個のＳＤ画素からなるクラスタップが供給されるが、この場合、時空間クラス分類回路２２においては、例えば、動きクラスコードが０のときには、１１個のＳＤ画素のうちの所定の１０個を用いてクラス分類を行い、動きクラスコードが１のときは、残りの１個のＳＤ画素を、所定の１０個のＳＤ画素のうちの所定の１個と替えた１０個のＳＤ画素を用いて、クラス分類を行うようにすることが可能である。
【００９１】
ここで、時空間クラス分類回路２２において、１ビットADRC処理を行うことによりクラス分類を行う場合には、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行うと、時空間クラスコードの場合の数は、（２11）1通りとなる。
【００９２】
一方、上述のように、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合には、１０個のＳＤ画素を用いてのクラス分類の結果得られる時空間クラスコードの場合の数は、（２10）1通りとなる。従って、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行う場合に比較して、一見、時空間クラスコードの場合の数が減ることとなる。
【００９３】
しかしながら、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合には、その変更対象となっている２つのＳＤ画素のうちのいずれを、クラス分類に用いたかの１ビットの情報が必要となるから、その１ビットの情報を加味すれば、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合でも、そのクラス分類により得られる時空間クラスコードの場合の数は、（２10）1×２1通り、即ち、（２11）1通りとなり、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行う場合と同一である。
【００９４】
図２に戻り、係数メモリ１５は、後述するような学習処理が行われることにより得られる複数種類の予測係数を記憶している。即ち、係数メモリ１５は、複数バンクで構成され、各バンクには、対応する種類の予測係数が記憶されている。係数メモリ１５は、レジスタ１８Ｄにセットされている情報（以下、適宜、係数情報という）に基づいて、使用するバンクを設定し、そのバンクから、クラス分類回路１４から供給されるクラスコードに対応するアドレスに記憶されている予測係数を読み出して、予測演算回路１６に供給する。
【００９５】
予測演算回路１６は、予測タップ構成回路１２から供給される予測タップと、係数メモリ１５から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、ＳＤ画像の解像度を向上させたＨＤ画像の予測値として、画像再構成回路１７に出力する。
【００９６】
画像再構成回路１７は、例えば、予測演算回路１６が出力する予測値から、順次、１フレームの５２５ｐのＨＤ画像を構成して出力する。
【００９７】
なお、ここでは、上述したことから、２６２ｐのＳＤ画像については、１フレームのライン数が２倍のＨＤ画像に変換され、また、５２５ｉのＳＤ画像については、その１フィールドのライン数が２倍のＨＤ画像に変換される。従って、ＨＤ画像の水平同期周波数は、変換前のＳＤ画像の水平同期周波数の２倍となるが、そのような水平同期周波数の変換も、画像再構成回路１７において行われる。
【００９８】
また、本実施の形態では、ＳＤ画像を、５２５ｐのＨＤ画像に変換することとしているが、ＳＤ画像は、５２５ｐ以外の、例えば、１０５０ｉや１０５０ｐ等の各種のフォーマットのＨＤ画像に変換することも可能である。画像構成回路１７において、どのようなフォーマットのＨＤ画像を出力するかは、レジスタ１８Ａにセットされている情報（以下、適宜、ＨＤ画像フォーマット情報という）に基づいて設定される。
【００９９】
レジスタ群１８は、予測タップ構成回路１２、クラスタップ設定回路１３、係数メモリ１５、および画像構成回路１７の機能を設定するための情報を記憶するようになっている。
【０１００】
即ち、レジスタ群１８は、図２の実施の形態では、４つのレジスタ１８Ａ乃至１８Ｄから構成され、上述したように、レジスタ１８ＡにはＨＤ画像フォーマット情報が、レジスタ１８Ｂには予測タップ構成情報が、レジスタ１８Ｃにはクラスタップ構成情報が、レジスタ１８Ｄには係数情報が、それぞれ、制御信号によってセットされるようになっている。従って、図２の実施の形態において、制御信号は、これらのＨＤ画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報を含んでいる。
【０１０１】
ＨＤ画像フォーマット情報は、機能制御部２において、例えば、ＳＤ画像がテレビジョン画像であるか、またはゲーム画像であるかが判定され、その判定結果に基づいて決定される。即ち、テレビジョン画像は、一般には、自然画であるが、自然画は、画素値の変化が比較的滑らかな部分が多いため、インターレース方式であっても、それほど問題はない。しかしながら、ゲーム画像は、画素値の変化が急峻である部分が多いため、解像度を向上させても、インターレース方式のＨＤ画像（例えば、５２５ｉや１０５０ｉのＨＤ画像）とすると、ラインフリッカ（いわゆる、ちらつき）が目立ち、好ましくない。そこで、機能制御部２は、ＳＤ画像がゲーム画像である場合には、例えば、少なくとも、プログレッシブ方式のＨＤ画像を表すＨＤフォーマット情報を、制御信号に含めて出力する。
【０１０２】
予測タップ構成情報、クラスタップ構成情報、および係数情報は、機能制御部２において、例えば、ＳＤ画像が５２５ｉの画像であるか、または２６２ｐの画像であるかや、画像のアクティビティ、画像に含まれるノイズ等が識別され、その識別結果等に基づいて決定される。
【０１０３】
次に、図５のフローチャートを参照して、図２の予測装置において行われる、ＳＤ画像の解像度を向上させる予測処理について説明する。
【０１０４】
処理すべきＳＤ画像は、フレーム単位またはフィールド単位で、フレームメモリ１１に、順次供給され、フレームメモリ１１では、そこに供給されるＳＤ画像が記憶される。
【０１０５】
一方、ＳＤ画像は、機能制御部２（図１）にも供給され、機能制御部２は、そのＳＤ画像のフォーマットや種類等を識別し、その識別結果に基づいて、制御信号を生成する。そして、その制御信号が、レジスタ群１８に供給される。これにより、レジスタ群１８のレジスタ１８Ａ乃至１８Ｄには、制御信号にしたがったＨＤ画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、または係数情報が、それぞれセットされる。
【０１０６】
なお、本実施の形態では、ＳＤ画像を、常に、５２５ｐのＨＤ画像に変換することとしているため、ＨＤ画像フォーマット情報としては、そのような情報がセットされる。但し、上述したように、ＨＤ画像フォーマット情報は、ＳＤ画像の種類の識別結果（テレビジョン画像か、ゲーム画像か）に基づいて設定することも可能である。
【０１０７】
以上のようにして、レジスタ群１８に情報がセットされた後は、ステップＳ１において、フレームメモリ１１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ構成回路１２は、フレームメモリ１１に記憶されたＳＤ画像の画素を用いて、注目画素についての予測タップを構成する。さらに、ステップＳ１２では、クラスタップ構成回路１３は、フレームメモリ１１に記憶されたＳＤ画像の画素を用いて、注目画素についてのクラスタップを構成する。そして、予測タップは、予測演算回路１６に供給され、クラスタップは、クラス分類回路１４に供給される。
【０１０８】
なお、予測タップ構成回路１２は、レジスタ１８Ｂにセットされた予測タップ構成情報にしたがって、予測タップとするＳＤ画素の選択パターンを設定し、その選択パターンにしたがって、ＳＤ画素を選択することにより、予測タップを構成する。クラスタップ構成回路１３も、レジスタ１８Ｃにセットされたクラスタップ構成情報にしたがって、クラスタップとするＳＤ画素の選択パターンを設定し、その選択パターンにしたがって、ＳＤ画素を選択することにより、クラスタップを構成する。
【０１０９】
その後、ステップＳ２に進み、クラス分類回路１４は、クラスタップ構成回路１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ１５に対して、アドレスとして供給し、ステップＳ３に進む。
【０１１０】
ステップＳ３では、係数メモリ１５は、そこに記憶されている各クラスごとの予測係数のうち、クラス分類回路１４からのクラスコードで表されるアドレスに記憶されているものを読み出し、予測演算回路１６に供給する。
【０１１１】
なお、係数メモリ１５は、自身が有する複数バンクのうちの、レジスタ１８Ｄにセットされた係数情報に対応するものを選択しており、その選択しているバンクにおける、クラス分類回路１４からのクラスコードで表されるアドレスに記憶されている予測係数を読み出す。
【０１１２】
予測演算回路１６は、ステップＳ４において、予測タップ構成回路１２から供給される予測タップと、係数メモリ１５から供給される予測係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、画像再構成回路１７に供給する。
【０１１３】
画像再構成回路１７は、ステップＳ５において、予測演算回路１６から、例えば、１フレーム分の予測値が得られたかどうかを判定し、まだ、１フレーム分の予測値が得られていないと判定された場合、ステップＳ１に戻り、ＨＤ画像のフレームを構成する画素のうち、まだ注目画素とされていないものが、新たに注目画素とされ、以下、同様の処理が繰り返される。
【０１１４】
一方、ステップＳ５において、１フレーム分の予測値が得られたと判定された場合、ステップＳ６に進み、画像再構成回路１７は、その１フレーム分の予測値でなる１フレームのＨＤ画像（ここでは、５２５ｐのＨＤ画像）を構成して出力し、ステップＳ１に戻る。そして、次のＨＤ画像のフレームを対象に、ステップＳ１以降の処理を繰り返す。
【０１１５】
次に、図６は、図１のデータ処理部１が、予測処理において用いられる予測係数を求めるクラス分類適応処理としての学習処理を行う学習装置として構成される場合の、その構成例を示している。
【０１１６】
教師データとしてのＨＤ画像（以下、適宜、教師画像という）は、例えば、フレーム単位で、フレームメモリ３１に供給され、フレームメモリ３１は、そこに供給される教師画像を順次記憶する。
【０１１７】
ここで、本実施の形態では、図２の予測装置において求められるＨＤ画像は、５２５ｐの画像であるため、教師画像としては、そのような５２５ｐの画像が用いられる。
【０１１８】
間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像を、例えば、フレーム単位で読み出し、ＬＰＦ(Low Pass Filter)をかけることによって、画像の周波数帯域を下げ、さらに、画素の間引きを行うことによって、画素数を減少させる。これにより、間引きフィルタ３２は、教師画像の解像度を低下させ、生徒データとしてのＳＤ画像（以下、適宜、生徒画像という）を生成し、フレームメモリ３３に供給する。
【０１１９】
即ち、本実施の形態では、図２の予測装置において、５２５ｉまたは２６２ｐのＳＤ画像から、５２５ｐのＨＤ画像が求められる。さらに、本実施の形態では、５２５ｐのＨＤ画像は、５２５ｉのＳＤ画像についても、２６２ｐのＳＤ画像についても、その横および縦の画素数を２倍にしたものとなっている。
【０１２０】
このため、間引きフィルタ３２は、５２５ｐのＨＤ画像である教師画像から、５２５ｉまたは２６２ｐのＳＤ画像である生徒画像を得るために、まず、教師画像にＬＰＦ（ここでは、いわゆるハーフバンドフィルタ）をかけることによって、その周波数帯域幅を、元の１／２にする。
【０１２１】
さらに、間引きフィルタ３２は、教師画像にＬＰＦをかけて得られる画像の水平方向に並ぶ画素を、１画素ごとに間引き、その画素数を、元の１／２にする。
そして、間引きフィルタ３２は、水平方向の画素数を間引いた教師画像の各フレームの水平ラインを、１水平ラインごとに間引き、その水平ライン数を、元の１／２にすることで、２６２ｐのＳＤ画像を、生徒画像として生成する。
【０１２２】
あるいは、また、間引きフィルタ３２は、水平方向の画素数を間引いた教師画像の各フレームの水平ラインのうち、例えば、奇数フレームについては、偶数ライン（偶数番目の水平ライン）を間引き、偶数フレームについては、奇数ラインを間引き、その水平ライン数を、元の１／２にすることで、５２５ｉのＳＤ画像を、生徒画像として生成する。
【０１２３】
なお、間引きフィルタ３２は、生徒画像として、２６２ｐのＳＤ画像、または５２５ｉのＳＤ画像のうちのいずれを生成するかは、レジスタ４０Ａにセットされている情報（以下、適宜、生徒画像フォーマット情報）に基づいて設定するようになっている。
【０１２４】
フレームメモリ３３は、間引きフィルタ３２が出力する生徒画像を、例えば、フレーム単位またはフィールド単位で順次記憶する。
【０１２５】
予測タップ構成回路３４は、フレームメモリ３１に記憶された教師画像を構成する画素（以下、適宜、教師画素という）を、順次、注目画素とし、その注目画素の位置に対応する生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画像の画素（以下、適宜、生徒画素という）を、フレームメモリ３３から読み出し、予測係数との乗算に用いる予測タップを構成する。
【０１２６】
即ち、予測タップ構成回路３４は、図２の予測タップ構成回路１２と同様に、レジスタ４０Ｂにセットされている情報（この情報も、以下、適宜、予測タップ構成情報という）に基づいて、予測タップとする生徒画素の選択パターンを設定し、その選択パターンにしたがって、注目画素についての予測タップとなる生徒画素を、フレームメモリ３３に記憶された生徒画像から選択する。そして、予測タップ構成回路３４は、そのような生徒画素で構成される予測タップを、正規方程式加算回路３７に出力する。
【０１２７】
クラスタップ構成回路３５は、注目画素の位置に対応する、生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画素を、フレームメモリ３３から読み出し、クラス分類に用いるクラスタップを構成する。
【０１２８】
即ち、クラスタップ構成回路３５は、図２のクラスタップ構成回路１３と同様に、レジスタ４０Ｃにセットされている情報（この情報も、以下、適宜、クラスタップ構成情報という）に基づいて、クラスタップとする生徒画素の選択パターンを設定し、その選択パターンにしたがって、注目画素についてのクラスタップとなる生徒画素を、フレームメモリ３３に記憶された生徒画像から選択する。そして、クラスタップ構成回路３５は、そのような生徒画素で構成されるクラスタップを、クラス分類回路３６に出力する。
【０１２９】
クラス分類回路３６は、図２のクラス分類回路１４と同様に構成され、クラスタップ構成回路３５からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、正規方程式加算回路３７に供給する。
【０１３０】
なお、クラス分類回路３６には、レジスタ４０Ｃにセットされているクラスタップ構成情報が供給されるようになっているが、これは、図４で説明した、図２のクラス分類回路１４にクラスタップ構成情報が供給されるようになっているのと同様の理由からである。
【０１３１】
正規方程式加算回路３７は、フレームメモリ３１から、注目画素となっている教師画素を読み出し、予測タップ構成回路３４からの予測タップ（を構成する生徒画素）と、注目画素（教師画素）を対象とした足し込みを行う。
【０１３２】
即ち、正規方程式加算回路３７は、クラス分類回路３６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒画素どうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１３３】
さらに、正規方程式加算回路３７は、やはり、クラス分類回路３６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）および注目画素（教師画素）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒画素と注目画素（教師画素）の乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１３４】
正規方程式加算回路３７は、以上の足し込みを、フレームメモリ３１に記憶された教師画素すべてを、注目画素として行い、これにより、クラスごとに、式（８）に示した正規方程式がたてられる。
【０１３５】
予測係数決定回路３８は、正規方程式加算回路３７においてクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を求め、メモリ３９の、各クラスに対応するアドレスに供給する。
【０１３６】
なお、教師画像として用意する画像の数（フレーム数）や、その画像の内容等によっては、正規方程式加算回路３７において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、予測係数決定回路３８は、そのようなクラスについては、例えば、デフォルトの予測係数を出力する。
【０１３７】
メモリ３９は、予測係数決定回路３８から供給される予測係数を記憶する。即ち、メモリ３９は、複数バンクで構成され、各バンクに、対応する種類の予測係数を記憶する。なお、メモリ３９は、レジスタ４０Ｄにセットされている情報（この情報も、以下、適宜、係数情報という）に基づいて、使用するバンクを設定し、そのバンクにおける、クラス分類回路１４から供給されるクラスコードに対応するアドレスに、予測係数決定回路３８から供給される予測係数を記憶する。
【０１３８】
レジスタ群４０は、間引きフィルタ３２、予測タップ構成回路３４、クラスタップ設定回路３５、およびメモリ３９の機能を設定するための情報を記憶するようになっている。
【０１３９】
即ち、レジスタ群４０は、図６の実施の形態では、４つのレジスタ４０Ａ乃至４０Ｄから構成され、レジスタ４０Ａには生徒画像フォーマット情報が、レジスタ４０Ｂには予測タップ構成情報が、レジスタ４０Ｃにはクラスタップ構成情報が、レジスタ４０Ｄには係数情報が、それぞれ、制御信号によってセットされるようになっている。従って、図６の実施の形態において、制御信号は、これらの生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報を含んでいる。
【０１４０】
生徒画像フォーマット情報は、機能制御部２において、例えば、そこに入力されるコマンドに基づいて決定される。即ち、機能制御部２は、生徒画像を、５２５ｉのＳＤ画像、または２６２ｐのＳＤ画像とする旨のコマンドを受信すると、そのコマンドにしたがって、生徒画像フォーマット情報を決定する。
【０１４１】
予測タップ構成情報、クラスタップ構成情報、および係数情報は、機能制御部２において、例えば、生徒画像が５２５ｉの画像であるか、または２６２ｐの画像であるかが、コマンドに基づいて識別され、あるいは、画像のアクティビティ等が、その画像に基づいて識別され、その識別結果に基づいて決定される。
【０１４２】
次に、図７のフローチャートを参照して、図６の学習装置により行われる、予測係数の学習処理について説明する。
【０１４３】
予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ３１に供給されるとともに、機能制御部２（図１）にも供給され、さらに、機能制御部２には、コマンドも供給される。機能制御部２は、そこに供給される教師画像やコマンドに基づいて、制御信号を生成し、その制御信号が、レジスタ群４０に供給される。これにより、レジスタ群４０のレジスタ４０Ａ乃至４０Ｄには、制御信号にしたがった生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、または係数情報が、それぞれセットされる。
【０１４４】
以上のようにして、レジスタ群４０に情報がセットされた後は、ステップＳ２１において、予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ３１に記憶され、ステップＳ２２に進み、正規方程式加算回路３７において、式（８）における、クラスｃごとの行列Ａを記憶するための配列変数A[c]と、ベクトルＶを記憶するための配列変数V[c]とが０に初期化され、ステップＳ２３に進む。
【０１４５】
ステップＳ２３では、間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像を処理することにより、レジスタ４０Ａにセットされた生徒画像フォーマット情報にしたがった生徒画像としての５２５ｉまたは２６２ｐのＳＤ画像を生成する。即ち、間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像に対して、ＬＰＦ(Low Pass Filter)をかけ、さらに、その画素数を間引くことより、教師画像の解像度を低下させた生徒画像を生成する。この生徒画像は、フレームメモリ３３に、順次供給されて記憶される。
【０１４６】
そして、ステップＳ２４に進み、フレームメモリ３１に記憶された教師画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ構成回路３４は、フレームメモリ３３に記憶された生徒画素を、レジスタ４０Ｂにセットされている予測タップ構成情報に対応する選択パターンにしたがって選択することにより、注目画素についての予測タップを構成する。さらに、ステップＳ２４では、クラスタップ構成回路３５は、フレームメモリ３３に記憶された生徒画素を、レジスタ４０Ｃにセットされているクラスタップ構成情報に対応する選択パターンにしたがって選択することにより、注目画素についてのクラスタップを構成する。そして、予測タップは、正規方程式加算回路３７に供給され、クラスタップは、クラス分類回路３６に供給される。
【０１４７】
クラス分類回路３６は、ステップＳ２５において、クラスタップ構成回路３５からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、正規方程式加算回路７に供給し、ステップＳ２６に進む。
【０１４８】
ステップＳ２６では、正規方程式加算回路３７は、フレームメモリ３１から、注目画素となっている教師画素を読み出し、予測タップ（を構成する生徒画素）、注目画素（教師画素）を対象とし、配列変数A[c]とv[c]を用いて、式（８）の行列Ａとベクトルｖの、上述したような足し込みを、クラス分類回路３６からのクラスｃごとに行う。
【０１４９】
そして、ステップＳ２７に進み、フレームメモリ３１に記憶された教師画像を構成する教師画素すべてを注目画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、ステップＳ２４に戻る。この場合、まだ、注目画素されていない教師画素のうちの１つが、新たに注目画素とされ、ステップＳ２４乃至Ｓ２７の処理が繰り返される。
【０１５０】
また、ステップＳ２７において、教師画素すべてを注目画素として、足し込みを行ったと判定された場合、即ち、正規方程式加算回路３７においてクラスごとの正規方程式が得られた場合、ステップＳ２８に進み、予測係数決定回路３８は、そのクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を求め、メモリ３９の、各クラスに対応するアドレスに供給する。
【０１５１】
メモリ３９は、自身が有する複数バンクのうちの、レジスタ４０Ｄにセットされた係数情報に対応するものを選択しており、その選択しているバンクの各アドレスに、予測係数決定回路３８からの、クラスごとの予測係数を記憶し、学習処理を終了する。
【０１５２】
なお、図７の学習処理は、メモリ３９のバンク切り替えが行われるごとに行われる。即ち、学習処理は、予測係数の種類ごとに行われる。
【０１５３】
ここで、本実施の形態では、予測係数の種類として、大きくは、例えば、５２５ｉのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適した予測係数（以下、適宜、５２５ｉ用の予測係数という）と、２６２ｐのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適した予測係数（以下、適宜、２６２ｐ用の予測係数という）との２種類がある。
【０１５４】
さらに、５２５ｉ用の予測係数や、２６２ｐ用の予測係数には、ノイズの比較的少ないＳＤ画像をＨＤ画像に変換するのに適した予測係数や、ノイズの比較的少ないＳＤ画像をＨＤ画像に変換するのに適した予測係数といった種類や、アクティビティの小さいＳＤ画像をＨＤ画像に変換するのに適した予測係数や、アクティビティの大きいＳＤ画像をＨＤ画像に変換するのに適した予測係数といった種類等がある。
【０１５５】
次に、機能制御部２（図１）において、そこに入力される画像を識別する方法と、その識別結果に基づいて行われる、図２の予測装置または図６の学習装置の機能の設定について説明する。
【０１５６】
まず、図８は、予測装置においてＨＤ画像に変換するＳＤ画像のフォーマット（５２５ｉのＳＤ画像か、２６２ｐのＳＤ画像か）を識別し、その識別結果に基づいて制御信号を出力する機能制御部２の構成例を示している。
【０１５７】
ＨＤ画像に変換する対象のＳＤ画像は、同期信号分離部５１に供給され、同期信号分離部５１は、そこに供給されるＳＤ画像から、水平同期信号および垂直同期信号を分離し、位相検出部５２に供給する。位相検出部５２は、同期信号分離部５１からの垂直同期信号を基準として、同じく同期信号分離部５１からの水平同期信号の位相を検出し、フォーマット判断部５３に出力する。フォーマット判断部５３は、位相検出部５２からの水平同期信号の位相に基づいて、入力されたＳＤ画像が、５２５ｉの画像か、または２６２ｐの画像かを判断し、その判断結果を、制御信号出力部５４に出力する。制御信号出力部５４は、フォーマット判断部５３からの、ＳＤ画像の判断結果に基づいて、制御信号を生成し、図２の予測装置としてのデータ処理部１（図１）に出力する。
【０１５８】
ここで、ＳＤ画像が、５２５ｉの画像である場合の、その信号波形を、図９（Ａ）および図９（Ｂ）に示す。５２５ｉの画像については、奇数フィールドと偶数フィールドが存在し、図９（Ａ）は、奇数フィールドの信号波形を、図９（Ｂ）は、偶数フィールドの信号波形を、それぞれ示している。
【０１５９】
同期信号分離部５１では、図９（Ａ）の奇数フィールドの信号波形や、図９（Ｂ）の偶数フィールドの信号波形から、図９（Ｃ）に示すような垂直同期信号が抽出される。さらに、同期信号分離部５１では、図９（Ａ）の奇数フィールドの信号波形から、図９（Ｄ）に示すような水平同期信号が抽出されるとともに、図９（Ｂ）の偶数フィールドの信号波形から、図９（Ｅ）に示すような水平同期信号が抽出される。
【０１６０】
図９（Ｄ）と図９（Ｅ）とを比較して分かるように、５２５ｉの画像のようなインターレース方式の画像においては、水平同期信号の周期を１Ｈと表すと、その奇数フィールドの水平同期信号と、偶数フィールドの水平同期信号との位相は、１／２Ｈだけずれている。
【０１６１】
従って、インターレース方式の画像については、例えば、いま、図９（Ｃ）と同様の図１０（Ａ）に示す垂直同期信号の立ち下がりエッジのタイミングを基準とした場合において、図１０（Ｂ）に示すように、奇数フィールドの水平同期信号の位相が０であるとすると、偶数フィールドの水平同期信号の位相は、図１０（Ｃ）に示すように、１／２Ｈとなる。即ち、インターレース方式の画像については、垂直同期信号を基準とする水平同期信号の位相が変化することがある（ここでは、位相が０になったり、１／２Ｈになったりする）。
【０１６２】
一方、ＳＤ画像が、２６２ｐの画像である場合の、その各フレームの信号波形は、図１１（Ａ）に示すようになり、同期信号分離部５１では、図１１（Ａ）の信号波形から、図１１（Ｂ）に示すような垂直同期信号が抽出される。さらに、同期信号分離部５１では、図１１（Ａ）の信号波形から、図１１（Ｃ）に示すような水平同期信号が抽出される。
【０１６３】
図１１（Ｂ）と図１１（Ｃ）とを比較して分かるように、２６２ｐの画像のようなプログレッシブ方式の画像においては、図１１（Ｂ）に示す垂直同期信号の立ち下がりエッジのタイミングを基準とした場合において、水平同期信号の位相は、図１１（Ｃ）に示すように、常に一定となる。即ち、プログレッシブ方式の画像については、垂直同期信号を基準とする水平同期信号の位相が変化することはなく、一定である（ここでは、位相が０のままである）。
【０１６４】
従って、ＳＤ画像が、インターレース方式の画像か、またはプログレッシブ方式の画像かは、上述のような水平同期信号の位相の変化の有無によって判断することができ、図８の機能制御部２では、フォーマット判断部５３において、位相検出部５２が検出する、垂直同期信号を基準とする水平同期信号の位相の変化の有無によって、ＳＤ画像が、インターレース方式の画像か、またはプログレッシブ方式の画像かが判断される。
【０１６５】
ＳＤ画像が、インターレース方式の画像と判断（識別）された場合、制御信号出力部５４は、５２５ｉのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適した予測係数を用いるべき旨の係数情報を生成する。さらに、制御信号出力部５４は、インターレース方式の画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１６６】
また、ＳＤ画像が、プログレッシブ方式の画像と判断（識別）された場合、制御信号出力部５４は、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適した予測係数を用いるべき旨の係数情報を生成する。さらに、制御信号出力部５４は、プログレッシブ方式の画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１６７】
なお、図８の機能制御部２において、フォーマット判断部５３には、そこに入力されるＳＤ画像の垂直同期信号の周波数を検出させることも可能であり、この場合、制御信号出力部５４には、各垂直同期周波数のＳＤ画像に適した係数情報や、予測タップ構成情報、クラスタップ構成情報を生成させることが可能である。但し、この場合、図２の予測装置における係数メモリ１５には、各垂直同期周波数のＳＤ画像をＨＤ画像に変換するのに適した予測係数が記憶されていることが必要である。
【０１６８】
ところで、５２５ｉのＳＤ画像においては、図１２（Ａ）に示すように、奇数フィールドと、偶数フィールドとで、垂直方向の画素の位置が、１水平ライン分ずれており、２６２ｐのＳＤ画像においては、図１２（Ｂ）に示すように、すべてのフレームで、垂直方向の画素の位置は、一定である。なお、図１２において（後述する図１３においても同様）、縦軸は、画像の所定の列における画素の並びを、横軸は、時間を、それぞれ表している。
【０１６９】
また、ここでは、上述したことから、５２５ｉのＳＤ画像の水平ライン上の画素数と、２６２ｐのＳＤ画像の水平ライン上の画素数とは同一であり、従って、５２５ｉのＳＤ画像の１フレーム（奇数フィールドと偶数フィールドの組）における画素数と、２６２ｐのＳＤ画像の２フレームにおける画素数は同一である。
【０１７０】
そこで、いま、図２の予測装置のフレームメモリ１１に、５２５ｉのＳＤ画像は、１フレーム単位で（連続する２フィールド単位で）、２６２ｐのＳＤ画像は、連続する２フレーム単位で、それぞれ記憶させることとする。
【０１７１】
この場合、５２５ｉのＳＤ画像については、その１フレームを構成する画素が、フレームメモリ１１の、例えば、各画素の位置に対応するアドレスに記憶される。
【０１７２】
一方、２６２ｐのＳＤ画像については、その連続する２フレームを構成する画素のうち、奇数フレームの画素は、フレームメモリ１１の、例えば、各画素の位置に対応するアドレスに記憶され、偶数フレームの画素は、フレームメモリ１１の、例えば、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶される。
【０１７３】
即ち、２６２ｐのＳＤ画像については、奇数フレームの画素と、偶数フレームの画素とは同一位置にあるから、奇数フレームの画素を、フレームメモリ１１の、各画素の位置に対応するアドレスに記憶させた場合には、偶数フレームの画素を、フレームメモリ１１の、各画素の位置に対応するアドレスに記憶させることはできないため、フレームメモリ１１の、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶される。
【０１７４】
従って、フレームメモリ１１に入力されるＳＤ画像が、５２５ｉの画像である場合には、問題はないが、２６２ｐの画像である場合には、その偶数フレームの画素が、フレームメモリ１１の、各画素の位置に対応するアドレスではなく、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶されるため、図２の予測装置では、２６２ｐのＳＤ画像を、そのうちの偶数フレームの画素を１水平ライン分だけずらして、いわば、５２５ｉのＳＤ画像に変換したものを対象に、以降の処理が施されることになる。
【０１７５】
一方、図６の学習装置では、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数を求める学習処理は、５２５ｐのＨＤ画像である教師画像と、その教師画像から生成された、２６２ｐのＳＤ画像である生徒画像とを用いて行われる。
【０１７６】
従って、学習処理における場合と、予測処理における場合とで、同一の注目画素について構成される予測タップやクラスタップとして選択されるＳＤ画素が、異なるものとなる。即ち、学習処理における場合と、予測処理における場合とで、同一の注目画素について、異なるＳＤ画素によって、予測タップやクラスタップが構成されることとなる。その結果、２６２ｐのＳＤ画像については、予測処理による解像度の向上が阻害されることとなる。
【０１７７】
そこで、図６の学習装置において、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数を求める学習処理を行う場合には、５２５ｐの教師画像から得られた２６２ｐの画像ではなく、その２６２ｐの画像を、そのうちの偶数フレームの画素を１水平ライン分だけずらして５２５ｉのＳＤ画像に変換したものを、生徒画像として、学習処理を行うようにすることができる。
【０１７８】
これは、例えば、図６の学習装置における間引きフィルタ３２に、図１３に示すような処理を行わせることで実現することができる。
【０１７９】
即ち、５２５ｉのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数（５２５ｉ用の予測係数）を求める学習処理を行う場合には、間引きフィルタ３２に、図１３（Ａ）に示すように、５２５ｐの教師画像から、上述したようにして、５２５ｉのＳＤ画像を生成させ、これを、そのまま生徒画像として用いるようにすれば良い。
【０１８０】
一方、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数（２６２ｐ用の予測係数）を求める学習処理を行う場合には、間引きフィルタ３２に、図１３（Ｂ）に示すように、５２５ｐの教師画像から、上述したようにして、２６２ｐのＳＤ画像を生成させ、さらに、そのＳＤ画像の偶数フレームの画素を１水平ライン分だけずらして５２５ｉのＳＤ画像に変換し、これを、生徒画像として用いるようにすれば良い。
【０１８１】
このように、５２５ｐの教師画像から、２６２ｐのＳＤ画像を生成し、そのＳＤ画像の偶数フレームの画素を１水平ライン分だけずらして５２５ｉのＳＤ画像に変換したものを、生徒画像として用いて、学習処理を行うことで、図２の予測装置において、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適切な２６２ｐ用の予測係数を求めることができる。
【０１８２】
なお、２６２ｐ用の予測係数を求める学習処理を行うのか、または５２５ｉ用の予測係数を求める学習処理を行うのかは、間引きフィルタ３２において、レジスタ４０Ａにセットされている生徒画像フォーマット情報に基づいて認識することができる。
【０１８３】
次に、図１４は、予測装置においてＨＤ画像に変換するＳＤ画像が有するノイズを識別し、その識別結果に基づいて制御信号を出力する機能制御部２の構成例を示している。
【０１８４】
ＨＤ画像に変換する対象のＳＤ画像は、同期信号分離部６１に供給され、同期信号分離部６１は、そこに供給されるＳＤ画像から、水平同期信号および垂直同期信号を分離し、タイミング作成部６２に供給する。さらに、同期信号分離部６１は、そこに入力されたＳＤ画像を、そのまま、同期信号サンプリング部６３に供給する。
【０１８５】
タイミング作成部６２は、同期信号分離部６１からの水平同期信号および垂直同期信号に基づいて、ＳＤ画像の水平同期信号をサンプリングするためのクロックを生成し、同期信号サンプリング部６３に出力する。同期信号サンプリング部６３は、タイミング作成部６２からのクロックに同期して、同期信号分離部６１からのＳＤ画像の信号波形をサンプリングし、これにより、水平同期信号の部分のサンプル値を得る。この水平同期信号のサンプル値は、平均演算部６４および遅延処理部６５に供給される。
【０１８６】
平均演算部６４は、同期信号サンプリング部６３から供給される水平同期信号のサンプル値の、例えば、過去１フレーム分の平均値を演算し、演算部６６に供給する。
【０１８７】
一方、遅延処理部６５は、同期信号サンプリング部６３から供給される水平同期信号のサンプル値を、平均演算部６４において平均値を求めるのに必要な時間だけ遅延し、演算部６６に供給する。
【０１８８】
演算部６６は、平均演算部６４からの、水平同期信号のサンプル値の１フレーム分の平均値と、遅延処理部６５からの水平同期信号のサンプル値との差分を演算し、その差分値を、絶対値和演算部６７に供給する。
【０１８９】
絶対値和演算部６７は、演算部６６からの差分値の絶対値を求め、その絶対値の、例えば、１フレーム分の総和を演算する。そして、絶対値和演算部６７は、その総和値を、閾値比較部６８に出力する。閾値比較部６８は、絶対値和演算部６７からの総和値と所定の閾値とを比較することで、その大小関係を判定し、その判定結果を、制御信号出力部６９に出力する。
【０１９０】
制御信号出力部６９は、閾値比較部６８からの判定結果としての、総和値と閾値との大小関係に基づいて、制御信号を生成し、図２の予測装置としてのデータ処理部１（図１）に出力する。
【０１９１】
ここで、ＳＤ画像が、例えば、図１５（Ａ）に示すような、ノイズの少ない（あるいは、ノイズのない）ものである場合には、平均演算部６４において得られる、水平同期信号のサンプル値の平均値は、図１５（Ｂ）に示すように、真の水平同期信号に近いものとなる。
【０１９２】
このような水平同期信号のサンプル値の平均値と、水平同期信号のサンプル値との差分は、図１５（Ｃ）に示すように、ほとんど０となり、従って、そのような差分値の絶対値の総和は、小さな値となる。
【０１９３】
一方、ＳＤ画像が、例えば、図１５（Ｄ）に示すような、ノイズの多いものである場合でも、そのノイズがランダムであるとすれば、平均演算部６４において得られる、水平同期信号のサンプル値の平均値は、やはり、図１５（Ｂ）に示すように、真の水平同期信号に近いものとなる。
【０１９４】
また、図１５（Ｄ）のＳＤ画像から得られる水平同期信号のサンプル値は、図１５（Ｅ）に示すように、真の水平同期信号に、ノイズが重畳されたものとなる。
【０１９５】
従って、図１５（Ｂ）に示した水平同期信号のサンプル値の平均値と、図１５（Ｅ）の水平同期信号のサンプル値との差分は、図１５（Ｆ）に示すように、ＳＤ画像に含まれていたノイズになり、そのような差分値の絶対値の総和は、大きな値となる。
【０１９６】
以上から、閾値比較部６８から制御信号出力部６９に対しては、ＳＤ画像に含まれるノイズが少ない場合には、総和値が、閾値より小さい（以下である）旨の大小関係が出力され、逆に、ＳＤ画像に含まれるノイズが多い場合には、総和値が、閾値以上である（より大きい）旨の大小関係が出力される。
【０１９７】
制御信号出力部６９は、総和値が、閾値より小さい旨の大小関係を受信した場合、ＳＤ画像がノイズの少ないものであると識別し、その識別結果に基づいて、ノイズの少ないＳＤ画像をＨＤ画像に変換するのに適した予測係数（以下、適宜、小ノイズ用予測係数という）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部６９は、ノイズの少ないＳＤ画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１９８】
また、制御信号出力部６９は、総和値が、閾値以上である旨の大小関係を受信した場合、ＳＤ画像がノイズの多いものであると識別し、その識別結果に基づいて、ノイズの多いＳＤ画像をＨＤ画像に変換するのに適した予測係数（以下、適宜、大ノイズ用予測係数という）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部６９は、ノイズの多いＳＤ画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１９９】
なお、この場合、図２の予測装置における係数メモリ１５には、小ノイズ用予測係数と、大ノイズ用予測係数を記憶させておく必要がある。
【０２００】
また、小ノイズ用予測係数と大ノイズ用予測係数とは、図６の学習装置において、少ないノイズを重畳した（あるいは、ノイズを重畳しない）生徒画像と、多くのノイズを重畳した生徒画像とを用いて学習処理を行うことにより、それぞれ求めることができる。
【０２０１】
図６の学習装置において、このようなノイズの重畳は、例えば、間引きフィルタ３２に行わせることができる。さらに、この場合、間引きフィルタ３２に、少ないノイズを重畳させるか、または多くのノイズを重畳させるかは、例えば、選択制御部２に入力されるコマンドに基づいて生成される制御信号によって指令することができる。
【０２０２】
ここで、図１４の閾値比較部６８には、２以上の閾値との比較を行わせるようにすることが可能である。
【０２０３】
次に、図１６は、予測装置においてＨＤ画像に変換するＳＤ画像のアクティビティ（絵柄）を識別し、その識別結果に基づいて制御信号を出力する機能制御部２の構成例を示している。
【０２０４】
ＨＤ画像に変換する対象のＳＤ画像は、ブロック内標準偏差演算部７１に供給され、ブロック内標準偏差演算部７１は、そこに供給されるＳＤ画像の各フレーム（またはフィールド）における各ＳＤ画素を中心とする、所定の大きさのブロックを構成し、各ブロックについて、そのブロックを構成する画素の画素値（ここでは、例えば、輝度）の標準偏差を演算する。各ＳＤ画素の標準偏差は、平均値演算部７２に供給される。
【０２０５】
平均値演算部７２は、ブロック内標準偏差演算部７１からの各ブロックの標準偏差の、例えば、フレームごとの平均値を求め、閾値比較部７３に供給する。閾値比較部７３は、平均値演算部７２からの標準偏差の平均値と、所定の閾値とを比較し、その大小関係を判定する。そして、閾値比較部７３は、標準偏差の平均値と所定の閾値との大小関係の判定結果を、制御信号出力部７４に供給する。
【０２０６】
制御信号出力部７４は、閾値比較部７３からの判定結果としての、標準偏差の平均値と所定の閾値との大小関係に基づいて、制御信号を生成し、図２の予測装置としてのデータ処理部１（図１）に出力する。
【０２０７】
ここで、図１７は、ＳＤ画像が、ゲーム画像である場合と、自然画であるテレビジョン画像である場合の、輝度の度数分布、および上述のようなブロックの標準偏差の平均値を示している。なお、図１７（Ａ）は、ＳＤ画像がゲーム画像である場合を、図１７（Ｂ）は、ＳＤ画像が自然画である場合をそれぞれ示している。
【０２０８】
ゲーム画像については、ゲーム機や、そのゲーム画像の内容等によってある程度の違いはあるが、局所的に見た場合には、エッジ部分の画素値の変化は急峻であるが、他の部分の画素値の変化が平坦である（ほとんどない）ため、ブロックの標準偏差の平均値は、比較的小さな値となる。
【０２０９】
一方、自然画については、やはり、その自然画の内容等によってある程度の違いはあるが、局所的に見た場合には、エッジ部分の画素値の変化は、ゲーム画像ほど急峻ではないが、他の部分の画素値の変化が、ある程度あるため、ブロックの標準偏差の平均値は、比較的大きな値となる。
【０２１０】
以上から、閾値比較部７３から制御信号出力部７４に対しては、ＳＤ画像がゲーム画像である場合には、標準偏差の平均値が、閾値より小さい（以下である）旨の大小関係が出力され、ＳＤ画像が自然画である場合には、標準偏差の平均値が、閾値以上である（より大きい）旨の大小関係が出力される。
【０２１１】
制御信号出力部７４は、標準偏差の平均値が、閾値より小さい旨の大小関係を受信した場合、ＳＤ画像がゲーム画像であると識別し、その識別結果に基づいて、ゲーム画像をＨＤ画像に変換するのに適した予測係数（以下、適宜、ゲーム画像用予測係数という）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部７４は、ゲーム画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０２１２】
また、制御信号出力部７４は、標準偏差の平均値が、閾値以上である旨の大小関係を受信した場合、ＳＤ画像が自然画であると識別し、その識別結果に基づいて、自然画をＨＤ画像に変換するのに適した予測係数（以下、適宜、自然画用予測係数という）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部７４は、自然画に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０２１３】
なお、この場合、図２の予測装置における係数メモリ１５には、ゲーム画像用予測係数と、自然画用予測係数を記憶させておく必要がある。
【０２１４】
また、ゲーム画像用予測係数と自然画用予測係数とは、図６の学習装置において、教師画像となるＨＤ画像として、ゲーム画像と自然画とを用いて学習処理をそれぞれ行うことにより求めることができる。
【０２１５】
この場合、図１６の機能制御部２に対して、教師画像を供給することにより、その教師画像が、ゲーム画像であるか、または自然画であるかを識別することができ、さらに、その識別結果に基づいて、制御信号を生成して、図６の学習装置に供給することができる。
【０２１６】
ここで、図１６の閾値比較部７３には、２以上の閾値との比較を行わせるようにすることが可能である。
【０２１７】
また、上述の場合には、標準偏差によって、ＳＤ画像が、ゲーム画像であるか、または自然画であるかを識別するようにしたが、この識別は、その他、例えば、画素値の分散等に基づいて行うことも可能である。
【０２１８】
さらに、ゲーム画像は、上述したフリッカを防止するために、一般には、プログレッシブ方式の画像とされる。従って、本実施の形態では、予測装置に対しては、５２５ｉのＳＤ画像か、または２６２ｐのＳＤ画像のうちのいずれかしか入力されないから、図１６の機能制御部２において、ＳＤ画像がゲーム画像である旨の識別結果が得られた場合には、同時に、そのＳＤ画像のフォーマットも、プログレッシブ方式であると識別することができる。
【０２１９】
次に、図１８は、予測装置においてＨＤ画像に変換するＳＤ画像のアクティビティ（絵柄）を識別し、その識別結果に基づいて制御信号を出力する機能制御部２の他の構成例を示している。
【０２２０】
ＨＤ画像に変換する対象のＳＤ画像は、度数分布作成部８１に供給され、度数分布作成部８１は、そこに供給されるＳＤ画像の画素値（ここでは、例えば、色差ＣｂとＣｒとの組）の度数分布を、例えば、フレームまたはフィールド単位で作成する。この色差の度数分布は、最大度数色差選択部８２に供給される。
【０２２１】
最大度数色差選択部８２は、度数分布作成部８１からの度数分布から、度数が最大の色差（上述したように、ここでは、色差ＣｂとＣｒとの組）を求め、分散計算部８３に供給する。分散計算部８３は、度数が最大の色差の周辺にある色差の分散を計算し、閾値比較部８４に供給する。閾値比較部８４は、分散計算部８３からの分散と、所定の閾値とを比較し、その大小関係を判定する。そして、閾値比較部８４は、分散と所定の閾値との大小関係の判定結果を、制御信号出力部８５に供給する。
【０２２２】
制御信号出力部８５は、閾値比較部８４からの判定結果としての、分散と所定の閾値との大小関係に基づいて、制御信号を生成し、図２の予測装置としてのデータ処理部１（図１）に出力する。
【０２２３】
ここで、ＳＤ画像がゲーム画像である場合における、色差の分布と、その度数分布を、図１９と図２０に、それぞれ示す。また、ＳＤ画像が自然画である場合における、色差の分布と、その度数分布を、図２１と図２２に、それぞれ示す。
【０２２４】
ゲーム画像は、ある程度制限された数の色しか使用されていないことが多いため、色差の分布は、図１９に示すように狭い範囲の分布となり、さらに、度数分布において、度数が最大の色差の周辺にある色差の分散も、図２０に示すように小さくなる。
【０２２５】
一方、自然画は、ある程度豊富な数の色が使用されていることが多いため、色差の分布は、図２１に示すようにある程度拡がりのあるものとなり、さらに、度数分布において、度数が最大の色差の周辺にある色差の分散も、図２２に示すように比較的大きくなる。
【０２２６】
以上から、閾値比較部８４から制御信号出力部８５に対しては、ＳＤ画像がゲーム画像である場合には、分散が、閾値より小さい（以下である）旨の大小関係が出力され、ＳＤ画像が自然画である場合には、分散が、閾値以上である（より大きい）旨の大小関係が出力される。
【０２２７】
制御信号出力部８５は、分散が、閾値より小さい旨の大小関係を受信した場合、ＳＤ画像がゲーム画像であると識別し、その識別結果に基づいて、ゲーム画像をＨＤ画像に変換するのに適した予測係数（ゲーム画像用予測係数）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部８５は、ゲーム画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０２２８】
また、制御信号出力部８５は、分散が、閾値以上である旨の大小関係を受信した場合、ＳＤ画像が自然画であると識別し、その識別結果に基づいて、自然画をＨＤ画像に変換するのに適した予測係数（自然画用予測係数）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部８５は、自然画に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０２２９】
なお、この場合も、上述したようにして、ゲーム画像用予測係数と自然画用予測係数とを、図６の学習装置において求めておき、図２の予測装置における係数メモリ１５に記憶させておく必要がある。
【０２３０】
また、図６の学習装置において、ゲーム画像用予測係数と自然画用予測係数とを求める場合には、図１８の機能制御部２に対して、教師画像を供給することにより、その教師画像が、ゲーム画像であるか、または自然画であるかを識別することができ、さらに、その識別結果に基づいて、制御信号を生成して、図６の学習装置に供給することができる。
【０２３１】
ここで、図１８の閾値比較部８４にも、２以上の閾値との比較を行わせるようにすることが可能である。
【０２３２】
さらに、図１８の機能制御部２においては、図１６における場合と同様に、ＳＤ画像がゲーム画像であるかどうかの識別の他、そのＳＤ画像のフォーマットが、プログレッシブ方式であるかどうかの識別を行うことが可能である。
【０２３３】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３４】
そこで、図２３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０２３６】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２３７】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２３８】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードやマウス等で構成される入力部１０７が操作されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２３９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２４０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４１】
なお、本実施の形態では、本発明を、画像の解像度を向上させる画像処理に適用した場合について説明したが、本発明は、その他の画像処理、さらには、画像以外の、例えば、音声等を対象とした処理にも適用可能である。
【０２４２】
また、本実施の形態では、ＳＤ画像として、２６２ｐと５２５ｉの２種類の画像を用いることとしたが、本発明は、これ以外のフォーマットのＳＤ画像にも対処可能である。
【０２４３】
さらに、本実施の形態では、ＨＤ画素を線形予測するようにしたが、ＨＤ画素は、例えば、２次予測その他の予測方式によって予測することも可能である。
【０２４４】
【発明の効果】
本発明の一側面によれば、各種の入力データに対して適切な処理を施すことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したデータ処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１のデータ処理部１を予測装置として構成した場合の構成例を示すブロック図である。
【図３】予測タップおよびクラスタップとなる画素を説明するための図である。
【図４】図２のクラス分類回路１４の構成例を示すブロック図である。
【図５】図２の予測装置による予測処理を説明するためのフローチャートである。
【図６】図１のデータ処理部１を学習装置として構成した場合の構成例を示すブロック図である。
【図７】図６の学習装置による学習処理を説明するためのフローチャートである。
【図８】図１の機能制御部２の第１の構成例を示すブロック図である。
【図９】図８の機能制御部２の処理を説明するための波形図である。
【図１０】図８の機能制御部２の処理を説明するための波形図である。
【図１１】図８の機能制御部２の処理を説明するための波形図である。
【図１２】５２５ｉと２６２ｐの画像の画素の配置位置を示す図である。
【図１３】教師画像から生徒画像を生成する方法を説明するための図である。
【図１４】図１の機能制御部２の第２の構成例を示すブロック図である。
【図１５】図１４の機能制御部２の処理を説明するための波形図である。
【図１６】図１の機能制御部２の第３の構成例を示すブロック図である。
【図１７】画像の輝度の度数分布、およびブロックごとの輝度の標準偏差の平均値を示す図である。
【図１８】図１の機能制御部２の第４の構成例を示すブロック図である。
【図１９】画像の色差の分布を示す図である。
【図２０】画像の色差の度数分布を示す図である。
【図２１】画像の色差の分布を示す図である。
【図２２】画像の色差の度数分布を示す図である。
【図２３】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ データ処理部， ２ 機能制御部， １１ フレームメモリ， １２ 予測タップ構成回路， １３ クラスタップ構成回路， １４ クラス分類回路，１５ 係数メモリ， １６ 予測演算回路， １７ 画像再構成回路， １８レジスタ群， １８Ａ乃至１８Ｄ レジスタ， ２１ 動きクラス分類回路，２２ 時空間クラス分類回路， ２３ 合成回路， ３１ フレームメモリ，３２ 間引きフィルタ， ３３ フレームメモリ， ３４ 予測タップ構成回路， ３５ クラスタップ構成回路， ３６ クラス分類回路， ３７ 正規方程式加算回路， ３８ 予測係数決定回路， ３９ メモリ， ４０ レジスタ群， ４０Ａ乃至４０Ｄ レジスタ， ５１ 同期信号分離部， ５２ 位相検出部， ５３ フォーマット判断部， ５４ 制御信号出力部， ６１ 同期信号分離部， ６２ タイミング作成部， ６３ 同期信号サンプリング部， ６４ 平均演算部， ６５ 遅延処理部， ６６ 演算部， ６７ 絶対値和演算部， ６８ 閾値比較部， ６９ 制御信号出力部， ７１ ブロック内標準偏差演算部， ７２ 平均値演算部， ７３ 閾値比較部， ７４ 制御信号出力部， ８１ 度数分布作成部， ８２ 最大度数色差選択部， ８３ 分散計算部， ８４ 閾値比較部， ８５ 制御信号出力部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、各種の画像データに対して、適切な処理を施すことができるようにするデータ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、ＳＤ(Standard Density)画像をＨＤ(High Density)画像に変換する技術として、クラス分類適応処理を先に提案している。
【０００３】
クラス分類適応処理によれば、例えば、水平ライン数が５２５ラインのインターレース方式のＳＤ画像や、水平ライン数が２６２ラインのプログレッシブ方式（ノンインターレース方式）のＳＤ画像を、その横および縦の画素数をいずれも２倍にした水平ライン数が５２５ラインのプログレッシブ方式のＨＤ画像に変換し、その解像度を向上させることができる。
【０００４】
ここで、例えば、水平ライン数が５２５ラインのインターレース方式の画像を、以下、適宜、その水平ライン数を表す数字（５２５）と、インターレース方式を表すアルファベット（ｉ）とを用いて、５２５ｉと記述する。また、例えば、水平ライン数が２６２ラインのプログレッシブ方式の画像を、以下、適宜、その水平ライン数を表す数字（２６２）と、プログレッシブ方式を表すアルファベット（ｐ）とを用いて、２６２ｐと記述する。この場合、例えば、水平ライン数が５２５ラインのプログレッシブ方式の画像は、５２５ｐと表される。
【０００５】
【発明が解決しようとする課題】
ところで、例えば、ＳＤ画像をＨＤ画像に変換するクラス分類適応処理を行う処理回路を、ハードウェアにより構成する場合には、そのハードウェアは、所定の規格（フォーマット）のＳＤ画像が入力されるものとして、そのＳＤ画像を処理するのに適切な機能を有するように設計、製造等される。
【０００６】
従って、例えば、５２５ｉのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適切なようにクラス分類処理を行うハードウェアでは、２６２ｐのＳＤ画像を処理することができないか、または処理することができても、２６２ｐのＳＤ画像に対して適切なクラス分類適応処理が施されないことがある。
【０００７】
一方、５２５ｉのＳＤ画像に対して適切なクラス分類適応処理を施すハードウェアと、２６２ｐのＳＤ画像に対して適切なクラス分類適応処理を施すハードウェアとを別に用意するのでは、高コスト化を招くことになり、さらに、この場合でも、５２５ｉおよび２６２ｐのＳＤ画像以外のＳＤ画像に対処することは困難である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、各種のＳＤ画像等の入力データに対して適切な処理を施すことができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の一側面のデータ処理装置、又は、記録媒体は、入力データを処理するデータ処理装置であって、前記入力データを識別する識別手段と、前記識別手段による識別結果に基づいて、機能を設定し、前記入力データを処理する処理手段とを備え、前記入力データは、画像データであり、前記処理手段は、新たな画像データの画素のうちの、注目している注目画素を予測するのに、所定の予測係数とともに用いる予測タップを構成する前記画像データの画素を選択し、前記予測タップを構成する予測タップ構成手段と、前記予測タップおよび前記予測係数に基づいて、前記注目画素の予測値を求める予測手段とを有するデータ処理装置、又は、データ処理装置として、コンピュータを機能させるためのプログラムが記録された記録媒体である。
【００２２】
本発明の一側面のデータ処理方法は、入力データを処理するデータ処理方法であって、前記入力データを識別する識別ステップと、前記識別ステップによる識別結果に基づいて、機能を設定し、前記入力データを処理する処理ステップとを備え、前記入力データは、画像データであり、前記処理ステップでは、新たな画像データの画素のうちの、注目している注目画素を予測するのに、所定の予測係数とともに用いる予測タップを構成する前記画像データの画素を選択し、前記予測タップを構成し、前記予測タップおよび前記予測係数に基づいて、前記注目画素の予測値を求めるデータ処理方法である。
【００２４】
本発明の一側面においては、前記入力データが識別され、その識別結果に基づいて、機能が設定され、前記入力データが処理される。前記入力データは、画像データであり、前記入力データの処理では、新たな画像データの画素のうちの、注目している注目画素を予測するのに、所定の予測係数とともに用いる予測タップを構成する前記画像データの画素が選択されて、前記予測タップが構成され、前記予測タップおよび前記予測係数に基づいて、前記注目画素の予測値が求められる。
【００２５】
【発明の実施の形態】
図１は、本発明を適用したデータ処理装置の一実施の形態の構成例を示している。
【００２６】
処理すべき入力データは、データ処理部１および機能制御部２に供給されるようになっており、機能制御部２は、後述するようにして、入力データのフォーマット等を識別し、その識別結果に基づいて、データ処理部１の機能を制御する制御信号を、データ処理部１に出力する。
【００２７】
データ処理部１は、機能制御部２からの制御信号に基づいて、その内部の機能を設定し、そこに供給される入力データを処理する。これにより、データ処理部１は、入力データに対して、それに適切な処理を施し、その処理結果である出力データを出力する。
【００２８】
従って、データ処理部１では、入力データに適切な処理を施すことができるように、その機能が変化し、入力データに処理が施されるので、装置を高コスト化することなく、入力データを適切に処理することができる。
【００２９】
なお、図１のデータ処理装置においては、機能制御部２に対して、データ処理部１の機能の設定を指令するコマンドを与えることができるようにもなっており、機能制御部２は、コマンドを受信すると、そのコマンドに対応した制御信号を、データ処理部１に出力するようになっている。
【００３０】
次に、図１のデータ処理部１について、そこで、例えば、クラス分類適応処理が行われる場合を例に説明するが、その前に、その前段階の準備として、クラス分類適応処理について説明する。
【００３１】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００３２】
即ち、適応処理では、例えば、標準解像度または低解像度の画像（ＳＤ画像）を構成する画素（以下、適宜、ＳＤ画素という）と、所定の予測係数との線形結合により、そのＳＤ画像の解像度を向上させた高解像度の画像（ＨＤ画像）の画素の予測値を求めることで、そのＳＤ画像の解像度を向上させた画像が得られる。
【００３３】
具体的には、例えば、いま、あるＨＤ画像を教師データとするとともに、そのＨＤ画像の解像度を劣化させたＳＤ画像を生徒データとして、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００３４】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【００３５】
式（１）を一般化するために、予測係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
【００３６】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００３７】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【００３８】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００３９】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗjは、自乗誤差
【数３】
【００４０】
従って、上述の自乗誤差を予測係数ｗjで微分したものが０になる場合、即ち、次式を満たす予測係数ｗjが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００４１】
【数４】
【００４２】
そこで、まず、式（３）を、予測係数ｗjで微分することにより、次式が成立する。
【００４３】
【数５】
【００４４】
式（４）および（５）より、式（６）が得られる。
【００４５】
【数６】
【００４６】
さらに、式（３）の残差方程式における生徒データｘij、予測係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００４７】
【数７】
【００４８】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００４９】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適な予測係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００５０】
以上のようにして、最適な予測係数ｗjを求めておき、さらに、その予測係数ｗjを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００５１】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【００５２】
また、ここでは、適応処理について、解像度を向上させる場合を例にして説明したが、適応処理によれば、予測係数を求めるのに用いる教師データおよび生徒データを変えることで、例えば、Ｓ／Ｎ(Signal to Noise Ratio)の向上や、ぼけの改善等の画質の向上を図ることが可能である。
【００５３】
次に、図２は、図１のデータ処理部１が、ＳＤ画像から、その解像度を向上させたＨＤ画像の予測値を求めるクラス分類適応処理としての予測処理を行う予測装置として構成される場合の、その構成例を示している。
【００５４】
この予測装置としてのデータ処理部１では、そこに入力される各種のＳＤ画像に対して、それに適切なクラス分類適応処理が施されることにより、そのＳＤ画像の解像度を向上させたＨＤ画像が得られるようになっている。
【００５５】
なお、ここでは、説明を簡単にするために、例えば、ＳＤ画像として、５２５ｉの画像か、または２６２ｐの画像が入力され、いずれのＳＤ画像についても、５２５ｐの画像が、ＨＤ画像として出力されるものとする。また、例えば、２６２ｐのＳＤ画像のフレームレート、５２５ｉのＳＤ画像のフィールドレート、および５２５ｐのＨＤ画像のフレームレートは、いずれも同一で、例えば、６０Ｈｚとする（よって、５２５ｉのＳＤ画像のフレームレートは３０Ｈｚである）。
【００５６】
従って、ここでは、２６２ｐのＳＤ画像については、その１フレームが、１フレームのＨＤ画像に対応し、５２５ｉのＳＤ画像については、その１フィールドが、１フレームのＨＤ画像に対応する。また、２６２ｐまたは５２５ｉのＳＤ画像の１水平ライン上の画素数と、５２５ｐのＨＤ画像の１水平ライン上の画素数との比は、例えば、１：２であるとする。以上から、２６２ｐのＳＤ画像も、５２５ｉのＳＤ画像も、図３に示すように、その横と縦の画素数を、それぞれ２倍にして解像度を向上させた５２５ｐのＨＤ画像に変換されることとなる。なお、図３において、○印がＳＤ画素を、×印がＨＤ画素を、それぞれ表している。
【００５７】
ここで、５２５ｉの画像として代表的なものとしては、例えば、テレビジョン放送局から放送されてくるテレビジョン放送番組を構成する、ＮＴＳＣ(National Television System Committee)方式の画像（以下、適宜、テレビジョン画像という）があり、また、２６２ｐの画像として代表的なものとしては、例えば、ゲーム機から再生されるゲーム用の画像（以下、適宜、ゲーム画像という）がある。
【００５８】
フレームメモリ１１には、解像度を向上させる対象としてのＳＤ画像が、例えば、１フレームまたは１フィールド単位などで供給されるようになっており、フレームメモリ１１は、そのＳＤ画像を、所定の期間記憶する。
【００５９】
なお、フレームメモリ１１は、複数バンクを有しており、これにより、複数フレームまたはフィールドのＳＤ画像を、同時に記憶しておくことができるようになっている。
【００６０】
予測タップ構成回路１２は、フレームメモリ１１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、フレームメモリ１１のＳＤ画像から選択し、予測係数との乗算に用いる予測タップを構成する。
【００６１】
また、予測タップ構成回路１２は、予測タップとするＳＤ画素の選択パターンを、レジスタ１８Ｂにセットされている情報（以下、適宜、予測タップ構成情報という）に基づいて設定する。
【００６２】
即ち、予測タップ構成回路１２は、予測タップ構成情報に基づいて、例えば、図３に示すように、注目画素の位置に最も近い、ＳＤ画像の画素（図３では、Ｐ33とＰ34の２つあるが、ここでは、例えば、Ｐ33とする）、およびその上下左右に隣接する４個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34、並びにＳＤ画素Ｐ33に対応する、１フレーム前のＳＤ画素および１フレーム後のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６３】
また、予測タップ構成回路１２は、予測タップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右に隣接する４個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34、並びにＳＤ画素Ｐ33に対応する、１フィールド前のＳＤ画素および１フィールド後のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６４】
さらに、予測タップ構成回路１２は、予測タップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右に１画素おきに隣接する４個のＳＤ画素Ｐ13，Ｐ53，Ｐ31，Ｐ35、並びにＳＤ画素Ｐ33に対応する、２フレーム前（または２フィールド前）のＳＤ画素、および２フレーム後（または２フィールド後）のＳＤ画素の合計７画素を、予測タップとするＳＤ画素の選択パターンとして設定する。
【００６５】
予測タップ構成回路１２は、予測タップ構成情報に基づいて、上述のように、選択パターンを設定し、その選択パターンにしたがって、注目画素についての予測タップとなるＳＤ画素を、フレームメモリ１１に記憶されたＳＤ画像から選択し、そのようなＳＤ画素で構成される予測タップを、予測演算回路１６に出力する。
【００６６】
なお、予測タップとして選択するＳＤ画素は、上述したパターンのものに限定されるものではない。また、上述の場合には、７個のＳＤ画素で予測タップを構成するようにしたが、予測タップを構成するＳＤ画素の数も、予測タップ構成情報に基づいて、適宜設定することが可能である。
【００６７】
クラスタップ構成回路１３は、注目画素の位置に対応するＳＤ画像の位置から空間的または時間的に近い位置にある幾つかのＳＤ画素を、フレームメモリ１１のＳＤ画像から選択し、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いるクラスタップを構成する。
【００６８】
また、クラスタップ構成回路１３は、クラスタップとするＳＤ画素の選択パターンを、レジスタ１８Ｃにセットされている情報（以下、適宜、クラスタップ構成情報という）に基づいて設定する。
【００６９】
即ち、クラスタップ構成回路１３は、クラスタップ構成情報に基づいて、例えば、図３に示すように、注目画素の位置に最も近い、ＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に隣接する８個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34，Ｐ22，Ｐ42，Ｐ24，Ｐ44、並びにＳＤ画素Ｐ33に対応する、１フレーム前のＳＤ画素および１フレーム後のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７０】
また、クラスタップ構成回路１３は、クラスタップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に隣接する８個のＳＤ画素Ｐ23，Ｐ43，Ｐ32，Ｐ34，Ｐ22，Ｐ42，Ｐ24，Ｐ44、並びにＳＤ画素Ｐ33に対応する、１フィールド前のＳＤ画素および１フィールド後のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７１】
さらに、クラスタップ構成回路１３は、クラスタップ構成情報によっては、例えば、図３に示すように、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、およびその上下左右、左上、左下、右上、右下に１画素おきに隣接する８個のＳＤ画素Ｐ13，Ｐ53，Ｐ31，Ｐ35，Ｐ11，Ｐ51，Ｐ15，Ｐ55、並びにＳＤ画素Ｐ33に対応する、２フレーム前（または２フィールド前）のＳＤ画素、および２フレーム後（または２フィールド後）のＳＤ画素の合計１１画素を、クラスタップとするＳＤ画素の選択パターンとして設定する。
【００７２】
クラスタップ構成回路１３は、クラスタップ構成情報に基づいて、上述のように、選択パターンを設定し、その選択パターンにしたがって、注目画素についてのクラスタップとなるＳＤ画素を、フレームメモリ１１に記憶されたＳＤ画像から選択し、そのようなＳＤ画素で構成されるクラスタップを、クラス分類回路１４に出力する。
【００７３】
なお、クラスタップとして選択するＳＤ画素も、上述したパターンのものに限定されるものではない。また、上述の場合には、１１個のＳＤ画素でクラスタップを構成するようにしたが、クラスタップを構成するＳＤ画素の数も、クラスタップ構成情報に基づいて、適宜設定することが可能である。
【００７４】
クラス分類回路１４は、クラスタップ構成回路１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ１５に対して、アドレスとして供給する。
【００７５】
ここで、図４は、図２のクラス分類回路１４の構成例を示している。
【００７６】
クラスタップは、動きクラス分類回路２１および時空間クラス分類回路２２に供給されるようになっている。
【００７７】
動きクラス分類回路２１は、例えば、クラスタップを構成するＳＤ画素のうち、時間方向に並ぶものを用いて、注目画素を、画像の動きに注目してクラス分類するようになっている。即ち、動きクラス分類回路２１は、例えば、図３における、注目画素の位置に最も近いＳＤ画像の画素Ｐ33、そのＳＤ画素Ｐ33に対応する、１フィールド前（あるいは、本実施の形態では、２フィールド前や、１フレーム前、２フレーム前等）のＳＤ画素、および１フィールド後（あるいは、本実施の形態では、２フィールド後や、１フレーム後、２フレーム後等）のＳＤ画素の合計３画素を用いて、注目画素をクラス分類する。
【００７８】
具体的には、動きクラス分類回路２１は、上述のように、時間方向に並ぶ３個のＳＤ画素のうちの、時間的に隣接するものどうしの差分絶対値の総和を演算し、その総和値と、所定の閾値との大小関係を判定する。そして、動きクラス分類回路２１は、その大小関係に基づいて、例えば、０または１のクラスコードを、合成回路２３に出力する。
【００７９】
ここで、動きクラス分類回路２１が出力するクラスコードを、以下、適宜、動きクラスコードという。
【００８０】
時空間クラス分類回路２２は、例えば、クラスタップを構成するＳＤ画素のすべてを用いて、注目画素を、画像の空間方向と時間方向とのレベル分布に注目してクラス分類するようになっている。
【００８１】
ここで、時空間クラス分類回路２２においてクラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００８２】
ADRCを用いる方法では、クラスタップを構成するＳＤ画素が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００８３】
なお、KビットADRCにおいては、例えば、クラスタップを構成するＳＤ画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するＳＤ画素がKビットに再量子化される。即ち、クラスタップを構成するＳＤ画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する各ＳＤ画素についてのKビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各ＳＤ画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００８４】
ここで、時空間クラス分類回路２２には、例えば、クラスタップを構成するＳＤ画素のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個のＳＤ画素で構成され、各ＳＤ画素に、Ｋビットが割り当てられているとすると、時空間クラス分類回路２２が出力するクラスコードの場合の数は、（２N）K個となり、画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００８５】
従って、時空間クラス分類回路２２においては、上述のように、画素値のビット数等を、いわば圧縮するADRC処理等のような圧縮処理を行ってから、クラス分類を行うのが好ましい。なお、時空間クラス分類回路２２における圧縮処理としては、ADRC処理に限定されるものではなく、その他、例えば、ベクトル量子化等を用いることも可能である。
【００８６】
ここで、時空間クラス分類回路２２が出力するクラスコードを、以下、適宜、時空間クラスコードという。
【００８７】
合成回路２３は、動きクラス分類回路２１が出力する動きクラスコード（本実施の形態では、１ビットのクラスコード）を表すビット列と、時空間クラス分類回路２２が出力する時空間クラスコードを表すビット列とを、１のビット列として並べる（合成する）ことにより、注目画素の最終的なクラスコードを生成し、係数メモリ１５に出力する。
【００８８】
なお、図４の実施の形態では、レジスタ１８Ｃにセットされたクラスタップ構成情報が、動きクラス分類回路２１、時空間クラス分類回路２２、および合成回路２３に供給されるようになっている。これは、クラスタップ構成回路１３において構成されるクラスタップとしてのＳＤ画素の数が変化する場合があり、その場合に対処するためである。
【００８９】
また、動きクラス分類回路２１で得られた動きクラスコードは、図４において点線で示すように、時空間クラス分類回路２２に供給し、時空間クラス分類回路２２では、動きクラスコードに応じて、クラス分類に用いるＳＤ画素を変更するようにすることが可能である。
【００９０】
即ち、上述の場合には、時空間クラス分類回路２２に対して、１１個のＳＤ画素からなるクラスタップが供給されるが、この場合、時空間クラス分類回路２２においては、例えば、動きクラスコードが０のときには、１１個のＳＤ画素のうちの所定の１０個を用いてクラス分類を行い、動きクラスコードが１のときは、残りの１個のＳＤ画素を、所定の１０個のＳＤ画素のうちの所定の１個と替えた１０個のＳＤ画素を用いて、クラス分類を行うようにすることが可能である。
【００９１】
ここで、時空間クラス分類回路２２において、１ビットADRC処理を行うことによりクラス分類を行う場合には、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行うと、時空間クラスコードの場合の数は、（２11）1通りとなる。
【００９２】
一方、上述のように、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合には、１０個のＳＤ画素を用いてのクラス分類の結果得られる時空間クラスコードの場合の数は、（２10）1通りとなる。従って、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行う場合に比較して、一見、時空間クラスコードの場合の数が減ることとなる。
【００９３】
しかしながら、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合には、その変更対象となっている２つのＳＤ画素のうちのいずれを、クラス分類に用いたかの１ビットの情報が必要となるから、その１ビットの情報を加味すれば、動きクラスコードに応じて、クラス分類に用いる１０個のＳＤ画素のうちの１個を変更する場合でも、そのクラス分類により得られる時空間クラスコードの場合の数は、（２10）1×２1通り、即ち、（２11）1通りとなり、クラスタップを構成する１１個のＳＤ画素すべてを用いてクラス分類を行う場合と同一である。
【００９４】
図２に戻り、係数メモリ１５は、後述するような学習処理が行われることにより得られる複数種類の予測係数を記憶している。即ち、係数メモリ１５は、複数バンクで構成され、各バンクには、対応する種類の予測係数が記憶されている。係数メモリ１５は、レジスタ１８Ｄにセットされている情報（以下、適宜、係数情報という）に基づいて、使用するバンクを設定し、そのバンクから、クラス分類回路１４から供給されるクラスコードに対応するアドレスに記憶されている予測係数を読み出して、予測演算回路１６に供給する。
【００９５】
予測演算回路１６は、予測タップ構成回路１２から供給される予測タップと、係数メモリ１５から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、ＳＤ画像の解像度を向上させたＨＤ画像の予測値として、画像再構成回路１７に出力する。
【００９６】
画像再構成回路１７は、例えば、予測演算回路１６が出力する予測値から、順次、１フレームの５２５ｐのＨＤ画像を構成して出力する。
【００９７】
なお、ここでは、上述したことから、２６２ｐのＳＤ画像については、１フレームのライン数が２倍のＨＤ画像に変換され、また、５２５ｉのＳＤ画像については、その１フィールドのライン数が２倍のＨＤ画像に変換される。従って、ＨＤ画像の水平同期周波数は、変換前のＳＤ画像の水平同期周波数の２倍となるが、そのような水平同期周波数の変換も、画像再構成回路１７において行われる。
【００９８】
また、本実施の形態では、ＳＤ画像を、５２５ｐのＨＤ画像に変換することとしているが、ＳＤ画像は、５２５ｐ以外の、例えば、１０５０ｉや１０５０ｐ等の各種のフォーマットのＨＤ画像に変換することも可能である。画像構成回路１７において、どのようなフォーマットのＨＤ画像を出力するかは、レジスタ１８Ａにセットされている情報（以下、適宜、ＨＤ画像フォーマット情報という）に基づいて設定される。
【００９９】
レジスタ群１８は、予測タップ構成回路１２、クラスタップ設定回路１３、係数メモリ１５、および画像構成回路１７の機能を設定するための情報を記憶するようになっている。
【０１００】
即ち、レジスタ群１８は、図２の実施の形態では、４つのレジスタ１８Ａ乃至１８Ｄから構成され、上述したように、レジスタ１８ＡにはＨＤ画像フォーマット情報が、レジスタ１８Ｂには予測タップ構成情報が、レジスタ１８Ｃにはクラスタップ構成情報が、レジスタ１８Ｄには係数情報が、それぞれ、制御信号によってセットされるようになっている。従って、図２の実施の形態において、制御信号は、これらのＨＤ画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報を含んでいる。
【０１０１】
ＨＤ画像フォーマット情報は、機能制御部２において、例えば、ＳＤ画像がテレビジョン画像であるか、またはゲーム画像であるかが判定され、その判定結果に基づいて決定される。即ち、テレビジョン画像は、一般には、自然画であるが、自然画は、画素値の変化が比較的滑らかな部分が多いため、インターレース方式であっても、それほど問題はない。しかしながら、ゲーム画像は、画素値の変化が急峻である部分が多いため、解像度を向上させても、インターレース方式のＨＤ画像（例えば、５２５ｉや１０５０ｉのＨＤ画像）とすると、ラインフリッカ（いわゆる、ちらつき）が目立ち、好ましくない。そこで、機能制御部２は、ＳＤ画像がゲーム画像である場合には、例えば、少なくとも、プログレッシブ方式のＨＤ画像を表すＨＤフォーマット情報を、制御信号に含めて出力する。
【０１０２】
予測タップ構成情報、クラスタップ構成情報、および係数情報は、機能制御部２において、例えば、ＳＤ画像が５２５ｉの画像であるか、または２６２ｐの画像であるかや、画像のアクティビティ、画像に含まれるノイズ等が識別され、その識別結果等に基づいて決定される。
【０１０３】
次に、図５のフローチャートを参照して、図２の予測装置において行われる、ＳＤ画像の解像度を向上させる予測処理について説明する。
【０１０４】
処理すべきＳＤ画像は、フレーム単位またはフィールド単位で、フレームメモリ１１に、順次供給され、フレームメモリ１１では、そこに供給されるＳＤ画像が記憶される。
【０１０５】
一方、ＳＤ画像は、機能制御部２（図１）にも供給され、機能制御部２は、そのＳＤ画像のフォーマットや種類等を識別し、その識別結果に基づいて、制御信号を生成する。そして、その制御信号が、レジスタ群１８に供給される。これにより、レジスタ群１８のレジスタ１８Ａ乃至１８Ｄには、制御信号にしたがったＨＤ画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、または係数情報が、それぞれセットされる。
【０１０６】
なお、本実施の形態では、ＳＤ画像を、常に、５２５ｐのＨＤ画像に変換することとしているため、ＨＤ画像フォーマット情報としては、そのような情報がセットされる。但し、上述したように、ＨＤ画像フォーマット情報は、ＳＤ画像の種類の識別結果（テレビジョン画像か、ゲーム画像か）に基づいて設定することも可能である。
【０１０７】
以上のようにして、レジスタ群１８に情報がセットされた後は、ステップＳ１において、フレームメモリ１１に記憶されたＳＤ画像の解像度を向上させたＨＤ画像（予測装置では、このＨＤ画像は、実際には存在しないが、仮想的に想定される）を構成する画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ構成回路１２は、フレームメモリ１１に記憶されたＳＤ画像の画素を用いて、注目画素についての予測タップを構成する。さらに、ステップＳ１２では、クラスタップ構成回路１３は、フレームメモリ１１に記憶されたＳＤ画像の画素を用いて、注目画素についてのクラスタップを構成する。そして、予測タップは、予測演算回路１６に供給され、クラスタップは、クラス分類回路１４に供給される。
【０１０８】
なお、予測タップ構成回路１２は、レジスタ１８Ｂにセットされた予測タップ構成情報にしたがって、予測タップとするＳＤ画素の選択パターンを設定し、その選択パターンにしたがって、ＳＤ画素を選択することにより、予測タップを構成する。クラスタップ構成回路１３も、レジスタ１８Ｃにセットされたクラスタップ構成情報にしたがって、クラスタップとするＳＤ画素の選択パターンを設定し、その選択パターンにしたがって、ＳＤ画素を選択することにより、クラスタップを構成する。
【０１０９】
その後、ステップＳ２に進み、クラス分類回路１４は、クラスタップ構成回路１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ１５に対して、アドレスとして供給し、ステップＳ３に進む。
【０１１０】
ステップＳ３では、係数メモリ１５は、そこに記憶されている各クラスごとの予測係数のうち、クラス分類回路１４からのクラスコードで表されるアドレスに記憶されているものを読み出し、予測演算回路１６に供給する。
【０１１１】
なお、係数メモリ１５は、自身が有する複数バンクのうちの、レジスタ１８Ｄにセットされた係数情報に対応するものを選択しており、その選択しているバンクにおける、クラス分類回路１４からのクラスコードで表されるアドレスに記憶されている予測係数を読み出す。
【０１１２】
予測演算回路１６は、ステップＳ４において、予測タップ構成回路１２から供給される予測タップと、係数メモリ１５から供給される予測係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、画像再構成回路１７に供給する。
【０１１３】
画像再構成回路１７は、ステップＳ５において、予測演算回路１６から、例えば、１フレーム分の予測値が得られたかどうかを判定し、まだ、１フレーム分の予測値が得られていないと判定された場合、ステップＳ１に戻り、ＨＤ画像のフレームを構成する画素のうち、まだ注目画素とされていないものが、新たに注目画素とされ、以下、同様の処理が繰り返される。
【０１１４】
一方、ステップＳ５において、１フレーム分の予測値が得られたと判定された場合、ステップＳ６に進み、画像再構成回路１７は、その１フレーム分の予測値でなる１フレームのＨＤ画像（ここでは、５２５ｐのＨＤ画像）を構成して出力し、ステップＳ１に戻る。そして、次のＨＤ画像のフレームを対象に、ステップＳ１以降の処理を繰り返す。
【０１１５】
次に、図６は、図１のデータ処理部１が、予測処理において用いられる予測係数を求めるクラス分類適応処理としての学習処理を行う学習装置として構成される場合の、その構成例を示している。
【０１１６】
教師データとしてのＨＤ画像（以下、適宜、教師画像という）は、例えば、フレーム単位で、フレームメモリ３１に供給され、フレームメモリ３１は、そこに供給される教師画像を順次記憶する。
【０１１７】
ここで、本実施の形態では、図２の予測装置において求められるＨＤ画像は、５２５ｐの画像であるため、教師画像としては、そのような５２５ｐの画像が用いられる。
【０１１８】
間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像を、例えば、フレーム単位で読み出し、ＬＰＦ(Low Pass Filter)をかけることによって、画像の周波数帯域を下げ、さらに、画素の間引きを行うことによって、画素数を減少させる。これにより、間引きフィルタ３２は、教師画像の解像度を低下させ、生徒データとしてのＳＤ画像（以下、適宜、生徒画像という）を生成し、フレームメモリ３３に供給する。
【０１１９】
即ち、本実施の形態では、図２の予測装置において、５２５ｉまたは２６２ｐのＳＤ画像から、５２５ｐのＨＤ画像が求められる。さらに、本実施の形態では、５２５ｐのＨＤ画像は、５２５ｉのＳＤ画像についても、２６２ｐのＳＤ画像についても、その横および縦の画素数を２倍にしたものとなっている。
【０１２０】
このため、間引きフィルタ３２は、５２５ｐのＨＤ画像である教師画像から、５２５ｉまたは２６２ｐのＳＤ画像である生徒画像を得るために、まず、教師画像にＬＰＦ（ここでは、いわゆるハーフバンドフィルタ）をかけることによって、その周波数帯域幅を、元の１／２にする。
【０１２１】
さらに、間引きフィルタ３２は、教師画像にＬＰＦをかけて得られる画像の水平方向に並ぶ画素を、１画素ごとに間引き、その画素数を、元の１／２にする。
そして、間引きフィルタ３２は、水平方向の画素数を間引いた教師画像の各フレームの水平ラインを、１水平ラインごとに間引き、その水平ライン数を、元の１／２にすることで、２６２ｐのＳＤ画像を、生徒画像として生成する。
【０１２２】
あるいは、また、間引きフィルタ３２は、水平方向の画素数を間引いた教師画像の各フレームの水平ラインのうち、例えば、奇数フレームについては、偶数ライン（偶数番目の水平ライン）を間引き、偶数フレームについては、奇数ラインを間引き、その水平ライン数を、元の１／２にすることで、５２５ｉのＳＤ画像を、生徒画像として生成する。
【０１２３】
なお、間引きフィルタ３２は、生徒画像として、２６２ｐのＳＤ画像、または５２５ｉのＳＤ画像のうちのいずれを生成するかは、レジスタ４０Ａにセットされている情報（以下、適宜、生徒画像フォーマット情報）に基づいて設定するようになっている。
【０１２４】
フレームメモリ３３は、間引きフィルタ３２が出力する生徒画像を、例えば、フレーム単位またはフィールド単位で順次記憶する。
【０１２５】
予測タップ構成回路３４は、フレームメモリ３１に記憶された教師画像を構成する画素（以下、適宜、教師画素という）を、順次、注目画素とし、その注目画素の位置に対応する生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画像の画素（以下、適宜、生徒画素という）を、フレームメモリ３３から読み出し、予測係数との乗算に用いる予測タップを構成する。
【０１２６】
即ち、予測タップ構成回路３４は、図２の予測タップ構成回路１２と同様に、レジスタ４０Ｂにセットされている情報（この情報も、以下、適宜、予測タップ構成情報という）に基づいて、予測タップとする生徒画素の選択パターンを設定し、その選択パターンにしたがって、注目画素についての予測タップとなる生徒画素を、フレームメモリ３３に記憶された生徒画像から選択する。そして、予測タップ構成回路３４は、そのような生徒画素で構成される予測タップを、正規方程式加算回路３７に出力する。
【０１２７】
クラスタップ構成回路３５は、注目画素の位置に対応する、生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画素を、フレームメモリ３３から読み出し、クラス分類に用いるクラスタップを構成する。
【０１２８】
即ち、クラスタップ構成回路３５は、図２のクラスタップ構成回路１３と同様に、レジスタ４０Ｃにセットされている情報（この情報も、以下、適宜、クラスタップ構成情報という）に基づいて、クラスタップとする生徒画素の選択パターンを設定し、その選択パターンにしたがって、注目画素についてのクラスタップとなる生徒画素を、フレームメモリ３３に記憶された生徒画像から選択する。そして、クラスタップ構成回路３５は、そのような生徒画素で構成されるクラスタップを、クラス分類回路３６に出力する。
【０１２９】
クラス分類回路３６は、図２のクラス分類回路１４と同様に構成され、クラスタップ構成回路３５からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、正規方程式加算回路３７に供給する。
【０１３０】
なお、クラス分類回路３６には、レジスタ４０Ｃにセットされているクラスタップ構成情報が供給されるようになっているが、これは、図４で説明した、図２のクラス分類回路１４にクラスタップ構成情報が供給されるようになっているのと同様の理由からである。
【０１３１】
正規方程式加算回路３７は、フレームメモリ３１から、注目画素となっている教師画素を読み出し、予測タップ構成回路３４からの予測タップ（を構成する生徒画素）と、注目画素（教師画素）を対象とした足し込みを行う。
【０１３２】
即ち、正規方程式加算回路３７は、クラス分類回路３６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒画素どうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１３３】
さらに、正規方程式加算回路３７は、やはり、クラス分類回路３６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）および注目画素（教師画素）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒画素と注目画素（教師画素）の乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１３４】
正規方程式加算回路３７は、以上の足し込みを、フレームメモリ３１に記憶された教師画素すべてを、注目画素として行い、これにより、クラスごとに、式（８）に示した正規方程式がたてられる。
【０１３５】
予測係数決定回路３８は、正規方程式加算回路３７においてクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を求め、メモリ３９の、各クラスに対応するアドレスに供給する。
【０１３６】
なお、教師画像として用意する画像の数（フレーム数）や、その画像の内容等によっては、正規方程式加算回路３７において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、予測係数決定回路３８は、そのようなクラスについては、例えば、デフォルトの予測係数を出力する。
【０１３７】
メモリ３９は、予測係数決定回路３８から供給される予測係数を記憶する。即ち、メモリ３９は、複数バンクで構成され、各バンクに、対応する種類の予測係数を記憶する。なお、メモリ３９は、レジスタ４０Ｄにセットされている情報（この情報も、以下、適宜、係数情報という）に基づいて、使用するバンクを設定し、そのバンクにおける、クラス分類回路１４から供給されるクラスコードに対応するアドレスに、予測係数決定回路３８から供給される予測係数を記憶する。
【０１３８】
レジスタ群４０は、間引きフィルタ３２、予測タップ構成回路３４、クラスタップ設定回路３５、およびメモリ３９の機能を設定するための情報を記憶するようになっている。
【０１３９】
即ち、レジスタ群４０は、図６の実施の形態では、４つのレジスタ４０Ａ乃至４０Ｄから構成され、レジスタ４０Ａには生徒画像フォーマット情報が、レジスタ４０Ｂには予測タップ構成情報が、レジスタ４０Ｃにはクラスタップ構成情報が、レジスタ４０Ｄには係数情報が、それぞれ、制御信号によってセットされるようになっている。従って、図６の実施の形態において、制御信号は、これらの生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報を含んでいる。
【０１４０】
生徒画像フォーマット情報は、機能制御部２において、例えば、そこに入力されるコマンドに基づいて決定される。即ち、機能制御部２は、生徒画像を、５２５ｉのＳＤ画像、または２６２ｐのＳＤ画像とする旨のコマンドを受信すると、そのコマンドにしたがって、生徒画像フォーマット情報を決定する。
【０１４１】
予測タップ構成情報、クラスタップ構成情報、および係数情報は、機能制御部２において、例えば、生徒画像が５２５ｉの画像であるか、または２６２ｐの画像であるかが、コマンドに基づいて識別され、あるいは、画像のアクティビティ等が、その画像に基づいて識別され、その識別結果に基づいて決定される。
【０１４２】
次に、図７のフローチャートを参照して、図６の学習装置により行われる、予測係数の学習処理について説明する。
【０１４３】
予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ３１に供給されるとともに、機能制御部２（図１）にも供給され、さらに、機能制御部２には、コマンドも供給される。機能制御部２は、そこに供給される教師画像やコマンドに基づいて、制御信号を生成し、その制御信号が、レジスタ群４０に供給される。これにより、レジスタ群４０のレジスタ４０Ａ乃至４０Ｄには、制御信号にしたがった生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、または係数情報が、それぞれセットされる。
【０１４４】
以上のようにして、レジスタ群４０に情報がセットされた後は、ステップＳ２１において、予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ３１に記憶され、ステップＳ２２に進み、正規方程式加算回路３７において、式（８）における、クラスｃごとの行列Ａを記憶するための配列変数A[c]と、ベクトルＶを記憶するための配列変数V[c]とが０に初期化され、ステップＳ２３に進む。
【０１４５】
ステップＳ２３では、間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像を処理することにより、レジスタ４０Ａにセットされた生徒画像フォーマット情報にしたがった生徒画像としての５２５ｉまたは２６２ｐのＳＤ画像を生成する。即ち、間引きフィルタ３２は、フレームメモリ３１に記憶された教師画像に対して、ＬＰＦ(Low Pass Filter)をかけ、さらに、その画素数を間引くことより、教師画像の解像度を低下させた生徒画像を生成する。この生徒画像は、フレームメモリ３３に、順次供給されて記憶される。
【０１４６】
そして、ステップＳ２４に進み、フレームメモリ３１に記憶された教師画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ構成回路３４は、フレームメモリ３３に記憶された生徒画素を、レジスタ４０Ｂにセットされている予測タップ構成情報に対応する選択パターンにしたがって選択することにより、注目画素についての予測タップを構成する。さらに、ステップＳ２４では、クラスタップ構成回路３５は、フレームメモリ３３に記憶された生徒画素を、レジスタ４０Ｃにセットされているクラスタップ構成情報に対応する選択パターンにしたがって選択することにより、注目画素についてのクラスタップを構成する。そして、予測タップは、正規方程式加算回路３７に供給され、クラスタップは、クラス分類回路３６に供給される。
【０１４７】
クラス分類回路３６は、ステップＳ２５において、クラスタップ構成回路３５からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、正規方程式加算回路７に供給し、ステップＳ２６に進む。
【０１４８】
ステップＳ２６では、正規方程式加算回路３７は、フレームメモリ３１から、注目画素となっている教師画素を読み出し、予測タップ（を構成する生徒画素）、注目画素（教師画素）を対象とし、配列変数A[c]とv[c]を用いて、式（８）の行列Ａとベクトルｖの、上述したような足し込みを、クラス分類回路３６からのクラスｃごとに行う。
【０１４９】
そして、ステップＳ２７に進み、フレームメモリ３１に記憶された教師画像を構成する教師画素すべてを注目画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、ステップＳ２４に戻る。この場合、まだ、注目画素されていない教師画素のうちの１つが、新たに注目画素とされ、ステップＳ２４乃至Ｓ２７の処理が繰り返される。
【０１５０】
また、ステップＳ２７において、教師画素すべてを注目画素として、足し込みを行ったと判定された場合、即ち、正規方程式加算回路３７においてクラスごとの正規方程式が得られた場合、ステップＳ２８に進み、予測係数決定回路３８は、そのクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を求め、メモリ３９の、各クラスに対応するアドレスに供給する。
【０１５１】
メモリ３９は、自身が有する複数バンクのうちの、レジスタ４０Ｄにセットされた係数情報に対応するものを選択しており、その選択しているバンクの各アドレスに、予測係数決定回路３８からの、クラスごとの予測係数を記憶し、学習処理を終了する。
【０１５２】
なお、図７の学習処理は、メモリ３９のバンク切り替えが行われるごとに行われる。即ち、学習処理は、予測係数の種類ごとに行われる。
【０１５３】
ここで、本実施の形態では、予測係数の種類として、大きくは、例えば、５２５ｉのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適した予測係数（以下、適宜、５２５ｉ用の予測係数という）と、２６２ｐのＳＤ画像を、５２５ｐのＨＤ画像に変換するのに適した予測係数（以下、適宜、２６２ｐ用の予測係数という）との２種類がある。
【０１５４】
さらに、５２５ｉ用の予測係数や、２６２ｐ用の予測係数には、ノイズの比較的少ないＳＤ画像をＨＤ画像に変換するのに適した予測係数や、ノイズの比較的少ないＳＤ画像をＨＤ画像に変換するのに適した予測係数といった種類や、アクティビティの小さいＳＤ画像をＨＤ画像に変換するのに適した予測係数や、アクティビティの大きいＳＤ画像をＨＤ画像に変換するのに適した予測係数といった種類等がある。
【０１５５】
次に、機能制御部２（図１）において、そこに入力される画像を識別する方法と、その識別結果に基づいて行われる、図２の予測装置または図６の学習装置の機能の設定について説明する。
【０１５６】
まず、図８は、予測装置においてＨＤ画像に変換するＳＤ画像のフォーマット（５２５ｉのＳＤ画像か、２６２ｐのＳＤ画像か）を識別し、その識別結果に基づいて制御信号を出力する機能制御部２の構成例を示している。
【０１５７】
ＨＤ画像に変換する対象のＳＤ画像は、同期信号分離部５１に供給され、同期信号分離部５１は、そこに供給されるＳＤ画像から、水平同期信号および垂直同期信号を分離し、位相検出部５２に供給する。位相検出部５２は、同期信号分離部５１からの垂直同期信号を基準として、同じく同期信号分離部５１からの水平同期信号の位相を検出し、フォーマット判断部５３に出力する。フォーマット判断部５３は、位相検出部５２からの水平同期信号の位相に基づいて、入力されたＳＤ画像が、５２５ｉの画像か、または２６２ｐの画像かを判断し、その判断結果を、制御信号出力部５４に出力する。制御信号出力部５４は、フォーマット判断部５３からの、ＳＤ画像の判断結果に基づいて、制御信号を生成し、図２の予測装置としてのデータ処理部１（図１）に出力する。
【０１５８】
ここで、ＳＤ画像が、５２５ｉの画像である場合の、その信号波形を、図９（Ａ）および図９（Ｂ）に示す。５２５ｉの画像については、奇数フィールドと偶数フィールドが存在し、図９（Ａ）は、奇数フィールドの信号波形を、図９（Ｂ）は、偶数フィールドの信号波形を、それぞれ示している。
【０１５９】
同期信号分離部５１では、図９（Ａ）の奇数フィールドの信号波形や、図９（Ｂ）の偶数フィールドの信号波形から、図９（Ｃ）に示すような垂直同期信号が抽出される。さらに、同期信号分離部５１では、図９（Ａ）の奇数フィールドの信号波形から、図９（Ｄ）に示すような水平同期信号が抽出されるとともに、図９（Ｂ）の偶数フィールドの信号波形から、図９（Ｅ）に示すような水平同期信号が抽出される。
【０１６０】
図９（Ｄ）と図９（Ｅ）とを比較して分かるように、５２５ｉの画像のようなインターレース方式の画像においては、水平同期信号の周期を１Ｈと表すと、その奇数フィールドの水平同期信号と、偶数フィールドの水平同期信号との位相は、１／２Ｈだけずれている。
【０１６１】
従って、インターレース方式の画像については、例えば、いま、図９（Ｃ）と同様の図１０（Ａ）に示す垂直同期信号の立ち下がりエッジのタイミングを基準とした場合において、図１０（Ｂ）に示すように、奇数フィールドの水平同期信号の位相が０であるとすると、偶数フィールドの水平同期信号の位相は、図１０（Ｃ）に示すように、１／２Ｈとなる。即ち、インターレース方式の画像については、垂直同期信号を基準とする水平同期信号の位相が変化することがある（ここでは、位相が０になったり、１／２Ｈになったりする）。
【０１６２】
一方、ＳＤ画像が、２６２ｐの画像である場合の、その各フレームの信号波形は、図１１（Ａ）に示すようになり、同期信号分離部５１では、図１１（Ａ）の信号波形から、図１１（Ｂ）に示すような垂直同期信号が抽出される。さらに、同期信号分離部５１では、図１１（Ａ）の信号波形から、図１１（Ｃ）に示すような水平同期信号が抽出される。
【０１６３】
図１１（Ｂ）と図１１（Ｃ）とを比較して分かるように、２６２ｐの画像のようなプログレッシブ方式の画像においては、図１１（Ｂ）に示す垂直同期信号の立ち下がりエッジのタイミングを基準とした場合において、水平同期信号の位相は、図１１（Ｃ）に示すように、常に一定となる。即ち、プログレッシブ方式の画像については、垂直同期信号を基準とする水平同期信号の位相が変化することはなく、一定である（ここでは、位相が０のままである）。
【０１６４】
従って、ＳＤ画像が、インターレース方式の画像か、またはプログレッシブ方式の画像かは、上述のような水平同期信号の位相の変化の有無によって判断することができ、図８の機能制御部２では、フォーマット判断部５３において、位相検出部５２が検出する、垂直同期信号を基準とする水平同期信号の位相の変化の有無によって、ＳＤ画像が、インターレース方式の画像か、またはプログレッシブ方式の画像かが判断される。
【０１６５】
ＳＤ画像が、インターレース方式の画像と判断（識別）された場合、制御信号出力部５４は、５２５ｉのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適した予測係数を用いるべき旨の係数情報を生成する。さらに、制御信号出力部５４は、インターレース方式の画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１６６】
また、ＳＤ画像が、プログレッシブ方式の画像と判断（識別）された場合、制御信号出力部５４は、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適した予測係数を用いるべき旨の係数情報を生成する。さらに、制御信号出力部５４は、プログレッシブ方式の画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１６７】
なお、図８の機能制御部２において、フォーマット判断部５３には、そこに入力されるＳＤ画像の垂直同期信号の周波数を検出させることも可能であり、この場合、制御信号出力部５４には、各垂直同期周波数のＳＤ画像に適した係数情報や、予測タップ構成情報、クラスタップ構成情報を生成させることが可能である。但し、この場合、図２の予測装置における係数メモリ１５には、各垂直同期周波数のＳＤ画像をＨＤ画像に変換するのに適した予測係数が記憶されていることが必要である。
【０１６８】
ところで、５２５ｉのＳＤ画像においては、図１２（Ａ）に示すように、奇数フィールドと、偶数フィールドとで、垂直方向の画素の位置が、１水平ライン分ずれており、２６２ｐのＳＤ画像においては、図１２（Ｂ）に示すように、すべてのフレームで、垂直方向の画素の位置は、一定である。なお、図１２において（後述する図１３においても同様）、縦軸は、画像の所定の列における画素の並びを、横軸は、時間を、それぞれ表している。
【０１６９】
また、ここでは、上述したことから、５２５ｉのＳＤ画像の水平ライン上の画素数と、２６２ｐのＳＤ画像の水平ライン上の画素数とは同一であり、従って、５２５ｉのＳＤ画像の１フレーム（奇数フィールドと偶数フィールドの組）における画素数と、２６２ｐのＳＤ画像の２フレームにおける画素数は同一である。
【０１７０】
そこで、いま、図２の予測装置のフレームメモリ１１に、５２５ｉのＳＤ画像は、１フレーム単位で（連続する２フィールド単位で）、２６２ｐのＳＤ画像は、連続する２フレーム単位で、それぞれ記憶させることとする。
【０１７１】
この場合、５２５ｉのＳＤ画像については、その１フレームを構成する画素が、フレームメモリ１１の、例えば、各画素の位置に対応するアドレスに記憶される。
【０１７２】
一方、２６２ｐのＳＤ画像については、その連続する２フレームを構成する画素のうち、奇数フレームの画素は、フレームメモリ１１の、例えば、各画素の位置に対応するアドレスに記憶され、偶数フレームの画素は、フレームメモリ１１の、例えば、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶される。
【０１７３】
即ち、２６２ｐのＳＤ画像については、奇数フレームの画素と、偶数フレームの画素とは同一位置にあるから、奇数フレームの画素を、フレームメモリ１１の、各画素の位置に対応するアドレスに記憶させた場合には、偶数フレームの画素を、フレームメモリ１１の、各画素の位置に対応するアドレスに記憶させることはできないため、フレームメモリ１１の、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶される。
【０１７４】
従って、フレームメモリ１１に入力されるＳＤ画像が、５２５ｉの画像である場合には、問題はないが、２６２ｐの画像である場合には、その偶数フレームの画素が、フレームメモリ１１の、各画素の位置に対応するアドレスではなく、各画素の位置から１水平ライン分ずれた位置に対応するアドレスに記憶されるため、図２の予測装置では、２６２ｐのＳＤ画像を、そのうちの偶数フレームの画素を１水平ライン分だけずらして、いわば、５２５ｉのＳＤ画像に変換したものを対象に、以降の処理が施されることになる。
【０１７５】
一方、図６の学習装置では、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数を求める学習処理は、５２５ｐのＨＤ画像である教師画像と、その教師画像から生成された、２６２ｐのＳＤ画像である生徒画像とを用いて行われる。
【０１７６】
従って、学習処理における場合と、予測処理における場合とで、同一の注目画素について構成される予測タップやクラスタップとして選択されるＳＤ画素が、異なるものとなる。即ち、学習処理における場合と、予測処理における場合とで、同一の注目画素について、異なるＳＤ画素によって、予測タップやクラスタップが構成されることとなる。その結果、２６２ｐのＳＤ画像については、予測処理による解像度の向上が阻害されることとなる。
【０１７７】
そこで、図６の学習装置において、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数を求める学習処理を行う場合には、５２５ｐの教師画像から得られた２６２ｐの画像ではなく、その２６２ｐの画像を、そのうちの偶数フレームの画素を１水平ライン分だけずらして５２５ｉのＳＤ画像に変換したものを、生徒画像として、学習処理を行うようにすることができる。
【０１７８】
これは、例えば、図６の学習装置における間引きフィルタ３２に、図１３に示すような処理を行わせることで実現することができる。
【０１７９】
即ち、５２５ｉのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数（５２５ｉ用の予測係数）を求める学習処理を行う場合には、間引きフィルタ３２に、図１３（Ａ）に示すように、５２５ｐの教師画像から、上述したようにして、５２５ｉのＳＤ画像を生成させ、これを、そのまま生徒画像として用いるようにすれば良い。
【０１８０】
一方、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するための予測係数（２６２ｐ用の予測係数）を求める学習処理を行う場合には、間引きフィルタ３２に、図１３（Ｂ）に示すように、５２５ｐの教師画像から、上述したようにして、２６２ｐのＳＤ画像を生成させ、さらに、そのＳＤ画像の偶数フレームの画素を１水平ライン分だけずらして５２５ｉのＳＤ画像に変換し、これを、生徒画像として用いるようにすれば良い。
【０１８１】
このように、５２５ｐの教師画像から、２６２ｐのＳＤ画像を生成し、そのＳＤ画像の偶数フレームの画素を１水平ライン分だけずらして５２５ｉのＳＤ画像に変換したものを、生徒画像として用いて、学習処理を行うことで、図２の予測装置において、２６２ｐのＳＤ画像を５２５ｐのＨＤ画像に変換するのに適切な２６２ｐ用の予測係数を求めることができる。
【０１８２】
なお、２６２ｐ用の予測係数を求める学習処理を行うのか、または５２５ｉ用の予測係数を求める学習処理を行うのかは、間引きフィルタ３２において、レジスタ４０Ａにセットされている生徒画像フォーマット情報に基づいて認識することができる。
【０１８３】
次に、図１４は、予測装置においてＨＤ画像に変換するＳＤ画像が有するノイズを識別し、その識別結果に基づいて制御信号を出力する機能制御部２の構成例を示している。
【０１８４】
ＨＤ画像に変換する対象のＳＤ画像は、同期信号分離部６１に供給され、同期信号分離部６１は、そこに供給されるＳＤ画像から、水平同期信号および垂直同期信号を分離し、タイミング作成部６２に供給する。さらに、同期信号分離部６１は、そこに入力されたＳＤ画像を、そのまま、同期信号サンプリング部６３に供給する。
【０１８５】
タイミング作成部６２は、同期信号分離部６１からの水平同期信号および垂直同期信号に基づいて、ＳＤ画像の水平同期信号をサンプリングするためのクロックを生成し、同期信号サンプリング部６３に出力する。同期信号サンプリング部６３は、タイミング作成部６２からのクロックに同期して、同期信号分離部６１からのＳＤ画像の信号波形をサンプリングし、これにより、水平同期信号の部分のサンプル値を得る。この水平同期信号のサンプル値は、平均演算部６４および遅延処理部６５に供給される。
【０１８６】
平均演算部６４は、同期信号サンプリング部６３から供給される水平同期信号のサンプル値の、例えば、過去１フレーム分の平均値を演算し、演算部６６に供給する。
【０１８７】
一方、遅延処理部６５は、同期信号サンプリング部６３から供給される水平同期信号のサンプル値を、平均演算部６４において平均値を求めるのに必要な時間だけ遅延し、演算部６６に供給する。
【０１８８】
演算部６６は、平均演算部６４からの、水平同期信号のサンプル値の１フレーム分の平均値と、遅延処理部６５からの水平同期信号のサンプル値との差分を演算し、その差分値を、絶対値和演算部６７に供給する。
【０１８９】
絶対値和演算部６７は、演算部６６からの差分値の絶対値を求め、その絶対値の、例えば、１フレーム分の総和を演算する。そして、絶対値和演算部６７は、その総和値を、閾値比較部６８に出力する。閾値比較部６８は、絶対値和演算部６７からの総和値と所定の閾値とを比較することで、その大小関係を判定し、その判定結果を、制御信号出力部６９に出力する。
【０１９０】
制御信号出力部６９は、閾値比較部６８からの判定結果としての、総和値と閾値との大小関係に基づいて、制御信号を生成し、図２の予測装置としてのデータ処理部１（図１）に出力する。
【０１９１】
ここで、ＳＤ画像が、例えば、図１５（Ａ）に示すような、ノイズの少ない（あるいは、ノイズのない）ものである場合には、平均演算部６４において得られる、水平同期信号のサンプル値の平均値は、図１５（Ｂ）に示すように、真の水平同期信号に近いものとなる。
【０１９２】
このような水平同期信号のサンプル値の平均値と、水平同期信号のサンプル値との差分は、図１５（Ｃ）に示すように、ほとんど０となり、従って、そのような差分値の絶対値の総和は、小さな値となる。
【０１９３】
一方、ＳＤ画像が、例えば、図１５（Ｄ）に示すような、ノイズの多いものである場合でも、そのノイズがランダムであるとすれば、平均演算部６４において得られる、水平同期信号のサンプル値の平均値は、やはり、図１５（Ｂ）に示すように、真の水平同期信号に近いものとなる。
【０１９４】
また、図１５（Ｄ）のＳＤ画像から得られる水平同期信号のサンプル値は、図１５（Ｅ）に示すように、真の水平同期信号に、ノイズが重畳されたものとなる。
【０１９５】
従って、図１５（Ｂ）に示した水平同期信号のサンプル値の平均値と、図１５（Ｅ）の水平同期信号のサンプル値との差分は、図１５（Ｆ）に示すように、ＳＤ画像に含まれていたノイズになり、そのような差分値の絶対値の総和は、大きな値となる。
【０１９６】
以上から、閾値比較部６８から制御信号出力部６９に対しては、ＳＤ画像に含まれるノイズが少ない場合には、総和値が、閾値より小さい（以下である）旨の大小関係が出力され、逆に、ＳＤ画像に含まれるノイズが多い場合には、総和値が、閾値以上である（より大きい）旨の大小関係が出力される。
【０１９７】
制御信号出力部６９は、総和値が、閾値より小さい旨の大小関係を受信した場合、ＳＤ画像がノイズの少ないものであると識別し、その識別結果に基づいて、ノイズの少ないＳＤ画像をＨＤ画像に変換するのに適した予測係数（以下、適宜、小ノイズ用予測係数という）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部６９は、ノイズの少ないＳＤ画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１９８】
また、制御信号出力部６９は、総和値が、閾値以上である旨の大小関係を受信した場合、ＳＤ画像がノイズの多いものであると識別し、その識別結果に基づいて、ノイズの多いＳＤ画像をＨＤ画像に変換するのに適した予測係数（以下、適宜、大ノイズ用予測係数という）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部６９は、ノイズの多いＳＤ画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０１９９】
なお、この場合、図２の予測装置における係数メモリ１５には、小ノイズ用予測係数と、大ノイズ用予測係数を記憶させておく必要がある。
【０２００】
また、小ノイズ用予測係数と大ノイズ用予測係数とは、図６の学習装置において、少ないノイズを重畳した（あるいは、ノイズを重畳しない）生徒画像と、多くのノイズを重畳した生徒画像とを用いて学習処理を行うことにより、それぞれ求めることができる。
【０２０１】
図６の学習装置において、このようなノイズの重畳は、例えば、間引きフィルタ３２に行わせることができる。さらに、この場合、間引きフィルタ３２に、少ないノイズを重畳させるか、または多くのノイズを重畳させるかは、例えば、選択制御部２に入力されるコマンドに基づいて生成される制御信号によって指令することができる。
【０２０２】
ここで、図１４の閾値比較部６８には、２以上の閾値との比較を行わせるようにすることが可能である。
【０２０３】
次に、図１６は、予測装置においてＨＤ画像に変換するＳＤ画像のアクティビティ（絵柄）を識別し、その識別結果に基づいて制御信号を出力する機能制御部２の構成例を示している。
【０２０４】
ＨＤ画像に変換する対象のＳＤ画像は、ブロック内標準偏差演算部７１に供給され、ブロック内標準偏差演算部７１は、そこに供給されるＳＤ画像の各フレーム（またはフィールド）における各ＳＤ画素を中心とする、所定の大きさのブロックを構成し、各ブロックについて、そのブロックを構成する画素の画素値（ここでは、例えば、輝度）の標準偏差を演算する。各ＳＤ画素の標準偏差は、平均値演算部７２に供給される。
【０２０５】
平均値演算部７２は、ブロック内標準偏差演算部７１からの各ブロックの標準偏差の、例えば、フレームごとの平均値を求め、閾値比較部７３に供給する。閾値比較部７３は、平均値演算部７２からの標準偏差の平均値と、所定の閾値とを比較し、その大小関係を判定する。そして、閾値比較部７３は、標準偏差の平均値と所定の閾値との大小関係の判定結果を、制御信号出力部７４に供給する。
【０２０６】
制御信号出力部７４は、閾値比較部７３からの判定結果としての、標準偏差の平均値と所定の閾値との大小関係に基づいて、制御信号を生成し、図２の予測装置としてのデータ処理部１（図１）に出力する。
【０２０７】
ここで、図１７は、ＳＤ画像が、ゲーム画像である場合と、自然画であるテレビジョン画像である場合の、輝度の度数分布、および上述のようなブロックの標準偏差の平均値を示している。なお、図１７（Ａ）は、ＳＤ画像がゲーム画像である場合を、図１７（Ｂ）は、ＳＤ画像が自然画である場合をそれぞれ示している。
【０２０８】
ゲーム画像については、ゲーム機や、そのゲーム画像の内容等によってある程度の違いはあるが、局所的に見た場合には、エッジ部分の画素値の変化は急峻であるが、他の部分の画素値の変化が平坦である（ほとんどない）ため、ブロックの標準偏差の平均値は、比較的小さな値となる。
【０２０９】
一方、自然画については、やはり、その自然画の内容等によってある程度の違いはあるが、局所的に見た場合には、エッジ部分の画素値の変化は、ゲーム画像ほど急峻ではないが、他の部分の画素値の変化が、ある程度あるため、ブロックの標準偏差の平均値は、比較的大きな値となる。
【０２１０】
以上から、閾値比較部７３から制御信号出力部７４に対しては、ＳＤ画像がゲーム画像である場合には、標準偏差の平均値が、閾値より小さい（以下である）旨の大小関係が出力され、ＳＤ画像が自然画である場合には、標準偏差の平均値が、閾値以上である（より大きい）旨の大小関係が出力される。
【０２１１】
制御信号出力部７４は、標準偏差の平均値が、閾値より小さい旨の大小関係を受信した場合、ＳＤ画像がゲーム画像であると識別し、その識別結果に基づいて、ゲーム画像をＨＤ画像に変換するのに適した予測係数（以下、適宜、ゲーム画像用予測係数という）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部７４は、ゲーム画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０２１２】
また、制御信号出力部７４は、標準偏差の平均値が、閾値以上である旨の大小関係を受信した場合、ＳＤ画像が自然画であると識別し、その識別結果に基づいて、自然画をＨＤ画像に変換するのに適した予測係数（以下、適宜、自然画用予測係数という）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部７４は、自然画に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０２１３】
なお、この場合、図２の予測装置における係数メモリ１５には、ゲーム画像用予測係数と、自然画用予測係数を記憶させておく必要がある。
【０２１４】
また、ゲーム画像用予測係数と自然画用予測係数とは、図６の学習装置において、教師画像となるＨＤ画像として、ゲーム画像と自然画とを用いて学習処理をそれぞれ行うことにより求めることができる。
【０２１５】
この場合、図１６の機能制御部２に対して、教師画像を供給することにより、その教師画像が、ゲーム画像であるか、または自然画であるかを識別することができ、さらに、その識別結果に基づいて、制御信号を生成して、図６の学習装置に供給することができる。
【０２１６】
ここで、図１６の閾値比較部７３には、２以上の閾値との比較を行わせるようにすることが可能である。
【０２１７】
また、上述の場合には、標準偏差によって、ＳＤ画像が、ゲーム画像であるか、または自然画であるかを識別するようにしたが、この識別は、その他、例えば、画素値の分散等に基づいて行うことも可能である。
【０２１８】
さらに、ゲーム画像は、上述したフリッカを防止するために、一般には、プログレッシブ方式の画像とされる。従って、本実施の形態では、予測装置に対しては、５２５ｉのＳＤ画像か、または２６２ｐのＳＤ画像のうちのいずれかしか入力されないから、図１６の機能制御部２において、ＳＤ画像がゲーム画像である旨の識別結果が得られた場合には、同時に、そのＳＤ画像のフォーマットも、プログレッシブ方式であると識別することができる。
【０２１９】
次に、図１８は、予測装置においてＨＤ画像に変換するＳＤ画像のアクティビティ（絵柄）を識別し、その識別結果に基づいて制御信号を出力する機能制御部２の他の構成例を示している。
【０２２０】
ＨＤ画像に変換する対象のＳＤ画像は、度数分布作成部８１に供給され、度数分布作成部８１は、そこに供給されるＳＤ画像の画素値（ここでは、例えば、色差ＣｂとＣｒとの組）の度数分布を、例えば、フレームまたはフィールド単位で作成する。この色差の度数分布は、最大度数色差選択部８２に供給される。
【０２２１】
最大度数色差選択部８２は、度数分布作成部８１からの度数分布から、度数が最大の色差（上述したように、ここでは、色差ＣｂとＣｒとの組）を求め、分散計算部８３に供給する。分散計算部８３は、度数が最大の色差の周辺にある色差の分散を計算し、閾値比較部８４に供給する。閾値比較部８４は、分散計算部８３からの分散と、所定の閾値とを比較し、その大小関係を判定する。そして、閾値比較部８４は、分散と所定の閾値との大小関係の判定結果を、制御信号出力部８５に供給する。
【０２２２】
制御信号出力部８５は、閾値比較部８４からの判定結果としての、分散と所定の閾値との大小関係に基づいて、制御信号を生成し、図２の予測装置としてのデータ処理部１（図１）に出力する。
【０２２３】
ここで、ＳＤ画像がゲーム画像である場合における、色差の分布と、その度数分布を、図１９と図２０に、それぞれ示す。また、ＳＤ画像が自然画である場合における、色差の分布と、その度数分布を、図２１と図２２に、それぞれ示す。
【０２２４】
ゲーム画像は、ある程度制限された数の色しか使用されていないことが多いため、色差の分布は、図１９に示すように狭い範囲の分布となり、さらに、度数分布において、度数が最大の色差の周辺にある色差の分散も、図２０に示すように小さくなる。
【０２２５】
一方、自然画は、ある程度豊富な数の色が使用されていることが多いため、色差の分布は、図２１に示すようにある程度拡がりのあるものとなり、さらに、度数分布において、度数が最大の色差の周辺にある色差の分散も、図２２に示すように比較的大きくなる。
【０２２６】
以上から、閾値比較部８４から制御信号出力部８５に対しては、ＳＤ画像がゲーム画像である場合には、分散が、閾値より小さい（以下である）旨の大小関係が出力され、ＳＤ画像が自然画である場合には、分散が、閾値以上である（より大きい）旨の大小関係が出力される。
【０２２７】
制御信号出力部８５は、分散が、閾値より小さい旨の大小関係を受信した場合、ＳＤ画像がゲーム画像であると識別し、その識別結果に基づいて、ゲーム画像をＨＤ画像に変換するのに適した予測係数（ゲーム画像用予測係数）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部８５は、ゲーム画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０２２８】
また、制御信号出力部８５は、分散が、閾値以上である旨の大小関係を受信した場合、ＳＤ画像が自然画であると識別し、その識別結果に基づいて、自然画をＨＤ画像に変換するのに適した予測係数（自然画用予測係数）を用いるべき旨の係数情報を生成する。さらに、制御信号出力部８５は、自然画に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【０２２９】
なお、この場合も、上述したようにして、ゲーム画像用予測係数と自然画用予測係数とを、図６の学習装置において求めておき、図２の予測装置における係数メモリ１５に記憶させておく必要がある。
【０２３０】
また、図６の学習装置において、ゲーム画像用予測係数と自然画用予測係数とを求める場合には、図１８の機能制御部２に対して、教師画像を供給することにより、その教師画像が、ゲーム画像であるか、または自然画であるかを識別することができ、さらに、その識別結果に基づいて、制御信号を生成して、図６の学習装置に供給することができる。
【０２３１】
ここで、図１８の閾値比較部８４にも、２以上の閾値との比較を行わせるようにすることが可能である。
【０２３２】
さらに、図１８の機能制御部２においては、図１６における場合と同様に、ＳＤ画像がゲーム画像であるかどうかの識別の他、そのＳＤ画像のフォーマットが、プログレッシブ方式であるかどうかの識別を行うことが可能である。
【０２３３】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３４】
そこで、図２３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０２３６】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２３７】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２３８】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードやマウス等で構成される入力部１０７が操作されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２３９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２４０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４１】
なお、本実施の形態では、本発明を、画像の解像度を向上させる画像処理に適用した場合について説明したが、本発明は、その他の画像処理、さらには、画像以外の、例えば、音声等を対象とした処理にも適用可能である。
【０２４２】
また、本実施の形態では、ＳＤ画像として、２６２ｐと５２５ｉの２種類の画像を用いることとしたが、本発明は、これ以外のフォーマットのＳＤ画像にも対処可能である。
【０２４３】
さらに、本実施の形態では、ＨＤ画素を線形予測するようにしたが、ＨＤ画素は、例えば、２次予測その他の予測方式によって予測することも可能である。
【０２４４】
【発明の効果】
本発明の一側面によれば、各種の入力データに対して適切な処理を施すことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したデータ処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１のデータ処理部１を予測装置として構成した場合の構成例を示すブロック図である。
【図３】予測タップおよびクラスタップとなる画素を説明するための図である。
【図４】図２のクラス分類回路１４の構成例を示すブロック図である。
【図５】図２の予測装置による予測処理を説明するためのフローチャートである。
【図６】図１のデータ処理部１を学習装置として構成した場合の構成例を示すブロック図である。
【図７】図６の学習装置による学習処理を説明するためのフローチャートである。
【図８】図１の機能制御部２の第１の構成例を示すブロック図である。
【図９】図８の機能制御部２の処理を説明するための波形図である。
【図１０】図８の機能制御部２の処理を説明するための波形図である。
【図１１】図８の機能制御部２の処理を説明するための波形図である。
【図１２】５２５ｉと２６２ｐの画像の画素の配置位置を示す図である。
【図１３】教師画像から生徒画像を生成する方法を説明するための図である。
【図１４】図１の機能制御部２の第２の構成例を示すブロック図である。
【図１５】図１４の機能制御部２の処理を説明するための波形図である。
【図１６】図１の機能制御部２の第３の構成例を示すブロック図である。
【図１７】画像の輝度の度数分布、およびブロックごとの輝度の標準偏差の平均値を示す図である。
【図１８】図１の機能制御部２の第４の構成例を示すブロック図である。
【図１９】画像の色差の分布を示す図である。
【図２０】画像の色差の度数分布を示す図である。
【図２１】画像の色差の分布を示す図である。
【図２２】画像の色差の度数分布を示す図である。
【図２３】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ データ処理部， ２ 機能制御部， １１ フレームメモリ， １２ 予測タップ構成回路， １３ クラスタップ構成回路， １４ クラス分類回路，１５ 係数メモリ， １６ 予測演算回路， １７ 画像再構成回路， １８レジスタ群， １８Ａ乃至１８Ｄ レジスタ， ２１ 動きクラス分類回路，２２ 時空間クラス分類回路， ２３ 合成回路， ３１ フレームメモリ，３２ 間引きフィルタ， ３３ フレームメモリ， ３４ 予測タップ構成回路， ３５ クラスタップ構成回路， ３６ クラス分類回路， ３７ 正規方程式加算回路， ３８ 予測係数決定回路， ３９ メモリ， ４０ レジスタ群， ４０Ａ乃至４０Ｄ レジスタ， ５１ 同期信号分離部， ５２ 位相検出部， ５３ フォーマット判断部， ５４ 制御信号出力部， ６１ 同期信号分離部， ６２ タイミング作成部， ６３ 同期信号サンプリング部， ６４ 平均演算部， ６５ 遅延処理部， ６６ 演算部， ６７ 絶対値和演算部， ６８ 閾値比較部， ６９ 制御信号出力部， ７１ ブロック内標準偏差演算部， ７２ 平均値演算部， ７３ 閾値比較部， ７４ 制御信号出力部， ８１ 度数分布作成部， ８２ 最大度数色差選択部， ８３ 分散計算部， ８４ 閾値比較部， ８５ 制御信号出力部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
Claims (12)
- 入力データを処理するデータ処理装置であって、
前記入力データを識別する識別手段と、
前記識別手段による識別結果に基づいて、機能を設定し、前記入力データを処理する処理手段と
を備え、
前記入力データは、画像データであり、
前記処理手段は、
新たな画像データの画素のうちの、注目している注目画素を予測するのに、所定の予測係数とともに用いる予測タップを構成する前記画像データの画素を選択し、前記予測タップを構成する予測タップ構成手段と、
前記予測タップおよび前記予測係数に基づいて、前記注目画素の予測値を求める予測手段と
を有する
データ処理装置。 - 前記識別手段は、前記入力データのフォーマットを識別する
請求項１に記載のデータ処理装置。 - 前記識別手段は、前記入力データに含まれるノイズを識別する
請求項１に記載のデータ処理装置。 - 前記識別手段は、前記画像データのアクティビティを識別する
請求項１に記載のデータ処理装置。 - 前記識別手段は、前記画像データにおける画素値どうしの差分、画素値の標準偏差、画素値の分散、または画素値の度数分布に基づいて、前記画像データのアクティビティを識別する
請求項４に記載のデータ処理装置。 - 前記予測タップ構成手段は、前記識別手段による識別結果に基づいて、前記予測タップを構成する前記画像データの画素の選択パターンを設定する
請求項１に記載のデータ処理装置。 - 前記処理手段は、
前記注目画素をクラス分けするのに用いるクラスタップを構成する前記画像データの画素を選択し、前記クラスタップを構成するクラスタップ構成手段と、
前記クラスタップに基づいて、前記注目画素のクラスを求めるクラス分類を行うクラス分類手段と
をさらに有し、
前記予測手段は、前記予測タップおよび前記クラスごとの予測係数に基づいて、前記注目画素の予測値を求める
請求項１に記載のデータ処理装置。 - 前記クラスタップ構成手段は、前記識別手段による識別結果に基づいて、前記クラスタップを構成する前記画像データの画素の選択パターンを設定する
請求項７に記載のデータ処理装置。 - 前記処理手段は、複数種類の前記予測係数を記憶しており、前記識別手段による識別結果に基づいて、前記予測値を求めるのに用いる種類の前記予測係数を設定し、前記予測手段に出力する記憶手段をさらに有する
請求項１に記載のデータ処理装置。 - 前記予測手段は、前記予測タップおよび前記予測係数に基づいて、前記注目画素の予測値を、線形予測する
請求項１に記載のデータ処理装置。 - 入力データを処理するデータ処理方法であって、
前記入力データを識別する識別ステップと、
前記識別ステップによる識別結果に基づいて、機能を設定し、前記入力データを処理する処理ステップと
を備え、
前記入力データは、画像データであり、
前記処理ステップでは、
新たな画像データの画素のうちの、注目している注目画素を予測するのに、所定の予測係数とともに用いる予測タップを構成する前記画像データの画素を選択し、前記予測タップを構成し、
前記予測タップおよび前記予測係数に基づいて、前記注目画素の予測値を求める
データ処理方法。 - 入力データを処理するデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記入力データを識別する識別手段と、
前記識別手段による識別結果に基づいて、機能を設定し、前記入力データを処理する処理手段と
して、コンピュータを機能させるためのプログラムであり、
前記入力データは、画像データであり、
前記処理手段は、
新たな画像データの画素のうちの、注目している注目画素を予測するのに、所定の予測係数とともに用いる予測タップを構成する前記画像データの画素を選択し、前記予測タップを構成する予測タップ構成手段と、
前記予測タップおよび前記予測係数に基づいて、前記注目画素の予測値を求める予測手段と
を有する
プログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000011702A JP4512956B2 (ja) | 2000-01-20 | 2000-01-20 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000011702A JP4512956B2 (ja) | 2000-01-20 | 2000-01-20 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001203986A JP2001203986A (ja) | 2001-07-27 |
| JP4512956B2 true JP4512956B2 (ja) | 2010-07-28 |
Family
ID=18539531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000011702A Expired - Fee Related JP4512956B2 (ja) | 2000-01-20 | 2000-01-20 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4512956B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4715330B2 (ja) * | 2005-06-22 | 2011-07-06 | ソニー株式会社 | 映像信号処理装置、表示装置及び映像信号処理方法 |
| JP2008009442A (ja) * | 2007-07-23 | 2008-01-17 | Video Research:Kk | 音声データ処理方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2718374B2 (ja) * | 1994-09-12 | 1998-02-25 | 松下電器産業株式会社 | Ｅｄ２受信機 |
| JP3814850B2 (ja) * | 1995-10-02 | 2006-08-30 | ソニー株式会社 | 信号変換装置および方法 |
| JPH09163185A (ja) * | 1995-12-12 | 1997-06-20 | Hitachi Ltd | Ｓｎ比改善装置 |
| JP3787823B2 (ja) * | 1997-07-31 | 2006-06-21 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JPH11234635A (ja) * | 1998-02-16 | 1999-08-27 | Nippon Telegr & Teleph Corp <Ntt> | ディジタル映像通信システム |
-
2000
- 2000-01-20 JP JP2000011702A patent/JP4512956B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001203986A (ja) | 2001-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100597920B1 (ko) | 데이터 처리 장치, 데이터 처리 방법, 및 그에 대한 기록매체 | |
| JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| JPH11191880A (ja) | 画像変換装置および画像変換方法、並びに学習装置および学習方法 | |
| JP4696388B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 | |
| JP2002196737A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに情報提供媒体 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| KR100968987B1 (ko) | 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 기록 매체 | |
| JP2000148724A (ja) | データ処理装置およびデータ処理方法 | |
| JP2000115716A (ja) | 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機 | |
| JP4457276B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4512956B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4310689B2 (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
| JP4507639B2 (ja) | 画像信号処理装置 | |
| JP4311258B2 (ja) | 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体 | |
| JP2000092455A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| US8228995B2 (en) | Image processing apparatus, image processing method, and program | |
| JPH0851598A (ja) | 画像情報変換装置 | |
| JP4310691B2 (ja) | 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JPH07321662A (ja) | ディジタル信号処理装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4552263B2 (ja) | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 | |
| JP4174891B2 (ja) | 画像情報変換装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100415 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100428 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |