JP4333161B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、例えば、画像をより高画質の画像に変換すること等ができるようにする画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の変換を行う画像処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、画像のデータを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【０００４】
即ち、適応処理では、例えば、低画質または標準画質の画像（以下、適宜、ＳＤ(Standard Definition)画像という）が、所定のタップ係数（以下、適宜、予測係数とも称する）を用いてマッピング（写像）されることにより、高画質の画像（以下、適宜、ＨＤ(High Definition)画像という）に変換される。
【０００５】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）（の画素値）ｙは、ＳＤ画像を構成する画素（以下、適宜、ＳＤ画素という）から、ＨＤ画素を予測するための予測タップとして抽出される複数のＳＤ画素と、タップ係数とを用いて、次の線形１次式（線形結合）によって求められる。
【数１】

・・・（１）
【０００６】
但し、式（１）において、ｘ_nは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目のＳＤ画像の画素の画素値を表し、ｗ_nは、ｎ番目のＳＤ画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個のＳＤ画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。
【０００７】
ここで、ＨＤ画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０００８】
いま、第ｋサンプルのＨＤ画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k'と表すと、その予測誤差ｅ_kは、次式で表される。
【数２】

・・・（２）
【０００９】
式（２）の予測値ｙ_k'は、式（１）にしたがって求められるため、式（２）のｙ_k'を、式（１）にしたがって置き換えると、次式が得られる。
【数３】

・・・（３）
【００１０】
但し、式（３）において、ｘ_n,kは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【００１１】
式（３）の予測誤差ｅ_kを０とするタップ係数ｗ_nが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗ_nを求めることは、一般には困難である。
【００１２】
そこで、タップ係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_nは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【数４】

・・・（４）
【００１３】
但し、式（４）において、Ｋは、ＨＤ画素ｙ_kと、そのＨＤ画素ｙ_kについての予測タップを構成するＳＤ画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数を表す。
【００１４】
式（４）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_nは、その総和Ｅをタップ係数ｗ_nで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【数５】

・・・（５）
【００１５】
そこで、上述の式（３）をタップ係数ｗ_nで偏微分すると、次式が得られる。
【数６】

・・・（６）
【００１６】
式（５）と（６）から、次式が得られる。
【数７】

・・・（７）
【００１７】
式（７）のｅ_kに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【数８】

・・・（８）
【００１８】
式（８）の正規方程式は、ＨＤ画素ｙ_kとＳＤ画素ｘ_n,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_nの数と同じ数だけたてることができ、従って、式（８）を解くことで（但し、式（８）を解くには、式（８）において、タップ係数ｗ_nにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗ_nを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。
【００１９】
以上のように、多数のＨＤ画素ｙ₁，ｙ₂，・・・，ｙ_Kを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙ_kについての予測タップを構成するＳＤ画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kを、タップ係数の学習の生徒となる生徒データとして、式（８）を解くことにより、最適なタップ係数ｗ_nを求める学習を行っておき、さらに、そのタップ係数ｗ_nを用い、式（１）により、ＳＤ画像を、ＨＤ画像にマッピング（変換）するのが適応処理である。
【００２０】
以下、タップ係数は、予測係数とも称する。
【００２１】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗ_nが、教師データとしてのＨＤ画像と生徒データとしてのＳＤ画像とを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【００２２】
ここで、タップ係数ｗ_nの学習では、教師データｙと生徒データｘとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗ_nを求めることができる。
【００２３】
即ち、例えば、教師データｙとして、ＨＤ画像を採用するとともに、生徒データｘとして、そのＨＤ画像にノイズやぼけを付加したＳＤ画像を採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数ｗ_nを得ることができる。また、例えば、教師データｙとして、ＨＤ画像を採用するとともに、生徒データｘとして、そのＨＤ画像の解像度を劣化させたＳＤ画像を採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数ｗ_nを得ることができる。さらに、例えば、教師データｙとして、画像を採用するとともに、生徒データｘとして、その画像をＤＣＴ(Discrete Cosine Transform)変換したＤＣＴ係数を採用した場合には、ＤＣＴ係数を画像に変換するタップ係数ｗ_nを得ることができる。
【００２４】
次に、クラス分類適応処理を実行する、従来の画像処理装置の構成を説明する。
【００２５】
図１は、クラス分類適応処理により、ＳＤ画像である入力画像から、ＨＤ画像である出力画像を創造する、従来の画像処理装置の構成を説明するブロック図である。
【００２６】
図１に構成を示す画像処理装置において、入力画像は、クラスタップ抽出部１１および予測タップ抽出部１５に供給される。
【００２７】
クラスタップ抽出部１１は、注目している画素（以下、注目画素とも称する）に対応する、所定の画素であるクラスタップを入力画像から抽出し、抽出したクラスタップを入力画像と共に特徴量検出部１２に供給する。特徴量検出部１２は、クラスタップ抽出部１１を介して供給された入力画像から、注目画素に対応する画像の特徴量を検出し、クラスタップと共に検出した特徴量をクラス分類部１３に供給する。画像の特徴量とは、動き、またはフレーム内の画素値の変化などをいう。
【００２８】
クラス分類部１３は、特徴量検出部１２から供給されたクラスタップおよび特徴量を基に、注目画素をクラス分けし、クラス分けの結果を示すクラスコードを係数メモリ１４および予測タップ抽出部１５に供給する。
【００２９】
係数メモリ１４は、クラス分類部１３から供給されたクラスコードを基に、注目画素のクラスに対応するタップ係数を画素値演算部１６に供給する。
【００３０】
予測タップ抽出部１５は、クラス分類部１３から供給されたクラスコードを基に、注目画素に対応して、所定の予測タップを入力画像から抽出する。予測タップ抽出部１５は、抽出した予測タップを画素値演算部１６に供給する。
【００３１】
画素値予測部１６は、予測タップ抽出部１５から供給された予測タップおよび係数メモリ１４から供給されたタップ係数から、式（１）に示す演算により、ＨＤ画像の注目画素の画素値を予測する。画素値予測部１６は、ＨＤ画像の全ての画素を順次注目画素として予測された画素値からなるＨＤ画像を出力する。
【００３２】
図２は、クラス分類適応処理により、ＳＤ画像である入力画像から、ＨＤ画像である出力画像を創造する、従来の画像処理装置による画像の創造の処理を説明するフローチャートである。
【００３３】
ステップＳ１１において、クラスタップ抽出部１１は、ＳＤ画像である入力画像から、選択された注目画素に対応するクラスタップを抽出する。ステップＳ１２において、特徴量検出部１２は、入力画像から、注目画素に対応する特徴量を検出する。
【００３４】
ステップＳ１３において、クラス分類部１３は、ステップＳ１１の処理により抽出されたクラスタップ、およびステップＳ１２の処理により検出された特徴量を基に、注目画素のクラスを分類する。
【００３５】
ステップＳ１４において、予測タップ抽出部１５は、ステップＳ１３の処理によるクラスの分類の結果に対応して、入力画像から、注目画素に対応する予測タップを抽出する。ステップＳ１５において、係数メモリ１４は、ステップＳ１３の処理によるクラスの分類の結果に対応して、予め記憶している予測係数のなかから、分類されたクラスに対応する予測係数を読み出す。
【００３６】
ステップＳ１６において、画素値予測部１６は、ステップＳ１４の処理で抽出された予測タップ、およびステップＳ１５の処理で読み出された予測係数を基に、適応処理により注目画素に対応する画素値を予測する。
【００３７】
ステップＳ１７において、画像処理装置は、全ての画素について予測が終了したか否かを判定し、全ての画素について予測が終了していないと判定された場合、次の画素を注目画素として、ステップＳ１１に戻り、クラスの分類および適応の処理を繰り返す。
【００３８】
ステップＳ１７において、全ての画素について予測が終了したと判定された場合、処理は終了する。
【００３９】
図３は、ＳＤ画像である入力画像からＨＤ画像である出力画像を創造するクラス分類適応処理に使用される予測係数を生成する、従来の画像処理装置の構成を説明するブロック図である。
【００４０】
図３に示す画像処理装置に入力される入力画像は、ＨＤ画像である教師画像であり、生徒画像生成部３１および教師画素抽出部３８に供給される。教師画像に含まれる画素（の画素値）は、教師データとして使用される。
【００４１】
生徒画像生成部３１は、入力されたＨＤ画像である教師画像から、画素を間引いて、教師画像に対応するＳＤ画像である生徒画像を生成し、生成した生徒画像を画像メモリ３２に供給する。
【００４２】
画像メモリ３２は、生徒画像生成部３１から供給されたＳＤ画像である生徒画像を記憶し、記憶している生徒画像をクラスタップ抽出部３３および予測タップ抽出部３６に供給する。
【００４３】
クラスタップ抽出部３３は、注目画素を順次選択し、選択された注目画素に対応して生徒画像からクラスタップを抽出し、生徒画像と共に抽出されたクラスタップを特徴量検出部３４に供給する。特徴量検出部３４は、注目画素に対応して、生徒画像から特徴量を検出し、検出された特徴量をクラスタップと共にクラス分類部３５に供給する。
【００４４】
クラス分類部３５は、特徴量検出部３４から供給されたクラスタップおよび特徴量を基に、注目画素のクラスを分類し、分類されたクラスを示すクラスコードを予測タップ抽出部３６および学習メモリ３９に供給する。
【００４５】
予測タップ抽出部３６は、クラス分類部３５から供給されたクラスコードを基に、画像メモリ３２から供給された生徒画像から、分類されたクラスに対応する予測タップを抽出して、抽出した予測タップを足し込み演算部３７に供給する。
【００４６】
教師画素抽出部３８は、教師データ、すなわち、教師画像の注目画素を抽出して、抽出した教師データを足し込み演算部３７に供給する。
【００４７】
足し込み演算部３７は、式（８）の正規方程式に、ＨＤ画素である教師データおよびＳＤ画素である予測タップを足し込み、教師データおよび予測タップを足し込んだ正規方程式を学習メモリ３９に供給する。
【００４８】
学習メモリ３９は、クラス分類部３５から供給されたクラスコードを基に、足し込み演算部３７から供給された正規方程式をクラス毎に記憶する。学習メモリ３９は、クラス毎に記憶している、教師データおよび予測タップが足し込まれた正規方程式を正規方程式演算部４０に供給する。
【００４９】
正規方程式演算部４０は、学習メモリ３９から供給された正規方程式を掃き出し法により解いて、クラス毎に予測係数を求める。正規方程式演算部４０は、クラス毎の予測係数を係数メモリ４１に供給する。
【００５０】
係数メモリ４１は、正規方程式演算部４０から供給された、クラス毎の予測係数を記憶する。
【００５１】
図４は、ＳＤ画像である入力画像からＨＤ画像である出力画像を創造するクラス分類適応処理に使用される予測係数を生成する、従来の画像処理装置による学習の処理を説明するフローチャートである。
【００５２】
ステップＳ３１において、生徒画像生成部３１は、教師画像である入力画像から生徒画像を生成する。ステップＳ３２において、クラスタップ抽出部３３は、注目画素を順次選択し、選択された注目画素に対応するクラスタップを生徒画像から抽出する。
【００５３】
ステップＳ３３において、特徴量検出部３４は、生徒画像から、注目画素に対応する特徴量を検出する。ステップＳ３４において、クラス分類部３５は、ステップＳ３２の処理により抽出されたクラスタップ、およびステップＳ３３の処理により検出された特徴量を基に、注目画素のクラスを分類する。
【００５４】
ステップＳ３５において、予測タップ抽出部３６は、ステップＳ３４の処理により分類されたクラスを基に、注目画素に対応する予測タップを生徒画像から抽出する。
【００５５】
ステップＳ３６において、教師画素抽出部３８は、教師画像である入力画像から注目画素、すなわち教師画素（教師データ）を抽出する。
【００５６】
ステップＳ３７において、足し込み演算部３７は、ステップＳ３５の処理で抽出された予測タップ、およびステップＳ３６の処理で抽出された教師画素（教師データ）を正規方程式に足し込む演算を実行する。
【００５７】
ステップＳ３８において、画像処理装置は、教師画像の全画素について足し込みの処理が終了したか否かを判定し、全画素について足し込みの処理が終了していないと判定された場合、ステップＳ３２に戻り、まだ注目画素とされていない画素を注目画素として、予測タップおよび教師画素を抽出して、正規方程式に足し込む処理を繰り返す。
【００５８】
ステップＳ３８において、教師画像の全画素について足し込みの処理が終了したと判定された場合、ステップＳ３９に進み、正規方程式演算部４０は、予測タップおよび教師画素が足し込まれた正規方程式を演算して、予測係数を求める。
【００５９】
ステップＳ４０において、画像処理装置は、全クラスの予測係数を演算したか否かを判定し、全クラスの予測係数を演算していないと判定された場合、ステップＳ３９に戻り、正規方程式を演算して、予測係数を求める処理を繰り返す。
【００６０】
ステップＳ４０において、全クラスの予測係数を演算したと判定された場合、処理は終了する。
【００６１】
また、生成されるべき注目画素の周囲に存在する第１のディジタルビデオ信号に含まれる複数の周辺画素を受け取り、その複数の周辺画素からその注目画素のパターンを検出し、検出されたパターンを示すパターンデータを発生し、基準のデータを用いて、生成されるべき注目画素と真値との誤差の自乗和が最小となるように、最小自乗和法により予め定められた各パターン毎の係数群を格納し、パターンデータに基づいて読み出されたパターンデータに対応する係数群と第１のディジタルビデオ信号を受け取り、係数群と第１のディジタルビデオ信号から注目画素を生成しているものもある（特許文献１参照）。
【００６２】
さらに、第１の次元を有する現実世界の信号である第１の信号をセンサによって検出することにより得た、第１の次元に比較し次元が少ない第２の次元を有し、第１の信号に対する歪みを含む第２の信号を取得し、第２の信号に基づく信号処理を行うことにより、第２の信号に比して歪みの軽減された第３の信号を生成しているものもある（特許文献２参照）。
【００６３】
【特許文献１】
特開平８−３１７３４６号公報
【００６４】
【特許文献２】
特開２００１−２５０１１９号公報
【００６５】
【発明が解決しようとする課題】
しかしながら、より精度の高い画像を予測するには、クラスタップまたは予測タップの数を増やさなければならず、クラスタップまたは予測タップの数を増やしたとき、画像の予測のための演算量が多くなってしまうという問題があった。
【００６６】
本発明はこのような状況に鑑みてなされたものであり、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようにすることを目的とする。
【００６７】
【課題を解決するための手段】
本発明の画像処理装置は、入力画像データ内に画素値が含まれる対応画素のそれぞれに対応し、高質画像データ内に画素値が含まれ、対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の画素値の２倍である、２つの注目画素のうちの一方である第１の注目画素の位置の周辺に配される、入力画像データ内の、複数の第１の周辺画素の画素値を抽出する第１の抽出手段と、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出手段と、特徴量検出手段により検出された特徴量毎に、高質画像データの質に相当する教師データに画素値が含まれる第１の注目画素に相当する画素の周辺に配される、入力画像データの質に相当する生徒データに画素値が含まれる第２の周辺画素に相当する周辺画素の画素値との積和演算により、第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、第２の抽出手段により抽出された複数の第２の周辺画素の画素値とに積和演算を適用することにより、第１の注目画素の画素値を予測する第１の予測手段と、入力画像データ内の、対応画素の画素値から、第１の注目画素の画素値を減算することで、高質画像データ内の、２つの注目画素の画素値のうちの他方である第２の注目画素の画素値を予測する第２の予測手段とを含むことを特徴とする。
【００６８】
本発明の画像処理方法は、入力画像データ内に画素値が含まれる対応画素のそれぞれに対応し、高質画像データ内に画素値が含まれ、対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の画素値の２倍である、２つの注目画素のうちの一方である第１の注目画素の位置の周辺に配される、入力画像データ内の、複数の第１の周辺画素を抽出する第１の抽出ステップと、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、高質画像データの質に相当する教師データに画素値が含まれる第１の注目画素に相当する画素の周辺に配される、入力画像データの質に相当する生徒データに画素値が含まれる第２の周辺画素に相当する周辺画素の画素値との積和演算により、第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、第２の抽出ステップにおいて抽出された複数の第２の周辺画素の画素値とに積和演算を適用することにより、第１の注目画素の画素値を予測する第１の予測ステップと、入力画像データ内の、対応画素の画素値から、第１の注目画素の画素値を減算することで、高質画像データ内の、２つの注目画素の画素値のうちの他方である第２の注目画素の画素値を予測する第２の予測ステップとを含むことを特徴とする。
【００６９】
本発明の記録媒体のプログラムは、入力画像データ内に画素値が含まれる対応画素のそれぞれに対応し、高質画像データ内に画素値が含まれ、対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の画素値の２倍である、２つの注目画素のうちの一方である第１の注目画素の位置の周辺に配される、入力画像データ内の、複数の第１の周辺画素を抽出する第１の抽出ステップと、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、高質画像データの質に相当する教師データに画素値が含まれる第１の注目画素に相当する画素の周辺に配される、入力画像データの質に相当する生徒データに画素値が含まれる第２の周辺画素に相当する周辺画素の画素値との積和演算により、第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、第２の抽出ステップにおいて抽出された複数の第２の周辺画素の画素値とに積和演算を適用することにより、第１の注目画素の画素値を予測する第１の予測ステップと、入力画像データ内の、対応画素の画素値から、第１の注目画素の画素値を減算することで、高質画像データ内の、２つの注目画素の画素値のうちの他方である第２の注目画素の画素値を予測する第２の予測ステップとを含むことを特徴とする。
【００７０】
本発明のプログラムは、入力画像データ内に画素値が含まれる対応画素のそれぞれに対応し、高質画像データ内に画素値が含まれ、対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の画素値の２倍である、２つの注目画素のうちの一方である第１の注目画素の位置の周辺に配される、入力画像データ内の、複数の第１の周辺画素を抽出する第１の抽出ステップと、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、高質画像データの質に相当する教師データに画素値が含まれる第１の注目画素に相当する画素の周辺に配される、入力画像データの質に相当する生徒データに画素値が含まれる第２の周辺画素に相当する周辺画素の画素値との積和演算により、第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、第２の抽出ステップにおいて抽出された複数の第２の周辺画素の画素値とに積和演算を適用することにより、第１の注目画素の画素値を予測する第１の予測ステップと、入力画像データ内の、対応画素の画素値から、第１の注目画素の画素値を減算することで、高質画像データ内の、２つの注目画素の画素値のうちの他方である第２の注目画素の画素値を予測する第２の予測ステップとを含むことを特徴とする。
【０１０７】
本発明の画像処理装置および方法、記録媒体、並びにプログラムにおいては、入力画像データ内に画素値が含まれる対応画素のそれぞれに対応し、高質画像データ内に画素値が含まれ、対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の画素値の２倍である、２つの注目画素のうちの一方である第１の注目画素の位置の周辺に配される、入力画像データ内の、複数の第１の周辺画素の画素値が抽出され、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素が抽出され、抽出された複数の第１の周辺画素の特徴量が検出され、検出された特徴量毎に、高質画像データの質に相当する教師データに画素値が含まれる第１の注目画素に相当する画素の周辺に配される、入力画像データの質に相当する生徒データに画素値が含まれる第２の周辺画素に相当する周辺画素の画素値との積和演算により、第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、第２の抽出手段により抽出された複数の第２の周辺画素の画素値とに積和演算を適用することにより、第１の注目画素の画素値を予測する第１の予測手段と、入力画像データ内の、対応画素の画素値から、第１の注目画素の画素値を減算することで、高質画像データ内の、２つの注目画素の画素値のうちの他方である第２の注目画素の画素値が予測される。
【０１０９】
画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【０１１９】
【発明の実施の形態】
図５は、本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。図５に構成を示す画像処理装置は、入力画像を取得し、入力された入力画像に対して、画面の水平方向に２倍の解像度の画像を創造して出力する。
【０１２０】
図５に示す画像処理装置においては、例えば、入力画像の一例であるＳＤ画像が入力され、入力されたＳＤ画像に対して、クラス分類適応処理が施されることにより、ＳＤ画像に対して、画面の水平方向に２倍の数の画素からなる画像（以下、水平倍密画像と称する。）を構成する画素（以下、水平倍密画素とも称する。）のうち、水平方向に１つおきの画素が創造される。そして、創造された、１つおきの画素からなる水平倍密画像から、水平倍密画像の全体が生成され、生成された水平倍密画像が出力されるようになっている。なお、水平倍密画像における、画面の垂直方向の画素の数は、ＳＤ画像の垂直方向の画素の数と同じである。
【０１２１】
すなわち、この画像処理装置は、クラスタップ抽出部１０１、特徴量検出部１０２、クラス分類部１０３、係数メモリ１０４、予測タップ抽出部１０５、画素値予測部１０６、および画素値予測部１０７から構成される。さらに、クラスタップ抽出部１０１には、注目画素選択部１２１が設けられている。画像処理装置に入力された、空間解像度の創造の対象となる入力画像は、クラスタップ抽出部１０１、特徴量検出部１０２、予測タップ抽出部１０５、および画素値予測部１０７に供給される。
【０１２２】
クラスタップ抽出部１０１の注目画素選択部１２１は、クラス分類適応処理により求めようとする水平倍密画像の水平倍密画素のうちの、水平方向に１つおきの水平倍密画素の１つを、順次、注目画素とする。そして、クラスタップ抽出部１０１は、注目画素についてのクラス分類に用いるクラスタップを、入力画像から抽出し、抽出したクラスタップを特徴量検出部１０２に出力する。すなわち、クラスタップ抽出部１０１は、例えば、注目画素の位置から空間的または時間的に近い位置にある複数の画素を、入力された入力画像から抽出することによりクラスタップとし、特徴量検出部１０２に出力する。
【０１２３】
なお、クラスタップ抽出部１０１、予測タップ抽出部１０５、および画素値予測部１０７は、それぞれの内部の前段に、図示せぬフレームメモリを内蔵し、画像処理装置に入力されたＳＤ画像を、例えば、フレーム（またはフィールド）単位で一時記憶する。本実施の形態では、クラスタップ抽出部１０１、予測タップ抽出部１０５、および画素値予測部１０７は、内蔵しているフレームメモリに、複数フレームの入力画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力される入力画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【０１２４】
この場合、クラスタップ抽出部１０１、予測タップ抽出部１０５、および画素値予測部１０７のそれぞれにフレームメモリを設けることにより、クラスタップ抽出部１０１、予測タップ抽出部１０５、および画素値予測部１０７のそれぞれが、要求するフレームを即座に読み出すことができるようになり、より高速に処理を実行することができるようになる。
【０１２５】
また、画像処理装置は、入力側に１つのフレームメモリを設け、複数フレームの入力画像を、バンク切換によって記憶し、記憶した入力画像を、クラスタップ抽出部１０１、予測タップ抽出部１０５、および画素値予測部１０７に供給するようにしてもよい。この場合、１つのフレームメモリで足り、画像処理装置をより簡単な構成とすることができる。
【０１２６】
図６は、注目画素およびクラスタップを説明する図である。図６において、図の横方向は、入力画像の一例であるＳＤ画像および出力画像の一例である水平倍密画像の一方の空間方向、例えば、画面の横方向である空間方向Ｘに対応し、図の縦方向は、ＳＤ画像および水平倍密画像の他の空間方向、例えば、画面の縦方向である空間方向Ｙに対応する。
【０１２７】
ここで、図６において、○印がＳＤ画像を構成するＳＤ画素を表し、×印が水平倍密画像を構成する水平倍密画素を表している。また、図６では、水平倍密画像は、水平方向に、ＳＤ画像の２倍の数の画素を配置し、垂直方向に、ＳＤ画像と同じ数の画素を配置した画像になっている。
【０１２８】
クラスタップ抽出部１０１は、注目画素について、例えば、図６に示すように、その注目画素の位置から近い横×縦が３×３個の画素をＳＤ画像から抽出することによりクラスタップとする。
【０１２９】
なお、図６において、水平倍密画像の注目している１つの水平倍密画素を、ｙ⁽¹⁾と表す。図６において、水平倍密画像の水平倍密画素のうち、第１列、第３列、第５列、第７列、・・・のように、例えば、画面の左側から奇数番目の列の水平倍密画素の１つが、注目画素として順次選択される。
【０１３０】
また、図６において、クラスタップを構成する３×３個のＳＤ画像の画素のうちの、第１行第１列、第１行第２列、第１行第３列、第２行第１列、第２行第２列、第２行第３列、第３行第１列、第３行第２列、第３行第３列の画素の画素値を、それぞれｘ⁽¹⁾，ｘ⁽²⁾，ｘ⁽³⁾，ｘ⁽⁴⁾，ｘ⁽⁵⁾，ｘ⁽⁶⁾，ｘ⁽⁷⁾，ｘ⁽⁸⁾，ｘ⁽⁹⁾と表す。
【０１３１】
例えば、クラスタップ抽出部１０１は、注目画素ｙ⁽¹⁾について、図６に示す、３×３個の画素の画素値ｘ⁽¹⁾乃至ｘ⁽⁹⁾を、ＳＤ画像から抽出することによりクラスタップとする。
【０１３２】
クラスタップ抽出部１０１は、抽出されたクラスタップを、特徴量検出部１０２に供給する。
【０１３３】
特徴量検出部１０２は、クラスタップ抽出部１０１から供給されたクラスタップまたは入力画像から特徴量を検出して、検出した特徴量をクラス分類部１０３に供給する。
【０１３４】
例えば、特徴量検出部１０２は、クラスタップ抽出部１０１から供給されたクラスタップまたは入力画像を基に、入力画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部１０３に供給する。また、例えば、特徴量検出部１０２は、クラスタップ抽出部１０１から供給されたクラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的または時間的な変化（アクティビティ）を検出して、検出した画素値の変化を特徴量としてクラス分類部１０３に供給する。
【０１３５】
さらに、例えば、特徴量検出部１０２は、クラスタップ抽出部１０１から供給されたクラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部１０３に供給する。
【０１３６】
なお、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを採用することができる。
【０１３７】
特徴量検出部１０２は、特徴量とは別に、クラスタップをクラス分類部１０３に供給する。
【０１３８】
クラス分類部１０３は、特徴量検出部１０２からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ１０４と予測タップ抽出部１０５とに供給する。例えば、クラス分類部１０３は、クラスタップ抽出部１０１からのクラスタップを、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとする。
【０１３９】
なお、KビットADRC処理においては、クラスタップを構成する入力画像の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素値から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各画素値についての１ビットの値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１４０】
ただし、クラス分類は、その他、例えば、クラスタップを構成する画素値を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。また、クラス分類としては、１クラスのクラス分類を行うことも可能である。この場合、クラス分類部１０３は、どのようなクラスタップが供給されても、固定のクラスコードを出力するものとなる。
【０１４１】
また、例えば、クラス分類部１０３は、特徴量検出部１０２からの特徴量を、そのままクラスコードとする。さらに、例えば、クラス分類部１０３は、特徴量検出部１０２からの複数の特徴量を、直交変換して、得られた値をクラスコードとする。
【０１４２】
例えば、クラス分類部１０３は、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードを結合し（合成し）、最終的なクラスコードを生成して、最終的なクラスコードを係数メモリ１０４と予測タップ抽出部１０５とに供給する。
【０１４３】
なお、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードのいずれか一方を、最終的なクラスコードとするようにしてもよい。
【０１４４】
係数メモリ１０４は、学習の教師となる、出力画像の一例である水平倍密画像の水平倍密画素である教師データと、学習の生徒となる、入力画像の一例であるＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ１０４は、クラス分類部１０３から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値予測部１０６に供給する。なお、係数メモリ１０４に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０１４５】
予測タップ抽出部１０５は、クラス分類部１０３から供給されるクラスコードを基に、画素値予測部１０６において注目画素（の予測値）を求めるのに用いる予測タップを入力画像から抽出し、抽出した予測タップを画素値予測部１０６に供給する。例えば、予測タップ抽出部１０５は、注目画素の位置から空間的または時間的に近い位置にある複数の画素値を、入力画像から抽出することにより予測タップとし、画素値予測部１０６に供給する。例えば、予測タップ抽出部１０５は、注目画素ｙ⁽¹⁾について、図６に示す、３×３個の画素の画素値ｘ⁽¹⁾乃至ｘ⁽⁹⁾を、ＳＤ画像から抽出することにより予測タップとする。
【０１４６】
なお、クラスタップとする画素値と、予測タップとする画素値とは、同一であっても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。また、予測タップとする画素値は、クラス毎に異なるものであっても、同一であってもよい。
【０１４７】
なお、クラスタップや予測タップのタップ構造は、図６に示した、３×３個の画素値に限定されるものではない。
【０１４８】
画素値予測部１０６は、係数メモリ１０４から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部１０５からの予測タップ（を構成する画素値）ｘ₁，ｘ₂，・・・とを用いて、式（１）に示した積和演算を行うことにより、注目画素ｙ（の予測値）を予測し、これを、水平倍密画素の画素値とする。画素値予測部１０６は、このように演算された画素値からなる水平倍密画像を画素値予測部１０７に供給する。
【０１４９】
なお、注目画素選択部１２１が水平倍密画像の水平倍密画素のうちの、水平方向に１つおきの水平倍密画素を、順次、注目画素とするので、画素値予測部１０６は、注目画素とされた、水平方向に１つおきの水平倍密画素のみを予測する。従って、水平方向に１つおきの水平倍密画素からなる水平倍密画像、すなわち、出力しようとする水平倍密画像の水平倍密画素の半数の水平倍密画素からなる水平倍密画像が、画素値予測部１０７に供給される。
【０１５０】
このように、本発明に係る画像処理装置における適応処理では、ＳＤ画像である入力画像の画素値が、所定のタップ係数を用いてマッピング（写像）されることにより、水平倍密画像の水平方向に１つおきの水平倍密画素に変換される。例えば、図６に示す水平倍密画素のうち、第１列、第３列、第５列、第７列、・・・のように、例えば、画面の左側から奇数番目の列の水平倍密画素が、画素値予測部１０６により予測される。
【０１５１】
画素値予測部１０７は、画素値予測部１０６から供給された、水平方向に１つおきの水平倍密画素からなる水平倍密画像、および入力画像の一例であるＳＤ画像から、ＳＤ画像が空間的に積分されることに基づく、ＳＤ画像と水平倍密画像との関係により、ＳＤ画像に対して、水平倍密画像の残った水平倍密画素の画素値（画素値予測部１０６では予測されなかった画素値）を予測して、全ての画素の画素値を含む水平倍密画像を出力する。
【０１５２】
図７乃至図１０を参照して、ＳＤ画像が空間的に積分されることに基づく、ＳＤ画像と水平倍密画像との関係を説明する。
【０１５３】
まず、CCD（Charge-Coupled Device）またはCMOS（Complementary Metal-Oxide Semiconductor）センサなどのイメージセンサにおける、撮像された画像の画素の空間的な積分効果について説明する。
【０１５４】
イメージセンサは、現実世界のオブジェクトを撮像し、撮像の結果得られた画像を１フレーム単位で出力する。例えば、イメージセンサは、１秒間に３０フレームから成る画像を出力する。この場合、イメージセンサの露光時間は、１／３０秒とすることができる。露光時間は、イメージセンサが入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【０１５５】
図７は、イメージセンサ上の画素の配置を説明する図である。図７中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、イメージセンサ上に配置されている。イメージセンサが画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。
【０１５６】
図８に示すように、例えば、CCDである検出素子は、シャッタ時間に対応する期間、受光面に入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、個々の検出素子の受光面の全体に入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、受光面の全体に入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、受光面の全体に入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャッタ時間）に対して、積分効果があるとも言える。
【０１５７】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、イメージセンサから出力される個々の画素値は、現実世界のオブジェクト（被写体）の時間的空間的に広がりを有するある部分を、シャッタ時間の時間方向および検出素子の空間方向について積分した結果である、１次元の空間に射影された値を有する。
【０１５８】
図９は、図７に対応する、CCDであるイメージセンサに設けられている画素の配置、および水平倍密画像の画素に対応する領域を説明する図である。図９中において、A乃至Iは、個々の画素を示す。領域a乃至rは、画素A乃至Iの個々の画素を縦に半分にした受光領域である。画素A乃至Iの受光領域の幅が、2Lであるとき、領域a乃至rの幅は、Lである。図５に構成を示す画像処理装置は、領域a乃至rに対応する画素の画素値を算出する。
【０１５９】
図１０は、領域a乃至rに入射される光に対応する画素の画素値を説明する図である。図１０のf(x)は、入射される光および空間的な微少区間に対応する、空間的に見て理想的な画素値を示す。
【０１６０】
１つの画素の画素値が、理想的な画素値f(x)の一様な積分で表されるとすれば、領域iに対応する画素の画素値Y1は、式（９）で表され、領域jに対応する画素の画素値Y2は、式（１０）で表され、画素Eの画素値Y3は、式（１１）で表される。
【数９】

・・・（９）
【０１６１】
【数１０】

・・・（１０）
【０１６２】
【数１１】

・・・（１１）
【０１６３】
式（９）乃至式（１１）において、x1，x2、およびx3は、画素Eの受光領域、領域i、および領域jのそれぞれの境界の空間座標である。
【０１６４】
式（９）乃至式（１１）における、Y1およびY2は、それぞれ、図５の画像処理装置が求めようとする、ＳＤ画像に対する水平倍密画像の水平倍密画素の画素値に対応する。また、式（１１）における、Y3は、水平倍密画像の水平倍密画素の画素値Y1およびY2に対応するＳＤ画素ｘの画素値に対応する。
【０１６５】
Y3をｘに、Y1をｙ⁽¹⁾に、Y2をｙ⁽²⁾にそれぞれ置き換えると、式（１１）から、式（１２）を導くことができる。
ｘ=(ｙ⁽¹⁾+ｙ⁽²⁾)/2 ・・・（１２）
【０１６６】
式（１２）を、ｙ⁽²⁾について変形すると、式（１３）が得られる。
ｙ⁽²⁾=2ｘ-ｙ⁽¹⁾ ・・・（１３）
【０１６７】
例えば、図６に示すように、画素値予測部１０７は、画素値予測部１０６から供給された、水平方向に１つおきの水平倍密画素の画素値ｙ⁽¹⁾、およびＳＤ画像である入力画像の画素値ｘ⁽⁵⁾に、ＳＤ画像が空間的に積分されることに基づく、ＳＤ画像と水平倍密画素との関係に対応した演算、すなわち、式（１３）を適用して、2ｘ⁽⁵⁾からｙ⁽¹⁾を引き算することにより、水平倍密画像の残った水平倍密画素（画素値予測部１０６では予測されなかった画素）の画素値ｙ⁽²⁾を予測する。
【０１６８】
例えば、図６において、水平倍密画像の水平倍密画素のうち、第２列、第４列、第６列、第８列、・・・のように、例えば、注目画素の右側に隣接する、画面の左側から偶数番目の列の水平倍密画素が画素値予測部１０７において予測される。
【０１６９】
すなわち、画素値予測部１０７は、第１の注目画素に空間的に近接する位置に配される高質画像データ内の第２の注目画素および第１の注目画素に対応する、入力画像データ内の対応画素の画素値から、第１の注目画素の画素値を減算した値に基づいて、第２の注目画素を予測する。
【０１７０】
このように、注目画素選択部１２１は、加算した値が１つのＳＤ画素の画素値に等しい、２つの水平倍密画素のうちの１つを注目画素として選択し、画素値予測部１０６は、注目画素の画素値を予測する。画素値予測部１０７は、注目画素を含む２つの水平倍密画素の画素値を加算した値が１つのＳＤ画素の画素値に等しいことを利用して、ＳＤ画素の画素値および注目画素の画素値から、残りの水平倍密画素の画素値を予測する。
【０１７１】
以上のように、図５に構成を示す画像処理装置は、入力されたＳＤ画像に対応する水平倍密画像を創造して、出力することができる。図５に構成を示す画像処理装置は、クラス分類適応処理により、水平倍密画像の画素のうちの半数の画素の画素値を予測し、残りの画素の画素値を、ＳＤ画像が空間的に積分されることに基づく、より簡単な演算で予測するので、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０１７２】
なお、図５に構成を示す画像処理装置は、ＳＤ画像に対応する水平倍密画像を生成して出力すると説明したが、水平倍密画像に限らず、垂直方向に画素の数が２倍の垂直倍密画像を生成するようにすることができる。
【０１７３】
次に、図１１のフローチャートを参照して、図５の画像処理装置が行う、ＳＤ画像から水平倍密画像を創造する画像創造処理について説明する。
【０１７４】
ステップＳ１０１において、クラスタップ抽出部１０１の注目画素選択部１２１は、創造しようとする水平倍密画像の注目している水平倍密画素である注目画素を選択する。注目画素選択部１２１は、創造しようとする水平倍密画像の水平倍密画素のうち、水平方向に１つおきの水平倍密画素を注目画素として選択し、手続は、ステップＳ１０２に進む。すなわち、ステップＳ１０１において、加算した値が１つの入力画素の画素値に等しい、２つの水平倍密画素のうちの１つが注目画素として選択される。
【０１７５】
ステップＳ１０２において、クラスタップ抽出部１０１は、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像からクラスタップとして抽出して、クラスタップを生成する。クラスタップは、特徴量検出部１０２に供給され、手続は、ステップＳ１０３に進む。ステップＳ１０３において、特徴量検出部１０２は、入力画像またはクラスタップから特徴量を検出して、検出された特徴量をクラス分類部１０３に供給すると共に、クラスタップをクラス分類部１０３に供給して、ステップＳ１０４に進む。
【０１７６】
ステップＳ１０４において、クラス分類部１０３は、特徴量検出部１０２から供給される特徴量またはクラスタップに基づき、１以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ１０４および予測タップ抽出部１０５に供給して、ステップＳ１０５に進む。
【０１７７】
ステップＳ１０５において、予測タップ抽出部１０５は、クラス分類部１０３から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値予測部１０６に供給され、手続は、ステップＳ１０６に進む。
【０１７８】
ステップＳ１０６において、係数メモリ１０４は、クラス分類部１０３から供給されるクラスコードに対応するアドレスに記憶されている予測係数（タップ係数）を読み出し、これにより、注目画素のクラスの予測係数を取得して、予測係数を画素値予測部１０６に供給し、ステップＳ１０７に進む。
【０１７９】
ステップＳ１０７において、画素値予測部１０６は、適応処理により、注目画素（の予測値）を予測し、予測した注目画素を画素値予測部１０７に供給して、ステップＳ１０８に進む。即ち、ステップＳ１０７では、画素値予測部１０６は、予測タップ抽出部１０５からの予測タップと、係数メモリ１０４からの予測係数（タップ係数）とを用いて、式（１）に示した演算を行い、注目画素（の予測値）を予測する。ステップＳ１０７においては、加算した値が１つの入力画素の画素値に等しい、２つの水平倍密画素のうちの１つの画素である注目画素が予測される。
【０１８０】
ステップＳ１０８において、画素値予測部１０７は、ＳＤ画像が空間的に積分されることに基づいて、注目画素に対応する水平倍密画素の画素値を予測して、ステップＳ１０９に進む。すなわち、ステップＳ１０８では、画素値予測部１０７は、画素値予測部１０６からの予測された注目画素の画素値と、注目画素に対応する入力画像の画素の画素値とを用いて、式（１３）に示した演算を行い、注目画素に隣接する画素の画素値を予測する。ステップＳ１０８においては、注目画素の画素値と、注目画素に対応する入力画素の画素値とから、注目画素の画素値と加算した値が入力画素の画素値に等しい、水平倍密画素の画素値が予測される。
【０１８１】
言い換えれば、画素値予測部１０７は、注目画素と、注目画素の画素値、および注目画素に空間方向に隣接する水平倍密画素の画素値を含むＳＤ画素とから、ＳＤ画像が空間的に積分されること（空間混合）に基づいて、注目画素に隣接する水平倍密画素の画素値を予測する。
【０１８２】
このように、ステップＳ１０８において、第１の注目画素に空間的に近接する位置に配される高質画像データ内の第２の注目画素および第１の注目画素に対応する、入力画像データ内の対応画素の画素値から、第１の注目画素の画素値を減算した値に基づいて、第２の注目画素が予測される。
【０１８３】
ステップＳ１０９において、注目画素選択部１２１は、水平倍密画像の注目しているフレームの水平方向に１つおきの画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ１０１に戻り、以下、同様の処理を繰り返す。
【０１８４】
また、ステップＳ１０９において、注目フレームの水平方向に１つおきの画素のうち、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０１８５】
このように、図５に構成を示す画像処理装置は、ＳＤ画像である入力画像から、水平倍密画像を生成して、生成した水平倍密画像を出力することができる。
【０１８６】
以上のように、本発明においては、水平倍密画像の水平倍密画素のうち、半数の水平倍密画素がクラス分類適応処理により予測され、入力画像が空間的に積分されていることに基づいた演算により、残りの水平倍密画素が予測される。
【０１８７】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、より高画質の画像を得ることができる。
【０１８８】
高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素の特徴量を検出し、検出された特徴量に基づいて、抽出された複数の第２の周辺画素から第１の注目画素を予測し、第１の注目画素に空間的に近接する位置に配される高質画像データ内の第２の注目画素および第１の注目画素に対応する、入力画像データ内の対応画素の画素値から、第１の注目画素の画素値を減算した値に基づいて、第２の注目画素を予測するようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０１８９】
なお、注目画素と、入力画像が空間的に積分されていることに基づいた演算により予測される画素との位置関係は、左右を逆にしてもよいことは当然である。
【０１９０】
次に、図１２は、図５の係数メモリ１０４に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成を示すブロック図である。
【０１９１】
図１２の学習装置には、タップ係数の学習用の画像（教師画像）としての、例えば水平倍密画像が入力される。学習装置に入力された入力画像は、ＳＤ画像生成部１４１および教師画素抽出部１４８に供給される。
【０１９２】
ＳＤ画像生成部１４１は、入力された入力画像（教師画像）から、生徒画像であるＳＤ画像を生成し、画像メモリ１４２に供給する。ＳＤ画像生成部１４１は、例えば、教師画像としての水平倍密画像の水平方向に隣接する２つの水平倍密画素の画素値の平均値を求めてＳＤ画像の画素値とすることにより、その教師画像としての水平倍密画像に対応した生徒画像としてのＳＤ画像を生成する。ここで、ＳＤ画像は、図５の画像処理装置で処理対象となるＳＤ画像に対応した画質のものとする必要がある。画像メモリ１４２は、ＳＤ画像生成部１４１からの生徒画像であるＳＤ画像を一時記憶する。
【０１９３】
図１２に示す学習装置においては、ＳＤ画像を生徒データとして、タップ係数が生成される。
【０１９４】
クラスタップ抽出部１４３の注目画素選択部１６１は、図５のクラスタップ抽出部１０１の注目画素選択部１２１における場合と同様に、画像メモリ１４２に記憶された生徒画像であるＳＤ画像に対応する教師画像としての水平倍密画像に含まれる画素のうちの、水平方向に１つおきの画素を、順次、注目画素とする。すなわち、注目画素選択部１６１は、入力画像データの画素よりも空間積分面積が小さい、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に空間的に含まれる注目画素であって、対応画素と注目画素とから、対応画素に含まれる高質画像データ内の他の画素を予測できるようになるものを選択する。
【０１９５】
さらに、クラスタップ抽出部１４３は、注目画素についてのクラスタップを、画像メモリ１４２に記憶されたＳＤ画像から抽出し、特徴量検出部１４４に供給する。ここで、クラスタップ抽出部１４３は、図５のクラスタップ抽出部１０１が生成するのと同一のタップ構造のクラスタップを生成する。
【０１９６】
特徴量検出部１４４は、図５の特徴量検出部１０２と同様の処理で、画像メモリ１４２に記憶された生徒画像またはクラスタップ抽出部１４３から供給されたクラスタップから特徴量を検出して、検出した特徴量をクラス分類部１４５に供給する。
【０１９７】
例えば、特徴量検出部１４４は、画像メモリ１４２に記憶されたＳＤ画像またはクラスタップ抽出部１４３から供給されたクラスタップを基に、ＳＤ画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部１４５に供給する。また、例えば、特徴量検出部１４４は、画像メモリ１４２に記憶されたＳＤ画像またはクラスタップ抽出部１４３から供給されたクラスタップを基に、ＳＤ画像またはクラスタップの複数の画素の画素値の空間的または時間的な変化を検出して、検出した画素値の変化を特徴量としてクラス分類部１４５に供給する。
【０１９８】
さらに、例えば、特徴量検出部１４４は、画像メモリ１４２に記憶されたＳＤ画像またはクラスタップ抽出部１４３から供給されたクラスタップを基に、クラスタップまたはＳＤ画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部１４５に供給する。
【０１９９】
なお、特徴量検出部１４４は、特徴量検出部１０２と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。
【０２００】
すなわち、特徴量検出部１４４は、図５の特徴量検出部１０２と同一の特徴量を検出する。
【０２０１】
特徴量検出部１４４は、特徴量とは別に、クラスタップをクラス分類部１４５に供給する。
【０２０２】
クラス分類部１４５は、図５のクラス分類部１０３と同様に構成され、特徴量検出部１４４からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部１４６および学習メモリ１４９に供給する。
【０２０３】
予測タップ抽出部１４６は、図５の予測タップ抽出部１０５と同様に構成され、クラス分類部１４５から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ１４２に記憶されたＳＤ画像から抽出し、足し込み演算部１４７に供給する。ここで、予測タップ抽出部１４６は、図５の予測タップ抽出部１０５が生成するのと同一のタップ構造の予測タップを生成する。
【０２０４】
教師画素抽出部１４８は、教師画像である入力画像（水平倍密画像）から、注目画素を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部１４７に供給する。即ち、教師画素抽出部１４８は、入力された学習用の画像である水平倍密画像を、例えば、そのまま教師データとする。ここで、図５の画像処理装置で得られる水平倍密画像は、図１２の学習装置で教師データとして用いられる水平倍密画像の画質に対応したものとなる。
【０２０５】
足し込み演算部１４７および正規方程式演算部１５０は、注目画素となっている教師データと、予測タップ抽出部１４６から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部１４５から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０２０６】
即ち、足し込み演算部１４７は、予測タップ抽出部１４６から供給される予測タップ（ＳＤ画素）と、注目画素となっている教師データである水平倍密画素とを対象とした、式（８）の足し込みを行う。
【０２０７】
具体的には、足し込み演算部１４７は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_n,kを用い、式（８）の左辺の行列におけるＳＤ画素どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。
【０２０８】
さらに、足し込み演算部１４７は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_n,kと、注目画素となっている教師データである水平倍密画素ｙ_kを用い、式（８）の右辺のベクトルにおけるＳＤ画素ｘ_n,kおよび水平倍密画素ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。
【０２０９】
足し込み演算部１４７は、教師データとしての水平倍密画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に対応した正規方程式をたてると、その正規方程式を、学習メモリ１４９に供給する。
【０２１０】
学習メモリ１４９は、足し込み演算部１４７から供給された、生徒データとしてＳＤ画素、教師データとして水平倍密画素が設定された、式（８）に対応した正規方程式を記憶する。
【０２１１】
正規方程式演算部１５０は、学習メモリ１４９から、各クラスについての式（８）の正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて出力する。
【０２１２】
すなわち、足し込み演算部１４７および正規方程式演算部１５０は、検出された特徴量毎に、抽出された複数の周辺画素から注目画素を予測する予測手段を学習する。
【０２１３】
この場合、予測手段は、複数の周辺画素から注目画素を予測する具体的手段であり、例えば、クラス毎のタップ係数により動作が規定される画素値予測部１０６、または画素値予測部１０６における処理を言う。複数の周辺画素から注目画素を予測する予測手段を学習するとは、例えば、複数の周辺画素から注目画素を予測する予測手段の実現（構築）を可能にすることを意味する。
【０２１４】
従って、複数の周辺画素から注目画素を予測するための予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、画素値予測部１０６、または画素値予測部１０６における処理が具体的に特定され、画素値予測部１０６を実現し、または画素値予測部１０６における処理を実行することができるようになるからである。
【０２１５】
係数メモリ１５１は、正規方程式演算部１５０が出力するクラスごとのタップ係数を記憶する。
【０２１６】
次に、図１３のフローチャートを参照して、図１２の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０２１７】
まず最初に、ステップＳ１４１において、ＳＤ画像生成部１４１は、例えば、水平倍密画像である、学習用の入力画像（教師画像）を取得し、画素を間引くことにより、例えば、ＳＤ画像である生徒画像を生成する。例えば、ＳＤ画像生成部１４１は、水平倍密画像の水平方向に隣接する２つの水平倍密画素の画素値の平均値を求めて、平均値をＳＤ画像の画素値とすることにより、ＳＤ画像を生成する。ＳＤ画像は、画像メモリ１４２に供給される。
【０２１８】
そして、ステップＳ１４２に進み、クラスタップ抽出部１４３の注目画素選択部１６１は、教師データとしての水平倍密画像の水平倍密画素であって、水平方向に１つおきの水平倍密画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、手続は、ステップＳ１４３に進む。すなわち、ステップＳ１４２において、入力画像データの画素よりも空間積分面積が小さい、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に空間的に含まれる注目画素であって、対応画素と注目画素とから、対応画素に含まれる高質画像データ内の他の画素を予測できるようになるものが選択される。
【０２１９】
ステップＳ１４３において、クラスタップ抽出部１４３は、図５のクラスタップ抽出部１０１における場合と同様に、注目画素に対応するクラスタップを、画像メモリ１４２に記憶されている生徒画像としてのＳＤ画像から抽出する。クラスタップ抽出部１４３は、クラスタップを特徴量検出部１４４に供給して、ステップＳ１４４に進む。
【０２２０】
ステップＳ１４４において、特徴量検出部１４４は、図５の特徴量検出部１０２における場合と同様に、ステップＳ１４１の処理において生成された生徒画像またはステップＳ１４３の処理において抽出されたクラスタップから、例えば、動きベクトル、またはＳＤ画像の画素の画素値の変化などの特徴量を検出して、検出した特徴量をクラス分類部１４５に供給し、ステップＳ１４５に進む。
【０２２１】
ステップＳ１４５では、クラス分類部１４５が、図５のクラス分類部１０３における場合と同様にして、特徴量検出部１４４からの特徴量またはクラスタップを用いて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、予測タップ抽出部１４６および学習メモリ１４９に供給して、ステップＳ１４６に進む。
【０２２２】
ステップＳ１４６において、予測タップ抽出部１４６は、クラス分類部１４５から供給されるクラスコードに基づいて、図５の予測タップ抽出部１０５における場合と同様に、注目画素に対応する予測タップを、画像メモリ１４２に記憶されている生徒画像としてのＳＤ画像から抽出し、足し込み演算部１４７に供給して、ステップＳ１４７に進む。
【０２２３】
ステップＳ１４７において、教師画素抽出部１４８は、注目画素、すなわち水平倍密画素である教師画素（教師データ）を入力画像から抽出し、抽出した教師画素を足し込み演算部１４７に供給し、ステップＳ１４８に進む。
【０２２４】
ステップＳ１４８では、足し込み演算部１４７が、予測タップ抽出部１４６から供給される予測タップ（生徒データ）、および教師画素抽出部１４８から供給される教師画素（教師データ）を対象とした、上述した式（８）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ１４９に記憶させ、ステップＳ１４９に進む。
【０２２５】
そして、ステップＳ１４９では、注目画素選択部１６１は、教師データとしての水平倍密画像の水平倍密画素のうちの水平方向に１つおきの画素の中に、まだ注目画素としていないものがあるかどうか、すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステップＳ１４９において、教師データとしての水平倍密画像の水平倍密画素のうちの水平方向に１つおきの画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ１４２に戻り、以下、同様の処理が繰り返される。
【０２２６】
また、ステップＳ１４９において、教師データとしての水平倍密画像の水平倍密画素のうちの水平方向に１つおきの画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップＳ１５０に進み、正規方程式演算部１５０は、いままでのステップＳ１４８における足し込みによって、クラスごとに得られた式（８）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ１４９から読み出し、読み出した式（８）の正規方程式を掃き出し法などで解くことにより（クラス毎に学習し）、所定のクラスの予測係数（タップ係数）を求め、係数メモリ１５１に供給して、ステップＳ１５１に進む。
【０２２７】
ステップＳ１５１において、係数メモリ１５１は、正規方程式演算部１５０から供給された所定のクラスの予測係数（タップ係数）を、クラス毎に記憶し、ステップＳ１５２に進む。
【０２２８】
ステップＳ１５２において、正規方程式演算部１５０は、全クラスの予測係数の演算を終了したか否かを判定し、全クラスの予測係数の演算を終了していないと判定された場合、ステップＳ１５０に戻り、次のクラスの予測係数を求める処理を繰り返す。
【０２２９】
ステップＳ１５２において、全クラスの予測係数の演算を終了したと判定された場合、処理は終了する。
【０２３０】
以上のようにして、係数メモリ１５１に記憶されたクラスごとの予測係数が、図５の画像処理装置における係数メモリ１０４に記憶されている。
【０２３１】
なお、以上のような予測係数（タップ係数）の学習処理において、用意する学習用の画像等によっては、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、正規方程式演算部１５０において、デフォルトのタップ係数を出力するようにすること等が可能である。あるいは、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じた場合には、新たに学習用の画像を用意して、再度、タップ係数の学習を行うようにしても良い。このことは、後述する学習装置におけるタップ係数の学習についても、同様である。
【０２３２】
このように、学習を行うようにした場合には、予測において、より高画質の画像を得ることができるようになる。
【０２３３】
入力画像データの画素よりも空間積分面積が小さい、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に空間的に含まれる注目画素であって、対応画素と注目画素とから、対応画素に含まれる高質画像データ内の他の画素を予測できるようになるものを選択し、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出し、検出された特徴量毎に、抽出された複数の第２の周辺画素から注目画素を予測する予測手段を学習するようにした場合には、予測において、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０２３４】
次に、図１４は、図５の係数メモリ１０４に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の他の構成を示すブロック図である。図１２に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。
【０２３５】
図１４に示す学習装置は、ＳＤ画像の画素が空間積分されることに基づき、水平倍密画素である注目画素に水平方向に隣接する水平倍密画素と、注目画素に対応するＳＤ画素を教師データとして、タップ係数を求める。
【０２３６】
図１４の学習装置には、タップ係数の学習用の画像（教師画像）としての、例えば水平倍密画像が入力される。学習装置に入力された水平倍密画像は、ＳＤ画像生成部１４１および教師画素抽出部１８２に供給される。
【０２３７】
教師画素抽出部１８２は、水平倍密画像である入力画像の注目画素に水平方向に隣接する水平倍密画素と、注目画素に対応するＳＤ画像のＳＤ画素とを教師データとして抽出して、抽出した教師データを足し込み演算部１８１に供給する。
【０２３８】
ここで、式（１１）のY3をｘ_k'に、Y1をｙ_k ⁽¹⁾に、Y2をｙ_k ⁽²⁾に置き換えると、式（１４）を導くことができる。
ｘ_k'=(ｙ_k ⁽¹⁾+ｙ_k ⁽²⁾)/2 ・・・（１４）
【０２３９】
式（１４）において、ｘ_k'は、注目画素に対応するＳＤ画素の画素値であり、ｙ_k ⁽¹⁾は、注目画素の画素値であり、ｙ_k ⁽²⁾は、注目画素に水平方向に隣接する水平倍密画素の画素値である。
【０２４０】
ｙ_k ⁽¹⁾は、式（１５）で表すことができる。
ｙ_k ⁽¹⁾=2ｘ_k'-ｙ_k ⁽²⁾ ・・・（１５）
【０２４１】
ｙ_k ⁽¹⁾を注目画素の画素値として、式（１５）を式（３）に代入すると、式（１６）が得られる。
【数１２】

・・・（１６）
【０２４２】
式（１６）についての正規方程式は、式（１７）で表すことができる。
【数１３】

・・・（１７）
【０２４３】
足し込み演算部１８１および正規方程式演算部１８４は、注目画素に隣接する水平倍密画素と、注目画素に対応するＳＤ画像のＳＤ画素とからなる教師データ、および予測タップ抽出部１４６から供給される予測タップを用い、教師データと生徒データとの関係を、クラス分類部１４５から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０２４４】
即ち、足し込み演算部１８１は、予測タップ抽出部１４６から供給される予測タップ（ＳＤ画素）と、教師データである、注目画素に隣接する水平倍密画素、および注目画素に対応するＳＤ画素とを対象とした、式（１７）の足し込みを行う。
【０２４５】
具体的には、足し込み演算部１８１は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_n,kを用い、式（１７）の左辺の行列におけるＳＤ画素どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。
【０２４６】
さらに、足し込み演算部１８１は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_n,kと、注目画素に隣接する水平倍密画素ｙ_k ⁽²⁾と、注目画素に対応するＳＤ画像のＳＤ画素ｘ_k'とを用い、式（１７）の右辺のベクトルにおける、ＳＤ画素ｘ_k'と水平倍密画素ｙ_k ⁽²⁾との演算（2ｘ_k'-ｙ_k ⁽²⁾）と、その結果とＳＤ画素ｘ_n,kとの乗算（ｘ_n,k（2ｘ_k'-ｙ_k ⁽²⁾））と、サメーション（Σ）に相当する演算を行う。
【０２４７】
足し込み演算部１８１は、教師データとしての水平倍密画像の対象となる画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（１７）に対応した正規方程式をたてると、その正規方程式を、学習メモリ１８３に供給する。
【０２４８】
学習メモリ１８３は、足し込み演算部１８１から供給された、生徒データとしてＳＤ画素、教師データとして水平倍密画素およびＳＤ画素が設定された、式（１７）に対応した正規方程式を記憶する。
【０２４９】
正規方程式演算部１８４は、学習メモリ１８３から、各クラスについての式（１７）の正規方程式を取得し、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて出力する。
【０２５０】
このように、足し込み演算部１８１および正規方程式演算部１８４は、対応画素と、空間的に対応画素内に含まれる注目画素との関係を拘束条件として、特徴量毎に、抽出された注目画素の複数の周辺画素から注目画素を予測する予測手段を学習する。
【０２５１】
係数メモリ１８５は、正規方程式演算部１８４が出力するクラスごとのタップ係数を記憶する。
【０２５２】
次に、図１５のフローチャートを参照して、図１４に構成を示す学習装置の学習の処理を説明する。ステップＳ１８１乃至ステップＳ１８６の処理は、図１３のステップＳ１４１乃至ステップＳ１４６の処理と、それぞれ同様なので、その説明は省略する。
【０２５３】
ステップＳ１８７において、教師画素抽出部１８２は、注目画素に隣接する水平倍密画素を水平倍密画像から教師画素として抽出するとともに、注目画素に対応するＳＤ画素を、画像メモリ１４２に記憶されているＳＤ画像から教師画素として抽出して、抽出した教師画素を足し込み演算部１８１に供給し、ステップＳ１８８に進む。
【０２５４】
ステップＳ１８８において、足し込み演算部１８１が、予測タップ抽出部１４６から供給される予測タップ（生徒データ）、および教師画素抽出部１８２から供給される、注目画素に隣接する水平倍密画素を水平倍密画像と注目画素に対応するＳＤ画素とからなる教師画素（教師データ）を対象とした、上述した式（１７）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ１８３に記憶させ、ステップＳ１８９に進む。
【０２５５】
ステップＳ１８９では、クラスタップ抽出部１４３の注目画素選択部１６１は、水平倍密画像の水平倍密画素のうちの水平方向に１つおきの画素の中に、まだ注目画素としていないものがあるかどうか、すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステップＳ１８９において、水平倍密画像の水平倍密画素のうちの水平方向に１つおきの画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ１８２に戻り、以下、同様の処理が繰り返される。
【０２５６】
また、ステップＳ１８９において、水平倍密画像の水平倍密画素のうちの水平方向に１つおきの画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップＳ１９０に進み、正規方程式演算部１８４は、いままでのステップＳ１８８における足し込みによって、クラスごとに得られた式（１７）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ１８３から読み出し、読み出した式（１７）の正規方程式を、例えば掃き出し法により、解くことにより（クラス毎に学習し）、所定のクラスのタップ係数を求め、係数メモリ１８５に供給して、ステップＳ１９１に進む。
【０２５７】
このように、ステップＳ１８８およびステップＳ１９０において、対応画素と、空間的に対応画素内に含まれる注目画素との関係を拘束条件として、特徴量毎に、抽出された注目画素の複数の周辺画素から注目画素を予測する予測手段が学習される。
【０２５８】
ステップＳ１９１において、係数メモリ１８５は、正規方程式演算部１８４から供給された所定のクラスの予測係数（タップ係数）を、クラス毎に記憶し、ステップＳ１９２に進む。
【０２５９】
ステップＳ１９２において、正規方程式演算部１８４は、全クラスのタップ係数の演算を終了したか否かを判定し、全クラスのタップ係数の演算を終了していないと判定された場合、ステップＳ１９０に戻り、次のクラスのタップ係数を求める処理を繰り返す。
【０２６０】
ステップＳ１９２において、全クラスのタップ係数の演算を終了したと判定された場合、処理は終了する。
【０２６１】
以上のようにして、係数メモリ１８５に記憶されたクラスごとのタップ係数を、図５の画像処理装置における係数メモリ１０４に記憶するようにすることができる。
【０２６２】
入力画像データの画素よりも空間積分面積が小さい、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に空間的に含まれる注目画素であって、対応画素と注目画素とから、対応画素に含まれる高質画像データ内の他の画素を予測できるようになるものを選択し、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出し、対応画素と、空間的に対応画素内に含まれる注目画素との関係を拘束条件として、検出された特徴量毎に、抽出された複数の第２の周辺画素から注目画素を予測する予測手段を学習するようにした場合には、予測において、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０２６３】
次に、時間方向に高解像度の画像を創造する画像処理装置について説明する。
【０２６４】
図１６は、本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【０２６５】
図１６に示す画像処理装置においては、例えば、１秒間当たり３０フレームからなるＳＤ画像が入力され、入力されたＳＤ画像に対して、クラス分類適応処理が施されることにより、１秒間あたり６０フレームからなる画像（以下、時間倍密画像と称する。）を構成する画素（以下、時間倍密画素とも称する。）のうち、１つおきのフレームの画素が創造される。そして、創造された、１つおきのフレームから、時間倍密画像の全体が生成され、生成された時間倍密画像が出力されるようになっている。
【０２６６】
即ち、この画像処理装置は、クラスタップ抽出部２１１、特徴量検出部２１２、クラス分類部２１３、係数メモリ２１４、予測タップ抽出部２１５、画素値予測部２１６、および画素値予測部２１７から構成される。さらに、クラスタップ抽出部２１１には、注目画素選択部２２１が設けられている。画像処理装置に入力された、時間解像度の創造の対象となるＳＤ画像は、クラスタップ抽出部２１１、予測タップ抽出部２１５、特徴量検出部２１２、および画素値予測部２１７に供給される。
【０２６７】
クラスタップ抽出部２１１の注目画素選択部２２１は、クラス分類適応処理により求めようとする時間倍密画像の時間倍密画素のうちの、所定のフレームの時間倍密画素を、順次、注目画素とする。例えば、注目画素選択部２２１は、ＳＤ画像のフレームに対して、直前の時間倍密画像のフレーム、すなわち、1/120秒前の時間倍密画像のフレームの時間倍密画素を、順次、注目画素とする。
【０２６８】
そして、クラスタップ抽出部２１１は、注目画素についてのクラス分類に用いるクラスタップを、入力画像であるＳＤ画像から抽出し、抽出したクラスタップを特徴量検出部２１２に出力する。すなわち、クラスタップ抽出部２１１は、例えば、注目画素の位置から空間的または時間的に近い位置にある複数の画素を、入力されたＳＤ画像から抽出することによりクラスタップとし、特徴量検出部２１２に供給する。
【０２６９】
なお、クラスタップ抽出部２１１、予測タップ抽出部２１５、および画素値予測部２１７は、クラスタップ抽出部１０１、予測タップ抽出部１０５、および画素値予測部１０７と同様に、フレームメモリを内蔵し、画像処理装置に入力されたＳＤ画像を、例えば、フレーム（またはフィールド）単位で一時記憶する。
【０２７０】
また、画像処理装置は、入力側に１つのフレームメモリを設けるようにしてもよい。
【０２７１】
図１７は、注目画素およびクラスタップを説明する図である。図１７において、図の横方向は、ＳＤ画像および時間倍密画像の時間方向に対応し、図の縦方向は、ＳＤ画像および時間倍密画像の一方の空間方向、例えば、画面の縦方向である空間方向Ｙに対応する。なお、図１７において、過去の時刻が、図中の左側の位置に対応し、未来の時刻が、図中の右側の位置に対応する。
【０２７２】
ここで、図１７において、○印がＳＤ画像を構成するＳＤ画素を表し、×印が時間倍密画像を構成する時間倍密画素を表している。また、図１７では、時間倍密画像は、ＳＤ画像に対して、時間方向に２倍の数のフレームを配置した画像になっている。例えば、１秒間に３０フレームからなるＳＤ画像に対して、時間倍密画像は、１秒間に６０フレームからなる。なお、時間倍密画像の１つのフレームに配置されている画素の数は、ＳＤ画像の１つのフレームに配置されている画素の数と同じである。
【０２７３】
図１７において、f_-2,f_-1,f₀,f₁,f₂は、ＳＤ画像のフレームを示し、F_-4,F_-3,F_-2,F_-1,F₀,F₁,F₂,F₃,F₄,F₅は、時間倍密画像のフレームを示す。
【０２７４】
図１７において、時間倍密画像の注目しているフ注目フレームをF₀と表し、時間倍密画像の注目している１つの時間倍密画素を、ｙ⁽¹⁾と表す。時間倍密画像のフレームのうち、F_-4,F_-2,F₀,F₂,F₄,・・・のように、例えば、ＳＤ画像のフレームの前のフレームが注目フレームとされ、注目フレームの画素が順次注目画素として選択される。
【０２７５】
クラスタップ抽出部２１１は、注目画素について、例えば、図１７に点線の四角で囲んで示すように、その注目画素の位置から近い横×縦が３×３個の画素をＳＤ画像から抽出することによりクラスタップとする。
【０２７６】
図１７において、クラスタップを構成する３×３個のＳＤ画像の画素のうちの、フレームf_-1の第１行、フレームf₀の第１行、フレームf₁の第１行、フレームf_-1の第２行、フレームf₀の第２行、フレームf₁の第２行、フレームf_-1の第３行、フレームf₀の第３行、フレームf₁の第３行の画素の画素値を、それぞれｘ⁽¹⁾，ｘ⁽²⁾，ｘ⁽³⁾，ｘ⁽⁴⁾，ｘ⁽⁵⁾，ｘ⁽⁶⁾，ｘ⁽⁷⁾，ｘ⁽⁸⁾，ｘ⁽⁹⁾と表す。例えば、クラスタップ抽出部２１１は、注目画素ｙ⁽¹⁾について、図１７に示す、３×３個の画素の画素値ｘ⁽¹⁾乃至ｘ⁽⁹⁾を、ＳＤ画像から抽出することによりクラスタップとする。
【０２７７】
クラスタップ抽出部２１１は、抽出されたクラスタップを、特徴量検出部２１２に供給する。
【０２７８】
特徴量検出部２１２は、クラスタップ抽出部２１１から供給されたクラスタップまたは入力画像から特徴量を検出して、検出した特徴量をクラス分類部２１３に供給する。
【０２７９】
例えば、特徴量検出部２１２は、クラスタップ抽出部２１１から供給されたクラスタップまたは入力画像を基に、入力画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部２１３に供給する。また、例えば、特徴量検出部２１２は、クラスタップ抽出部２１１から供給されたクラスタップまたは入力画像を基に、入力画像の複数の画素の画素値の空間的または時間的な変化（アクティビティ）を検出して、検出した画素値の変化を特徴量としてクラス分類部２１３に供給する。
【０２８０】
さらに、例えば、特徴量検出部２１２は、クラスタップ抽出部２１１から供給されたクラスタップまたは入力画像を基に、入力画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部２１３に供給する。
【０２８１】
なお、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを採用することができる。
【０２８２】
特徴量検出部２１２は、特徴量とは別に、クラスタップをクラス分類部２１３に供給する。
【０２８３】
クラス分類部２１３は、特徴量検出部２１２からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ２１４と予測タップ抽出部２１５とに供給する。
【０２８４】
例えば、クラス分類部２１３は、クラスタップ抽出部２１１からのクラスタップを、１ビットADRC処理し、その結果得られるADRCコードを、クラスコードとする。
【０２８５】
また、例えば、クラス分類部２１３は、特徴量検出部２１２からの特徴量を、そのままクラスコードとする。例えば、クラス分類部２１３は、特徴量検出部２１２からの複数の特徴量を、直交変換して、得られた値をクラスコードとする。
【０２８６】
例えば、クラス分類部２１３は、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードを結合し（合成し）、最終的なクラスコードを生成して、最終的なクラスコードを係数メモリ２１４と予測タップ抽出部２１５とに供給する。
【０２８７】
なお、クラス分類部１０３の場合と同様に、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードのいずれか一方を、最終的なクラスコードとするようにしてもよい。
【０２８８】
係数メモリ２１４は、学習の教師となる時間倍密画像である教師データと、学習の生徒となるＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ２１４は、クラス分類部２１３から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値予測部２１６に供給する。なお、係数メモリ２１４に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０２８９】
予測タップ抽出部２１５は、クラス分類部２１３から供給されるクラスコードを基に、画素値予測部２１６において注目画素（の予測値）を求めるのに用いる予測タップを入力画像から抽出し、抽出した予測タップを画素値予測部２１６に供給する。例えば、予測タップ抽出部２１５は、注目画素の位置から空間的または時間的に近い位置にある複数の画素値を、入力画像から抽出することにより予測タップとし、画素値予測部２１６に供給する。より具体的には、例えば、予測タップ抽出部２１５は、注目画素ｙ⁽¹⁾について、図１７に示す、３×３個の画素の画素値ｘ⁽¹⁾乃至ｘ⁽⁹⁾を、ＳＤ画像から抽出することにより予測タップとする。
【０２９０】
なお、クラスタップとする画素値と、予測タップとする画素値とは、同一であっても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。
【０２９１】
また、予測タップとする画素値は、クラス毎に異なるものであっても、同一であってもよい。
【０２９２】
なお、クラスタップや予測タップのタップ構造は、図１７に示した、３×３個の画素値に限定されるものではない。
【０２９３】
画素値予測部２１６は、係数メモリ２１４から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部２１５からの予測タップ（を構成する画素値）ｘ₁，ｘ₂，・・・とを用いて、式（１）に示した積和演算を行うことにより、注目画素ｙ⁽¹⁾（の予測値）を予測し、これを、時間倍密画素の画素値とする。画素値予測部２１６は、このように演算された画素値からなる時間倍密画像を画素値予測部２１７に供給する。
【０２９４】
なお、注目画素選択部２２１が時間倍密画像の時間倍密画素のうちの、ＳＤ画像のフレームの前のフレームの画素を、順次、注目画素とするので、画素値予測部２１６は、１つおきのフレームの時間倍密画素のみを予測し、１つおきのフレームからなる時間倍密画像、すなわち、創造しようとする時間倍密画像の半数のフレームからなる時間倍密画像を画素値予測部２１７に供給する。
【０２９５】
すなわち、図１６の本発明に係る画像処理装置における適応処理では、ＳＤ画像である入力画像の画素値の画素値が、所定のタップ係数を用いてマッピング（写像）されることにより、時間倍密画像の１つおきのフレームの時間倍密画素に変換される。例えば、図１７において、時間倍密画像の時間倍密画素のうち、F_-4,F_-2,F₀,F₂,F₄,・・・のように、１つおきの注目フレーム上の注目画素が、画素値予測部２１６により予測される。
【０２９６】
画素値予測部２１７は、画素値予測部２１６から供給された、１つおきのフレームの時間倍密画素からなる時間倍密画像、およびＳＤ画像である入力画像を基に、ＳＤ画像が時間的に積分されることに基づく、ＳＤ画像と時間倍密画像との関係により、時間倍密画像の残ったフレームの時間倍密画素の画素値（画素値予測部２１６では予測されなかった画素値）を予測して、全ての画素の画素値を含む時間倍密画像を出力する。
【０２９７】
次に、図１８を参照して、ＳＤ画像が時間的に積分されることに基づく、ＳＤ画像と時間倍密画像との関係を説明する。
【０２９８】
図１８のf(t)は、入力される光および微少な時間に対応する、時間的に理想的な画素値を示す。図１８において、ＳＤ画像を撮像するセンサのシャッタ時間は、時刻t1から時刻t3までの期間であり、2tsで示す。
【０２９９】
ＳＤ画像の１つの画素値が、理想的な画素値f(t)の一様な積分で表されるとすれば、時刻t1から時刻t2までの期間に対応する画素の画素値Y1は、式（１８）で表され、時刻t2から時刻t3までの期間に対応する画素の画素値Y2は、式（１９）で表され、ＳＤ画像としてセンサから出力される画素値Y3は、式（２０）で表される。
【数１４】

・・・（１８）
【０３００】
【数１５】

・・・（１９）
【０３０１】
【数１６】

・・・（２０）
【０３０２】
式（１８）乃至式（２０）における、Y1およびY2は、それぞれ、図１６の画像処理装置が求めようとする、ＳＤ画像に対する時間倍密画像の時間倍密画素の画素値に対応する。また、式（２０）における、Y3は、時間倍密画像の時間倍密画素の画素値Y1およびY2に対応するＳＤ画素ｘの画素値に対応する。
【０３０３】
Y3をｘ⁽⁵⁾に、Y1をｙ⁽¹⁾に、Y2をｙ⁽²⁾にそれぞれ置き換えると、式（２０）から、式（２１）を導くことができる。
ｘ⁽⁵⁾=(ｙ⁽¹⁾+ｙ⁽²⁾)/2 ・・・（２１）
【０３０４】
式（２１）を、ｙ⁽²⁾について変形すると、式（２２）が得られる。
ｙ⁽²⁾=2ｘ⁽⁵⁾-ｙ⁽¹⁾ ・・・（２２）
【０３０５】
従って、センサから出力される画素値Y3および時刻t1から時刻t2までの期間に対応する画素の画素値ｙ⁽¹⁾(Y1)が既知であれば、式（２２）により、時刻t2から時刻t3までの期間に対応する画素の画素値ｙ⁽²⁾(Y2)を算出することができる。
【０３０６】
このように、画素に対応する画素値と、その画素の２つの期間に対応する画素のいずれか一方の画素値とを知ることができれば、画素の２つの期間に対応する他の画素の画素値を算出することができる。
【０３０７】
画素値予測部２１７は、画素値予測部２１６から供給された、１つおきのフレームの時間倍密画素の画素値ｙ⁽¹⁾、およびＳＤ画像である入力画像の画素値ｘ⁽⁵⁾に、ＳＤ画像が時間的に積分されることによる関係に基づく演算、すなわち、式（２２）を適用して、2ｘ⁽⁵⁾からｙ⁽¹⁾を引き算することにより、時間倍密画像の残ったフレームの時間倍密画素（画素値予測部２１６では予測されなかった画素）の画素値ｙ⁽²⁾を予測する。
【０３０８】
例えば、図１７において、時間倍密画像の時間倍密画素のうち、F_-3,F_-1,F₁,F₃,F₅,・・・のように、例えば、ＳＤ画像のフレームの後に隣接する、時間倍密画像のフレームの時間倍密画素が画素値予測部２１７において予測される。
【０３０９】
すなわち、画素値予測部２１７は、第１の注目画素に時間的に近接する位置に配される高質画像データ内の第２の注目画素および第１の注目画素に対応する、入力画像データ内の対応画素の画素値から、第１の注目画素の画素値を減算した値に基づいて、第２の注目画素を予測する。
【０３１０】
このように、注目画素選択部２２１は、加算した値が１つのＳＤ画素の画素値に等しい、２つの時間倍密画素のうちの１つを注目画素として選択し、画素値予測部２１６は、注目画素の画素値を予測する。画素値予測部２１７は、注目画素を含む２つの時間倍密画素の画素値を加算した値が１つのＳＤ画素の画素値に等しいことを利用して、ＳＤ画素の画素値および注目画素の画素値から、残りの時間倍密画素の画素値を予測する。
【０３１１】
次に、図１９のフローチャートを参照して、図１６の画像処理装置が行う、ＳＤ画像から時間倍密画像を創造する画像創造処理について説明する。
【０３１２】
ステップＳ２１１において、クラスタップ抽出部２１１の注目画素選択部２２１は、創造しようとする時間倍密画像の、注目している時間倍密画素である注目画素を選択する。注目画素選択部１２１は、創造しようとする時間倍密画像の時間倍密画素のうち、１つおきのフレームの時間倍密画素を注目画素として選択し、手続は、ステップＳ２１２に進む。すなわち、ステップＳ２１１において、加算した値が１つの入力画素の画素値に等しい、２つの時間倍密画素のうちの１つが注目画素として選択される。
【０３１３】
ステップＳ２１２において、クラスタップ抽出部２１１は、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像からクラスタップとして抽出して、クラスタップを生成する。クラスタップは、特徴量検出部２１２に供給され、手続は、ステップＳ２１３に進む。ステップＳ２１３において、特徴量検出部２１２は、入力画像またはステップＳ２１２の処理において抽出されたクラスタップから特徴量を検出して、検出された特徴量をクラス分類部２１３に供給すると共に、クラスタップをクラス分類部２１３に供給して、ステップＳ２１４に進む。
【０３１４】
ステップＳ２１４において、クラス分類部２１３は、特徴量検出部２１２から供給される特徴量またはクラスタップに基づき、１以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ２１４および予測タップ抽出部２１５に供給して、ステップＳ２１５に進む。
【０３１５】
ステップＳ２１５において、予測タップ抽出部２１５は、クラス分類部２１３から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値予測部１０６に供給され、手続は、ステップＳ２１６に進む。
【０３１６】
ステップＳ２１６において、係数メモリ２１４は、クラス分類部２１３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目画素のクラスのタップ係数を取得して、タップ係数を画素値予測部２１６に供給し、ステップＳ２１７に進む。
【０３１７】
ステップＳ２１７において、画素値予測部２１６は、適応処理により、注目画素（の予測値）を予測し、予測した注目画素を画素値予測部２１７に供給して、ステップＳ２１８に進む。即ち、ステップＳ２１７では、画素値予測部２１６は、予測タップ抽出部２１５からの予測タップと、係数メモリ２１４からのタップ係数とを用いて、式（１）に示した演算を行い、注目画素（の予測値）を予測する。ステップＳ２１７においては、加算した値が１つの入力画素の画素値に等しい、２つの時間倍密画素のうちの１つの画素である注目画素が予測される。
【０３１８】
ステップＳ２１８において、画素値予測部２１７は、ＳＤ画像が時間的に積分されることに基づいて、注目画素に対応する時間倍密画素の画素値を予測して、ステップＳ２１９に進む。すなわち、ステップＳ２１８では、画素値予測部２１７は、画素値予測部２１６からの予測された注目画素の画素値と、注目画素に対応する入力画像の画素の画素値とを用いて、式（２２）に示した演算を行い、注目画素の注目フレームに時間的に隣接するフレームの、注目画素に対応する位置の画素の画素値を予測する。ステップＳ２１８においては、注目画素の画素値と、注目画素に対応する入力画素の画素値とから、注目画素の画素値と加算した値が入力画素の画素値に等しい、時間倍密画素の画素値が予測される。
【０３１９】
言い換えれば、画素値予測部２１７は、注目画素と、注目画素の画素値、および注目画素に時間方向に隣接する時間倍密画素の画素値を含むＳＤ画素とから、ＳＤ画像が時間的に積分されること（時間混合）に基づいて、注目画素に隣接する時間倍密画素の画素値を予測する。
【０３２０】
このように、ステップＳ２１８において、第１の注目画素に時間的に近接する位置に配される高質画像データ内の第２の注目画素および第１の注目画素に対応する、入力画像データ内の対応画素の画素値から、第１の注目画素の画素値を減算した値に基づいて、第２の注目画素が予測される。
【０３２１】
ステップＳ２１９において、クラスタップ抽出部２１１の注目画素選択部２２１は、注目フレームの画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ２１１に戻り、以下、同様の処理を繰り返す。
【０３２２】
また、ステップＳ２１９において、注目フレームの画素のうち、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべての時間倍密画素、および注目フレームに隣接するフレームのすべての時間倍密画素が予測された場合、処理は終了する。
【０３２３】
このように、図１６に構成を示す画像処理装置は、ＳＤ画像である入力画像から、時間倍密画像を生成して、生成した時間倍密画像を出力することができる。
【０３２４】
高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素の特徴量を検出し、検出された特徴量に基づいて、抽出された複数の第２の周辺画素から第１の注目画素を予測し、第１の注目画素に時間的に近接する位置に配される高質画像データ内の第２の注目画素および第１の注目画素に対応する、入力画像データ内の対応画素の画素値から、第１の注目画素の画素値を減算した値に基づいて、第２の注目画素を予測するようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０３２５】
次に、図２０は、図１６の係数メモリ２１４に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成を示すブロック図である。
【０３２６】
図２０の学習装置には、タップ係数の学習用の画像としての、例えば時間倍密画像が入力される。学習装置に入力された時間倍密画像は、ＳＤ画像生成部２４１および教師画素抽出部２４８に供給される。
【０３２７】
ＳＤ画像生成部２４１は、入力された教師画像から、フレームを間引きして、ＳＤ画像を生成し、画像メモリ２４２に供給する。ＳＤ画像生成部２４１は、例えば、教師画像としての時間倍密画像の、時間方向に隣接する２つのフレームの、対応する位置の２つの画素の画素値の平均値を求めて、ＳＤ画像の画素値とすることにより、その教師画像としての時間倍密画像に対応した生徒画像であるＳＤ画像を生成する。ここで、ＳＤ画像は、図１６の画像処理装置で処理対象となるＳＤ画像に対応した画質のものとする必要がある。
【０３２８】
画像メモリ２４２は、ＳＤ画像生成部２４１からの生徒画像であるＳＤ画像を一時記憶する。
【０３２９】
図２０に示す学習装置においては、ＳＤ画像を生徒データとして、タップ係数が生成される。
【０３３０】
クラスタップ抽出部２４３の注目画素選択部２６１は、画像メモリ２４２に記憶された生徒画像であるＳＤ画像に対応する教師画像としての時間倍密画像の１つおきのフレームに含まれる画素を、図１６のクラスタップ抽出部２１１の注目画素選択部２２１における場合と同様に、順次、注目画素とする。すなわち、注目画素選択部２６１は、入力画像データの画素よりも時間積分時間が短い、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に時間的に含まれる注目画素であって、対応画素と注目画素とから、対応画素に含まれる高質画像データ内の他の画素を予測できるようになるものを選択する。
【０３３１】
さらに、クラスタップ抽出部２４３は、注目画素についてのクラスタップを、画像メモリ２４２に記憶された生徒画像から抽出し、特徴量検出部２４４を介してクラス分類部２４５に供給する。ここで、クラスタップ抽出部２４３は、図１６のクラスタップ抽出部２１１が生成するのと同一のタップ構造のクラスタップを生成する。
【０３３２】
特徴量検出部２４４は、特徴量検出部２１２と同様の処理で、画像メモリ２４２に記憶されている生徒画像であるＳＤ画像またはクラスタップ抽出部２４３から供給されたクラスタップから特徴量を検出して、検出した特徴量をクラス分類部２４５に供給する。
【０３３３】
例えば、特徴量検出部２４４は、画像メモリ２４２に記憶されているＳＤ画像またはクラスタップ抽出部２４３から供給されたクラスタップを基に、ＳＤ画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部２４５に供給する。また、例えば、特徴量検出部２４４は、画像メモリ２４２に記憶されているＳＤ画像またはクラスタップ抽出部２４３から供給されたクラスタップを基に、ＳＤ画像またはクラスタップの複数の画素の画素値の空間的または時間的な変化を検出して、検出した画素値の変化を特徴量としてクラス分類部２４５に供給する。
【０３３４】
さらに、例えば、特徴量検出部２４４は、画像メモリ２４２に記憶されているＳＤ画像またはクラスタップ抽出部２４３から供給されたクラスタップを基に、クラスタップまたはＳＤ画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部２４５に供給する。
【０３３５】
なお、特徴量検出部２４４は、特徴量検出部２１２と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。
【０３３６】
すなわち、特徴量検出部２４４は、図１６の特徴量検出部２１２と同一の特徴量を検出する。
【０３３７】
特徴量検出部２４４は、特徴量とは別に、クラスタップをクラス分類部２４５に供給する。
【０３３８】
クラス分類部２４５は、図１６のクラス分類部２１３における場合と同様に、特徴量検出部２４４からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部２４６および学習メモリ２４９に供給する。
【０３３９】
予測タップ抽出部２４６は、クラス分類部２４５から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ２４２に記憶されたＳＤ画像から抽出し、足し込み演算部２４７に供給する。ここで、予測タップ抽出部２４６は、図１６の予測タップ抽出部２１５が生成するのと同一のタップ構造の予測タップを生成する。
【０３４０】
教師画素抽出部２４８は、教師画像である入力画像（時間倍密画像）から、注目している画素を教師データとして抽出して、抽出した教師データを足し込み演算部２４７に供給する。即ち、教師画素抽出部２４８は、入力された学習用の画像である時間倍密画像を、例えば、そのまま教師データとする。ここで、図１６の画像処理装置で得られる時間倍密画像は、図２０の学習装置で教師データとして用いられる時間倍密画像の画質に対応したものとなる。
【０３４１】
足し込み演算部２４７および正規方程式演算部２５０は、注目画素となっている教師データと、予測タップ抽出部２４６から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部２４５から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０３４２】
即ち、足し込み演算部２４７は、予測タップ抽出部２４６から供給される予測タップ（ＳＤ画素）と、注目画素となっている教師データである時間倍密画素とを対象とした、式（８）の足し込みを行う。
【０３４３】
具体的には、足し込み演算部２４７は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_n,kを用い、式（８）の左辺の行列におけるＳＤ画素どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。
【０３４４】
さらに、足し込み演算部２４７は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_n,kと、注目画素となっている教師データである時間倍密画素ｙ_kを用い、式（８）の右辺のベクトルにおけるＳＤ画素ｘ_n,kおよび時間倍密画素ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。
【０３４５】
足し込み演算部２４７は、教師データとしての時間倍密画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に対応した正規方程式をたてると、その正規方程式を、学習メモリ２４９に供給する。
【０３４６】
学習メモリ２４９は、足し込み演算部２４７から供給された、生徒データとしてＳＤ画素、教師データとして時間倍密画素が設定された、式（８）に対応した正規方程式を記憶する。
【０３４７】
正規方程式演算部２５０は、学習メモリ２４９から、各クラスについての式（８）の正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて出力する。
【０３４８】
係数メモリ２５１は、正規方程式演算部２５０が出力するクラスごとのタップ係数を記憶する。
【０３４９】
次に、図２１のフローチャートを参照して、図２０の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０３５０】
まず最初に、ステップＳ２４１において、ＳＤ画像生成部２４１は、例えば、時間倍密画像である、学習用の入力画像（教師画像）を取得し、フレームを間引くことにより、例えば、ＳＤ画像である生徒画像を生成する。例えば、ＳＤ画像生成部２４１は、隣接する２つのフレームの対応する位置の２つの画素の平均値を求めて、平均値をＳＤ画像の画素値とすることにより、ＳＤ画像を生成する。ＳＤ画像は、画像メモリ２４２に供給される。
【０３５１】
そして、ステップＳ２４２に進み、クラスタップ抽出部２４３の注目画素選択部２６１は、教師データとしての時間倍密画像の１つおきのフレームの時間倍密画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、手続は、ステップＳ２４３に進む。すなわち、ステップＳ２４２において、入力画像データの画素よりも時間積分時間が短い、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に時間的に含まれる注目画素であって、対応画素と注目画素とから、対応画素に含まれる高質画像データ内の他の画素を予測できるようになるものが選択される。
【０３５２】
ステップＳ２４３において、クラスタップ抽出部２４３は、図１６のクラスタップ抽出部２１１における場合と同様に、注目画素に対応するクラスタップを、画像メモリ２４２に記憶されている生徒画像としてのＳＤ画像から抽出し、クラスタップを特徴量検出部２４４に供給して、ステップＳ２４４に進む。
【０３５３】
ステップＳ２４４において、特徴量検出部２４４は、図１６の特徴量検出部２１２における場合と同様に、ステップＳ２４１の処理において生成された生徒画像であるＳＤ画像またはステップＳ２４３の処理において抽出されたクラスタップから、例えば、動きベクトル、またはＳＤ画像の画素の画素値の変化などの特徴量を検出して、検出した特徴量をクラス分類部２４５に供給し、ステップＳ２４５に進む。
【０３５４】
ステップＳ２４５では、クラス分類部２４５が、図１６のクラス分類部２１３における場合と同様にして、特徴量検出部２４４からの特徴量またはクラスタップを用いて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、予測タップ抽出部２４６および学習メモリ２４９に供給して、ステップＳ２４６に進む。
【０３５５】
ステップＳ２４６において、予測タップ抽出部２４６は、クラス分類部２４５から供給されるクラスコードに基づいて、図１６の予測タップ抽出部２１５における場合と同様に、注目画素に対応する予測タップを、画像メモリ２４２に記憶されている生徒画像としてのＳＤ画像から抽出し、足し込み演算部２４７に供給して、ステップＳ２４７に進む。
【０３５６】
ステップＳ２４７において、教師画素抽出部２４８は、注目画素、すなわち教師画素（教師データ）である時間倍密画素を入力画像から抽出し、抽出した教師データを足し込み演算部２４７に供給し、ステップＳ２４８に進む。
【０３５７】
ステップＳ２４８では、足し込み演算部２４７が、予測タップ抽出部２４６から供給される予測タップ（生徒データ）、および教師画素抽出部２４８から供給される教師データを対象とした、上述した式（８）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ２４９に記憶させ、ステップＳ２４９に進む。
【０３５８】
そして、ステップＳ２４９では、クラスタップ抽出部２４３は、教師データとしての時間倍密画像の１つおきのフレームの時間倍密画素の中に、まだ注目画素としていないものがあるかどうか、すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステップＳ２４９において、教師データとしての時間倍密画像の１つおきのフレームの時間倍密画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ２４２に戻り、以下、同様の処理が繰り返される。
【０３５９】
また、ステップＳ２４９において、教師データとしての時間倍密画像の１つおきのフレームの時間倍密画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップＳ２５０に進み、正規方程式演算部２５０は、いままでのステップＳ２４８における足し込みによって、クラスごとに得られた式（８）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ２４９から読み出し、掃き出し法などにより、読み出した式（８）の正規方程式を解くことにより（クラス毎に学習し）、所定のクラスのタップ係数を求め、係数メモリ２５１に供給して記憶させ、ステップＳ２５１に進む。
【０３６０】
ステップＳ２５１において、係数メモリ２５１は、正規方程式演算部２５０から供給された所定のクラスの予測係数（タップ係数）を、クラス毎に記憶し、ステップＳ２５２に進む。
【０３６１】
ステップＳ２５２において、正規方程式演算部２５０は、全クラスのタップ係数の演算を終了したか否かを判定し、全クラスのタップ係数の演算を終了していないと判定された場合、ステップＳ２５０に戻り、次のクラスのタップ係数を求める処理を繰り返す。
【０３６２】
ステップＳ２５２において、全クラスのタップ係数の演算を終了したと判定された場合、処理は終了する。
【０３６３】
以上のようにして、係数メモリ２５１に記憶されたクラスごとのタップ係数が、図１６の画像処理装置における係数メモリ２１４に記憶されている。
【０３６４】
入力画像データの画素よりも時間積分時間が短い、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に時間的に含まれる注目画素であって、対応画素と注目画素とから、対応画素に含まれる高質画像データ内の他の画素を予測できるようになるものを選択し、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出し、検出された特徴量毎に、抽出された複数の第２の周辺画素から注目画素を予測する予測手段を学習するようにした場合には、予測において、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０３６５】
次に、図２２は、図１６の係数メモリ２１４に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の他の構成を示すブロック図である。図２０に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。
【０３６６】
図２２に示す学習装置は、ＳＤ画像の画素が時間積分されることに基づき、時間倍密画素である注目画素に時間方向に隣接する時間倍密画素と、注目画素に対応するＳＤ画素を教師データとして、タップ係数を求める。
【０３６７】
図２２の学習装置には、タップ係数の学習用の画像（教師画像）としての、例えば時間倍密画像が入力される。学習装置に入力された時間倍密画像は、ＳＤ画像生成部２４１および教師画素抽出部２８２に供給される。
【０３６８】
教師画素抽出部２８２は、時間倍密画像である入力画像の注目画素に時間方向に隣接する時間倍密画素と、注目画素に対応するＳＤ画像のＳＤ画素とを教師データとして抽出して、抽出した教師データを足し込み演算部２８１に供給する。
【０３６９】
ここで、式（２０）のY3をｘ_k'に、Y1をｙ_k ⁽¹⁾に、Y2をｙ_k ⁽²⁾に置き換えると、式（２３）を導くことができる。
ｘ_k'=(ｙ_k ⁽¹⁾+ｙ_k ⁽²⁾)/2
・・・（２３）
【０３７０】
式（２３）において、ｘ_k'は、注目画素に対応するＳＤ画素の画素値であり、ｙ_k ⁽¹⁾は、注目画素の画素値であり、ｙ_k ⁽²⁾は、注目画素に水平方向に隣接する時間倍密画素の画素値である。
【０３７１】
ｙ_k ⁽¹⁾は、式（２４）で表すことができる。
ｙ_k ⁽¹⁾=2ｘ_k'-ｙ_k ⁽²⁾
・・・（２４）
【０３７２】
ｙ_k ⁽¹⁾を注目画素の画素値として、式（２４）を式（３）に代入すると、式（２５）が得られる。
【数１７】

・・・（２５）
【０３７３】
式（２５）についての正規方程式は、式（２６）で表すことができる。
【数１８】

・・・（２６）
【０３７４】
足し込み演算部２８１および正規方程式演算部２８４は、注目画素に隣接する時間倍密画素と、注目画素に対応するＳＤ画像のＳＤ画素とからなる教師データ、および予測タップ抽出部２４６から供給される予測タップを用い、教師データと生徒データとの関係を、クラス分類部２４５から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０３７５】
即ち、足し込み演算部２８１は、予測タップ抽出部２４６から供給される予測タップ（ＳＤ画素）と、教師データである、注目画素に隣接する時間倍密画素、および注目画素に対応するＳＤ画素とを対象とした、式（２６）の足し込みを行う。
【０３７６】
具体的には、足し込み演算部２８１は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_n,kを用い、式（２６）の左辺の行列におけるＳＤ画素どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。
【０３７７】
さらに、足し込み演算部２８１は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_n,kと、注目画素に隣接する時間倍密画素ｙ_k ⁽²⁾と、注目画素に対応するＳＤ画像のＳＤ画素ｘ_k'とを用い、式（２６）の右辺のベクトルにおける、ＳＤ画素ｘ_k'と時間倍密画素ｙ_k ⁽²⁾との演算（2ｘ_k'-ｙ_k ⁽²⁾）と、その結果とＳＤ画素ｘ_n,kとの乗算（ｘ_n,k（2ｘ_k'-ｙ_k ⁽²⁾））と、サメーション（Σ）に相当する演算を行う。
【０３７８】
足し込み演算部２８１は、教師データとしての時間倍密画像の対象となる画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２６）に対応した正規方程式をたてると、その正規方程式を、学習メモリ２８３に供給する。
【０３７９】
学習メモリ２８３は、足し込み演算部２８１から供給された、生徒データとしてＳＤ画素、教師データとして時間倍密画素およびＳＤ画素が設定された、式（２６）に対応した正規方程式を記憶する。
【０３８０】
正規方程式演算部２８４は、学習メモリ２８３から、各クラスについての式（２６）の正規方程式を取得し、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて出力する。
【０３８１】
このように、足し込み演算部２８１および正規方程式演算部２８４は、対応画素と、時間的に対応画素内に含まれる注目画素との関係を拘束条件として、検出された特徴量毎に、抽出された注目画素の複数の周辺画素から注目画素を予測する予測手段を学習する。
【０３８２】
係数メモリ２８５は、正規方程式演算部２８４が出力するクラスごとのタップ係数を記憶する。
【０３８３】
次に、図２３のフローチャートを参照して、図２２に構成を示す学習装置の学習の処理を説明する。ステップＳ２８１乃至ステップＳ２８６の処理は、図２１のステップＳ２４１乃至ステップＳ２４６の処理と、それぞれ同様なので、その説明は省略する。
【０３８４】
ステップＳ２８７において、教師画素抽出部２８２は、注目画素に隣接する時間倍密画素を時間倍密画像から教師画素として抽出するとともに、注目画素に対応するＳＤ画素を、画像メモリ２４２に記憶されているＳＤ画像から教師画素として抽出して、抽出した教師画素を足し込み演算部２８１に供給し、ステップＳ２８８に進む。
【０３８５】
ステップＳ２８８において、足し込み演算部２８１が、予測タップ抽出部２４６から供給される予測タップ（生徒データ）、および教師画素抽出部２８２から供給される、注目画素に隣接する時間倍密画素を時間倍密画像と注目画素に対応するＳＤ画素とからなる教師画素（教師データ）を対象とした、上述した式（２６）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ２８３に記憶させ、ステップＳ２８９に進む。
【０３８６】
ステップＳ２８９では、クラスタップ抽出部２４３の注目画素選択部２６１は、時間倍密画像の１つおきのフレームのうちの時間倍密画素の中に、まだ注目画素としていないものがあるかどうか、すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステップＳ２８９において、時間倍密画像の１つおきのフレームのうちの時間倍密画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ２８２に戻り、以下、同様の処理が繰り返される。
【０３８７】
また、ステップＳ２８９において、時間倍密画像の１つおきのフレームのうちの時間倍密画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップＳ２９０に進み、正規方程式演算部２８４は、いままでのステップＳ２８８における足し込みによって、クラスごとに得られた式（２６）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ２８３から読み出し、読み出した式（２６）の正規方程式を、例えば掃き出し法により、解くことにより（クラス毎に学習し）、所定のクラスのタップ係数を求め、係数メモリ２８５に供給して、ステップＳ２９１に進む。
【０３８８】
このように、ステップＳ２８８およびステップＳ２９０において、対応画素と、時間的に対応画素内に含まれる注目画素との関係を拘束条件として、検出された特徴量毎に、抽出された注目画素の複数の周辺画素から注目画素を予測する予測手段が学習される。
【０３８９】
ステップＳ２９１において、係数メモリ２８５は、正規方程式演算部２８４から供給された所定のクラスの予測係数（タップ係数）を、クラス毎に記憶し、ステップＳ２９２に進む。
【０３９０】
ステップＳ２９２において、正規方程式演算部２８４は、全クラスのタップ係数の演算を終了したか否かを判定し、全クラスのタップ係数の演算を終了していないと判定された場合、ステップＳ２９０に戻り、次のクラスのタップ係数を求める処理を繰り返す。
【０３９１】
ステップＳ２９２において、全クラスのタップ係数の演算を終了したと判定された場合、処理は終了する。
【０３９２】
以上のようにして、係数メモリ２８５に記憶されたクラスごとのタップ係数を、図１６の画像処理装置における係数メモリ２１４に記憶するようにすることができる。
【０３９３】
入力画像データの画素よりも時間積分時間が短い、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に時間的に含まれる注目画素であって、対応画素と注目画素とから、対応画素に含まれる高質画像データ内の他の画素を予測できるようになるものを選択し、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出し、対応画素と、時間的に対応画素内に含まれる注目画素との関係を拘束条件として、検出された特徴量毎に、抽出された複数の第２の周辺画素から注目画素を予測する予測手段を学習するようにした場合には、予測において、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０３９４】
図２４は、本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。図５に示す場合と同様に部分には同一の番号を付してあり、その説明は省略する。
【０３９５】
図２４に構成を示す画像処理装置は、入力画像を取得し、入力された入力画像に対して、画面の水平方向に２倍の解像度および画面の垂直方向に２倍の解像度の画像（以下、空間４倍密画像と称する）を創造して出力する。
【０３９６】
図２４に示す画像処理装置においては、例えば、入力画像の一例であるＳＤ画像が入力され、入力されたＳＤ画像に対して、クラス分類適応処理が施されることにより、水平倍密画像を構成する水平倍密画素のうち、水平方向に１つおきの画素が創造される。そして、水平方向に１つおきの画素からなる水平倍密画像から、水平倍密画像の全体が生成される。さらに、水平倍密画像に対して、クラス分類適応処理が施されることにより、空間４倍密画像を構成する画素である空間４倍密画素のうち、垂直方向に１つおきの画素が創造される。そして、垂直方向に１つおきの画素からなる空間４倍密画像から、空間４倍密画像の全体が生成され、生成された空間４倍密画像が出力されるようになっている。
【０３９７】
すなわち、この画像処理装置は、クラスタップ抽出部１０１、特徴量検出部１０２、クラス分類部１０３、係数メモリ１０４、予測タップ抽出部１０５、画素値予測部１０６、および画素値予測部１０７に加えて、クラスタップ抽出部３０１、特徴量検出部３０２、クラス分類部３０３、係数メモリ３０４、予測タップ抽出部３０５、画素値予測部３０６、および画素値予測部３０７から構成される。さらに、クラスタップ抽出部３０１には、注目画素選択部３１１が設けられている。
【０３９８】
画像処理装置に入力された、空間解像度の創造の対象となる入力画像は、クラスタップ抽出部１０１、特徴量検出部１０２、予測タップ抽出部１０５、および画素値予測部１０７に供給される。クラスタップ抽出部１０１乃至画素値予測部１０７は、上述した処理により、水平倍密画像を生成する。
【０３９９】
画素値予測部１０７は、クラスタップ抽出部３０１、特徴量検出部３０２、予測タップ抽出部３０５、および画素値予測部３０７に水平倍密画像を供給する。
【０４００】
クラスタップ抽出部３０１の注目画素選択部３１１は、クラス分類適応処理により求めようとする空間４倍密画像の空間４倍密画素のうちの、垂直方向に１つおきの空間４倍密画素の１つを、順次、注目画素とする。そして、クラスタップ抽出部３０１は、注目画素についてのクラス分類に用いるクラスタップを、水平倍密画像から抽出し、抽出したクラスタップを特徴量検出部３０２に出力する。すなわち、クラスタップ抽出部３０１は、例えば、注目画素の位置から空間的または時間的に近い位置にある複数の画素を、入力された水平倍密画像から抽出することによりクラスタップとし、特徴量検出部３０２に出力する。
【０４０１】
特徴量検出部３０２は、クラスタップ抽出部３０１から供給されたクラスタップまたは画素値予測部１０７から供給された水平倍密画像から特徴量を検出して、検出した特徴量をクラス分類部３０３に供給する。
【０４０２】
例えば、特徴量検出部３０２は、クラスタップ抽出部３０１から供給されたクラスタップまたは画素値予測部１０７から供給された水平倍密画像を基に、水平倍密画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部３０３に供給する。また、例えば、特徴量検出部３０２は、クラスタップ抽出部３０１から供給されたクラスタップまたは画素値予測部１０７から供給された水平倍密画像を基に、クラスタップまたは水平倍密画像の複数の画素の画素値の空間的または時間的な変化（アクティビティ）を検出して、検出した画素値の変化を特徴量としてクラス分類部３０３に供給する。
【０４０３】
さらに、例えば、特徴量検出部３０２は、クラスタップ抽出部３０１から供給されたクラスタップまたは画素値予測部１０７から供給された水平倍密画像を基に、クラスタップまたは水平倍密画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部３０３に供給する。
【０４０４】
なお、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを採用することができる。
【０４０５】
特徴量検出部３０２は、特徴量とは別に、クラスタップをクラス分類部３０３に供給する。
【０４０６】
クラス分類部３０３は、特徴量検出部３０２からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ３０４と予測タップ抽出部３０５とに供給する。例えば、クラス分類部３０３は、クラスタップ抽出部３０１からのクラスタップを、１ビットADRC処理し、その結果得られるADRCコードを、クラスコードとする。
【０４０７】
ただし、クラス分類は、その他、例えば、クラスタップを構成する画素値を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。また、クラス分類としては、１クラスのクラス分類を行うことも可能である。この場合、クラス分類部３０３は、どのようなクラスタップが供給されても、固定のクラスコードを出力するものとなる。
【０４０８】
また、例えば、クラス分類部３０３は、特徴量検出部３０２からの特徴量を、そのままクラスコードとする。さらに、例えば、クラス分類部３０３は、特徴量検出部３０２からの複数の特徴量を、直交変換して、得られた値をクラスコードとする。
【０４０９】
例えば、クラス分類部３０３は、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードを結合し（合成し）、最終的なクラスコードを生成して、最終的なクラスコードを係数メモリ３０４と予測タップ抽出部３０５とに供給する。
【０４１０】
なお、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードのいずれか一方を、最終的なクラスコードとするようにしてもよい。
【０４１１】
係数メモリ３０４は、学習の教師となる、出力画像の一例である空間４倍密画像の空間４倍密画素である教師データと、学習の生徒となる、水平倍密画像の水平倍密画素の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ３０４は、クラス分類部３０３から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値予測部３０６に供給する。なお、係数メモリ３０４に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０４１２】
予測タップ抽出部３０５は、クラス分類部３０３から供給されるクラスコードを基に、画素値予測部３０６において注目画素（の予測値）を求めるのに用いる予測タップを水平倍密画像から抽出し、抽出した予測タップを画素値予測部３０６に供給する。例えば、予測タップ抽出部３０５は、注目画素の位置から空間的または時間的に近い位置にある複数の画素値を、水平倍密画像から抽出することにより予測タップとし、画素値予測部３０６に供給する。
【０４１３】
なお、クラスタップとする画素値と、予測タップとする画素値とは、同一であっても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。また、予測タップとする画素値は、クラス毎に異なるものであっても、同一であってもよい。
【０４１４】
画素値予測部３０６は、係数メモリ３０４から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部３０５からの予測タップ（を構成する画素値）ｘ₁，ｘ₂，・・・とを用いて、式（１）に示した積和演算を行うことにより、注目画素ｙ（の予測値）を予測し、これを、空間４倍密画素の画素値とする。画素値予測部３０６は、このように演算された画素値からなる空間４倍密画像を画素値予測部３０７に供給する。
【０４１５】
なお、注目画素選択部３１１が空間４倍密画像の空間４倍密画素のうちの、垂直方向に１つおきの空間４倍密画素を、順次、注目画素とするので、画素値予測部３０６は、注目画素とされた、垂直方向に１つおきの空間４倍密画素のみを予測する。従って、垂直方向に１つおきの空間４倍密画素からなる空間４倍密画像、すなわち、出力しようとする空間４倍密画像の空間４倍密画素の半数の空間４倍密画素からなる空間４倍密画像が、画素値予測部３０７に供給される。
【０４１６】
このように、本発明に係る画像処理装置における適応処理では、水平倍密画像の画素値が、所定のタップ係数を用いてマッピング（写像）されることにより、空間４倍密画像の垂直方向に１つおきの空間４倍密画素に変換される。
【０４１７】
画素値予測部３０７は、画素値予測部３０６から供給された、垂直方向に１つおきの空間４倍密画素からなる空間４倍密画像、および水平倍密画像から、水平倍密画像が空間的に積分されていることに基づく、水平倍密画像と空間４倍密画像との関係により、水平倍密画像に対して、空間４倍密画像の残った空間４倍密画素の画素値（画素値予測部３０６では予測されなかった画素値）を予測して、全ての画素の画素値を含む空間４倍密画像を出力する。
【０４１８】
例えば、画素値予測部３０７は、画素値予測部３０６から供給された、垂直方向に１つおきの空間４倍密画素の画素値ｙ₄ ⁽¹⁾、および水平倍密画像の画素値yに、水平倍密画像が空間的に積分されていることに基づく、水平倍密画像と空間４倍密画素との関係に対応した演算、すなわち、式（１３）を適用して、2yからｙ₄ ⁽¹⁾を引き算することにより、空間４倍密画像の残った空間４倍密画素（画素値予測部３０６では予測されなかった画素）の画素値ｙ₄ ⁽²⁾を予測する。
【０４１９】
このように、図２４に構成を示す画像処理装置は、入力画像に対応する空間４倍密画像を創造して、出力することができる。図２４に構成を示す画像処理装置は、クラス分類適応処理により、水平倍密画像の画素のうちの半数の画素の画素値を予測し、水平倍密画像の残りの画素の画素値を、入力画像が空間的に積分されることに基づく、より簡単な演算で予測し、クラス分類適応処理により、空間４倍密画像の画素のうちの半数の画素の画素値を予測し、空間４倍密画像の残りの画素の画素値を、水平倍密画像が空間的に積分されていることに基づく、より簡単な演算で予測するので、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。図２４に構成を示す画像処理装置においては、係数メモリ１０４に記憶されているタップ係数（の組）および係数メモリ３０４に記憶されているタップ係数（の組）の２つのタップ係数を基に、空間４倍密画像を予測することができる。
【０４２０】
なお、図２４に構成を示す画像処理装置は、入力画像から、垂直方向に画素の数が２倍の垂直倍密画像を生成し、垂直倍密画像から、空間４倍密画像を生成するようにしてもよいことは勿論である。
【０４２１】
次に、図２５および図２６のフローチャートを参照して、図２４の画像処理装置が行う、ＳＤ画像から空間４倍密画像を創造する画像創造処理について説明する。
【０４２２】
ステップＳ３０１乃至ステップＳ３０９の処理は、それぞれ、図１１のステップＳ１０１乃至ステップＳ１０９の処理と同様なので、その説明は省略する。
【０４２３】
ステップＳ３０９において、全画素の予測が終了したと判定された場合、画素値予測部１０７は、水平倍密画像をクラスタップ抽出部３０１、特徴量検出部３０２、予測タップ抽出部３０５、および画素値予測部３０７に供給する。
【０４２４】
ステップＳ３１０において、クラスタップ抽出部３０１の注目画素選択部３１１は、創造しようとする空間４倍密画像の注目している空間４倍密画素である注目画素を選択する。注目画素選択部３１１は、創造しようとする空間４倍密画像の空間４倍密画素のうち、垂直方向に１つおきの空間４倍密画素を注目画素として選択し、手続は、ステップＳ３１１に進む。
【０４２５】
ステップＳ３１１において、クラスタップ抽出部３０１は、注目画素の位置に空間的または時間的に近い複数の画素値を水平倍密画像からクラスタップとして抽出して、クラスタップを生成する。クラスタップは、特徴量検出部３０２に供給され、手続は、ステップＳ３１２に進む。ステップＳ３１２において、特徴量検出部３０２は、ステップＳ３０７およびステップＳ３０８の処理において予測された水平倍密画像またはステップＳ３１１の処理において抽出されたクラスタップから特徴量を検出して、検出された特徴量をクラス分類部３０３に供給すると共に、クラスタップをクラス分類部３０３に供給して、ステップＳ３１３に進む。
【０４２６】
ステップＳ３１３において、クラス分類部３０３は、特徴量検出部３０２から供給される特徴量またはクラスタップに基づき、１以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ３０４および予測タップ抽出部３０５に供給して、ステップＳ３１４に進む。
【０４２７】
ステップＳ３１４において、予測タップ抽出部３０５は、クラス分類部３０３から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を水平倍密画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値予測部３０６に供給され、手続は、ステップＳ３１５に進む。
【０４２８】
ステップＳ３１５において、係数メモリ３０４は、クラス分類部３０３から供給されるクラスコードに対応するアドレスに記憶されている予測係数（タップ係数）を読み出し、これにより、注目画素のクラスの予測係数を取得して、予測係数を画素値予測部３０６に供給し、ステップＳ３１６に進む。
【０４２９】
ステップＳ３１６において、画素値予測部３０６は、適応処理により、注目画素（の予測値）を予測し、予測した注目画素を画素値予測部３０７に供給して、ステップＳ３１７に進む。即ち、ステップＳ３１６では、画素値予測部３０６は、予測タップ抽出部３０５からの予測タップと、係数メモリ３０４からの予測係数（タップ係数）とを用いて、式（１）に示した演算を行い、注目画素（の予測値）を予測する。
【０４３０】
ステップＳ３１７において、画素値予測部３０７は、水平倍密画像が空間的に積分されていることに基づいて、注目画素に対応する空間４倍密画素の画素値を予測して、ステップＳ３１８に進む。すなわち、ステップＳ３１７では、画素値予測部３０７は、画素値予測部３０６からの予測された注目画素の画素値と、注目画素に対応する水平倍密画像の画素の画素値とを用いて、式（１３）に示した演算を行い、注目画素に隣接する画素の画素値を予測する。言い換えれば、画素値予測部３０７は、注目画素と、注目画素の画素値、および注目画素に空間方向に隣接する空間４倍密画素の画素値を含む水平倍密画素とから、水平倍密画像が空間的に積分されていること（空間混合）に基づいて、注目画素に隣接する空間４倍密画素の画素値を予測する。
【０４３１】
ステップＳ３１８において、注目画素選択部３１１は、空間４倍密画像の注目しているフレームの垂直方向に１つおきの画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ３１０に戻り、以下、同様の処理を繰り返す。
【０４３２】
また、ステップＳ３１８において、注目フレームの垂直方向に１つおきの画素のうち、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべての空間４倍密画素が、予測された場合、処理は終了する。
【０４３３】
このように、図２４に構成を示す画像処理装置は、入力画像から、空間４倍密画像を生成して、生成した空間４倍密画像を出力することができる。
【０４３４】
以上のように、本発明においては、クラス分類適応処理により、水平倍密画像の画素のうちの半数の画素の画素値が予測され、水平倍密画像の残りの画素の画素値が、入力画像が空間的に積分されることに基づく、より簡単な演算で予測され、クラス分類適応処理により、空間４倍密画像の画素のうちの半数の画素の画素値が予測され、空間４倍密画像の残りの画素の画素値が、水平倍密画像が空間的に積分されていることに基づく、より簡単な演算で予測される。
【０４３５】
次に、図２７は、図２４の係数メモリ１０４に記憶させるクラスごとのタップ係数、および係数メモリ３０４に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成を示すブロック図である。
【０４３６】
図１２に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。
【０４３７】
図２７の学習装置には、タップ係数の学習用の画像（教師画像）としての、例えば空間４倍密画像が入力される。学習装置に入力された入力画像は、ＳＤ画像生成部３２１、水平倍密画像生成部３２２、および教師画素抽出部３２９に供給される。
【０４３８】
ＳＤ画像生成部３２１は、入力された入力画像（教師画像）から、生徒画像であるＳＤ画像を生成し、画像メモリ１４２に供給する。ＳＤ画像生成部３２１は、例えば、教師画像としての空間４倍密画像の水平方向および垂直方向に互いに隣接する４つの空間４倍密画素の画素値の平均値を求めてＳＤ画像の画素値とすることにより、その教師画像としての空間４倍密画像に対応した生徒画像としてのＳＤ画像を生成する。ここで、ＳＤ画像は、図２４の画像処理装置で処理対象となるＳＤ画像に対応した画質のものとする必要がある。画像メモリ１４２は、ＳＤ画像生成部３２１からの生徒画像であるＳＤ画像を一時記憶する。
【０４３９】
水平倍密画像生成部３２２は、入力された入力画像（教師画像）から、水平倍密画像を生成し、教師画素抽出部１４８および画像メモリ３２３に供給する。水平倍密画像生成部３２２は、例えば、教師画像としての空間４倍密画像の垂直方向に隣接する２つの空間４倍密画素の画素値の平均値を求めて水平倍密画像の画素値とすることにより、その教師画像としての空間４倍密画像に対応した水平倍密画像を生成する。
【０４４０】
ここで、水平倍密画像は、図２４の画像処理装置で中間的に生成される水平倍密画像に対応した画質のものとする必要がある。画像メモリ３２３は、水平倍密画像生成部３２２からの水平倍密画像を一時記憶する。
【０４４１】
水平倍密画像生成部３２２により生成される水平倍密画像は、ＳＤ画像生成部３２１により生成されたＳＤ画像に対する教師画像として使用されると共に、入力された空間４倍密画像に対する生徒画像として使用される。
【０４４２】
図２７に示す学習装置においては、水平倍密画像生成部３２２により生成された水平倍密画像を教師データとし、ＳＤ画像生成部３２１により生成されたＳＤ画像を生徒データとして、タップ係数が生成されるとともに、空間４倍密画像を教師データとし、水平倍密画像生成部３２２により生成された水平倍密画像を生徒データとして、タップ係数が生成される。
【０４４３】
教師画素抽出部１４８は、教師画像としての水平倍密画像から、注目画素を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部１４７に供給する。ここで、図２４の画像処理装置で中間的に生成される水平倍密画像は、図２７の学習装置で教師データとして用いられる水平倍密画像の画質に対応したものとなる。
【０４４４】
正規方程式演算部１５０は、学習メモリ１４９から、各クラスについての式（８）の正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより、すなわち、水平倍密画像の水平倍密画素である教師データと、ＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより、タップ係数を求めて、クラスごとのタップ係数を係数メモリ３３２に供給する。
【０４４５】
クラスタップ抽出部３２４の注目画素選択部３４１は、図２４のクラスタップ抽出部３０１の注目画素選択部３１１における場合と同様に、画像メモリ３２３に記憶された生徒画像としての水平倍密画像に対応する教師画像としての空間４倍密画像に含まれる画素のうちの、垂直方向に１つおきの画素を、順次、注目画素とする。さらに、クラスタップ抽出部３２４は、注目画素についてのクラスタップを、画像メモリ３２３に記憶された水平倍密画像から抽出し、特徴量検出部３２５に供給する。ここで、クラスタップ抽出部３２４は、図２４のクラスタップ抽出部３０１が生成するのと同一のタップ構造のクラスタップを生成する。
【０４４６】
特徴量検出部３２５は、図２４の特徴量検出部３０２と同様の処理で、画像メモリ３２３に記憶されている生徒画像である水平倍密画像またはクラスタップ抽出部３２４から供給されたクラスタップから特徴量を検出して、検出した特徴量をクラス分類部３２６に供給する。
【０４４７】
例えば、特徴量検出部３２５は、画像メモリ３２３に記憶されている水平倍密画像またはクラスタップ抽出部３２４から供給されたクラスタップを基に、水平倍密画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部３２６に供給する。また、例えば、特徴量検出部３２５は、画像メモリ３２３に記憶されている水平倍密画像またはクラスタップ抽出部３２４から供給されたクラスタップを基に、水平倍密画像またはクラスタップの複数の画素の画素値の空間的または時間的な変化を検出して、検出した画素値の変化を特徴量としてクラス分類部３２６に供給する。
【０４４８】
さらに、例えば、特徴量検出部３２５は、画像メモリ３２３に記憶されている水平倍密画像またはクラスタップ抽出部３２４から供給されたクラスタップを基に、クラスタップまたは水平倍密画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部３２６に供給する。
【０４４９】
なお、特徴量検出部３２５は、特徴量検出部３０２と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。
【０４５０】
すなわち、特徴量検出部３２５は、図２４の特徴量検出部３０２と同一の特徴量を検出する。
【０４５１】
特徴量検出部３２５は、特徴量とは別に、クラスタップをクラス分類部３２６に供給する。
【０４５２】
クラス分類部３２６は、図２４のクラス分類部３０３と同様に構成され、特徴量検出部３２５からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部３２７および学習メモリ３３０に供給する。
【０４５３】
予測タップ抽出部３２７は、図２４の予測タップ抽出部３０５と同様に構成され、クラス分類部３２６から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ３２３に記憶された水平倍密画像から抽出し、足し込み演算部３２８に供給する。ここで、予測タップ抽出部３２７は、図２４の予測タップ抽出部３０５が生成するのと同一のタップ構造の予測タップを生成する。
【０４５４】
教師画素抽出部３２９は、教師画像である入力画像（空間４倍密画像）から、注目画素を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部３２８に供給する。即ち、教師画素抽出部３２９は、入力された学習用の画像である空間４倍密画像を、例えば、そのまま教師データとする。ここで、図２４の画像処理装置で得られる空間４倍密画像は、図２７の学習装置で教師データとして用いられる空間４倍密画像の画質に対応したものとなる。
【０４５５】
足し込み演算部３２８および正規方程式演算部３３１は、注目画素となっている教師データと、予測タップ抽出部３２７から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部３２６から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０４５６】
即ち、足し込み演算部３２８は、予測タップ抽出部３２７から供給される予測タップ（水平倍密画素）と、注目画素となっている教師データである空間４倍密画素とを対象とした、式（８）の足し込みを行う。
【０４５７】
具体的には、足し込み演算部３２８は、予測タップを構成する生徒データとしての水平倍密画素ｘ_n,kを用い、式（８）の左辺の行列における水平倍密画素どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。
【０４５８】
さらに、足し込み演算部３２８は、予測タップを構成する生徒データとしての水平倍密画素ｘ_n,kと、注目画素となっている教師データである空間４倍密画素ｙ_kを用い、式（８）の右辺のベクトルにおける水平倍密画素ｘ_n,kおよび空間４倍密画素ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。
【０４５９】
足し込み演算部３２８は、教師データとしての空間４倍密画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に対応した正規方程式をたてると、その正規方程式を、学習メモリ３３０に供給する。
【０４６０】
学習メモリ３３０は、足し込み演算部３２８から供給された、生徒データとして水平倍密画素、教師データとして空間４倍密画素が設定された、式（８）に対応した正規方程式を記憶する。
【０４６１】
正規方程式演算部３３１は、学習メモリ３３０から、各クラスについての式（８）の正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより、すなわち、空間４倍密画像の空間４倍密画素である教師データと、水平倍密画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより、タップ係数を求めて、クラスごとのタップ係数を係数メモリ３３２に供給する。
【０４６２】
係数メモリ３３２は、正規方程式演算部１５０から供給された、水平倍密画像の水平倍密画素である教師データと、ＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数、および正規方程式演算部３３１から供給された、空間４倍密画像の空間４倍密画素である教師データと、水平倍密画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数をそれぞれ記憶する。
【０４６３】
次に、図２８および図２９のフローチャートを参照して、図２７の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０４６４】
ステップＳ３３１において、ＳＤ画像生成部３２１は、教師画像である入力された入力画像から、生徒画像であるＳＤ画像を生成し、画像メモリ１４２に供給し、ステップＳ３３２に進む。ＳＤ画像生成部３２１は、例えば、教師画像としての空間４倍密画像の水平方向および垂直方向に互いに隣接する４つの空間４倍密画素から、１つの空間４倍密画素の画素値を抽出してＳＤ画像の画素値とすることにより、その教師画像としての空間４倍密画像に対応した生徒画像としてのＳＤ画像を生成する。
【０４６５】
ステップＳ３３２において、水平倍密画像生成部３２２は、教師画像である入力された入力画像から、水平倍密画像を生成し、教師画素抽出部１４８および画像メモリ３２３に供給し、ステップＳ３３３に進む。水平倍密画像生成部３２２は、例えば、教師画像としての空間４倍密画像の垂直方向に隣接する２つの空間４倍密画素から、１つの空間４倍密画素の画素値を抽出して水平倍密画像の画素値とすることにより、その教師画像としての空間４倍密画像に対応した水平倍密画像を生成する。
【０４６６】
ステップＳ３３３乃至ステップＳ３４３の処理は、それぞれ、図１３のステップＳ１４２乃至ステップＳ１５２の処理と同様なので、その説明は省略する。なお、ステップＳ３３３乃至ステップＳ３４３の処理においては、ステップＳ３３１の処理において生成されたＳＤ画像が生徒画像とされ、ステップＳ３３２の処理において生成された水平倍密画像が教師画像とされる。また、ステップＳ３４２において、係数メモリ３３２が、正規方程式演算部１５０から供給された、タップ係数を記憶する。
【０４６７】
ステップＳ３４４において、クラスタップ抽出部３２４の注目画素選択部３４１は、教師データとしての空間４倍密画像の空間４倍密画素であって、垂直方向に１つおきの空間４倍密画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、手続は、ステップＳ３４５に進む。
【０４６８】
ステップＳ３４５において、クラスタップ抽出部３２４は、図２４のクラスタップ抽出部３０１における場合と同様に、注目画素に対応するクラスタップを、画像メモリ３２３に記憶されている生徒画像としての水平倍密画像から抽出する。クラスタップ抽出部３２４は、クラスタップを特徴量検出部３２５に供給して、ステップＳ３４６に進む。
【０４６９】
ステップＳ３４６において、特徴量検出部３２５は、図２４の特徴量検出部３０２における場合と同様に、ステップＳ３２２の処理において生成された生徒画像である水平倍密画像またはステップＳ３４５の処理において抽出されたクラスタップから、例えば、動きベクトル、または水平倍密画像の画素の画素値の変化などの特徴量を検出して、検出した特徴量をクラス分類部３２６に供給し、ステップＳ３４７に進む。
【０４７０】
ステップＳ３４７では、クラス分類部３２６が、図２４のクラス分類部３０３における場合と同様にして、特徴量検出部３２５からの特徴量またはクラスタップを用いて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、予測タップ抽出部３２７および学習メモリ３３０に供給して、ステップＳ３４８に進む。
【０４７１】
ステップＳ３４８において、予測タップ抽出部３２７は、クラス分類部３２６から供給されるクラスコードに基づいて、図２４の予測タップ抽出部３０５における場合と同様に、注目画素に対応する予測タップを、画像メモリ３２３に記憶されている生徒画像としての水平倍密画像から抽出し、足し込み演算部３２８に供給して、ステップＳ３４９に進む。
【０４７２】
ステップＳ３４９において、教師画素抽出部３２９は、注目画素、すなわち空間４倍密画素である教師画素（教師データ）を入力画像から抽出し、抽出した教師画素を足し込み演算部３２８に供給し、ステップＳ３５０に進む。
【０４７３】
ステップＳ３５０では、足し込み演算部３２８が、予測タップ抽出部３２７から供給される予測タップ（生徒データ）、および教師画素抽出部３２９から供給される教師画素（教師データ）を対象とした、上述した式（８）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ３３０に記憶させ、ステップＳ３５１に進む。
【０４７４】
そして、ステップＳ３５１では、注目画素選択部３４１は、教師データとしての空間４倍密画像の空間４倍密画素のうちの垂直方向に１つおきの画素の中に、まだ注目画素としていないものがあるかどうか、すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステップＳ３５１において、教師データとしての空間４倍密画像の空間４倍密画素のうちの垂直方向に１つおきの画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ３４４に戻り、以下、同様の処理が繰り返される。
【０４７５】
また、ステップＳ３５１において、教師データとしての空間４倍密画像の空間４倍密画素のうちの垂直方向に１つおきの画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップＳ３５２に進み、正規方程式演算部３３１は、いままでのステップＳ３５０における足し込みによって、クラスごとに得られた式（８）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ３３０から読み出し、読み出した式（８）の正規方程式を掃き出し法などで解くことにより（クラス毎に学習し）、所定のクラスの予測係数（タップ係数）を求め、係数メモリ３３２に供給する、ステップＳ３５３に進む。
【０４７６】
ステップＳ３５３において、係数メモリ３３２は、正規方程式演算部３３１から供給された所定のクラスの予測係数（タップ係数）を、クラス毎に記憶し、ステップＳ３５４に進む。
【０４７７】
ステップＳ３５４において、正規方程式演算部３３１は、全クラスの予測係数の演算を終了したか否かを判定し、全クラスの予測係数の演算を終了していないと判定された場合、ステップＳ３５２に戻り、次のクラスの予測係数を求める処理を繰り返す。
【０４７８】
ステップＳ３５４において、全クラスの予測係数の演算を終了したと判定された場合、処理は終了する。
【０４７９】
以上のようにして、係数メモリ３３２に記憶された、水平倍密画像の水平倍密画素である教師データと、ＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られた、クラスごとの予測係数が、図２４の画像処理装置における係数メモリ１０４に記憶され、空間４倍密画像の空間４倍密画素である教師データと、水平倍密画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られた、クラスごとの予測係数が、図２４の画像処理装置における係数メモリ３０４に記憶されている。
【０４８０】
入力画像データの画素よりも空間積分面積が小さい、中間画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである第１の対応画素に空間的に含まれる第１の注目画素であって、第１の対応画素と第１の注目画素とから、第１の対応画素に含まれる中間画像データ内の他の画素を予測できるようになるものを選択し、中間画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、第１の注目画素の第１の特徴量を検出し、検出された第１の特徴量毎に、抽出された複数の第２の周辺画素から第１の注目画素を予測する第１の予測手段を学習し、中間画像データの画素よりも空間積分面積が小さい、高質画像データ内の画素のうちの注目している画素であり、中間画像データ内の画素のうちの１つである第２の対応画素に空間的に含まれる第２の注目画素であって、第２の対応画素と第２の注目画素とから、第２の対応画素に含まれる高質画像データ内の他の画素を予測できるようになるものを選択し、高質画像データ内の第２の注目画素に対応する、中間画像データ内の複数の第３の周辺画素を抽出し、第２の注目画素に対応する、中間画像データ内の複数の第４の周辺画素を抽出し、抽出された複数の第３の周辺画素に基づいて、第２の注目画素の第２の特徴量を検出し、検出された第２の特徴量毎に、抽出された複数の第４の周辺画素から第２の注目画素を予測する第２の予測手段を学習するようにした場合には、予測において、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０４８１】
図３０は、本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。図５に示す場合と同様に部分には同一の番号を付してあり、その説明は省略する。
【０４８２】
図３０に構成を示す画像処理装置は、入力画像を取得し、入力された入力画像に対して、画面の水平方向に２倍の解像度および時間方向に２倍の解像度の画像（以下、時時空間４倍密画像と称する）を創造して出力する。
【０４８３】
図３０に示す画像処理装置においては、例えば、入力画像の一例であるＳＤ画像が入力され、入力されたＳＤ画像に対して、クラス分類適応処理が施されることにより、水平倍密画像を構成する水平倍密画素のうち、水平方向に１つおきの画素が創造される。そして、水平方向に１つおきの画素からなる水平倍密画像から、水平倍密画像の全体が生成される。さらに、水平倍密画像に対して、クラス分類適応処理が施されることにより、時空間４倍密画像を構成する画素である時空間４倍密画素のうち、１つおきのフレームが創造される。そして、１つおきのフレームからなる時空間４倍密画像から、時空間４倍密画像の全体が生成され、生成された時空間４倍密画像が出力されるようになっている。
【０４８４】
すなわち、この画像処理装置は、クラスタップ抽出部１０１、特徴量検出部１０２、クラス分類部１０３、係数メモリ１０４、予測タップ抽出部１０５、画素値予測部１０６、および画素値予測部１０７に加えて、クラスタップ抽出部３５１、特徴量検出部３５２、クラス分類部３５３、係数メモリ３５４、予測タップ抽出部３５５、画素値予測部３５６、および画素値予測部３５７から構成される。さらに、クラスタップ抽出部３５１には、注目画素選択部３７１が設けられている。
【０４８５】
画像処理装置に入力された、空間解像度の創造の対象となる入力画像は、クラスタップ抽出部１０１、特徴量検出部１０２、予測タップ抽出部１０５、および画素値予測部１０７に供給される。クラスタップ抽出部１０１乃至画素値予測部１０７は、上述した処理により、水平倍密画像を生成する。
【０４８６】
画素値予測部１０７は、クラスタップ抽出部３５１、特徴量検出部３５２、予測タップ抽出部３５５、および画素値予測部３５７に水平倍密画像を供給する。
【０４８７】
クラスタップ抽出部３５１の注目画素選択部３７１は、クラス分類適応処理により求めようとする時空間４倍密画像のフレームのうちの、１つおきのフレームの時空間４倍密画素の１つを、順次、注目画素とする。そして、クラスタップ抽出部３５１は、注目画素についてのクラス分類に用いるクラスタップを、水平倍密画像から抽出し、抽出したクラスタップを特徴量検出部３５２に出力する。すなわち、クラスタップ抽出部３５１は、例えば、注目画素の位置から空間的または時間的に近い位置にある複数の画素を、入力された水平倍密画像から抽出することによりクラスタップとし、特徴量検出部３５２に出力する。
【０４８８】
特徴量検出部３５２は、クラスタップ抽出部３５１から供給されたクラスタップまたは画素値予測部１０７から供給された水平倍密画像から特徴量を検出して、検出した特徴量をクラス分類部３５３に供給する。
【０４８９】
例えば、特徴量検出部３５２は、クラスタップ抽出部３５１から供給されたクラスタップまたは画素値予測部１０７から供給された水平倍密画像を基に、水平倍密画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部３５３に供給する。また、例えば、特徴量検出部３５２は、クラスタップ抽出部３５１から供給されたクラスタップまたは画素値予測部１０７から供給された水平倍密画像を基に、クラスタップまたは水平倍密画像の複数の画素の画素値の空間的または時間的な変化（アクティビティ）を検出して、検出した画素値の変化を特徴量としてクラス分類部３５３に供給する。
【０４９０】
さらに、例えば、特徴量検出部３５２は、クラスタップ抽出部３５１から供給されたクラスタップまたは画素値予測部１０７から供給された水平倍密画像を基に、クラスタップまたは水平倍密画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部３５３に供給する。
【０４９１】
なお、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを採用することができる。
【０４９２】
特徴量検出部３５２は、特徴量とは別に、クラスタップをクラス分類部３５３に供給する。
【０４９３】
クラス分類部３５３は、特徴量検出部３５２からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ３５４と予測タップ抽出部３５５とに供給する。例えば、クラス分類部３５３は、クラスタップ抽出部３５１からのクラスタップを、１ビットADRC処理し、その結果得られるADRCコードを、クラスコードとする。
【０４９４】
ただし、クラス分類は、その他、例えば、クラスタップを構成する画素値を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。また、クラス分類としては、１クラスのクラス分類を行うことも可能である。この場合、クラス分類部３５３は、どのようなクラスタップが供給されても、固定のクラスコードを出力するものとなる。
【０４９５】
また、例えば、クラス分類部３５３は、特徴量検出部３５２からの特徴量を、そのままクラスコードとする。さらに、例えば、クラス分類部３５３は、特徴量検出部３５２からの複数の特徴量を、直交変換して、得られた値をクラスコードとする。
【０４９６】
例えば、クラス分類部３５３は、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードを結合し（合成し）、最終的なクラスコードを生成して、最終的なクラスコードを係数メモリ３５４と予測タップ抽出部３５５とに供給する。
【０４９７】
なお、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードのいずれか一方を、最終的なクラスコードとするようにしてもよい。
【０４９８】
係数メモリ３５４は、学習の教師となる、出力画像の一例である時空間４倍密画像の時空間４倍密画素である教師データと、学習の生徒となる、水平倍密画像の水平倍密画素の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ３５４は、クラス分類部３５３から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値予測部３５６に供給する。なお、係数メモリ３５４に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０４９９】
予測タップ抽出部３５５は、クラス分類部３５３から供給されるクラスコードを基に、画素値予測部３５６において注目画素（の予測値）を求めるのに用いる予測タップを水平倍密画像から抽出し、抽出した予測タップを画素値予測部３５６に供給する。例えば、予測タップ抽出部３５５は、注目画素の位置から空間的または時間的に近い位置にある複数の画素値を、水平倍密画像から抽出することにより予測タップとし、画素値予測部３５６に供給する。
【０５００】
なお、クラスタップとする画素値と、予測タップとする画素値とは、同一であっても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。また、予測タップとする画素値は、クラス毎に異なるものであっても、同一であってもよい。
【０５０１】
画素値予測部３５６は、係数メモリ３５４から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部３５５からの予測タップ（を構成する画素値）ｘ₁，ｘ₂，・・・とを用いて、式（１）に示した積和演算を行うことにより、注目画素ｙ（の予測値）を予測し、これを、時空間４倍密画素の画素値とする。画素値予測部３５６は、このように演算された画素値からなる時空間４倍密画像を画素値予測部３５７に供給する。
【０５０２】
なお、注目画素選択部３７１が時空間４倍密画像のフレームのうちの、１つおきのフレームの時空間４倍密画素を、順次、注目画素とするので、画素値予測部３５６は、注目画素とされた、１つおきのフレームの時空間４倍密画素のみを予測する。従って、１つおきのフレームからなる時空間４倍密画像、すなわち、出力しようとする時空間４倍密画像のフレームの半数のフレームからなる時空間４倍密画像が、画素値予測部３５７に供給される。
【０５０３】
このように、本発明に係る画像処理装置における適応処理では、水平倍密画像の画素値が、所定のタップ係数を用いてマッピング（写像）されることにより、時空間４倍密画像の１つおきのフレームの時空間４倍密画素に変換される。
【０５０４】
画素値予測部３５７は、画素値予測部３５６から供給された、１つおきのフレームからなる時空間４倍密画像、および水平倍密画像から、水平倍密画像が時間的に積分されていることに基づく、水平倍密画像と時空間４倍密画像との関係により、水平倍密画像に対して、時空間４倍密画像の残った時空間４倍密画素のフレームの画素値（画素値予測部３５６では予測されなかったフレームの画素値）を予測して、全てのフレームを含む時空間４倍密画像を出力する。
【０５０５】
例えば、画素値予測部３５７は、画素値予測部３５６から供給された、１つおきのフレームの時空間４倍密画素の画素値ｙ_4T ⁽¹⁾、および水平倍密画像の画素値yに、水平倍密画像が空間的に積分されていることに基づく、水平倍密画像と時空間４倍密画素との関係に対応した演算、すなわち、式（２２）を適用して、2yからｙ_4T ⁽¹⁾を引き算することにより、時空間４倍密画像の残った時空間４倍密画素（画素値予測部３５６では予測されなかったフレームの画素）の画素値ｙ_4T ⁽²⁾を予測する。
【０５０６】
このように、図３０に構成を示す画像処理装置は、入力画像に対応する時空間４倍密画像を創造して、出力することができる。図３０に構成を示す画像処理装置は、クラス分類適応処理により、水平倍密画像の画素のうちの半数の画素の画素値を予測し、水平倍密画像の残りの画素の画素値を、入力画像が空間的に積分されることに基づく、より簡単な演算で予測し、クラス分類適応処理により、時空間４倍密画像のフレームのうちの半数のフレームの画素の画素値を予測し、時空間４倍密画像の残りのフレームの画素の画素値を、水平倍密画像が時間的に積分されていることに基づく、より簡単な演算で予測するので、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。図３０に構成を示す画像処理装置においては、係数メモリ１０４に記憶されているタップ係数（の組）および係数メモリ３５４に記憶されているタップ係数（の組）の２つのタップ係数を基に、時空間４倍密画像を予測することができる。
【０５０７】
なお、図３０に構成を示す画像処理装置は、入力画像から、垂直方向に画素の数が２倍の垂直倍密画像を生成し、垂直倍密画像から、時空間４倍密画像を生成するようにしてもよいことは勿論である。
【０５０８】
次に、図３１および図３２のフローチャートを参照して、図３０の画像処理装置が行う、ＳＤ画像から時空間４倍密画像を創造する画像創造処理について説明する。
【０５０９】
ステップＳ３７１乃至ステップＳ３７９の処理は、それぞれ、図１１のステップＳ１０１乃至ステップＳ１０９の処理と同様なので、その説明は省略する。
【０５１０】
ステップＳ３７９において、全画素の予測が終了したと判定された場合、画素値予測部１０７は、水平倍密画像をクラスタップ抽出部３５１、予測タップ抽出部３５５、および画素値予測部３５７に供給する。
【０５１１】
ステップＳ３８０において、クラスタップ抽出部３５１の注目画素選択部３７１は、創造しようとする時空間４倍密画像の注目している時空間４倍密画素である注目画素を選択する。注目画素選択部３７１は、創造しようとする時空間４倍密画像の時空間４倍密画素のうち、１つおきのフレームの時空間４倍密画素を注目画素として選択し、手続は、ステップＳ３８１に進む。
【０５１２】
ステップＳ３８１において、クラスタップ抽出部３５１は、注目画素の位置に空間的または時間的に近い複数の画素値を水平倍密画像からクラスタップとして抽出して、クラスタップを生成する。クラスタップは、特徴量検出部３５２に供給され、手続は、ステップＳ３８２に進む。ステップＳ３８２において、特徴量検出部３５２は、ステップＳ３７７およびステップＳ３７８の処理において予測された水平倍密画像またはステップＳ３８１の処理において抽出されたクラスタップから特徴量を検出して、検出された特徴量をクラス分類部３５３に供給すると共に、クラスタップをクラス分類部３５３に供給して、ステップＳ３８３に進む。
【０５１３】
ステップＳ３８３において、クラス分類部３５３は、特徴量検出部３５２から供給される特徴量またはクラスタップに基づき、１以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ３５４および予測タップ抽出部３５５に供給して、ステップＳ３８４に進む。
【０５１４】
ステップＳ３８４において、予測タップ抽出部３５５は、クラス分類部３５３から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を水平倍密画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値予測部３５６に供給され、手続は、ステップＳ３８５に進む。
【０５１５】
ステップＳ３８５において、係数メモリ３５４は、クラス分類部３５３から供給されるクラスコードに対応するアドレスに記憶されている予測係数（タップ係数）を読み出し、これにより、注目画素のクラスの予測係数を取得して、予測係数を画素値予測部３５６に供給し、ステップＳ３８６に進む。
【０５１６】
ステップＳ３８６において、画素値予測部３５６は、適応処理により、注目画素（の予測値）を予測し、予測した注目画素を画素値予測部３５７に供給して、ステップＳ３８７に進む。即ち、ステップＳ３８６では、画素値予測部３５６は、予測タップ抽出部３５５からの予測タップと、係数メモリ３５４からの予測係数（タップ係数）とを用いて、式（１）に示した演算を行い、注目画素（の予測値）を予測する。
【０５１７】
ステップＳ３８７において、画素値予測部３５７は、水平倍密画像が時間的に積分されていることに基づいて、注目画素に対応する時空間４倍密画素の画素値を予測して、ステップＳ３８８に進む。すなわち、ステップＳ３８７では、画素値予測部３５７は、画素値予測部３５６からの予測された注目画素の画素値と、注目画素に対応する水平倍密画像の画素の画素値とを用いて、式（２２）に示した演算を行い、注目画素に隣接する画素の画素値を予測する。言い換えれば、画素値予測部３５７は、注目画素と、注目画素の画素値、および注目画素に時間方向に隣接する時空間４倍密画素の画素値を含む水平倍密画素とから、水平倍密画像が時間的に積分されていること（時間混合）に基づいて、注目画素に隣接する時空間４倍密画素の画素値を予測する。
【０５１８】
ステップＳ３８８において、注目画素選択部３７１は、時空間４倍密画像の注目している１つおきのフレームの画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ３８０に戻り、以下、同様の処理を繰り返す。
【０５１９】
また、ステップＳ３８８において、注目フレームの画素のうち、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべての時空間４倍密画素が、予測された場合、処理は終了する。
【０５２０】
このように、図３０に構成を示す画像処理装置は、入力画像から、時空間４倍密画像を生成して、生成した時空間４倍密画像を出力することができる。
【０５２１】
以上のように、本発明においては、クラス分類適応処理により、水平倍密画像の画素のうちの半数の画素の画素値が予測され、水平倍密画像の残りの画素の画素値が、入力画像が空間的に積分されることに基づく、より簡単な演算で予測され、クラス分類適応処理により、時空間４倍密画像のフレームのうちの半数のフレームの画素の画素値が予測され、時空間４倍密画像の残りのフレームの画素の画素値が、水平倍密画像が時間的に積分されていることに基づく、より簡単な演算で予測される。
【０５２２】
次に、図３３は、図３０の係数メモリ１０４に記憶させるクラスごとのタップ係数、および係数メモリ３５４に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成を示すブロック図である。
【０５２３】
図１２に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。
【０５２４】
図３３の学習装置には、タップ係数の学習用の画像（教師画像）としての、例えば時空間４倍密画像が入力される。学習装置に入力された入力画像は、ＳＤ画像生成部３８１、フレーム間引画像生成部３８２、および教師画素抽出部３８９に供給される。
【０５２５】
ＳＤ画像生成部３８１は、入力された入力画像（教師画像）から、生徒画像であるＳＤ画像を生成し、画像メモリ１４２に供給する。ＳＤ画像生成部３８１は、例えば、教師画像としての時空間４倍密画像の水平方向および時間方向に互いに隣接する４つの時空間４倍密画素（１つのフレームの水平方向に隣接する画素と、このフレームに連続するフレームの対応する位置の画素）の画素値の平均値を求めてＳＤ画像の画素値とすることにより、その教師画像としての時空間４倍密画像に対応した生徒画像としてのＳＤ画像を生成する。ここで、ＳＤ画像は、図３０の画像処理装置で処理対象となるＳＤ画像に対応した画質のものとする必要がある。画像メモリ１４２は、ＳＤ画像生成部３８１からの生徒画像であるＳＤ画像を一時記憶する。
【０５２６】
フレーム間引画像生成部３８２は、入力された入力画像（教師画像）から、フレームを間引いて、単位時間当たりのフレームの数がＳＤ画像のフレームの数と同じである水平倍密画像を生成し、教師画素抽出部１４８および画像メモリ３８３に供給する。フレーム間引画像生成部３８２は、例えば、教師画像としての時空間４倍密画像の連続する２つのフレームの対応する位置の時空間４倍密画素の画素値の平均値を求めて水平倍密画像の画素値とすることにより、その教師画像としての時空間４倍密画像からフレームを間引いて、時空間４倍密画像に対応した水平倍密画像を生成する。
【０５２７】
ここで、水平倍密画像は、図３０の画像処理装置で中間的に生成される水平倍密画像に対応した画質のものとする必要がある。画像メモリ３８３は、フレーム間引画像生成部３８２からの水平倍密画像を一時記憶する。
【０５２８】
フレーム間引画像生成部３８２により生成される水平倍密画像は、ＳＤ画像生成部３８１により生成されたＳＤ画像に対する教師画像として使用されると共に、入力された時空間４倍密画像に対する生徒画像として使用される。
【０５２９】
図３３に示す学習装置においては、フレーム間引画像生成部３８２により生成された水平倍密画像を教師データとし、ＳＤ画像生成部３８１により生成されたＳＤ画像を生徒データとして、タップ係数が生成されるとともに、時空間４倍密画像を教師データとし、フレーム間引画像生成部３８２により生成された水平倍密画像を生徒データとして、タップ係数が生成される。
【０５３０】
教師画素抽出部１４８は、教師画像としての水平倍密画像から、注目画素を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部１４７に供給する。ここで、図３０の画像処理装置で中間的に生成される水平倍密画像は、図３３の学習装置で教師データとして用いられる水平倍密画像の画質に対応したものとなる。
【０５３１】
正規方程式演算部１５０は、学習メモリ１４９から、各クラスについての式（８）の正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより、すなわち、水平倍密画像の水平倍密画素である教師データと、ＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより、タップ係数を求めて、クラスごとのタップ係数を係数メモリ３９２に供給する。
【０５３２】
クラスタップ抽出部３８４の注目画素選択部４１１は、図３０のクラスタップ抽出部３５１の注目画素選択部３７１における場合と同様に、画像メモリ３８３に記憶された生徒画像としての水平倍密画像に対応する教師画像としての時空間４倍密画像に含まれる画素のうちの、１つおきのフレームの画素を、順次、注目画素とする。さらに、クラスタップ抽出部３８４は、注目画素についてのクラスタップを、画像メモリ３８３に記憶された水平倍密画像から抽出し、特徴量検出部３８５に供給する。ここで、クラスタップ抽出部３８４は、図３０のクラスタップ抽出部３５１が生成するのと同一のタップ構造のクラスタップを生成する。
【０５３３】
特徴量検出部３８５は、図３０の特徴量検出部３５２と同様の処理で、画像メモリ３８３に記憶されている生徒画像としての水平倍密画像またはクラスタップ抽出部３８４から供給されたクラスタップから特徴量を検出して、検出した特徴量をクラス分類部３８６に供給する。
【０５３４】
例えば、特徴量検出部３８５は、画像メモリ３８３に記憶されている水平倍密画像またはクラスタップ抽出部３８４から供給されたクラスタップを基に、水平倍密画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部３８６に供給する。また、例えば、特徴量検出部３８５は、画像メモリ３８３に記憶されている水平倍密画像またはクラスタップ抽出部３８４から供給されたクラスタップを基に、水平倍密画像またはクラスタップの複数の画素の画素値の空間的または時間的な変化を検出して、検出した画素値の変化を特徴量としてクラス分類部３８６に供給する。
【０５３５】
さらに、例えば、特徴量検出部３８５は、画像メモリ３８３に記憶されている水平倍密画像またはクラスタップ抽出部３８４から供給されたクラスタップを基に、クラスタップまたは水平倍密画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部３８６に供給する。
【０５３６】
なお、特徴量検出部３８５は、特徴量検出部３５２と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。
【０５３７】
すなわち、特徴量検出部３８５は、図３０の特徴量検出部３５２と同一の特徴量を検出する。
【０５３８】
特徴量検出部３８５は、特徴量とは別に、クラスタップをクラス分類部３８６に供給する。
【０５３９】
クラス分類部３８６は、図３０のクラス分類部３５３と同様に構成され、特徴量検出部３８５からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部３８７および学習メモリ３９０に供給する。
【０５４０】
予測タップ抽出部３８７は、図３０の予測タップ抽出部３５５と同様に構成され、クラス分類部３８６から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ３８３に記憶された水平倍密画像から抽出し、足し込み演算部３８８に供給する。ここで、予測タップ抽出部３８７は、図３０の予測タップ抽出部３５５が生成するのと同一のタップ構造の予測タップを生成する。
【０５４１】
教師画素抽出部３８９は、教師画像である入力画像（時空間４倍密画像）から、注目画素を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部３８８に供給する。即ち、教師画素抽出部３８９は、入力された学習用の画像である時空間４倍密画像を、例えば、そのまま教師データとする。ここで、図３０の画像処理装置で得られる時空間４倍密画像は、図３３の学習装置で教師データとして用いられる時空間４倍密画像の画質に対応したものとなる。
【０５４２】
足し込み演算部３８８および正規方程式演算部３９１は、注目画素となっている教師データと、予測タップ抽出部３８７から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部３８６から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０５４３】
即ち、足し込み演算部３８８は、予測タップ抽出部３８７から供給される予測タップ（水平倍密画素）と、注目画素となっている教師データである時空間４倍密画素とを対象とした、式（８）の足し込みを行う。
【０５４４】
具体的には、足し込み演算部３８８は、予測タップを構成する生徒データとしての水平倍密画素ｘ_n,kを用い、式（８）の左辺の行列における水平倍密画素どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。
【０５４５】
さらに、足し込み演算部３８８は、予測タップを構成する生徒データとしての水平倍密画素ｘ_n,kと、注目画素となっている教師データである時空間４倍密画素ｙ_kを用い、式（８）の右辺のベクトルにおける水平倍密画素ｘ_n,kおよび時空間４倍密画素ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。
【０５４６】
足し込み演算部３８８は、教師データとしての時空間４倍密画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に対応した正規方程式をたてると、その正規方程式を、学習メモリ３９０に供給する。
【０５４７】
学習メモリ３９０は、足し込み演算部３８８から供給された、生徒データとして水平倍密画素、教師データとして時空間４倍密画素が設定された、式（８）に対応した正規方程式を記憶する。
【０５４８】
正規方程式演算部３９１は、学習メモリ３９０から、各クラスについての式（８）の正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより、すなわち、時空間４倍密画像の時空間４倍密画素である教師データと、水平倍密画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより、タップ係数を求めて、クラスごとのタップ係数を係数メモリ３９２に供給する。
【０５４９】
係数メモリ３９２は、正規方程式演算部１５０から供給された、水平倍密画像の水平倍密画素である教師データと、ＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数、および正規方程式演算部３９１から供給された、時空間４倍密画像の時空間４倍密画素である教師データと、水平倍密画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数をそれぞれ記憶する。
【０５５０】
次に、図３４および図３５のフローチャートを参照して、図３３の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０５５１】
ステップＳ４０１において、ＳＤ画像生成部３８１は、教師画像である入力された入力画像から、生徒画像であるＳＤ画像を生成し、画像メモリ１４２に供給し、ステップＳ４０２に進む。ＳＤ画像生成部３８１は、例えば、教師画像としての時空間４倍密画像の水平方向および時間方向に互いに隣接する４つの時空間４倍密画素（１つのフレームの水平方向に隣接する画素と、このフレームに連続するフレームの対応する位置の画素）から、１つの時空間４倍密画素の画素値を抽出してＳＤ画像の画素値とすることにより、その教師画像としての時空間４倍密画像に対応した生徒画像としてのＳＤ画像を生成する。
【０５５２】
ステップＳ４０２において、フレーム間引画像生成部３８２は、教師画像である入力された入力画像から、１つおきのフレームを間引いて、水平倍密画像であるフレーム間引画像を生成し、教師画素抽出部１４８および画像メモリ３８３に供給し、ステップＳ４０３に進む。フレーム間引画像生成部３８２は、例えば、教師画像としての時空間４倍密画像の連続する２つのフレームの対応する位置の時空間４倍密画素から、１つの時空間４倍密画素の画素値を抽出して水平倍密画像の画素値とすることにより、その教師画像としての時空間４倍密画像に対応した水平倍密画像であるフレーム間引画像を生成する。
【０５５３】
ステップＳ４０３乃至ステップＳ４１３の処理は、それぞれ、図１３のステップＳ１４２乃至ステップＳ１５２の処理と同様なので、その説明は省略する。なお、ステップＳ４０３乃至ステップＳ４１３の処理においては、ステップＳ４０１の処理において生成されたＳＤ画像が生徒画像とされ、ステップＳ４０２の処理において生成された水平倍密画像であるフレーム間引画像が教師画像とされる。また、ステップＳ４１２において、係数メモリ３９２が、正規方程式演算部１５０から供給された、タップ係数を記憶する。
【０５５４】
ステップＳ４１４において、クラスタップ抽出部３８４の注目画素選択部４１１は、教師データとしての時空間４倍密画像の時空間４倍密画素であって、１つおきのフレームの時空間４倍密画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、手続は、ステップＳ４１５に進む。
【０５５５】
ステップＳ４１５において、クラスタップ抽出部３８４は、図３０のクラスタップ抽出部３５１における場合と同様に、注目画素に対応するクラスタップを、画像メモリ３８３に記憶されている生徒画像としての水平倍密画像であるフレーム間引画像から抽出する。クラスタップ抽出部３８４は、クラスタップを特徴量検出部３８５に供給して、ステップＳ４１６に進む。
【０５５６】
ステップＳ４１６において、特徴量検出部３８５は、図３０の特徴量検出部３５２における場合と同様に、ステップＳ４０２の処理において生成された生徒画像としての水平倍密画像であるフレーム間引画像またはステップＳ４１５の処理において抽出されたクラスタップから、例えば、動きベクトル、または水平倍密画像の画素の画素値の変化などの特徴量を検出して、検出した特徴量をクラス分類部３８６に供給し、ステップＳ４１７に進む。
【０５５７】
ステップＳ４１７では、クラス分類部３８６が、図３０のクラス分類部３５３における場合と同様にして、特徴量検出部３８５からの特徴量またはクラスタップを用いて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、予測タップ抽出部３８７および学習メモリ３９０に供給して、ステップＳ４１８に進む。
【０５５８】
ステップＳ４１８において、予測タップ抽出部３８７は、クラス分類部３８６から供給されるクラスコードに基づいて、図３０の予測タップ抽出部３５５における場合と同様に、注目画素に対応する予測タップを、画像メモリ３８３に記憶されている生徒画像としての水平倍密画像であるフレーム間引画像から抽出し、足し込み演算部３８８に供給して、ステップＳ４１９に進む。
【０５５９】
ステップＳ４１９において、教師画素抽出部３８９は、注目画素、すなわち時空間４倍密画素である教師画素（教師データ）を入力画像から抽出し、抽出した教師画素を足し込み演算部３８８に供給し、ステップＳ４２０に進む。
【０５６０】
ステップＳ４２０では、足し込み演算部３８８が、予測タップ抽出部３８７から供給される予測タップ（生徒データ）、および教師画素抽出部３８９から供給される教師画素（教師データ）を対象とした、上述した式（８）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ３９０に記憶させ、ステップＳ４２１に進む。
【０５６１】
そして、ステップＳ４２１では、注目画素選択部４１１は、教師データとしての時空間４倍密画像の時空間４倍密画素のうちの１つおきのフレームの画素の中に、まだ注目画素としていないものがあるかどうか、すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステップＳ４２１において、教師データとしての時空間４倍密画像の時空間４倍密画素のうちの１つおきのフレームの画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ４１４に戻り、以下、同様の処理が繰り返される。
【０５６２】
また、ステップＳ４２１において、教師データとしての時空間４倍密画像の時空間４倍密画素のうちの１つおきのフレームの画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップＳ４２２に進み、正規方程式演算部３９１は、いままでのステップＳ４２０における足し込みによって、クラスごとに得られた式（８）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ３９０から読み出し、読み出した式（８）の正規方程式を掃き出し法などで解くことにより（クラス毎に学習し）、所定のクラスの予測係数（タップ係数）を求め、係数メモリ３９２に供給する、ステップＳ４２３に進む。
【０５６３】
ステップＳ４２３において、係数メモリ３９２は、正規方程式演算部３９１から供給された所定のクラスの予測係数（タップ係数）を、クラス毎に記憶し、ステップＳ４２４に進む。
【０５６４】
ステップＳ４２４において、正規方程式演算部３９１は、全クラスの予測係数の演算を終了したか否かを判定し、全クラスの予測係数の演算を終了していないと判定された場合、ステップＳ４２２に戻り、次のクラスの予測係数を求める処理を繰り返す。
【０５６５】
ステップＳ４２４において、全クラスの予測係数の演算を終了したと判定された場合、処理は終了する。
【０５６６】
以上のようにして、係数メモリ３９２に記憶された、水平倍密画像（フレーム間引画像）の水平倍密画素である教師データと、ＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られた、クラスごとの予測係数が、図３０の画像処理装置における係数メモリ１０４に記憶され、時空間４倍密画像の時空間４倍密画素である教師データと、水平倍密画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られた、クラスごとの予測係数が、図３０の画像処理装置における係数メモリ３５４に記憶されている。
【０５６７】
入力画像データの画素よりも空間積分面積が小さい、中間画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである第１の対応画素に空間的に含まれる第１の注目画素であって、第１の対応画素と第１の注目画素とから、第１の対応画素に含まれる中間画像データ内の他の画素を予測できるようになるものを選択し、中間画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、第１の注目画素の第１の特徴量を検出し、検出された第１の特徴量毎に、抽出された複数の第２の周辺画素から第１の注目画素を予測する第１の予測手段を学習し、中間画像データの画素よりも時間積分時間が短い、高質画像データ内の画素のうちの注目している画素であり、中間画像データ内の画素のうちの１つである第２の対応画素に時間的に含まれる第２の注目画素であって、第２の対応画素と第２の注目画素とから、第２の対応画素に含まれる高質画像データ内の他の画素を予測できるようになるものを選択し、高質画像データ内の第２の注目画素に対応する、中間画像データ内の複数の第３の周辺画素を抽出し、第２の注目画素に対応する、中間画像データ内の複数の第４の周辺画素を抽出し、抽出された複数の第３の周辺画素に基づいて、第２の注目画素の第２の特徴量を検出し、検出された第２の特徴量毎に、抽出された複数の第４の周辺画素から第２の注目画素を予測する第２の予測手段を学習するようにした場合には、予測において、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０５６８】
図３６は、本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。図５に示す場合と同様に部分には同一の番号を付してあり、その説明は省略する。
【０５６９】
図３６に構成を示す画像処理装置は、入力画像を取得し、入力された入力画像に対して、水平倍密画像を創造して出力する。
【０５７０】
図３６で示される画像処理装置においては、例えば、入力画像の一例であるＳＤ画像が入力され、入力されたＳＤ画像に対して、クラス分類適応処理が施されることにより、水平倍密画像における水平方向に隣接する２つの水平倍密画素の画素値の差分値からなる差分画像が創造される。そして、差分画像から、水平倍密画像が生成され、生成された水平倍密画像が出力されるようになっている。
【０５７１】
すなわち、この画像処理装置においては、図５で示される係数メモリ１０４、画素値予測部１０６、および画素値予測部１０７に代えて、係数メモリ５０１、差分予測部５０２、および画素値予測部５０３が設けられている。
【０５７２】
画像処理装置に入力された、空間解像度の創造の対象となる入力画像は、クラスタップ抽出部１０１、特徴量検出部１０２、予測タップ抽出部１０５、および画素値予測部５０３に供給される。
【０５７３】
係数メモリ５０１は、学習の教師となる、水平倍密画像における水平方向に隣接する２つの水平倍密画素の画素値の差分値である教師データと、学習の生徒となる、入力画像の一例であるＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ５０１は、クラス分類部１０３から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、差分予測部５０２に供給する。なお、係数メモリ５０１に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０５７４】
差分予測部５０２は、係数メモリ５０１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部１０５からの予測タップ（を構成する画素値）ｘ₁，ｘ₂，・・・とを用いて、積和演算を行うことにより、水平倍密画像における水平方向に隣接する２つの水平倍密画素の画素値の差分値（の予測値）を予測し、これを、差分画像の画素の画素値とする。差分予測部５０２は、このように演算された差分値からなる差分画像を画素値予測部５０３に供給する。
【０５７５】
このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、差分画像の画素値である差分値dは、差分値dを予測するための予測タップとして入力画像から抽出される複数の画素値xと、タップ係数wとを用いて、式（２７）の線形１次式（線形結合）によって求められる。
【数１９】

・・・（２７）
【０５７６】
但し、式（２７）において、x_nは、差分画像の差分値dについての予測タップを構成する、ｎ番目の入力画像の画素値を表し、ｗ_nは、ｎ番目の画素値と乗算されるｎ番目のタップ係数を表す。なお、式（２７）では、予測タップが、Ｎ個の画素値x₁，x₂，・・・，x_Nで構成されるものとしてある。
【０５７７】
ここで、差分画像の差分値dは、式（２７）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０５７８】
画素値予測部５０３は、差分予測部５０２から供給された、水平倍密画像における水平方向に隣接する２つの水平倍密画素の画素値の差分値からなる差分画像、および入力画像の一例であるＳＤ画像から、ＳＤ画像が空間的に積分されることに基づく、ＳＤ画像と水平倍密画像との関係により、水平倍密画像の水平倍密画素の画素値を予測して、予測された水平倍密画像を出力する。
【０５７９】
図３７は、図３６で示される画像処理装置に入力されるＳＤ画像と、差分予測部５０２によって生成される差分画像と、画像処理装置から出力される水平倍密画像との関係を説明する図である。
【０５８０】
図３７において、○印がＳＤ画像を構成するＳＤ画素を表し、×印が水平倍密画像を構成する水平倍密画素を表している。図３７では、水平倍密画像は、水平方向の画素数が、ＳＤ画像の２倍の画像になっている。水平倍密画像における、垂直方向の画素数は、ＳＤ画像と同じである。
【０５８１】
また、図３７において、△印は、水平倍密画像に対応する差分画像を構成する差分値を表す。なお、図３７において、ＳＤ画素ｘ⁽¹⁾乃至ＳＤ画素ｘ⁽⁹⁾は、注目画素ｙ⁽¹⁾についてのクラスタップを構成する画素の一例である。
【０５８２】
図３７において、水平倍密画像の注目画素をｙ⁽¹⁾で表し、水平倍密画像の注目画素ｙ⁽¹⁾に対応する注目している差分値をd⁽¹⁾で表す。図３７において、注目している差分値d⁽¹⁾に対応する、注目画素ｙ⁽¹⁾に空間方向に隣接する、水平倍密画像の水平倍密画素をｙ⁽²⁾と表す。
【０５８３】
すなわち、水平倍密画像の注目している差分値d⁽¹⁾は、水平倍密画像の注目画素の画素値ｙ⁽¹⁾と、注目画素ｙ⁽¹⁾に水平方向に隣接する水平倍密画素の画素値ｙ⁽²⁾との差分値である。水平倍密画像の注目している差分値d⁽¹⁾、並びに水平倍密画像の画素値ｙ⁽¹⁾および画素値ｙ⁽²⁾の間には、式（２８）で示される関係がある。
d⁽¹⁾=ｙ⁽²⁾-ｙ⁽¹⁾ ・・・（２８）
【０５８４】
図３７において、水平倍密画素の画素値ｙ⁽¹⁾および画素値ｙ⁽²⁾が空間的に含まれる、ＳＤ画素をx⁽⁵⁾で表す。すなわち、図１０（式（１２））を参照して説明したように、ＳＤ画素の画素値x⁽⁵⁾、並びに水平倍密画素の画素値ｙ⁽¹⁾および画素値ｙ⁽²⁾の間には、式（２９）で示される関係がある。
x⁽⁵⁾=(ｙ⁽¹⁾+ｙ⁽²⁾)/2 ・・・（２９）
【０５８５】
式（２９）を、ｙ⁽¹⁾について変形すると、式（３０）が得られる。
ｙ⁽¹⁾=2x⁽⁵⁾-ｙ⁽²⁾ ・・・（３０）
【０５８６】
式（２８）から、ｙ⁽²⁾は、式（３１）で表すことができる。
ｙ⁽²⁾=d⁽¹⁾+ｙ⁽¹⁾ ・・・（３１）
【０５８７】
式（３１）を式（３０）の右辺に代入すると、式（３２）で示されるように、ｙ⁽¹⁾は、x⁽⁵⁾およびd⁽¹⁾から算出できることがわかる。
ｙ⁽¹⁾=(2x⁽⁵⁾-d⁽¹⁾)/2 ・・・（３２）
【０５８８】
同様に、式（３３）で示されるように、ｙ⁽²⁾は、x⁽⁵⁾およびd⁽¹⁾から算出できる。
ｙ⁽²⁾=(2x⁽⁵⁾+d⁽¹⁾)/2 ・・・（３３）
【０５８９】
画素値予測部５０３は、ＳＤ画像が空間的に積分されていることに基づき、差分値d⁽¹⁾および画素値x⁽⁵⁾に、式（３２）で示される演算を適用して、注目画素の画素値ｙ⁽¹⁾を求め、差分値d⁽¹⁾および画素値x⁽⁵⁾に、式（３３）で示される演算を適用して、注目画素に水平方向（空間方向）に隣接する水平倍密画素の画素値ｙ⁽²⁾を求めることにより、水平倍密画像を予測して、予測した水平倍密画像を出力する。
【０５９０】
すなわち、差分予測部５０２は、加算した値が１つのＳＤ画素の画素値に等しい、空間方向に隣接する２つの水平倍密画素の画素値の差分値を予測し、画素値予測部５０３は、２つの水平倍密画素の画素値を加算した値が１つのＳＤ画素の画素値に等しいことを利用して、差分値から２つの水平倍密画素の画素値を予測する。
【０５９１】
このように、図３６に構成を示す画像処理装置は、入力画像から、水平倍密画像を生成して出力することができる。
【０５９２】
次に、図３８のフローチャートを参照して、図３６の画像処理装置が行う、ＳＤ画像から水平倍密画像を創造する画像創造処理について説明する。
【０５９３】
ステップＳ５０１乃至ステップＳ５０５の処理は、それぞれ、図１１のステップＳ１０１乃至ステップＳ１０５の処理と同様なので、その説明は省略する。
【０５９４】
ステップＳ５０６において、係数メモリ５０１は、クラス分類部１０３から供給された注目画素のクラスコードに基づき、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、差分予測部５０２に供給し、ステップＳ５０７に進む。
【０５９５】
ステップＳ５０７において、差分予測部５０２は、係数メモリ５０１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部１０５からの予測タップ（を構成する画素値）ｘ₁，ｘ₂，・・・とを用いて、式（２７）に示した積和演算を行うことにより、水平倍密画像における水平方向に隣接する２つの水平倍密画素の画素値の差分値（の予測値）を予測し、ステップＳ５０８に進む。差分予測部５０２は、このように予測された差分値からなる差分画像を画素値予測部５０３に供給する。例えば、ステップＳ５０７において、加算した値が１つのＳＤ画素の画素値に等しい、空間方向に隣接する２つの水平倍密画素の画素値の差分値が予測される。
【０５９６】
ステップＳ５０８において、画素値予測部５０３は、差分予測部５０２から供給された、水平倍密画像における水平方向に隣接する２つの水平倍密画素の画素値の差分値からなる差分画像、および入力画像の一例であるＳＤ画像から、ＳＤ画像が空間的に積分されることに基づく、ＳＤ画像と水平倍密画像との関係により、水平倍密画像の水平倍密画素の画素値を予測して、ステップＳ５０９に進む。例えば、画素値予測部５０３は、ＳＤ画像が空間的に積分されていることに基づき、注目画素に対応する差分値d、および注目画素に対応するＳＤ画像の画素の画素値xに、式（３２）で示される演算を適用して、注目画素の画素値ｙを求め、差分値dおよび画素値xに、式（３３）で示される演算を適用して、注目画素に水平方向（空間方向）に隣接する水平倍密画素の画素値ｙを求めることにより、水平倍密画像を予測する。すなわち、例えば、ステップＳ５０８において、２つの水平倍密画素の画素値を加算した値が１つのＳＤ画素の画素値に等しいことを利用して、２つの水平倍密画素の画素値の差分値から２つの水平倍密画素の画素値が予測される。
【０５９７】
ステップＳ５０９の処理は、図１１のステップＳ１０９と同様の処理なので、その説明は省略する。
【０５９８】
以上のように、図３６に構成を示す画像処理装置は、入力画像から、水平倍密画像を生成して出力することができる。
【０５９９】
次に、図３９は、図３６の係数メモリ５０１に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成を示すブロック図である。
【０６００】
図１２に示す場合と同様に部分には同一の番号を付してあり、その説明は省略する。
【０６０１】
図３９の学習装置には、タップ係数の学習用の画像（教師画像）の元になる、例えば水平倍密画像が入力される。学習装置に入力された入力画像は、ＳＤ画像生成部１４１および差分画像生成部５４１に供給される。
【０６０２】
差分画像生成部５４１は、入力画像である水平倍密画像から、教師画像である差分画像を生成し、生成した差分画像を教師画素抽出部５４３に供給する。すなわち、差分画像生成部５４１は、左右に隣り合う２つの水平倍密画素からなる組の１つに、水平倍密画像のそれぞれの水平倍密画素を振り分けて、その組毎に画素値の差を算出して、差分値とし、例えば、図３７において△印で示される差分値からなる、教師画像である差分画像を生成する。差分画像生成部５４１で生成される差分画像の差分値の数は、水平倍密画像の水平倍密画素の数の半分になる。
【０６０３】
図３９に示す注目画素選択部１６１は、入力画像データの画素よりも空間積分面積が小さい、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に空間的に含まれる注目画素であって、対応画素、および対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値から、注目画素および高質画像データ内の他の画素を予測できるようになるものを選択する。
【０６０４】
クラス分類部１４５は、図３６のクラス分類部１０３と同様に構成され、特徴量検出部１４４からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部１４６および学習メモリ５４４に供給する。
【０６０５】
予測タップ抽出部１４６は、図３６の予測タップ抽出部１０５と同様に構成され、クラス分類部１４５から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ１４２に記憶されたＳＤ画像から抽出し、足し込み演算部５４２に供給する。ここで、予測タップ抽出部１４６は、図３６の予測タップ抽出部１０５が生成するのと同一のタップ構造の予測タップを生成する。
【０６０６】
教師画素抽出部５４３は、差分画像生成部５４１から供給された教師画像である差分画像から、注目画素に対応する差分値を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部５４２に供給する。すなわち、教師画素抽出部５４３は、注目画素に空間的に隣接する水平倍密画素であって、注目画素の画素値とその隣接する水平倍密画素の画素値との和が１つのＳＤ画素の画素値に等しい水平倍密画素について、その水平倍密画素の画素値と注目画素の画素値との差分値を教師データして足し込み演算部５４２に供給する。
【０６０７】
足し込み演算部５４２および正規方程式演算部５４５は、差分値である教師データと、予測タップ抽出部１４６から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部１４５から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０６０８】
即ち、足し込み演算部５４２は、予測タップ抽出部１４６から供給される予測タップ（ＳＤ画素）と、教師画素抽出部５４３から供給される教師データである差分値とを対象とした、式（３４）の足し込みを行う。
【数２０】

・・・（３４）
【０６０９】
具体的には、足し込み演算部５４２は、予測タップを構成する生徒データとしての画素値x_n,kを用い、式（３４）の左辺の行列における画素値どうしの乗算（x_n,kx_n',k）と、サメーション（Σ）に相当する演算を行う。
【０６１０】
さらに、足し込み演算部５４２は、予測タップを構成する生徒データとしての画素値x_n,kと、教師データである差分値d_kを用い、式（３４）の右辺のベクトルにおける画素値x_n,kおよび差分値d_kの乗算（x_n,kd_k）と、サメーション（Σ）に相当する演算を行う。
【０６１１】
足し込み演算部５４２は、教師データとしての、水平倍密画像の注目画素に対応する差分画像の差分値すべてを注目している差分値として、上述の足し込みを行うことにより、各クラスについて、式（３４）に対応した正規方程式をたてると、その正規方程式を、学習メモリ５４４に供給する。
【０６１２】
なお、画素値ｙを差分値dに置き換えることにより、式（１）乃至式（７）から式（８）を導く場合と同様に、式（３４）を導くことができ、その説明は省略する。
【０６１３】
学習メモリ５４４は、足し込み演算部５４２から供給された、生徒データとしてＳＤ画素、教師データとして差分値が設定された、式（３４）に対応した正規方程式を記憶する。
【０６１４】
正規方程式演算部５４５は、学習メモリ５４４から、各クラスについての式（３４）の正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて係数メモリ５４６に出力する。
【０６１５】
すなわち、足し込み演算部５４２および正規方程式演算部５４５は、検出された特徴量毎に、抽出された注目画素の複数の周辺画素から、対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値を予測する予測手段を学習する。
【０６１６】
係数メモリ５４６は、正規方程式演算部５４５が出力するクラスごとのタップ係数を記憶する。
【０６１７】
次に、図４０のフローチャートを参照して、図３９の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０６１８】
ステップＳ５４１の処理は、図１３のステップＳ１４１の処理と同様なので、その説明は省略する。
【０６１９】
ステップＳ５４２において、差分画像生成部５４１は、入力画像である水平倍密画像から、教師画像である差分画像を生成して、処理はステップＳ５４３に進む。差分画像生成部５４１は、生成した差分画像を教師画素抽出部５４３に供給する。
【０６２０】
例えば、差分画像生成部５４１は、左右に隣り合う２つの水平倍密画素からなる組の１つに、水平倍密画像のそれぞれの水平倍密画素を振り分けて、その組毎に画素値の差を算出して、差分値とし、差分値からなる、教師画像である差分画像を生成する。
【０６２１】
ステップＳ５４３乃至ステップＳ５４７の処理は、図１３のステップＳ１４２乃至ステップＳ１４６の処理と同様なので、その説明は省略する。
【０６２２】
なお、ステップＳ５４３においては、入力画像データの画素よりも空間積分面積が小さい、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に空間的に含まれる注目画素であって、対応画素、および対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値から、注目画素および高質画像データ内の他の画素を予測できるようになるものが選択される。
【０６２３】
ステップＳ５４８において、教師画素抽出部５４３は、差分画像生成部５４１から供給された差分画像から、注目画素に対応する差分値を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部５４２に供給し、ステップＳ５４９に進む。
【０６２４】
ステップＳ５４９において、足し込み演算部５４２は、予測タップ抽出部１４６から供給される予測タップ（ＳＤ画素）と、教師画素抽出部５４３から供給される教師データである差分値とを対象とした足し込みの演算を行い、ステップＳ５５０に進む。例えば、足し込み演算部５４２は、生徒データとしての、ＳＤ画素からなる予測タップ、および教師データとしての、水平倍密画像の注目画素に対応する差分画像の差分値に対して、足し込みを行うことにより、各クラスについて、式（３４）に対応した正規方程式をたてると、その正規方程式を、学習メモリ５４４に記憶させる。
【０６２５】
ステップＳ５５０において、注目画素選択部１６１は、教師データとしての水平倍密画像の水平倍密画素のうちの水平方向に１つおきの画素の中に、まだ注目画素としていないものがあるかどうか、すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステップＳ５５０において、教師データとしての水平倍密画像の水平倍密画素のうちの水平方向に１つおきの画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ５４３に戻り、以下、同様の処理が繰り返される。
【０６２６】
また、ステップＳ５５０において、教師データとしての水平倍密画像の水平倍密画素のうちの水平方向に１つおきの画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップＳ５５１に進み、正規方程式演算部５４５は、いままでのステップＳ５４９における足し込みによって、クラスごとに得られた式（３４）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ５４４から読み出し、読み出した式（３４）の正規方程式を掃き出し法などで解くことにより（クラス毎に学習し）、所定のクラスの予測係数（タップ係数）を求め、係数メモリ５４６に供給して、ステップＳ５５２に進む。
【０６２７】
すなわち、ステップＳ５４９およびステップＳ５５１において、検出された特徴量毎に、抽出された注目画素の複数の周辺画素から、対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値を予測する予測手段が学習される。
【０６２８】
ステップＳ５５２において、係数メモリ５４６は、正規方程式演算部５４５から供給された所定のクラスの予測係数（タップ係数）を、クラス毎に記憶し、ステップＳ５５３に進む。
【０６２９】
ステップＳ５５３において、正規方程式演算部５４５は、全クラスの予測係数の演算を終了したか否かを判定し、全クラスの予測係数の演算を終了していないと判定された場合、ステップＳ５５１に戻り、次のクラスの予測係数を求める処理を繰り返す。
【０６３０】
ステップＳ５５３において、全クラスの予測係数の演算を終了したと判定された場合、処理は終了する。
【０６３１】
以上のようにして、係数メモリ５４６に記憶されたクラスごとの予測係数が、図３６の画像処理装置における係数メモリ５０１に記憶されている。
【０６３２】
入力画像データの画素よりも空間積分面積が小さい、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に空間的に含まれる注目画素であって、対応画素、および対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値から、注目画素および高質画像データ内の他の画素を予測できるようになるものを選択し、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出し、検出された特徴量毎に、抽出された複数の第２の周辺画素から、対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値を予測する予測手段を学習するようにした場合には、予測において、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０６３３】
図４１は、本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。図１６に示す場合と同様に部分には同一の番号を付してあり、その説明は省略する。
【０６３４】
図４１に示す画像処理装置においては、例えば、１秒間当たり３０フレームからなるＳＤ画像が入力され、入力されたＳＤ画像に対して、クラス分類適応処理が施されることにより、１秒間あたり６０フレームからなる時間倍密画像を構成する時間倍密画素について、時間方向に隣接する２つのフレームの対応する位置の時間倍密画素の画素値の差分値（時間方向に隣接する２つの時間倍密画素の画素値の差分値）が創造される。この場合の時間倍密画像の時間方向に隣接する２つのフレームは、ＳＤ画像の１つのフレームに対応している。
【０６３５】
そして、創造された差分値から、時間倍密画像が生成され、生成された時間倍密画像が出力されるようになっている。
【０６３６】
すなわち、この画像処理装置においては、図１６で示される係数メモリ２１４、画素値予測部２１６、および画素値予測部２１７に代えて、係数メモリ６０１、フレーム差分予測部６０２、および画素値予測部６０３が設けられている。
【０６３７】
画像処理装置に入力された、空間解像度の創造の対象となる入力画像は、クラスタップ抽出部２１１、特徴量検出部２１２、予測タップ抽出部２１５、および画素値予測部６０３に供給される。
【０６３８】
係数メモリ６０１は、学習の教師となる、時間倍密画像における時間方向に隣接する２つの時間倍密画素の画素値の差分値である教師データと、学習の生徒となる、入力画像の一例であるＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ６０１は、クラス分類部２１３から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、フレーム差分予測部６０２に供給する。なお、係数メモリ６０１に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０６３９】
フレーム差分予測部６０２は、係数メモリ６０１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部２１５からの予測タップ（を構成する画素値）ｘ₁，ｘ₂，・・・とを用いて、積和演算を行うことにより、時間倍密画像における時間方向に隣接する２つの時間倍密画素の画素値の差分値（の予測値）を予測し、これを、フレーム差分画像の画素の画素値とする。フレーム差分予測部６０２は、このように演算された差分値からなるフレーム差分画像を画素値予測部６０３に供給する。
【０６４０】
フレーム差分予測部６０２における、マッピング方法は、差分予測部５０２における場合と同様なので、その説明は省略する。なお、差分予測部５０２においては、空間方向に隣接する画素の画素値の差分値が得られるのに対して、フレーム差分予測部６０２においては、時間方向に隣接する画素の画素値の差分値が得られる。
【０６４１】
画素値予測部６０３は、フレーム差分予測部６０２から供給された、時間倍密画像における時間方向に隣接する２つの時間倍密画素の画素値の差分値からなるフレーム差分画像、および入力画像の一例であるＳＤ画像から、ＳＤ画像が時間的に積分されることに基づく、ＳＤ画像と時間倍密画像との関係により、時間倍密画像の時間倍密画素の画素値を予測して、予測された時間倍密画像を出力する。
【０６４２】
図４２は、図４１で示される画像処理装置に入力されるＳＤ画像と、フレーム差分予測部６０２によって生成されるフレーム差分画像と、画像処理装置から出力される時間倍密画像との関係を説明する図である。
【０６４３】
図４２は、注目画素およびクラスタップを説明する図である。図４２において、図の横方向は、ＳＤ画像および時間倍密画像の時間方向に対応し、図の縦方向は、ＳＤ画像および時間倍密画像の一方の空間方向、例えば、画面の縦方向である空間方向Ｙに対応する。なお、図４２において、過去の時刻が、図中の左側の位置に対応し、未来の時刻が、図中の右側の位置に対応する。
【０６４４】
ここで、図４２において、○印がＳＤ画像を構成するＳＤ画素を表し、×印が時間倍密画像を構成する時間倍密画素を表している。また、図４２では、時間倍密画像は、ＳＤ画像に対して、時間方向に２倍の数のフレームを配置した画像になっている。例えば、１秒間に３０フレームからなるＳＤ画像に対して、時間倍密画像は、１秒間に６０フレームからなる。なお、時間倍密画像の１つのフレームに配置されている画素の数は、ＳＤ画像の１つのフレームに配置されている画素の数と同じである。
【０６４５】
図４２において、f_-2,f_-1,f₀,f₁,f₂は、ＳＤ画像のフレームを示し、F_-4,F_-3,F_-2,F_-1,F₀,F₁,F₂,F₃,F₄,F₅は、時間倍密画像のフレームを示す。
【０６４６】
図４２において、時間倍密画像の注目しているフ注目フレームをF₀と表し、時間倍密画像の注目している１つの時間倍密画素を、ｙ⁽¹⁾と表す。時間倍密画像のフレームのうち、F_-4,F_-2,F₀,F₂,F₄,・・・のように、例えば、ＳＤ画像のフレームの前のフレームが注目フレームとされ、注目フレームの画素が順次注目画素として選択される。
【０６４７】
クラスタップ抽出部２１１は、注目画素について、例えば、図４２に点線の四角で囲んで示すように、その注目画素の位置から近い横×縦が３×３個の画素をＳＤ画像から抽出することによりクラスタップとする。
【０６４８】
図４２において、クラスタップを構成する３×３個のＳＤ画像の画素のうちの、フレームf_-1の第１行、フレームf₀の第１行、フレームf₁の第１行、フレームf_-1の第２行、フレームf₀の第２行、フレームf₁の第２行、フレームf_-1の第３行、フレームf₀の第３行、フレームf₁の第３行の画素の画素値を、それぞれｘ⁽¹⁾，ｘ⁽²⁾，ｘ⁽³⁾，ｘ⁽⁴⁾，ｘ⁽⁵⁾，ｘ⁽⁶⁾，ｘ⁽⁷⁾，ｘ⁽⁸⁾，ｘ⁽⁹⁾と表す。例えば、クラスタップ抽出部２１１は、注目画素ｙ⁽¹⁾について、図４２に示す、３×３個の画素の画素値ｘ⁽¹⁾乃至ｘ⁽⁹⁾を、ＳＤ画像から抽出することによりクラスタップとする。
【０６４９】
また、図４２において、△印は、時間倍密画像に対応するフレーム差分画像を構成する差分値を表す。
【０６５０】
図４２において、時間倍密画像の注目画素ｙ⁽¹⁾に対応する注目している差分値をd⁽¹⁾で表す。図４２において、注目している差分値d⁽¹⁾に対応する、注目画素ｙ⁽¹⁾に時間方向に隣接する、時間倍密画像の時間倍密画素をｙ⁽²⁾と表す。
【０６５１】
すなわち、時間倍密画像の注目している差分値d⁽¹⁾は、時間倍密画像の注目画素の画素値ｙ⁽¹⁾と、注目画素ｙ⁽¹⁾に時間方向に隣接する時間倍密画素の画素値ｙ⁽²⁾との差分値である。時間倍密画像の注目している差分値d⁽¹⁾、並びに時間倍密画像の画素値ｙ⁽¹⁾および画素値ｙ⁽²⁾の間には、式（３５）で示される関係がある。
d⁽¹⁾=ｙ⁽²⁾-ｙ⁽¹⁾ ・・・（３５）
【０６５２】
図４２において、時間倍密画素の画素値ｙ⁽¹⁾および画素値ｙ⁽²⁾が空間的に含まれる、ＳＤ画素をx⁽⁵⁾で表す。すなわち、図１８を参照して説明したように、ＳＤ画素の画素値x⁽⁵⁾、並びに時間倍密画素の画素値ｙ⁽¹⁾および画素値ｙ⁽²⁾の間には、式（２１）で示される関係がある。
【０６５３】
式（２１）を、ｙ⁽²⁾について変形すると、式（３６）が得られる。
ｙ⁽¹⁾=2x⁽⁵⁾-ｙ⁽²⁾ ・・（３６）
【０６５４】
式（３５）から、ｙ⁽²⁾は、式（３７）で表すことができる。
ｙ⁽²⁾=d⁽¹⁾+ｙ⁽¹⁾ ・・・（３７）
【０６５５】
式（３７）を式（３６）の右辺に代入すると、式（３８）で示されるように、ｙ⁽¹⁾は、x⁽⁵⁾およびd⁽¹⁾から算出できることがわかる。
ｙ⁽¹⁾=(2x⁽⁵⁾-d⁽¹⁾)/2 ・・・（３８）
【０６５６】
同様に、式（３９）で示されるように、ｙ⁽²⁾は、x⁽⁵⁾およびd⁽¹⁾から算出できる。
ｙ⁽²⁾=(2x⁽⁵⁾+d⁽¹⁾)/2 ・・・（３９）
【０６５７】
画素値予測部６０３は、ＳＤ画像が時間的に積分されていることに基づき、差分値d⁽¹⁾および画素値x⁽⁵⁾に、式（３８）で示される演算を適用して、注目画素の画素値ｙ⁽¹⁾を求め、差分値d⁽¹⁾および画素値x⁽⁵⁾に、式（３９）で示される演算を適用して、注目画素に時間方向（時間方向）に隣接する時間倍密画素の画素値ｙ⁽²⁾を求めることにより、時間倍密画像を予測して、予測した時間倍密画像を出力する。
【０６５８】
すなわち、フレーム差分予測部６０２は、加算した値が１つのＳＤ画素の画素値に等しい、時間方向に隣接する２つの時間倍密画素の画素値の差分値を予測し、画素値予測部６０３は、２つの時間倍密画素の画素値を加算した値が１つのＳＤ画素の画素値に等しいことを利用して、差分値から２つの時間倍密画素の画素値を予測する。
【０６５９】
このように、図４１に構成を示す画像処理装置は、入力画像から、時間倍密画像を生成して出力することができる。
【０６６０】
次に、図４３のフローチャートを参照して、図４１の画像処理装置が行う、ＳＤ画像から時間倍密画像を創造する画像創造処理について説明する。
【０６６１】
ステップＳ６０１乃至ステップＳ６０５の処理は、それぞれ、図１９のステップＳ２１１乃至ステップＳ２１５の処理と同様なので、その説明は省略する。
【０６６２】
ステップＳ６０６において、係数メモリ６０１は、クラス分類部２１３から供給された注目画素のクラスコードに基づき、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、フレーム差分予測部６０２に供給し、ステップＳ６０７に進む。
【０６６３】
ステップＳ６０７において、フレーム差分予測部６０２は、係数メモリ６０１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部２１５からの予測タップ（を構成する画素値）ｘ₁，ｘ₂，・・・とを用いて、積和演算を行うことにより、時間倍密画像における時間方向に隣接する２つの時間倍密画素の画素値の差分値（の予測値）を予測し、ステップＳ６０８に進む。フレーム差分予測部６０２は、このように予測された差分値からなるフレーム差分画像を画素値予測部６０３に供給する。ステップＳ６０７において、加算した値が１つのＳＤ画素の画素値に等しい、時間方向に隣接する２つの時間倍密画素の画素値の差分値が予測される。
【０６６４】
ステップＳ６０８において、画素値予測部６０３は、フレーム差分予測部６０２から供給された、時間倍密画像における時間方向に隣接する２つの時間倍密画素の画素値の差分値からなるフレーム差分画像、および入力画像の一例であるＳＤ画像から、ＳＤ画像が時間的に積分されること（時間混合）に基づく、ＳＤ画像と時間倍密画像との関係により、時間倍密画像の時間倍密画素の画素値を予測して、ステップＳ６０９に進む。
【０６６５】
例えば、画素値予測部６０３は、ＳＤ画像が空間的に積分されていることに基づき、注目画素に対応する差分値d、および注目画素に対応するＳＤ画像の画素の画素値xに、式（３８）で示される演算を適用して、注目画素の画素値ｙを求め、差分値dおよび画素値xに、式（３９）で示される演算を適用して、注目画素に時間方向に隣接する時間倍密画素の画素値ｙを求めることにより、時間倍密画像を予測する。すなわち、例えば、ステップＳ６０８において、２つの時間倍密画素の画素値を加算した値が１つのＳＤ画素の画素値に等しいことを利用して、２つの時間倍密画素の画素値の差分値から２つの時間倍密画素の画素値が予測される。
【０６６６】
ステップＳ６０９の処理は、図１９のステップＳ２１９と同様の処理なので、その説明は省略する。
【０６６７】
以上のように、図４１に構成を示す画像処理装置は、入力画像から、時間倍密画像を生成して出力することができる。
【０６６８】
次に、図４４は、図４１の係数メモリ６０１に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成を示すブロック図である。
【０６６９】
図２０に示す場合と同様に部分には同一の番号を付してあり、その説明は省略する。
【０６７０】
図４４の学習装置には、タップ係数の学習用の画像（教師画像）の元になる、例えば時間倍密画像が入力される。学習装置に入力された入力画像は、ＳＤ画像生成部２４１およびフレーム差分画像生成部６４１に供給される。
【０６７１】
フレーム差分画像生成部６４１は、入力画像である時間倍密画像から、教師画像であるフレーム差分画像を生成し、生成したフレーム差分画像を教師画素抽出部６４３に供給する。すなわち、フレーム差分画像生成部６４１は、時間的に隣り合う２つの時間倍密画素からなる組の１つに、時間倍密画像のそれぞれの時間倍密画素を振り分けて、その組毎に画素値の差を算出して、差分値とし、例えば、図４２において△印で示される差分値からなる、教師画像であるフレーム差分画像を生成する。フレーム差分画像生成部６４１は、加算した値が１つのＳＤ画素の画素値に等しい、２つの時間倍密画素の画素値の差分を算出する。
【０６７２】
フレーム差分画像生成部６４１で生成されるフレーム差分画像のフレームの数は、時間倍密画像のフレームの数の半分になる。
【０６７３】
図４４の注目画素選択部２６１は、入力画像データの画素よりも時間積分時間が短い、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に時間的に含まれる注目画素であって、対応画素、および対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値から、注目画素および高質画像データ内の他の画素を予測できるようになるものを選択する。
【０６７４】
図４４の注目画素選択部２６１は、入力画像データの画素よりも時間積分時間が短い、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に時間的に含まれる注目画素であって、対応画素、および対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値から、注目画素および高質画像データ内の他の画素を予測できるようになるものを選択する。
【０６７５】
クラス分類部２４５は、図４１のクラス分類部２１３と同様に構成され、特徴量検出部２１２からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部２４６および学習メモリ６４４に供給する。
【０６７６】
予測タップ抽出部２４６は、図４１の予測タップ抽出部２１５と同様に構成され、クラス分類部２４５から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ２４２に記憶されたＳＤ画像から抽出し、足し込み演算部６４２に供給する。ここで、予測タップ抽出部２４６は、図４１の予測タップ抽出部２１５が生成するのと同一のタップ構造の予測タップを生成する。
【０６７７】
教師画素抽出部６４３は、フレーム差分画像生成部６４１から供給された教師画像であるフレーム差分画像から、注目画素に対応する差分値を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部６４２に供給する。すなわち、教師画素抽出部６４３は、注目画素に時間的に隣接する時間倍密画素であって、注目画素の画素値とその隣接する時間倍密画素の画素値との和が１つのＳＤ画素の画素値に等しい時間倍密画素について、その時間倍密画素の画素値と注目画素の画素値との差分値を教師データして足し込み演算部６４２に供給する。
【０６７８】
足し込み演算部６４２および正規方程式演算部６４５は、差分値である教師データと、予測タップ抽出部２４６から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部２４５から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０６７９】
すなわち、足し込み演算部６４２は、予測タップ抽出部２４６から供給される予測タップ（ＳＤ画素）と、教師画素抽出部６４３から供給される教師データである差分値とを対象として足し込みを行う。
【０６８０】
足し込み演算部６４２における、足し込みの演算は、足し込み演算部５４２における場合と同様なので、その詳細の説明は省略する。なお、足し込み演算部５４２においては、空間方向に隣接する画素の画素値の差分値が足し込まれるのに対して、足し込み演算部６４２においては、時間方向に隣接する画素の画素値の差分値が足し込まれる。
【０６８１】
足し込み演算部６４２は、教師データとしての、時間倍密画像の注目画素に対応するフレーム差分画像の差分値すべてを注目している差分値として、足し込みを行うことにより、各クラスについて、正規方程式をたてると、その正規方程式を、学習メモリ６４４に供給する。
【０６８２】
学習メモリ６４４は、足し込み演算部６４２から供給された、生徒データとしてＳＤ画素、教師データとして差分値が設定された正規方程式を記憶する。
【０６８３】
正規方程式演算部６４５は、学習メモリ６４４から、各クラスについての正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて係数メモリ６４６に出力する。
【０６８４】
このように、足し込み演算部６４２および正規方程式演算部６４５は、検出された特徴量毎に、抽出された注目画素の複数の周辺画素から、対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値を予測する予測手段を学習する。
【０６８５】
係数メモリ６４６は、正規方程式演算部６４５が出力するクラスごとのタップ係数を記憶する。
【０６８６】
次に、図４５のフローチャートを参照して、図４４の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０６８７】
ステップＳ６４１の処理は、図２１のステップＳ２４１の処理と同様なので、その説明は省略する。
【０６８８】
ステップＳ６４２において、フレーム差分画像生成部６４１は、入力画像である時間倍密画像から、教師画像であるフレーム差分画像を生成して、処理はステップＳ６４３に進む。フレーム差分画像生成部６４１は、生成したフレーム差分画像を教師画素抽出部６４３に供給する。
【０６８９】
例えば、フレーム差分画像生成部６４１は、時間に隣り合う２つのフレームの、画面上の対応する位置の時間倍密画素から、画素値の差を算出して、差分値とし、差分値からなる、教師画像であるフレーム差分画像を生成する。ステップＳ６４２において、加算した値が１つのＳＤ画素の画素値に等しい、２つの時間倍密画素の画素値の差分が算出される。
【０６９０】
ステップＳ６４３乃至ステップＳ６４７の処理は、図２１のステップＳ２４２乃至ステップＳ２４６の処理と同様なので、その説明は省略する。
【０６９１】
なお、ステップＳ６４３において、入力画像データの画素よりも時間積分時間が短い、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に時間的に含まれる注目画素であって、対応画素、および対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値から、注目画素および高質画像データ内の他の画素を予測できるようになるものが選択される。
【０６９２】
ステップＳ６４８において、教師画素抽出部６４３は、フレーム差分画像生成部６４１から供給されたフレーム差分画像から、注目画素に対応する差分値を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部６４２に供給し、ステップＳ６４９に進む。
【０６９３】
ステップＳ６４９において、足し込み演算部６４２は、予測タップ抽出部２４６から供給される予測タップ（ＳＤ画素）と、教師画素抽出部６４３から供給される教師データである差分値とを対象とした足し込みの演算を行い、ステップＳ６５０に進む。例えば、足し込み演算部６４２は、生徒データとしての、ＳＤ画素からなる予測タップ、および教師データとしての、時間倍密画像の注目画素に対応するフレーム差分画像の差分値に対して、足し込みを行うことにより、各クラスについて、正規方程式をたてると、その正規方程式を、学習メモリ６４４に記憶させる。
【０６９４】
すなわち、ステップＳ６４９において、注目画素に時間的に隣接する時間倍密画素であって、注目画素の画素値とその隣接する時間倍密画素の画素値との和が１つのＳＤ画素の画素値に等しい時間倍密画素についての、その時間倍密画素の画素値と注目画素の画素値との差分値、および予測タップであるＳＤ画素の画素値が正規方程式に足し込まれる。
【０６９５】
ステップＳ６５０において、注目画素選択部２６１は、教師データとしての時間倍密画像の時間倍密画素のうちの時間方向に１つおきの画素の中に、まだ注目画素としていないものがあるかどうか、すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステップＳ６５０において、教師データとしての時間倍密画像の時間倍密画素のうちの時間方向に１つおきの画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ６４３に戻り、以下、同様の処理が繰り返される。
【０６９６】
また、ステップＳ６５０において、教師データとしての時間倍密画像の時間倍密画素のうちの時間方向に１つおきの画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップＳ６５１に進み、正規方程式演算部６４５は、いままでのステップＳ６４９における足し込みによって、クラスごとに得られた正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ６４４から読み出し、読み出した正規方程式を掃き出し法などで解くことにより（クラス毎に学習し）、所定のクラスの予測係数（タップ係数）を求め、係数メモリ６４６に供給して、ステップＳ６５２に進む。
【０６９７】
ステップＳ６５２において、係数メモリ６４６は、正規方程式演算部６４５から供給された所定のクラスの予測係数（タップ係数）を、クラス毎に記憶し、ステップＳ６５３に進む。
【０６９８】
このように、ステップＳ６４９およびステップＳ６５１において、検出された特徴量毎に、抽出された注目の複数の周辺画素から、対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値を予測する予測手段が学習される。
【０６９９】
ステップＳ６５３において、正規方程式演算部６４５は、全クラスの予測係数の演算を終了したか否かを判定し、全クラスの予測係数の演算を終了していないと判定された場合、ステップＳ６５１に戻り、次のクラスの予測係数を求める処理を繰り返す。
【０７００】
ステップＳ６５３において、全クラスの予測係数の演算を終了したと判定された場合、処理は終了する。
【０７０１】
以上のようにして、係数メモリ６４６に記憶されたクラスごとの予測係数が、図４１の画像処理装置における係数メモリ６０１に記憶されている。
【０７０２】
入力画像データの画素よりも時間積分時間が短い、高質画像データ内の画素のうちの注目している画素であり、入力画像データ内の画素のうちの１つである対応画素に時間的に含まれる注目画素であって、対応画素、および対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値から、注目画素および高質画像データ内の他の画素を予測できるようになるものを選択し、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出し、検出された特徴量毎に、抽出された複数の第２の周辺画素から、対応画素に含まれる高質画像データ内の他の画素と注目画素との差分値を予測する予測手段を学習するようにした場合には、予測において、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０７０３】
なお、本発明に係る画像処理装置は、ＳＤ画像を入力して、ＳＤ画像に対応する空間方向または時間方向により高解像度の画像を生成して出力すると説明したが、入力される画像が、ＳＤ画像に限られるものではないことは勿論である。例えば、画像処理装置は、時間倍密画像または垂直倍密画像を入力して、ＨＤ画像を出力するようにしてもよい。
【０７０４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０７０５】
図４６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）７０３には、CPU７０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU７０１、ROM７０２、およびRAM７０３は、バス７０４により相互に接続されている。
【０７０６】
CPU７０１にはまた、バス７０４を介して入出力インタフェース７０５が接続されている。入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。CPU７０１は、入力部７０６から入力される指令に対応して各種の処理を実行する。そして、CPU７０１は、処理の結果得られた画像や音声等を出力部７０７に出力する。
【０７０７】
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクなどで構成され、CPU７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部７０９は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。
【０７０８】
また、通信部７０９を介してプログラムを取得し、記憶部７０８に記憶してもよい。
【０７０９】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク７５１、光ディスク７５２、光磁気ディスク７５３、或いは半導体メモリ７５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され、記憶される。
【０７１０】
一連の処理をさせるプログラムが格納されている記録媒体は、図４６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク７５１（フレキシブルディスクを含む）、光ディスク７５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク７５３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ７５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成される。
【０７１１】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０７１２】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０７１３】
【発明の効果】
以上のように、本発明によれば、より高画質の画像を得ることができるようになる。
【０７１４】
また、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【図面の簡単な説明】
【図１】従来の画像処理装置の構成を説明するブロック図である。
【図２】従来の画像の創造の処理を説明するフローチャートである。
【図３】予測係数を生成する、従来の画像処理装置の構成を説明するブロック図である。
【図４】従来の学習の処理を説明するフローチャートである。
【図５】本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【図６】注目画素およびクラスタップを説明する図である。
【図７】イメージセンサ上の画素の配置を説明する図である。
【図８】検出素子を説明する図である。
【図９】画素の配置、および水平倍密画像の画素に対応する領域を説明する図である。
【図１０】領域a乃至rに入射される光に対応する画素の画素値を説明する図である。
【図１１】画像の創造の処理を説明するフローチャートである。
【図１２】学習装置の一実施の形態の構成を示すブロック図である。
【図１３】学習の処理を説明するフローチャートである。
【図１４】学習装置の一実施の形態の他の構成を示すブロック図である。
【図１５】学習の処理を説明するフローチャートである。
【図１６】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図１７】注目画素およびクラスタップを説明する図である。
【図１８】ＳＤ画像と時間倍密画像との関係を説明する図である。
【図１９】画像の創造の処理を説明するフローチャートである。
【図２０】学習装置の一実施の形態の構成を示すブロック図である。
【図２１】学習の処理を説明するフローチャートである。
【図２２】学習装置の一実施の形態の他の構成を示すブロック図である。
【図２３】学習の処理を説明するフローチャートである。
【図２４】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図２５】画像の創造の処理を説明するフローチャートである。
【図２６】画像の創造の処理を説明するフローチャートである。
【図２７】本発明に係る学習装置の一実施の形態の構成を示すブロック図である。
【図２８】学習の処理を説明するフローチャートである。
【図２９】学習の処理を説明するフローチャートである。
【図３０】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図３１】画像の創造の処理を説明するフローチャートである。
【図３２】画像の創造の処理を説明するフローチャートである。
【図３３】本発明に係る学習装置の一実施の形態の構成を示すブロック図である。
【図３４】学習の処理を説明するフローチャートである。
【図３５】学習の処理を説明するフローチャートである。
【図３６】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図３７】ＳＤ画像と差分画像と水平倍密画像との関係を説明する図である。
【図３８】画像の創造の処理を説明するフローチャートである。
【図３９】本発明に係る学習装置の一実施の形態の構成を示すブロック図である。
【図４０】学習の処理を説明するフローチャートである。
【図４１】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図４２】ＳＤ画像とフレーム差分画像と時間倍密画像との関係を説明する図である。
【図４３】画像の創造の処理を説明するフローチャートである。
【図４４】本発明に係る学習装置の一実施の形態の構成を示すブロック図である。
【図４５】学習の処理を説明するフローチャートである。
【図４６】パーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
１０１ クラスタップ抽出部， １０２ 特徴量検出部， １０３ クラス分類部， １０４係数メモリ， １０５ 予測タップ抽出部， １０６ 画素値予測部， １０７ 画素値予測部， １２１ 注目画素選択部， １４１ ＳＤ画像生成部， １４２ 画像メモリ， １４３ クラスタップ抽出部， １４４ 特徴量検出部， １４５ クラス分類部， １４６ 予測タップ抽出部， １４７ 足し込み演算部， １４８ 教師画素抽出部， １４９ 学習メモリ， １５０ 正規方程式演算部， １５１ 係数メモリ， １６１ 注目画素選択部，１８１ 足し込み演算部， １８２ 教師画素抽出部， １８３ 学習メモリ， １８４ 正規方程式演算部， １８５ 係数メモリ， ２１１ クラスタップ抽出部， ２１２ 特徴量検出部， ２１３ クラス分類部， ２１４ 係数メモリ， ２１５ 予測タップ抽出部， ２１６ 画素値予測部， ２１７ 画素値予測部， ２２１ 注目画素選択部， ２４１ ＳＤ画像生成部， ２４２画像メモリ， ２４３ クラスタップ抽出部， ２４４ 特徴量検出部， ２４５ クラス分類部， ２４６ 予測タップ抽出部， ２４７ 足し込み演算部， ２４８ 教師画素抽出部， ２４９ 学習メモリ， ２５０ 正規方程式演算部， ２５１ 係数メモリ， ２６１ 注目画素選択部， ２８１ 足し込み演算部， ２８２ 教師画素抽出部， ２８３ 学習メモリ， ２８４ 正規方程式演算部， ２８５ 係数メモリ， ３０１ クラスタップ抽出部， ３０２特徴量検出部， ３０３ クラス分類部， ３０４ 係数メモリ， ３０５ 予測タップ抽出部， ３０６ 画素値予測部， ３０７ 画素値予測部， ３１１ 注目画素選択部， ３２１ ＳＤ画像生成部， ３２２ 水平倍密画像生成部， ３２３ 画像メモリ， ３２４ クラスタップ抽出部， ３２５ 特徴量検出部， ３２６ クラス分類部， ３２７ 予測タップ抽出部， ３２８ 足し込み演算部， ３２９ 教師画素抽出部， ３３０ 学習メモリ， ３３１ 正規方程式演算部， ３３２ 係数メモリ， ３４１ 注目画素選択部， ３５１ クラスタップ抽出部， ３５２ 特徴量検出部， ３５３ クラス分類部，３５４ 係数メモリ， ３５５ 予測タップ抽出部， ３５６ 画素値予測部， ３５７ 画素値予測部， ３７１ 注目画素選択部， ３８１ ＳＤ画像生成部， ３８２ フレーム間引画像生成部， ３８３ 画像メモリ， ３８４ クラスタップ抽出部， ３８５ 特徴量検出部， ３８６ クラス分類部， ３８７ 予測タップ抽出部， ３８８ 足し込み演算部， ３８９ 教師画素抽出部， ３９０ 学習メモリ， ３９１ 正規方程式演算部， ３９２ 係数メモリ， ４１１ 注目画素選択部， ５０１ 係数メモリ， ５０２ 差分予測部， ５０３ 画素値予測部， ５４１ 差分画像生成部， ５４２ 足し込み演算部， ５４３ 教師画素抽出部， ５４４ 学習メモリ， ５４５ 正規方程式演算部， ５４６ 係数メモリ， ６０１ 係数メモリ， ６０２ フレーム差分予測部， ６０３ 画素値予測部， ６４１ フレーム差分画像生成部， ６４２ 足し込み演算部， ６４３ 教師画素抽出部， ６４４ 学習メモリ，６４５ 正規方程式演算部， ６４６ 係数メモリ， ７０１ ＣＰＵ， ７０２ ＲＯＭ， ７０３ ＲＡＭ， ７０８ 記憶部， ７５１ 磁気ディスク， ７５２ 光ディスク， ７５３ 光磁気ディスク， ７５４ 半導体メモリ

Claims (4)

1. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも空間方向または時間方向において高解像度な高質画像データに変換する画像処理装置において、
   前記入力画像データ内に画素値が含まれる対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の画素値の２倍である、２つの注目画素のうちの一方である第１の注目画素の位置の周辺に配される、前記入力画像データ内の、複数の第１の周辺画素の画素値を抽出する第１の抽出手段と、
   前記第１の注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出手段と、
   前記第１の抽出手段により抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出手段と、
   前記特徴量検出手段により検出された前記特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素の画素値との積和演算により、前記第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出手段により抽出された複数の前記第２の周辺画素の画素値とに積和演算を適用することにより、前記第１の注目画素の画素値を予測する第１の予測手段と、
   前記入力画像データ内の、前記対応画素の画素値から、前記第１の注目画素の画素値を減算することで、前記高質画像データ内の、２つの注目画素の画素値のうちの他方である第２の注目画素の画素値を予測する第２の予測手段と
   を含むことを特徴とする画像処理装置。
2. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも空間方向または時間方向において高解像度な高質画像データに変換する画像処理方法において、
   前記入力画像データ内に画素値が含まれる対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の画素値の２倍である、２つの注目画素のうちの一方である第１の注目画素の位置の周辺に配される、前記入力画像データ内の、複数の第１の周辺画素を抽出する第１の抽出ステップと、
   前記第１の注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された前記特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素の画素値との積和演算により、前記第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素の画素値とに積和演算を適用することにより、前記第１の注目画素の画素値を予測する第１の予測ステップと、
   前記入力画像データ内の、前記対応画素の画素値から、前記第１の注目画素の画素値を減算することで、前記高質画像データ内の、２つの注目画素の画素値のうちの他方である第２の注目画素の画素値を予測する第２の予測ステップと
   を含むことを特徴とする画像処理方法。
3. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも空間方向または時間方向において高解像度な高質画像データに変換する画像処理用のプログラムであって、
   前記入力画像データ内に画素値が含まれる対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の画素値の２倍である、２つの注目画素のうちの一方である第１の注目画素の位置の周辺に配される、前記入力画像データ内の、複数の第１の周辺画素を抽出する第１の抽出ステップと、
   前記第１の注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された前記特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素の画素値との積和演算により、前記第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素の画素値とに積和演算を適用することにより、前記第１の注目画素の画素値を予測する第１の予測ステップと、
   前記入力画像データ内の、前記対応画素の画素値から、前記第１の注目画素の画素値を減算することで、前記高質画像データ内の、２つの注目画素の画素値のうちの他方である第２の注目画素の画素値を予測する第２の予測ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
4. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも空間方向または時間方向において高解像度な高質画像データに変換する画像処理を、コンピュータに行わせるプログラムにおいて、
   前記入力画像データ内に画素値が含まれる対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の画素値の２倍である、２つの注目画素のうちの一方である第１の注目画素の位置の周辺に配される、前記入力画像データ内の、複数の第１の周辺画素を抽出する第１の抽出ステップと、
   前記第１の注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された前記特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素の画素値との積和演算により、前記第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素の画素値とに積和演算を適用することにより、前記第１の注目画素の画素値を予測する第１の予測ステップと、
   前記入力画像データ内の、前記対応画素の画素値から、前記第１の注目画素の画素値を減算することで、前記高質画像データ内の、２つの注目画素の画素値のうちの他方である第２の注目画素の画素値を予測する第２の予測ステップと
   を含むことを特徴とするプログラム。

Images