JP4311038B2 - 学習装置および方法、画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、学習装置および方法、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、例えば、画像をより高画質の画像に変換すること等ができるようにする学習装置および方法、画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の変換を行うデータ変換処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【０００４】
即ち、適応処理では、例えば、低画質または標準画質の画像（以下、適宜、ＳＤ(Standard Definition)画像という）データが、所定のタップ係数（以下、適宜、予測係数とも称する）を用いてマッピング（写像）されることにより、高画質の画像（以下、適宜、ＨＤ(High Definition)画像という）データに変換される。
【０００５】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、ＨＤ画像データを構成する画素（以下、適宜、ＨＤ画素という）（の画素値）ｙは、ＳＤ画像データを構成する画素（以下、適宜、ＳＤ画素という）から、ＨＤ画素を予測するための予測タップとして抽出される複数のＳＤ画素と、タップ係数とを用いて、次の線形１次式（線形結合）によって求められる。
【数１】

【０００６】
但し、式（１）において、ｘ_nは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目のＳＤ画像データの画素の画素値を表し、ｗ_nは、ｎ番目のＳＤ画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個のＳＤ画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。
【０００７】
ここで、ＨＤ画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０００８】
いま、第ｋサンプルのＨＤ画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k'と表すと、その予測誤差ｅ_kは、次式で表される。
【数２】

【０００９】
式（２）の予測値ｙ_k'は、式（１）にしたがって求められるため、式（２）のｙ_k'を、式（１）にしたがって置き換えると、次式が得られる。
【数３】

【００１０】
但し、式（３）において、ｘ_n,kは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【００１１】
式（３）の予測誤差ｅ_kを０とするタップ係数ｗ_nが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗ_nを求めることは、一般には困難である。
【００１２】
そこで、タップ係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_nは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【数４】

【００１３】
但し、式（４）において、Ｋは、ＨＤ画素ｙ_kと、そのＨＤ画素ｙ_kについての予測タップを構成するＳＤ画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数を表す。
【００１４】
式（４）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_nは、その総和Ｅをタップ係数ｗ_nで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【数５】

【００１５】
そこで、上述の式（３）をタップ係数ｗ_nで偏微分すると、次式が得られる。
【数６】

【００１６】
式（５）と（６）から、次式が得られる。
【数７】

【００１７】
式（７）のｅ_kに、式（３）を代入することにより、式（７）は、式（８）で示される正規方程式で表すことができる。
【数８】

【００１８】
式（８）の正規方程式は、ＨＤ画素ｙ_kとＳＤ画素ｘ_n,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_nの数と同じ数だけたてることができ、従って、式（８）を解くことで（但し、式（８）を解くには、式（８）において、タップ係数ｗ_nにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗ_nを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。
【００１９】
以上のように、多数のＨＤ画素ｙ₁，ｙ₂，・・・，ｙ_Kを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙ_kについての予測タップを構成するＳＤ画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kを、タップ係数の学習の生徒となる生徒データとして、式（８）を解くことにより、最適なタップ係数ｗ_nを求める学習を行っておき、さらに、そのタップ係数ｗ_nを用い、式（１）により、ＳＤ画像データを、ＨＤ画像データにマッピング（変換）するのが適応処理である。
【００２０】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗ_nが、教師データとしてのＨＤ画像データと生徒データとしてのＳＤ画像データとを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【００２１】
ここで、タップ係数ｗ_nの学習では、教師データｙと生徒データｘとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗ_nを求めることができる。
【００２２】
即ち、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データにノイズやぼけを付加したＳＤ画像データを採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数ｗ_nを得ることができる。また、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データの解像度を劣化させたＳＤ画像データを採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数ｗ_nを得ることができる。さらに、例えば、教師データｙとして、画像データを採用するとともに、生徒データｘとして、その画像データをＤＣＴ(Discrete Cosine Transform)変換したＤＣＴ係数を採用した場合には、ＤＣＴ係数を画像データに変換するタップ係数ｗ_nを得ることができる。
【００２３】
次に、クラス分類適応処理を実行する、従来の画像処理装置の構成を説明する。
【００２４】
図１は、クラス分類適応処理により、ＳＤ画像である入力画像から、ＨＤ画像である出力画像を創造する、従来の画像処理装置の構成を説明するブロック図である。
【００２５】
図１に構成が示される画像処理装置において、入力画像は、クラスタップ抽出部１１および予測タップ抽出部１５に供給される。
【００２６】
クラスタップ抽出部１１は、注目している画素（以下、注目画素とも称する）に対応する、所定の画素であるクラスタップを入力画像から抽出し、抽出したクラスタップを入力画像と共に特徴量演算部１２に供給する。特徴量演算部１２は、クラスタップ抽出部１１から供給された入力画像から、注目している画素に対応する画像の特徴量を演算し、クラスタップと共に演算した特徴量をクラス分類部１３に供給する。画像の特徴量とは、動き、またはフレーム内の画素値の変化などをいう。
【００２７】
クラス分類部１３は、特徴量演算部１２から供給されたクラスタップおよび特徴量を基に、注目している画素に対応して、クラス分けし、クラス分けの結果を示すクラスコードを係数メモリ１４および予測タップ抽出部１５に供給する。
【００２８】
係数メモリ１４は、クラス分類部１３から供給されたクラスコードを基に、注目している画素のクラスに対応するタップ係数を画素値演算部１６に供給する。
【００２９】
予測タップ抽出部１５は、クラス分類部１３から供給されたクラスコードを基に、注目している画素に対応して、所定の予測タップを入力画像から抽出する。予測タップ抽出部１５は、抽出した予測タップを画素値演算部１６に供給する。
【００３０】
画素値演算部１６は、予測タップ抽出部１５から供給された予測タップおよび係数メモリ１４から供給されたタップ係数から、式（１）で示される演算により、ＨＤ画像の注目している画素の画素値を演算し、演算されたＨＤ画像を出力する。
【００３１】
図２は、クラス分類適応処理により、ＳＤ画像である入力画像から、ＨＤ画像である出力画像を創造する、従来の画像処理装置による画像の創造の処理を説明するフローチャートである。
【００３２】
ステップＳ１１において、クラスタップ抽出部１１は、入力画像から、注目画素に対応するクラスタップを抽出する。ステップＳ１２において、特徴量演算部１２は、入力画像から、注目画素に対応する特徴量を演算する。
【００３３】
ステップＳ１３において、クラス分類部１３は、ステップＳ１１の処理により抽出されたクラスタップ、およびステップＳ１２の処理により演算された特徴量を基に、注目画素に対応して、クラスを分類する。
【００３４】
ステップＳ１４において、予測タップ抽出部１５は、ステップＳ１３の処理によるクラスの分類の結果に対応して、入力画像から、注目画素に対応する予測タップを抽出する。ステップＳ１５において、係数メモリ１４は、ステップＳ１３の処理によるクラスの分類の結果に対応して、予め記憶している予測係数のなかから、分類されたクラスに対応する予測係数を読み出す。
【００３５】
ステップＳ１６において、画素値演算部１６は、ステップＳ１４の処理で抽出された予測タップ、およびステップＳ１５の処理で読み出された予測係数を基に、注目画素に対応する画素値を演算する。
【００３６】
ステップＳ１７において、画像処理装置は、全ての画素について予測が終了したか否かを判定し、全ての画素について予測が終了していないと判定された場合、次の画素を注目画素として、ステップＳ１１に戻り、クラスの分類および適応の処理を繰り返す。
【００３７】
ステップＳ１７において、全ての画素について予測が終了したと判定された場合、処理は終了する。
【００３８】
図３は、ＳＤ画像である入力画像からＨＤ画像である出力画像を創造するクラス分類適応処理に使用される予測係数を生成する、従来の画像処理装置の構成を説明するブロック図である。
【００３９】
図３で示される画像処理装置に入力される入力画像は、ＨＤ画像である教師画像であり、生徒画像生成部３１および教師画素抽出部３８に供給される。教師画像に含まれる画素は、教師データとして使用される。
【００４０】
生徒画像生成部３１は、入力されたＨＤ画像である教師画像から、画素を間引いて、教師画像に対応するＳＤ画像である生徒画像を生成し、生成した生徒画像を画像メモリ３２に供給する。
【００４１】
画像メモリ３２は、生徒画像生成部３１から供給されたＳＤ画像である生徒画像を記憶し、記憶している生徒画像をクラスタップ抽出部３３および予測タップ抽出部３６に供給する。
【００４２】
クラスタップ抽出部３３は、注目している画素に対応して生徒画像からクラスタップを抽出し、生徒画像と共に抽出されたクラスタップを特徴量演算部３４に供給する。特徴量演算部３４は、生徒画像から特徴量を演算し、演算された特徴量をクラスタップと共にクラス分類部３５に供給する。
【００４３】
クラス分類部３５は、特徴量演算部３４から供給されたクラスタップおよび特徴量を基に、注目している画素に対応してクラスを分類し、分類されたクラスを示すクラスコードを予測タップ抽出部３６および学習メモリ３９に供給する。
【００４４】
予測タップ抽出部３６は、クラス分類部３５から供給されたクラスコードを基に、画像メモリ３２から供給された生徒画像から、分類されたクラスに対応する予測タップを抽出して、抽出された予測タップを足し込み演算部３７に供給する。
【００４５】
教師画素抽出部３８は、教師データ、すなわち、教示画像の注目している画素を抽出して、抽出した教師データを足し込み演算部３７に供給する。
【００４６】
足し込み演算部３７は、式（８）の正規方程式に、ＨＤ画素である教師データおよびＳＤ画素である予測タップを足し込み、教師データおよび予測タップを足し込んだ正規方程式を学習メモリ３９に供給する。
【００４７】
学習メモリ３９は、クラス分類部３５から供給されたクラスコードを基に、足し込み演算部３７から供給された正規方程式をクラス毎に記憶する。学習メモリ３９は、クラス毎に記憶している、教師データおよび予測タップが足し込まれた正規方程式を正規方程式演算部４０に供給する。
【００４８】
正規方程式演算部４０は、学習メモリ３９から供給された正規方程式を掃き出し法により解いて、クラス毎に予測係数を求める。正規方程式演算部４０は、クラス毎の予測係数を係数メモリ４１に供給する。
【００４９】
係数メモリ４１は、正規方程式演算部４０から供給された、クラス毎の予測係数を記憶する。
【００５０】
図４は、ＳＤ画像である入力画像からＨＤ画像である出力画像を創造するクラス分類適応処理に使用される予測係数を生成する、従来の画像処理装置による学習の処理を説明するフローチャートである。
【００５１】
ステップＳ３１において、生徒画像生成部３１は、教師画像である入力画像から生徒画像を生成する。ステップＳ３２において、クラスタップ抽出部３３は、注目している画素に対応するクラスタップを生徒画像から抽出する。
【００５２】
ステップＳ３３において、特徴量演算部３４は、生徒画像から、特徴量を演算する。
【００５３】
ステップＳ３４において、クラス分類部３５は、ステップＳ３２の処理により抽出されたクラスタップ、およびステップＳ３３の処理により演算された特徴量を基に、注目している画素のクラスを分類する。
【００５４】
ステップＳ３５において、予測タップ抽出部３６は、ステップＳ３４の処理により分類されたクラスを基に、注目している画素に対応する予測タップを生徒画像から抽出する。
【００５５】
ステップＳ３６において、教師画素抽出部３８は、教師画像である入力画像から教師画素（教師データ）を抽出する。
【００５６】
ステップＳ３７において、足し込み演算部３７は、ステップＳ３５の処理で抽出された予測タップ、およびステップＳ３６の処理で抽出された教師画素（教師データ）を正規方程式に足し込む演算を実行する。
【００５７】
ステップＳ３８において、画像処理装置は、全画素について足し込みの処理が終了したか否かを判定し、全画素について足し込みの処理が終了していないと判定された場合、ステップＳ３２に戻り、次の画素を注目画素として、予測タップおよび教師画素を抽出して、正規方程式に足し込む処理を繰り返す。
【００５８】
ステップＳ３８において、全画素について足し込みの処理が終了したと判定された場合、ステップＳ３９に進み、正規方程式演算部４０は、予測タップおよび教師画素が足し込まれた正規方程式を演算して、予測係数を求める。
【００５９】
ステップＳ４０において、画像処理装置は、全クラスの予測係数を演算したか否かを判定し、全クラスの予測係数を演算していないと判定された場合、ステップＳ３９に戻り、正規方程式を演算して、予測係数を求める処理を繰り返す。
【００６０】
ステップＳ４０において、全クラスの予測係数を演算したと判定された場合、処理は終了する。
【００６１】
また、生成されるべき注目画素の周囲に存在する第１のディジタルビデオ信号に含まれる複数の周辺画素を受け取り、その複数の周辺画素からその注目画素のパターンを検出し、検出されたパターンを示すパターンデータを発生し、基準のデータを用いて、生成されるべき注目画素と真値との誤差の自乗和が最小となるように、最小自乗和法により予め定められた各パターン毎の係数群を格納し、パターンデータに基づいて読み出されたパターンデータに対応する係数群と第１のディジタルビデオ信号を受け取り、係数群と第１のディジタルビデオ信号から注目画素を生成しているものもある（例えば、特許文献１参照）。
【００６２】
【特許文献１】
特開平８−３１７３４６号公報
【００６３】
【発明が解決しようとする課題】
しかしながら、より精度の高い画像を予測するには、クラスタップまたは予測タップの数を増やさなければならず、クラスタップまたは予測タップの数を増やしたとき、画像の予測のための演算量が多くなってしまうという問題があった。
【００６４】
本発明はこのような状況に鑑みてなされたものであり、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようにすることを目的とする。
【００６５】
【課題を解決するための手段】
本発明の第１の学習装置は、複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データから、入力画像データよりも高解像度な高質画像データを予測する演算に利用する予測係数を学習する学習装置であって、教師データとして既知の高質画像データ内に画素値が含まれる注目画素に対応し、入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出手段と、注目画素に対応し、入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出する特徴量検出手段と、特徴量検出手段により検出された特徴量毎に、注目画素の画素値および第２の抽出手段により抽出された複数の第２の周辺画素同士の差分値に基づいて、複数の第２の周辺画素同士の差分値との積和演算により注目画素の画素値を予測する予測係数を学習する学習手段と、学習手段により学習された予測係数を記憶する記憶手段とを含むことを特徴とする。
【００６６】
本発明の第１の学習方法、第１の記録媒体、および第１のプログラムのそれぞれは、上述した本発明の第１の学習装置に対応する方法、記録媒体、およびプログラムのそれぞれである。
【００６９】
本発明の第２の学習装置は、複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データから、入力画像データよりも高解像度な高質画像データの隣接する２つの画素の差分値を予測する演算に利用する予測係数を学習する学習装置であって、教師データとして既知の高質画像データ内に画素値が含まれる注目画素に対応し、入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出手段と、注目画素に対応し、入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出する特徴量検出手段と、特徴量検出手段により検出された特徴量毎に、注目画素と高質画像内に画素値が含まれる注目画素に隣接する他の画素との差分値および第２の抽出手段により抽出された複数の第２の周辺画素同士の差分値に基づいて、複数の第２の周辺画素同士の差分値との積和演算により注目画素と他の画素との差分値を予測する予測係数を学習する学習手段と、学習手段により学習された予測係数を記憶する記憶手段とを含むことを特徴とする。
【００７０】
本発明の第２の学習方法、第２の記録媒体、および第２のプログラムのそれぞれは、上述した本発明の第２の学習装置に対応する方法、記録媒体、およびプログラムのそれぞれである。
【００７３】
本発明の第１の画像処理装置は、複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、入力画像データよりも高解像度な高質画像データに変換する画像処理装置であって、高質画像データ内に画素値が含まれる第１の注目画素に対応し、入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出手段と、第１の注目画素に対応し、入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出手段と、特徴量検出手段により検出された特徴量毎に、高質画像データの質に相当する教師データに画素値が含まれる第１の注目画素に相当する画素の周辺に配される、入力画像データの質に相当する生徒データに画素値が含まれる第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、第２の抽出手段により抽出された複数の第２の周辺画素同士の差分値とに積和演算を適用することにより第１の注目画素の画素値を予測する第１の予測手段と、入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、高質画像データ内に画素値が含まれ、対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が第１の注目画素である場合、第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、第１の注目画素および第２の注目画素に対応する対応画素の画素値から、第１の注目画素の画素値を減算することで、第２の注目画素の画素値を予測する第２の予測手段とを含むことを特徴とする。
【００７４】
本発明の第１の画像処理方法、第３の記録媒体、および第３のプログラムのそれぞれは、上述した本発明の第１の画像処理装置に対応する方法、記録媒体、およびプログラムのそれぞれである。
【００７７】
本発明の第２の画像処理装置は、複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、入力画像データよりも高解像度な高質画像データに変換する画像処理装置であって、高質画像データ内に画素値が含まれる第１の注目画素に対応し、入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出手段と、第１の注目画素に対応し、入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された複数の第１の周辺画素の特徴量を検出する特徴量検出手段と、入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、高質画像データ内に画素値が含まれ、対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が第１の注目画素である場合、第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、特徴量検出手段により検出された特徴量に、高質画像データの質に相当する教師データに画素値が含まれる第１の注目画素に相当する画素の周辺に配される、入力画像データの質に相当する生徒データに画素値が含まれる第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、第１の注目画素に相当する画素の画素値と第２の注目画素に相当する画素の画素値との差分値を予測する係数が予め学習され、記憶されており、その係数と、第２の抽出手段により抽出された複数の第２の周辺画素同士の差分値とに積和演算を適用することにより、第１の注目画素の画素値と第２の注目画素の画素値との差分値を予測する第１の予測手段と、第１の注目画素および第２の注目画素に対応し、入力画像データ内に画素値が含まれる対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する第２の予測手段とを含むことを特徴とする。
【００７８】
本発明の第２の画像処理方法、第４の記録媒体、および第４のプログラムのそれぞれは、上述した本発明の第２の画像処理装置に対応する方法、記録媒体、およびプログラムのそれぞれである。
【００８１】
本発明の第１の学習装置および方法、第１の記録媒体、並びに第１のプログラムにおいては、教師データとして既知の高質画像データ内に画素値が含まれる注目画素に対応し、入力画像データ内に画素値が含まれる複数の第１の周辺画素が抽出され、注目画素に対応し、入力画像データ内に画素値が含まれる複数の第２の周辺画素が抽出され、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量が検出され、検出された特徴量毎に、注目画素の画素値および抽出された複数の第２の周辺画素同士の差分値に基づいて、複数の第２の周辺画素同士の差分値との積和演算により注目画素の画素値を予測する予測係数が学習される。
【００８２】
本発明の第２の学習装置および方法、第２の記録媒体、並びに第２のプログラムにおいては、教師データとして既知の高質画像データ内に画素値が含まれる注目画素に対応し、入力画像データ内に画素値が含まれる複数の第１の周辺画素が抽出され、注目画素に対応し、入力画像データ内に画素値が含まれる複数の第２の周辺画素が抽出され、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量が検出され、検出された特徴量毎に、注目画素と高質画像内に画素値が含まれる注目画素に隣接する他の画素との差分値および抽出された複数の第２の周辺画素同士の差分値に基づいて、複数の第２の周辺画素同士の差分値との積和演算により注目画素と他の画素との差分値を予測する予測係数が学習される。
【００８３】
学習装置は、独立した装置であっても良いし、学習処理を行うブロックであっても良い。
【００８４】
本発明の第１の画像処理装置および方法、第３の記録媒体、並びに第３のプログラムにおいては、高質画像データ内に画素値が含まれる第１の注目画素に対応し、入力画像データ内に画素値が含まれる複数の第１の周辺画素が抽出され、第１の注目画素に対応し、入力画像データ内に画素値が含まれる複数の第２の周辺画素が抽出され、抽出された複数の第１の周辺画素の特徴量が検出され、検出された特徴量毎に、高質画像データの質に相当する教師データに画素値が含まれる第１の注目画素に相当する画素の周辺に配される、入力画像データの質に相当する生徒データに画素値が含まれる第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、抽出された複数の第２の周辺画素同士の差分値とに積和演算を適用することにより第１の注目画素の画素値が予測され、入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、高質画像データ内に画素値が含まれ、対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が第１の注目画素である場合、第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、第１の注目画素および第２の注目画素に対応する対応画素の画素値から、第１の注目画素の画素値を減算することで、第２の注目画素の画素値が予測される。
【００８５】
本発明の第２の画像処理装置および方法、第４の記録媒体、並びに第４のプログラムにおいては、高質画像データ内に画素値が含まれる第１の注目画素に対応し、入力画像データ内に画素値が含まれる複数の第１の周辺画素が抽出され、第１の注目画素に対応し、入力画像データ内に画素値が含まれる複数の第２の周辺画素が抽出され、抽出された複数の第１の周辺画素の特徴量が検出され、入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、高質画像データ内に画素値が含まれ、対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が第１の注目画素である場合、第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、検出された特徴量毎に、高質画像データの質に相当する教師データに画素値が含まれる第１の注目画素に相当する画素の周辺に配される、入力画像データの質に相当する生徒データに画素値が含まれる第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、第１の注目画素に相当する画素の画素値と第２の注目画素に相当する画素の画素値との差分値を予測する係数が予め学習され、記憶されており、その係数と、抽出された複数の第２の周辺画素同士の差分値とに積和演算を適用することにより、第１の注目画素の画素値と第２の注目画素の画素値との差分値が予測され、第１の注目画素および第２の注目画素に対応し、入力画像データ内に画素値が含まれる対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素が予測される。
【００８６】
画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【００８７】
【発明の実施の形態】
図５は、本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【００８８】
この画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像の差分画像を生成し、その差分画像に対して、クラス分類適応処理が適用されることにより、ＨＤ画像が出力されるようになっている。
【００８９】
即ち、この画像処理装置は、差分画像生成部１０１、クラスタップ抽出部１０２、特徴量演算部１０３、クラス分類部１０４、係数メモリ１０５、予測タップ抽出部１０６、および画素値演算部１０７から構成される。画像処理装置には、空間解像度の創造の対象となる入力画像、例えば、ＳＤ画像が入力される。
【００９０】
入力されたＳＤ画像である入力画像は、差分画像生成部１０１、クラスタップ抽出部１０２、および特徴量演算部１０３に供給される。
【００９１】
差分画像生成部１０１は、ＳＤ画像である入力画像から、差分画像を生成し、生成した差分画像をクラスタップ抽出部１０２、特徴量演算部１０３、および予測タップ抽出部１０６に供給する。
【００９２】
図６は、差分画像生成部１０１により生成される差分画像を説明する図である。
【００９３】
図６中の横方向は、例えば、画像上の横方向である空間方向Ｘを示し、図６中の縦方向は、例えば、画像上の縦方向である空間方向Ｙを示す。また、図６において、個々の四角（マス目）は、入力画像の画素を示し、x0乃至x14は、入力画像の各画素の画素値を示す。
【００９４】
図６において、d0乃至d12は、横方向に隣接する画素の画素値の差分値を示す。すなわち、d0，d1，d2、およびd3は、それぞれ、x1からx0を減算した値、x2からx1を減算した値、x3からx2を減算した値、x4からx3を減算した値を示す。また、d5，d6，d7、およびd8は、それぞれ、x6からx5を減算した値、x7からx6を減算した値、x8からx7を減算した値、x9からx8を減算した値を示す。同様に、d9，d10，d11、およびd12は、それぞれ、x11からx10を減算した値、x12からx11を減算した値、x13からx12を減算した値、x14からx13を減算した値を示す。
【００９５】
差分画像生成部１０１は、例えば、図６に示すように、入力画像の全ての画素について、その画素値から、その画素の左側に隣接する画素の画素値を減算して、差分値を算出する処理を適用して、入力画像の画素値に対応する差分値からなる差分画像を生成する。すなわち、差分画像生成部１０１は、入力画像の画素の数と略同数の差分値からなる差分画像を生成する。
【００９６】
なお、差分画像生成部１０１は、例えば、入力画像の全ての画素について、その画素値から、その画素の右側に隣接する画素の画素値を減算して、差分値を算出する処理を適用して、入力画像の画素値に対応する差分値からなる差分画像を生成するようにしても良いことは勿論である。
【００９７】
差分画像生成部１０１は、図示せぬフレームメモリを内蔵し、画像処理装置に入力されたＳＤ画像の差分画像、およびＳＤ画像である入力画像のそれぞれを、例えば、フレーム（またはフィールド）単位で一時記憶する。なお、本実施の形態では、差分画像生成部１０１は、内蔵しているフレームメモリに、複数フレームの入力画像および差分画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力されるＳＤ画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００９８】
クラスタップ抽出部１０２は、クラス分類適応処理により求めようとするＨＤ画像のＨＤ画素（サンプル）を、順次、注目画素とする。そして、クラスタップ抽出部１０２は、注目画素についてのクラス分類に用いるクラスタップを、差分画像生成部１０１に記憶されている差分画像から抽出して生成し、特徴量演算部１０３に出力する。すなわち、クラスタップ抽出部１０２は、入力画像に比較して高質な高質画像の注目画素に対応する、入力画像内の複数の周辺画素（クラスタップ）を抽出する。
【００９９】
より具体的には、例えば、クラスタップ抽出部１０２は、注目画素の位置から空間的または時間的に近い位置にある複数の差分値を、差分画像生成部１０１に記憶された差分画像から抽出することによりクラスタップとし、特徴量演算部１０３に出力する。
【０１００】
ここで、図７において、○印がＳＤ画像を構成するＳＤ画素を表し、×印がＨＤ画像を構成するＨＤ画素を表している。また、図７では、ＨＤ画像は、水平方向と垂直方向それぞれの画素数が、ＳＤ画像の２倍の画像になっている。
【０１０１】
また、図７において、△印が差分画像を構成する差分値を表す。
【０１０２】
クラスタップ抽出部１０２は、注目画素について、例えば、図７で示されるように、その注目画素の位置から近い横×縦が３×３個の差分値を、差分画像生成部１０１に記憶された差分画像から抽出することによりクラスタップ（周辺画素）とする。
【０１０３】
なお、図７において、ＨＤ画像の注目している１つのＨＤ画素を、ｙ⁽¹⁾と表す。また、図７において、クラスタップを構成する３×３個の差分値のうちの、第１行第１列、第１行第２列、第１行第３列、第２行第１列、第２行第２列、第２行第３列、第３行第１列、第３行第２列、第３行第３列の差分値を、それぞれｄ⁽¹⁾，ｄ⁽²⁾，ｄ⁽³⁾，ｄ⁽⁴⁾，ｄ⁽⁵⁾，ｄ⁽⁶⁾，ｄ⁽⁷⁾，ｄ⁽⁸⁾，ｄ⁽⁹⁾と表す。差分値ｄ⁽¹⁾，ｄ⁽²⁾，ｄ⁽³⁾，ｄ⁽⁴⁾，ｄ⁽⁵⁾，ｄ⁽⁶⁾，ｄ⁽⁷⁾，ｄ⁽⁸⁾，ｄ⁽⁹⁾の右側に位置するＳＤ画素を、それぞれ、ｘ⁽²⁾，ｘ⁽³⁾，ｘ⁽⁴⁾，ｘ⁽⁶⁾，ｘ⁽⁷⁾，ｘ⁽⁸⁾，ｘ⁽¹⁰⁾，ｘ⁽¹¹⁾，ｘ⁽¹²⁾と表す。差分値ｄ⁽¹⁾の左側のＳＤ画素を、ｘ⁽¹⁾で表し、差分値ｄ⁽⁴⁾の左側のＳＤ画素を、ｘ⁽⁵⁾で表し、差分値ｄ⁽⁷⁾の左側のＳＤ画素を、ｘ⁽⁹⁾で表す。
【０１０４】
図７で示される場合において、差分値ｄ⁽¹⁾は、ＳＤ画素ｘ⁽²⁾からＳＤ画素ｘ⁽¹⁾を減算した値であり、差分値ｄ⁽²⁾は、ＳＤ画素ｘ⁽³⁾からＳＤ画素ｘ⁽²⁾を減算した値であり、差分値ｄ⁽³⁾は、ＳＤ画素ｘ⁽⁴⁾からＳＤ画素ｘ⁽³⁾を減算した値である。
【０１０５】
また、図７で示される場合において、差分値ｄ⁽⁴⁾は、ＳＤ画素ｘ⁽⁶⁾からＳＤ画素ｘ⁽⁵⁾を減算した値であり、差分値ｄ⁽⁵⁾は、ＳＤ画素ｘ⁽⁷⁾からＳＤ画素ｘ⁽⁶⁾を減算した値であり、差分値ｄ⁽⁶⁾は、ＳＤ画素ｘ⁽⁸⁾からＳＤ画素ｘ⁽⁷⁾を減算した値である。
【０１０６】
同様に、図７で示される場合において、差分値ｄ⁽⁷⁾は、ＳＤ画素ｘ⁽¹⁰⁾からＳＤ画素ｘ⁽⁹⁾を減算した値であり、差分値ｄ⁽⁸⁾は、ＳＤ画素ｘ⁽¹¹⁾からＳＤ画素ｘ⁽¹⁰⁾を減算した値であり、差分値ｄ⁽⁹⁾は、ＳＤ画素ｘ⁽¹²⁾からＳＤ画素ｘ⁽¹¹⁾を減算した値である。
【０１０７】
すなわち、差分値ｄ⁽¹⁾乃至差分値ｄ⁽⁹⁾を含む差分値ｄは、ＳＤ画像の隣接する画素の画素値の差分値である。
【０１０８】
例えば、クラスタップ抽出部１０２は、注目画素ｙ⁽¹⁾について、図７で示される、横×縦が３×３個の差分値ｄ⁽¹⁾乃至差分値ｄ⁽⁹⁾を、差分画像生成部１０１に記憶された差分画像から抽出することにより差分画像のクラスタップとする。
【０１０９】
クラスタップ抽出部１０２は、抽出された差分画像のクラスタップを、特徴量演算部１０３を介してクラス分類部１０４に供給する。
【０１１０】
また、クラスタップ抽出部１０２は、差分画像のクラスタップとは別に、ＳＤ画像である入力画像から、入力画像のクラスタップ（入力画像の画素）を抽出して特徴量演算部１０３に供給する。
【０１１１】
例えば、クラスタップ抽出部１０２は、注目画素ｙ⁽¹⁾について、図７で示される、横×縦が４×３個のＳＤ画素x⁽¹⁾乃至ＳＤ画素ｘ⁽¹²⁾を、入力画像から抽出することにより入力画像のクラスタップとする。
【０１１２】
特徴量演算部１０３は、クラスタップ抽出部１０２により抽出された複数の周辺画素、すなわち、差分画像のクラスタップまたは入力画像のクラスタップに基づいて、複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１０４に供給する。換言すれば、特徴量演算部１０３は、差分画像のクラスタップまたは入力画像のクラスタップから特徴量を演算して、演算した特徴量をクラス分類部１０４に供給する。差分画像のクラスタップは、周辺画素の差分からなるので、差分画像のクラスタップに基づく特徴量は、複数の周辺画素の特徴量であるとも言える。
【０１１３】
例えば、特徴量演算部１０３は、クラスタップ抽出部１０２から供給されたＳＤ画像である入力画像のクラスタップを基に、周辺画素の動きベクトルを演算して、演算した動きベクトルを特徴量としてクラス分類部１０４に供給する。また、例えば、特徴量演算部１０３は、クラスタップ抽出部１０２から供給されたＳＤ画像である入力画像のクラスタップを基に、注目画素の位置から空間的または時間的に近い位置にある入力画像の複数の画素（周辺画素）の画素値の空間的または時間的な変化（アクティビティ）を演算して、演算した画素値の変化を特徴量としてクラス分類部１０４に供給する。
【０１１４】
さらに、例えば、特徴量演算部１０３は、クラスタップ抽出部１０２から供給されたＳＤ画像である入力画像のクラスタップを基に、注目画素の位置から空間的に近い位置にある入力画像の複数の画素（周辺画素）の画素値の空間的な変化の傾きを演算して、演算した画素値の変化の傾きを特徴量としてクラス分類部１０４に供給する。
【０１１５】
また、例えば、特徴量演算部１０３は、クラスタップ抽出部１０２から供給された差分画像のクラスタップを基に、注目画素の位置から空間的または時間的に近い位置にある差分画像の複数の差分値の空間的または時間的な変化を演算して、演算した差分値の変化を特徴量としてクラス分類部１０４に供給する。例えば、特徴量演算部１０３は、クラスタップ抽出部１０２から供給された差分画像のクラスタップを基に、注目画素の位置から空間的または時間的に近い位置にある差分値の自己相関係数を演算して、演算した自己相関係数を特徴量としてクラス分類部１０４に供給する。
【０１１６】
このように、特徴量演算部１０３は、差分画像のクラスタップまたは入力画像のクラスタップに基づいて、例えば、上述した演算により、複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１０４に供給する。
【０１１７】
さらに、特徴量演算部１０３は、特徴量とは別に、差分画像のクラスタップおよび入力画像のクラスタップをそのままクラス分類部１０４に供給する。
【０１１８】
なお、特徴量として、差分画像のクラスタップまたは入力画像のクラスタップの、ラプラシアン、ソーベル、または分散などを採用することができる。
【０１１９】
さらにまた、特徴量演算部１０３は、入力画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１０４に供給する。例えば、特徴量演算部１０３は、入力画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１０４に供給する。
【０１２０】
また、特徴量演算部１０３は、差分画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１０４に供給する。例えば、特徴量演算部１０３は、差分画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１０４に供給する。
【０１２１】
本発明の画像処理装置によれば、ＳＤ画像から演算される特徴量とは異なる特徴量を差分画像から簡単に演算することができる。これにより、クラス分類の処理において、注目画素をより詳細なクラスにクラス分類することができ、その結果、画素値の予測の精度を向上させることができる。
【０１２２】
クラス分類部１０４は、差分画像のクラスタップ、入力画像のクラスタップ、および特徴量演算部１０３からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ１０５と予測タップ抽出部１０６とに供給する。
【０１２３】
例えば、クラス分類部１０４は、差分画像のクラスタップを、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとする。
【０１２４】
なお、KビットADRC処理においては、クラスタップを構成する差分画像の差分値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する差分値がKビットに再量子化される。即ち、クラスタップを構成する各差分値から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各差分値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各差分値についての１ビットの値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１２５】
但し、クラス分類は、その他、例えば、クラスタップを構成する差分値を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。
【０１２６】
また、クラス分類としては、１クラスのクラス分類を行うことも可能である。この場合、クラス分類部１０４は、どのようなクラスタップが供給されても、固定のクラスコードを出力するものとなる。
【０１２７】
ここで、ADRCコードは、差分画像のクラスタップに基づいて検出された、複数の周辺画素の特徴量の１つであるとも言える。すなわち、差分画像のクラスタップを１ビットADRC処理し、その結果得られたADRCコードからなるクラスコードは、複数の周辺画素の特徴量を示している。
【０１２８】
同様に、例えば、クラス分類部１０４は、入力画像のクラスタップを、１ビットADRC処理し、その結果得られるADRCコードを、クラスコードとする。
【０１２９】
また、例えば、クラス分類部１０４は、特徴量演算部１０３からの特徴量を、そのままクラスコードとする。例えば、クラス分類部１０４は、特徴量演算部１０３からの複数の特徴量を、直交変換して、得られた値をクラスコードとする。
【０１３０】
さらに例えば、クラス分類部１０４は、差分画像のクラスタップを基にしたクラスコード、入力画像のクラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードを結合し（合成し）、最終的なクラスコードを生成して、最終的なクラスコードを係数メモリ１０５と予測タップ抽出部１０６とに供給する。
【０１３１】
なお、差分画像のクラスタップを基にしたクラスコード、入力画像のクラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードのいずれか１つを、最終的なクラスコードとするようにしてもよい。
【０１３２】
このように、クラス分類部１０４から出力されるクラスコードは、注目画素の周辺の、複数の周辺画素の特徴量を示している。
【０１３３】
係数メモリ１０５は、学習の教師となるＨＤ画像データである教師データと、学習の生徒となる差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ１０５は、クラス分類部１０４から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部１０７に供給する。なお、係数メモリ１０５に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０１３４】
予測タップ抽出部１０６は、画素値演算部１０７において注目画素（の予測値）を求めるのに用いる、注目画素に対応する、注目画素の周辺の、差分画像の複数の差分値を抽出する。
【０１３５】
すなわち、予測タップ抽出部１０６は、クラス分類部１０４から供給されるクラスコードを基に、画素値演算部１０７において注目画素（の予測値）を求めるのに用いる予測タップを、差分画像生成部１０１に記憶された差分画像から抽出して生成し、生成した予測タップを画素値演算部１０７に供給する。例えば、予測タップ抽出部１０６は、注目画素の位置から空間的または時間的に近い位置にある複数の差分値を、差分画像生成部１０１に記憶された差分画像から抽出することにより予測タップとし、画素値演算部１０７に供給する。
【０１３６】
例えば、予測タップ抽出部１０６は、注目画素ｙ⁽¹⁾について、図７で示される、横×縦が３×３個の差分値ｄ⁽¹⁾乃至差分値ｄ⁽⁹⁾を、差分画像生成部１０１に記憶された差分画像から抽出することにより予測タップとする。
【０１３７】
なお、クラスタップとする差分値と、予測タップとする差分値とは、同一であっても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。
【０１３８】
また、予測タップとする差分値は、クラス毎に異なるものであっても、同一であってもよい。
【０１３９】
なお、クラスタップや予測タップのタップ構造は、図７で示される、３×３個の差分値または４×３個のＳＤ画素に限定されるものではない。
【０１４０】
画素値演算部１０７は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から注目画素を予測する。
【０１４１】
より詳しく説明すれば、画素値演算部１０７は、係数メモリ１０５から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ₁，ｄ₂，・・・とを用いて、注目画素ｙ（の予測値）を演算し、これを、ＨＤ画素の画素値とする。画素値演算部１０７は、このように演算された画素値からなるＨＤ画像を出力画像として出力する。
【０１４２】
すなわち、本発明に係る画像処理装置における適応処理では、ＳＤ画像である入力画像の画素値の差分値が、所定のタップ係数を用いてマッピング（写像）されることにより、ＨＤ画像に変換される。
【０１４３】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、ＨＤ画素（の画素値）ｙは、差分画像を構成する差分値から、ＨＤ画素を予測するための予測タップとして抽出される複数の差分値と、タップ係数とを用いて、次の線形１次式（線形結合）によって求められる。
【数９】

【０１４４】
但し、式（９）において、ｄ_nは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目の差分画像の差分値を表し、ｗ_nは、ｎ番目の差分値と乗算されるｎ番目のタップ係数を表す。なお、式（９）では、予測タップが、Ｎ個の差分値ｄ₁，ｄ₂，・・・，ｄ_Nで構成されるものとしてある。
【０１４５】
ここで、ＨＤ画素の画素値ｙは、式（９）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１４６】
いま、第ｋサンプルのＨＤ画素の画素値の真値をｙ_kと表すとともに、式（９）によって得られるその真値ｙ_kの予測値をｙ_k'と表すと、その予測誤差ｅ_kは、次式で表される。
【数１０】

【０１４７】
式（１０）の予測値ｙ_k'は、式（９）にしたがって求められるため、式（１０）のｙ_k'を、式（９）にしたがって置き換えると、次式が得られる。
【数１１】

【０１４８】
但し、式（１１）において、ｄ_n,kは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目の差分値を表す。
【０１４９】
式（１１）の予測誤差ｅ_kを０とするタップ係数ｗ_nが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗ_nを求めることは、一般には困難である。
【０１５０】
そこで、タップ係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_nは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【数１２】

【０１５１】
但し、式（１２）において、Ｋは、ＨＤ画素ｙ_kと、そのＨＤ画素ｙ_kについての予測タップを構成する差分値ｄ_1,k，d_2,k，・・・，d_N,kとのセットのサンプル数を表す。
【０１５２】
式（１２）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_nは、その総和Ｅをタップ係数ｗ_nで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【数１３】

【０１５３】
そこで、上述の式（１１）をタップ係数ｗ_nで偏微分すると、次式が得られる。
【数１４】

【０１５４】
式（１３）と（１４）から、次式が得られる。
【数１５】

【０１５５】
式（１５）のｅ_kに、式（１１）を代入することにより、式（１５）は、式（１６）で示される正規方程式で表すことができる。
【数１６】

【０１５６】
式（１６）の正規方程式は、ＨＤ画素ｙ_kと差分値ｄ_n,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_nの数と同じ数だけたてることができ、従って、式（１６）を解くことで（但し、式（１６）を解くには、式（１６）において、タップ係数ｗ_nにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗ_nを求めることができる。なお、式（１６）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。
【０１５７】
以上のように、多数のＨＤ画素ｙ₁，ｙ₂，・・・，ｙ_Kを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙ_kについての予測タップを構成する差分値ｄ_1,k，ｄ_2,k，・・・，ｄ_N,kを、タップ係数の学習の生徒となる生徒データとして、式（１６）を解くことにより、最適なタップ係数ｗ_nを求める学習を行っておき、さらに、そのタップ係数ｗ_nを用い、式（９）により、差分画像を、ＨＤ画像データにマッピング（変換）するのが本発明における適応処理である。
【０１５８】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（９）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗ_nが、教師データとしてのＨＤ画像データと生徒データとしての差分画像とを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【０１５９】
ここで、タップ係数ｗ_nの学習では、教師データｙと生徒データｄとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗ_nを求めることができる。
【０１６０】
即ち、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｄとして、そのＨＤ画像データにノイズやぼけを付加したＳＤ画像データの差分値を採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数ｗ_nを得ることができる。また、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｄとして、そのＨＤ画像データの解像度を劣化させたＳＤ画像データの差分値を採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数ｗ_nを得ることができる。
【０１６１】
次に、図８のフローチャートを参照して、図５の画像処理装置が行う、ＳＤ画像からＨＤ画像を創造する画像処理について説明する。
【０１６２】
ステップＳ１０１において、差分画像生成部１０１は、ＳＤ画像である入力画像から、図７を参照して説明したように、ＳＤ画像の画素値の差分を算出して、差分値を求め、差分値からなる差分画像を生成する。差分画像は、クラスタップ抽出部１０２、特徴量演算部１０３、および予測タップ抽出部１０６に供給され、手続は、ステップＳ１０２に進む。また、差分画像生成部１０１は、ＳＤ画像である入力画像を、クラスタップ抽出部１０２に供給する。
【０１６３】
ステップＳ１０２において、クラスタップ抽出部１０２は、注目画素の位置に空間的または時間的に近い複数の差分値を差分画像から差分画像のクラスタップとして抽出して、差分画像のクラスタップを生成する。クラスタップ抽出部１０２は、注目画素の位置に空間的または時間的に近い複数の画素を入力画像から入力画像のクラスタップとして抽出して、入力画像のクラスタップを生成する。差分画像のクラスタップおよび入力画像のクラスタップは、特徴量演算部１０３およびクラス分類部１０４に供給され、手続は、ステップＳ１０３に進む。ステップＳ１０３において、特徴量演算部１０３は、差分画像のクラスタップ、入力画像のクラスタップ、入力画像、または差分画像から特徴量を演算して、演算された特徴量をクラス分類部１０４に供給し、ステップＳ１０４に進む。
【０１６４】
ステップＳ１０４において、クラス分類部１０４は、差分画像のクラスタップ、入力画像のクラスタップ、または特徴量演算部１０３から供給される特徴量に基づき、１以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ１０５および予測タップ抽出部１０６に供給して、ステップＳ１０５に進む。
【０１６５】
ステップＳ１０５において、予測タップ抽出部１０６は、クラス分類部１０４から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の差分値を差分画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値演算部１０７に供給され、手続は、ステップＳ１０６に進む。
【０１６６】
ステップＳ１０６において、係数メモリ１０５は、クラス分類部１０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目画素のクラスのタップ係数を取得して、タップ係数を画素値演算部１０７に供給し、ステップＳ１０７に進む。
【０１６７】
ステップＳ１０７において、画素値演算部１０７は、特徴量に基づいて、抽出された複数の周辺画素同士の差分値から、注目画素（の予測値）を算出して、ステップＳ１０８に進む。即ち、ステップＳ１０７では、画素値演算部１０７は、予測タップ抽出部１０６からの予測タップと、係数メモリ１０５からのタップ係数とを用いて、式（９）に示した演算を行い、注目画素（の予測値）を求める。
【０１６８】
ステップＳ１０８において、クラスタップ抽出部１０２は、注目フレームを構成する画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ１０１に戻り、以下、同様の処理を繰り返す。
【０１６９】
また、ステップＳ１０８において、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべてのＨＤ画素が、予測された場合、処理は終了する。
【０１７０】
このように、図５で構成が示される画像処理装置は、ＳＤ画像である入力画像から、ＨＤ画像を生成して、生成したＨＤ画像を出力することができる。
【０１７１】
ここで、ＳＤ画像の自己相関係数（水平方向）、および差分画像の自己相関係数（水平方向）の一例を示す。
【０１７２】
ＳＤ画像において、距離が１画素（自分自身であるとき）、２画素、３画素、４画素、５画素、６画素であるとき、自己相関係数は、それぞれ、1.000,0.969,0.915,0.866,0.826,0.795であった。
【０１７３】
これに対して、同じＳＤ画像の差分画像において、距離が１画素、２画素、３画素、４画素、５画素、６画素であるとき、自己相関係数は、それぞれ、1.000,0.368,-0.070,-0.153,-0.147,-0.116であった。
【０１７４】
差分画像において、３画素離れると負の相関をもち、非常に相関が低いことがわかる。
【０１７５】
実験により、クラスタップの数が同じで、予測タップの数も同じ場合、通常のＳＤ画像を基にクラス分類処理を行ったときに比較して、差分画像を基にクラス分類処理を行ったとき、より高いＳＮ比の画像を得られることが確認できた。
【０１７６】
通常のＳＤ画像の９つの画素でクラス分類を行い、予測タップとして通常のＳＤ画像から９つの画素を抽出して予測した場合、Ｒ信号、Ｇ信号、Ｂ信号のＳＮ比は、それぞれ、37.060dB,34.605dB,32.542dBであった。
【０１７７】
これに対して、差分画像の９つの差分値でクラス分類を行い、予測タップとして通常のＳＤ画像から９つの画素を抽出して予測した場合、Ｒ信号、Ｇ信号、Ｂ信号のＳＮ比は、それぞれ、37.595dB,34.939dB,32.655dBであった。
【０１７８】
さらに、実験により、クラスタップの数が同じで、予測タップの数も同じ場合、通常のＳＤ画像に適応処理を適用したときに比較して、差分画像に適応処理を適用したとき、より高いＳＮ比の画像を得られることが確認できた。
【０１７９】
すなわち、差分画像の９つの差分値でクラス分類を行い、予測タップとして差分画像から９つの差分値を抽出して予測した場合、Ｒ信号、Ｇ信号、Ｂ信号のＳＮ比は、それぞれ、37.838dB,35.089dB,32.704dBであった。
【０１８０】
比較のために、差分画像の９つの差分値でクラス分類を行い、予測タップとして通常のＳＤ画像から１２の画素を抽出して予測した場合、Ｒ信号、Ｇ信号、Ｂ信号のＳＮ比は、それぞれ、37.946dB,35.177dB,32.766dBであった。
【０１８１】
これにより、差分画像の９つの差分値でクラス分類を行い、予測タップとして差分画像から９つの差分値を抽出して予測した場合、差分画像の９つの差分値でクラス分類を行い、予測タップとして通常のＳＤ画像から１２の画素を抽出して予測した場合とほぼ等しいＳＮ比の画像を得られることがわかる。
【０１８２】
このように、差分画像でクラス分類をおこない、差分画像から予測タップを抽出した場合、より少ないクラスタップまたはより少ない予測タップで、より高いＳＮ比の画像、すなわち、より精度の高い画像を得ることができる。
【０１８３】
また、実験において、差分画像を用いて画像を予測した場合、画像のエッジの近傍でより良い精度の画像を予測できることが確認された。
【０１８４】
以上のように、本発明の画像処理装置によれば、比較的簡単で演算量の少ない画素値の減算の処理で、差分画像を求め、より少ない数のクラスタップまたは予測タップで画像を創造することにより、多数のクラスタップおよび予測タップを用いて画像を創造する場合に比較して、全体として、処理をより簡単にすることができ、また、演算量をより少なくすることができる。
【０１８５】
さらに、実験の結果から、本発明の画像処理装置において、より少ない数のクラスタップまたは予測タップであっても、より精度の高い画像を創造することができることがわかる。
【０１８６】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、第１の画像（入力画像）に対応する、より高画質の第２の画像（出力画像）を得ることができる。
【０１８７】
また、第１の画像（入力画像）の空間方向に隣接する画素の画素値の差分値からなる差分画像を生成し、第２の画像（出力画像）の注目している画素である注目画素を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、差分画像から生成し、クラスタップに基づいて、注目画素をクラス分類し、注目画素を求めるのに用いる予測タップを、差分画像から生成し、学習の教師となる、第２の画像に対応する教師データと、学習の生徒となる、差分画像に対応する生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数から、注目サンプルのクラスのタップ係数を取得し、注目サンプルのクラスのタップ係数と、予測タップとを用いて、注目画素を演算し、第２の画像を求めるようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０１８８】
次に、図９は、図５の係数メモリ１０５に記憶させるクラスごとのタップ係数を求める学習を行う画像処理装置の一実施の形態の構成例を示すブロック図である。
【０１８９】
図９の画像処理装置には、タップ係数の学習用の画像データとしての、例えばＨＤ画像が入力される。画像処理装置に入力されたＨＤ画像は、ＳＤ画像生成部１３１および教師画素抽出部１３９に供給される。
【０１９０】
ＳＤ画像生成部１３１は、入力された教師画像から、ＳＤ画像を生成し、差分画像生成部１３２および画像メモリ１３３に供給する。ＳＤ画像生成部１３１は、例えば、教師画像としてのＨＤ画像データの画素を間引く、またはＨＤ画像データの４つの画素の平均値を求めてＳＤ画像の画素値とすること等により、その教師画像としてのＨＤ画像に対応したＳＤ画像を生成する。ここで、ＳＤ画像は、図５の画像処理装置で処理対象となるＳＤ画像に対応した画質のものとする必要がある。
【０１９１】
ＳＤ画像生成部１３１は、上述のようにして、教師画像に対応するＳＤ画像（教師画像から生成されたＳＤ画像）を生成すると、そのＳＤ画像を差分画像生成部１３２および画像メモリ１３３に供給する。
【０１９２】
差分画像生成部１３２は、差分画像生成部１０１と同様の処理で、ＳＤ画像から、生徒画像である差分画像を生成し、生成した差分画像を画像メモリ１３３に供給する。すなわち、差分画像生成部１３２は、例えば、図６で示されるように、ＳＤ画像の全ての画素について、その画素値から、その画素の左側に隣接する画素の画素値を減算して、差分値（サンプル）を算出する処理を適用して、ＳＤ画像の画素値に対応する差分値からなる、生徒画像である差分画像を生成する。
【０１９３】
画像メモリ１３３は、差分画像生成部１３２からの生徒画像である差分画像を一時記憶する。また、画像メモリ１３３は、ＳＤ画像生成部１３１から供給されたＳＤ画像を一時記憶する。
【０１９４】
図９で示される画像処理装置においては、ＳＤ画像の差分画像を生徒データとして、タップ係数が生成される。
【０１９５】
クラスタップ抽出部１３４は、画像１３３に記憶されている生徒画像である差分画像に対応する教師画像としてのＨＤ画像に含まれる画素を、図５のクラスタップ抽出部１０２における場合と同様に、順次、注目画素とする。
【０１９６】
さらに、クラスタップ抽出部１３４は、注目画素についての差分画像のクラスタップを、画像メモリ１３３に記憶された差分画像から抽出して生成し、特徴量演算部１３５に供給する。例えば、クラスタップ抽出部１３４は、注目画素ｙ⁽¹⁾について、図７で示される、横×縦が３×３個の差分値ｄ⁽¹⁾乃至差分値ｄ⁽⁹⁾を、画像メモリ１３３に記憶された差分画像から抽出することにより差分画像のクラスタップとする。
【０１９７】
また、クラスタップ抽出部１３４は、注目画素についてのＳＤ画像のクラスタップを、画像メモリ１３３に記憶されたＳＤ画像から抽出して生成し、特徴量演算部１３５に供給する。例えば、クラスタップ抽出部１３４は、注目画素ｙ⁽¹⁾について、図７で示される、横×縦が４×３個のＳＤ画素x⁽¹⁾乃至ＳＤ画素ｘ^{(1 2)}を、画像メモリ１３３に記憶されたＳＤ画像から抽出することによりＳＤ画像のクラスタップとする。
【０１９８】
ここで、クラスタップ抽出部１３４は、図５のクラスタップ抽出部１０２が生成するのと同一のタップ構造のクラスタップを生成する。
【０１９９】
なお、クラスタップ抽出部１３４において生成されるＳＤ画像のクラスタップは、クラスタップ抽出部１０２において生成される入力画像のクラスタップに対応する。
【０２００】
特徴量演算部１３５は、クラスタップ抽出部１３４により抽出された複数の周辺画素に基づいて、注目画素の特徴量を検出する。すなわち、特徴量演算部１３５は、特徴量演算部１０３と同様の処理で、差分画像のクラスタップまたはＳＤ画像のクラスタップから特徴量を演算して、演算した特徴量をクラス分類部１３６に供給する。
【０２０１】
例えば、特徴量演算部１３５は、ＳＤ画像のクラスタップを基に、注目画素の動きベクトルを演算して、演算した動きベクトルを特徴量としてクラス分類部１３６に供給する。また、例えば、特徴量演算部１３５は、ＳＤ画像のクラスタップを基に、注目画素の位置から空間的または時間的に近い位置にあるＳＤ画像の複数の画素（周辺画素）の画素値の空間的または時間的な変化を演算して、演算した画素値の変化を特徴量としてクラス分類部１３６に供給する。
【０２０２】
なお、特徴量演算部１３５は、特徴量演算部１０３と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。
【０２０３】
さらに、特徴量演算部１３５は、特徴量演算部１０３と同様に、差分画像のクラスタップから特徴量を求める。
【０２０４】
このように、特徴量演算部１３５は、ＳＤ画像のクラスタップまたは差分画像のクラスタップ、すなわち複数の周辺画素を基に、検出された注目画素の特徴量をクラス分類部１３６に供給する。また、特徴量演算部１３５は、ＳＤ画像のクラスタップおよび差分画像のクラスタップをクラス分類部１３６に供給する。
【０２０５】
さらにまた、特徴量演算部１３５は、画像メモリ１３３に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。例えば、特徴量演算部１３５は、画像メモリ１３３に記憶されているＳＤ画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１３６に供給する。
【０２０６】
また、特徴量演算部１３５は、画像メモリ１３３に記憶されている差分画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。例えば、特徴量演算部１３５は、画像メモリ１３３に記憶されている差分画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１３６に供給する。
【０２０７】
クラス分類部１３６は、図５のクラス分類部１０４と同様に構成され、ＳＤ画像のクラスタップ、差分画像のクラスタップ、または特徴量演算部１３５からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部１３７および学習メモリ１４０に供給する。
【０２０８】
予測タップ抽出部１３７は、注目画素に対応する、注目画素の周辺の、差分画像の複数の差分値を抽出する。
【０２０９】
すなわち、予測タップ抽出部１３７は、クラス分類部１３６から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ１３３に記憶された差分画像から抽出して生成し、足し込み演算部１３８に供給する。ここで、予測タップ抽出部１３７は、図５の予測タップ抽出部１０６が生成するのと同一のタップ構造の予測タップを生成する。
【０２１０】
例えば、予測タップ抽出部１３７は、注目画素ｙ⁽¹⁾について、図７で示される、横×縦が３×３個の差分値ｄ⁽¹⁾乃至差分値ｄ⁽⁹⁾を、画像メモリ１３３に記憶された差分画像から抽出することにより予測タップとする。
【０２１１】
教師画素抽出部１３９は、教師画像である入力画像から、注目している画素を教師データとして抽出して、抽出した教師データを足し込み演算部１３８に供給する。例えば、教師画素抽出部１３９は、教師画像である入力画像から、注目画素ｙ⁽¹⁾を教師データとして抽出して、抽出した教師データを足し込み演算部１３８に供給する。
【０２１２】
即ち、教師画素抽出部１３９は、入力された学習用の画像データであるＨＤ画像を、例えば、そのまま教師データとする。ここで、図５の画像処理装置で得られるＨＤ画像は、図９の画像処理装置で教師データとして用いられるＨＤ画像データの画質に対応したものとなる。
【０２１３】
足し込み演算部１３８および正規方程式演算部１４１は、注目画素となっている教師データと、予測タップ抽出部１３７から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部１３６から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。換言すれば、足し込み演算部１３８および正規方程式演算部１４１は、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から注目画素を予測するための予測手段を学習する。
【０２１４】
この場合、予測手段は、複数の周辺画素同士の差分値から注目画素を予測する具体的手段であり、例えば、クラス毎のタップ係数により動作が規定される画素値演算部１０７、または画素値演算部１０７における処理を言う。複数の周辺画素同士の差分値から注目画素を予測する予測手段を学習するとは、例えば、複数の周辺画素同士の差分値から注目画素を予測する予測手段の実現（構築）を可能にすることを意味する。
【０２１５】
従って、複数の周辺画素同士の差分値から注目画素を予測するための予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、画素値演算部１０７、または画素値演算部１０７における処理が具体的に特定され、画素値演算部１０７を実現し、または画素値演算部１０７における処理を実行することができるようになるからである。
【０２１６】
即ち、足し込み演算部１３８は、予測タップ抽出部１３７から供給される予測タップ（差分値）と、教師画素抽出部１３９から供給される、注目画素となっている教師データであるＨＤ画素とを対象とした、式（１６）の足し込みを行う。
【０２１７】
具体的には、足し込み演算部１３８は、予測タップを構成する生徒データとしての差分値ｄ_n,kを用い、式（１６）の左辺の行列における差分値どうしの乗算（ｄ_n,kｄ_n',k）と、サメーション（Σ）に相当する演算を行う。
【０２１８】
さらに、足し込み演算部１３８は、予測タップを構成する生徒データとしての差分値ｄ_n,kと、注目画素となっている教師データであるＨＤ画素ｙ_kを用い、式（１６）の右辺のベクトルにおける差分値およびＨＤ画素ｙ_kの乗算（ｄ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。
【０２１９】
ここで、足し込みとは、各行列の要素における、乗算の処理およびサメーション（Σ）の処理、並びに乗算の処理およびサメーション（Σ）の処理の結果を正規方程式に設定する処理を言う。
【０２２０】
足し込み演算部１３８は、教師データとしてのＨＤ画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（１６）に対応した正規方程式をたてると、その正規方程式を、学習メモリ１４０に供給する。
【０２２１】
学習メモリ１４０は、足し込み演算部１３８から供給された、生徒データとして差分値、教師データとしてＨＤ画素が足し込まれた、式（１６）に対応した正規方程式を記憶する。
【０２２２】
正規方程式演算部１４１は、学習メモリ１４０から、各クラスについての式（１６）の正規方程式を取得し、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて出力する。
【０２２３】
係数メモリ１４２は、正規方程式演算部１４１が出力するクラスごとのタップ係数を記憶する。すなわち、係数メモリ１４２は、学習された予測手段を記憶する。
【０２２４】
次に、図１０のフローチャートを参照して、図９の画像処理装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０２２５】
最初に、ステップＳ１３１において、ＳＤ画像生成部１３１は、入力画像である学習用の画像データを取得し、入力画像からＳＤ画像を生成する。ＳＤ画像は、差分画像生成部１３２および画像メモリ１３３に供給される。画像メモリ１３３は、ＳＤ画像を記憶する。
【０２２６】
そして、ステップＳ１３２に進み、差分画像生成部１３２は、ＳＤ画像生成部１３１から供給されたＳＤ画像の画素値の差を求めて、差分値からなる、生徒画像である差分画像を生成する。差分画像は、画像メモリ１３３に供給され、画像メモリ１３３は、差分画像を記憶し、手続は、ステップＳ１３３に進む。
【０２２７】
ステップＳ１３３において、クラスタップ抽出部１３４は、図５のクラスタップ抽出部１０２における場合と同様に、教師データとしてのＨＤ画像の画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、注目画素に対応する差分画像のクラスタップを、画像メモリ１３３に記憶されている生徒画像としての差分画像から生成すると共に、ＳＤ画像のクラスタップを画像メモリ１３３に記憶されているＳＤ画像から生成し、生成した差分画像のクラスタップおよびＳＤ画像のクラスタップを特徴量演算部１３５に供給して、ステップＳ１３４に進む。
【０２２８】
ステップＳ１３４において、特徴量演算部１３５は、図５の特徴量演算部１０３における場合と同様に、複数の周辺画素である、差分画像のクラスタップおよびＳＤ画像のクラスタップから、例えば、動きベクトル、または注目画素の位置から空間的または時間的に近い位置にある複数のＳＤ画像の画素の画素値の変化などの、注目画素の特徴量を演算して、演算した特徴量をクラス分類部１３６に供給し、ステップＳ１３５に進む。
【０２２９】
また、ステップＳ１３４において、特徴量演算部１３５は、画像メモリ１３３に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。さらに、特徴量演算部１３５は、画像メモリ１３３に記憶されている差分画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。
【０２３０】
ステップＳ１３５では、クラス分類部１３６が、図５のクラス分類部１０４における場合と同様にして、クラスタップ抽出部１３４からのクラスタップ、および特徴量演算部１３５からの特徴量を用いて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、予測タップ抽出部１３７および学習メモリ１４０に供給して、ステップＳ１３６に進む。
【０２３１】
ステップＳ１３６において、予測タップ抽出部１３７は、クラス分類部１３６から供給されるクラスコードに基づいて、図５の予測タップ抽出部１０６における場合と同様に、注目画素に対応する予測タップを、画像メモリ１３３に記憶されている生徒画像としての差分画像から抽出して生成し、足し込み演算部１３８に供給して、ステップＳ１３７に進む。
【０２３２】
ステップＳ１３７において、教師画素抽出部１３９は、注目画素、すなわち教師画素（教師データ）であるＨＤ画素を入力画像から抽出し、抽出した教師データを足し込み演算部１３８に供給し、ステップＳ１３８に進む。
【０２３３】
ステップＳ１３８では、足し込み演算部１３８が、分類されたクラス毎に、予測タップ抽出部１３７から供給される予測タップ（生徒データ）、および教師画素抽出部１３９から供給される教師データを対象とした、上述した式（１６）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ１４０に記憶させ、ステップＳ１３９に進む。
【０２３４】
そして、ステップＳ１３９では、クラスタップ抽出部１３４は、教師データとしてのＨＤ画像データの画素の中に、まだ注目画素としていないものがあるかどうか、すなわち全画素の足し込みを終了したか否かを判定する。ステップＳ１３９において、教師データの画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ１３３に戻り、以下、同様の処理が繰り返される。
【０２３５】
また、ステップＳ１３９において、教師データの画素の中に、注目画素としていないものがない、すなわち全画素の足し込みを終了したと判定された場合、ステップＳ１４０に進み、正規方程式演算部１４１は、いままでのステップＳ１３８における足し込みによって、クラスごとに得られた式（１６）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ１４０から読み出し、読み出した式（１６）の正規方程式を解くことにより（クラス毎に学習し）、所定のクラスのタップ係数を求め、係数メモリ１４２に供給して記憶させ、ステップＳ１４１に進む。
【０２３６】
すなわち、ステップＳ１３８およびステップ１４０において、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から注目画素を予測するための予測手段が学習される。
【０２３７】
ステップＳ１４１において、正規方程式演算部１４１は、全クラスのタップ係数の演算を終了したか否かを判定し、全クラスのタップ係数の演算を終了していないと判定された場合、ステップＳ１４０に戻り、次のクラスのタップ係数を求める処理を繰り返す。
【０２３８】
ステップＳ１４１において、全クラスのタップ係数の演算を終了したと判定された場合、係数メモリ１４２は、全クラスのタップ係数を記憶し、すなわち、学習された予測手段を記憶して、処理は終了する。
【０２３９】
以上のようにして、係数メモリ１４２に記憶されたクラスごとのタップ係数が、図５の画像処理装置における係数メモリ１０５に記憶されている。
【０２４０】
なお、以上のようなタップ係数の学習処理において、用意する学習用の画像データ等によっては、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、正規方程式演算部１４１において、デフォルトのタップ係数を出力するようにすること等が可能である。あるいは、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じた場合には、新たに学習用の画像データを用意して、再度、タップ係数の学習を行うようにしても良い。このことは、後述する学習装置におけるタップ係数の学習についても、同様である。
【０２４１】
このように、第１の画像（入力画像）と第２の画像（出力画像）とを基に、クラス毎に学習するようにした場合には、第１の画像に対応する、より高画質の第２の画像を得るためのタップ係数を得ることができる。
【０２４２】
また、タップ係数の学習の生徒となる、第１の画像（入力画像）の空間方向に隣接する画素の画素値の差分値からなる差分画像を生成し、タップ係数の学習の教師となる、第２の画像（出力画像）の画素のうちの注目している注目画素を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、学習の生徒となる、差分画像から生成し、クラスタップに基づいて、注目画素をクラス分類し、注目画素を求めるのに用いる予測タップを、差分画像から生成し、注目画素と予測タップとを用い、第２の画像と差分画像との関係を、１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数を求めるようにした場合には、求めたタップ係数を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０２４３】
図１１は、本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【０２４４】
この画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像にクラス分類処理が適用され、ＳＤ画像の画素値の差分が算出され、その差分に対して、適応処理が適用されることにより、ＨＤ画像が出力されるようになっている。
【０２４５】
即ち、この画像処理装置は、クラスタップ抽出部１５１、特徴量演算部１５２、クラス分類部１５３、係数メモリ１５４、予測タップ抽出部１５５、差分算出部１５６、および画素値演算部１５７から構成される。
【０２４６】
画像処理装置には、空間解像度の創造の対象となるＳＤ画像が入力される。ＳＤ画像である入力画像は、クラスタップ抽出部１５１、特徴量演算部１５２、および予測タップ抽出部１５５に供給される。
【０２４７】
クラスタップ抽出部１５１は、クラス分類適応処理により求めようとするＨＤ画像のＨＤ画素（サンプル）を、順次、注目画素とする。そして、クラスタップ抽出部１５１は、ＳＤ画像である入力画像から、クラスタップを抽出して特徴量演算部１５２に供給する。すなわち、クラスタップ抽出部１５１は、注目画素に対する複数の周辺画素である、ＳＤ画像のＳＤ画素を抽出して、ＳＤ画素からなるクラスタップを特徴量演算部１５２に供給する。
【０２４８】
例えば、クラスタップ抽出部１５１は、図７で示されるように、注目画素ｙ⁽¹⁾について、横×縦が４×３個のＳＤ画素x⁽¹⁾乃至ＳＤ画素ｘ⁽¹²⁾を、入力画像から抽出することによりクラスタップとする。
【０２４９】
特徴量演算部１５２は、クラスタップ抽出部１５１により抽出された複数の周辺画素、すなわち、クラスタップに基づいて、複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１５３に供給する。換言すれば、特徴量演算部１５２は、クラスタップから特徴量を演算して、演算した特徴量をクラス分類部１５３に供給する。
【０２５０】
例えば、特徴量演算部１５２は、クラスタップ抽出部１５１から供給されたＳＤ画像である入力画像から抽出されたクラスタップを基に、周辺画素の動きベクトルを演算して、演算した動きベクトルを特徴量としてクラス分類部１５３に供給する。また、例えば、特徴量演算部１５２は、クラスタップ抽出部１５１から供給されたＳＤ画像である入力画像から抽出されたクラスタップを基に、注目画素の位置から空間的または時間的に近い位置にある入力画像の複数の画素（周辺画素）の画素値の空間的または時間的な変化（アクティビティ）を演算して、演算した画素値の変化を特徴量としてクラス分類部１５３に供給する。
【０２５１】
さらに、例えば、特徴量演算部１５２は、クラスタップ抽出部１５１から供給されたＳＤ画像である入力画像から抽出されたクラスタップを基に、注目画素の位置から空間的に近い位置にある入力画像の複数の画素（周辺画素）の画素値の空間的な変化の傾きを演算して、演算した画素値の変化の傾きを特徴量としてクラス分類部１５３に供給する。
【０２５２】
このように、特徴量演算部１５２は、クラスタップに基づいて、例えば、上述した演算により、複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１５３に供給する。
【０２５３】
さらに、特徴量演算部１５２は、特徴量とは別に、クラスタップをそのままクラス分類部１５３に供給する。
【０２５４】
なお、特徴量として、クラスタップの、ラプラシアン、ソーベル、または分散などを採用することができる。
【０２５５】
さらにまた、特徴量演算部１５２は、入力画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１５３に供給する。例えば、特徴量演算部１５２は、入力画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１５３に供給する。
【０２５６】
クラス分類部１５３は、クラスタップおよび特徴量演算部１５２からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ１５４と予測タップ抽出部１５５とに供給する。
【０２５７】
例えば、クラス分類部１５３は、入力画像のクラスタップを、１ビットADRC処理し、その結果得られるADRCコードを、クラスコードとする。
【０２５８】
また、例えば、クラス分類部１５３は、特徴量演算部１５２からの特徴量を、そのままクラスコードとする。例えば、クラス分類部１５３は、特徴量演算部１５２からの複数の特徴量を、直交変換して、得られた値をクラスコードとする。
【０２５９】
さらに例えば、クラス分類部１５３は、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードを結合し（合成し）、最終的なクラスコードを生成して、最終的なクラスコードを係数メモリ１５４と予測タップ抽出部１５５とに供給する。
【０２６０】
なお、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードのいずれか１つを、最終的なクラスコードとするようにしてもよい。
【０２６１】
このように、クラス分類部１５３から出力されるクラスコードは、注目画素の周辺の、複数の周辺画素の特徴量を示している。
【０２６２】
係数メモリ１５４は、学習の教師となるＨＤ画像データである教師データと、学習の生徒となる差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ１５４は、クラス分類部１５３から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部１５７に供給する。なお、係数メモリ１５４に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０２６３】
予測タップ抽出部１５５は、注目画素に対応する、入力画像内の複数の周辺画素を抽出する。
【０２６４】
すなわち、予測タップ抽出部１５５は、クラス分類部１５３から供給されるクラスコードを基に、画素値演算部１５７において注目画素（の予測値）を求めるのに用いる予測タップを、入力画像から抽出して生成し、生成した予測タップを差分算出部１５６に供給する。
【０２６５】
例えば、予測タップ抽出部１５５は、注目画素の位置から空間的または時間的に近い位置にある複数の画素の画素値を抽出することにより予測タップとし、差分算出部１５６に供給する。予測タップ抽出部１５５は、図７で示されるように、注目画素ｙ⁽¹⁾について、横×縦が４×３個のＳＤ画素x⁽¹⁾乃至ＳＤ画素ｘ⁽¹²⁾を、入力画像から抽出することにより予測タップとする。
【０２６６】
なお、クラスタップとする画素と、予測タップとする画素とは、同一であっても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。
【０２６７】
また、予測タップとする画素は、クラス毎に異なるものであっても、同一であってもよい。
【０２６８】
なお、クラスタップや予測タップのタップ構造は、図７に示した、４×３個のＳＤ画素に限定されるものではない。
【０２６９】
差分算出部１５６は、予測タップ抽出部１５５から供給された予測タップについて、差分値を算出し、算出した差分値を画素値演算部１５７に供給する。
【０２７０】
例えば、差分算出部１５６は、予測タップ抽出部１５５から供給された、図７で示される、横×縦が４×３個のＳＤ画素x⁽¹⁾乃至ＳＤ画素ｘ⁽¹²⁾からなる予測タップから、差分値ｄ⁽¹⁾乃至ｄ⁽⁹⁾を算出し、算出した差分値ｄ⁽¹⁾乃至ｄ⁽⁹⁾を画素値演算部１５７に供給する。
【０２７１】
画素値演算部１５７は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から注目画素を予測する。
【０２７２】
より詳しく説明すれば、画素値演算部１５７は、係数メモリ１５４から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部１５５からの予測タップの差分値ｄ₁，ｄ₂，・・・とを用いて、注目画素ｙ（の予測値）を演算し、これを、ＨＤ画素の画素値とする。画素値演算部１５７は、このように演算された画素値からなるＨＤ画像を出力画像として出力する。
【０２７３】
すなわち、本発明に係る画像処理装置における適応処理では、ＳＤ画像である入力画像の画素値の差分値が、所定のタップ係数を用いてマッピング（写像）されることにより、ＨＤ画像に変換される。
【０２７４】
画素値演算部１５７は、画素値演算部１０７と同様の処理を実行するので、詳細な説明は省略する。
【０２７５】
次に、図１２のフローチャートを参照して、図１１の画像処理装置が行う、ＳＤ画像からＨＤ画像を創造する画像処理について説明する。
【０２７６】
ステップＳ１５１において、クラスタップ抽出部１５１は、注目画素の位置に空間的または時間的に近い（注目画素の周辺の）複数の画素を入力画像からクラスタップとして抽出して、入力画像の画素からなるクラスタップを生成する。クラスタップは、特徴量演算部１５２およびクラス分類部１５３に供給され、手続は、ステップＳ１５２に進む。ステップＳ１５２において、特徴量演算部１５２は、クラスタップから特徴量を演算して、演算された特徴量をクラス分類部１５３に供給し、ステップＳ１５３に進む。また、ステップＳ１５２において、特徴量演算部１５２は、入力画像から特徴量を演算して、演算された特徴量をクラス分類部１５３に供給する。
【０２７７】
ステップＳ１５３において、クラス分類部１５３は、クラスタップまたは特徴量演算部１５２から供給される特徴量に基づき、１以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ１５４および予測タップ抽出部１５５に供給して、ステップＳ１５４に進む。
【０２７８】
ステップＳ１５４において、予測タップ抽出部１５５は、クラス分類部１５３から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の画素を入力画像から予測タップとして抽出して、予測タップを生成する。予測タップは、差分算出部１５６に供給され、手続は、ステップＳ１５５に進む。
【０２７９】
ステップＳ１５５において、差分算出部１５６は、予測タップ抽出部１５５から供給された予測タップから、図７を参照して説明したように、差分値を求め、求めた差分値を画素値演算部１５７に供給し、手続きは、ステップＳ１５６に進む。
【０２８０】
ステップＳ１５６において、係数メモリ１５４は、クラス分類部１５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目画素のクラスのタップ係数を取得して、タップ係数を画素値演算部１５７に供給し、ステップＳ１５７に進む。
【０２８１】
ステップＳ１５７において、画素値演算部１５７は、特徴量に基づいて、抽出された複数の周辺画素同士の差分値から、注目画素（の予測値）を算出して、ステップＳ１５８に進む。即ち、ステップＳ１５７では、画素値演算部１５７は、差分算出部１５６からの予測タップの差分値と、係数メモリ１５４からのタップ係数とを用いて、式（９）で示される演算を行い、注目画素（の予測値）を求める。
【０２８２】
ステップＳ１５８において、クラスタップ抽出部１５１は、注目フレームを構成する画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ１５１に戻り、以下、同様の処理を繰り返す。
【０２８３】
また、ステップＳ１５８において、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべてのＨＤ画素が、予測された場合、処理は終了する。
【０２８４】
このように、図１１で構成が示される画像処理装置は、ＳＤ画像である入力画像から、ＨＤ画像を生成して、生成したＨＤ画像を出力することができる。
【０２８５】
次に、図１３は、図１１の係数メモリ１５４に記憶させるクラスごとのタップ係数を求める学習を行う画像処理装置の一実施の形態の構成例を示すブロック図である。
【０２８６】
図１３の画像処理装置には、タップ係数の学習用の画像データとしての、例えばＨＤ画像が入力される。画像処理装置に入力されたＨＤ画像は、ＳＤ画像生成部１７１および教師画素抽出部１７９に供給される。
【０２８７】
ＳＤ画像生成部１７１は、入力された教師画像から、ＳＤ画像を生成し、画像メモリ１７２に供給する。ＳＤ画像生成部１７１は、例えば、教師画像としてのＨＤ画像データの画素を間引く、またはＨＤ画像データの４つの画素の平均値を求めてＳＤ画像の画素値とすること等により、その教師画像としてのＨＤ画像に対応したＳＤ画像を生成する。ここで、ＳＤ画像は、図１１の画像処理装置で処理対象となるＳＤ画像に対応した画質のものとする必要がある。
【０２８８】
ＳＤ画像生成部１７１は、上述のようにして、教師画像に対応するＳＤ画像（教師画像から生成されたＳＤ画像）を生成すると、そのＳＤ画像を画像メモリ１７２に供給する。
【０２８９】
画像メモリ１７２は、ＳＤ画像生成部１７１から供給されたＳＤ画像を一時記憶する。
【０２９０】
クラスタップ抽出部１７３は、画像メモリ１７２に記憶されているＳＤ画像に対応する教師画像としてのＨＤ画像に含まれる画素を、図１１のクラスタップ抽出部１５１における場合と同様に、順次、注目画素とする。
【０２９１】
さらに、クラスタップ抽出部１７３は、注目画素に対応する、ＳＤ画像内の周辺画素を抽出する。すなわち、クラスタップ抽出部１７３は、注目画素についてのクラスタップを、画像メモリ１７２に記憶されたＳＤ画像から抽出して生成し、特徴量演算部１７４に供給する。ここで、クラスタップ抽出部１７３は、図１１のクラスタップ抽出部１５１が生成するのと同一のタップ構造のクラスタップを生成する。
【０２９２】
例えば、クラスタップ抽出部１７３は、注目画素ｙ⁽¹⁾について、図７で示される、横×縦が４×３個のＳＤ画素x⁽¹⁾乃至ＳＤ画素ｘ⁽¹²⁾を、画像メモリ１７２に記憶されたＳＤ画像から抽出することによりクラスタップとする。
【０２９３】
特徴量演算部１７４は、クラスタップ抽出部１７３により抽出された複数の周辺画素に基づいて、注目画素の特徴量を検出する。すなわち、特徴量演算部１７４は、特徴量演算部１５２と同様の処理で、クラスタップから特徴量を演算して、演算した特徴量をクラス分類部１７５に供給する。
【０２９４】
例えば、特徴量演算部１７４は、クラスタップを基に、注目画素の動きベクトルを演算して、演算した動きベクトルを特徴量としてクラス分類部１７５に供給する。また、例えば、特徴量演算部１７４は、クラスタップを基に、注目画素の位置から空間的または時間的に近い位置にあるＳＤ画像の複数の画素（注目画素の周辺画素）の画素値の空間的または時間的な変化を演算して、演算した画素値の変化を特徴量としてクラス分類部１７５に供給する。
【０２９５】
なお、特徴量演算部１７４は、特徴量演算部１５２と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。
【０２９６】
特徴量演算部１７４は、クラスタップすなわち複数の周辺画素を基に、検出された注目画素の特徴量をクラス分類部１７５に供給する。また、特徴量演算部１７４は、クラスタップをクラス分類部１７５に供給する。
【０２９７】
さらにまた、特徴量演算部１７４は、画像メモリ１７２に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１７５に供給する。例えば、特徴量演算部１７４は、画像メモリ１７２に記憶されているＳＤ画像に基づいて、動きベクトル、周辺画素の画素値の空間的または時間的な変化、ラプラシアン、ソーベル、または分散などを演算し、演算した結果を特徴量としてクラス分類部１７５に供給する。
【０２９８】
クラス分類部１７５は、図１１のクラス分類部１５３と同様に構成され、クラスタップまたは特徴量演算部１７４からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部１７６および学習メモリ１８０に供給する。
【０２９９】
予測タップ抽出部１７６は、クラス分類部１７５から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ１７２に記憶されたＳＤ画像から抽出して生成し、差分算出部１７７に供給する。ここで、予測タップ抽出部１７６は、図１１の予測タップ抽出部１５５が生成するのと同一のタップ構造の予測タップを生成する。
【０３００】
例えば、予測タップ抽出部１７６は、図７で示されるように、注目画素ｙ⁽¹⁾について、横×縦が４×３個のＳＤ画素x⁽¹⁾乃至ＳＤ画素ｘ⁽¹²⁾を、画像メモリ１７２に記憶されたＳＤ画像から抽出することにより予測タップとする。
【０３０１】
差分算出部１７７は、差分算出部１５６と同様の処理で、予測タップ抽出部１７６から供給された予測タップについて、差分値を算出し、算出した差分値を足し込み演算部１７８に供給する。例えば、差分算出部１７７は、予測タップ抽出部１７６から供給された、図７で示される、横×縦が４×３個のＳＤ画素x⁽¹⁾乃至ＳＤ画素ｘ⁽¹²⁾からなる予測タップから、差分値ｄ⁽¹⁾乃至ｄ⁽⁹⁾を算出し、算出した差分値ｄ⁽¹⁾乃至ｄ⁽⁹⁾を足し込み演算部１７８に供給する。
【０３０２】
従って、足し込み演算部１７８には、足し込み演算部１３８に供給される予測タップと同様の差分値が供給されることになる。
【０３０３】
教師画素抽出部１７９は、教師画像である入力画像から、注目している画素を教師データとして抽出して、抽出した教師データを足し込み演算部１７８に供給する。例えば、教師画素抽出部１７９は、教師画像である入力画像から、注目画素ｙ⁽¹⁾を教師データとして抽出して、抽出した教師データを足し込み演算部１７８に供給する。
【０３０４】
即ち、教師画素抽出部１７９は、入力された学習用の画像データであるＨＤ画像を、例えば、そのまま教師データとする。ここで、図１１の画像処理装置で得られるＨＤ画像は、図１３の画像処理装置で教師データとして用いられるＨＤ画像データの画質に対応したものとなる。
【０３０５】
足し込み演算部１７８および正規方程式演算部１８１は、注目画素となっている教師データと、差分算出部１７７から供給される予測タップの差分値となっている生徒データとを用い、教師データと生徒データとの関係を、クラス分類部１７５から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。換言すれば、足し込み演算部１７８および正規方程式演算部１８１は、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から注目画素を予測するための予測手段を学習する。
【０３０６】
この場合、予測手段は、複数の周辺画素同士の差分値から注目画素を予測する具体的手段であり、例えば、クラス毎のタップ係数により動作が規定される画素値演算部１５７、または画素値演算部１５７における処理を言う。複数の周辺画素同士の差分値から注目画素を予測する予測手段を学習するとは、例えば、複数の周辺画素同士の差分値から注目画素を予測する予測手段の実現（構築）を可能にすることを意味する。
【０３０７】
従って、複数の周辺画素同士の差分値から注目画素を予測するための予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、画素値演算部１５７、または画素値演算部１５７における処理が具体的に特定され、画素値演算部１５７を実現し、または画素値演算部１５７における処理を実行することができるようになるからである。
【０３０８】
即ち、足し込み演算部１７８は、足し込み演算部１３８と同様の処理で、差分算出部１７７から供給される予測タップの差分値と、教師画素抽出部１７９から供給される、注目画素となっている教師データであるＨＤ画素とを対象とした、式（１６）の足し込みを行う。
【０３０９】
学習メモリ１８０は、足し込み演算部１７８から供給された、生徒データとして差分値、および教師データとしてＨＤ画素が足し込まれた、式（１６）に対応した正規方程式を記憶する。
【０３１０】
正規方程式演算部１８１は、学習メモリ１８０から、各クラスについての式（１６）の正規方程式を取得し、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて出力する。
【０３１１】
係数メモリ１８２は、正規方程式演算部１８１が出力するクラスごとのタップ係数を記憶する。すなわち、係数メモリ１８２は、学習された予測手段を記憶する。
【０３１２】
次に、図１４のフローチャートを参照して、図１３の画像処理装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０３１３】
最初に、ステップＳ１７１において、ＳＤ画像生成部１７１は、入力画像である学習用の画像データを取得し、入力画像からＳＤ画像を生成する。ＳＤ画像は、画像メモリ１７２に供給される。
【０３１４】
ステップＳ１７２において、クラスタップ抽出部１７３は、図１１のクラスタップ抽出部１５１における場合と同様に、教師データとしてのＨＤ画像の画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、注目画素に対応する、複数の周辺画素をＳＤ画像から抽出することによって、クラスタップを画像メモリ１７２に記憶されているＳＤ画像から生成し、生成したクラスタップを特徴量演算部１７４に供給して、ステップＳ１７３に進む。
【０３１５】
ステップＳ１７３において、特徴量演算部１７４は、図１１の特徴量演算部１５２における場合と同様に、複数の周辺画素であるクラスタップから、例えば、動きベクトル、または注目画素の位置から空間的または時間的に近い位置にある複数のＳＤ画像の画素の画素値の変化などの、注目画素の特徴量を演算して、演算した特徴量をクラス分類部１７５に供給し、ステップＳ１７４に進む。また、ステップＳ１７３において、特徴量演算部１７４は、図１１の特徴量演算部１５２における場合と同様に、画像メモリ１７２に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１７５に供給する。
【０３１６】
ステップＳ１７４では、クラス分類部１７５が、図１１のクラス分類部１５３における場合と同様にして、クラスタップ抽出部１７３からのクラスタップ、および特徴量演算部１７４からの特徴量を用いて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、予測タップ抽出部１７６および学習メモリ１８０に供給して、ステップＳ１７５に進む。
【０３１７】
ステップＳ１７５において、予測タップ抽出部１７６は、クラス分類部１７５から供給されるクラスコードに基づいて、図１１の予測タップ抽出部１５５における場合と同様に、注目画素に対応する予測タップを、画像メモリ１７２に記憶されているＳＤ画像から抽出して生成し、差分算出部１７７に供給して、ステップＳ１７６に進む。
【０３１８】
ステップＳ１７６において、差分算出部１７７は、予測タップ抽出部１７６から供給された予測タップに含まれる画素の画素値の差を算出し、差分値を求める。算出された差分値は、足し込み演算部１７８に供給され、手続は、ステップＳ１７７に進む。
【０３１９】
ステップＳ１７７において、教師画素抽出部１７９は、注目画素、すなわち教師画素（教師データ）であるＨＤ画素を入力画像から抽出し、抽出した教師データを足し込み演算部１７８に供給し、ステップＳ１７８に進む。
【０３２０】
ステップＳ１７８では、足し込み演算部１７８が、分類されたクラス毎に、差分算出部１７７から供給される予測タップの差分値、および教師画素抽出部１７９から供給される教師データを対象とした、上述した式（１６）における足し込みを行い、生徒データである差分値および教師データが足し込まれた正規方程式を学習メモリ１８０に記憶させ、ステップＳ１７９に進む。
【０３２１】
そして、ステップＳ１７９では、クラスタップ抽出部１７３は、教師データとしてのＨＤ画像データの画素の中に、まだ注目画素としていないものがあるかどうか、すなわち全画素の足し込みを終了したか否かを判定する。ステップＳ１７９において、教師データの画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ１７２に戻り、以下、同様の処理が繰り返される。
【０３２２】
また、ステップＳ１７９において、教師データの画素の中に、注目画素としていないものがない、すなわち全画素の足し込みを終了したと判定された場合、ステップＳ１８０に進み、正規方程式演算部１８１は、いままでのステップＳ１７８における足し込みによって、クラスごとに得られた式（１６）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ１８０から読み出し、読み出した式（１６）の正規方程式を解くことにより（クラス毎に学習し）、所定のクラスのタップ係数を求め、係数メモリ１８２に供給して記憶させ、ステップＳ１８１に進む。
【０３２３】
すなわち、ステップＳ１７８およびステップ１８０において、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から注目画素を予測するための予測手段が学習される。
【０３２４】
ステップＳ１８１において、正規方程式演算部１８１は、全クラスのタップ係数の演算を終了したか否かを判定し、全クラスのタップ係数の演算を終了していないと判定された場合、ステップＳ１８０に戻り、次のクラスのタップ係数を求める処理を繰り返す。
【０３２５】
ステップＳ１８１において、全クラスのタップ係数の演算を終了したと判定された場合、係数メモリ１８２は、全クラスのタップ係数を記憶し、すなわち、学習された予測手段を記憶して、処理は終了する。
【０３２６】
以上のようにして、係数メモリ１８２に記憶されたクラスごとのタップ係数が、図１１の画像処理装置における係数メモリ１５４に記憶されている。
【０３２７】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、第１の画像（入力画像）に対応する、より高画質の第２の画像（出力画像）を得ることができる。
【０３２８】
また、第２の画像（出力画像）の注目している画素である注目画素を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、第１の画像（入力画像）から生成し、クラスタップに基づいて、注目画素をクラス分類し、注目画素を求めるのに用いる予測タップを、第１の画像（入力画像）から生成し、予測タップの差分を算出し、学習の教師となる、第２の画像に対応する教師データと、学習の生徒となる、予測タップの差分に対応する生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数から、注目サンプルのクラスのタップ係数を取得し、注目サンプルのクラスのタップ係数と、予測タップの差分とを用いて、注目画素を演算し、第２の画像を求めるようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０３２９】
さらに、第１の画像（入力画像）と第２の画像（出力画像）とを基に、クラス毎に学習するようにした場合には、第１の画像に対応する、より高画質の第２の画像を得るためのタップ係数を得ることができる。
【０３３０】
また、タップ係数の学習の教師となる、第２の画像（出力画像）の画素のうちの注目している注目画素を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、第１の画像（入力画像）から生成し、クラスタップに基づいて、注目画素をクラス分類し、注目画素を求めるのに用いる予測タップを、第１の画像（入力画像）から生成し、予測タップの差分を算出し、注目画素と予測タップの差分とを用い、第２の画像と差分との関係を、１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数を求めるようにした場合には、求めたタップ係数を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０３３１】
図１５は、本発明に係る画像処理装置の他の実施の形態の構成を示すブロック図である。
【０３３２】
図１５で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像の差分画像が生成され、その差分画像に対して、クラス分類適応処理が適用されることにより、１つのフレーム当たり水平方向に２倍の数の画素を配置した、空間方向により高解像度の画像（以下、適宜、水平倍密画像と称する）の差分画像が創造される。そして、創造された水平倍密画像の差分画像から、水平倍密画像が生成され、生成された水平倍密画像が出力されるようになっている。
【０３３３】
なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。即ち、図１５の画像処理装置は、画素値算出部２０３が新たに設けられ、入力画像が差分画像生成部１０１と共に画素値算出部２０３に供給され、図５における係数メモリ１０５および画素値演算部１０７に代えて、係数メモリ２０１および差分演算部２０２が設けられている他は、図５における場合と同様に構成されている。
【０３３４】
係数メモリ２０１は、学習の教師となる、水平倍密画像の画素値の差分値である教師データと、学習の生徒となる、ＳＤ画像の画素値の差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ２０１は、クラス分類部１０４から、水平倍密画像の注目している注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、差分演算部２０２に供給する。
【０３３５】
差分演算部２０２は、検出された特徴量に基づいて、抽出された複数の周辺画素同士の差分値である予測タップから、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する。
【０３３６】
より具体的に説明すると、差分演算部２０２は、係数メモリ２０１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ₁，ｄ₂，・・・とを用いて、第１の注目画素の画素値と第２の注目画素の画素値の差分値である注目している差分値Ｄ（の予測値）を演算し、これを、水平倍密画像の画素値の差分値とする。差分演算部２０２は、このよう演算された差分値からなる差分画像を画素値算出部２０３に供給する。
【０３３７】
すなわち、差分演算部２０２における適応処理では、ＳＤ画像である入力画像の画素値の差分値が、所定のタップ係数を用いてマッピング（写像）されることにより、水平倍密画像の画素値の差分値に変換される。
【０３３８】
このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、水平倍密画像の画素値の差分値Ｄは、差分画像を構成する差分値から、水平倍密画像の画素値の差分値を予測するための予測タップとして抽出される複数の差分値と、タップ係数とを用いて、式（１７）の線形１次式（線形結合）によって求められる。
【数１７】

【０３３９】
但し、式（１７）において、ｄ_nは、水平倍密画像の画素値の差分値Ｄについての予測タップを構成する、ｎ番目の差分画像の差分値を表し、ｗ_nは、ｎ番目の差分値と乗算されるｎ番目のタップ係数を表す。なお、式（１７）では、予測タップが、Ｎ個の差分値ｄ₁，ｄ₂，・・・，ｄ_Nで構成されるものとしてある。
【０３４０】
ここで、水平倍密画像の画素値の差分値Ｄは、式（１７）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０３４１】
画素値算出部２０３は、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。
【０３４２】
すなわち、画素値算出部２０３は、差分演算部２０２から供給された、水平倍密画像の差分画像、およびＳＤ画像である入力画像を基に、ＳＤ画像が空間的に積分されることに基づく、水平倍密画像との関係により、ＳＤ画像に対して、水平倍密画像の画素値を算出して、算出により得られた水平倍密画像を出力する。
【０３４３】
ＳＤ画像が空間的に積分されることに基づく水平倍密画像との関係、およびこの関係に基づく画素値算出部２０３の算出の処理の詳細は、後述する。
【０３４４】
図１６は、図１５で示される画像処理装置に入力されるＳＤ画像と、ＳＤ画像の差分画像と、生成される水平倍密画像の差分画像と、画像処理装置から出力される水平倍密画像との関係を説明する図である。
【０３４５】
図１６において、○印がＳＤ画像を構成するＳＤ画素を表し、×印が水平倍密画像を構成する水平倍密画素を表している。また、図１６では、水平倍密画像は、水平方向の画素数が、ＳＤ画像の２倍の画像になっている。水平倍密画像における、垂直方向の画素数は、ＳＤ画像と同じである。
【０３４６】
また、図１６において、△印は、ＳＤ画像に対応する差分画像を構成する差分値を表す。図１６において、□印は、水平倍密画像に対応する差分画像を構成する差分値を表す。
【０３４７】
図１５で示される画像処理装置のクラスタップ抽出部１０２は、注目画素について、例えば、図１６で示されるように、その注目画素の位置から近い横×縦が４×３個の差分値を、差分画像生成部１０１に記憶された差分画像から抽出することにより差分画像のクラスタップとする。
【０３４８】
図１６において、水平倍密画像の注目画素に対応する注目している差分値をＤで表す。図１６において、水平倍密画像の注目している差分値に対応する、空間方向に隣接する（空間的に近接する）、水平倍密画像の２つの画素を、ｙ⁽¹⁾またはｙ⁽²⁾と表す。ここで、ｙ⁽¹⁾は、第１の注目画素の一例であり、ｙ⁽²⁾は、第２の注目画素の一例である。
【０３４９】
すなわち、水平倍密画像の注目している差分値Ｄは、水平倍密画像の第１の注目画素の画素値ｙ⁽¹⁾と、第２の注目画素の画素値ｙ⁽²⁾との差分値である。水平倍密画像の注目している差分値Ｄ、並びに水平倍密画像の画素値ｙ⁽¹⁾およびｙ⁽²⁾の間には、Ｄ=ｙ⁽²⁾-ｙ⁽¹⁾の関係がある。
【０３５０】
また、図１６において、差分画像のクラスタップを構成する４×３個の差分値のうちの、第１行第１列、第１行第２列、第１行第３列、第１行第４列、第２行第１列、第２行第２列、第２行第３列、第２行第４列、第３行第１列、第３行第２列、第３行第３列、第３行第４列の差分値を、それぞれｄ⁽¹⁾，ｄ⁽²⁾，ｄ⁽³⁾，ｄ⁽⁴⁾，ｄ⁽⁵⁾，ｄ⁽⁶⁾，ｄ⁽⁷⁾，ｄ⁽⁸⁾，ｄ⁽⁹⁾，ｄ⁽¹⁰⁾，ｄ⁽¹¹⁾，ｄ⁽¹²⁾と表す。差分値ｄ⁽¹⁾，ｄ⁽²⁾，ｄ⁽³⁾，ｄ⁽⁴⁾，ｄ⁽⁵⁾，ｄ⁽⁶⁾，ｄ⁽⁷⁾，ｄ⁽⁸⁾，ｄ⁽⁹⁾，ｄ⁽¹⁰⁾，ｄ⁽¹¹⁾，ｄ⁽¹²⁾の右側に位置するＳＤ画素を、それぞれ、ｘ⁽²⁾，ｘ⁽³⁾，ｘ⁽⁴⁾，ｘ⁽⁵⁾，ｘ⁽⁷⁾，ｘ⁽⁸⁾，ｘ⁽⁹⁾，ｘ⁽¹⁰⁾，ｘ⁽¹²⁾，ｘ⁽¹³⁾，ｘ⁽¹⁴⁾，ｘ⁽¹⁵⁾と表す。差分値ｄ⁽¹⁾の左側のＳＤ画素を、ｘ⁽¹⁾で表し、差分値ｄ⁽⁵⁾の左側のＳＤ画素を、ｘ⁽⁶⁾で表し、差分値ｄ⁽⁹⁾の左側のＳＤ画素を、ｘ⁽¹¹⁾で表す。
【０３５１】
なお、ｙまたはｘは、画素を示すと共に、その画素値を示す。以下、同様である。
【０３５２】
図１６で示される場合において、差分値ｄ⁽¹⁾は、ＳＤ画素ｘ⁽²⁾からＳＤ画素ｘ⁽¹⁾を減算した値であり、差分値ｄ⁽²⁾は、ＳＤ画素ｘ⁽³⁾からＳＤ画素ｘ⁽²⁾を減算した値であり、差分値ｄ⁽³⁾は、ＳＤ画素ｘ⁽⁴⁾からＳＤ画素ｘ⁽³⁾を減算した値であり、差分値ｄ⁽⁴⁾は、ＳＤ画素ｘ⁽⁵⁾からＳＤ画素ｘ⁽⁴⁾を減算した値である。
【０３５３】
また、図１６で示される場合において、差分値ｄ⁽⁵⁾は、ＳＤ画素ｘ⁽⁷⁾からＳＤ画素ｘ⁽⁶⁾を減算した値であり、差分値ｄ⁽⁶⁾は、ＳＤ画素ｘ⁽⁸⁾からＳＤ画素ｘ⁽⁷⁾を減算した値であり、差分値ｄ⁽⁷⁾は、ＳＤ画素ｘ⁽⁹⁾からＳＤ画素ｘ⁽⁸⁾を減算した値であり、差分値ｄ⁽⁸⁾は、ＳＤ画素ｘ⁽¹⁰⁾からＳＤ画素ｘ⁽⁹⁾を減算した値である。
【０３５４】
同様に、図１６で示される場合において、差分値ｄ⁽⁹⁾は、ＳＤ画素ｘ⁽¹²⁾からＳＤ画素ｘ⁽¹¹⁾を減算した値であり、差分値ｄ⁽¹⁰⁾は、ＳＤ画素ｘ⁽¹³⁾からＳＤ画素ｘ⁽¹²⁾を減算した値であり、差分値ｄ⁽¹¹⁾は、ＳＤ画素ｘ⁽¹⁴⁾からＳＤ画素ｘ⁽¹³⁾を減算した値であり、差分値ｄ⁽¹²⁾は、ＳＤ画素ｘ⁽¹⁵⁾からＳＤ画素ｘ⁽¹⁴⁾を減算した値である。
【０３５５】
すなわち、差分値ｄ⁽¹⁾乃至ｄ⁽¹²⁾は、空間方向に隣接するＳＤ画素の画素値の差分値からなる。
【０３５６】
例えば、クラスタップ抽出部１０２は、注目している第１の注目画素について、図１６で示される、４×３個の差分値ｄ⁽¹⁾乃至差分値ｄ⁽¹²⁾を、差分画像生成部１０１に記憶された差分画像から抽出することにより差分画像のクラスタップとする。
【０３５７】
例えば、クラスタップ抽出部１０２は、注目している第１の注目画素について、図１６で示される、３×３個のＳＤ画素ｘ⁽²⁾乃至ＳＤ画素ｘ⁽⁴⁾、ＳＤ画素ｘ⁽⁷⁾乃至ＳＤ画素ｘ⁽⁹⁾、およびＳＤ画素ｘ⁽¹²⁾乃至ＳＤ画素ｘ⁽¹⁴⁾を、差分画像生成部１０１に記憶されたＳＤ画像から抽出することによりＳＤ画像のクラスタップとする。
【０３５８】
例えば、予測タップ抽出部１０６は、クラス分類部１０４から供給されるクラスコードに基づき、第１の注目画素について、図１６で示される、４×３個の差分値ｄ⁽¹⁾乃至差分値ｄ⁽¹²⁾を、差分画像生成部１０１に記憶された差分画像から抽出することにより予測タップとする。
【０３５９】
例えば、差分演算部２０２は、係数メモリ２０１から供給される、第１の注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・,ｗ₁₂と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ⁽¹⁾，ｄ⁽²⁾，・・・,ｄ⁽¹²⁾とを用いて、式（１７）により、注目している差分値Ｄ（の予測値）を求め、これを、水平倍密画像の画素値の差分値とする。差分演算部２０２は、このよう演算された差分値からなる差分画像を画素値算出部２０３に供給する。
【０３６０】
次に、図１７乃至図２０を参照して、ＳＤ画像が空間的に積分されることに基づく、ＳＤ画像と水平倍密画像との関係を説明する。
【０３６１】
まず、CCD（Charge-Coupled Device）またはCMOS（Complementary Metal-Oxide Semiconductor）センサなどのイメージセンサにおける、撮像された画像の画素の空間的な積分効果について説明する。
【０３６２】
イメージセンサは、現実世界のオブジェクトを撮像し、撮像の結果得られた画像を１フレーム単位で出力する。例えば、イメージセンサは、１秒間に３０フレームから成る画像を出力する。この場合、イメージセンサの露光時間は、１／３０秒とすることができる。露光時間は、イメージセンサが入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【０３６３】
図１７は、イメージセンサ上の画素の配置を説明する図である。図１７中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、イメージセンサ上に配置されている。イメージセンサが画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。
【０３６４】
図１８で示されるように、例えば、CCDである検出素子は、シャッタ時間に対応する期間、受光面に入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、受光面の全体に入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、受光面の全体に入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、受光面の全体に入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャッタ時間）に対して、積分効果があるとも言える。
【０３６５】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、イメージセンサから出力される個々の画素値は、現実世界のオブジェクトの時間的空間的に広がりを有するある部分を、シャッタ時間の時間方向および検出素子の空間方向について積分した結果である、１次元の空間に射影された値を有する。
【０３６６】
図１９は、図１７に対応する、CCDであるイメージセンサに設けられている画素の配置、および水平倍密画像の画素データに対応する領域を説明する図である。図１９中において、A乃至Iは、個々の画素を示す。領域a乃至rは、画素A乃至Iの個々の画素を縦に半分にした受光領域である。画素A乃至Iの受光領域の幅が、2Lであるとき、領域a乃至rの幅は、Lである。図１５で構成が示される画像処理装置は、領域a乃至rに対応する画素データの画素値を算出する。
【０３６７】
図２０は、領域g乃至領域lに入力される光に対応する画素データを説明する図である。図２０のf(x)は、入力される光および空間的な微少区間に対応する、空間的に見て理想的な画素値を示す。
【０３６８】
１つの画素データの画素値が、理想的な画素値f(x)の一様な積分で表されるとすれば、領域iに対応する画素データの画素値Y1は、式（１８）で表され、領域jに対応する画素データの画素値Y2は、式（１９）で表され、画素Eの画素値Y3は、式（２０）で表される。
【数１８】

【０３６９】
【数１９】

【０３７０】
【数２０】

【０３７１】
式（１８）乃至式（２０）において、x1，x2、およびx3は、画素Eの受光領域、領域i、および領域jのそれぞれの境界の空間座標である。
【０３７２】
式（２０）における、Y3は、上述したＳＤ画素ｘに対応する。また、式（１８）乃至式（２０）における、Y1およびY2は、それぞれ、図１５の画像処理装置が求めようとする、ＳＤ画像に対する水平倍密画像の画素値に対応する。
【０３７３】
Y3をｘに、Y1をｙ⁽¹⁾に、Y2をｙ⁽²⁾にそれぞれ置き換えると、式（２０）から、式（２１）を導くことができる。
ｘ=(ｙ⁽¹⁾+ｙ⁽²⁾)/2 ・・・（２１）
【０３７４】
式（２１）を、ｙ⁽²⁾について変形すると、式（２２）が得られる。
ｙ⁽¹⁾=2ｘ-ｙ⁽²⁾ ・・・（２２）
【０３７５】
ｙ⁽¹⁾とｙ⁽²⁾の差をＤ、すなわちＤ=ｙ⁽²⁾-ｙ⁽¹⁾とすれば、ｙ⁽¹⁾は、式（２３）で表すことができる。
ｙ⁽¹⁾=ｙ⁽²⁾−Ｄ ・・・（２３）
【０３７６】
式（２３）を式（２２）の左辺に代入すると、式（２４）で示されるように、ｙ⁽²⁾は、ｘおよびＤから算出できることがわかる。
ｙ⁽²⁾=(2ｘ+Ｄ)/2 ・・・（２４）
【０３７７】
同様に、式（２５）で示されるように、ｙ⁽¹⁾は、ｘおよびＤから算出できる。
ｙ⁽¹⁾=(2ｘ-Ｄ)/2 ・・・（２５）
【０３７８】
画素値算出部２０３は、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。すなわち、画素値算出部２０３は、差分演算部２０２から供給された、水平倍密画像の差分画像の差分値Ｄ、およびＳＤ画像である入力画像の画素値ｘに、ＳＤ画像が空間的に積分されることによる関係に基づく演算、すなわち、式（２４）を適用して、第２の注目画素の画素値である、水平倍密画像の画素値ｙ⁽²⁾を算出する。また、画素値算出部２０３は、差分演算部２０２から供給された、水平倍密画像の差分画像の差分値Ｄ、およびＳＤ画像である入力画像の画素ｘに、式（２５）を適用して、第１の注目画素の画素値である、水平倍密画像の画素値ｙ⁽¹⁾を算出する。
【０３７９】
図２１は、水平倍密画像の差分画像の差分値と、水平倍密画像の画素値との関係の一例を説明する図である。
【０３８０】
図２１において、横方向は、空間方向Ｘを示し、縦方向は、空間方向Ｙを示す。また、図２１において、四角（マス目）は、入力画像の画素を示し、x0乃至x14は、入力画像の各画素の画素値を示す。
【０３８１】
図２１において、d0乃至d12は、入力画像の差分値を示す。なお、d0乃至d12の差分値は、図６の場合と同様であるので、その説明は省略する。
【０３８２】
図２１において、水平倍密画像の差分画像の注目している差分値Ｄは、入力画像の画素値x7を有する画素に対応する、受光領域の幅を１／２とした水平倍密画像の画素値の差分値である。
【０３８３】
図２１において、斜線で示す部分は、１つのオブジェクト（前景のオブジェクト）が撮像された領域を示し、白い部分は、背景が撮像された領域を示す。
【０３８４】
すなわち、入力画像の画素値x3，x4，x8，x9，およびx14は、オブジェクトのみに対応する画素値を有する。入力画像の画素値x0，x5，x6，x10，およびx11は、背景のみに対応する画素値を有する。入力画像の画素値x1，x7，x12，およびx13は、オブジェクトおよび背景に対応する画素値を有する。
【０３８５】
画素値x7に対応するイメージセンサの画素は、そのほぼ半分の領域において、オブジェクトを撮像し、他のほぼ半分の領域において、背景を撮像したので、画素値x7には、イメージセンサの積分効果により、イメージセンサの画素の半分の領域で撮像されたオブジェクトに対応する画像の成分と、イメージセンサの画素の他の半分の領域で撮像された背景に対応する画像の成分とが含まれる。
【０３８６】
言い換えれば、画素値x7には、ほぼ同じ量の、オブジェクトに対応する画像の成分および背景に対応する画像の成分が含まれていると言える。ここで言う「同じ量」とは、「同じ面積の領域で取得された」という意味である。同じ量の画像の成分が同じ値（画素値）であるとは限らない。
【０３８７】
ここで、画素値x7を有する画素を縦に半分にした受光領域について考える。
【０３８８】
画素値x7を有する画素を縦に半分にした受光領域に対応する、水平倍密画像の２つの画素のうち、右側の画素は、オブジェクトに対応する画像の成分でほぼ占められ、左側の画素は、背景に対応する画像の成分でほぼ占められる。
【０３８９】
従って、図２１で示される差分値Ｄは、入力画像の画素値x7を有する画素に含まれる、オブジェクトに対応する画像の成分と、背景の画像の成分との差分にほぼ等しい。
【０３９０】
画素値算出部２０３は、入力画像の画素値x7を有する画素に含まれる、オブジェクトに対応する画像の成分と、背景の画像の成分との差分にほぼ等しい差分値Ｄ、および入力画像の画素値x7から、画素値x7を有する画素を縦に半分にした受光領域に対応する水平倍密画像の画素であって、オブジェクトに対応する画像の成分からなる画素と、背景に対応する画像の成分からなる画素とを求める。
【０３９１】
画素値算出部２０３は、このように算出された画素値からなる水平倍密画像を出力する。
【０３９２】
なお、図１５で構成が示される画像処理装置は、入力されたＳＤ画像について、水平倍密画像を生成し、生成した水平倍密画像に対して、さらに、縦方向に上述した処理を適用することにより、ＨＤ画像を生成することができる。
【０３９３】
次に、図２２のフローチャートを参照して、図１５で構成が示される画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０３９４】
ステップＳ２０１乃至ステップＳ２０５の処理は、それぞれ、図８のステップＳ１０１乃至ステップＳ１０５の処理と同様なので、その説明は省略する。
【０３９５】
ステップＳ２０６において、係数メモリ２０１は、クラス分類部１０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目している注目画素のクラスのタップ係数を取得して、差分演算部２０２に供給し、ステップＳ２０７に進む。
【０３９６】
ステップＳ２０７において、差分演算部２０２は、注目している差分値（サンプル）（の予測値）を演算して、ステップＳ２０８に進む。即ち、ステップＳ２０７では、差分演算部２０２は、検出された特徴量に基づいて、予測タップ抽出部１０６により抽出された複数の周辺画素同士の差分値である、予測タップから、出力画像データ内の第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、出力画像データ内の第２の注目画素の画素値との差分値を予測する。例えば、差分演算部２０２は、予測タップ抽出部１０６からの予測タップと、係数メモリ２０１からのタップ係数とを用いて、式（１７）の演算を行い、水平倍密画像の差分画像を構成する、注目している差分値（注目サンプル）（の予測値）を求める。
【０３９７】
ステップＳ２０８において、画素値算出部２０３は、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。例えば、画素値算出部２０３は、ステップＳ２０７の処理で算出された差分値、およびＳＤ画像である入力画像に、ＳＤ画像が空間的に積分されることによる、水平倍密画像との関係に基づく演算、すなわち、式（２４）および式（２５）を適用して、水平倍密画像の２つの画素値を算出する。
【０３９８】
ステップＳ２０９において、クラスタップ抽出部１０２は、注目フレームを構成する画素のうち、まだ、算出されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ２０１に戻り、以下、同様の処理を繰り返す。
【０３９９】
また、ステップＳ２０９において、算出されていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０４００】
このように、図１５で構成が示される画像処理装置は、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０４０１】
図１５で構成が示される画像処理装置においては、水平倍密画像を構成する水平倍密画素に対して半数の、差分画像の差分値を予測し、差分画像の差分値から、式（２４）または式（２５）で示される簡単な演算で、水平倍密画像の画素値を算出するようにしたので、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０４０２】
次に、図２３は、図１５の係数メモリ２０１に記憶させるクラスごとのタップ係数を求める学習を行う画像処理装置の一実施の形態の構成例を示すブロック図である。
【０４０３】
図９で示される場合と同様の部分には、同一の番号を付してあり、その説明は適宜省略する。即ち、図２３の画像処理装置は、差分画像生成部２２１が新たに設けられ、図９における足し込み演算部１３８、教師画素抽出部１３９、学習メモリ１４０、正規方程式演算部１４１、および係数メモリ１４２に代えて、足し込み演算部２２２、教師画素抽出部２２３、学習メモリ２２４、正規方程式演算部２２５、および係数メモリ２２６が設けられている他は、図９における場合と同様に構成されている。
【０４０４】
図２３の画像処理装置には、タップ係数の学習用の画像データとしての、水平倍密画像が入力される。画像処理装置に入力された水平倍密画像は、ＳＤ画像生成部１３１および差分画像生成部２２１に供給される。
【０４０５】
図２３のＳＤ画像生成部１３１は、入力された水平倍密画像から、ＳＤ画像を生成し、差分画像生成部１３２および画像メモリ１３３に供給する。ＳＤ画像生成部１３１は、例えば、水平倍密画像の水平に並ぶ２つの画素の平均値を求めてＳＤ画像の画素値とすること等により、その水平倍密画像に対応したＳＤ画像を生成する。
【０４０６】
差分画像生成部２２１は、入力画像である水平倍密画像から、教師画像である差分画像を生成し、生成した差分画像を教師画素抽出部２２３に供給する。すなわち、差分画像生成部２２１は、左右に隣り合う２つの画素からなる組の１つに、水平倍密画像のそれぞれの画素を振り分けて、その組毎に画素値の差を算出して、差分とし、例えば、図１６で示される、水平倍密画像の画素値の差分値からなる、教師画像である差分画像を生成する。差分画像生成部２２１で生成される差分画像の差分値の数は、水平倍密画像の画素に対して半数になる。
【０４０７】
教師画素抽出部２２３は、教師画像である、水平倍密画像の差分画像から、注目している差分値である教師データを抽出して、抽出した教師データを足し込み演算部２２２に供給する。
【０４０８】
足し込み演算部２２２および正規方程式演算部２２５は、検出された特徴量毎に、予測タップ抽出部１３７により抽出された複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習する。
【０４０９】
この場合、予測手段は、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する具体的手段であり、例えば、クラス毎のタップ係数により動作が規定される差分演算部２０２、または差分演算部２０２における処理を言う。複数の周辺画素同士の差分値から注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習するとは、例えば、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する予測手段の実現（構築）を可能にすることを意味する。
【０４１０】
従って、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、差分演算部２０２、または差分演算部２０２における処理が特定され、差分演算部２０２を実現し、または差分演算部２０２における処理を実行することができるようになるからである。
【０４１１】
すなわち、足し込み演算部２２２および正規方程式演算部２２５は、注目している差分値である教師データと、予測タップ抽出部１３７から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部１３６から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０４１２】
即ち、足し込み演算部２２２は、予測タップ抽出部１３７から供給される予測タップ（差分値）と、教師画素抽出部２２３から供給される教師データである差分値とを対象とした、式（２６）の足し込みを行う。
【数２１】

・・・（２６）
【０４１３】
具体的には、足し込み演算部２２２は、予測タップを構成する生徒データとしての差分値ｄ_n,kを用い、式（２６）の左辺の行列における差分値どうしの乗算（ｄ_n,kｄ_n',k）と、サメーション（Σ）に相当する演算を行う。
【０４１４】
さらに、足し込み演算部２２２は、予測タップを構成する生徒データとしての差分値ｄ_n,kと、教師データである差分値Ｄ_kを用い、式（２６）の右辺のベクトルにおける差分値および差分値Ｄ_kの乗算（ｄ_n,kＤ_k）と、サメーション（Σ）に相当する演算を行う。
【０４１５】
足し込み演算部２２２は、教師データとしての、水平倍密画像の差分画像の差分値すべてを注目している差分値として、上述の足し込みを行うことにより、各クラスについて、式（２６）に対応した正規方程式をたてると、その正規方程式を、学習メモリ２２４に供給する。
【０４１６】
なお、画素値ｙを差分値Ｄに置き換えることにより、式（９）乃至式（１５）から式（１６）を導く場合と同様に、式（２６）を導くことができ、その説明は省略する。
【０４１７】
学習メモリ２２４は、足し込み演算部２２２から供給された、生徒データとして差分値、教師データとして差分値が足し込まれた、式（２６）に対応した正規方程式を記憶する。
【０４１８】
正規方程式演算部２２５は、学習メモリ２２４から、各クラスについての式（２６）の正規方程式を取得し、その正規方程式を解くことにより（学習することにより）、クラスごとのタップ係数を求めて出力する。
【０４１９】
係数メモリ２２６は、正規方程式演算部２２５が出力するクラスごとのタップ係数を記憶する。
【０４２０】
次に、図２４のフローチャートを参照して、図２３に構成を示す画像処理装置による学習の処理を説明する。
【０４２１】
ステップＳ２２１において、ＳＤ画像生成部１３１は、入力画像（水平倍密画像）である学習用の画像データを取得し、ＳＤ画像を生成する。ＳＤ画像は、差分画像生成部１３２に供給され、手続は、ステップＳ２２２に進む。
【０４２２】
ステップＳ２２２に進み、差分画像生成部１３２は、ＳＤ画像生成部１３１から供給されたＳＤ画像の画素値の差を求めて、差分値からなる生徒画像である、ＳＤ画像の差分画像を生成する。生成されたＳＤ画像の差分画像は、画像メモリ１３３に記憶され、手続は、ステップＳ２２３に進む。
【０４２３】
ステップＳ２２３において、差分画像生成部２２１は、入力画像である水平倍密画像の画素値の差を求めて、差分値からなる教師画像である、水平倍密画像の差分画像を生成する。生成された水平倍密画像の差分画像は、教師画素抽出部２２３に供給され、手続は、ステップＳ２２４に進む。
【０４２４】
ステップＳ２２４において、クラスタップ抽出部１３４は、図１５のクラスタップ抽出部１０２における場合と同様に、教師データとしての水平倍密画像の差分画像の差分値の中から、まだ注目されていないもののうちの１つを注目している差分値として選択し、注目画素に対応する差分画像のクラスタップを、画像メモリ１３３に記憶されている生徒画像としての差分画像から生成すると共に、ＳＤ画像のクラスタップを、画像メモリ１３３に記憶されているＳＤ画像から生成し、生成した差分画像のクラスタップおよびＳＤ画像のクラスタップを特徴量演算部１３５に供給して、ステップＳ２２５に進む。
【０４２５】
ステップＳ２２５において、特徴量演算部１３５は、図１５の特徴量演算部１０３における場合と同様に、複数の周辺画素である、差分画像のクラスタップおよびＳＤ画像のクラスタップから、例えば、動きベクトル、または注目画素の位置から空間的または時間的に近い位置にある複数のＳＤ画像の画素の画素値の変化などの、注目画素の特徴量を演算して、演算した特徴量をクラス分類部１３６に供給し、ステップＳ２２６に進む。
【０４２６】
また、ステップＳ２２５において、特徴量演算部１３５は、図１５の特徴量演算部１０３における場合と同様に、画像メモリ１３３に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。さらに、ステップＳ２２５において、特徴量演算部１３５は、図１５の特徴量演算部１０３における場合と同様に、画像メモリ１３３に記憶されている差分画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１３６に供給する。
【０４２７】
ステップＳ２２６では、クラス分類部１３６が、図１５のクラス分類部１０４における場合と同様にして、クラスタップ抽出部１３４からのクラスタップ、および特徴量演算部１３５からの特徴量を用いて、注目している注目画素をクラス分類し、その注目している注目画素のクラスを表すクラスコードを、予測タップ抽出部１３７および学習メモリ２２４に供給して、ステップＳ２２７に進む。
【０４２８】
ステップＳ２２７において、予測タップ抽出部１３７は、クラス分類部１３６から供給されるクラスコードに基づいて、図１５の予測タップ抽出部１０６における場合と同様に、注目している注目画素に対応する予測タップを、画像メモリ１３３に記憶されている生徒画像としての差分画像から抽出して生成し、足し込み演算部２２２に供給して、ステップＳ２２８に進む。
【０４２９】
ステップＳ２２８において、教師画素抽出部２２３は、注目している注目画素に対応する差分値、すなわち教師画素（教師データ）を水平倍密画像の差分画像から抽出し、抽出した教師データを足し込み演算部２２２に供給し、ステップＳ２２９に進む。
【０４３０】
ステップＳ２２９では、足し込み演算部２２２が、予測タップ抽出部１３７から供給される予測タップ（生徒データ）、および教師画素抽出部２２３から供給される教師データを対象とした、上述した式（２６）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ２２４に記憶させ、ステップＳ２３０に進む。
【０４３１】
そして、ステップＳ２３０では、クラスタップ抽出部１３４は、教師データとしての水平倍密画像の差分値の中に、まだ注目している差分値としていないものがあるかどうか、すなわち全画素の足し込みを終了したか否かを判定する。ステップＳ２３０において、教師データの画素の中に、まだ注目している差分値としていないものがあると判定された場合、ステップＳ２２４に戻り、以下、同様の処理が繰り返される。
【０４３２】
また、ステップＳ２３０において、教師画像の中に、注目している差分値としていないものがない、すなわち全画素の足し込みを終了したと判定された場合、ステップＳ２３１に進み、正規方程式演算部２２５は、いままでのステップＳ２２９における足し込みによって、クラスごとに得られた式（２６）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ２２４から読み出し、読み出した式（２６）の正規方程式を解くことにより（学習することにより）、所定のクラスのタップ係数を求め、係数メモリ２２６に供給して記憶させ、ステップＳ２３２に進む。
【０４３３】
すなわち、ステップＳ２２９およびステップＳ２３１において、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段が学習される。
【０４３４】
ステップＳ２３２において、正規方程式演算部２２５は、全クラスのタップ係数の演算を終了したか否かを判定し、全クラスのタップ係数の演算を終了していないと判定された場合、ステップＳ２３１に戻り、次のクラスのタップ係数を求める処理を繰り返す。
【０４３５】
ステップＳ２３２において、全クラスのタップ係数の演算を終了したと判定された場合、係数メモリ２２６は、全クラスのタップ係数を記憶し、処理は終了する。すなわち、係数メモリ２２６は、学習された予測手段を記憶する。
【０４３６】
以上のようにして、係数メモリ２２６に記憶されたクラスごとのタップ係数が、図１５の画像処理装置における係数メモリ２０１に記憶されている。
【０４３７】
図２５は、本発明に係る画像処理装置の他の実施の形態の構成を示すブロック図である。
【０４３８】
図２５で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像にクラス分類処理が適用され、ＳＤ画像の画素値の差分が算出され、その差分に対して、適応処理が適用されることにより、水平倍密画像の差分画像が創造される。そして、創造された水平倍密画像の差分画像から、水平倍密画像が生成され、生成された水平倍密画像が出力されるようになっている。
【０４３９】
なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。即ち、図２５の画像処理装置は、画素値算出部２５３が新たに設けられ、入力画像がクラスタップ抽出部１５１、特徴量演算部１５２、および予測タップ抽出部１５５と共に画素値算出部２５３に供給され、図１１における係数メモリ１５４および画素値演算部１５７に代えて、係数メモリ２５１および差分演算部２５２が設けられている他は、図１１における場合と同様に構成されている。
【０４４０】
係数メモリ２５１は、学習の教師となる、水平倍密画像の画素値の差分値である教師データと、学習の生徒となる、ＳＤ画像の画素値の差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ２５１は、クラス分類部１５３から、水平倍密画像の注目している注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、差分演算部２５２に供給する。
【０４４１】
差分演算部２５２は、検出された特徴量に基づいて、差分算出部１５６から供給された、抽出された複数の周辺画素同士の差分値である、予測タップの差分値から、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する。
【０４４２】
より具体的に説明すると、差分演算部２５２は、係数メモリ２５１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、差分算出部１５６からの予測タップの差分値ｄ₁，ｄ₂，・・・とを用いて、第１の注目画素の画素値と第２の注目画素の画素値の差分値である注目している差分値Ｄ（の予測値）を演算し、これを、水平倍密画像の画素値の差分値とする。差分演算部２５２は、このよう演算された差分値からなる差分画像を画素値算出部２５３に供給する。
【０４４３】
すなわち、差分演算部２５２は、差分演算部２０２と同様の処理により、第１の注目画素の画素値と第２の注目画素の画素値の差分値である注目している差分値Ｄ（の予測値）を演算する。
【０４４４】
画素値算出部２５３は、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。
【０４４５】
例えば、画素値算出部２５３は、差分演算部２５２から供給された、水平倍密画像の差分画像、およびＳＤ画像である入力画像を基に、ＳＤ画像が空間的に積分されることに基づく、水平倍密画像との関係により、ＳＤ画像に対して、水平倍密画像の画素値を算出して、算出により得られた水平倍密画像を出力する。
【０４４６】
すなわち、画素値算出部２５３は、画素値算出部２０３と同様の処理により、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。
【０４４７】
なお、図２５で構成が示される画像処理装置は、入力されたＳＤ画像について、水平倍密画像を生成し、生成した水平倍密画像に対して、さらに、縦方向に上述した処理を適用することにより、ＨＤ画像を生成することができる。
【０４４８】
次に、図２６のフローチャートを参照して、図２５に構成を示す画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０４４９】
ステップＳ２５１乃至ステップＳ２５５の処理は、それぞれ、図１２のステップＳ１５１乃至ステップＳ１５５の処理と同様なので、その説明は省略する。
【０４５０】
ステップＳ２５６において、係数メモリ２５１は、クラス分類部１５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目している注目画素のクラスのタップ係数を取得して、差分演算部２５２に供給し、ステップＳ２５７に進む。
【０４５１】
ステップＳ２５７において、差分演算部２５２は、注目している差分値（サンプル）（の予測値）を演算して、ステップＳ２５８に進む。即ち、ステップＳ２５７では、差分演算部２５２は、検出された特徴量に基づいて、差分算出部１５６から供給された、複数の周辺画素同士の差分値から、出力画像データ内の第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、出力画像データ内の第２の注目画素の画素値との差分値を予測する。例えば、差分演算部２５２は、差分算出部１５６からの予測タップの差分値と、係数メモリ２５１からのタップ係数とを用いて、式（１７）の演算を行い、水平倍密画像の差分画像を構成する、注目している差分値（注目サンプル）（の予測値）を求める。
【０４５２】
ステップＳ２５８において、画素値算出部２５３は、第１の注目画素および第２の注目画素に対応する入力画像内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測する。例えば、画素値算出部２５３は、ステップＳ２５７の処理で算出された差分値、およびＳＤ画像である入力画像に、ＳＤ画像が空間的に積分されることによる、水平倍密画像との関係に基づく演算、すなわち、式（２４）および式（２５）を適用して、水平倍密画像の２つの画素値を算出する。
【０４５３】
ステップＳ２５９において、クラスタップ抽出部１５１は、注目フレームを構成する画素のうち、まだ、算出されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ２５１に戻り、以下、同様の処理を繰り返す。
【０４５４】
また、ステップＳ２５９において、算出されていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０４５５】
このように、図２５で構成が示される画像処理装置は、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０４５６】
図２５で構成が示される画像処理装置においては、水平倍密画像を構成する水平倍密画素に対して半数の、差分画像の差分値を予測し、差分画像の差分値から、式（２４）または式（２５）で示される簡単な演算で、水平倍密画像の画素値を算出するようにしたので、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０４５７】
次に、図２７は、図２５の係数メモリ２５１に記憶させるクラスごとのタップ係数を求める学習を行う画像処理装置の一実施の形態の構成例を示すブロック図である。
【０４５８】
図１３で示される場合と同様の部分には、同一の番号を付してあり、その説明は適宜省略する。即ち、図２７の画像処理装置は、差分画像生成部２７１が新たに設けられ、入力画像がＳＤ画像生成部１７１および差分画像生成部２７１に供給され、図１３における足し込み演算部１７８、教師画素抽出部１７９、学習メモリ１８０、正規方程式演算部１８１、および係数メモリ１８２に代えて、足し込み演算部２７２、教師画素抽出部２７３、学習メモリ２７４、正規方程式演算部２７５、および係数メモリ２７６が設けられている他は、図１３における場合と同様に構成されている。
【０４５９】
図２７の画像処理装置には、タップ係数の学習用の画像データとしての、水平倍密画像が入力される。画像処理装置に入力された水平倍密画像は、ＳＤ画像生成部１７１および差分画像生成部２７１に供給される。
【０４６０】
差分画像生成部２７１は、入力画像である水平倍密画像から、教師画像である差分画像を生成し、生成した差分画像を教師画素抽出部２７３に供給する。すなわち、差分画像生成部２７１は、左右に隣り合う２つの画素からなる組の１つに、水平倍密画像のそれぞれの画素を振り分けて、その組毎に画素値の差を算出して、差分とし、例えば、図１６に示す、水平倍密画像の画素値の差分値からなる、教師画像である差分画像を生成する。差分画像生成部２７１で生成される差分画像の差分値の数は、水平倍密画像の画素に対して半数になる。
【０４６１】
教師画素抽出部２７３は、教師画像である、水平倍密画像の差分画像から、注目している差分値（第１の注目画素と第２の注目画素の差分値）である教師データを抽出して、抽出した教師データを足し込み演算部２７２に供給する。
【０４６２】
足し込み演算部２７２および正規方程式演算部２７５は、検出された特徴量毎に、差分算出部１７７により算出された、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習する。
【０４６３】
この場合、予測手段は、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する具体的手段であり、例えば、クラス毎のタップ係数により動作が規定される差分演算部２５２、または差分演算部２５２における処理を言う。複数の周辺画素同士の差分値から注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習するとは、例えば、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する予測手段の実現（構築）を可能にすることを意味する。
【０４６４】
従って、複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測する予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、差分演算部２５２、または差分演算部２５２における処理が特定され、差分演算部２５２を実現し、または差分演算部２５２における処理を実行することができるようになるからである。
【０４６５】
すなわち、足し込み演算部２７２および正規方程式演算部２７５は、注目している差分値である教師データと、差分算出部１７７から供給される予測タップの差分値とを用い、教師データと差分値である生徒データとの関係を、クラス分類部１７５から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０４６６】
より具体的には、足し込み演算部２７２は、予測タップ抽出部１７６から供給される予測タップの差分値と、教師画素抽出部２７３から供給される教師データである差分値とを対象とした、式（２６）の足し込みを行う。足し込み演算部２７２は、教師データとしての、水平倍密画像の差分画像の差分値すべてを注目している差分値として、足し込みを行うことにより、各クラスについて、式（２６）に対応した正規方程式をたてると、その正規方程式を、学習メモリ２７４に供給する。
【０４６７】
学習メモリ２７４は、足し込み演算部２７２から供給された、生徒データとして差分値、教師データとして差分値が足し込まれた式（２６）に対応した正規方程式を記憶する。
【０４６８】
正規方程式演算部２７５は、学習メモリ２７４から、各クラスについての式（２６）の正規方程式を取得し、その正規方程式を解くことにより（学習することにより）、クラスごとのタップ係数を求めて出力する。
【０４６９】
係数メモリ２７６は、正規方程式演算部２７５が出力するクラスごとのタップ係数を記憶する。
【０４７０】
次に、図２８のフローチャートを参照して、図２７に構成を示す画像処理装置による学習の処理を説明する。
【０４７１】
ステップＳ２７１において、ＳＤ画像生成部１７１は、入力画像（水平倍密画像）である学習用の画像データを取得し、入力画像からＳＤ画像を生成する。ＳＤ画像は、画像メモリ１７２に供給され、画像メモリ１７２に記憶されて、手続は、ステップＳ２７７に進む。
【０４７２】
ステップＳ２７２において、差分画像生成部２７１は、入力画像である水平倍密画像の画素値の差を求めて、差分値からなる教師画像である、水平倍密画像の差分画像を生成する。生成された水平倍密画像の差分画像は、教師画素抽出部２７３に供給され、手続は、ステップＳ２７３に進む。
【０４７３】
ステップＳ２７３において、クラスタップ抽出部１７３は、図２５のクラスタップ抽出部１５１における場合と同様に、教師データとしての水平倍密画像の差分画像の画素のうち１つおきの画素の中から、まだ注目されていないもののうちの１つを注目している画素として選択し、注目画素に対応する、ＳＤ画像内の複数の周辺画素を抽出することにより、注目画素に対応するクラスタップを、画像メモリ１７２に記憶されているＳＤ画像から生成し、生成したクラスタップを特徴量演算部１３５に供給して、ステップＳ２７４に進む。
【０４７４】
ステップＳ２７４において、特徴量演算部１７４は、図２５の特徴量演算部１５２における場合と同様に、複数の周辺画素であるクラスタップから、例えば、動きベクトル、または注目画素の位置から空間的または時間的に近い位置にある複数のＳＤ画像の画素の画素値の変化などの、注目画素の特徴量を演算して、演算した特徴量をクラス分類部１７５に供給し、ステップＳ２７５に進む。また、ステップＳ２７４において、特徴量演算部１７４は、図２５の特徴量演算部１５２における場合と同様に、画像メモリ１７２に記憶されているＳＤ画像に基づいて、注目画素に対する複数の周辺画素の特徴量を検出し、検出した特徴量をクラス分類部１７５に供給する。
【０４７５】
ステップＳ２７５では、クラス分類部１７５が、図２５のクラス分類部１５３における場合と同様にして、クラスタップ抽出部１７３からのクラスタップ、および特徴量演算部１７４からの特徴量を用いて、注目している注目画素をクラス分類し、その注目している注目画素のクラスを表すクラスコードを、予測タップ抽出部１７６および学習メモリ２７４に供給して、ステップＳ２７６に進む。
【０４７６】
ステップＳ２７６において、予測タップ抽出部１７６は、クラス分類部１７５から供給されるクラスコードに基づいて、図２５の予測タップ抽出部１５５における場合と同様に、注目している注目画素に対応する予測タップを、画像メモリ１７２に記憶されているＳＤ画像から抽出して生成し、差分算出部１７７に供給して、ステップＳ２７７に進む。
【０４７７】
ステップＳ２７７に進み、差分算出部１７７は、予測タップ抽出部１７６から供給された予測タップの画素値の差を求めて、差分値を生成する。生成された差分値は、足し込み演算部２７２に供給され、手続は、ステップＳ２７８に進む。
【０４７８】
ステップＳ２７８において、教師画素抽出部２７３は、注目している注目画素に対応する差分値、すなわち教師画素（教師データ）を水平倍密画像の差分画像から抽出し、抽出した教師データを足し込み演算部２７２に供給し、ステップＳ２７９に進む。
【０４７９】
ステップＳ２７９では、足し込み演算部２７２が、差分算出部１７７から供給される差分値（生徒データ）、および教師画素抽出部２７３から供給される教師データを対象とした、上述した式（２６）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ２７４に記憶させ、ステップＳ２８０に進む。
【０４８０】
そして、ステップＳ２８０では、クラスタップ抽出部１７３は、教師データとしての水平倍密画像の画素のうちの１つおきの画素の中に、まだ注目している画素としていないものがあるかどうか、すなわち全画素の足し込みを終了したか否かを判定する。ステップＳ２８０において、教師データの画素の中に、まだ注目している画素としていないものがあると判定された場合、ステップＳ２７３に戻り、以下、同様の処理が繰り返される。
【０４８１】
また、ステップＳ２８０において、教師画像の中に、注目している画素としていないものがない、すなわち全画素の足し込みを終了したと判定された場合、ステップＳ２８１に進み、正規方程式演算部２７５は、いままでのステップＳ２７９における足し込みによって、クラスごとに得られた式（２６）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ２７４から読み出し、読み出した式（２６）の正規方程式を解くことにより（学習することにより）、所定のクラスのタップ係数を求め、係数メモリ２７６に供給して記憶させ、ステップＳ２８２に進む。
【０４８２】
すなわち、ステップＳ２７９およびステップＳ２８１において、検出された特徴量毎に、抽出された複数の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段が学習される。
【０４８３】
ステップＳ２８２において、正規方程式演算部２７５は、全クラスのタップ係数の演算を終了したか否かを判定し、全クラスのタップ係数の演算を終了していないと判定された場合、ステップＳ２８１に戻り、次のクラスのタップ係数を求める処理を繰り返す。
【０４８４】
ステップＳ２８２において、全クラスのタップ係数の演算を終了したと判定された場合、係数メモリ２７６は、全クラスのタップ係数を記憶し、処理は終了する。すなわち、係数メモリ２７６は、学習された予測手段を記憶する。
【０４８５】
以上のようにして、係数メモリ２７６に記憶されたクラスごとのタップ係数が、図２５の画像処理装置における係数メモリ２５１に記憶されている。
【０４８６】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、第１の画像（入力画像）に対応する、より高画質の第２の画像（出力画像）を得ることができる。
【０４８７】
また、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素の特徴量を検出し、検出された特徴量に基づいて、抽出された複数の第２の周辺画素同士の差分値から、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測し、第１の注目画素および第２の注目画素に対応する入力画像データ内の対応画素の画素値、および第１の注目画素の画素値と第２の注目画素の画素値との差分値から、第１の注目画素および第２の注目画素を予測するようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０４８８】
さらに、第１の画像（入力画像）と第２の画像（出力画像）とを基に、クラス毎に学習するようにした場合には、第１の画像に対応する、より高画質の第２の画像を得るためのタップ係数を得ることができる。
【０４８９】
また、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出し、検出された特徴量毎に、抽出された複数の第２の周辺画素同士の差分値から、注目画素と高質画像データ内の注目画素に隣接する他の画素との差分値を予測するための予測手段を学習するようにした場合には、予測手段を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０４９０】
図２９は、本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【０４９１】
図２９で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像の差分画像が生成され、その差分画像に対して、クラス分類適応処理が施されることにより、水平倍密画像を構成する画素のうち、水平方向に１つおき画素が創造される。
【０４９２】
例えば、図１６の×印で示される水平倍密画像の画素のうちの、第１行第１列、第１行第３列、第１行第５列、第１行第７列、第２行第１列、第２行第３列、第２行第５列、第２行第７列、第３行第１列、第３行第３列、第３行第５列、第３行第７列、第４行第１列、第４行第３列、第４行第５列、第４行第７列、第５行第１列、第５行第３列、第５行第５列、第５行第７列の画素が創造される。
【０４９３】
そして、創造された、半数の画素からなる水平倍密画像から、水平倍密画像の全体が生成され、生成された水平倍密画像が出力されるようになっている。
【０４９４】
なお、図中、図１５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。即ち、図２９の画像処理装置は、図１５における係数メモリ２０１、差分演算部２０２、および画素値算出部２０３に代えて、係数メモリ３０１、画素値演算部３０２、および画素値算出部３０３が設けられている他は、図１５における場合と同様に構成されている。
【０４９５】
図２９で示される画像処理装置のクラスタップ抽出部１０２は、クラス分類適応処理により求めようとする水平倍密画像の水平倍密画素（サンプル）を、水平方向に１つおきに、順次、注目画素とする。そして、クラスタップ抽出部１０２は、注目画素についてのクラス分類に用いるクラスタップを、差分画像生成部１０１に記憶された差分画像から生成し、特徴量演算部１０３に出力する。
【０４９６】
すなわち、クラスタップ抽出部１０２は、注目画素についてのクラス分類に用いる差分画像のクラスタップを、差分画像生成部１０１に記憶された差分画像から抽出して生成し、特徴量演算部１０３に出力する。
【０４９７】
また、クラスタップ抽出部１０２は、差分画像のクラスタップとは別に、ＳＤ画像である入力画像から、入力画像のクラスタップを抽出して特徴量演算部１０３に供給する。
【０４９８】
このように、クラスタップ抽出部１０２は、入力画像に比較して高質な高質画像の注目画素に対応する、入力画像内の複数の周辺画素（クラスタップ）を抽出する。
【０４９９】
図２９で示される画像処理装置の予測タップ抽出部１０６は、クラス分類部１０４から供給されるクラスコードを基に、画素値演算部３０２において注目画素（の予測値）を求めるのに用いる予測タップを、差分画像生成部１０１に記憶された差分画像から抽出して生成し、画素値演算部３０２に供給する。例えば、予測タップ抽出部１０６は、注目画素の位置から空間的または時間的に近い位置にある複数の差分値を、差分画像生成部１０１に記憶された差分画像から抽出することにより予測タップとし、画素値演算部３０２に供給する。
【０５００】
係数メモリ３０１は、学習の教師となる、水平倍密画像の画素値である教師データと、学習の生徒となる、ＳＤ画像データの差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ３０１は、クラス分類部１０４から、水平倍密画像の注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部３０２に供給する。
【０５０１】
画素値演算部３０２は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から、水平倍密画像の第１の注目画素を予測する。
【０５０２】
より詳しく説明すれば、画素値演算部３０２は、係数メモリ３０１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ₁，ｄ₂，・・・とを用いて、水平倍密画像において水平方向に１つおきに注目された注目画素ｙ（の予測値）を演算して求め、これを、水平倍密画像の第１の注目画素の画素値とする。画素値演算部３０２は、このように１つおきに演算された画素値からなる水平倍密画像を画素値算出部３０３に供給する。
【０５０３】
すなわち、画素値演算部３０２における適応処理では、ＳＤ画像である入力画像の画素値の差分値が、所定のタップ係数を用いてマッピング（写像）されることにより、水平倍密画像の１つおきの画素値に変換される。
【０５０４】
画素値算出部３０３は、第１の注目画素に空間的に近接する位置に配される、水平倍密画像の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。
【０５０５】
換言すれば、画素値算出部３０３は、画素値演算部３０２から供給された、水平方向に１つおきの画素からなる水平倍密画像、およびＳＤ画像である入力画像を基に、ＳＤ画像が空間的に積分されることに基づく関係から、ＳＤ画像に対して、残った水平倍密画像の画素値（水平倍密画像の１つおきの画素に隣接する画素であって、画素値演算部３０２で演算されなかった画素の画素値）を算出して、画素値演算部３０２で得られた画素と、画素値算出部３０３で算出された画素とからなる水平倍密画像を出力する。すなわち、例えば、画素値算出部３０３は、画素値演算部３０２から供給された、水平倍密画像の１つおきの画素の画素値をｙ⁽¹⁾とし、およびＳＤ画像である入力画像の画素値をｘとするとき、ｘおよびｙ⁽¹⁾に対応する、画素値演算部３０２で演算されなかった画素の画素値ｙ⁽²⁾を算出する。
【０５０６】
式（２１）を変形することにより、ｙ⁽²⁾について、式（２７）を導くことができる。
ｙ⁽²⁾=2ｘ-ｙ⁽¹⁾ ・・・（２７）
【０５０７】
従って、式（２２）および式（２７）により、ＳＤ画素ｘ、およびＳＤ画素ｘに対応する水平倍密画像の画素値ｙ⁽¹⁾およびｙ⁽²⁾のいずれか一方が既知であれば、水平倍密画像の画素値ｙ⁽¹⁾およびｙ⁽²⁾の他の一方を算出することができる。
【０５０８】
すなわち、ＳＤ画像が空間的に積分されることに基づく、水平倍密画像とＳＤ画像との関係から、１つおきの画素からなる水平倍密画像、およびＳＤ画像である入力画像を知ることができれば、ＳＤ画像に対応する、残った水平倍密画像の画素値を算出することができる。
【０５０９】
例えば、画素値演算部３０２において、図１６に×印で示される水平倍密画像の画素値ｙ⁽²⁾が算出され、画素値ｙ⁽²⁾に対応する、ＳＤ画像である入力画像の画素値がｘ⁽⁸⁾であるとき、画素値算出部３０３は、画素値ｘ⁽⁸⁾およびｙ⁽²⁾に、ｙ⁽¹⁾=2ｘ⁽⁸⁾-ｙ⁽²⁾の演算を適用して、水平倍密画像の画素値ｙ⁽¹⁾を算出する。
【０５１０】
なお、図２９で構成が示される画像処理装置は、入力されたＳＤ画像について、水平倍密画像を生成し、生成した水平倍密画像に対して、さらに、縦方向に上述した処理を適用することにより、ＨＤ画像を生成することができる。
【０５１１】
次に、図３０のフローチャートを参照して、図２９に構成を示す画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０５１２】
ステップＳ３０１乃至ステップＳ３０５の処理は、ステップＳ３０２の処理において、水平倍密画像の水平方向に１つおきの画素が注目画素として選択される点を除き、それぞれ、図８のステップＳ１０１乃至ステップＳ１０５の処理と同様なので、その説明は省略する。
【０５１３】
ステップＳ３０６において、係数メモリ３０１は、クラス分類部１０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目画素のクラスのタップ係数を取得して、画素値演算部３０２に供給し、ステップＳ３０７に進む。
【０５１４】
ステップＳ３０７において、画素値演算部３０２は、検出された特徴量に基づいて、抽出された複数の周辺画素同士の差分値である、予測タップから第１の注目画素を予測する。換言すれば、画素値演算部３０２は、水平倍密画像の水平方向に１つおきの画素である注目画素（の予測値）を演算して、ステップＳ３０８に進む。即ち、ステップＳ３０７では、画素値演算部３０２は、予測タップ抽出部１０６からの予測タップと、係数メモリ３０１からのタップ係数とを用いて、線形１次式（線形結合）によって、注目画素（の予測値）を求める。
【０５１５】
例えば、ステップＳ３０７において、画素値演算部３０２は、予測タップ抽出部１０６からの予測タップと、係数メモリ３０１からのタップ係数とを用いて、式（９）で示される演算により、注目画素（の予測値）を求める。
【０５１６】
なお、式（９）で示される演算により、画素値演算部１０７において、ＨＤ画像の画素値が演算されるのに対して、係数メモリ３０１が、学習の教師となる、水平倍密画像である教師データと、学習の生徒となる、ＳＤ画像の差分画像である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶しているので、画素値演算部３０２においては、式（９）で示される演算により、水平倍密画像の画素値が求められる。
【０５１７】
ステップＳ３０８において、画素値算出部３０３は、第１の注目画素に空間的に近接する位置に配される、高質画像である出力画像内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。換言すれば、画素値算出部３０３は、ステップＳ３０７の処理で算出された、１つおきの画素からなる水平倍密画像、およびＳＤ画像である入力画像に、ＳＤ画像が空間的に積分されることによる、水平倍密画像とＳＤ画像との関係に基づく演算、すなわち、式（２２）（または式（２７））の演算を適用して、水平倍密画像の残った画素値（水平倍密画像の１つおきの画素に隣接する画素であって、画素値演算部３０２で演算されなかった画素の画素値）を算出する。
【０５１８】
ステップＳ３０９において、クラスタップ抽出部１０２は、注目フレームを構成する画素のうち、まだ、演算されるかまたは算出されて予測されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ３０１に戻り、以下、同様の処理を繰り返す。
【０５１９】
また、ステップＳ３０９において、注目フレームの全ての画素が演算されるかまたは算出されたと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０５２０】
なお、係数メモリ３０１に格納されるタップ係数は、入力画像を水平倍密画像とし、注目画素として、水平倍密画像の水平方向に１つおきの画素に注目するようにして、図９で構成が示される画像処理装置の学習の処理により求めることができる。
【０５２１】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、第１の画像（入力画像）に対応する、より高画質の第２の画像（出力画像）を得ることができる。
【０５２２】
また、第１の画像（入力画像）の空間方向に隣接する画素の画素値の差分値からなる差分画像を生成し、第２の画像（出力画像）に関係する第３の画像の注目しているサンプルである注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、差分画像から生成し、クラスタップに基づいて、注目サンプルをクラス分類し、注目サンプルを求めるのに用いる予測タップを、差分画像から生成し、学習の教師となる、第３の画像に対応する教師データと、学習の生徒となる、差分画像に対応する生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数から、注目サンプルのクラスのタップ係数を取得し、注目サンプルのクラスのタップ係数と、予測タップとを用いて、注目サンプルを演算し、第３の画像を求め、第１の画像の画素値と、第２の画像の画素値と、第３の画像のサンプルとの関係を基に、第３の画像のサンプル、およびサンプルに対応する第１の画像の画素値から、第２の画像の画素値を算出して、第２の画像を求めるようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０５２３】
第１の画像（入力画像）と第２の画像（出力画像）とを基に、クラス毎に学習するようにした場合には、第１の画像に対応する、より高画質の第２の画像を得るためのタップ係数を得ることができる。
【０５２４】
また、タップ係数の学習の生徒となる、第１の画像（入力画像）の空間方向に隣接する画素の画素値の差分値からなる生徒画像を生成し、タップ係数の学習の教師となる、第２の画像（出力画像）に関係する第３の画像を生成し、タップ係数の学習の教師となる、第３の画像のサンプルうちの注目している注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いるクラスタップを、学習の生徒となる、生徒画像から生成し、クラスタップに基づいて、注目サンプルをクラス分類し、注目サンプルを求めるのに用いる予測タップを、生徒画像から生成し、注目サンプルと予測タップとを用い、教師画像と生徒画像との関係を、１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数を求めるようにした場合には、求めたタップ係数を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０５２５】
図３１は、本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【０５２６】
図３１で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像にクラス分類処理が適用され、ＳＤ画像の画素値の差分が算出され、その差分に対して、適応処理が適用されることにより、水平倍密画像を構成する画素のうち、水平方向に１つおき画素が創造される。
【０５２７】
そして、創造された、半数の画素からなる水平倍密画像から、水平倍密画像の全体が生成され、生成された水平倍密画像が出力されるようになっている。
【０５２８】
なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。即ち、図３１の画像処理装置は、画素値算出部３２３が新たに設けられ、入力画像がクラスタップ抽出部１５１、特徴量演算部１５２、および予測タップ抽出部１５５と共に画素値演算部３２３に供給され、図１１における係数メモリ１５４、および画素値演算部１５７に代えて、係数メモリ３２１、および画素値演算部３２２が設けられている他は、図１１における場合と同様に構成されている。
【０５２９】
係数メモリ３２１は、学習の教師となる、水平倍密画像の画素値である教師データと、学習の生徒となる、ＳＤ画像データの差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ３２１は、クラス分類部１５３から、水平倍密画像の注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部３２２に供給する。
【０５３０】
画素値演算部３２２は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から、水平倍密画像の第１の注目画素を予測する。
【０５３１】
より詳しく説明すれば、画素値演算部３２２は、画素値演算部３０２と同様の処理で、係数メモリ３２１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、差分算出部１５６からの差分値ｄ₁，ｄ₂，・・・とを用いて、水平倍密画像において水平方向に１つおきに注目された注目画素ｙ（の予測値）を演算して求め、これを、水平倍密画像の第１の注目画素の画素値とする。画素値演算部３２２は、このように１つおきに演算された画素値からなる水平倍密画像を画素値算出部３２３に供給する。
【０５３２】
すなわち、画素値演算部３２２における適応処理では、ＳＤ画像である入力画像の画素値の差分値が、所定のタップ係数を用いてマッピング（写像）されることにより、水平倍密画像の１つおきの画素の画素値に変換される。
【０５３３】
画素値算出部３２３は、第１の注目画素に空間的に近接する位置に配される、水平倍密画像の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。
【０５３４】
換言すれば、画素値算出部３２３は、画素値演算部３２２から供給された、水平方向に１つおきの画素からなる水平倍密画像、およびＳＤ画像である入力画像を基に、ＳＤ画像が空間的に積分されることに基づく関係から、ＳＤ画像に対して、残った水平倍密画像の画素値（水平倍密画像の１つおきの画素に隣接する画素であって、画素値演算部３２２で演算されなかった画素の画素値）を算出して、画素値演算部３２２で得られた画素と、画素値算出部３２３で算出された画素とからなる水平倍密画像を出力する。すなわち、例えば、画素値算出部３２３は、画素値演算部３２２から供給された、水平倍密画像の１つおきの画素の画素値をｙ⁽¹⁾とし、およびＳＤ画像である入力画像の画素値をｘとするとき、式（２７）で示される演算により、ｘおよびｙ⁽¹⁾に対応する、画素値演算部３２２で演算されなかった画素の画素値ｙ⁽²⁾を算出する。
【０５３５】
例えば、画素値算出部３２３は、画素値演算部３２２から供給された、水平倍密画像の１つおきの画素が、図１６で示される水平倍密画素ｙ⁽¹⁾であり、水平倍密画素ｙ⁽¹⁾および水平倍密画素ｙ⁽²⁾に対応する入力画像の画素がＳＤ画素ｘ⁽⁸⁾であるとき、ＳＤ画素ｘ⁽⁸⁾の画素値から水平倍密画素ｙ⁽¹⁾の画素値を引き算することにより、図１６で示される水平倍密画素ｙ⁽²⁾を算出する。
【０５３６】
なお、図３１で構成が示される画像処理装置は、入力されたＳＤ画像について、水平倍密画像を生成し、生成した水平倍密画像に対して、さらに、縦方向に上述した処理を適用することにより、ＨＤ画像を生成することができる。
【０５３７】
次に、図３２のフローチャートを参照して、図３１で構成が示される画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０５３８】
ステップＳ３２１乃至ステップＳ３２５の処理は、それぞれ、図１２のステップＳ１５１乃至ステップＳ１５５の処理と同様なので、その説明は省略する。
【０５３９】
ステップＳ３２６において、係数メモリ３２１は、クラス分類部１５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（予測係数）を読み出し、これにより、注目画素のクラスのタップ係数を取得して、画素値演算部３２２に供給し、ステップＳ３２７に進む。
【０５４０】
ステップＳ３２７において、画素値演算部３２２は、検出された特徴量に基づいて、抽出された複数の周辺画素同士の差分値である、予測タップの差分値から第１の注目画素を予測する。換言すれば、画素値演算部３２２は、水平倍密画像の水平方向に１つおきの画素である注目画素（の予測値）を演算して、ステップＳ３２８に進む。
【０５４１】
例えば、ステップＳ３２７において、画素値演算部３２２は、差分算出部１５６からの差分値と、係数メモリ３２１からのタップ係数とを用いて、式（９）で示される演算により、注目画素（の予測値）を求める。
【０５４２】
ステップＳ３２８において、画素値算出部３２３は、第１の注目画素に空間的に近接する位置に配される、高質画像である出力画像内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。換言すれば、画素値算出部３２３は、ステップＳ３２７の処理で算出された、１つおきの画素からなる水平倍密画像、およびＳＤ画像である入力画像に、ＳＤ画像が空間的に積分されることによる、水平倍密画像とＳＤ画像との関係に基づく演算、すなわち、式（２２）（または式（２７））の演算を適用して、水平倍密画像の残った画素値（水平倍密画像の１つおきの画素に隣接する画素であって、画素値演算部３２２で演算されなかった画素の画素値）を算出する。
【０５４３】
ステップＳ３２９において、クラスタップ抽出部１５１は、注目フレームを構成する画素のうち、まだ、演算されるかまたは算出されて予測されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ３２１に戻り、以下、同様の処理を繰り返す。
【０５４４】
また、ステップＳ３２９において、注目フレームの全ての画素が演算されるかまたは算出されたと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０５４５】
なお、係数メモリ３２１に格納されるタップ係数は、入力画像を水平倍密画像とし、注目画素として、水平倍密画像の水平方向に１つおきの画素に注目するようにして、図１３で構成が示される画像処理装置の学習の処理により求めることができる。
【０５４６】
図３３は、本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【０５４７】
図３３で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像の差分画像が生成され、その差分画像に対して、クラス分類適応処理が施されることにより、水平倍密画像を構成する画素のうち、水平方向に１つおき画素が創造されると共に、水平倍密画像の画素の画素値の差分値が創造される。そして、水平倍密画像の１つおき画素と差分値とから、水平倍密画像が生成され、生成された水平倍密画像が出力されるようになっている。
【０５４８】
なお、図３３中、図２９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。また、図３３中、図１５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。
【０５４９】
図３３における、クラス分類部１０４は、差分画像のクラスタップ、入力画像のクラスタップ、および特徴量演算部１０３からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに第１の注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ３０１、係数メモリ２０１、および予測タップ抽出部１０６に供給する。
【０５５０】
予測タップ抽出部１０６は、クラス分類部１０４から供給されるクラスコードを基に、予測タップを、差分画像生成部１０１に記憶された差分画像から抽出して生成し、生成した予測タップを画素値演算部３０２および差分演算部２０２に供給する。
【０５５１】
係数メモリ３０１は、学習の教師となる、水平倍密画像の画素値である教師データと、学習の生徒となる、ＳＤ画像データの差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ３０１は、クラス分類部１０４から、水平倍密画像の注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部３０２に供給する。
【０５５２】
画素値演算部３０２は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から、水平倍密画像の第１の注目画素を予測する。
【０５５３】
より詳しく説明すれば、画素値演算部３０２は、係数メモリ３０１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ₁，ｄ₂，・・・とを用いて、水平倍密画像において水平方向に１つおきに注目された注目画素ｙ（の予測値）を演算して求め、これを、水平倍密画像の第１の注目画素の画素値とする。画素値演算部３０２は、このように１つおきに演算された画素値からなる水平倍密画像を画素値算出部４０１に供給する。
【０５５４】
係数メモリ２０１は、学習の教師となる、水平倍密画像の画素値の差分値である教師データと、学習の生徒となる、ＳＤ画像の画素値の差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ２０１は、クラス分類部１０４から、水平倍密画像の注目している第１の注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、第１の注目画素のクラスのタップ係数を取得し、差分演算部２０２に供給する。
【０５５５】
差分演算部２０２は、検出された特徴量に基づいて、抽出された複数の周辺画素同士の差分値である予測タップから、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する。
【０５５６】
より具体的に説明すると、差分演算部２０２は、係数メモリ２０１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ抽出部１０６からの予測タップ（を構成する差分値）ｄ₁，ｄ₂，・・・とを用いて、第１の注目画素の画素値と第２の注目画素の画素値の差分値である注目している差分値Ｄ（の予測値）を演算する。差分演算部２０２は、このよう演算された差分値を画素値算出部４０１に供給する。
【０５５７】
画素値算出部４０１は、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。例えば、画素値算出部４０１は、画素値演算部３０２から供給された、水平倍密画像の第１の注目画素の画素値に、差分演算部２０２から供給された、第１の注目画素の画素値と第２の注目画素の画素値との差分値を加算することにより、第２の注目画素の画素値を算出することにより、第２の注目画素を予測する。
【０５５８】
このように、図３３で構成が示される画像処理装置は、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０５５９】
次に、図３４のフローチャートを参照して、図３３に構成を示す画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０５６０】
ステップＳ４０１乃至ステップＳ４０７の処理は、それぞれ、図３０のステップＳ３０１乃至ステップＳ３０７の処理と同様なので、その説明は省略する。
【０５６１】
ステップＳ４０８およびステップＳ４０９の処理は、それぞれ、図２２のステップＳ２０６およびステップＳ２０７の処理と同様なので、その説明は省略する。
【０５６２】
ステップＳ４１０において、画素値算出部４０１は、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。例えば、図１６を参照して説明したように、差分値Ｄ並びに水平倍密画像の画素値ｙ⁽¹⁾およびｙ⁽²⁾の間には、Ｄ=ｙ⁽²⁾-ｙ⁽¹⁾の関係があるので、画素値算出部４０１は、画素値演算部３０２から供給された、水平倍密画像の第１の注目画素ｙ⁽¹⁾に、差分演算部２０２から供給された、第１の注目画素の画素値と第２の注目画素の画素値との差分値Ｄを加算することにより、第２の注目画素の画素値を算出して、第２の注目画素ｙ⁽²⁾を予測する。
【０５６３】
ステップＳ４１１において、クラスタップ抽出部１０２は、注目フレームを構成する画素のうち、まだ、演算されるかまたは算出されて予測されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ４０１に戻り、以下、同様の処理を繰り返す。
【０５６４】
また、ステップＳ４１１において、注目フレームの全ての画素が演算されるかまたは算出されたと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０５６５】
このように、図３３で構成が示される画像処理装置は、図３４のフローチャートを参照して説明した処理により、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０５６６】
図３５は、本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【０５６７】
図３５で示される画像処理装置においては、例えば、ＳＤ画像が入力され、入力されたＳＤ画像にクラス分類処理が適用され、ＳＤ画像の画素値の差分が算出され、その差分に対して、適応処理が適用されることにより、水平倍密画像を構成する画素のうち、水平方向に１つおき画素が創造されると共に、水平倍密画像の画素の画素値の差分値が創造される。そして、水平倍密画像の１つおき画素と差分値とから、水平倍密画像が生成され、生成された水平倍密画像が出力されるようになっている。
【０５６８】
なお、図３５中、図３１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。また、図３５中、図２５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。
【０５６９】
図３５における、クラス分類部１５３は、入力画像の画素からなるクラスタップ、および特徴量演算部１５２からの特徴量に基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ３２１、係数メモリ２５１、および予測タップ抽出部１５５に供給する。
【０５７０】
予測タップ抽出部１５５は、クラス分類部１５３から供給されるクラスコードを基に、画素値演算部１５７において注目画素（の予測値）を求めるのに用いる予測タップを、入力画像から抽出して生成し、生成した予測タップを差分算出部１５６に供給する。差分算出部１５６は、予測タップ抽出部１５５から供給された予測タップについて、差分値を算出し、算出した差分値を画素値演算部３２２および差分演算部２５２に供給する。
【０５７１】
係数メモリ３２１は、学習の教師となる、水平倍密画像の画素値である教師データと、学習の生徒となる、ＳＤ画像データの差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ３２１は、クラス分類部１５３から、水平倍密画像の注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値演算部３２２に供給する。
【０５７２】
画素値演算部３２２は、検出された特徴量に基づいて、複数の周辺画素同士の差分値から、水平倍密画像の第１の注目画素を予測する。
【０５７３】
より詳しく説明すれば、画素値演算部３２２は、係数メモリ３２１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、差分算出部１５６からの予測タップの差分値ｄ₁，ｄ₂，・・・とを用いて、水平倍密画像において水平方向に１つおきに注目された注目画素ｙ（の予測値）を演算して求め、これを、水平倍密画像の第１の注目画素の画素値とする。画素値演算部３０２は、このように１つおきに演算された画素値からなる水平倍密画像を画素値算出部４２１に供給する。
【０５７４】
係数メモリ２５１は、学習の教師となる、水平倍密画像の画素値の差分値である教師データと、学習の生徒となる、ＳＤ画像の画素値の差分値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ２５１は、クラス分類部１５３から、水平倍密画像の注目している注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、差分演算部２５２に供給する。
【０５７５】
差分演算部２５２は、検出された特徴量に基づいて、差分算出部１５６から供給された、抽出された複数の周辺画素同士の差分値である、予測タップの差分値から、第１の注目画素の画素値と、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素の画素値との差分値を予測する。
【０５７６】
より具体的に説明すると、差分演算部２５２は、係数メモリ２５１から供給される、注目画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、差分算出部１５６からの予測タップの差分値ｄ₁，ｄ₂，・・・とを用いて、第１の注目画素の画素値と第２の注目画素の画素値の差分値である注目している差分値Ｄ（の予測値）を演算する。差分演算部２５２は、このよう演算された差分値を画素値算出部４２１に供給する。
【０５７７】
画素値算出部４２１は、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。例えば、画素値算出部４２１は、画素値演算部３０２から供給された、水平倍密画像の第１の注目画素の画素値に、差分演算部２０２から供給された、第１の注目画素の画素値と第２の注目画素の画素値との差分値を加算することにより、第２の注目画素の画素値を算出することにより、第２の注目画素を予測する。
【０５７８】
このように、図３５で構成が示される画像処理装置は、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０５７９】
次に、図３６のフローチャートを参照して、図３５に構成を示す画像処理装置による水平倍密画像を創造する画像処理を説明する。
【０５８０】
ステップＳ４２１乃至ステップＳ４２７の処理は、それぞれ、図３２のステップＳ３２１乃至ステップＳ３２７の処理と同様なので、その説明は省略する。
【０５８１】
ステップＳ４２８およびステップＳ４２９の処理は、それぞれ、図２６のステップＳ２５６およびステップＳ２５７の処理と同様なので、その説明は省略する。
【０５８２】
ステップＳ４３０において、画素値算出部４２１は、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測する。例えば、図１６を参照して説明したように、差分値Ｄ並びに水平倍密画像の画素値ｙ⁽¹⁾およびｙ⁽²⁾の間には、Ｄ=ｙ⁽²⁾-ｙ⁽¹⁾の関係があるので、画素値算出部４２１は、画素値演算部３０２から供給された、水平倍密画像の第１の注目画素ｙ⁽¹⁾に、差分演算部２０２から供給された、第１の注目画素の画素値と第２の注目画素の画素値との差分値Ｄを加算することにより、第２の注目画素の画素値を算出して、第２の注目画素ｙ⁽²⁾を予測する。
【０５８３】
ステップＳ４３１において、クラスタップ抽出部１０２は、注目フレームを構成する画素のうち、まだ、演算されるかまたは算出されて予測されていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ４２１に戻り、以下、同様の処理を繰り返す。
【０５８４】
また、ステップＳ４３１において、注目フレームの全ての画素が演算されるかまたは算出されたと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、処理は終了する。
【０５８５】
このように、図３５で構成が示される画像処理装置は、図３６のフローチャートを参照して説明した処理により、入力されたＳＤ画像に対応する水平倍密画像を生成することができる。
【０５８６】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、第１の画像（入力画像）に対応する、より高画質の第２の画像（出力画像）を得ることができる。
【０５８７】
また、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、第１の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素の特徴量を検出し、検出された特徴量に基づいて、抽出された複数の第２の周辺画素同士の差分値から第１の注目画素を予測し、第１の注目画素に空間的に近接する位置に配される、高質画像データ内の第２の注目画素を、第１の注目画素および第２の注目画素に対応する、入力画像データ内の対応画素の画素値から第１の注目画素の画素値を減算した値に基づいて予測するようにした場合には、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０５８８】
さらに、第１の画像（入力画像）と第２の画像（出力画像）とを基に、クラス毎に学習するようにした場合には、学習の結果得られた予測手段を基に、第１の画像に対応する、より高画質の第２の画像を得ることができる。
【０５８９】
また、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第１の周辺画素を抽出し、注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、抽出された複数の第１の周辺画素に基づいて、注目画素の特徴量を検出し、検出された特徴量毎に、抽出された複数の第２の周辺画素同士の差分値から注目画素を予測するための予測手段を学習するようにした場合には、予測手段を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができる。
【０５９０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０５９１】
図３７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５０３には、CPU５０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU５０１、ROM５０２、およびRAM５０３は、バス５０４により相互に接続されている。
【０５９２】
CPU５０１にはまた、バス５０４を介して入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。CPU５０１は、入力部５０６から入力される指令に対応して各種の処理を実行する。そして、CPU５０１は、処理の結果得られた画像や音声等を出力部５０７に出力する。
【０５９３】
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスクなどで構成され、CPU５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部５０９は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。
【０５９４】
また、通信部５０９を介してプログラムを取得し、記憶部５０８に記憶してもよい。
【０５９５】
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク５５１、光ディスク５５２、光磁気ディスク５５３、或いは半導体メモリ５５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５０８に転送され、記憶される。
【０５９６】
一連の処理をさせるプログラムが格納されている記録媒体は、図３７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５５１（フレキシブルディスクを含む）、光ディスク５５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク５５３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ５５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成される。
【０５９７】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０５９８】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０５９９】
【発明の効果】
以上のように、第１の本発明によれば、学習の結果得られた予測手段を基に、第１の画像に対応する、より高画質の第２の画像を得ることができる。
【０６００】
また、第１の本発明によれば、学習の結果得られた予測手段を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０６０１】
第２の本発明によれば、学習の結果得られた予測手段を基に、第１の画像に対応する、より高画質の第２の画像を得ることができる。
【０６０２】
また、第２の本発明によれば、学習の結果得られた予測手段を基に、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０６０３】
第３の本発明によれば、第１の画像に対応する、より高画質の第２の画像を得ることができる。
【０６０４】
また、第３の本発明によれば、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【０６０５】
第４の本発明によれば、第１の画像に対応する、より高画質の第２の画像を得ることができる。
【０６０６】
また、第４の本発明によれば、より演算量の少ない、より簡単な処理で、より精度の高い画像を得ることができるようになる。
【図面の簡単な説明】
【図１】従来の画像処理装置の構成を説明するブロック図である。
【図２】従来の画像処理装置による画像の創造の処理を説明するフローチャートである。
【図３】従来の画像処理装置の構成を説明するブロック図である。
【図４】従来の画像処理装置による学習の処理を説明するフローチャートである。
【図５】本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【図６】差分画像生成部１０１により生成される差分画像を説明する図である。
【図７】ＳＤ画像と、差分画像と、ＨＤ画像との関係を説明する図である。
【図８】ＳＤ画像からＨＤ画像を創造する画像処理を説明するフローチャートである。
【図９】本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【図１０】学習処理を説明するフローチャートである。
【図１１】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図１２】ＳＤ画像からＨＤ画像を創造する他の画像処理を説明するフローチャートである。
【図１３】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図１４】学習処理を説明するフローチャートである。
【図１５】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図１６】ＳＤ画像と、ＳＤ画像の差分画像と、水平倍密画像と、水平倍密画像の差分画像との関係を説明する図である。
【図１７】イメージセンサ上の画素の配置を説明する図である。
【図１８】検出素子を説明する図である。
【図１９】イメージセンサに設けられている画素の配置、および水平倍密画像の画素データに対応する領域を説明する図である。
【図２０】領域a乃至rに入力される光に対応する画素データを説明する図である。
【図２１】水平倍密画像の差分画像の差分値と、水平倍密画像の画素値との関係の一例を説明する図である。
【図２２】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図２３】画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図２４】学習の処理を説明するフローチャートである。
【図２５】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図２６】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図２７】画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図２８】学習の他の処理を説明するフローチャートである。
【図２９】本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【図３０】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図３１】本発明に係る画像処理装置の一実施の形態のさらに他の構成を示すブロック図である。
【図３２】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図３３】本発明に係る画像処理装置の一実施の形態のさらに他の構成を示すブロック図である。
【図３４】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図３５】本発明に係る画像処理装置の一実施の形態のさらに他の構成を示すブロック図である。
【図３６】水平倍密画像を創造する画像処理を説明するフローチャートである。
【図３７】一連の処理をソフトウェアにより実行するパーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
１０１ 差分画像生成部， １０２ クラスタップ抽出部， １０３ 特徴量演算部， １０４ クラス分類部， １０５ 係数メモリ， １０６ 予測タップ抽出部， １０７ 画素値演算部， １３１ ＳＤ画像生成部， １３２ 差分画像生成部， １３３ 画像メモリ， １３４ クラスタップ抽出部， １３５ 特徴量演算部， １３６ クラス分類部， １３７ 予測タップ抽出部， １３８ 足し込み演算部， １３９ 教師画素抽出部， １４０ 学習メモリ，１４１ 正規方程式演算部， １４２ 係数メモリ， １５１ クラスタップ抽出部， １５２ 特徴量演算部， １５３ クラス分類部， １５４ 係数メモリ， １５５ 予測タップ抽出部， １５６ 差分算出部， １５７ 画素値演算部， １７１ ＳＤ画像生成部， １７２ 画像メモリ， １７３ クラスタップ抽出部， １７４ 特徴量演算部， １７５ クラス分類部， １７６ 予測タップ抽出部， １７７ 差分算出部， １７８ 足し込み演算部， １７９ 教師画素抽出部， １８０ 学習メモリ， １８１ 正規方程式演算部， １８２ 係数メモリ， ２０１ 係数メモリ， ２０２ 差分演算部， ２０３画素値算出部， ２２１ 差分画像生成部， ２２２ 足し込み演算部， ２２３ 教師画素抽出部， ２２４ 学習メモリ， ２２５ 正規方程式演算部，２２６ 係数メモリ， ２５１ 係数メモリ， ２５２ 差分演算部， ２５３ 画素値算出部， ２７１ 差分画像生成部， ２７２ 足し込み演算部， ２７３ 教師画素抽出部， ２７４ 学習メモリ， ２７５ 正規方程式演算部， ２７６ 係数メモリ， ３０１ 係数メモリ， ３０２ 画素値演算部， ３０３ 画素値算出部， ３２１ 係数メモリ， ３２２ 画素値演算部， ３２３ 画素値算出部， ４０１ 画素値算出部， ４２１ 画素値算出部， ５０１ CPU， ５０２ ROM， ５０３ RAM， ５０８ 記憶部， ５５１ 磁気ディスク， ５５２ 光ディスク， ５５３ 光磁気ディスク， ５５４ 半導体メモリ

Claims (16)

1. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高解像度な高質画像データを予測する演算に利用する予測係数を学習する学習装置において、
   教師データとして既知の前記高質画像データ内に画素値が含まれる注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出手段と、
   前記注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出手段と、
   前記第１の抽出手段により抽出された複数の前記第１の周辺画素に基づいて、前記注目画素の特徴量を検出する特徴量検出手段と、
   前記特徴量検出手段により検出された前記特徴量毎に、前記注目画素の画素値および前記第２の抽出手段により抽出された複数の前記第２の周辺画素同士の差分値に基づいて、複数の前記第２の周辺画素同士の差分値との積和演算により前記注目画素の画素値を予測する予測係数を学習する学習手段と、
   前記学習手段により学習された前記予測係数を記憶する記憶手段と
   を含むことを特徴とする学習装置。
2. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高解像度な高質画像データを予測する演算に利用する予測係数を学習する学習方法において、
   教師データとして既知の前記高質画像データ内に画素値が含まれる注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
   前記注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素に基づいて、前記注目画素の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された前記特徴量毎に、前記注目画素の画素値および前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素同士の差分値に基づいて、複数の前記第２の周辺画素同士の差分値との積和演算により前記注目画素の画素値を予測する予測係数を学習する学習ステップと、
   前記学習ステップにおいて学習された前記予測係数を記憶する記憶ステップと
   を含むことを特徴とする学習方法。
3. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高解像度な高質画像データを予測する演算に利用する予測係数を学習する学習処理用のプログラムであって、
   教師データとして既知の前記高質画像データ内に画素値が含まれる注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
   前記注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素に基づいて、前記注目画素の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された前記特徴量毎に、前記注目画素の画素値および前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素同士の差分値に基づいて、複数の前記第２の周辺画素同士の差分値との積和演算により前記注目画素の画素値を予測する予測係数を学習する学習ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
4. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高解像度な高質画像データを予測する演算に利用する予測係数を学習する学習処理を、コンピュータに行わせるプログラムにおいて、
   教師データとして既知の前記高質画像データ内に画素値が含まれる注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
   前記注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素に基づいて、前記注目画素の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された前記特徴量毎に、前記注目画素の画素値および前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素同士の差分値に基づいて、複数の前記第２の周辺画素同士の差分値と予測係数との積和演算により前記注目画素の画素値を予測した場合の予測値とその真値との誤差が最小になるように、前記予測係数を学習する学習ステップと
   を含むことを特徴とするプログラム。
5. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高解像度な高質画像データの隣接する２つの画素の差分値を予測する演算に利用する予測係数を学習する学習装置において、
   教師データとして既知の前記高質画像データ内に画素値が含まれる注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出手段と、
   前記注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出手段と、
   前記第１の抽出手段により抽出された複数の前記第１の周辺画素に基づいて、前記注目画素の特徴量を検出する特徴量検出手段と、
   前記特徴量検出手段により検出された特徴量毎に、前記注目画素と前記高質画像内に画素値が含まれる前記注目画素に隣接する他の画素との前記差分値および前記第２の抽出手段により抽出された複数の前記第２の周辺画素同士の差分値に基づいて、複数の前記第２の周辺画素同士の差分値との積和演算により前記注目画素と前記他の画素との前記差分値を予測する前記予測係数を学習する学習手段と、
   前記学習手段により学習された前記予測係数を記憶する記憶手段と
   を含むことを特徴とする学習装置。
6. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高解像度な高質画像データの隣接する２つの画素の差分値を予測する演算に利用する前記予測係数を学習する学習方法において、
   教師データとして既知の前記高質画像データ内に画素値が含まれる注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
   前記注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素に基づいて、前記注目画素の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された特徴量毎に、前記注目画素と前記高質画像内に画素値が含まれる前記注目画素に隣接する他の画素との前記差分値および前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素同士の差分値に基づいて、複数の前記第２の周辺画素同士の差分値との積和演算により前記注目画素と前素と前記他の画素との前記差分値を予測する予測係数を学習する学習ステップと、
   前記学習ステップにおいて学習された前記予測係数を記憶する記憶ステップと
   を含むことを特徴とする学習方法。
7. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高解像度な高質画像データの隣接する２つの画素の差分値を予測する演算に利用する予測係数を学習する学習処理用のプログラムであって、
   教師データとして既知の前記高質画像データ内に画素値が含まれる注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
   前記注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素に基づいて、前記注目画素の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された特徴量毎に、前記注目画素と前記高質画像内に画素値が含まれる前記注目画素に隣接する他の画素との前記差分値および前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素同士の差分値に基づいて、複数の前記第２の周辺画素同士の差分値との積和演算により前記注目画素と前記他の画素との前記差分値を予測する予測係数を学習する学習ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
8. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高解像度な高質画像データの隣接する２つの画素の差分値を予測する演算に利用する予測係数を学習する学習処理を、コンピュータに行わせるプログラムにおいて、
   教師データとして既知の前記高質画像データ内に画素値が含まれる注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
   前記注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素に基づいて、前記注目画素の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された特徴量毎に、前記注目画素と前記高質画像内に画素値が含まれる前記注目画素に隣接する他の画素との前記差分値および前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素同士の差分値に基づいて、複数の前記第２の周辺画素同士の差分値との積和演算により前記注目画素と前記他の画素との前記差分値を予測する前記予測係数を学習する学習ステップと
   を含むことを特徴とするプログラム。
9. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高解像度な高質画像データに変換する画像処理装置において、
   前記高質画像データ内に画素値が含まれる第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出手段と、
   前記第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出手段と、
   前記第１の抽出手段により抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出手段と、
   前記特徴量検出手段により検出された特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、前記第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出手段により抽出された複数の前記第２の周辺画素同士の差分値とに積和演算を適用することにより前記第１の注目画素の画素値を予測する第１の予測手段と、
   前記入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が前記第１の注目画素である場合、前記第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、前記第１の注目画素および前記第２の注目画素に対応する前記対応画素の画素値から、前記第１の注目画素の画素値を減算することで、前記第２の注目画素の画素値を予測する第２の予測手段と
   を含むことを特徴とする画像処理装置。
10. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高解像度な高質画像データに変換する画像処理方法において、
    前記高質画像データ内に画素値が含まれる第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
    前記第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
    前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出ステップと、
    前記特徴量検出ステップにおいて検出された特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、前記第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出手段により抽出された複数の前記第２の周辺画素同士の差分値とに積和演算を適用することにより前記第１の注目画素の画素値を予測する第１の予測ステップと、
    前記入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が前記第１の注目画素である場合、前記第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、前記第１の注目画素および前記第２の注目画素に対応する前記対応画素の画素値から、前記第１の注目画素の画素値を減算することで、前記第２の注目画素の画素値を予測する第２の予測ステップと
    を含むことを特徴とする画像処理方法。
11. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高解像度な高質画像データに変換する画像処理用のプログラムであって、
    前記高質画像データ内に画素値が含まれる第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
    前記第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
    前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出ステップと、
    前記特徴量検出ステップにおいて検出された特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、前記第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出手段により抽出された複数の前記第２の周辺画素同士の差分値とに積和演算を適用することにより前記第１の注目画素の画素値を予測する第１の予測ステップと、
    前記入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が前記第１の注目画素である場合、前記第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、前記第１の注目画素および前記第２の注目画素に対応する前記対応画素の画素値から、前記第１の注目画素の画素値を減算することで、前記第２の注目画素の画素値を予測する第２の予測ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
12. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高解像度な高質画像データに変換する画像処理を、コンピュータに行わせるプログラムにおいて、
    前記高質画像データ内に画素値が含まれる第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
    前記第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
    前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出ステップと、
    前記特徴量検出ステップにおいて検出された特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、前記第１の注目画素に相当する画素の画素値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出手段により抽出された複数の前記第２の周辺画素同士の差分値とに積和演算を適用することにより前記第１の注目画素の画素値を予測する第１の予測ステップと、
    前記入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が前記第１の注目画素である場合、前記第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、前記第１の注目画素および前記第２の注目画素に対応する前記対応画素の画素値から、前記第１の注目画素の画素値を減算することで、前記第２の注目画素の画素値を予測する第２の予測ステップと
    を含むことを特徴とするプログラム。
13. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高解像度な高質画像データに変換する画像処理装置において、
    前記高質画像データ内に画素値が含まれる第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出手段と、
    前記第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出手段と、
    前記第１の抽出手段により抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出手段と、
    前記入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が前記第１の注目画素である場合、前記第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、前記特徴量検出手段により検出された特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、前記第１の注目画素に相当する画素の画素値と前記第２の注目画素に相当する画素の画素値との差分値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出手段により抽出された複数の前記第２の周辺画素同士の差分値とに積和演算を適用することにより、前記第１の注目画素の画素値と前記第２の注目画素の画素値との差分値を予測する第１の予測手段と、
    前記第１の注目画素および第２の注目画素に対応し、前記入力画像データ内に画素値が含まれる前記対応画素の画素値、および前記第１の注目画素の画素値と第２の注目画素の画素値との前記差分値から、前記第１の注目画素および前記第２の注目画素を予測する第２の予測手段と
    を含むことを特徴とする画像処理装置。
14. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高解像度な高質画像データに変換する画像処理方法において、
    前記高質画像データ内に画素値が含まれる第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
    前記第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
    前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出ステップと、
    前記入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が前記第１の注目画素である場合、前記第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、前記特徴量検出ステップにおいて検出された特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、前記第１の注目画素に相当する画素の画素値と前記第２の注目画素に相当する画素の画素値との差分値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素同士の差分値とに積和演算を適用することにより、前記第１の注目画素の画素値と前記第２の注目画素の画素値との差分値を予測する第１の予測ステップと、
    前記第１の注目画素および第２の注目画素に対応し、前記入力画像データ内に画素値が含まれる前記対応画素の画素値、および前記第１の注目画素の画素値と第２の注目画素の画素値との前記差分値から、前記第１の注目画素および前記第２の注目画素を予測する第２の予測ステップと
    を含むことを特徴とする画像処理方法。
15. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高解像度な高質画像データに変換する画像処理用のプログラムであって、
    前記高質画像データ内に画素値が含まれる第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
    前記第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
    前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出ステップと、
    前記入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が前記第１の注目画素である場合、前記第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、前記特徴量検出ステップにおいて検出された特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、前記第１の注目画素に相当する画素の画素値と前記第２の注目画素に相当する画素の画素値との差分値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素同士の差分値とに積和演算を適用することにより、前記第１の注目画素の画素値と前記第２の注目画素の画素値との差分値を予測する第１の予測ステップと、
    前記第１の注目画素および第２の注目画素に対応し、前記入力画像データ内に画素値が含まれる前記対応画素の画素値、および前記第１の注目画素の画素値と第２の注目画素の画素値との前記差分値から、前記第１の注目画素および前記第２の注目画素を予測する第２の予測ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
16. 複数の画素を有する撮像素子により取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高解像度な高質画像データに変換する画像処理を、コンピュータに実行させるプログラムにおいて、
    前記高質画像データ内に画素値が含まれる第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第１の周辺画素を抽出する第１の抽出ステップと、
    前記第１の注目画素に対応し、前記入力画像データ内に画素値が含まれる複数の第２の周辺画素を抽出する第２の抽出ステップと、
    前記第１の抽出ステップにおいて抽出された複数の前記第１の周辺画素の特徴量を検出する特徴量検出ステップと、
    前記入力画像データ内に画素値が含まれる画素である対応画素のそれぞれに対応し、前記高質画像データ内に画素値が含まれ、前記対応画素の位置の周辺に配されると共に互いの画素値の和が当該対応画素の２倍である、２つの注目画素のうちの一方が前記第１の注目画素である場合、前記第１の注目画素に空間的に近接する位置に配される他方の注目画素を第２の注目画素として、前記特徴量検出ステップにおいて検出された特徴量毎に、前記高質画像データの質に相当する教師データに画素値が含まれる前記第１の注目画素に相当する画素の周辺に配される、前記入力画像データの質に相当する生徒データに画素値が含まれる前記第２の周辺画素に相当する周辺画素同士の差分値との積和演算により、前記第１の注目画素に相当する画素の画素値と前記第２の注目画素に相当する画素の画素値との差分値を予測する係数が予め学習され、記憶されており、その係数と、前記第２の抽出ステップにおいて抽出された複数の前記第２の周辺画素同士の差分値とに積和演算を適用することにより、前記第１の注目画素の画素値と前記第２の注目画素の画素値との差分値を予測する第１の予測ステップと、
    前記第１の注目画素および第２の注目画素に対応し、前記入力画像データ内に画素値が含まれる前記対応画素の画素値、および前記第１の注目画素の画素値と第２の注目画素の画素値との前記差分値から、前記第１の注目画素および前記第２の注目画素を予測する第２の予測ステップと
    を含むことを特徴とするプログラム。

Images