JP4066146B2 - データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 - Google Patents

データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 Download PDF

Info

Publication number
JP4066146B2
JP4066146B2 JP2002125627A JP2002125627A JP4066146B2 JP 4066146 B2 JP4066146 B2 JP 4066146B2 JP 2002125627 A JP2002125627 A JP 2002125627A JP 2002125627 A JP2002125627 A JP 2002125627A JP 4066146 B2 JP4066146 B2 JP 4066146B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
data
tap
class
learning
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002125627A
Other languages
English (en)
Other versions
JP2003316760A (ja )
JP2003316760A5 (ja )
Inventor
哲二郎 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration, e.g. from bit-mapped to bit-mapped creating a similar image
    • G06T5/001Image restoration
    • G06T5/003Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Description

【0001】
【発明の属する技術分野】
本発明は、データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画像データを、より高画質の画像データに変換すること等ができるようにするデータ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関する。
【0002】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の変換を行うデータ変換処理として、クラス分類適応処理を、先に提案している。
【0003】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【0004】
即ち、適応処理では、例えば、低画質または標準画質の画像(以下、適宜、SD(Standard Definition)画像という)データが、所定のタップ係数を用いてマッピング(写像)されることにより、高画質の画像(以下、適宜、HD(High Definition)画像という)データに変換される。
【0005】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形1次結合モデルを採用することとすると、HD画像データを構成する画素(以下、適宜、HD画素という)(の画素値)yは、SD画像データを構成する画素(以下、適宜、SD画素という)から、HD画素を予測するための予測タップとして抽出される複数のSD画素と、タップ係数とを用いて、次の線形1次式(線形結合)によって求められる。
【0006】
【数1】
【0007】
但し、式(1)において、xnは、HD画素yについての予測タップを構成する、n番目のSD画像データの画素(以下、適宜、SD画素という)の画素値を表し、wnは、n番目のSD画素(の画素値)と乗算されるn番目のタップ係数を表す。なお、式(1)では、予測タップが、N個のSD画素x1,x2,・・・,xNで構成されるものとしてある。
【0008】
ここで、HD画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
【0009】
いま、第kサンプルのHD画素の画素値の真値をykと表すとともに、式(1)によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
【0010】
【数2】
【0011】
式(2)の予測値yk’は、式(1)にしたがって求められるため、式(2)のyk’を、式(1)にしたがって置き換えると、次式が得られる。
【0012】
【数3】
【0013】
但し、式(3)において、xn,kは、第kサンプルのHD画素についての予測タップを構成するn番目のSD画素を表す。
【0014】
式(3)の予測誤差ekを0とするタップ係数wnが、HD画素を予測するのに最適なものとなるが、すべてのHD画素について、そのようなタップ係数wnを求めることは、一般には困難である。
【0015】
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
【0016】
【数4】
【0017】
但し、式(4)において、Kは、HD画素ykと、そのHD画素ykについての予測タップを構成するSD画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数を表す。
【0018】
式(4)の自乗誤差の総和Eを最小(極小)にするタップ係数wnは、その総和Eをタップ係数wnで偏微分したものを0とするものであり、従って、次式を満たす必要がある。
【0019】
【数5】
【0020】
そこで、上述の式(3)をタップ係数wnで偏微分すると、次式が得られる。
【0021】
【数6】
【0022】
式(5)と(6)から、次式が得られる。
【0023】
【数7】
【0024】
式(7)のekに、式(3)を代入することにより、式(7)は、式(8)に示す正規方程式で表すことができる。
【0025】
【数8】
【0026】
式(8)の正規方程式は、HD画素ykとSD画素xn,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数wnの数と同じ数だけたてることができ、従って、式(8)を解くことで(但し、式(8)を解くには、式(8)において、タップ係数wnにかかる左辺の行列が正則である必要がある)、最適なタップ係数wnを求めることができる。なお、式(8)を解くにあたっては、例えば、掃き出し法(Gauss-Jordanの消去法)などを採用することが可能である。
【0027】
以上のように、多数のHD画素y1,y2,・・・,yKを、タップ係数の学習の教師となる教師データとするとともに、各HD画素ykについての予測タップを構成するSD画素x1,k,x2,k,・・・,xN,kを、タップ係数の学習の生徒となる生徒データとして、式(8)を解くことにより、最適なタップ係数wnを求める学習を行っておき、さらに、そのタップ係数wnを用い、式(1)により、SD画像データを、HD画像データにマッピング(変換)するのが適応処理である。
【0028】
なお、適応処理は、SD画像には含まれていないが、HD画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式(1)だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数wnが、教師データとしてのHD画像データと生徒データとしてのSD画像データとを用いての学習により求められるため、HD画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造(解像度想像)作用がある処理ということができる。
【0029】
ここで、タップ係数wnの学習では、教師データyと生徒データxとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数wnを求めることができる。
【0030】
即ち、例えば、教師データyとして、HD画像データを採用するとともに、生徒データxとして、そのHD画像データにノイズやぼけを付加したSD画像データを採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数wnを得ることができる。また、例えば、教師データyとして、HD画像データを採用するとともに、生徒データxとして、そのHD画像データの解像度を劣化させたSD画像データを採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数wnを得ることができる。さらに、例えば、教師データyとして、画像データを採用するとともに、生徒データxとして、その画像データをDCT(Discrete Cosine Transform)変換したDCT係数を採用した場合には、DCT係数を画像データに変換するタップ係数wnを得ることができる。
【0031】
【発明が解決しようとする課題】
上述したように、クラス分類適応処理においては、式(4)の自乗誤差の総和を最小にするタップ係数wnがクラスごとに求められ、そのタップ係数wnを用い、式(1)が演算されることにより、SD画像が、高画質のHD画像に変換される。即ち、タップ係数wnと、SD画像から生成される予測タップxnとを用いて、式(1)が演算されることにより、HD画像を構成するHD画素が求められる。
【0032】
このため、例えば、予測タップのダイナミックレンジが小さい場合には、予測タップのダイナミックレンジが大きい場合に比較して、予測タップxnの値(予測タップを構成するSD画素xnの画素値)の変動の影響を受けやすかった。
【0033】
即ち、例えば、いま、説明を簡単にするために、予測タップが、図1Aに示すように、2つのSD画素(の画素値)x1とx2で構成され、HD画素(の画素値)yが、式(1)に対応する次式で求められるものとする。
【0034】
【数9】
【0035】
また、予測タップのダイナミックレンジは、その予測タップを構成する最大値から最小値を減算したものとなるから、図1Aの予測タップのダイナミックレンジDは、次式で表される。
【0036】
【数10】
【0037】
この場合、式(9)のHD画素yは、式(10)から、次式で表される。
【0038】
【数11】
【0039】
一方、図1Bに示すように、図1Aの予測タップを構成するSD画素x1とx2のうちの、例えば、SD画素x2が、△x2だけ変動したSD画素をx2’と表すこととすると、SD画素x1とx2’で構成される予測タップによれば、次式にしたがって、HD画素y’が求められる。
【0040】
【数12】
【0041】
また、図1Bの予測タップのダイナミックレンジD’は、次式で表される。
【0042】
【数13】
【0043】
この場合、式(12)のHD画素y’は、式(13)から、次式で表される。
【0044】
【数14】
【0045】
ところで、SD画素x2’は、SD画素x2から、△x2だけ変動したものであるから、次式で表すことができる。
【0046】
【数15】
【0047】
式(15)から、式(13)のダイナミックレンジD’は、次式で表すことができる。
【0048】
【数16】
【0049】
式(16)を、式(14)に代入することにより、HD画素y’は、次式によって求めることができる。
【0050】
【数17】
【0051】
従って、図1Aの予測タップを構成するSD画素x2△x2だけ変動した場合、求められるHD画素は、式(11)で表されるyから、式(17)で表されるy’に変動することになる。
【0052】
いま、予測タップが変動することにより、求められるHD画素が、変動前の予測タップから求められるHD画素に対して、どれだけ変動するかを表す値を、変動率Rというものとすると、この変動率Rは、例えば、次式で表すことができる。
【0053】
【数18】
【0054】
式(18)に、式(11)と(17)を代入することにより、変動率Rは、次式で求められる。
【0055】
【数19】
【0056】
式(19)によれば、変動率Rは、予測タップのダイナミックレンジDが大きいほど小さく、逆に、予測タップのダイナミックレンジDが小さいほど大きくなる。
【0057】
このことは、予測タップのダイナミックレンジDが大きい場合には、予測タップの変動が、求められるHD画素にほとんど影響しないが、逆に、予測タップのダイナミックレンジDが小さい場合には、予測タップの変動が、求められるHD画素に大きく影響することを意味する。
【0058】
従って、予測タップのダイナミックレンジが大きい場合には、予測タップが変動しても、その大きなダイナミックレンジによる、いわばマスキングの効果(以下、適宜、DRマスキング効果という)(大きなダイナミックレンジによって、予測タップの変動に対するHD画素への影響がマスクされる効果)によって、求められるHD画素への影響が抑えられるが、予測タップのダイナミックレンジが小さい場合には、上述のDRマスキング効果がほとんど働かず、予測タップの変動は、求められるHD画素に大きな変動を与える。
【0059】
このため、ダイナミックレンジが大きい予測タップが構成される場合と、ダイナミックレンジが小さい予測タップが構成される場合とで、求められるHD画像の画質に差が生じることがあり、ユーザに違和感を感じさせるおそれがあった。
【0060】
また、DRマスキング効果を働かせる程度により、クラス分類適応処理によって得られるHD画像の画質に対する影響が変化する。従って、DRマスキング効果を働かせる程度を、ユーザが調整することが可能となれば、ユーザは、自身の好みに応じた画質の画像を得ることが可能となる。
【0061】
本発明は、このような状況に鑑みてなされたものであり、例えば、画像データを、より高画質の画像データに変換することができるようにし、さらには、その画質の調整をユーザが可能とすることができるようにするものである。
【0062】
【課題を解決するための手段】
本発明のデータ変換装置は、注目している第2のデータである注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、注目データの周辺に位置する第1のデータから抽出するクラスタップ生成手段と、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類手段と、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する第1のデータから抽出する予測タップ生成手段と、第1のデータから第2のデータを予測する際に予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を1以上のクラスごとに求めるための学習に用いるための、第2のデータに対応する教師データと、学習に用いるための、第1のデータに対応する生徒データとを用い、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、教師データと生徒データとの関係を1以上のクラスごとに学習し、正規方程式を解くことにより得られたタップ係数から、注目データのクラスのタップ係数を取得するタップ係数取得手段と、注目データのクラスのタップ係数と、予測タップである複数のデータサンプルの値との線形結合により、注目データを求める演算手段とを備えることを特徴とする。
【0063】
本発明のデータ変換方法は、注目している第2のデータである注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、注目データの周辺に位置する第1のデータから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する第1のデータから抽出する予測タップ生成ステップと、第1のデータから第2のデータを予測する際に予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を1以上のクラスごとに求めるための学習に用いるための、第2のデータに対応する教師データと、学習に用いるための、第1のデータに対応する生徒データとを用い、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、教師データと生徒データとの関係を1以上のクラスごとに学習し、正規方程式を解くことにより得られたタップ係数から、注目データのクラスのタップ係数を取得するタップ係数取得ステップと、注目データのクラスのタップ係数と、予測タップである複数のデータサンプルの値との線形結合により、注目データを求める演算ステップとを備えることを特徴とする。
【0064】
本発明の第1のプログラムは、注目している第2のデータである注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、注目データの周辺に位置する第1のデータから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する第1のデータから抽出する予測タップ生成ステップと、第1のデータから第2のデータを予測する際に予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を1以上のクラスごとに求めるための学習に用いるための、第2のデータに対応する教師データと、学習に用いるための、第1のデータに対応する生徒データとを用い、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、教師データと生徒データとの関係を1以上のクラスごとに学習し、正規方程式を解くことにより得られたタップ係数から、注目データのクラスのタップ係数を取得するタップ係数取得ステップと、注目データのクラスのタップ係数と、予測タップである複数のデータサンプルの値との線形結合により、注目データを求める演算ステップとを備えることを特徴とする。
【0065】
本発明の第1の記録媒体は、注目している第2のデータである注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、注目データの周辺に位置する第1のデータから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する第1のデータから抽出する予測タップ生成ステップと、第1のデータから第2のデータを予測する際に予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を1以上のクラスごとに求めるための学習に用いるための、第2のデータに対応する教師データと、学習に用いるための、第1のデータに対応する生徒データとを用い、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、教師データと生徒データとの関係を1以上のクラスごとに学習し、正規方程式を解くことにより得られたタップ係数から、注目データのクラスのタップ係数を取得するタップ係数取得ステップと、注目データのクラスのタップ係数と、予測タップである複数のデータサンプルの値との線形結合により、注目データを求める演算ステップとを備えるプログラムが記録されていることを特徴とする。
【0066】
本発明の第1の学習装置は、タップ係数の学習に用いるための、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第1のデータに対応する生徒データから抽出するクラスタップ生成手段と、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類手段と、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成手段と、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を1以上のクラスごとに学習することにより、1以上のクラスごとのタップ係数を求める学習手段と、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出手段と、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習手段における重み付けを制御する重み付け制御手段とを備えることを特徴とする。
【0067】
本発明の第1の学習方法は、タップ係数の学習に用いるための、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を1以上のクラスごとに学習することにより、1以上のクラスごとのタップ係数を求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えることを特徴とする。
【0068】
本発明の第2のプログラムは、タップ係数の学習に用いるための、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を1以上のクラスごとに学習することにより、1以上のクラスごとのタップ係数を求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えることを特徴とする。
【0069】
本発明の第2の記録媒体は、タップ係数の学習に用いるための、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を1以上のクラスごとに学習することにより、1以上のクラスごとのタップ係数を求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えるプログラムが記録されていることを特徴とする。
【0070】
本発明の第2の学習装置は、係数種データの学習に用いるための、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第1のデータに対応する生徒から抽出するクラスタップ生成手段と、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類手段と、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成手段と、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、生徒データと教師データとの関係を1以上のクラスごとに学習することにより、1以上のクラスごとの係数種データを求める学習手段と、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出手段と、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習手段における重み付けを制御する重み付け制御手段とを備えることを特徴とする。
【0071】
本発明の第2の学習方法は、係数種データの学習に用いるための、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第1のデータに対応する生徒から抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、生徒データと教師データとの関係を1以上のクラスごとに学習することにより、1以上のクラスごとの係数種データを求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えることを特徴とする。
【0072】
本発明の第3のプログラムは、係数種データの学習に用いるための、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第1のデータに対応する生徒から抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、生徒データと教師データとの関係を1以上のクラスごとに学習することにより、1以上のクラスごとの係数種データを求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えることを特徴とする。
【0073】
本発明の第3の記録媒体は、係数種データの学習に用いるための、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第1のデータに対応する生徒から抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、生徒データと教師データとの関係を1以上のクラスごとに学習することにより、1以上のクラスごとの係数種データを求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えるプログラムが記録されていることを特徴とする。
【0074】
本発明のデータ変換装置およびデータ変換方法、並びに第1のプログラムおよび第1の記録媒体においては、注目している第2のデータである注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップと、注目データを求めるのに用いる予測タップが、注目データの周辺に位置する第1のデータから抽出され、クラスタップである複数のデータサンプルの値に基づいて、注目データがクラス分類される。さらに、第1のデータから第2のデータを予測する際に予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を1以上のクラスごとに求めるための学習に用いるための、第2のデータに対応する教師データと、学習に用いるための、第1のデータに対応する生徒データとを用い、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、教師データと生徒データとの関係を1以上のクラスごとに学習し、正規方程式を解くことにより得られたタップ係数から、注目データのクラスのタップ係数が取得され、そのタップ係数と、予測タップである複数のデータサンプルの値との線形結合により、注目データが求められる。
【0075】
本発明の第1の学習装置および第1の学習方法、並びに第2のプログラムおよび第2の記録媒体においては、タップ係数の学習に用いるための、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップと、注目データを求めるのに用いる予測タップが、学習に用いるための、注目データの周辺に位置する第1のデータに対応する生徒データから抽出され、クラスタップである複数のデータサンプルの値に基づいて、注目データがクラス分類される。さらに、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を1以上のクラスごとに学習することにより、1以上のクラスごとのタップ係数が求められる。一方、注目データについて得られた予測タップのアクティビティが求められ、そのアクティビティに基づいて、注目データと予測タップに対する重み付けが制御される。
【0076】
本発明の第2の学習装置および第2の学習方法、並びに第3のプログラムおよび第3の記録媒体においては、係数種データの学習に用いるための、第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップと、注目データを求めるのに用いる予測タップが、学習に用いるための、注目データの周辺に位置する第1のデータに対応する生徒データから抽出され、クラスタップである複数のデータサンプルの値に基づいて、注目データがクラス分類される。さらに、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を1以上のクラスごとに学習することにより、1以上のクラスごとの係数種データが求められる。一方、注目データについて得られた予測タップのアクティビティが求められ、そのアクティビティに基づいて、注目データと予測タップに対する重み付けが制御される。
【0077】
【発明の実施の形態】
図2は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【0078】
この画像処理装置においては、例えば、ぼけたSD画像が入力され、そのSD画像に対して、クラス分類適応処理が施されることにより、SD画像のぼけ度にかかわらず、そのぼけが十分に改善されたHD画像(ぼけ改善画像)が出力されるようになっている。
【0079】
即ち、この画像処理装置は、フレームメモリ1、クラスタップ生成回路2、予測タップ生成回路3、クラス分類回路4、係数RAM(Random Access Memory)5、および予測演算回路6から構成され、そこには、ぼけの改善を行う対象となるSD画像が入力される。
【0080】
フレームメモリ1は、画像処理装置に入力されるSD画像を、例えば、フレーム(またはフィールド)単位で一時記憶する。なお、本実施の形態では、フレームメモリ1は、複数フレームのSD画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力されるSD画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【0081】
クラスタップ生成回路2は、クラス分類適応処理により求めようとするHD画素(ここでは、SD画素からぼけを完全に排除した、ぼけのない理想的なHD画素)を、注目画素として、その注目画素についてのクラス分類に用いるクラスタップを、フレームメモリ1に記憶されたSD画像から生成し、クラス分類回路4に出力する。即ち、クラスタップ生成回路2は、例えば、注目画素の位置から空間的または時間的に近い位置にある複数のSD画素を、フレームメモリ1に記憶されたSD画像から抽出することによりクラスタップとし、クラス分類回路4に出力する。
【0082】
予測タップ生成回路3は、予測演算回路6において注目画素(の予測値)を求めるのに用いる予測タップを、フレームメモリ1に記憶されたSD画像から生成し、予測演算回路6に供給する。即ち、予測タップ生成回路3は、例えば、注目画素の位置から空間的または時間的に近い位置にある複数のSD画素を、フレームメモリ1に記憶されたSD画像から抽出することにより予測タップとし、予測演算回路6に供給する。
【0083】
なお、ここでは、SD画素そのものによって、予測タップやクラスタップ(以下、適宜、両方含めて、単に、タップという)を構成するようにしたが、タップは、その他、例えば、SD画像から、その動きベクトルなど検出し、その動きベクトルを含めて構成することが可能である。
【0084】
また、予測タップとするSD画素と、クラスタップとするSD画素とは、同一であっても良いし、同一でなくても良い。即ち、予測タップとクラスタップは、それぞれ独立に構成(生成)することが可能である。
【0085】
クラス分類回路4は、クラスタップ生成回路2からのクラスタップに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数RAM5に対して、アドレスとして与える。即ち、クラス分類回路4は、クラスタップ生成回路2からのクラスタップを、例えば、1ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、係数RAM5に出力する。
【0086】
ここで、KビットADRC処理においては、クラスタップを構成するSD画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するSD画素がKビットに再量子化される。即ち、クラスタップを構成する各SD画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算(量子化)される。従って、クラスタップが、1ビットADRC処理された場合には、そのクラスタップを構成する各SD画素の画素値は1ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各SD画素についての1ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。なお、クラス分類は、その他、例えば、クラスタップを構成するSD画素を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。また、クラス分類としては、1クラスのクラス分類を行うことも可能である。この場合、クラス分類回路4は、どのようなクラスタップが供給されても、固定のクラスコードを出力するものとなる。
【0087】
係数RAM5は、学習の教師となるHD画像データである教師データ(第2の学習用データ)と、学習の生徒となるSD画像データある生徒データ(第1の学習用データ)とを用い、その教師データと生徒データに対して、生徒データから生成される予測タップのアクティビティに基づく重み付けを行いながら、教師データと生徒データとの関係を、1以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数RAM5は、クラス分類回路4からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、予測演算回路6に供給する。なお、タップ係数の学習方法についての詳細は、後述する。
【0088】
予測演算回路6は、係数RAM5から供給される、注目画素のクラスについてのタップ係数 1 ,w2,・・・と、予測タップ生成回路3からの予測タップ(を構成する各SD画素の画素値)x1,x2,・・・とを用いて、式(1)に示した演算を行うことにより、注目画素y(の予測値)を求め、これを、ぼけを改善したHD画素の画素値として出力する。
【0089】
次に、図3のフローチャートを参照して、図2の画像処理装置が行う、SD画像をHD画像に変換する画像変換処理について説明する。
【0090】
フレームメモリ1には、画像変換処理の対象としてのSD画像(動画像)が、フレーム単位で順次供給され、フレームメモリ1では、そのようにフレーム単位で供給されるSD画像が順次記憶されていく。
【0091】
そして、ステップS1において、クラスタップ生成回路2は、まだ求めてられていないHD画素のうちの1つを注目画素として選択し、ステップS2に進む。
【0092】
ステップS2では、クラスタップ生成回路2と予測タップ生成回路3が、注目画素の位置に空間的または時間的に近い複数のSD画素を、フレームメモリ1に記憶されたSD画像から抽出することにより、クラスタップと予測タップをそれぞれ生成し、クラス分類回路4と予測演算回路6にそれぞれ供給する。
【0093】
そして、ステップS3に進み、クラス分類回路4は、クラスタップ生成回路2から供給されるクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数RAM5に対して、アドレスとして出力して、ステップS4に進む。ステップS4では、係数RAM5は、クラス分類回路4からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目画素のクラスのタップ係数を取得して、予測演算回路6に供給する。
【0094】
その後、ステップS5に進み、予測演算回路6は、予測タップ生成回路3からの予測タップと、係数RAM5からのタップ係数とを用いて、式(1)に示した演算を行い、注目画素であるHD画素y(の予測値)を求め、ステップS6に進む。
【0095】
ここで、予測演算回路6は、1フレーム分のHD画素が求められるまで、ステップS5で得られたHD画素を記憶しており、1フレーム分のHD画素が求められると、そのHD画素で構成される1フレームのHD画像を出力する。
【0096】
ステップS6では、クラスタップ生成回路2が、まだ、注目画素としていないHD画素が存在するかどうかを判定し、存在すると判定した場合、ステップS1に戻り、以下、同様の処理を繰り返す。
【0097】
また、ステップS6において、注目画素としていないHD画素が存在しないと判定された場合、処理を終了する。
【0098】
次に、図4は、図2の係数RAM5に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成例を示している。
【0099】
学習用データベース61には、タップ係数の学習用の画像データとしての、例えばHD画像データが記憶されている。
【0100】
学習対生成回路62は、学習用データベース61に記憶された学習用の画像データから、タップ係数の学習に用いられる教師データと生徒データのセットである学習対データを生成し、学習対データベース63に供給する。
【0101】
即ち、学習対生成回路62は、学習用データベース61に記憶された学習用の画像データを読み出し、その学習用の画像データであるHD画像データを、例えば、そのまま教師データとする。ここで、図2の画像処理装置で得られるHD画像は、図4の学習装置で教師データとして用いられるHD画像データの画質に対応したものとなる。
【0102】
さらに、学習対生成回路62は、教師データとしてのHD画像データの画質を劣化させることにより、即ち、例えば、教師データとしてのHD画像データの画素を間引き、さらに、LPF(Low Pass Filter)でフィルタリングすること等により、その教師データとしてのHD画像データをぼかしたSD画像データである生徒データを生成する。ここで、生徒データとしてのSD画像データは、図2の画像処理装置で処理対象となるSD画像データに対応した画質のものとする必要がある。
【0103】
学習対生成回路62は、上述のようにして、教師データと、その教師データに対応する生徒データ(教師データから生成された生徒データ)とを生成すると、その教師データと生徒データのセットを、学習対データとして、学習対データベース63に供給する。
【0104】
学習対データベース63は、学習対生成回路62からの学習対データを一時記憶する。
【0105】
クラスタップ生成回路64と予測タップ生成回路65は、学習対データベース63に記憶された学習対データにおける生徒データとしてのSD画像を構成するSD画素を用い、注目画素となっている教師データとしてのHD画素について、図2のクラスタップ生成回路2または予測タップ生成回路3における場合と同一のタップ構造のクラスタップと予測タップをそれぞれ生成し、クラス分類回路66と足し込み回路67にそれぞれ供給する。
【0106】
クラス分類回路66は、図2のクラス分類回路4と同様に構成され、クラスタップ生成回路64からのクラスタップに基づいて、注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、足し込み回路67に供給する。
【0107】
足し込み回路67およびタップ係数演算回路68は、学習対データベース63に記憶された学習対データにおける、注目画素となっている教師データと、予測タップ生成回路65から供給される予測タップに対して、重み制御回路71からの制御にしたがった重み付けを行いながら、学習対データベース63に記憶された学習対データとしての教師データと生徒データとの関係を、クラス分類回路66から供給されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【0108】
即ち、足し込み回路67は、クラス分類回路66が出力するクラスコードごとに、予測タップ生成回路65から供給される予測タップと、学習対データベース63に記憶された学習対データにおける、注目画素となっているHD画素とを対象とした、式(8)の足し込みを行う。
【0109】
具体的には、足し込み回路67は、クラス分類回路66から供給されるクラスコードに対応するクラスごとに、予測タップを構成するSD画素xn,kを用い、式(8)の左辺の行列におけるSD画素どうしの乗算(xn,kn',k)と、サメーション(Σ)に相当する演算を行う。
【0110】
さらに、足し込み回路67は、やはり、クラス分類回路66から供給されるクラスコードに対応するクラスごとに、予測タップを構成するSD画素xn,kと注目画素となっている教師データであるHD画素ykを用い、式(8)の右辺のベクトルにおけるSD画素xn,kおよび注目画素ykの乗算(xn,kk)と、サメーション(Σ)に相当する演算を行う。
【0111】
但し、足し込み回路67は、予測タップと注目画素を対象とした、式(8)の足し込みを行う際に、その予測タップと注目画素に対して、重み制御回路71からの制御にしたがった重み付けを行う。従って、いま、第kサンプルの注目画素ykと、その注目画素ykについて生成された予測タップxn,kに対する重みをhkと表すこととすると、足し込み回路67は、式(8)の左辺の行列と右辺のベクトルの各コンポーネントに重みhkを乗算した式(20)の足し込みを行う。
【0112】
【数20】
【0113】
即ち、足し込み回路67は、クラス分類回路66から供給されるクラスコードに対応するクラスごとに、予測タップを構成するSD画素xn,kを用い、式(20)の左辺の行列におけるSD画素どうしの乗算(xn,kn',k)と、重みhkによる重み付け(xn,kn',kk)を行い、さらに、サメーション(Σ)に相当する演算を行う。
【0114】
また、足し込み回路67は、やはり、クラス分類回路66から供給されるクラスコードに対応するクラスごとに、予測タップを構成するSD画素xn,kと注目画素となっている教師データであるHD画素ykを用い、式(20)の右辺のベクトルにおけるSD画素xn,kおよび注目画素ykの乗算(xn,kk)と、重みhkによる重み付け(xn,kkk)を行い、さらに、サメーション(Σ)に相当する演算を行う。
【0115】
ここで、図5は、図4の足し込み回路67の構成例を示している。
【0116】
加算回路81には、予測タップ生成回路65から、新たな注目画素yk+1の予測タップxn,k+1が供給されるとともに、重み制御回路71から、新たな注目画素yk+1と予測タップxn,k+1に対する重みhk+1を表す重み情報が供給される。また、メモリ83は、前回、注目画素ykとされた教師データについて求められた式(20)における左辺の行列のコンポーネント(Σxn,kn',kk)を記憶している。そして、メモリ83には、クラス分類回路66が出力する、新たな注目画素yk+1のクラスコードが供給されるようになっており、メモリ83は、そのクラスコードに対応する、式(20)における左辺の行列のコンポーネント(Σxn,kn',kk)を読み出し、加算回路81に供給する。
【0117】
加算回路81は、新たな注目画素yk+1の予測タップxn,k+1と重みhk+1を用いて、式(20)における左辺の行列のコンポーネントxn,k+1n',k+1k+1を計算し、メモリ83から供給される、対応するコンポーネントΣxn,kn',kkに足し込むことにより、新たなコンポーネントΣxn,k+1n',k+1k+1を求める。そして、加算回路81は、その新たなコンポーネントΣxn,k+1n',k+1k+1を、メモリ83に供給し、前回までに求められていたコンポーネントΣxn,kn',kkに上書きする形で記憶させる。
【0118】
一方、加算回路82にも、予測タップ生成回路65から、新たな注目画素yk+1の予測タップxn,k+1が供給されるとともに、重み制御回路71から、新たな注目画素yk+1と予測タップxn,k+1に対する重みhk+1を表す重み情報が供給される。また、メモリ84は、前回、注目画素ykとされた教師データについて求められた式(20)における右辺のベクトルのコンポーネントΣxn,kkkを記憶している。そして、メモリ84にも、クラス分類回路66が出力する、新たな注目画素yk+1のクラスコードが供給されるようになっており、メモリ84は、そのクラスコードに対応する、式(20)における右辺のベクトルのコンポーネントΣxn,kkkを読み出し、加算回路82に供給する。
【0119】
加算回路82は、学習対データベース63から、新たな注目画素yk+1を読み出し、その新たな注目画素yk+1、予測タップxn,k+1、および重みhk+1を用いて、式(20)における右辺のベクトルのコンポーネントxn,k+1k+1k+1を計算する。さらに、加算回路82は、そのコンポーネントxn,k+1k+1k+1を、メモリ84から供給される、対応するコンポーネントΣxn,kkkに足し込むことにより、新たなコンポーネントΣxn,k+1k+1k+1を求める。そして、加算回路82は、その新たなコンポーネントΣxn,k+1k+1k+1を、メモリ84に供給し、前回までに求められていたコンポーネントΣxn,kkkに上書きする形で記憶させる。
【0120】
図4に戻り、足し込み回路67は、学習対データベース63に記憶された学習対データにおける教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式(20)に示した正規方程式をたてると、その正規方程式(図5のメモリ83に記憶された式(20)の左辺の行列のコンポーネントと、メモリ84に記憶された式(20)の右辺のベクトルのコンポーネント)を、タップ係数演算回路68に供給する。
【0121】
タップ係数演算回路68は、足し込み回路67から、各クラスについての式(20)の正規方程式を受信し、その正規方程式を解くことにより、クラスごとのタップ係数を求めて出力する。
【0122】
タップ係数メモリ69は、タップ係数演算回路68が出力するクラスごとのタップ係数を記憶する。
【0123】
DR(ダイナミックレンジ)検出回路70は、予測タップ生成回路65が出力する、注目画素の予測タップのアクティビティを表す値として、例えば、そのダイナミックレンジを検出し、重み制御回路71に供給する。即ち、DR検出回路70は、予測タップを構成するSD画素のうちの最大値から最小値を減算し、その減算値を、ダイナミックレンジとして、重み制御回路71に供給する。
【0124】
重み制御回路71は、DR検出回路70から供給される予測タップのアクティビティとしてのダイナミックレンジに基づいて、注目画素とその予測タップに対する、上述の足し込み回路67における重み付けを制御する。
【0125】
即ち、重み制御回路71は、アクティビティと、重みhとを対応付けた、所定の重み付け特性を記憶している。そして、重み制御回路71は、その重み付け特性にしたがい、DR検出回路70から供給される予測タップのダイナミックレンジに対応する重みhを求め、その重みhによって、注目画素と予測タップに対する重み付けを行うことを指示する重み情報を、足し込み回路67に供給する。
【0126】
ここで、図6に、重み付け特性の例を示す。
【0127】
図6においては、横軸が予測タップのダイナミックレンジを表し、縦軸が重みを表す。なお、図6では、SD画素が8ビットで表されるものとしてあり、従って、ダイナミックレンジは、0乃至255の範囲の整数値をとる。
【0128】
図6においては、図6A乃至図6Fの6つの重み付け特性を示してある。図6A乃至図6Cの重み付け特性は、いずれも、ステップ関数状の重みになっており、ダイナミックレンジが0乃至127の場合の重みが1より大で、ダイナミックレンジが128乃至255の場合の重みが1になっている。但し、図6Aの重み付け特性は、ダイナミックレンジが0乃至127の場合の重みと、ダイナミックレンジが128乃至255の場合の重みとの差が大になっており、図6Bの重み付け特性は、ダイナミックレンジが0乃至127の場合の重みと、ダイナミックレンジが128乃至255の場合の重みとの差が中になっている。また、図6Cの重み付け特性は、ダイナミックレンジが0乃至127の場合の重みと、ダイナミックレンジが128乃至255の場合の重みとの差が小になっている。
【0129】
さらに、図6D乃至図6Fの重み付け特性は、ダイナミックレンジが小さいほど、重みが1より大の値になり、ダイナミックレンジが大きくなるほど、重みが1に近づくものとなっている。但し、図6Dの重み付け特性は、ダイナミックレンジが大きくなるほど、重みが、指数関数的に小さくなるようになっている。また、図6Eの重み付け特性は、重みが、ダイナミックレンジに比例して小さくなるようになっている。さらに、図6Fの重み付け特性は、重みが、ダイナミックレンジが小さい場合には、徐々に変化するが、ダイナミックレンジが大きい場合には、急激に変化するようになっている。
【0130】
なお、重み制御回路71に記憶させる重み付け特性は、図6に示したものに限定されるものではない。
【0131】
また、図6に示した重み付け特性は、いずれも、ダイナミックレンジが小さい場合の重みが、ダイナミックレンジが大きい場合の重みよりも大になっているが、これは、次のような理由による。
【0132】
即ち、前述したように、予測タップのダイナミックレンジが大きい場合には、DRマスキング効果によって、予測タップの変動による、求められるHD画素への影響が抑えられるが、予測タップのダイナミックレンジが小さい場合には、DRマスキング効果がほとんど働かず、予測タップの変動は、求められるHD画素に大きな変動を与える。
【0133】
従って、予測タップのダイナミックレンジが小さい場合には、予測タップのダイナミックレンジが大きい場合に比較して、式(1)で求められるHD画素yの予測値の予測精度を高くする必要がある。即ち、予測タップのダイナミックレンジが小さい場合には、予測タップのダイナミックレンジが大きい場合に比較して、式(3)で表される予測誤差ekが小さくなるように、式(1)の予測タップwnの学習を行う必要がある。これは、予測タップのダイナミックレンジが小さい場合は、予測タップのダイナミックレンジが大きい場合よりも大きな重み付けを行って、学習を行うことにより実現することができる。このため、重み制御回路71に記憶された重み付け特性は、ダイナミックレンジが小さい場合の重みが、ダイナミックレンジが大きい場合の重みよりも大となるようになっている。
【0134】
次に、図7のフローチャートを参照して、図4の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【0135】
まず最初に、ステップS21において、学習対生成回路62は、学習用データベース61から学習用の画像データを読み出し、教師データと生徒データを生成する。さらに、ステップS21では、学習対生成回路62は、その教師データと生徒データとをセットにすることで学習対データを生成し、学習対データベース63に供給して記憶させる。
【0136】
そして、ステップS22に進み、クラスタップ生成回路64は、学習対データベース63に記憶された学習対データにおける教師データとしてのHD画素の中から、まだ注目画素としていないもののうちの1つを注目画素として選択し、ステップS23に進む。ステップS23では、クラスタップ生成回路64と予測タップ生成回路65は、注目画素についてのクラスタップと予測タップを、学習対データベース63に記憶された生徒データとしてのSD画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路66と足し込み回路67にそれぞれ供給して、ステップS24に進む。なお、予測タップ生成回路65は、予測タップを、DR検出回路70にも供給する。
【0137】
ステップS24では、クラス分類回路66が、図2のクラス分類回路4における場合と同様にして、クラスタップ生成回路64からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路67に供給して、ステップS25に進む。
【0138】
ステップS25では、DR検出回路70が、予測タップ生成回路65からの予測タップのダイナミックレンジを検出し、重み制御回路71に供給して、ステップS26に進む。ステップS26では、重み制御回路71は、DR検出回路70から供給されるダイナミックレンジに基づいて、注目画素と予測タップに対する重みを決定し、その重みを表す重み情報を、足し込み回路67に供給する。
【0139】
そして、ステップS27に進み、足し込み回路67が、クラス分類回路66から供給されるクラスコードが表す注目画素のクラスごとに、予測タップ生成回路65から供給される予測タップ、学習対データベース63に記憶された注目画素としての教師データ、および重み制御回路71から供給される重み情報が表す重みを対象とした、上述した式(20)における足し込みを行い、ステップS28に進む。
【0140】
そして、ステップS28では、クラスタップ生成回路64は、学習対データベース63に記憶された教師データの中に、まだ注目画素としていないものがあるかどうかを判定する。ステップS28において、学習対データベース63に記憶された教師データの中に、まだ注目画素としていないものがあると判定された場合、ステップS22に戻り、以下、同様の処理が繰り返される。
【0141】
また、ステップS28において、学習対データベース63に記憶された教師データの中に、まだ注目画素としていないものがないと判定された場合、足し込み回路67は、いままでのステップS27における足し込みによって、クラスごとに得られた式(20)の正規方程式を、タップ係数演算回路68に供給して、ステップS29に進む。
【0142】
ステップS29では、タップ係数演算回路68は、足し込み回路67から供給される、各クラスごとの式(20)の正規方程式を解くことにより、クラスごとのタップ係数を求め、タップ係数メモリ69に供給して記憶させ、処理を終了する。
【0143】
なお、以上のようなタップ係数の学習処理において、用意する学習用の画像データ等によっては、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトのタップ係数を出力するようにすること等が可能である。あるいは、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じた場合には、新たに学習用の画像データを用意して、再度、タップ係数の学習を行うようにしても良い。このことは、後述する係数種データの学習についても、同様である。
【0144】
以上のように、教師データと生徒データとを用い、その教師データと生徒データに対して、生徒データから生成される予測タップのダイナミックレンジに基づく重み付けを行いながら、教師データと生徒データとの関係を、クラスごとに学習することにより、クラスごとのタップ係数を求めるようにしたので、予測タップのダイナミックレンジの全体に亘って、予測精度を高くするタップ係数を得ることができる。
【0145】
そして、図2の画像処理装置では、係数RAM5に、そのようなタップ係数が記憶され、そのタップ係数を用いて、SD画像データがHD画像データに変換されるので、ダイナミックレンジが大きい予測タップが構成される場合と、ダイナミックレンジが小さい予測タップが構成される場合とで、求められるHD画像の画質に差が生じることを防止して、より高画質の画像データを、ユーザに提供することができる。
【0146】
なお、上述の場合には、予測タップのアクティビティとして、予測タップのダイナミックレンジを採用することとしたが、アクティビティとしては、例えば、特開平11-27564号公報、特開2000-115721号公報、特開2000-299862号公報、特開2000-348019号公報、特願2000-241803号などに記載されている種類のものを採用することが可能である。
【0147】
即ち、特開平11-27564号公報に記載の方法によれば、予測タップのSD画素の自己相関が、アクティビティとして算出される。また、特開2000-115721号公報に記載の方法によれば、予測タップのSD画素が間引かれて補完され、その補間後のSD画素と元の画素との誤差の絶対値和が、アクティビティとして算出される。さらに、特開2000-299862号公報に記載の方法によれば、予測タップのSD画素のDCT係数などの直交変換係数の分散が、アクティビティとして算出される。さらに、特開2000-348019号公報に記載の方法では、予測タップのSD画素の標準偏差や、分散、差分絶対値和、差分値の差分(2次差分)の絶対値和が、アクティビティとして算出される。また、特願2000-241803号に記載の方法では、予測タップ内のSD画像の動きが、アクティビティとして算出される。
【0148】
また、上述の場合には、重み制御回路71において、足し込み回路67で求められる式(20)の重みhkを制御することにより、注目画素と予測タップに対する重み付けを行うようにしたが、その他、重み制御回路71では、式(8)において、注目画素と予測タップを足し込む回数を制御することにより、実質的に式(20)の重みhkを制御する場合と同様の、注目画素と予測タップに対する重み付けを行うようにすることが可能である。後述する図10の重み制御回路71A乃至71Cや、図14の重み制御回路126においても、同様である。
【0149】
上述したように、図4の学習装置においては、教師データと生徒データに対して、生徒データから生成される予測タップのダイナミックレンジに基づく重み付けを行いながら、教師データと生徒データとの関係を、クラスごとに学習することにより、クラスごとのタップ係数を求めるようにしたので、予測タップのダイナミックレンジの全体に亘って、予測精度を高くするタップ係数を得ることができ、さらに、図2の画像処理装置において、そのようなタップ係数を用いて、SD画像データをHD画像データに変換することにより、前述のDRマスキング効果が、予測タップのダイナミックレンジの全体に亘って、例えば同じ程度働いた、定性的に高画質の画像データ(S/N(Signal to Noise ratio)が高いという定量的に高画質である画像データであるとは限らないが、ユーザから見た、いわゆる見た目が良い画像データ)を、ユーザに提供することができる。
【0150】
しかしながら、画質の好みには、個人差があり、従って、DRマスキング効果を働かせる程度を、ユーザが調整することが可能であれば、ユーザは、自身の好みに応じた画質の画像を得ることができ、便利である。
【0151】
そこで、図8は、DRマスキング効果を働かせる程度を、ユーザが調整することが可能な画像処理装置の一実施の形態の構成例を示している。なお、図中、図2における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図8の画像処理装置は、3つのタップ係数メモリ101A乃至101C、操作部102、およびセレクタ103が新たに設けられている他は、図2における場合と同様に構成されている。
【0152】
3つのタップ係数メモリ101A乃至101Cには、クラスごとのタップ係数が記憶されている。但し、タップ係数メモリ101A乃至101Cに記憶されているタップ係数それぞれは、例えば、図4の学習装置において、異なる3種類の特性の重み付けをそれぞれ行いながら教師データと生徒データとの関係を学習することにより得られた、3種類の特性の重み付けそれぞれに対応するタップ係数となっている。即ち、タップ係数メモリ101A乃至101Cに記憶されているタップ係数それぞれは、図4の学習装置において、重み制御回路71に、異なる3種類の重み付け特性を記憶させて学習を行うことにより得られたものとなっている。
【0153】
操作部102は、ユーザによって操作され、その操作に対応する操作信号を、セレクタ103に供給する。
【0154】
セレクタ103は、操作部102からの操作信号に対応して、タップ係数メモリ101A乃至101Cのうちの1つを選択し、その選択したタップ係数メモリに記憶されているタップ係数を読み出す。さらに、セレクタ103は、その読み出したタップ係数を係数RAM5に供給して、上書きする形で記憶させる。
【0155】
従って、図8の画像処理装置では、ユーザによる操作部102の操作に対応した重み付け特性に対応するタップ係数を用いて、SD画像データがHD画像データに変換される。
【0156】
次に、図9のフローチャートを参照して、図8の画像処理装置が行う、SD画像をHD画像に変換する画像変換処理について説明する。
【0157】
フレームメモリ1には、画像変換処理の対象としてのSD画像(動画像)が、フレーム単位で順次供給され、フレームメモリ1では、そのようにフレーム単位で供給されるSD画像が順次記憶されていく。
【0158】
そして、ステップS31において、セレクタ103は、操作部102がユーザによって操作されることにより、その操作に対応する操作信号が供給されたかどうかを判定する。ステップS31において、操作信号が供給されていないと判定された場合、ステップS32をスキップして、ステップS33に進む。
【0159】
また、ステップS31において、操作信号が供給されたと判定された場合、ステップS32に進み、セレクタ103は、操作部102から供給された操作信号に対応して、タップ係数メモリ101A乃至101Cのうちの1つを選択し、その選択したタップ係数メモリに記憶されているタップ係数を読み出して、係数RAM5に供給し、上書きする形で記憶させる。
【0160】
そして、ステップS33に進み、ステップS33乃至S38において、図3のステップS1乃至S6における場合とそれぞれ同様の処理が行われる。
【0161】
即ち、ステップS33では、クラスタップ生成回路2は、まだ求めてられていないHD画素のうちの1つを注目画素として選択し、ステップS34に進む。
【0162】
ステップS34では、クラスタップ生成回路2と予測タップ生成回路3が、注目画素の位置に空間的または時間的に近い複数のSD画素を、フレームメモリ1に記憶されたSD画像から抽出することにより、クラスタップと予測タップをそれぞれ生成し、クラス分類回路4と予測演算回路6にそれぞれ供給する。
【0163】
そして、ステップS35に進み、クラス分類回路4は、クラスタップ生成回路2から供給されるクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数RAM5に対して、アドレスとして出力して、ステップS36に進む。ステップS36では、係数RAM5は、クラス分類回路4からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目画素のクラスのタップ係数を取得して、予測演算回路6に供給する。
【0164】
その後、ステップS37に進み、予測演算回路6は、予測タップ生成回路3からの予測タップと、係数RAM5からのタップ係数とを用いて、式(1)に示した演算を行い、注目画素であるHD画素y(の予測値)を求め、ステップS38に進む。
【0165】
ステップS38では、クラスタップ生成回路2が、まだ、注目画素としていないHD画素が存在するかどうかを判定し、存在すると判定した場合、ステップS31に戻り、以下、同様の処理を繰り返す。
【0166】
また、ステップS38において、注目画素としていないHD画素が存在しないと判定された場合、処理を終了する。
【0167】
従って、図8の画像処理装置では、ユーザによる操作部102の操作に対応して、所定の重み付け特性に対応するタップ係数を用いて、SD画像データがHD画像データに変換されるので、ユーザは、操作部102を操作することにより、DRマスキング効果を働かせる程度を調整した、自身の好みに応じた画質の画像を得ることができる。
【0168】
なお、図8の画像処理装置では、3種類の重み付け特性それぞれに対応するタップ係数をあらかじめ記憶しておき、その中から、SD画像データをHD画像データに変換するのに用いるものを選択するようにしたが、画像処理装置においては、2種類または4種類以上の重み付け特性それぞれに対応するタップ係数を記憶しておくようにすることも可能である。
【0169】
次に、上述の場合には、図4の学習装置において、重み制御回路71に、異なる3種類の重み付け特性を順次記憶させて繰り返し学習を行うことにより得られた、3種類の重み付け特性に対応するタップ係数を、タップ係数メモリ101A乃至101Cにそれぞれ記憶させるようにしたが、タップ係数メモリ101A乃至101Cにそれぞれ記憶させる3種類の重み付け特性に対応するタップ係数は、一度の学習によって求めることが可能である。
【0170】
図10は、一度の学習によって、3種類の重み付け特性に対応するタップ係数を求める学習装置の一実施の形態の構成例を示している。なお、図中、図4における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図10の学習装置においては、図4の学習装置に対して、スイッチ制御回路91、並びにスイッチ92および93が新たに設けられている。また、図10の学習装置においては、図4の学習装置における1つの重み制御回路71に代えて、3つの重み制御回路71A乃至71Cが設けられているとともに、1つのタップ係数メモリ69に代えて、3つのタップ係数メモリ69A乃至69Cが設けられている。
【0171】
タップ係数メモリ69A乃至69Cそれぞれは、タップ係数演算回路68が出力する、後述する3種類の重み付け特性に対応するクラスごとのタップ係数を記憶する。重み制御回路71A乃至71Cそれぞれは、異なる重み付け特性を記憶しており、その記憶している重み付け特性にしたがい、スイッチ92を介してDR検出回路70から供給される予測タップのダイナミックレンジに対応する重みを決定し、その重みを表す重み情報を、スイッチ93を介して、足し込み回路67に供給する。
【0172】
スイッチ制御回路91は、予測タップ生成回路65において、注目画素について予測タップが生成されるタイミングを監視しており、そのタイミングを基準に、スイッチ92と93を制御する。
【0173】
スイッチ92は、スイッチ制御回路91の制御にしたがい、重み制御回路71A乃至71Cのうちの1つを選択し、その選択した重み制御回路に、DR検出回路70が出力する予測タップのダイナミックレンジを供給する。スイッチ93も、やはり、スイッチ制御回路91の制御にしたがい、重み制御回路71A乃至71Cのうちの1つを選択し、その選択した重み制御回路が出力する重み情報を、足し込み回路67に供給する。
【0174】
次に、図11のフローチャートを参照して、図10の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【0175】
ステップS41乃至S45では、図7のステップS21乃至S25における場合とそれぞれ同様の処理が行われる。
即ち、ステップS41において、学習対生成回路62は、学習用データベース61から学習用の画像データを読み出し、教師データと生徒データのセットである学習対データを生成し、学習対データベース63に供給して記憶させる。
【0176】
そして、ステップS42に進み、クラスタップ生成回路64は、学習対データベース63に記憶された学習対データにおける教師データとしてのHD画素の中から、まだ注目画素としていないもののうちの1つを注目画素として選択し、ステップS43に進む。ステップS43では、クラスタップ生成回路64と予測タップ生成回路65は、注目画素についてのクラスタップと予測タップを、学習対データベース63に記憶された生徒データとしてのSD画素から、それぞれ生成する。クラスタップは、クラスタップ生成回路64からクラス分類回路66に供給され、予測タップは、予測タップ生成回路65から足し込み回路67とDR検出回路70に供給される。
【0177】
そして、ステップS44に進み、クラス分類回路66が、クラスタップ生成回路64からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路67に供給して、ステップS45に進む。
【0178】
ステップS45では、DR検出回路70が、予測タップ生成回路65からの予測タップのダイナミックレンジを検出して出力する。このDR検出回路70が出力する予測タップのダイナミックレンジは、スイッチ92に供給される。
【0179】
そして、ステップS46に進み、スイッチ制御回路91は、ステップS43で、予測タップ生成回路3において予測タップが生成されたのに同期して、重み制御回路71A乃至71Cそれぞれに記憶された3種類の重み付け特性のうち、注目画素に対して、まだ、注目重み付け特性として選択していないものの1つを、注目重み付け特性として選択する。さらに、ステップS46では、スイッチ制御回路91は、重み制御回路71A乃至71Cの中から、注目重み付け特性を記憶している重み制御回路(以下、適宜、注目重み制御回路という)を選択するように、スイッチ92および93を制御し、ステップS47に進む。
【0180】
ここで、このステップS46の処理によって、DR検出回路70と注目重み制御回路とが、スイッチ92を介して接続されるとともに、注目重み制御回路と足し込み回路67とが、スイッチ93を介して接続される。
【0181】
ステップS47では、注目重み制御回路が、スイッチ92を介して、DR検出回路70が出力する予測タップのダイナミックレンジを受信し、そのダイナミックレンジに基づき、自身が記憶している注目重み付け特性にしたがい、注目画素と予測タップに対する重みを決定する。さらに、ステップS47では、注目重み制御回路が、その決定した重みを表す重み情報を、スイッチ93を介して、足し込み回路67に供給する。
【0182】
そして、ステップS48に進み、足し込み回路67が、クラス分類回路66から供給されるクラスコードが表す注目画素のクラスごとに、予測タップ生成回路65から供給される予測タップ、学習対データベース63に記憶された注目画素としての教師データ、および注目重み制御回路からスイッチ93を介して供給される重み情報が表す重みを対象とした、上述した式(20)における足し込みを行い、ステップS49に進む。
【0183】
ここで、ステップS48において、足し込み回路67は、式(20)の足し込みを、重み制御回路71A乃至71Cに記憶された重み付け特性ごとに行う。従って、図10の実施の形態では、足し込み回路67において、3つの重み付け特性それぞれについて、1以上のクラスごとに、式(20)の正規方程式が、独立にたてられる。
【0184】
ステップS49では、スイッチ制御回路91が、注目画素に対して、重み制御回路71A乃至71Cそれぞれに記憶された3種類の重み付け特性すべてを、注目重み付け特性として選択したかどうかを判定する。
【0185】
ステップS49において、注目画素に対して、3種類の重み付け特性すべてを、まだ、注目重み付け特性として選択していないと判定された場合、ステップS46に戻り、以下、同様の処理を繰り返す。
【0186】
即ち、この場合、ステップS46では、3種類の重み付け特性のうち、注目画素に対して、まだ、注目重み付け特性として選択していないものの1つが、新たに注目重み付け特性として選択され、以下、同様の処理が繰り返される。
【0187】
また、ステップS49において、注目画素に対して、3種類の重み付け特性すべてを、注目重み付け特性として選択したと判定された場合、ステップS50に進み、クラスタップ生成回路64は、学習対データベース63に記憶された教師データの中に、まだ注目画素としていないものがあるかどうかを判定する。ステップS50において、学習対データベース63に記憶された教師データの中に、まだ注目画素としていないものがあると判定された場合、ステップS42に戻り、以下、同様の処理が繰り返される。
【0188】
また、ステップS50において、学習対データベース63に記憶された教師データの中に、注目画素としていないものがないと判定された場合、足し込み回路67は、いままでのステップS48における足し込みによって、3種類の重み付け特性それぞれについて、クラスごとに得られた式(20)の正規方程式を、タップ係数演算回路68に供給して、ステップS51に進む。
【0189】
ステップS51では、タップ係数演算回路68は、足し込み回路67から供給される、3種類の重み付け特性それぞれについての、各クラスごとの式(20)の正規方程式を解くことにより、3種類の重み付け特性それぞれに対応するクラスごとのタップ係数を求め、タップ係数メモリ69A乃至69Cにそれぞれ供給して記憶させ、処理を終了する。
【0190】
ところで、図8の画像処理装置によれば、上述したように、ユーザは、操作部102を操作することにより、3種類の重み付け特性のうちの任意の1つに対応するタップ係数を用いてSD画像データを変換したHD画像データを得ることができる。従って、ユーザは、3種類のHD画像データの中から、自身の好みの画質のものを選択することができる。
【0191】
しかしながら、この場合、3種類のHD画像データの中に、ユーザの好みの画質のものがないことがある。
【0192】
そこで、図8の画像処理装置に、より多くの種類の重み付け特性に対応するタップ係数を記憶させておき、その中から、SD画像データをHD画像データに変換するのに用いるタップ係数を選択可能とする方法がある。
【0193】
しかしながら、図8の画像処理装置に、多くの種類の重み付け特性に対応するタップ係数を記憶させておく場合には、そのタップ係数を記憶させておくためのメモリが必要となり、装置規模が大になる。
【0194】
さらに、図8の画像処理装置に、多くの種類の重み付け特性に対応するタップ係数を記憶させた場合であっても、記憶されていない重み付け特性に対応するタップ係数によって得られる画質のHD画像データは得ることができない。
【0195】
そこで、図12は、任意の重み付け特性に対応するタップ係数を生成し、そのタップ係数を用いて、SD画像データを、ユーザの好みに合致した画質のHD画像データに変換する画像処理装置の一実施の形態の構成例を示している。なお、図中、図2における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図12の画像処理装置は、操作部111、パラメータメモリ112、係数生成回路113、および係数種RAM114が新たに設けられている他は、図2における場合と同様に構成されている。
【0196】
操作部111は、ユーザによって、重み付け特性を表すパラメータzを入力するときに操作され、その操作に対応したパラメータzを、パラメータメモリ112に供給する。
【0197】
パラメータメモリ112は、操作部111から供給されるパラメータzを、上書きする形で記憶する。
【0198】
係数生成回路113は、パラメータメモリ112に記憶されたパラメータzに基づき、そのパラメータzが表す重み付け特性に対応するクラスごとのタップ係数を、係数種RAM114に記憶されたクラスごとの係数種データを用いて生成し、係数RAM5に供給して、上書きする形で記憶させる。
【0199】
係数種RAM114は、後述する図14の学習装置によって求められる、クラスごとのタップ係数を生成する元となる、クラスごとの係数種データを記憶している。
【0200】
次に、図13のフローチャートを参照して、図12の画像処理装置による画像変換処理について説明する。
【0201】
画像処理装置において、フレームメモリ1には、図2における場合と同様に、画像変換処理の対象としてのSD画像(動画像)が、フレーム単位で順次供給され、フレームメモリ1では、そのようにフレーム単位で供給されるSD画像が順次記憶されていく。
【0202】
そして、ステップS61において、パラメータメモリ112は、操作部111が操作されることにより、新たなパラメータzが操作部111から供給されたかどうかを判定する。
【0203】
ステップS61において、操作部111からパラメータメモリ112に対して、新たなパラメータzが供給されたと判定された場合、ステップS62に進み、パラメータメモリ112は、その新たなパラメータzを上書きする形で記憶し、ステップS63に進む。
【0204】
また、ステップS61において、操作部111からパラメータメモリ112に対して、新たなパラメータzが供給されていないと判定された場合、ステップS62をスキップして、ステップS63に進む。
【0205】
従って、ユーザが、操作部111を操作することにより、新たなパラメータzが入力された場合、その新たなパラメータzによって、パラメータメモリ112の記憶内容が更新される。
【0206】
ステップS63では、係数生成回路113が、係数種RAM114からクラスごとの係数種データを読み出すとともに、パラメータメモリ112からパラメータzを読み出し、パラメータzが表す重み付け特性に対応するクラスごとのタップ係数を、係数種データから求める。そして、ステップS64に進み、係数生成回路113は、そのクラスごとのタップ係数を、係数RAM5に供給し、上書きする形で記憶させる。
【0207】
その後、ステップS65乃至S70に順次進み、図3のステップS1乃至S6における場合とそれぞれ同様の処理が行われる。
【0208】
即ち、ステップS65では、クラスタップ生成回路2は、まだ求めていないHD画素のうちの1つを注目画素として選択し、ステップS66に進む。ステップS66では、クラスタップ生成回路2と予測タップ生成回路3は、注目画素について、クラスタップと予測タップをそれぞれ生成し、クラスタップをクラス分類回路4に、予測タップを予測演算回路にそれぞれ供給する。
【0209】
そして、ステップS67に進み、クラス分類回路4は、クラスタップ生成回路2から供給されるクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数RAM5に供給して、ステップS69に進む。ステップS69では、係数RAM5は、クラス分類回路4からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目画素のクラスのタップ係数を取得して、予測演算回路6に供給する。
【0210】
ここで、係数RAM5には、上述したように、係数生成回路113において生成された、パラメータメモリ112に記憶されたパラメータzが表す重み付け特性に対応するタップ係数が記憶されている。従って、予測演算回路6には、そのようなタップ係数が供給される。
【0211】
その後、ステップS69に進み、予測演算回路6は、予測タップ生成回路3からの予測タップと、係数RAM5からのタップ係数とを用いて、式(1)に示した演算を行い、注目画素であるHD画素y(の予測値)を求め、ステップS70に進む。
【0212】
ここで、予測演算回路6は、図2における場合と同様に、1フレーム分のHD画素が求められるまで、ステップS69で得られたHD画素を記憶しており、1フレーム分のHD画素が求められると、そのHD画素で構成される1フレームのHD画像を出力する。
【0213】
ステップS70では、クラスタップ生成回路2が、まだ、注目画素としていないHD画素が存在するかどうかを判定し、存在すると判定した場合、ステップS61に戻り、以下、同様の処理を繰り返す。
【0214】
また、ステップS70において、注目画素としていないHD画素が存在しないと判定された場合、処理を終了する。
【0215】
以上のように、重み付け特性を表すパラメータzを、ユーザが操作部111を操作することによって入力可能としたので、ユーザは、操作部111を操作することによって重み付け特性を変更することができ、自身の好みにあった画質のHD画像を得ることができる。
【0216】
なお、図13において、ステップS63およびS64の処理は、パラメータメモリ112に、異なる値の新たなパラメータzが上書きされた場合にのみ行い、他の場合はスキップすることが可能である。
【0217】
次に、図12の係数生成回路113によるタップ係数の生成、および係数種RAM114に記憶させる係数種データの学習について説明する。
【0218】
図12の実施の形態では、係数生成回路113において、式(1)の演算に用いられるタップ係数wnが、係数種RAM114に記憶された係数種データと、パラメータメモリ112に記憶されたパラメータzとから生成される。そこで、いま、係数生成回路113におけるタップ係数wnの生成が、例えば、係数種データとパラメータを用いた次式によって行われることとする。
【0219】
【数21】
【0220】
但し、式(21)において、βm,nは、n番目のタップ係数wnを求めるのに用いられるm番目の係数種データを表し、zは、パラメータを表す。なお、式(21)では、タップ係数wnが、M個の係数種データβn,1,βn,2,・・・,βn,Mを用いて求められるようになっている。
【0221】
ここで、タップ係数wnを求める式は、式(21)に限定されるものではない。
【0222】
いま、式(21)におけるパラメータzによって決まる値zm-1を、新たな変数tmを導入して、次式で定義する。
【0223】
【数22】
【0224】
式(22)を、式(21)に代入することにより、次式が得られる。
【0225】
【数23】
【0226】
式(23)によれば、タップ係数wnは、係数種データβn,mと変数tmとの線形1次式によって求められることになるが、いま、この式(23)によって求められるタップ係数を、wn'と表すこととすると、次の式(24)で表される、式(4)の自乗誤差の総和を最小にするタップ係数(以下、適宜、最適なタップ係数という)wnと式(23)により求められるタップ係数wn'との誤差enを0とする係数種データβn,mが、最適なタップ係数wnを求めるのに最適なものとなる。
【0227】
【数24】
【0228】
しかしながら、すべてのタップ係数wnについて、式(24)の誤差enを0とする係数種データβn,mを求めることは、一般には困難である。
【0229】
そこで、係数種データβn,mが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、まず、式(24)は、式(23)によって、次式のように変形することができる。
【0230】
【数25】
【0231】
そして、最小自乗法によれば、最適な係数種データβn,mは、次式で表される、式(25)の誤差enの自乗誤差の総和Eを最小にすることで求めることができる。
【0232】
【数26】
【0233】
式(26)の自乗誤差の総和Eの最小値(極小値)は、式(27)に示すように、総和Eを係数種データβn,mで偏微分したものを0とするβn,mによって与えられる。
【0234】
【数27】
【0235】
式(25)を、式(27)に代入することにより、次式が得られる。
【0236】
【数28】
【0237】
いま、Xi,j,とYiを、式(29)と(30)に示すように定義する。
【0238】
【数29】
【数30】
【0239】
この場合、式(28)は、Xi,jとYiを用いた式(31)に示す正規方程式で表すことができる。
【0240】
【数31】
【0241】
式(31)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、係数種データβn,mについて解くことができる。
【0242】
次に、図14は、式(31)の正規方程式をたてて解くことにより係数種データβn,mを求める学習を行う学習装置の一実施の形態の構成例を示している。なお、図中、図4における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図14の学習装置は、足し込み回路67、タップ係数演算回路68、およびタップ係数メモリ69に代えて、足し込み回路121、タップ係数演算回路122、足し込み回路123、係数種演算回路124、および係数種データメモリ125が設けられているとともに、重み制御回路71に代えて、重み制御回路126が設けられ、さらに、パラメータ生成回路127が新たに設けられている他は、図4における場合と同様に構成されている。
【0243】
足し込み回路121、タップ係数演算回路122、足し込み回路123、および係数種演算回路124は、学習対データベース63に記憶された学習対データにおける、注目画素となっている教師データと、予測タップ生成回路65から供給される予測タップに対して、重み制御回路126からの制御にしたがった重み付けを行いながら、学習対データベース63に記憶された学習対データとしての教師データと生徒データとの関係を、クラス分類回路66から供給されるクラスごとに学習することにより、クラスごとの係数種データを求める。
【0244】
即ち、足し込み回路121には、学習対データベースに記憶された注目画素としての教師データ、予測タップ生成回路65が出力する注目画素についての予測タップ、クラス分類回路66が出力する注目画素についてのクラスコード、重み制御回路126が出力する重み情報、およびパラメータ生成回路127が出力するパラメータzが供給される。
【0245】
足し込み回路121は、図4の足し込み回路67と同様に、注目画素yk、予測タップを構成するSD画素xn,k、および重み情報が表す重みhkを対象として、式(20)における左辺の行列と右辺のベクトルを構成する各コンポーネントを求める足し込みを行う。但し、図4の足し込み回路67は、式(20)の足し込みを、クラスごとのみに行うが、足し込み回路121は、式(20)の足し込みを、クラスごとに、かつパラメータzの値ごとに行う。
【0246】
即ち、足し込み回路121は、クラス分類回路66から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成回路127が出力するパラメータzの値ごとに、予測タップxn,kを用い、式(20)の左辺の行列における生徒データどうしの乗算(xn,kn',kk)と、サメーション(Σ)に相当する演算を行う。
【0247】
さらに、足し込み回路121は、やはり、クラス分類回路66から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成回路127が出力するパラメータzの値ごとに、予測タップxn,kと教師データykを用い、式(20)の右辺のベクトルにおける生徒データxn,kおよび教師データykの乗算(xn,kkk)と、サメーション(Σ)に相当する演算を行う。
【0248】
具体的には、足し込み回路121は、前回、注目画素とされた教師データについて求められた式(20)における左辺の行列のコンポーネント(Σxn,kn',kk)と、右辺のベクトルのコンポーネント(Σxn,kkk)を、その内蔵するメモリ(図5に示した足し込み回路67を構成するメモリ83と84に相当するメモリ)に記憶しており、その行列のコンポーネント(Σxn,kn',kk)またはベクトルのコンポーネント(Σxn,kkk)に対して、新たに注目画素とされた教師データについて、その注目画素yk+1および予測タップxn,k+1、並びに重みhk+1を用いて計算される、対応するコンポーネントxn,k+1n',k+1k+1またはxn,k+1k+1k+1をそれぞれ足し込む(式(20)のサメーションで表される加算を行う)。
【0249】
そして、足し込み回路121は、学習対データベース63に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータzの各値ごとに、式(20)に示した正規方程式をたてると、その正規方程式を、タップ係数演算回路122に供給する。
【0250】
タップ係数演算回路122は、足し込み回路121から供給される各クラスについての、パラメータzの値ごとの正規方程式を解くことにより、各クラスについて、パラメータzの値ごとの最適なタップ係数wnを求め、足し込み回路123に供給する。
【0251】
足し込み回路123は、各クラスごとに、パラメータz(に対応する変数tm)と、最適なタップ係数wnを対象とした足し込みを行う。
【0252】
即ち、足し込み回路123は、パラメータzから式(22)によって求められる変数ti(tj)を用い、式(31)の左辺の行列における、式(29)で定義されるコンポーネントXi,jを求めるためのパラメータzに対応する変数ti(tj)どうしの乗算(tij)と、サメーション(Σ)に相当する演算を、クラスごとに行う。
【0253】
ここで、コンポーネントXi,jは、パラメータzによってのみ決まるものであり、注目画素のクラスとは関係がないので、コンポーネントXi,jの計算は、実際には、クラスごとに行う必要はなく、1回行うだけで済む。
【0254】
さらに、足し込み回路123は、パラメータzから式(22)によって求められる変数tiと、最適なタップ係数wnとを用い、式(31)の右辺のベクトルにおける、式(30)で定義されるコンポーネントYiを求めるためのパラメータzに対応する変数tiおよび最適なタップ係数wnの乗算(tin)と、サメーション(Σ)に相当する演算を、クラスごとに行う。
【0255】
足し込み回路123は、各クラスごとに、式(29)で表されるコンポーネントXi,jと、式(30)で表されるコンポーネントYiを求めることにより、各クラスについて、式(31)の正規方程式をたてると、その正規方程式を、係数種演算回路124に供給する。
【0256】
係数種演算回路124は、足し込み回路123から供給されるクラスごとの式(31)の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【0257】
係数種データメモリ125は、係数種演算回路124が出力するクラスごとの係数種データβm,nを記憶する。
【0258】
重み制御回路126は、図4の重み制御回路71と同様に、DR検出回路70から供給される予測タップのアクティビティとしてのダイナミックレンジに基づいて、注目画素とその予測タップに対する、上述の足し込み回路121における重み付けを制御する。
【0259】
但し、重み制御回路126には、パラメータ生成回路127が出力するパラメータzが供給されるようになっている。そして、重み制御回路126は、複数種類の重み付け特性を、パラメータ生成回路127が出力するパラメータzの各値と対応付けて記憶しており、パラメータ生成回路127が出力するパラメータzに対応付けられている重み特性にしたがい、DR検出回路70から供給される予測タップのダイナミックレンジに対応する重みhを求め、その重みhによって、注目画素と予測タップに対する重み付けを行うことを指示する重み情報を、足し込み回路121に供給する。
【0260】
ここで、重み制御回路126に記憶させる複数種類の重み付け特性としては、例えば、図6A乃至図6Cに示したような、2値の重みを取り得るステップ状の関数であって、その2値の重みのうちのいずれか一方または両方が、パラメータzの値に対応して大きくなっていく、あるいは小さくなっていく関数を採用することができる。また、複数種類の重み付け特性としては、図6A乃至図6Cに示したようなステップ状の関数であって、2値の重みの切り換えが行われるダイナミックレンジの閾値が、パラメータzの値に対応して変化する関数を採用することもできる。さらに、複数種類の重み付け特性としては、例えば、図6D乃至図6Fに示したような、重みが、ダイナミックレンジに応じて滑らかに変化する関数であって、その関数の形状(変化の仕方)が、パラメータzの値に対応して変化する関数を採用することもできる。
【0261】
パラメータ生成回路127は、図12の操作部111がパラメータメモリ112に供給するパラメータzが取り得る範囲の幾つかの値としての、例えば、z=0,1,・・・,Zを生成し、足し込み回路121と重み制御回路126に供給する。
【0262】
ここで、パラメータ生成回路127が出力するパラメータZとしては、上述のような0,1,・・・,Zなどの整数値を採用することができる。一方、図12の係数生成回路113では、タップ係数が、式(21)に示したように、係数種データβm,nとパラメータZを用いて計算されることから、図12の操作部111が出力するパラメータZとしては、小数点以下の値を有する実数値などを採用することができる。
【0263】
次に、図15のフローチャートを参照して、図14の学習装置の処理(学習処理)について説明する。
【0264】
まず最初に、ステップS71において、学習対生成回路62は、図7のステップS21における場合と同様に、学習用データベース61に記憶された学習用の画像データから、教師データと生徒データとをセットにした学習対データを生成し、学習対データベース63に供給して記憶させる。
【0265】
そして、ステップS72に進み、クラスタップ生成回路64は、学習対データベース63に記憶された学習対データにおける教師データとしてのHD画素の中から、まだ注目画素としていないもののうちの1つを注目画素として選択し、ステップS73に進む。
【0266】
ステップS73では、パラメータ生成回路127が、パラメータzを、初期値としての、例えば0にセットし、足し込み回路121と重み制御回路126に供給して、ステップS74に進む。
【0267】
ステップS74では、重み制御回路126は、足し込み回路121における重み付けを制御するのに用いる重み付け特性を決定する。即ち、ステップS74では、重み制御回路126は、自身が記憶している複数種類の重み付け特性の中から、パラメータ生成回路127から供給されたパラメータzに対応付けられている重み付け特性を選択し、その重み付け特性(以下、適宜、選択重み付け特性という)を、足し込み回路121における重み付けを制御するのに用いる重み付け特性として決定する。
【0268】
そして、ステップS75に進み、クラスタップ生成回路64と予測タップ生成回路65は、注目画素についてのクラスタップと予測タップを、学習対データベース63に記憶された生徒データとしてのSD画素から、それぞれ生成する。さらに、ステップS75では、クラスタップ生成回路64が、クラスタップをクラス分類回路66に供給するとともに、予測タップ生成回路65が、予測タップを、DR検出回路70と足し込み回路121に供給し、ステップS76に進む。
【0269】
ステップS76では、クラス分類回路66が、クラスタップ生成回路64からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路121に供給して、ステップS77に進む。
【0270】
ステップS77では、DR検出回路70が、予測タップ生成回路65からの予測タップのダイナミックレンジを検出し、重み制御回路126に供給して、ステップS78に進む。ステップS78では、重み制御回路126は、直前のステップS74で決定された選択重み付け特性にしたがい、その選択重み付け特性において、DR検出回路70から供給されるダイナミックレンジに対応付けられている重みを、注目画素と予測タップに対する重みとして決定し、その重みを表す重み情報を、足し込み回路121に供給する。
【0271】
そして、ステップS79に進み、足し込み回路121は、学習対データベース63から注目画素となっている教師データであるHD画素を読み出し、パラメータ生成回路127から供給されるパラメータzについて、注目画素yk、予測タップ生成回路65から供給される予測タップxn,k、および重み制御回路126から供給される重みhkを用いて、式(20)における左辺の行列のコンポーネントxn,kn',kkと、右辺のベクトルのコンポーネントxn,kkkを計算する。さらに、足し込み回路121は、パラメータ生成回路127から供給されるパラメータzについて既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類回路66からのクラスコードに対応するものに対して、注目画素および予測タップから求められた行列のコンポーネントxn,kn',kkとベクトルのコンポーネントxn,kkkを足し込み、ステップS80に進む。
【0272】
ステップS80では、パラメータ生成回路127が、自身が出力しているパラメータzが、その取り得る値の最大値であるZに等しいかどうかを判定する。ステップS80において、パラメータ生成回路127が出力しているパラメータzが最大値Zに等しくない(最大値Z未満である)と判定された場合、ステップS81に進み、パラメータ生成回路127は、パラメータzに、例えば1を加算し、その加算値を新たなパラメータとして、足し込み回路121と重み制御回路126に出力する。そして、ステップS74に戻り、以下、同様の処理が繰り返される。
【0273】
即ち、この場合、ステップS74では、重み制御回路126は、自身が記憶している複数種類の重み付け特性の中から、パラメータ生成回路127から供給される新たなパラメータzに対応付けられている重み付け特性を選択し、その重み付け特性(選択重み付け特性)を、足し込み回路121における重み付けを制御するのに用いる重み付け特性として決定する。そして、以下、同様の処理を繰り返す。
【0274】
また、ステップS80において、パラメータzが最大値Zに等しいと判定された場合、ステップS82に進み、クラスタップ生成回路64が、学習対データベース63に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップS82において、注目画素としていない教師データが、まだ、学習対データベース63に記憶されていると判定された場合、ステップS72に戻り、以下、同様の処理が繰り返される。
【0275】
また、ステップS82において、注目画素としていない教師データが、学習対データベース63に記憶されていないと判定された場合、足し込み回路121は、いままでの処理によって得られた、パラメータzの各値についての、クラスごとの式(20)における左辺の行列と、右辺のベクトルを、タップ係数演算回路122に供給し、ステップS83に進む。
【0276】
ステップS83では、タップ係数演算回路122は、足し込み回路121から供給される、パラメータzの各値についての、クラスごとの式(20)における左辺の行列と右辺のベクトルによって構成される正規方程式を解くことにより、パラメータzの各値について、各クラスごとのタップ係数wnを求める。さらに、タップ係数演算回路122は、そのパラメータzの各値について、各クラスごとのタップ係数wnを、足し込み回路123に供給して、ステップS84に進む。
【0277】
ステップS84では、足し込み回路123は、タップ係数演算回路122から供給される、パラメータzの各値についての、各クラスごとのタップ係数wnと、そのパラメータzとを対象として、式(31)における、式(29)で定義されるコンポーネントXi,jと、式(30)で定義されるコンポーネントYiを求めるための足し込みを行う。
【0278】
即ち、ステップS84では、足し込み回路123は、パラメータzの各値について、式(22)によって求められる変数ti(tj)を用い、式(31)の左辺の行列における、式(29)で定義されるコンポーネントXi,jを求めるためのパラメータzに対応する変数ti(tj)どうしの乗算(tij)と、サメーション(Σ)に相当する演算を行う。さらに、ステップS84では、足し込み回路123は、パラメータzの各値から式(22)によって求められる変数tiと、そのパラメータzの各値についての、タップ係数演算回路122からのタップ係数wnとを用い、式(31)の右辺のベクトルにおける、式(30)で定義されるコンポーネントYiを求めるためのパラメータzに対応する変数tiおよび最適なタップ係数wnの乗算(tin)と、サメーション(Σ)に相当する演算を、クラスごとに行う。
【0279】
足し込み回路123は、各クラスごとに、式(29)で表されるコンポーネントXi,jと、式(30)で表されるコンポーネントYiを求め、これにより、各クラスについて、式(31)の正規方程式をたてると、その正規方程式を、係数種演算回路124に供給し、ステップS84からS85に進む。
【0280】
ステップS85では、係数種演算回路124は、足し込み回路123から供給されるクラスごとの式(31)の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求め、係数種データメモリ125に供給して記憶させ、処理を終了する。
【0281】
以上のようにして得られた係数種データが、図12の画像処理装置における係数種RAM114に記憶されている。
【0282】
ここで、図8の画像処理装置において、図14のタップ係数演算回路122が出力するパラメータzの各値ごとの最適なタップ係数wnを記憶させておき、操作部102の操作に対応するパラメータzに応じた最適なタップ係数を選択して用いることとした場合、図8の画像処理装置には、パラメータzが取り得る離散値(ここでは、0,1,・・・,Z)の数に比例した大きな容量のメモリが必要となる。これに対して、図12の画像処理装置では、係数種データが記憶される係数種RAM114の記憶容量は、パラメータzが取り得る値の数に依存しないので、係数種RAM114として、小さな容量のメモリを採用することができる。さらに、係数種データβm,nを記憶させておく場合には、その係数種データβm,nと、パラメータzの値とから、式(21)によりタップ係数wnが生成されることから、パラメータzの値に応じた、いわば連続的なタップ係数wnを得ることができる。
【0283】
そして、図12の画像処理装置では、上述のように、パラメータzの値に応じて連続的に変化する重み付け特性に対応するタップ係数を得ることができるので、ユーザは、自身の好みに合致した画質の画像を得ることができる。
【0284】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【0285】
そこで、図16は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【0286】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク205やROM203に予め記録しておくことができる。
【0287】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体211に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体211は、いわゆるパッケージソフトウエアとして提供することができる。
【0288】
なお、プログラムは、上述したようなリムーバブル記録媒体211からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部208で受信し、内蔵するハードディスク205にインストールすることができる。
【0289】
コンピュータは、CPU(Central Processing Unit)202を内蔵している。CPU202には、バス201を介して、入出力インタフェース210が接続されており、CPU202は、入出力インタフェース210を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部207が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)203に格納されているプログラムを実行する。あるいは、また、CPU202は、ハードディスク205に格納されているプログラム、衛星若しくはネットワークから転送され、通信部208で受信されてハードディスク205にインストールされたプログラム、またはドライブ209に装着されたリムーバブル記録媒体211から読み出されてハードディスク205にインストールされたプログラムを、RAM(Random Access Memory)204にロードして実行する。これにより、CPU202は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU202は、その処理結果を、必要に応じて、例えば、入出力インタフェース210を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部206から出力、あるいは、通信部208から送信、さらには、ハードディスク205に記録等させる。
【0290】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
【0291】
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【0292】
なお、本実施の形態では、本発明を、SD画像データをHD画像データに変換する場合を例に説明したが、本発明は、その他、例えば、音声データを、より高音質の音声データに変換する場合にも適用可能である。
【0293】
さらに、本発明は、SD画像データを、その画素数を多くしたHD画像データ、即ち、空間解像度を向上させたHD画像データに変換したり、時間方向の解像度(フレームまたはフィールド数)を向上させたHD画像データや、レベル方向の解像度(画素値に割り当てられたビット数)を向上させたHD画像データに変換する場合の他、例えば、画像を拡大する場合などにも適用可能である。
【0294】
また、本実施の形態では、画像を変換する画像処理装置と、その画像処理装置で用いるクラスごとのタップ係数または係数種データを学習する学習装置とを、別々の装置として構成するようにしたが、画像処理装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、画像処理装置で用いるタップ係数を、リアルタイムで更新させるようにすることが可能である。
【0295】
さらに、本実施の形態では、係数RAM5に、あらかじめクラスごとのタップ係数を記憶させておくようにしたが、このタップ係数は、例えば、SD画像とともに、画像処理装置に供給するようにすることも可能である。
【0296】
また、本実施の形態では、パラメータzをユーザに入力させるようにしたが、パラメータzは、その他、例えば、SD画像とともに、画像処理装置に供給するようにすることが可能である。
【0297】
さらに、本実施の形態では、式(1)の1次式によって、HD画素を求めるようにしたが、HD画素は、2次以上の式によって、求めるようにすることも可能である。
【0298】
なお、図2や、図8、図12の画像処理装置は、例えば、テレビジョン放送信号を受信して画像を表示するテレビジョン受像機や、DVDから画像データを再生して出力するDVD再生装置、ビデオテープから画像データを再生して出力するVTRその他の画像を処理する装置などに適用可能である。
【0299】
ここで、本件出願人は、特開平8-79712号公報において、変換対象の画像を構成する複数の画素のダイナミックレンジをも用いてクラス分類を行い、適応処理によって、画像を、高画質の画像に変換する方法について先に提案している。この特開平8-79712号公報に記載の方法によれば、ダイナミックレンジを考慮したクラスごとのタップ係数、即ち、各ダイナミックレンジに適したタップ係数によって、画像が変換されることから、より高画質の画像を得ることができるという効果を生じる点において、本願発明と共通する。
【0300】
しかしながら、特開平8-79712号公報に記載の方法は、あくまで、ダイナミックレンジを考慮したクラス分類を行うだけであり、注目画素と予測タップに対して、その予測タップのダイナミックレンジに応じた重み付けをしながら、タップ係数の学習を行い、そのタップ係数を用いて画像を変換する本願発明とは、まったく異質のものである。
【0301】
また、本件出願人は、特開2001-8056号公報において、送信側で、HD画像とSD画像をそれぞれ教師データと生徒データとした学習を、予測誤差が小さい注目画素と予測タップに対して、大きな重み付けをしながら行うことにより、タップ係数を求め、そのタップ係数とSD画像を送信し、受信側で、送信側からのSD画像を、そのSD画像とともに送信されてくるタップ係数を用いて、HD画像に変換する方法について、先に提案している。この特開2001-8056号公報に記載の方法によれば、タップ係数の学習に用いられたSD画像が、そのタップ係数を用いてHD画像に変換されるので、超高画質のHD画像を得ることができ、従って、高画質のHD画像を得ることができるという効果を生じる点においては、やはり、本願発明と共通する。さらに、特開2001-8056号公報に記載の方法は、タップ係数の学習を、注目画素と予想タップに対して重み付けをしながら行う点においても、本願発明と共通する。
【0302】
しかしながら、特開2001-8056号公報に記載の方法では、重み付けが、予測誤差に応じて行われるため、学習により求められたタップ係数を用いて、その学習で用いられたSD画像をHD画像に変換し、さらに、その学習で用いられたHD画像との予測誤差を求めなければならず、その結果、タップ係数を求める学習に比較的多大な時間を要することになる。これに対して、本願発明においては、予測タップのダイナミックレンジ等のアクティビティに応じて重み付けが行われるため、予測誤差を求める必要がないので、高速に、タップ係数の学習を行うことができる。
【0303】
さらに、特開2001-8056号公報に記載の方法は、タップ係数の学習が、予測誤差が小さい注目画素と予測タップに対する重み付けを大にして行われるため、その学習に用いられたSD画像については、予測誤差が非常に小さいHD画像を得ることができる。
【0304】
しかしながら、特開2001-8056号公報に記載の方法は、予測誤差に応じた重み付けが行われるのに関係して、タップ係数の学習が、予測誤差の値に応じてグループ分けして行われるため、タップ係数を用いた変換の対象となるのは、基本的に、予測誤差を求めることができるSD画像、即ち、タップ係数の学習に用いられたSD画像に限られる。即ち、特開2001-8056号公報に記載の方法により求められたタップ係数は、そのタップ係数の学習に用いられたSD画像でないSD画像の変換には適さない(タップ係数の学習に用いられたSD画像でないSD画像を変換しても、高画質のHD画像を得ることが困難である)。これに対して、本願発明においては、タップ係数の学習に用いたSD画像以外のSD画像であっても、高画質のHD画像に変換することができる。
【0305】
【発明の効果】
以上の如く、本発明によれば、データを、より品質の良いデータに変換することが可能となる。
【図面の簡単な説明】
【図1】予測タップの変動に対する予測値の変動を説明するための図である。
【図2】本発明を適用した画像処理装置の第1実施の形態の構成例を示すブロック図である。
【図3】画像処理装置の処理を説明するフローチャートである。
【図4】本発明を適用した学習装置の第1実施の形態の構成例を示すブロック図である。
【図5】足し込み回路67の構成例を示すブロック図である。
【図6】重み付け特性の例を示す図である。
【図7】学習装置の処理を説明するフローチャートである。
【図8】本発明を適用した画像処理装置の第2実施の形態の構成例を示すブロック図である。
【図9】画像処理装置の処理を説明するフローチャートである。
【図10】本発明を適用した学習装置の第2実施の形態の構成例を示すブロック図である。
【図11】学習装置の処理を説明するフローチャートである。
【図12】本発明を適用した画像処理装置の第3実施の形態の構成例を示すブロック図である。
【図13】画像処理装置の処理を説明するフローチャートである。
【図14】本発明を適用した学習装置の第3実施の形態の構成例を示すブロック図である。
【図15】学習装置の処理を説明するフローチャートである。
【図16】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
1 フレームメモリ, 2 クラスタップ生成回路, 3 予測タップ生成回路, 4 クラス分類回路, 5 係数RAM, 6 予測演算回路, 61 学習用データベース, 62 学習対生成回路, 63 学習対データベース, 64 クラスタップ生成回路, 65 予測タップ生成回路, 66 クラス分類回路, 67 足し込み回路, 68 タップ係数演算回路, 69,69A乃至69C タップ係数メモリ, 70 DR検出回路, 71,71A乃至71C 重み制御回路, 81,82 加算回路, 83,84 メモリ, 画素値記憶部, 91 スイッチ制御回路, 92,93 スイッチ, 101A乃至101C タップ係数メモリ, 102 操作部, 103 セレクタ, 83 タップ生成領域決定回路, 111 操作部, 112 パラメータメモリ, 113 係数生成回路, 114 係数種RAM, 121 足し込み回路,122 タップ係数演算回路, 123 足し込み回路, 124 係数種演算回路, 125 係数種データメモリ, 126 重み制御回路, 127 パラメータ生成回路, 201 バス, 202 CPU, 203 ROM, 204 RAM, 205 ハードディスク, 206 出力部, 207 入力部,208 通信部, 209 ドライブ, 210 入出力インタフェース, 211 リムーバブル記録媒体

Claims (29)

  1. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するデータ変換装置であって、
    注目している前記第2のデータである注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記注目データの周辺に位置する前記第1のデータから抽出するクラスタップ生成手段と、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類手段と、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記第1のデータから抽出する予測タップ生成手段と、
    前記第1のデータから前記第2のデータを予測する際に前記予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を前記1以上のクラスごとに求めるための学習に用いるための、前記第2のデータに対応する教師データと、前記学習に用いるための、前記第1のデータに対応する生徒データとを用い、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、前記教師データと前記生徒データとの関係を前記1以上のクラスごとに学習し、前記正規方程式を解くことにより得られたタップ係数から、前記注目データのクラスのタップ係数を取得するタップ係数取得手段と、
    前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により、前記注目データを求める演算手段と
    を備えることを特徴とするデータ変換装置。
  2. 前記1以上のクラスごとのタップ係数を記憶するタップ係数記憶手段をさらに備える
    ことを特徴とする請求項1に記載のデータ変換装置。
  3. 複数の特性の重み付けをそれぞれ行いながら前記教師データと前記生徒データとの関係を学習することにより得られた、前記複数の特性の重み付けそれぞれに対応するタップ係数から、所定の特性の重み付けに対応するタップ係数を選択するタップ係数選択手段をさらに備え、
    前記タップ係数取得手段は、前記タップ係数選択手段によって選択された所定の特性の重み付けに対応するタップ係数から、前記注目データのクラスのタップ係数を取得する
    ことを特徴とする請求項1に記載のデータ変換装置。
  4. ユーザによって操作される操作手段をさらに備え、
    前記タップ係数選択手段は、前記操作手段の操作にしたがった特性の重み付けに対応するタップ係数を選択する
    ことを特徴とする請求項3に記載のデータ変換装置。
  5. 前記タップ係数の元となる係数種データが、複数の特性の重み付けをそれぞれ行いながら前記教師データと前記生徒データとの関係を学習することにより得られた、前記複数の特性の重み付けそれぞれに対応するタップ係数を更なる教師データとし、前記重み付けの特性を表すパラメータを更なる生徒データとした学習により、前記1以上のクラスごとに求められ、前記係数種データとパラメータとの線形結合により、そのパラメータが表す重み付けの特性に対応するタップ係数を生成するタップ係数生成手段をさらに備える
    ことを特徴とする請求項1に記載のデータ変換装置。
  6. 前記タップ係数の元となる係数種データを記憶する係数種記憶手段をさらに備える
    ことを特徴とする請求項5に記載のデータ変換装置。
  7. 前記タップ係数生成手段は、前記係数種データと、前記重み付けの特性を表すパラメータとを用いて、そのパラメータが表す特性の重み付けに対応するタップ係数を生成する
    ことを特徴とする請求項5に記載のデータ変換装置。
  8. 前記パラメータを入力する入力手段をさらに備える
    ことを特徴とする請求項5に記載のデータ変換装置。
  9. 前記第1と第2のデータは、それぞれ、第1と第2の画像データである
    ことを特徴とする請求項1に記載のデータ変換装置。
  10. 前記アクティビティは、前記予測タップのダイナミックレンジの大きさである
    ことを特徴とする請求項1に記載のデータ変換装置。
  11. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するデータ変換方法であって、
    注目している前記第2のデータである注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記注目データの周辺に位置する前記第1のデータから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記第1のデータから抽出する予測タップ生成ステップと、
    前記第1のデータから前記第2のデータを予測する際に前記予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を前記1以上のクラスごとに求めるための学習に用いるための、前記第2のデータに対応する教師データと、前記学習に用いるための、前記第1のデータに対応する生徒データとを用い、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、前記教師データと前記生徒データとの関係を前記1以上のクラスごとに学習し、前記正規方程式を解くことにより得られたタップ係数から、前記注目データのクラスのタップ係数を取得するタップ係数取得ステップと、
    前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により、前記注目データを求める演算ステップと
    を備えることを特徴とするデータ変換方法。
  12. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムであって、
    注目している前記第2のデータである注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記注目データの周辺に位置する前記第1のデータから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記第1のデータから抽出する予測タップ生成ステップと、
    前記第1のデータから前記第2のデータを予測する際に前記予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を前記1以上のクラスごとに求めるための学習に用いるための、前記第2のデータに対応する教師データと、前記学習に用いるための、前記第1のデータに対応する生徒データとを用い、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒デー タとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、前記教師データと前記生徒データとの関係を前記1以上のクラスごとに学習し、前記正規方程式を解くことにより得られたタップ係数から、前記注目データのクラスのタップ係数を取得するタップ係数取得ステップと、
    前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により、前記注目データを求める演算ステップと
    を備えることを特徴とするプログラム。
  13. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    注目している前記第2のデータである注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記注目データの周辺に位置する前記第1のデータから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記第1のデータから抽出する予測タップ生成ステップと、
    前記第1のデータから前記第2のデータを予測する際に前記予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を前記1以上のクラスごとに求めるための学習に用いるための、前記第2のデータに対応する教師データと、前記学習に用いるための、前記第1のデータに対応する生徒データとを用い、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、前記教師データと前記生徒データとの関係を前記1以上のクラスごとに学習し、前記正規方程式を解くことにより得られたタップ係数から、前記注目データのクラスのタップ係数を取得するタップ係数取得ステップと、
    前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により、前記注目データを求める演算ステップと
    を備えるプログラムが記録されている
    ことを特徴とする記録媒体。
  14. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するときに用いられるタップ係数を学習する学習装置であって、
    前記タップ係数の学習に用いるための、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第1のデータに対応する生徒データから抽出するクラスタップ生成手段と、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類手段と、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成手段と、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとして の予測タップを代入して前記正規方程式を解くことで、前記教師データと前記生徒データとの関係を前記1以上のクラスごとに学習することにより、前記1以上のクラスごとの前記タップ係数を求める学習手段と、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出手段と、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習手段における重み付けを制御する重み付け制御手段と
    を備えることを特徴とする学習装置。
  15. 前記学習手段は、前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により前記注目データを求めるためのタップ係数を学習する
    ことを特徴とする請求項14に記載の学習装置。
  16. 前記重み付け制御手段は、複数の特性の重み付けそれぞれにしたがい、前記予測タップのアクティビティに基づいて、前記注目データと予測タップに対する重み付けを制御し、
    前記学習手段は、前記注目データと予測タップに対して、前記複数の特性の重み付けをそれぞれ行いながら、前記教師データと前記生徒データとの関係を前記1以上のクラスごとに学習することにより、前記複数の特性の重み付けそれぞれ対応する、前記1以上のクラスごとの前記タップ係数を求める
    ことを特徴とする請求項14に記載の学習装置。
  17. 前記第1と第2のデータは、画像データである
    ことを特徴とする請求項14に記載の学習装置。
  18. 前記アクティビティは、前記予測タップのダイナミックレンジの大きさである
    ことを特徴とする請求項14に記載の学習装置。
  19. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するときに用いられるタップ係数を学習する学習方法であって、
    前記タップ係数の学習に用いるための、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記教師データと前記生徒データとの関係を前記1以上のクラスごとに学習することにより、前記1以上のクラスごとの前記タップ係数を求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えることを特徴とする学習方法。
  20. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するときに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムであって、
    前記タップ係数の学習に用いるための、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記教師データと前記生徒データとの関係を前記1以上のクラスごとに学習することにより、前記1以上のクラスごとの前記タップ係数を求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えることを特徴とするプログラム。
  21. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するときに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    前記タップ係数の学習に用いるための、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第1のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記教師データと前記生徒データとの関係を前記1以上のクラスごとに学習することにより、前記1以上のクラスごとの前記タップ係数を求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えるプログラムが記録されている
    ことを特徴とする記録媒体。
  22. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習装置であって、
    前記係数種データの学習に用いるための、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第1のデータに対応する生徒から抽出するクラスタップ生成手段と、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類手段と、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成手段と、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記生徒データと前記教師データとの関係を前記1以上のクラスごとに学習することにより、前記1以上のクラスごとの前記係数種データを求める学習手段と、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出手段と、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習手段における重み付けを制御する重み付け制御手段と
    を備えることを特徴とする学習装置。
  23. 前記学習手段は、前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により前記注目データを求めるためのタップ係数の元となる係数種データを学習する
    ことを特徴とする請求項22に記載の学習装置。
  24. 前記重み付けの特性を表すパラメータを生成するパラメータ生成手段をさらに備え、
    前記重み付け制御手段は、前記パラメータが表す特性の重み付けにしたがい、前記予測タップのアクティビティに基づいて、前記注目データと予測タップに対する重み付けを制御し、
    前記学習手段は、
    前記注目データと予測タップに対して、複数の前記パラメータが表す特性の重み付けをそれぞれ行いながら、前記教師データと前記生徒データとの関係を、前記1以上のクラスごとに学習することにより、前記複数のパラメータが表す特性の重み付けそれぞれ対応する、前記1以上のクラスごとの前記タップ係数を求める第1の学習手段と、
    前記複数のパラメータが表す特性の重み付けそれぞれに対応する、前記1以上のクラスごとの前記タップ係数と、前記複数のパラメータとの関係を学習することにより、前記1以上のクラスごとの前記係数種データを求める第2の学習手段と
    を有する
    ことを特徴とする請求項22に記載の学習装置。
  25. 前記第1と第2のデータは、画像データである
    ことを特徴とする請求項22に記載の学習装置。
  26. 前記アクティビティは、前記予測タップのダイナミックレンジの大きさである
    ことを特徴とする請求項22に記載の学習装置。
  27. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習方法であって、
    前記係数種データの学習に用いるための、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第1のデータに対応する生徒から抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記生徒データと前記教師データとの関係を前記1以上のクラスごとに学習することにより、前記1以上のクラスごとの前記係数種データを求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えることを特徴とする学習方法。
  28. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習処理を、コンピュータに行わせるプログラムであって、
    前記係数種データの学習に用いるための、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第1のデータに対応する生徒から抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記生徒データと前記教師データとの関係を前記1以上のクラスごとに学習することにより、前記1以上のクラスごとの前記係数種データを求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えることを特徴とするプログラム。
  29. 第1のデータを、前記第1のデータよりも高品質な第2のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    前記係数種データの学習に用いるための、前記第2のデータに対応する教師データのうちの注目している注目データを1以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第1のデータに対応する生徒から抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記生徒データと前記教師データとの関係を前記1以上のクラスごとに学習することにより、前記1以上のクラスごとの前記係数種データを求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えるプログラムが記録されている
    ことを特徴とする記録媒体。
JP2002125627A 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 Expired - Fee Related JP4066146B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002125627A JP4066146B2 (ja) 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2002125627A JP4066146B2 (ja) 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
US10481722 US8355603B2 (en) 2002-04-26 2003-04-22 Data converting apparatus and data converting method, learning device and learning method, and recording medium
CN 03800807 CN1293757C (zh) 2002-04-26 2003-04-22 数据转换设备和数据转换方法、学习设备和学习方法
EP20030717682 EP1501295A4 (en) 2002-04-26 2003-04-22 Data converting apparatus, data converting method, learning apparatus, leaning method, and recording medium
PCT/JP2003/005079 WO2003092283A1 (fr) 2002-04-26 2003-04-22 Procede et dispositif de conversion de donnees, procede et dispositif d'apprentissage, et support d'enregistrement
KR20037016845A KR100971821B1 (ko) 2002-04-26 2003-04-22 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및학습 방법, 및 기록 매체

Publications (3)

Publication Number Publication Date
JP2003316760A true JP2003316760A (ja) 2003-11-07
JP2003316760A5 true JP2003316760A5 (ja) 2005-09-15
JP4066146B2 true JP4066146B2 (ja) 2008-03-26

Family

ID=29267570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002125627A Expired - Fee Related JP4066146B2 (ja) 2002-04-26 2002-04-26 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体

Country Status (6)

Country Link
US (1) US8355603B2 (ja)
EP (1) EP1501295A4 (ja)
JP (1) JP4066146B2 (ja)
KR (1) KR100971821B1 (ja)
CN (1) CN1293757C (ja)
WO (1) WO2003092283A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4779282B2 (ja) * 2000-03-30 2011-09-28 ソニー株式会社 情報処理装置
JP4311166B2 (ja) 2003-11-05 2009-08-12 ソニー株式会社 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体
US20060083428A1 (en) * 2004-01-22 2006-04-20 Jayati Ghosh Classification of pixels in a microarray image based on pixel intensities and a preview mode facilitated by pixel-intensity-based pixel classification
JP2005311629A (ja) 2004-04-20 2005-11-04 Sony Corp 係数データの生成装置および生成方法、情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体
JP5217250B2 (ja) * 2007-05-28 2013-06-19 ソニー株式会社 学習装置および学習方法、情報加工装置および情報加工方法、並びにプログラム
US8331710B2 (en) * 2007-11-06 2012-12-11 Sony Corporation Image processing apparatus and method, learning apparatus and method, and program

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2140644B (en) * 1983-05-17 1986-09-17 Sony Corp Television standards converters
US5790692A (en) * 1994-09-07 1998-08-04 Jeffrey H. Price Method and means of least squares designed filters for image segmentation in scanning cytometry
JP3438233B2 (ja) * 1992-05-22 2003-08-18 ソニー株式会社 画像変換装置および方法
KR100360206B1 (ko) * 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
JP3617080B2 (ja) 1994-08-31 2005-02-02 ソニー株式会社 信号処理装置及び信号処理方法
JP3743077B2 (ja) 1996-10-31 2006-02-08 ソニー株式会社 画像信号変換装置および方法
US6859495B1 (en) * 1996-10-31 2005-02-22 Mitsubishi Electric Research Laboratories, Inc. Digital video format converter and method therefor
JP3844030B2 (ja) 1996-12-26 2006-11-08 ソニー株式会社 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法
US5912708A (en) 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium
CN1115054C (zh) 1996-12-26 2003-07-16 索尼株式会社 图像信号编码、解码装置及方法
JP4062771B2 (ja) 1997-05-06 2008-03-19 ソニー株式会社 画像変換装置および方法、並びに記録媒体
DE69838536T2 (de) * 1997-05-06 2008-07-24 Sony Corp. Bildwandler und bildwandlungsverfahhren
JP4093621B2 (ja) * 1997-12-25 2008-06-04 ソニー株式会社 画像変換装置および画像変換方法、並びに学習装置および学習方法
JP4131049B2 (ja) 1998-10-07 2008-08-13 ソニー株式会社 信号処理装置及び信号処理方法
JP4517409B2 (ja) 1998-11-09 2010-08-04 ソニー株式会社 データ処理装置およびデータ処理方法
JP2000241803A (ja) 1999-02-18 2000-09-08 Toshiba Corp 液晶表示素子の製造方法
JP4253910B2 (ja) 1999-04-14 2009-04-15 ソニー株式会社 画像情報変換装置および変換方法
US6678405B1 (en) * 1999-06-08 2004-01-13 Sony Corporation Data processing apparatus, data processing method, learning apparatus, learning method, and medium
JP4135045B2 (ja) 1999-06-08 2008-08-20 ソニー株式会社 データ処理装置およびデータ処理方法、並びに媒体
JP4362895B2 (ja) 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
US6657677B1 (en) * 2000-01-12 2003-12-02 Koninklijke Philips Electronics N.V. Method and apparatus for improving conversion from SD to HDTV
JP4395677B2 (ja) 2000-01-14 2010-01-13 ソニー株式会社 学習装置および学習方法、並びに記録媒体
JP2001236339A (ja) 2000-02-23 2001-08-31 Olympus Optical Co Ltd クラス分類装置
JP4779282B2 (ja) * 2000-03-30 2011-09-28 ソニー株式会社 情報処理装置
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体
JP4470280B2 (ja) * 2000-05-24 2010-06-02 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP4238516B2 (ja) * 2002-04-26 2009-03-18 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
US7630576B2 (en) * 2004-02-19 2009-12-08 Sony Corporation Signal processing apparatus and method, and command-sequence data structure

Also Published As

Publication number Publication date Type
KR20040101895A (ko) 2004-12-03 application
CN1545809A (zh) 2004-11-10 application
EP1501295A1 (en) 2005-01-26 application
CN1293757C (zh) 2007-01-03 grant
WO2003092283A1 (fr) 2003-11-06 application
US20040234160A1 (en) 2004-11-25 application
EP1501295A4 (en) 2008-08-13 application
KR100971821B1 (ko) 2010-07-22 grant
US8355603B2 (en) 2013-01-15 grant
JP2003316760A (ja) 2003-11-07 application

Similar Documents

Publication Publication Date Title
US6992725B2 (en) Video data de-interlacing using perceptually-tuned interpolation scheme
US5774601A (en) System and method for adaptive interpolation of image data
US6046773A (en) Apparatus and method for decoding video images
US6571142B1 (en) Data processing apparatus, data processing method, and medium
US20060146198A1 (en) Image processing device and method, learning device and method, recording medium, and program
EP0975156A2 (en) Information signal processing apparatus, picture information converting apparatus, and picture displaying apparatus
US5982440A (en) Method and apparatus for producing slow-motion picture signal changing smoothly from compression coded picture signal
US5739873A (en) Method and apparatus for processing components of a digital signal in the temporal and frequency regions
US6057885A (en) Picture information converting apparatus and method thereof and sum-of-product calculating circuit and method thereof
US7177481B2 (en) Multiresolution unsharp image processing apparatus
US20050078212A1 (en) Method and apparatus for converting frame rate using time shifting and motion compensation
JP2000224593A (ja) フレーム補間方法および装置およびこの方法を記録した記録媒体
US7710498B2 (en) Image processing apparatus, image processing method and program
KR20080041935A (ko) 영상 보간 방법 및 장치
EP1001371A1 (en) Data processing apparatus and data processing methods
US20040070685A1 (en) Method and apparatus for processing information, storage medium, and program
US7085318B2 (en) Image processing system, image processing method, program, and recording medium
JP2001084368A (ja) データ処理装置およびデータ処理方法、並びに媒体
US20070116383A1 (en) Spatial signal conversion
Choi et al. Frame rate up-conversion using perspective transform
WO2001097510A1 (en) Image processing system, image processing method, program, and recording medium
US20040189867A1 (en) Method and system for displaying a video frame
JP2001222702A (ja) 画像処理装置および画像処理方法、並びに記録媒体
US5387937A (en) Motion compensation for color video signals
JPH0795591A (ja) ディジタル画像信号処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070918

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130118

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees