JP5050944B2 - 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム Download PDF

Info

Publication number
JP5050944B2
JP5050944B2 JP2008064220A JP2008064220A JP5050944B2 JP 5050944 B2 JP5050944 B2 JP 5050944B2 JP 2008064220 A JP2008064220 A JP 2008064220A JP 2008064220 A JP2008064220 A JP 2008064220A JP 5050944 B2 JP5050944 B2 JP 5050944B2
Authority
JP
Japan
Prior art keywords
level
class
pixel
image data
tap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008064220A
Other languages
English (en)
Other versions
JP2009224848A (ja
Inventor
健太郎 深沢
卓夫 守村
忍 山田
宏介 長野
英樹 森
裕也 青木
靖彦 管
俊介 原崎
誠一 猪俣
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008064220A priority Critical patent/JP5050944B2/ja
Priority to US12/381,271 priority patent/US8208735B2/en
Publication of JP2009224848A publication Critical patent/JP2009224848A/ja
Application granted granted Critical
Publication of JP5050944B2 publication Critical patent/JP5050944B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Systems (AREA)

Description

本発明は、画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムに関し、特に、例えば、より高画質の画像に変換できるようにした画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムに関する。
本出願人は、例えば、低解像度の画像データを、より解像度が高い高解像度の画像データに変換する方法として、クラス分類適応処理を先に提案している（例えば、特許文献１を参照）。
クラス分類適応処理では、例えば、予測すべき高解像度の画像データの画素（以下、注目画素という）が決定され、注目画素の位置に相当する、低解像度の画像データの位置から最も近くに存在する画素を、注目画素に対応する対応画素として、対応画素を含む、その対応画素の周囲に存在する複数の画素がクラスタップとして抽出され、クラスタップを構成する複数の画素に基づいて、注目画素が複数のクラスのうちのいずれかのクラスに分類される。
また、クラス分類適応処理では、注目画素の位置に対応する、低解像度の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素が予測タップとして抽出され、予測タップを構成する複数の画素と、注目画素が分類されたクラスに対応する予測係数とを用いた予測演算によって注目画素が予測（生成）される。
なお、予測係数は、学習用の教師画像データ及び生徒画像データを用いた学習により予め求められている。
特開平５−３２８１８５号公報
次に、図１は、従来のクラス分類適応処理を行う画像処理装置に入力される入力信号と、その画像処理装置により、入力信号に対してクラス分類適応処理が行われて出力される出力信号との関係を示す図である。
図１において、縦軸は、画素の画素値を示している。なお、入力信号及び出力信号は、いずれも８ビットの信号であり、下限レベル０から上限レベル２５５の範囲内で、入力信号及び出力信号の画素値が表現される。
図１左下に示す入力信号Ａは、画素値が下限レベル０に近い複数の画素の画素値を示す信号であって、かつ、上に凸の形状を有する信号を示している。図１右下に示す出力信号Ａ'は、入力信号Ａにクラス分類適応処理を行うことにより得られた信号を示している。
また、図１左上に示す入力信号Ｂは、画素値が上限レベル２５５に近い複数の画素の画素値を示す信号であって、かつ、上に凸の形状を有する信号を示している。図１右上に示す出力信号Ｂ'は、入力信号Ｂにクラス分類適応処理を行うことにより得られた信号を示している。
従来のクラス分類適応処理においては、図１右下に示すように、入力信号Ａに対してクラス分類適応処理を行うことにより予測された出力信号Ａ'の画素の画素値が、８ビットで表現可能な許容範囲（下限レベル０以上であって、上限レベル２５５以下の範囲）内となる場合、そのまま、出力信号Ａ'が出力される。
しかしながら、図１右上に示すように、入力信号Ｂに対してクラス分類適応処理を行うことにより予測された出力信号Ｂ'の画素の画素値が、上限レベル２５５を上回り、許容範囲外となる場合、上限レベル２５５を超えた信号が、上限レベル２５５にまで低減されて出力される。
この場合、クラス分類適応処理の処理結果として、本来出力されるべき出力信号Ｂ'とは全く異なる信号が出力されることになり、出力信号Ｂ'をそのまま出力するときと比較して、画質が劣化する。
ここで、上に凸の形状を有する入力信号に対して、クラス分類適応処理を行う場合、一般的には、処理対象である入力信号の画素値よりも大きい画素値が、処理結果である出力信号として得られる。
従って、クラス分類適応処理において、入力信号（入力信号Ａ又はＢ）の画素値の分布が上限レベル２５５に近い程、出力信号の画素値は、上限レベル２５５を上回ることが多くなり、上述した画質の劣化が生じやすくなる。
また、クラス分類適応処理では、図２及び図３で後述するように、入力信号のダイナミックレンジが大きい程、出力信号の画素値は大きくなる。従って、入力信号のダイナミックレンジが大きい程、出力信号の画素値は、上限レベル２５５を超えることが多くなり、やはり、上述した画質の劣化が生じやすくなる。
なお、入力信号のダイナミックレンジとは、入力信号が示す複数の画素の画素値のうち、最大の画素値から最小の画素値を減算して得られる値をいう。
次に、図２及び図３を参照して、入力信号のダイナミックレンジが大きい程、出力信号の画素値は大きくなることを説明する。
図２は、従来のクラス分類適応処理において、入力信号のダイナミックレンジと、入力信号から得られる出力信号との関係を示している。
図２左側に示す入力信号αは、対応画素x0を中心として、水平方向に並ぶ３画素x0,x1、及びx2の画素値を示している。また、入力信号αのダイナミックレンジDR(Dynamic Range)αはΔx1である。
図２右側に示す入力信号βは、図２左側に示す対応画素x0の画素値と同一の画素値をとる対応画素x0を中心として、水平方向に並ぶ３画素x0,x1、及びx2の画素値を示している。また、入力信号βのダイナミックレンジDRβは2Δx1である。
従来のクラス分類適応処理では、例えば、入力信号に対応する複数の画素x0，x1，x2と、あらかじめ求めておいた予測係数w0，w1，w2との予測演算（積和演算）により、出力信号が予測される。
従って、入力信号αから予測される出力信号y1'は、w0x0+w1(x0-Δx1)+w2(x0-Δx2)=(w0+w1+w2)x0-(w1Δx1+w2Δx2)となり、-(w1Δx1+w2Δx2)をΔy'とおけば、出力信号はy1'≒x0+Δy'となる。
なお、予測係数w0，w1、及びw2は、w0+w1+w2≒1.0及びw1Δx1+w2Δx2<0を満たしている。
また、入力信号βから予測される出力信号y2'は、w0x0+w1(x0-2Δx1)+w2(x0-2Δx2)=(w0+w1+w2)x0-2(w1Δx1+w2Δx2)≒x0+2Δy'となる。
従って、入力信号のダイナミックレンジが大きい程、入力信号から予測される出力信号は大きな値となる。
次に、図３は、対応画素x0が上限レベル２５５に近い場合であって、図２の入力信号α及びβが、８ビットの信号である場合に、入力信号αから予測される出力信号、及び入力信号βから予測される出力信号について説明する図である。
図３左側において、入力信号αから予測される出力信号y1'は、上限レベル２５５に近い値となるが、上限レベル２５５以下の値であるため、許容範囲内となる。
図３右側において、入力信号βのダイナミックレンジDRβ（=2Δx1）は、入力信号αのダイナミックレンジDRα（=Δx1）よりも大きいダイナミックレンジとなるため、入力信号βから予測される出力信号y2'は、入力信号αから予測される出力信号y1'と比較して大きな値となり、上限レベル２５５を上回って、許容範囲外となる。
このように、対応画素x0から上限レベル２５５までの範囲が同一であっても、ダイナミックレンジの大きさによっては、入力信号から予測される出力信号が上限レベル２５５を上回ってしまうことがある。
従って、上述したように、入力信号のダイナミックレンジが大きい程、出力信号の画素値は、上限レベル２５５を超えることが多くなるため、やはり、画質の劣化が生じやすくなる。
以上のように、一般的に、入力信号のダイナミックレンジが大きい程、出力信号は、大きな値となり、上限レベルを上回るものになってしまう傾向がある。また、入力信号の画素値の分布が上限レベルに近い程、出力信号は、上限レベルを上回るものになってしまう傾向がある。
なお、下に凸の形状を有する入力信号に対して、クラス分類適応処理を行う場合、一般的には、処理対象である入力信号の画素値よりも小さい画素値が、処理結果である出力信号として得られる。従って、入力信号が下に凸の形状を有する場合についても同様に、入力信号のダイナミックレンジが大きい程、また、入力信号の画素値の分布が下限レベルに近い程、出力信号は、下限レベルを下回るものになってしまう傾向がある。
本発明はこのような状況に鑑みてなされたものであり、出力信号が、可能な限り、上限レベルを上回らないとともに、下限レベルを下回らないようにすることにより、高画質の画像を得ることができるようにするものである。
本発明の第１の側面の画像処理装置、又はプログラムは、第１の画像データを、より高画質の第２の画像データに変換する画像処理装置、又は、第１の画像データを、より高画質の第２の画像データに変換する画像処理装置として、コンピュータを機能させるプログラムであって、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出手段と、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する波形クラスタップ抽出手段と、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数を出力する予測係数出力手段と、前記予測係数出力手段により出力された前記予測係数と、前記予測タップ抽出手段により抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段とを備える画像処理装置、又は画像処理装置として、コンピュータを機能させるプログラムである。
前記注目画素を複数のピークレベル方向クラスのうちのいずれかにクラス分けするピークレベル方向クラス分類処理に用いるためのピークレベル方向クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するピークレベル方向クラスタップ抽出手段と、前記ピークレベル方向クラスタップのヒストグラムに基づいて、前記注目画素を、複数のピークレベル方向クラスのうちのいずれかにクラス分けする前記ピークレベル方向クラス分類処理を行うピークレベル方向クラス分類手段とをさらに設けることができ、前記レベル制限クラス分類手段には、前記注目画素のピークレベル方向クラスに基づいて、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値から、前記注目画素がとり得る画素値の上限レベルまでの範囲、又は、前記注目画素がとり得る画素値の下限レベルから、前記レベル制限クラスタップを構成する複数の画素の画素値の最小値までの範囲のいずれか一方を、前記レベル幅として算出するレベル幅算出手段と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジを算出するダイナミックレンジ算出手段と、前記レベル幅算出手段により算出された前記レベル幅と、前記ダイナミックレンジ算出手段により算出された前記ダイナミックレンジとの比に基づいて、前記注目画素のレベル制限クラスを特定するレベル制限クラス特定手段とを有するようにすることができる。
前記学習によりあらかじめ求められて保持されている予測係数は、前記レベル制限クラスと前記波形パターンクラスの他、前記ピークレベル方向クラスとの複数の組合せにそれぞれ対応しており、前記予測係数出力手段では、前記学習によりあらかじめ求められて保持されている予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの他、前記注目画素のピークレベル方向クラスとの組合せに対応する予測係数を出力することができる。
本発明の第１の側面の画像処理方法は、第１の画像データを、より高画質の第２の画像データに変換する画像処理装置の画像処理方法であって、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出ステップと、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するレベル制限クラスタップ抽出ステップと、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する波形クラスタップ抽出ステップと、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類ステップと、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類ステップと、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数を出力する予測係数出力ステップと、前記予測係数出力ステップで出力された前記予測係数と、前記予測タップ抽出ステップで抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算ステップとを含む画像処理方法である。
本発明の第１の側面においては、前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素が、前記第１の画像データから抽出され、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素が、前記第１の画像データから抽出され、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素が、前記第１の画像データから抽出され、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理が行われ、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理が行われる。そして、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数が出力され、前記予測係数と、前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素が予測される。
本発明の第２の側面の学習装置、又はプログラムは、第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置、又は第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置として、コンピュータを機能させるプログラムであって、学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出手段と、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する波形クラスタップ抽出手段と、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段とを備える学習装置、又は学習装置として、コンピュータを機能させるプログラムである。
前記注目画素を複数のピークレベル方向クラスのうちのいずれかにクラス分けするピークレベル方向クラス分類処理に用いるためのピークレベル方向クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するピークレベル方向クラスタップ抽出手段と、前記ピークレベル方向クラスタップのヒストグラムに基づいて、前記注目画素を、複数のピークレベル方向クラスのうちのいずれかにクラス分けする前記ピークレベル方向クラス分類処理を行うピークレベル方向クラス分類手段とをさらに設けることができ、前記レベル制限クラス分類手段には、前記注目画素のピークレベル方向クラスに基づいて、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値から、前記注目画素がとり得る画素値の上限レベルまでの範囲、又は、前記注目画素がとり得る画素値の下限レベルから、前記レベル制限クラスタップを構成する複数の画素の画素値の最小値までの範囲のいずれか一方を、前記レベル幅として算出するレベル幅算出手段と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジを算出するダイナミックレンジ算出手段と、前記レベル幅算出手段により算出された前記レベル幅と、前記ダイナミックレンジ算出手段により算出された前記ダイナミックレンジとの比に基づいて、前記注目画素のレベル制限クラスを特定するレベル制限クラス特定手段とを有するようにすることができる。
前記予測係数算出手段では、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの他、前記注目画素の前記ピークレベル方向クラスとの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求めることができる。
本発明の第２の側面の学習方法は、第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置の学習方法であって、学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出ステップと、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するレベル制限クラスタップ抽出ステップと、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する波形クラスタップ抽出ステップと、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類ステップと、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類ステップと、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出ステップとを含む学習方法である。
本発明の第２の側面においては、学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素が、学習用の前記第１の画像データから抽出され、前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素が、学習用の前記第１の画像データから抽出され、前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素が、学習用の前記第１の画像データから抽出され、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理が行われ、前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理が行われる。そして、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数が求められる。
本発明の第１の側面によれば、より高画質の画像を予測することができる。
また、本発明の第２の側面によれば、より高画質の画像を予測するための予測係数を学習することができる。
以下、図面を参照して本実施の形態について説明する。
図４は、本発明の一実施の形態である画像処理装置の構成例を示している。
この画像処理装置１は、第１の画像データを、より高画質の第２の画像データに変換する画像変換処理を行う。
ここで、第１及び第２の画像データをどのように定義するかによって、画像処理装置１は様々な画像変換処理を実現することができる。
即ち、例えば、第１の画像データを低解像度の画像データとするとともに、第２の画像データを、第１の画像データよりも解像度が高い高解像度の画像データとすれば、画像変換処理は、解像度を向上させて高画質化させる解像度向上処理ということができる。
また、例えば、第１の画像データを低SNR(Signal to Noise Ratio)の画像データとするとともに、第２の画像データを、第１の画像データよりもSNRが高い高SNRの画像データとすれば、画像変換処理は、ノイズを除去して高画質化させるノイズ除去処理ということができる。
さらに、例えば、第１の画像データをSD（Standard Definition）画像データとするとともに、第２の画像データを、第１の画像データの画素数と解像度を大きくしたHD（High Definition）画像データとすれば、画像変換処理は、SD画像データをHD画像データに高画質化する変換処理ということができる。
以下、第１の画像データを低解像度の画像データとし、第２の画像データを、第１の画像データよりも解像度が高い高解像度の画像データとして、画像処理装置１における画像変換処理を説明する。
図５は、画像処理装置１の詳細な構成例を示している。
画像処理装置１は、予測タップ抽出部３０、ピークレベル方向クラスタップ抽出部３１、波形クラスタップ抽出部３２、レベル成分クラス分類部３３、波形パターンクラス分類部３４、係数ROM(Read Only Memory)３５、及び予測演算部３６により構成される。画像処理装置１において、外部から入力される第１の画像データは、予測タップ抽出部３０、ピークレベル方向クラスタップ抽出部３１、及び波形クラスタップ抽出部３２に供給される。
予測タップ抽出部３０は、第１の画像データの変換結果となる第２の画像データを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。
予測タップ抽出部３０は、注目画素（の画素値）を予測する予測演算に用いるための予測タップとして、注目画素に対応する、第１の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素（の画素値）、即ち、注目画素の位置に相当する、第１の画像データの位置に対して、空間的又は時間的に近い位置にある複数の画素を、供給された第１の画像データから抽出し、予測演算部３６に供給する。
なお、対応画素とは、注目画素の位置に相当する、第１の画像データの位置から最も近くに存在する第１の画像データの画素をいう。
また、予測タップ抽出部３０は、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理に含まれるレベル制限クラス分類処理に用いるためのレベル制限クラスタップ（後述する図８Ｂ）として、第１の画像データから抽出した予測タップを、レベル成分クラス分類部３３に供給する。
ここで、レベル制限クラスタップは、予測タップと同一のタップ構造（注目画素に対する同一の位置関係）を有するものとする他、異なるタップ構造を有するものとすることも可能であるが、予測タップとレベル制限クラスタップは、同一のタップ構造を有することが望ましい。
従って、本実施の形態では、予測タップ抽出部３０において、予測タップを、レベル制限クラスタップとして、レベル成分クラス分類部３３に供給している。
ピークレベル方向クラスタップ抽出部３１は、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理に含まれるピークレベル方向分類処理に用いるためのピークレベル方向クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、供給された第１の画像データから抽出し、レベル成分クラス分類部３３に供給する。
波形クラスタップ抽出部３２は、注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、供給された第１の画像データから抽出し、波形パターンクラス分類部３４に供給する。
レベル成分クラス分類部３３は、予測タップ抽出部３０からのレベル制限クラスタップ、及びピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップに基づいて、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理を行い、その結果得られる注目画素のレベル成分クラスに対応するレベル成分クラスコードを、係数ROM３５に供給する。
なお、レベル成分クラス分類部３３の詳細は、図６ないし図１５を参照して後述する。
波形パターンクラス分類部３４は、波形クラスタップ抽出部３２からの波形クラスタップを構成する複数の画素の画素値の変化を表す波形（波形クラスタップの波形）に基づいて、注目画素を、複数の波形パターンクラスのうち、波形クラスタップ抽出部３２からの波形クラスタップの波形の特徴を表すクラスにクラス分けする波形パターンクラス分類処理を行い、その結果得られる注目画素の波形パターンクラスに対応する波形パターンクラスコードを、係数ROM３５に供給する。
ここで、波形パターンクラス分類処理を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding) (適応的ダイナミックレンジ符号化)等を採用することができる。
ADRCを用いる方法では、波形クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素の波形パターンクラスが決定される。
なお、KビットADRCにおいては、例えば、波形クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、波形クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、波形クラスタップを構成する画素（の画素値）がKビットに再量子化される。即ち、波形クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。
そして、以上のようにして得られる、波形クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、波形クラスタップが、例えば、１ビットADRC処理された場合には、その波形クラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
なお、波形パターンクラス分類部３４には、例えば、波形クラスタップを構成する画素の画素値のレベル分布のパターンを、そのまま波形パターンクラスコードとして出力させることも可能である。しかしながら、この場合、波形クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、波形パターンクラス分類部３４が出力する波形パターンクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
従って、波形パターンクラス分類部３４においては、波形クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮して、波形パターンクラス分類処理を行うのが好ましい。
係数ROM３５は、後述する学習によって予め求められた、レベル成分クラスと波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数のセットを記憶（保持）している。
また、係数ROM３５は、記憶している予測係数のセットのうち、レベル成分クラス分類部３３からのレベル成分クラスコードと波形パターンクラス分類部３４からの波形パターンクラスコードとの組合せに対応するアドレスに記憶されている予測係数（レベル成分クラス分類部３３からのレベル成分クラスコードが表すレベル成分クラスと、波形パターンクラス分類部３４からの波形パターンクラスコードが表す波形パターンクラスとの組合せに対応する予測係数）を、予測演算部３６に出力する。
予測演算部３６は、予測タップ抽出部３０からの予測タップを構成する複数の画素と、係数ROM３５が出力する予測係数とを用いて、注目画素を予測（生成）する所定の予測演算（例えば、線形１次演算）を行う。これにより、予測演算部３６は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
図６は、図５のレベル成分クラス分類部３３の詳細な構成例を示している。
レベル成分クラス分類部３３は、ピークレベル方向分類部６１、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３により構成される。
ピークレベル方向分類部６１には、ピークレベル方向クラスタップ抽出部３１からピークレベル方向クラスタップが供給される。
ピークレベル方向分類部６１は、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップを構成する複数の画素の画素値のヒストグラムに基づいて、注目画素を、複数のピークレベル方向クラスのうち、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップのピークレベル方向を表すクラスにクラス分けするピークレベル方向分類処理を行う。
なお、ピークレベル方向とは、ピークレベル方向クラスタップを構成する複数の画素の画素値のピークレベル（極値）が存在する方向をいう。具体的には、例えば、図１に示されたように、上下方向にとった画素値を表す縦軸であって、かつ、上方向である程に画素値が大きくなる縦軸をとり、左右方向に画素の位置を表す横軸をとった場合に、ピークレベル方向クラスタップを構成する複数の画素の画素値の変化を表す波形（以下、ピークレベル方向クラスタップの波形ともいう）が凸となっている方向をいう。
従って、ピークレベル方向クラスタップの波形が上に凸の波形である場合には、ピークレベル方向クラスタップのピークレベル方向は上方向となる。この場合、注目画素は、ピークレベル方向が上方向であることを表すピークレベル方向クラスにクラス分けされる。
また、ピークレベル方向クラスタップの波形が下に凸の波形である場合には、ピークレベル方向クラスタップのピークレベル方向は下方向となる。この場合、注目画素は、ピークレベル方向が下方向であることを表すピークレベル方向クラスにクラス分けされる。
さらに、ピークレベル方向クラスタップの波形が上と下との両方に凸の波形である場合には、ピークレベル方向クラスタップのピークレベル方向は上方向と下方向との両方向となる。この場合、注目画素は、ピークレベル方向が両方向であることを表すピークレベル方向クラスにクラス分けされる。
ピークレベル方向分類部６１は、ピークレベル方向分類処理により得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給する。
レベル制限クラス分類部６２は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが表すピークレベル方向と、予測タップ抽出部３０からのレベル制限クラスタップとに応じて求められる許容レベル幅LWと、予測タップ抽出部３０からのレベル制限クラスタップのダイナミックレンジDRとの比に基づいて、注目画素を、複数のレベル制限クラスのうち、許容レベル幅LWとダイナミックレンジDRとの比に対応するクラスにクラス分けするレベル制限クラス分類処理を行う。
ここで、許容レベル幅LWとは、レベル制限クラスタップを構成する複数の画素の画素値の最大値から、所定の予測演算により予測される注目画素がとり得る画素値の上限を表す上限レベルまでの範囲、及び、所定の予測演算により予測される注目画素がとり得る画素値の下限を表す下限レベルから、レベル制限クラスタップを構成する複数の画素の画素値の最小値までの範囲のうち、注目画素の真値が存在する範囲の大きさ（幅）をいう。
レベル制限クラス分類部６２は、レベル制限クラス分類処理により得られた注目画素のレベル制限クラスに対応するレベル制限クラスコードを、レベル成分クラス特定部６３に供給する。
レベル成分クラス特定部６３は、ピークレベル方向分類部６１からのピークレベル方向クラスコード、及びレベル制限クラス分類部６２からのレベル制限クラスコードの組合せに基づいて、注目画素のレベル成分クラスを、複数のレベル成分クラスの中から特定する。
レベル成分クラス特定部６３は、特定された注目画素のレベル成分クラスに対応するレベル成分クラスコードを、係数ROM３５に出力する。
次に、図７は、図６のピークレベル方向分類部６１の詳細な構成例を示している。
ピークレベル方向分類部６１は、ヒストグラム生成部９１、最大値最小値取得部９２、区間分割部９３、頻度検出部９４、及び頻度比較部９５により構成される。
ヒストグラム生成部９１には、ピークレベル方向クラスタップ抽出部３１からピークレベル方向クラスタップが供給される。ヒストグラム生成部９１は、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップを構成する複数の画素の画素値のヒストグラムを生成し、最大値最小値取得部９２に供給する。
最大値最小値取得部９２は、ヒストグラム生成部９１からのピークレベル方向クラスタップのヒストグラムに基づいて、ピークレベル方向クラスタップを構成する複数の画素の画素値のうち、最大の画素値Maxと最小の画素値Minとを取得（検出）し、ヒストグラム生成部９１からのヒストグラムとともに、区間分割部９３に供給する。
区間分割部９３は、最大値最小値取得部９２からの最大の画素値Maxと最小の画素値Minとに対して、次式（１）を適用することにより区間幅stepを算出し、最大値最小値取得部９２からのヒストグラムを、次式（２）の区間１（画素値が小さい区間）、及び式（３）の区間２（画素値が大きい区間）の２つの区間に分割し、頻度検出部９４に供給する。
Figure 0005050944
なお、'[]'は、ガウス記号であり、従って、[Max-Min+1]は、Max-Min+1の整数部分を示している。
Figure 0005050944
Figure 0005050944
頻度検出部９４は、区間分割部９３からの、区間１及び区間２に分割されたヒストグラムに基づいて、区間１内の画素数を頻度Freq1として検出するとともに、区間２内の画素数を頻度Freq2として検出して、頻度比較部９５に供給する。
頻度比較部９５は、頻度検出部９４からの頻度Freqn（n=1,2）と閾値Freqthを比較することにより、次式（４）を満たすか否かを判定し、その判定結果に基づいて、ピークレベル方向クラスタップのピークレベル方向を認識（検出）する。
Figure 0005050944
ここで、閾値Freqthは、頻度Freq1と頻度Freq2のうち、値が大の頻度を、任意の正の整数Zで除算することにより得られた値であり、nは、値１及び２をとる。なお、シミュレーションにより、Zに設定する値として、例えば、２を採用することにより、良好な結果が得られることがわかっている。
即ち、例えば、頻度Freq1が閾値Freqth以上であって、かつ、頻度Freq2が閾値Freqth未満である場合、ピークレベル方向クラスタップを構成する複数の画素の画素値は、画素値が小さい区間１に多くの画素値が偏在する。
この場合、ピークレベル方向クラスタップの波形は、上に凸の形状の波形となるため、頻度比較部９５は、ピークレベル方向クラスタップのピークレベル方向を上方向であると認識する。
また例えば、頻度Freq1が閾値Freqth未満であって、かつ、頻度Freq2が閾値Freqth以上である場合、ピークレベル方向クラスタップを構成する複数の画素の画素値は、画素値が大きい区間２に多くの画素値が偏在する。
この場合、ピークレベル方向クラスタップの波形は、下に凸の形状の波形となるため、頻度比較部９５は、ピークレベル方向クラスタップのピークレベル方向を下方向であると認識する。
さらに、例えば、頻度Freq1が閾値Freqth以上であって、かつ、頻度Freq2が閾値Freqth以上である場合、ピークレベル方向クラスタップを構成する複数の画素の画素値は、同程度、画素値が小さい区間１と、画素値が大きい区間２とに存在する。
この場合、ピークレベル方向クラスタップの波形は、上に凸であって、かつ、下に凸の形状の波形となるため、頻度比較部９５は、ピークレベル方向クラスタップのピークレベル方向を上方向と下方向との両方向であると認識する。
頻度比較部９５は、ピークレベル方向クラスタップの波形から認識されたピークレベル方向に基づいて、注目画素を、複数のピークレベル方向クラスのうち、ピークレベル方向クラスタップの波形から認識されたピークレベル方向（上方向、下方向、又は両方向）を表すクラスにクラス分けし、そのクラス分けにより得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に出力する。
図８は、図５の予測タップ抽出部３０により抽出されるレベル制限クラスタップ、ピークレベル方向クラスタップ抽出部３１により抽出されるピークレベル方向クラスタップ、及び波形クラスタップ抽出部３２により抽出される波形クラスタップの一例を示している。
図８Ａには、黒丸（●）により示す対応画素を中心として、横×縦が９×９個の合計８１個の画素により構成されるピークレベル方向クラスタップが示されている。
また、図８Ｂには、黒丸（●）により示す対応画素を中心として、菱形１３個の画素により構成されるレベル制限クラスタップ（予測タップ）が示されている。
さらに、図８Ｃには、黒丸（●）により示す対応画素を中心として、十字型９個の画素により構成される波形クラスタップが示されている。
次に、図９を参照して、ピークレベル方向分類部６１が行うピークレベル方向分類処理を説明する。
図９は、ピークレベル方向分類部６１のヒストグラム生成部９１により生成されるヒストグラムの一例を示している。
図９において、横軸は、画素の画素値を示しており、縦軸は、横軸の画素値に対応する画素数（度数）を示している。
ヒストグラム生成部９１は、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップ（図８Ａ）に基づいて、ピークレベル方向クラスタップのヒストグラム（図９）を生成し、最大値最小値取得部９２に供給する。
最大値最小値取得部９２は、ヒストグラム生成部９１からのヒストグラムのうち、最大の画素値Max及び最小の画素値Minを取得し、ヒストグラム生成部９１からのヒストグラムとともに、区間分割部９３に供給する。
区間分割部９３は、最大値最小値取得部９２からの最大の画素値Max及び最小の画素値Minに基づいて、最大値最小値取得部９２からのヒストグラムを、式（２）に示す区間１、及び式（３）に示す区間２の２つの区間に分割し、頻度検出部９４に供給する。
頻度検出部９４は、区間分割部９３からの、区間１及び区間２に分割されたヒストグラムに基づいて、区間１内の画素数を頻度Freq1として検出するとともに、区間２内の画素数を頻度Freq2として検出して、頻度比較部９５に供給する。
頻度比較部９５は、頻度検出部９４からの頻度Freqnと閾値Freqthを比較することにより、式（４）を満たすか否かを判定し、その判定結果に基づいて、ピークレベル方向クラスタップのピークレベル方向を認識する。
また、頻度比較部９５は、判定結果により認識されたピークレベル方向に基づいて、注目画素を、複数のピークレベル方向クラスのうち、判定結果により認識された認識されたピークレベル方向を表すクラスにクラス分けし、そのクラス分けにより得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に出力する。
次に、ピークレベル方向クラスタップのピークレベル方向を認識し、そのピークレベル方向から得られる注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを出力する頻度比較部９５について、図１０及び図１１を参照して説明する。
図１０は、ピークレベル方向が、上方向、下方向、又は両方向であるピークレベル方向クラスタップの波形の一例を示している。
図１０Ａないし図１０Ｃにおいて、横軸は、画素の位置を示しており、縦軸は、画素の画素値を示している。
図１０Ａには、ピークレベル方向が上方向であるピークレベル方向クラスタップの波形が示されている。ピークレベル方向が上方向であるピークレベル方向クラスタップの波形は、図１０Ａの上方向に画素値のピークレベル（極値）を有する上に凸の波形であって、ピークレベル方向クラスタップを構成する複数の画素の画素値が、図１０Ａに示すピークレベルと比較して低い画素値に偏在する波形を示している。
また、図１０Ｂには、ピークレベル方向が下方向であるピークレベル方向クラスタップの波形が示されている。ピークレベル方向が下方向であるピークレベル方向クラスタップの波形は、図１０Ｂの下方向に画素値のピークレベルを有する下に凸の波形であって、ピークレベル方向クラスタップを構成する複数の画素の画素値が、図１０Ｂに示すピークレベルと比較して高い画素値に偏在する波形を示している。
さらに、図１０Ｃには、ピークレベル方向が両方向であるピークレベル方向クラスタップの波形が示されている。ピークレベル方向が両方向であるピークレベル方向クラスタップの波形は、上に凸の波形と、下に凸の波形とにより構成され、上方向及び下方向のいずれにも、画素値のピークレベルを有する波形であって、ピークレベル方向クラスタップを構成する複数の画素の画素値が、同程度、低い画素値と高い画素値とに存在する波形を示している。
図１１は、頻度比較部９５から出力されるピークレベル方向クラスコードを示している。
図１１において、左から１番目の欄には、注目画素が、ピークレベル方向分類処理によりクラス分けされるピークレベル方向クラスに対応するピークレベル方向クラスコードＰ１，Ｐ２及びＰ３が示されている。
図１１において、左から２番目の欄には、区間１内の画素数を表す頻度Freq1が式（４）を満たす場合、式（４）が真であることを示す値１が示されており、区間１内の画素数を表す頻度Freq1が式（４）を満たさない場合、式（４）が偽であることを示す値０が示されている。
また、左から３番目の欄には、区間２内の画素数を表す頻度Freq2が式（４）を満たす場合、式（４）が真であることを示す値１が示されており、区間２内の画素数を表す頻度Freq2が式（４）を満たさない場合、式（４）が偽であることを示す値０が示されている。
さらに、左から４番目の欄には、ピークレベル方向クラスタップのピークレベル方向が示されている。
図１１の２行目に示すように、頻度検出部９４からの頻度Freq1についての式（４）が真（値１）であり、かつ、頻度検出部９４からの頻度Freq2についての式（４）が偽（値０）である場合、ピークレベル方向クラスタップの波形は、図１０Ａに示したように、画素値がピークレベルと比較して低い画素値に偏在し、ピークレベル方向が上方向の波形となる。
この場合、頻度比較部９５は、注目画素を、ピークレベル方向クラスタップのピークレベル方向が上方向であることを示すピークレベル方向クラスにクラス分けし、そのピークレベル方向クラスに対応するピークレベル方向クラスコードＰ１を、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給する。
また、図１１の３行目に示すように、頻度検出部９４からの頻度Freq1についての式（４）が偽（値０）であり、かつ、頻度検出部９４からの頻度Freq2についての式（４）が真（値１）である場合、ピークレベル方向クラスタップの波形は、図１０Ｂに示したように、画素値がピークレベルと比較して高い画素値に偏在し、ピークレベル方向が下方向の波形となる。
この場合、頻度比較部９５は、注目画素を、ピークレベル方向クラスタップのピークレベル方向が下方向であることを示すピークレベル方向クラスにクラス分けし、そのピークレベル方向クラスに対応するピークレベル方向クラスコードＰ２を、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給する。
さらに、図１１の４行目に示すように、頻度検出部９４からの頻度Freq1についての式（４）、及び頻度Freq2についての式（４）がいずれも真（値１）である場合、ピークレベル方向クラスタップの波形は、図１０Ｃに示したように、画素値が低い画素値と高い画素値とに同程度に存在し、ピークレベル方向が両方向の波形となる。
この場合、頻度比較部９５は、注目画素を、ピークレベル方向クラスタップのピークレベル方向が両方向であることを示すピークレベル方向クラスにクラス分けし、そのピークレベル方向クラスに対応するピークレベル方向クラスコードＰ３を、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給する。
次に、図１２は、図６のレベル制限クラス分類部６２の詳細な構成例を示している。
レベル制限クラス分類部６２は、許容レベル幅算出部１２１、DR算出部１２２、及びレベル制限クラス特定部１２３により構成される。
許容レベル幅算出部１２１には、予測タップ抽出部３０から、レベル制限クラスタップとともに、ピークレベル方向分類部６１から、注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードが供給される。
許容レベル幅算出部１２１は、予測タップ抽出部３０からのレベル制限クラスタップを構成する複数の画素の画素値のうち、最大の画素値又は最小の画素値のいずれか一方、及びピークレベル方向分類部６１からのピークレベル方向クラスコードが表すピークレベル方向に基づいて、注目画素の許容レベル幅LWを取得する許容レベル幅取得処理を行う。
許容レベル幅算出部１２１は、許容レベル幅取得処理により得られた注目画素の許容レベル幅LWを、レベル制限クラス特定部１２３に供給する。
DR算出部１２２には、予測タップ抽出部３０から、レベル制限クラスタップが供給される。
DR算出部１２２は、予測タップ抽出部３０からのレベル制限クラスタップのダイナミックレンジDRを算出し、レベル制限クラス特定部１２３に供給する。
レベル制限クラス特定部１２３は、許容レベル幅算出部１２１からの許容レベル幅LWを、DR算出部１２２からのレベル制限クラスタップのダイナミックレンジDRにより除算することにより、許容レベル幅LWとダイナミックレンジDRとの比ratio（=LW/DR）を算出する。
また、レベル制限クラス特定部１２３は、許容レベル幅LW、及びダイナミックレンジDRから算出した比ratioに基づいて、その比ratioに対応するレベル制限クラスを、注目画素のレベル制限クラスとして、複数のレベル制限クラスの中から特定する。
即ち、例えば、注目画素を、レベル制限クラス１とレベル制限クラス２との２つのクラスのうちのいずれかのクラスにクラス分けする場合、レベル制限クラス特定部１２３は、比ratioが、閾値０以上であって、かつ、閾値０．５以下であるとき、注目画素のレベル制限クラスをレベル制限クラス１に特定し、比ratioが、閾値０．５以上であるとき、注目画素のレベル制限クラスをレベル制限クラス２に特定する。
なお、レベル制限クラスは、レベル制限クラス１とレベル制限クラス２との２つのクラスに限定されるものではなく、レベル制限クラス特定部１２３は、閾値の設定の仕方により、３以上のレベル制限クラスの中から、注目画素のレベル制限クラスを特定することが可能である。
レベル制限クラス特定部１２３は、注目画素のレベル制限クラスに対応するレベル制限クラスコードを、レベル成分クラス特定部６３に出力する。
次に、図１３及び図１４を参照して、図１２の許容レベル幅算出部１２１が行う許容レベル幅取得処理の詳細を説明する。
なお、許容レベル幅取得処理では、ピークレベル方向クラスコードに応じて、それぞれ異なる取得方法により、許容レベル幅LWを取得する。
図１３は、ピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として上方向又は下方向を示す場合に、許容レベル幅LWを取得する取得方法を説明する図である。
図１３において、縦軸は、画素の画素値を示している。なお、図１４においても同様である。
また、図１３左側には、ピークレベル方向が上方向であるピークレベル方向クラスタップの波形が示されている。さらに、図１３右側には、ピークレベル方向が下方向であるピークレベル方向クラスタップの波形が示されている。
なお、図１３左側及び図１３右側に示されるピークレベル方向クラスタップの波形は、対応画素（黒色で示す）を中心として、水平方向に並ぶ９画素により構成されるピークレベル方向クラスタップの波形を示している。
また、ピークレベル方向クラスタップは、レベル制限クラスタップを含むように構成されており、レベル制限クラスタップは、対応画素と、その対応画素に水平方向に隣接する２画素との合計３画素により構成されている。このことは、図１４においても同様である。
許容レベル幅算出部１２１は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として上方向を示している場合、図１３左側に示すように、上限レベル（値255）から、レベル制限クラスタップを構成する、対応画素と対応画素に水平方向に隣接する２画素との合計３画素の画素値のうちの最大の画素値Maxpを減算し、許容レベル幅LW（=255-Maxp）を算出する。
ここで、レベル制限クラスタップ（を含むピークレベル方向クラスタップ）の波形が上に凸の波形である場合、注目画素の予測値は、レベル制限クラスタップを構成する複数の画素それぞれの画素値よりも大きな値となる。従って、レベル制限クラスタップを構成する複数の画素の画素値が上限レベル２５５付近に存在する場合に、注目画素の予測値は、上限レベル２５５を上回りやすい傾向にある。
そして、注目画素の予測値は、上限レベル２５５を上回ったとき、上限レベル２５５に置き換えられてしまう。
従って、この場合、注目画素の予測値が真値として許容される範囲は、レベル制限クラスタップを構成する複数の画素それぞれの画素値（画素値Maxp）以上であって、上限レベル２５５以下の範囲となり、この範囲の幅を、許容レベル幅LWとしている。
また、許容レベル幅算出部１２１は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として下方向を示している場合、図１３右側に示すように、レベル制限クラスタップを構成する、対応画素と対応画素に水平方向に隣接する２画素との合計３画素の画素値のうちの最小の画素値Minp（=Minp-0）を、そのまま、許容レベル幅LWとする。
ここで、レベル制限クラスタップの波形が下に凸の波形である場合、注目画素の予測値は、レベル制限クラスタップを構成する複数の画素それぞれの画素値よりも小さな値となる。従って、レベル制限クラスタップを構成する複数の画素の画素値が下限レベル０付近に存在する場合に、注目画素の予測値は、下限レベル０を下回りやすい傾向にある。
そして、注目画素の予測値は、下限レベル０を下回ったとき、下限レベル０に置き換えられてしまう。
従って、この場合、注目画素の予測値が真値として許容される範囲は、レベル制限クラスタップを構成する複数の画素それぞれの画素値（画素値Minp）以下であって、下限レベル０以上の範囲となり、この範囲の幅を、許容レベル幅LWとしている。
図１４は、ピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として両方向を示す場合に、許容レベル幅LWを取得する取得方法を説明する図である。
図１４左側及び図１４右側には、ピークレベル方向が両方向であるピークレベル方向クラスタップの波形が示されている。
また、図１４左側に示されたピークレベル方向クラスタップの対応画素の画素値は、Minp+[Maxp-Minp+1]/2以上であり、図１４右側に示されたピークレベル方向クラスタップの対応画素の画素値は、Minp+[Maxp-Minp+1]/2未満である。
許容レベル幅算出部１２１は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として両方向を示している場合、対応画素の画素値が、Minp+[Maxp-Minp+1]/2以上であるか否かを判定し、その判定結果に基づいて、許容レベル幅LWを算出する。
即ち、例えば、許容レベル幅算出部１２１は、対応画素の画素値が、Minp+[Maxp-Minp+1]/2以上であると判定したとき、図１４左側に示すように、上限レベルから、レベル制限クラスタップを構成する、対応画素と対応画素に水平方向に隣接する２画素との合計３画素の画素値のうちの最大の画素値Maxpを減算し、許容レベル幅LW（=255-Maxp）を算出する。
また、例えば、許容レベル幅算出部１２１は、対応画素の画素値が、Minp+[Maxp-Minp+1]/2未満であると判定したとき、図１４右側に示すように、レベル制限クラスタップを構成する、対応画素と対応画素に水平方向に隣接する２画素との合計３画素の画素値のうちの最小の画素値Minpを、そのまま、許容レベル幅LWとする。
許容レベル幅算出部１２１は、許容レベル幅取得処理により取得された許容レベル幅LWを、レベル制限クラス特定部１２３に供給する。
レベル制限クラス特定部１２３は、許容レベル幅算出部１２１からの許容レベル幅LWを、DR算出部１２２からのレベル制限クラスタップのダイナミックレンジDRにより除算することにより、許容レベル幅LWとダイナミックレンジDRとの比ratio（=LW/DR）を算出する。
次に、図１５を参照して、図１２のレベル制限クラス特定部１２３により算出される比ratioの一例を説明する。
波形Ａ（図１５左側）、波形Ｂ（図１５中央）、及び波形Ｃ（図１５右側）は、それぞれ、対応画素（黒丸で示す）を中心として、水平方向に並ぶ９個の画素により構成されるレベル制限クラスタップの波形であって、上に凸の形状を有する波形である。
なお、図１３及び図１４において、レベル制限クラスタップは、対応画素と対応画素に水平方向に隣接する２画素との合計３画素により構成されることとしたが、図１５では、レベル制限クラスタップは、対応画素を中心として、水平方向に並ぶ９個の画素により構成されることとして説明している。
波形Ａにおいて画素値が最大の対応画素xAの画素値は、波形Ｂにおいて画素値が最大の対応画素xBの画素値よりも大きいため、波形Ａの許容レベル幅LWAは、波形Ｂの許容レベル幅LWBよりも狭い幅となっている。また、波形Ｂにおいて画素値が最大の対応画素xBの画素値は、波形Ｃにおいて画素値が最大の対応画素xCの画素値と同一の値であるため、波形Ｂの許容レベル幅LWBと波形Ｃの許容レベル幅LWCとは、同一の広さの幅となっている。
波形ＡのダイナミックレンジDRAは、波形ＢのダイナミックレンジDRBと同一の値であり、波形ＣのダイナミックレンジDRCは、波形ＡのダイナミックレンジDRAよりも大きな値である。
上述したように、波形Ａの許容レベル幅LWAは、波形Ｂの許容レベル幅LWBよりも狭いとともに、波形ＡのダイナミックレンジDRAと、波形ＢのダイナミックレンジDRBとは同一の値であるため、波形Ａにおける比ratio（=LWA/DRA）は、波形Ｂにおける比ratio（=LWB/DRB）よりも小さいものとなる。
また、上述したように、波形Ｂの許容レベル幅LWBは、波形Ｃの許容レベル幅LWCと同一の値であるとともに、波形ＢのダイナミックレンジDRBは、波形ＣのダイナミックレンジDRCよりも小さいため、波形Ｂにおける比ratio（=LWB/DRB）は、波形Ｃにおける比ratio（=LWC/DRC）よりも大きいものとなる。
ところで、許容レベル幅LWが狭い程、ダイナミックレンジDRが大きい程、注目画素の予測値は、上限レベル２５５を上回ってしまう傾向にある。
従って、上限レベルを上回ったり、下限レベルを下回ったりする注目画素の予測値が予測されにくくするために、レベル制限クラス特定部１２３では、許容レベル幅LW、及びダイナミックレンジDRから算出した比ratio(=LW/DR)に対応するレベル制限クラスを、注目画素のレベル制限クラスとして、複数のレベル制限クラスの中から特定している。
次に、図１６のフローチャートを参照して、図５の画像処理装置１が行う画像変換処理を説明する。
ステップＳ１において、予測タップ抽出部３０は、第１の画像データの変換結果となる第２の画像データを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。
また、ステップＳ１では、予測タップ抽出部３０は、その注目画素を予測する予測演算に用いるための予測タップとして、注目画素に対応する、第１の画像データの対応画素を含む、その対応画素の周囲に存在する複数の画素を、供給された第１の画像データから抽出し、予測演算部３６に供給する。
さらに、ステップＳ１において、予測タップ抽出部３０は、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理に含まれるレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、第１の画像データから抽出した予測タップを、レベル成分クラス分類部３３に供給する。
ステップＳ２において、ピークレベル方向クラスタップ抽出部３１は、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理に含まれるピークレベル方向分類処理に用いるためのピークレベル方向クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、供給された第１の画像データから抽出し、レベル成分クラス分類部３３に供給する。
ステップＳ３において、波形クラスタップ抽出部３２は、注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、対応画素を含む、その対応画素の周囲に存在する複数の画素を、供給された第１の画像データから抽出し、波形パターンクラス分類部３４に供給する。
ステップＳ４において、レベル成分クラス分類部３３は、予測タップ抽出部３０からのレベル制限クラスタップ、及びピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップに基づいて、注目画素を、複数のレベル成分クラスのうちのいずれかにクラス分けするレベル成分クラス分類処理を行い、その結果得られる注目画素のレベル成分クラスに対応するレベル成分クラスコードを、係数ROM３５に供給する。
ステップＳ５において、波形パターンクラス分類部３４は、波形クラスタップ抽出部３２からの波形クラスタップの波形に基づいて、注目画素を、複数の波形パターンクラスのうち、波形クラスタップ抽出部３２からの波形クラスタップの波形の特徴を表すクラスにクラス分けする波形パターンクラス分類処理を行い、その結果得られる注目画素の波形パターンクラスに対応する波形パターンクラスコードを、係数ROM３５に供給する。
ステップＳ６において、係数ROM３５は、記憶している予測係数のセットのうち、レベル成分クラス分類部３３からのレベル成分クラスコードと波形パターンクラス分類部３４からの波形パターンクラスコードとの組合せに対応するアドレスに記憶されている予測係数（レベル成分クラス分類部３３からのレベル成分クラスコードが表すレベル成分クラスと、波形パターンクラス分類部３４からの波形パターンクラスコードが表す波形パターンクラスとの組合せに対応する予測係数）を、予測演算部３６に出力する。
ステップＳ７において、予測演算部３６は、予測タップ抽出部３０からの予測タップを構成する複数の画素と、係数ROM３５が出力する予測係数とを用いて、注目画素を予測する所定の予測演算を行う。
以上のようにして、第２の画像データを構成する画素すべてを注目画素とすることにより、画像処理装置１に入力された第１の画像データを、第２の画像データに変換したときに、図１６の画像変換処理は終了される。
次に、図１７のフローチャートを参照して、図１６のステップＳ４におけるレベル成分クラス分類処理の詳細を説明する。
ステップＳ３１において、ピークレベル方向分類部６１は、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップを構成する複数の画素の画素値のヒストグラムに基づいて、注目画素を、複数のピークレベル方向クラスのうち、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップのピークレベル方向を表すクラスにクラス分けするピークレベル方向分類処理を行い、その結果得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給する。
ステップＳ３２において、レベル制限クラス分類部６２は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが表すピークレベル方向と、予測タップ抽出部３０からのレベル制限クラスタップとに応じて求められる許容レベル幅LWと、予測タップ抽出部３０からのレベル制限クラスタップのダイナミックレンジDRとの比に基づいて、注目画素を、複数のレベル制限クラスのうち、許容レベル幅LWとダイナミックレンジDRとの比に対応するクラスにクラス分けするレベル制限クラス分類処理を行い、その結果得られた注目画素のレベル制限クラスに対応するレベル制限クラスコードを、レベル成分クラス特定部６３に供給する。
ステップＳ３３において、レベル成分クラス特定部６３は、ピークレベル方向分類部６１からのピークレベル方向クラスコード、及びレベル制限クラス分類部６２からのレベル制限クラスコードの組合せに基づいて、注目画素のレベル成分クラスを、複数のレベル成分クラスの中から特定する。
以上のように図１７のレベル成分クラス分類処理が行われた後、レベル成分クラス特定部６３は、特定された注目画素のレベル成分クラスに対応するレベル成分クラスコードを、係数ROM３５に出力して、処理は、図１６のステップＳ４にリターンされる。
次に、図１８のフローチャートを参照して、図１７のステップＳ３１のピークレベル方向分類処理の詳細を説明する。
ステップＳ６１において、ヒストグラム生成部９１は、ピークレベル方向クラスタップ抽出部３１からのピークレベル方向クラスタップを構成する複数の画素の画素値のヒストグラムを生成し、最大値最小値取得部９２に供給する。
ステップＳ６２において、最大値最小値取得部９２は、ヒストグラム生成部９１からのピークレベル方向クラスタップのヒストグラムに基づいて、ピークレベル方向クラスタップを構成する複数の画素の画素値のうち、最大の画素値Maxと最小の画素値Minとを取得（検出）し、ヒストグラム生成部９１からのヒストグラムとともに、区間分割部９３に供給する。
ステップＳ６３において、区間分割部９３は、最大値最小値取得部９２からの最大の画素値Maxと最小の画素値Minとに対して、式（１）を適用することにより区間幅stepを算出し、最大値最小値取得部９２からのヒストグラムを、式（２）の区間１、及び式（３）の区間２の２つの区間に分割し、頻度検出部９４に供給する。
ステップＳ６４において、頻度検出部９４は、区間分割部９３からの、区間１及び区間２に分割されたヒストグラムに基づいて、区間１内の画素数を頻度Freq1として検出するとともに、区間２内の画素数を頻度Freq2として検出し、頻度比較部９５に供給する。
ステップＳ６５において、頻度比較部９５は、頻度検出部９４からの頻度Freqnと閾値Freqthを比較することにより、式（４）を満たすか否かを判定し、その判定結果に基づいて、ピークレベル方向クラスタップのピークレベル方向を認識する。
また、ステップＳ６５において、頻度比較部９５は、判定結果により認識されたピークレベル方向クラスタップのピークレベル方向に基づいて、注目画素を、複数のピークレベル方向クラスのうちのいずれかのクラスにクラス分けする。
以上のようにして、図１８のピークレベル方向分類処理が行われた後、頻度比較部９５は、図１８のピークレベル方向分類処理の結果得られた注目画素のピークレベル方向クラスに対応するピークレベル方向クラスコードを、レベル制限クラス分類部６２、及びレベル成分クラス特定部６３に供給して、処理は、図１７のステップＳ３１にリターンされる。
次に、図１９のフローチャートを参照して、図１７のステップＳ３２におけるレベル制限クラス分類処理の詳細を説明する。
ステップＳ９１において、許容レベル幅算出部１２１は、予測タップ抽出部３０からのレベル制限クラスタップを構成する複数の画素の画素値のうち、最大の画素値又は最小の画素値のいずれか一方、及びピークレベル方向分類部６１からのピークレベル方向クラスコードが表すピークレベル方向に基づいて、注目画素の許容レベル幅LWを算出する許容レベル幅取得処理を行い、その結果得られた許容レベル幅LWを、レベル制限クラス特定部１２３に供給する。
ステップＳ９２において、DR算出部１２２は、予測タップ抽出部３０からのレベル制限クラスタップのダイナミックレンジDRを算出し、レベル制限クラス特定部１２３に供給する。
ステップＳ９３において、レベル制限クラス特定部１２３は、許容レベル幅算出部１２１からの許容レベル幅LWを、DR算出部１２２からのレベル制限クラスタップのダイナミックレンジDRにより除算することにより、許容レベル幅LWとダイナミックレンジDRとの比ratio（=LW/DR）を算出し、その比ratioに対応するレベル制限クラスを、注目画素のレベル制限クラスとして、複数のレベル制限クラスの中から特定する。
以上のようにして、図１９のレベル制限クラス分類処理が行われた後、レベル制限クラス特定部１２３は、特定された注目画素のレベル制限クラスに対応するレベル制限クラスコードを、レベル成分クラス特定部６３に出力して、処理は、図１７のステップＳ３２にリターンされる。
次に、図２０のフローチャートを参照して、図１９のステップＳ９１における許容レベル幅取得処理の詳細を説明する。
ステップＳ１２１において、許容レベル幅算出部１２１は、ピークレベル方向分類部６１からのピークレベル方向クラスコードが、ピークレベル方向クラスタップ抽出部３１が出力したピークレベル方向クラスタップのピークレベル方向として、上方向、下方向、又は両方向のいずれを示しているかを判定する。
ステップＳ１２１で、ピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として上方向を示していると判定された場合、処理は、ステップＳ１２２に進められ、許容レベル幅算出部１２１は、上限レベル（値２５５）から、レベル制限クラスタップを構成する複数の画素の画素値のうちの最大の画素値Maxpを減算し、許容レベル幅LW（=255-Maxp）を算出して、許容レベル幅取得処理は終了される。
また、ステップＳ１２１で、ピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として下方向を示していると判定された場合、処理は、ステップＳ１２４に進められ、許容レベル幅算出部１２１は、レベル制限クラスタップを構成する複数の画素の画素値のうちの最小の画素値Minpを、そのまま、許容レベル幅LWとして、許容レベル幅取得処理は終了される。
さらに、ステップＳ１２１で、ピークレベル方向クラスコードが、ピークレベル方向クラスタップのピークレベル方向として両方向を示していると判定された場合、処理は、ステップＳ１２３に進められ、許容レベル幅算出部１２１は、対応画素の画素値が、Minp+[Maxp-Minp+1]/2以上であるか否かを判定する。
ステップＳ１２３において、対応画素の画素値が、Minp+[Maxp-Minp+1]/2以上であると判定された場合、処理は、ステップＳ１２２に進められ、ピークレベル方向クラスコードが上方向を示している場合と同様に、許容レベル幅算出部１２１は、上限レベル（値255）から、レベル制限クラスタップを構成する複数の画素の画素値のうちの最大の画素値Maxpを減算し、許容レベル幅LW（=255-Maxp）を算出する。
また、ステップＳ１２３において、対応画素の画素値が、Minp+[Maxp-Minp+1]/2以上でないと判定された場合、処理は、ステップＳ１２４に進められ、ピークレベル方向クラスコードが下方向を示している場合と同様に、許容レベル幅算出部１２１は、画素値Minpを、そのまま、許容レベル幅LWとする。
以上のようにして、図２０の許容レベル幅取得処理が行われた後、処理は、図１９のステップＳ９１にリターンされる。
上述したように、注目画素のレベル制限クラスは、図１９のレベル制限クラス分類処理において、許容レベル幅LWと、レベル制限クラスタップのダイナミックレンジDRとの比ratio（=LW/DR）に基づいて特定される。
また、注目画素のレベル成分クラスは、図１７のレベル成分クラス分類処理において、注目画素のレベル制限クラスに基づいて特定される。
従って、図１７のレベル成分クラス分類処理では、許容レベル幅LWと、レベル制限クラスタップのダイナミックレンジDRとの比ratioを、注目画素を複数のレベル成分クラスのうちのいずれかのクラスにクラス分けするために用いている。
さらに、許容レベル幅LWが狭い程、またダイナミックレンジDRが大きい程、注目画素の予測値は、上限レベルを上回ってしまったり、下限レベルを下回ってしまう傾向にある。
そこで、図１６の画像変換処理（レベル成分クラス分類処理を含む）では、許容レベル幅LW、及びレベル制限クラスタップのダイナミックレンジDRを考慮しつつ、注目画素をクラス分けするようにした。これにより、従来のクラス分類適応処理と比較して、注目画素の予測値として、上限レベルを上回ったり、下限レベルを下回ったりすることが抑止されるので、高画質の画像を予測することが可能となる。
次に、図５の予測演算部３６における予測演算と、係数ROM３５に記憶された予測係数の学習について説明する。
上述したように、画像変換処理として、例えば、高解像度の画像データ（高解像度画像データ）を第２の画像データとするとともに、その高解像度画像データをサブサンプリングする等してその解像度を低下させた低解像度の画像データ（低解像度画像データ）を第１の画像データとして、低解像度画像データから予測タップを抽出し、その予測タップと予測係数を用いて、高解像度画像データの画素（以下、適宜、高解像度画素という）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
所定の予測演算として、例えば、線形１次演算を採用することとすると、高解像度画素の画素値ｙは、次式（５）の線形１次式によって求められることになる。
Figure 0005050944
但し、式（５）において、ｘnは、高解像度画素ｙについての予測タップを構成する、ｎ番目の低解像度画像データの画素（以下、適宜、低解像度画素という）の画素値を表し、ｗnは、ｎ番目の低解像度画素（の画素値）と乗算されるｎ番目の予測係数を表す。なお、式（５）では、予測タップが、Ｎ個の低解像度画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
ここで、高解像度画素の画素値ｙは、式（５）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの高解像度画素の画素値の真値をｙkと表すとともに、式（５）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式（６）で表される。
Figure 0005050944
いま、式（６）の予測値ｙk’は、式（５）にしたがって求められるため、式（６）のｙk’を、式（５）にしたがって置き換えると、次式（７）が得られる。
Figure 0005050944
但し、式（７）において、ｘn,kは、第ｋサンプルの高解像度画素についての予測タップを構成するｎ番目の低解像度画素を表す。
式（７）（又は式（６））の予測誤差ｅkを０とする予測係数ｗnが、高解像度画素を予測するのに最適なものとなるが、すべての高解像度画素について、そのような予測係数ｗnを求めることは、一般には困難である。
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式（８）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0005050944
但し、式（８）において、Ｋは、高解像度画素ｙkと、その高解像度画素ｙkについての予測タップを構成する低解像度画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（８）の自乗誤差の総和Ｅの最小値（極小値）は、次式（９）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 0005050944
一方、上述の式（７）を予測係数ｗnで偏微分すると、次式（１０）が得られる。
Figure 0005050944
式（９）と式（１０）から、次式（１１）が得られる。
Figure 0005050944
式（１１）のｅkに、式（７）を代入することにより、式（１１）は、次式（１２）に示す正規方程式で表すことができる。
Figure 0005050944
式（１２）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
式（１２）の正規方程式を、波形パターンクラス及びレベル成分クラス（の組合せ）毎にたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、波形パターンクラス及びレベル成分クラス毎（波形パターンクラスとレベル成分クラスとの複数の組合せ毎）に求めることができる。
図５の画像処理装置１では、以上のような波形パターンクラス及びレベル成分クラス毎の予測係数を用いて、式（５）の演算を行うことにより、第１の画像データとしての低解像度画像データが、第２の画像データとしての高解像度画像データに変換される。
次に、図２１は、式（１２）の正規方程式を波形パターンクラス及びレベル成分クラス毎にたてて解くことにより予測係数ｗnを求める学習を行う学習装置の構成例を示している。
図２１の学習装置１５１は、サブサンプリング部１８０、予測タップ抽出部１８１、ピークレベル方向クラスタップ抽出部１８２、波形クラスタップ抽出部１８３、レベル成分クラス分類部１８４、波形パターンクラス分類部１８５、足し込み部１８６、及び係数算出部１８７により構成される。
サブサンプリング部１８０には、高解像度画像データに相当する画像（学習用の第２の画像データ）が供給される。以下、学習用の第２の画像データを、教師画像ともいう。
サブサンプリング部１８０は、そこに供給された教師画像をサブサンプリングし、その解像度を低下させることにより低解像度画像データに相当する画像（学習用の第１の画像データ）を生成する。以下、学習用の第１の画像データを、生徒画像ともいう。
サブサンプリング部１８０は、教師画像をサブサンプリングすることにより得られた生徒画像を、予測タップ抽出部１８１、ピークレベル方向クラスタップ抽出部１８２及び波形クラスタップ抽出部１８３に供給する。
予測タップ抽出部１８１は、教師画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部１８１は、サブサンプリング部１８０からの生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の予測タップ抽出部３０が注目画素について得る予測タップと同一のタップ構造の予測タップ（図５の予測タップ抽出部３０が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる予測タップ）を得て、足し込み部１８６に供給する。
また、予測タップ抽出部１８１は、図５の予測タップ抽出部３０が注目画素について得る予測タップと同一のタップ構造の予測タップを、レベル制限クラスタップとして、レベル成分クラス分類部１８４に供給する。
ピークレベル方向クラスタップ抽出部１８２は、サブサンプリング部１８０から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図５のピークレベル方向クラスタップ抽出部３１が注目画素について得るピークレベル方向クラスタップと同一のタップ構造のピークレベル方向クラスタップ（図５のピークレベル方向クラスタップ抽出部３１が注目画素について得るピークレベル方向クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなるピークレベル方向クラスタップ）を得て、レベル成分クラス分類部１８４に供給する。
波形クラスタップ抽出部１８３は、サブサンプリング部１８０から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の波形クラスタップ抽出部３２が注目画素について得る波形クラスタップと同一のタップ構造の波形クラスタップ（図５の波形クラスタップ抽出部３２が注目画素について得る波形クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる波形クラスタップ）を得て、波形パターンクラス分類部１８５に供給する。
レベル成分クラス分類部１８４は、予測タップ抽出部１８１からのレベル制限クラスタップ、及びピークレベル方向クラスタップ抽出部１８２からのピークレベル方向クラスタップに基づいて、図５のレベル成分クラス分類部３３と同一のレベル成分クラス分類処理を行い、その結果得られた注目画素のレベル成分クラスに対応するレベル成分クラスコードを、足し込み部１８６に供給する。
波形パターンクラス分類部１８５は、波形クラスタップ抽出部１８３からの波形クラスタップの波形に基づいて、図５の波形パターンクラス分類部３４と同一の波形パターンクラス分類処理を行い、その結果得られた注目画素の波形パターンクラスに対応する波形パターンクラスコードを、足し込み部１８６に供給する。
足し込み部１８６には、サブサンプリング部１８０から出力される生徒画像に対応する教師画像が供給される。足し込み部１８６は、そこに供給された教師画像の注目画素（の画素値）と、予測タップ抽出部１８１からの注目画素についての予測タップを構成する生徒画像の画素とを対象とした足し込みを、レベル成分クラス分類部１８４からのレベル成分クラスコード及び波形パターンクラス分類部１８５からの波形パターンクラスコード毎に行う。
即ち、足し込み部１８６には、教師画像を構成する画素のうちの注目画素の画素値ｙk、予測タップ抽出部１８１が出力する注目画素についての予測タップを構成する生徒画像の画素の画素値ｘn,k、レベル成分クラス分類部１８４が出力する、注目画素のレベル成分クラスを表すレベル成分クラスコード、及び波形パターンクラス分類部１８５が出力する、注目画素の波形パターンクラスを表す波形パターンクラスコードが供給される。
そして、足し込み部１８６は、レベル成分クラス分類部１８４からのレベル成分クラスコードに対応するレベル成分クラス、及び波形パターンクラス分類部１８５からの波形パターンクラスコードに対応する波形パターンクラス毎に、予測タップ（生徒画像）ｘn,kを用い、式（１２）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部１８６は、やはり、レベル成分クラス分類部１８４からのレベル成分クラスコードに対応するレベル成分クラス、及び波形パターンクラス分類部１８５からの波形パターンクラスコードに対応する波形パターンクラス毎に、予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（１２）の右辺のベクトルにおける生徒画像ｘn,k及び教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、足し込み部１８６は、前回、注目画素とされた教師画像について求められた式（１２）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）又はベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師画像について、その教師画像ｙk+1及び生徒画像ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1又はｘn,k+1ｙk+1を足し込む（式（１２）のサメーションで表される加算を行う）。
そして、足し込み部１８６は、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、レベル成分クラスと波形パターンクラスとの複数の組合せそれぞれについて、式（１２）に示した正規方程式をたてると、その正規方程式を、係数算出部１８７に供給する。
係数算出部１８７は、足し込み部１８６から供給された、レベル成分クラスと波形パターンクラスとの複数の組合せそれぞれについての正規方程式を解くことにより、レベル成分クラスと波形パターンクラスとの複数の組合せそれぞれについて、予測係数ｗnを求めて出力する。
次に、図２２のフローチャートを参照して、図２１の学習装置１５１が行う学習処理を説明する。
ステップＳ１５１において、サブサンプリング部１８０は、供給された教師画像をサブサンプリングして、その解像度を低下させることにより生徒画像を生成し、予測タップ抽出部１８１、ピークレベル方向クラスタップ抽出部１８２及び波形クラスタップ抽出部１８３に供給する。
ステップＳ１５２において、予測タップ抽出部１８１は、教師画像を構成する画素を、例えば、ラスタスキャン順に、順次、注目画素とする。
ステップＳ１５３において、予測タップ抽出部１８１は、サブサンプリング部１８０からの生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の予測タップ抽出部３０が注目画素について得る予測タップと同一のタップ構造の予測タップ（図５の予測タップ抽出部３０が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる予測タップ）を得て、足し込み部１８６に供給する。
また、ステップＳ１５３において、予測タップ抽出部１８１は、図５の予測タップ抽出部３０が注目画素について得る予測タップと同一のタップ構造の予測タップを、レベル制限クラスタップとして、レベル成分クラス分類部１８４に供給する。
ステップＳ１５４において、ピークレベル方向クラスタップ抽出部１８２は、サブサンプリング部１８０から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図５のピークレベル方向クラスタップ抽出部３１が注目画素について得るピークレベル方向クラスタップと同一のタップ構造のピークレベル方向クラスタップ（図５のピークレベル方向クラスタップ抽出部３１が注目画素について得るピークレベル方向クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなるピークレベル方向クラスタップ）を得て、レベル成分クラス分類部１８４に供給する。
ステップＳ１５５において、波形クラスタップ抽出部１８３は、サブサンプリング部１８０から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の波形クラスタップ抽出部３２が注目画素について得る波形クラスタップと同一のタップ構造の波形クラスタップ（図５の波形クラスタップ抽出部３２が注目画素について得る波形クラスタップを構成する画素と同一の位置関係にある生徒画像の画素からなる波形クラスタップ）を得て、波形パターンクラス分類部１８５に供給する。
ステップＳ１５６において、レベル成分クラス分類部１８４は、予測タップ抽出部１８１からのレベル制限クラスタップ、及びピークレベル方向クラスタップ抽出部１８２からのピークレベル方向クラスタップに基づいて、図５のレベル成分クラス分類部３３と同一のレベル成分クラス分類処理を行い、その結果得られた注目画素のレベル成分クラスに対応するレベル成分クラスコードを、足し込み部１８６に供給する。
ステップＳ１５７において、波形パターンクラス分類部１８５は、波形クラスタップ抽出部１８３からの波形クラスタップの波形に基づいて、図５の波形パターンクラス分類部３４と同一の波形パターンクラス分類処理を行い、その結果得られた注目画素の波形パターンクラスに対応する波形パターンクラスコードを、足し込み部１８６に供給する。
ステップＳ１５８において、足し込み部１８６は、そこに供給された教師画像の注目画素（の画素値）と、予測タップ抽出部１８１からの注目画素についての予測タップを構成する生徒画像の画素とを対象とした足し込みを、レベル成分クラス分類部１８４からのレベル成分クラスコード及び波形パターンクラス分類部１８５からの波形パターンクラスコード毎に行う。
処理は、ステップＳ１５８からステップＳ１５９に進められ、予測タップ抽出部１８１は、教師画像を構成する画素のうち、まだ注目画素とされていない画素が存在するか否かを判定する。
ステップＳ１５９において、まだ注目画素とされていない画素が存在すると判定された場合、ステップＳ１５２に戻り、予測タップ抽出部１８１は、まだ注目画素とされていない教師画像を構成する画素のうちの１つを、新たな注目画素として、処理は、ステップＳ１５３に進められ、以下、同様の処理を繰り返す。
一方、ステップＳ１５９において、まだ注目画素とされていない画素が存在しないと判定された場合、即ち、足し込み部１８６においては、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、レベル成分クラス及び波形パターンクラスの組合せそれぞれについて、式（１２）に示した正規方程式が得られた場合、処理は、ステップＳ１６０に進められ、足し込み部１８６は、正規方程式を、係数算出部１８７に供給する。
そして、処理は、ステップＳ１６０からステップＳ１６１に進められ、係数算出部１８７は、足し込み部１８６から供給された、レベル成分クラス及び波形パターンクラスの組合せそれぞれについての正規方程式を解くことにより、レベル成分クラス及び波形パターンクラスの組合せそれぞれについて、予測係数ｗnを求めて出力して、図２２の学習処理は終了される。
以上のように、図２２の学習処理におけるステップＳ１５６のレベル成分クラス分類処理では、許容レベル幅LWと、レベル制限クラスタップのダイナミックレンジDRとの比ratioを、注目画素を複数のレベル成分クラスのうちのいずれかのクラスにクラス分けするために用いている。
さらに、許容レベル幅LWが狭い程、またダイナミックレンジDRが大きい程、注目画素の予測値は、上限レベルを上回ってしまったり、下限レベルを下回ってしまう傾向にある。
そこで、図２２の学習処理では、許容レベル幅LW、及びレベル制限クラスタップのダイナミックレンジDRを考慮しつつ、注目画素をクラス分けするようにした。これにより、従来のクラス分類適応処理と比較して、注目画素の予測値として、上限レベルを上回ったり、下限レベルを下回ったりすることを抑止する予測係数、即ち、高画質の画像を予測できる予測係数を学習（生成）することが可能となる。
次に、図２３は、レベル成分クラス分類処理、及び波形パターンクラス分類処理を行う図１６の画像変換処理により、図２２の学習処理に用いた生徒画像を用いて、その生徒画像に対応する教師画像を予測した場合と、レベル成分クラス分類処理を行わずに波形パターンクラス分類処理のみを行う従来の画像変換処理により、生徒画像を用いて、その生徒画像に対応する教師画像を予測した場合とで、予測された教師画像の予測値が上限レベル以上、又は下限レベル未満となる教師画像の画素数を比較したシミュレーションの結果を示している。
なお、シミュレーションに用いた生徒画像は８bitの画像データであり、上限レベルは２５５、下限レベルは０である。
図２３に示すように、レベル成分クラス分類処理を行わずに波形パターンクラス分類のみを行う従来の画像変換処理では、予測された教師画像の予測値が下限レベル未満になる画素数が、231687個であり、予測値が上限レベル以上になる画素数が、896917個である。
また、レベル成分クラス分類処理を行うとともに、波形パターンクラス分類を行う図１６の画像変換処理では、予測された教師画像の予測値が下限レベル未満になる画素数が、160357個であり、予測値が上限レベル以上になる画素数が、710933個である。
図２３に示すシミュレーションの結果から、図１６の画像変換処理では、従来の画像変換処理と比較して、予測された教師画像の予測値が、下限レベル未満、又は上限レベル以上になりにくいことがわかる。従って、図１６の画像変換処理によれば、より高画質の画像を予測することが可能であるといえる。
上記実施の形態において、図１７のレベル成分クラス分類処理におけるステップＳ３３では、図６のレベル成分クラス特定部６３が、ピークレベル方向分類部６１からのピークレベル方向クラスコード、及びレベル制限クラス分類部６２からのレベル制限クラスコードの組合せに基づいて、注目画素のレベル成分クラスを特定し、特定された注目画素のレベル成分クラスに対応するレベル成分クラスコードを出力することとしたが、注目画素のレベル制限クラスに対応するレベル制限クラスコードを、そのまま、注目画素のレベル成分クラスに対応するレベル成分クラスコードとして採用するようにしてもよい。
すなわち、例えば、図１７のレベル成分クラス分類処理におけるステップＳ３２において、図６のレベル制限クラス分類部６２が、注目画素を、複数のレベル制限クラスのうちのいずれかのクラスにクラス分けするレベル制限クラス分類処理を行い、その結果得られた注目画素のレベル制限クラスに対応するレベル制限クラスコードを、注目画素のレベル成分クラスに対応するレベル成分クラスコードとして、係数ROM３５に出力するようにしてもよい。
この場合、図１７のレベル成分クラス分類処理におけるステップＳ３３を省略することができるため、ステップＳ３３の処理を行う場合と比較して、レベル成分クラス分類処理を迅速に行うことが可能となる。
また、上記実施の形態において、図２１の学習装置１５１では、高解像度画像データに相当する画像を教師画像とするとともに、教師画像をサブサンプリングすることにより得られた低解像度画像データに相当する画像を生徒画像として、レベル成分クラス及び波形パターンクラス毎の予測係数を算出することとしたが、その他、同一の被写体を解像度が異なるカメラで撮像し、解像度が高いカメラで撮像して得られた画像を教師画像とするとともに、解像度が低いカメラで撮像して得られた画像を生徒画像として、レベル成分クラス及び波形パターンクラス毎の予測係数を算出するようにすることが可能である。
なお、本発明を適用した画像処理装置としては、例えば、テレビジョン受像機や、ハードディスクレコーダ等を採用することができる。
ところで、上述した図１６の画像変換処理、及び図２２の学習処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
図２４は、上述した図１６の画像変換処理、及び図２２の学習処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図２４に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
入力信号と出力信号との関係を示す図である。 入力信号のダイナミックレンジと、入力信号から得られる出力信号との関係を示す図である。 入力信号αから得られる出力信号、及び入力信号βから得られる出力信号について説明する図である。 本発明の一実施の形態である画像処理装置のブロック図である。 図４の画像処理装置の詳細な構成例を示すブロック図である。 図５のレベル成分クラス分類部の詳細な構成例を示すブロック図である。 図６のピークレベル方向分類部の詳細な構成例を示すブロック図である。 ピークレベル方向クラスタップ、レベル制限クラスタップ、及び波形クラスタップの一例を示す図である。 ヒストグラムの一例を示す図である。 ピークレベル方向クラスタップの波形の一例を示す図である。 ピークレベル方向クラスコードについて説明する図である。 図６のレベル制限クラス分類部の詳細な構成例を示すブロック図である。 許容レベル幅LWを取得する取得方法を説明する第１の図である。 許容レベル幅LWを取得する取得方法を説明する第２の図である。 図１２のレベル制限クラス特定部により算出される比ratioを説明する図である。 画像変換処理を説明するフローチャートである。 レベル成分クラス分類処理の詳細を説明するフローチャートである。 ピークレベル方向分類処理の詳細を説明するフローチャートである。 レベル制限クラス分類処理の詳細を説明するフローチャートである。 許容レベル幅取得処理の詳細を説明するフローチャートである。 学習装置の構成例を示すブロック図である。 学習処理を説明するフローチャートである。 シミュレーションの結果を示す図である。 コンピュータの構成例を示す図である。
符号の説明
１ 画像処理装置， ３０ 予測タップ抽出部， ３１ ピークレベル方向クラスタップ抽出部， ３２ 波形クラスタップ抽出部， ３３ レベル成分クラス分類部， ３４ 波形パターンクラス分類部， ３５ 係数ROM， ３６ 予測演算部， ６１ ピークレベル方向分類部， ６２ レベル制限クラス分類部， ６３ レベル成分クラス特定部， ９１ ヒストグラム生成部， ９２ 最大値最小値取得部， ９３ 区間分割部， ９４ 頻度検出部， ９５ 頻度比較部， １２１ 許容レベル幅算出部， １２２ DR算出部， １２３ レベル制限クラス特定部， １５１ 学習装置， １８０ サブサンプリング部， １８１ 予測タップ抽出部， １８２ ピークレベル方向クラスタップ抽出部， １８３ 波形クラスタップ抽出部， １８４ レベル成分クラス分類部， １８５ 波形パターンクラス分類部， １８６ 足し込み部， １８７ 係数算出部

Claims (10)

  1. 第１の画像データを、より高画質の第２の画像データに変換する画像処理装置において、
    前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出手段と、
    前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、
    前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する波形クラスタップ抽出手段と、
    前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、
    前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、
    学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数を出力する予測係数出力手段と、
    前記予測係数出力手段により出力された前記予測係数と、前記予測タップ抽出手段により抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段と
    を備える画像処理装置。
  2. 前記注目画素を複数のピークレベル方向クラスのうちのいずれかにクラス分けするピークレベル方向クラス分類処理に用いるためのピークレベル方向クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するピークレベル方向クラスタップ抽出手段と、
    前記ピークレベル方向クラスタップのヒストグラムに基づいて、前記注目画素を、複数のピークレベル方向クラスのうちのいずれかにクラス分けする前記ピークレベル方向クラス分類処理を行うピークレベル方向クラス分類手段と
    をさらに備え、
    前記レベル制限クラス分類手段は、
    前記注目画素のピークレベル方向クラスに基づいて、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値から、前記注目画素がとり得る画素値の上限レベルまでの範囲、又は、前記注目画素がとり得る画素値の下限レベルから、前記レベル制限クラスタップを構成する複数の画素の画素値の最小値までの範囲のいずれか一方を、前記レベル幅として算出するレベル幅算出手段と、
    前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジを算出するダイナミックレンジ算出手段と、
    前記レベル幅算出手段により算出された前記レベル幅と、前記ダイナミックレンジ算出手段により算出された前記ダイナミックレンジとの比に基づいて、前記注目画素のレベル制限クラスを特定するレベル制限クラス特定手段と
    を有する
    請求項１に記載の画像処理装置。
  3. 前記学習によりあらかじめ求められて保持されている予測係数は、前記レベル制限クラスと前記波形パターンクラスの他、前記ピークレベル方向クラスとの複数の組合せにそれぞれ対応しており、
    前記予測係数出力手段は、前記学習によりあらかじめ求められて保持されている予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの他、前記注目画素のピークレベル方向クラスとの組合せに対応する予測係数を出力する
    請求項２に記載の画像処理装置。
  4. 第１の画像データを、より高画質の第２の画像データに変換する画像処理装置の画像処理方法において、
    前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出ステップと、
    前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するレベル制限クラスタップ抽出ステップと、
    前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する波形クラスタップ抽出ステップと、
    前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類ステップと、
    前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類ステップと、
    学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数を出力する予測係数出力ステップと、
    前記予測係数出力ステップで出力された前記予測係数と、前記予測タップ抽出ステップで抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算ステップと
    を含む画像処理方法。
  5. 第１の画像データを、より高画質の第２の画像データに変換する画像処理装置として、コンピュータを機能させるプログラムにおいて、
    前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する予測タップ抽出手段と、
    前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、
    前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、前記第１の画像データから抽出する波形クラスタップ抽出手段と、
    前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、
    前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、
    学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習によりあらかじめ求められて保持されている、前記レベル制限クラスと前記波形パターンクラスとの複数の組合せにそれぞれ対応する予測係数の中から、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスとの組合せに対応する予測係数を出力する予測係数出力手段と、
    前記予測係数出力手段により出力された前記予測係数と、前記予測タップ抽出手段により抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像データの前記注目画素を予測する予測演算手段と
    して、コンピュータを機能させるプログラム。
  6. 第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置において、
    学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出手段と、
    前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、
    前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する波形クラスタップ抽出手段と、
    前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、
    前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、
    前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段と
    を備える学習装置。
  7. 前記注目画素を複数のピークレベル方向クラスのうちのいずれかにクラス分けするピークレベル方向クラス分類処理に用いるためのピークレベル方向クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するピークレベル方向クラスタップ抽出手段と、
    前記ピークレベル方向クラスタップのヒストグラムに基づいて、前記注目画素を、複数のピークレベル方向クラスのうちのいずれかにクラス分けする前記ピークレベル方向クラス分類処理を行うピークレベル方向クラス分類手段と
    をさらに備え、
    前記レベル制限クラス分類手段は、
    前記注目画素のピークレベル方向クラスに基づいて、前記レベル制限クラスタップを構成する複数の画素の画素値の最大値から、前記注目画素がとり得る画素値の上限レベルまでの範囲、又は、前記注目画素がとり得る画素値の下限レベルから、前記レベル制限クラスタップを構成する複数の画素の画素値の最小値までの範囲のいずれか一方を、前記レベル幅として算出するレベル幅算出手段と、
    前記レベル制限クラスタップを構成する複数の画素のダイナミックレンジを算出するダイナミックレンジ算出手段と、
    前記レベル幅算出手段により算出された前記レベル幅と、前記ダイナミックレンジ算出手段により算出された前記ダイナミックレンジとの比に基づいて、前記注目画素のレベル制限クラスを特定するレベル制限クラス特定手段と
    を有する
    請求項６に記載の学習装置。
  8. 前記予測係数算出手段は、前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの他、前記注目画素の前記ピークレベル方向クラスとの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める
    請求項７に記載の学習装置。
  9. 第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置の学習方法において、
    学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出ステップと、
    前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するレベル制限クラスタップ抽出ステップと、
    前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する波形クラスタップ抽出ステップと、
    前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類ステップと、
    前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類ステップと、
    前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出ステップと
    を含む学習方法。
  10. 第１の画像データを、より高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置として、コンピュータを機能させるプログラムにおいて、
    学習用の前記第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素に対応する、学習用の前記第１の画像データの対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する予測タップ抽出手段と、
    前記注目画素を複数のレベル制限クラスのうちのいずれかにクラス分けするレベル制限クラス分類処理に用いるためのレベル制限クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出するレベル制限クラスタップ抽出手段と、
    前記注目画素を複数の波形パターンクラスのうちのいずれかにクラス分けする波形パターンクラス分類処理に用いるための波形クラスタップとして、前記対応画素を含む、前記対応画素の周囲に存在する複数の画素を、学習用の前記第１の画像データから抽出する波形クラスタップ抽出手段と、
    前記レベル制限クラスタップを構成する複数の画素の画素値の最大値又は最小値に応じて求められる、前記注目画素がとり得る範囲の大きさを表すレベル幅と、前記レベル制限クラスタップのダイナミックレンジとの比に基づいて、前記注目画素を、複数のレベル制限クラスのうちのいずれかにクラス分けする前記レベル制限クラス分類処理を行うレベル制限クラス分類手段と、
    前記波形クラスタップを構成する複数の画素の変化を表す波形に基づいて、前記注目画素を、複数の波形パターンクラスのうちのいずれかにクラス分けする前記波形パターンクラス分類処理を行う波形パターンクラス分類手段と、
    前記注目画素のレベル制限クラスと前記注目画素の波形パターンクラスの組合せ毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段と
    して、コンピュータを機能させるプログラム。
JP2008064220A 2008-03-13 2008-03-13 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム Expired - Fee Related JP5050944B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008064220A JP5050944B2 (ja) 2008-03-13 2008-03-13 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
US12/381,271 US8208735B2 (en) 2008-03-13 2009-03-10 Image processing device, image processing method, learning device, learning method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008064220A JP5050944B2 (ja) 2008-03-13 2008-03-13 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2009224848A JP2009224848A (ja) 2009-10-01
JP5050944B2 true JP5050944B2 (ja) 2012-10-17

Family

ID=41063090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008064220A Expired - Fee Related JP5050944B2 (ja) 2008-03-13 2008-03-13 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム

Country Status (2)

Country Link
US (1) US8208735B2 (ja)
JP (1) JP5050944B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240038156A (ko) * 2018-12-31 2024-03-22 에이에스엠엘 네델란즈 비.브이. E-빔 이미지 향상을 위한 완전 자동화 sem 샘플링 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438233B2 (ja) 1992-05-22 2003-08-18 ソニー株式会社 画像変換装置および方法

Also Published As

Publication number Publication date
US8208735B2 (en) 2012-06-26
US20090232390A1 (en) 2009-09-17
JP2009224848A (ja) 2009-10-01

Similar Documents

Publication Publication Date Title
US7881539B2 (en) Image processing apparatus and method, program recording medium, and program
US8331710B2 (en) Image processing apparatus and method, learning apparatus and method, and program
KR100746839B1 (ko) 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체
US20120321214A1 (en) Image processing apparatus and method, program, and recording medium
CN104079801A (zh) 图像处理设备、图像处理方法及程序
US8401340B2 (en) Image processing apparatus and coefficient learning apparatus
JP2009151659A (ja) 画像処理装置、画像処理方法、プログラム、および学習装置
US8433145B2 (en) Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
JP5050944B2 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
KR20070094521A (ko) 화상 처리 장치 및 화상처리 방법과 프로그램
JP2010118940A (ja) 画像処理装置、画像処理方法、及びプログラム
JP4821580B2 (ja) 画像処理システムおよび画像処理プログラム
JP2006217403A (ja) 符号化装置および方法、復号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法
US20110243462A1 (en) Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
JP2005252360A (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JPH10136317A (ja) 画像信号変換装置および方法
JP4770704B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2005250561A (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP5029869B2 (ja) 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム
JP2009182936A (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JP2009268021A (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JP2006217479A (ja) 符号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法
JP2009060481A (ja) 画像処理装置及び方法、学習装置及び方法、並びにプログラム
JP2008118519A (ja) 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120626

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees