JP5476879B2 - 画像処理装置および係数学習装置。 - Google Patents

画像処理装置および係数学習装置。 Download PDF

Info

Publication number
JP5476879B2
JP5476879B2 JP2009211613A JP2009211613A JP5476879B2 JP 5476879 B2 JP5476879 B2 JP 5476879B2 JP 2009211613 A JP2009211613 A JP 2009211613A JP 2009211613 A JP2009211613 A JP 2009211613A JP 5476879 B2 JP5476879 B2 JP 5476879B2
Authority
JP
Japan
Prior art keywords
discrimination
pixel
image
coefficient
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009211613A
Other languages
English (en)
Other versions
JP2010102696A (ja
Inventor
隆浩 永野
泰広 周藤
紀晃 高橋
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009211613A priority Critical patent/JP5476879B2/ja
Publication of JP2010102696A publication Critical patent/JP2010102696A/ja
Application granted granted Critical
Publication of JP5476879B2 publication Critical patent/JP5476879B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置および係数学習装置に関し、特に、高画質化処理の対象となる画像の特徴量を、より適確に認識することができるようにする画像処理装置および係数学習装置に関する。
劣化を含んだ生徒（入力）画像から教師画像を予測する上で、全画面を生徒（入力）画像の線形和で表されるような1つのモデルで処理するには精度に問題がある。そのため、生徒（入力）画像を局所の特徴量に応じてクラス分類し、クラス毎に回帰係数を切り替える手段が行われる。従来より、クラス分類に1bitADRCやK-meansアルゴリズムを用いるものが提案されている。
例えば、標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換するために、クラス分類適応処理を用いる手法が提案されている（例えば、特許文献１参照）。
特許文献１の技術により、ＳＤ信号をＨＤ信号に変換する場合、まず、入力ＳＤ信号からなるクラスタップの特徴を、ＡＤＲＣ（適応的ダイナミックレンジ符号化）等を用いて求め、得られたクラスタップの特徴に基づいてクラス分類を行う。そして、そのクラス毎に用意された予測係数と、入力ＳＤ信号からなる予測タップとの演算を行うことによって、ＨＤ信号を得る。
クラス分類は、予測値を求めようとする高Ｓ／Ｎ画素の位置に対応する低Ｓ／Ｎ画像の位置から空間的または時間的に近い位置にある低Ｓ／Ｎ画素の画素値のパターンによって、各高Ｓ／Ｎ画素を、いわばグループ分けするものであり、適応処理は、各グループ（上述のクラスに相当する）ごとに、そのグループに属する高Ｓ／Ｎ画素に対して、より適した予測係数を求めて、その予測係数により、画質の向上を図るものであるから、クラス分類は、基本的には、予測値を求めようとする高Ｓ／Ｎ画素に関係する、より多くの画素からクラスタップを構成して行うのが望ましい。
特開平７−７９４１８号公報
しかしながら、例えば、特許文献１のように、画素値のパターンによってグループ分けする方式では、クラス分類が画一的なものとなってしまう。このため、画質の劣化度合いや注目画素の位置によっては、適切にクラス分類ができなくなることがある。特許文献１の技術は、クラス分類によって認識されたクラスに応じた予測係数を用いることで高画質化された画像の画素値を演算するものなので、適切にクラス分類ができなければ、適切な画素値を演算できない。
このように、従来の技術のように、画素値のパターンなどの線形特徴量だけを用いたクラス分類による高画質化処理の限界が懸念される。
本発明はこのような状況に鑑みてなされたものであり、高画質化処理の対象となる画像の特徴量を、より適確に認識することができるようにするものである。
本発明の第１の側面は、第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、前記判別予測値に基づいて、前記第１の画像データの画素のそれぞれを、第１の判別クラスと第２の判別クラスのいずれかに分類する分類手段と、前記分類の結果に基づいて、前記第１の画像データから注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと前記判別クラス毎に予め記憶されている回帰係数との積和演算により回帰予測値を演算することによって、前記第１の画像を高画質化した第２の画像のデータの画素を予測する回帰予測手段とを備え、前記判別予測手段が前記判別予測演算を行う処理、および前記分類手段が前記第１の画像データの画素のそれぞれを、分類する処理を繰り返し実行する画像処理装置である。
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値であるようにすることができる。
前記非線形特徴量は、注目画素の周辺画素値の最大、最小値であるようにすることができる。
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値であるようにすることができる。
本発明の第１の側面においては、第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、前記判別予測値に基づいて、前記第１の画像データの画素のそれぞれが、第１の判別クラスと第２の判別クラスのいずれかに分類され、前記分類の結果に基づいて、前記第１の画像データから注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップが取得され、前記タップの要素のそれぞれと前記判別クラス毎に予め記憶されている回帰係数との積和演算により回帰予測値を演算することによって、前記第１の画像を高画質化した第２の画像のデータの画素が予測され、前記判別予測演算を行う処理、および前記第１の画像データの画素のそれぞれを、分類する処理が繰り返し実行される。
本発明の第２の側面は、第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、前記算出された前記回帰係数と、前記第１の画像データから得られたタップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、前記算出された前記回帰予測値と、第２の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、前記付与された判別情報に基づいて、第１の画像データから注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、前記算出された前記判別係数と、前記第１の画像データから得られたタップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、前記算出された前記判別予測値に基づいて、前記第１の画像データの画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する係数学習装置である。
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値であるようにすることができる。
前記非線形特徴量は、注目画素の周辺画素値の最大、最小値であるようにすることができる。
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値であるようにすることができる。
本発明の第２の側面においては、第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップが取得されて、前記タップの要素のそれぞれと回帰係数との積和演算により第２の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数が算出され、前記算出された前記回帰係数と、前記第１の画像データから得られたタップに基づいて前記回帰予測演算を行って回帰予測値が算出され、前記算出された前記回帰予測値と、第２の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報が付与され、前記付与された判別情報に基づいて、第１の画像データから注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップが取得されて、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数が算出され、前記算出された前記判別係数と、前記第１の画像データから得られたタップに基づいて前記判別予測演算を行って判別予測値が算出され、前記算出された前記判別予測値に基づいて、前記第１の画像データの画素のそれぞれが、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類され、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出され、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出される。
本発明によれば、高画質化処理の対象となる画像の特徴量を、より適確に認識することができるようにする。
本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。 タップの要素となる画素の例を示す図である。 水平微分絶対値および垂直微分絶対値の演算に用いられるフィルタの例を示す図である。 水平微分値の演算例を説明する図である。 図１のラベリング部の処理を説明するヒストグラムである。 反復して行われる判別係数の学習を説明する図である。 反復して行われる判別係数の学習を説明する図である。 入力画像を図７のようにクラス分類する場合の例を、２分木構造を用いて説明する図である。 図１の学習装置に対応する画像処理装置の構成例を示すブロック図である。 図１の学習装置による判別回帰係数学習処理の例を説明するフローチャートである。 ラベリング処理の例を説明するフローチャートである。 回帰係数演算処理の例を説明するフローチャートである。 判別係数演算処理の例を説明するフローチャートである。 図９の画像処理装置による判別回帰予測処理の例を説明するフローチャートである。 判別処理の例を説明するフローチャートである。 本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。 従来のクラス分類適応処理のクラスタップの例を説明する図である。 本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。 本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。 非線形特徴量を加えたタップを用いる場合の高画質化処理における効果について説明する図である。 パーソナルコンピュータの構成例を示すブロック図である。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。
この学習装置１０は、画像の高画質化処理に用いられる学習装置とされ、入力された生徒画像および教師画像（または教師信号）のデータに基づいて、高画質化処理において用いられる係数を生成するようになされている。ここで、高画質化処理は、例えば、ノイズの含まれる画像からノイズが除去された画像を生成する処理、ぼけのある画像からぼけのない画像を生成する処理、低解像度の画像から高解像度の画像を生成する処理、あるいはそれらの複合問題を解決する処理などとされる。
学習装置１０は、生徒画像を入力画像として、教師画像に近い高画質の画像を出力画像として生成するための係数である回帰係数を学習するようになされている。詳細は後述するが、回帰係数は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとし、高画質化された画像において注目画素に対応する画素の値を演算する線形一次式に用いられる係数とされる。なお、回帰係数は、後述するクラス番号毎に学習される。
また、学習装置１０は、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量に基づいて、注目画素を、複数のクラスのうちのいずれかにクラス分けする。すなわち、学習装置１０は、入力画像の注目画素のそれぞれが、高画質化処理のためのどのクラスに属する画素であるかを特定するための判別係数を学習するようになされている。詳細は後述するが、判別係数は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとする線形一次式に用いられる係数とされる。
すなわち、学習装置１０により学習された判別係数を用いて、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量をパラメータとした線形一次式の演算を繰り返し実行することにより、高画質化処理のためのクラスが特定されるようになされている。そして、特定されたクラスに対応する回帰係数を用いて、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量をパラメータとした線形一次式の演算を実行することにより、高画質化された画像の画素値が演算されるようになされている。
学習装置１０においては、例えば、教師画像としてノイズのない画像を入力され、生徒画像として教師画像に対してノイズを付加した画像が入力される。
生徒画像のデータは、回帰係数学習部２１、回帰予測部２３、判別係数学習部２５、および判別予測部２７に供給される。
回帰係数学習部２１は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰係数学習部２１は、生徒画像の注目画素とその周辺の画素値から、注目画素に対応する教師画像画素値を予測するための回帰予測演算式の係数を、例えば、最小二乗法を用いて学習する。
教師画像の画素値ti（i＝１，２，．．N）とし、予測値yi（i＝１，２，．．N）とおくと、式（1）が成立する。ここでNは、生徒画像の画素と教師画像の画素との全サンプル数を表すものとする。
Figure 0005476879
ここで、εi（i＝１，２，．．N）は、誤差項である。
予測値yiは、回帰係数wを用いた線形モデルを仮定すると、生徒画像の画素値xij（i＝１，２，．．N，j=１，２，・・・M）を用いて、式（2）のように表現できる。
Figure 0005476879
なお、wTは、行列式として表されるwの転置行列を表している。ｗoは、バイアスパラメータであり、定数項である。なお、Mの値は、後述するタップの要素数に対応する。
式（２）において、パラメータとして用いられるｘiは、生徒画像の注目画素を中心とする所定の位置の画素の値のそれぞれを要素するベクトルとされる。以下、式（２）において、パラメータとして用いられるｘiを、タップと称することにする。
図２は、タップの要素となる画素の例を示す図である。同図は、水平方向をｘ軸で表し、垂直方向をｙ軸で表した２次元の図であり、注目画素の周辺の２５個の画素（ｘi1乃至xi25）によりタップが構成されている。いまの場合、注目画素は、xi13の画素であり、xi13の画素の位置が、式（２）により予測される教師画像の画素の位置（位相）に対応する。
回帰係数学習部２２は、式（２）の係数wおよびバイアスパラメータｗoを学習して、回帰係数記憶部２２に記憶するようになされている。
上記においては、注目画素の周辺の２５個の画素（ｘi1乃至xi25）の値によりタップが構成される例について説明した。この場合、タップは、生徒画像から得られる線形特徴量により構成されていることになる。
しかしながら、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、予測の精度をさらに高めることが可能となる。生徒画像から得られる非線形特徴量の例として、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値が挙げられる。
注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値の演算に用いる式の例を式（３）に示す。
Figure 0005476879
式（３）における水平微分絶対値および垂直微分絶対値の演算には、ソーベル演算子が用いられており、ｘijで表される注目画素を中心として、図３に示されるようなフィルタ処理を施すことにより水平微分絶対値および垂直微分絶対値が求められる。
図３は、水平方向をｘ軸で表し、垂直方向をｙ軸で表した２次元の図であり、注目画素の周辺の９個の画素のそれぞれを対象とするフィルタが示されている。図中円で示される部分に示される数値が、それぞれの位置の画素値に乗じられることになる。
図４は、水平微分値の演算の例を説明する図である。同図の例では、ｘi12と記された画素とその周辺の９個の画素それぞれを対象とするフィルタ処理の演算例が示されている。なお、同図では、図中円で示された画素にそれぞれ記されたｘi12などの値が、そのまま画素値を表すものとする。
式（３）により、水平微分絶対値および垂直微分絶対値を求める場合、注目画素を中心としたＭ個の画素のそれぞれに対応する水平微分絶対値および垂直微分絶対値が求められることになる。例えば、図２に示されるように注目画素とその周辺の画素２５個をタップに含める場合、Ｍの値が２５となるから、１つの注目画素に対して水平微分絶対値が２５個、垂直微分絶対値が２５個求められることになる。
また、生徒画像から得られる非線形特徴量の例として、注目画素の周辺の画素値の最大値および最小値、並びに上述した水平微分絶対値の最大値および垂直微分絶対値の最大値が挙げられる。注目画素の周辺の画素値の最大値および最小値、並びに上述した水平微分絶対値の最大値および垂直微分絶対値の最大値は、式（４）により求めることができる。
Figure 0005476879
このように、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、予測の精度をさらに高めることが可能となる。詳細は後述するが、例えば、ノイズが含まれた入力画像に基づいてノイズのない画像の画素値を予測する場合、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、画像のS/N比を０．３から０．５ｄＢ（デシベル）向上させることができる。
回帰予測演算式の係数を、最小二乗法を用いて学習する場合、上述したように構成されるタップを用いて求められた予測値を式（１）に代入し、式（１）の誤差項の全サンプル分の自乗和を式（５）により演算する。
Figure 0005476879
そして、式（５）の誤差項の全サンプル分の自乗和Eが最小となるような、回帰係数をつぎのようにして導出する。
Figure 0005476879
式（６）のＳ(xx)、Ｓ(xt)は、それぞれ生徒画像、教師画像の分散・共分散を要素とする行列とベクトルであり、各要素は、式（７）により求めることができる。
Figure 0005476879
Figure 0005476879
また、式（２）のバイアスパラメータｗoは、式（６）を用いて式（９）のように求めることができる。
Figure 0005476879
なお、式（２）において定数項であるバイアスパラメータｗoは含まれないようにすることも可能である。
このようにして得られる係数wは、上述したタップの要素数と同じ要素数のベクトルとなる。回帰係数学習部２１により得られた係数wは、回帰予測によって、高画質化された画像の画素値を予測するための演算に用いられる係数であり、回帰係数wと称することにする。なお、バイアスパラメータｗoも広義の回帰係数であるものとし、必要に応じて回帰係数wに対応付けられて記憶されるものとする。
例えば、図２に示されるように、生徒画像から得られる線形特徴量のみによってタップが構成される場合、タップの要素数は２５個となり、回帰係数wのベクトルの要素数も２５個となる。また、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値を非線形特徴量として加えたものをタップとする場合、タップの要素数は７５（＝２５＋２５＋２５）個となるので、回帰係数wのベクトルの要素数も７５個となる。さらに、式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとする場合、タップの要素数は７９（＝２５＋２５＋２５＋２＋２）個となるので、回帰係数wのベクトルの要素数も７９個となる。
図１に戻って、回帰係数学習部２１により得られた回帰係数wは、回帰係数記憶部２２に記憶される。
回帰予測部２３は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰予測部２３は、図２を参照して上述した、注目画素とその周辺の画素値からなるタップ、図２の注目画素とその周辺の画素値、並びに式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値からなるタップ、または、図２の注目画素とその周辺の画素値、式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、並びに式（４）により求められる注目画素の周辺の画素値の最大値および最小値と、上述した水平微分絶対値の最大値および垂直微分絶対値の最大値とからなるタップを取得する。
回帰予測部２３は、式（２）にタップと回帰係数w（必要に応じてバイアスパラメータｗoも含む）を代入して予測値yiを演算する。
ラベリング部２４は、回帰予測部２３により演算された予測値yiを、教師画像の画素値である真値tiと比較する。ラベリング部２４は、例えば、予測値yiが真値ti以上となった注目画素を判別クラスＡとしてラベリングし、予測値yiが真値ti未満となった注目画素を判別クラスＢとしてラベリングする。すなわち、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類するのである。
図５は、ラベリング部２４の処理を説明するヒストグラムである。同図の横軸は、予測値yiから真値tiを引いた差分値を表し、縦軸は、その差分値が得られたサンプル（教師画像の画素と生徒画像の画素との組み合わせ）の相対頻度を表している。
同図に示されるように、回帰予測部２３の演算により、予測値yiから真値tiを引いた差分値が０となったサンプルの頻度が最も高くなっている。差分値が０である場合、回帰予測部２３により正確な予測値（＝真値）が演算されたことになり、適切に高画質化の処理がなされたことになる。すなわち、回帰係数学習部２１により回帰係数wが学習されたので、式（２）により正確な予測値が演算される可能性は高いといえる。
しかし、差分値が０以外のものについては、正確な回帰予測がなされたとはいえない。そうであれば、より適切な回帰係数wを学習する余地があると考えられる。
本発明では、例えば、予測値yiが真値ti以上となった注目画素のみを対象として回帰係数wを学習すれば、それらの注目画素に対してより適切な回帰係数wを学習することができ、予測値yiが真値ti未満となった注目画素のみを対象として回帰係数wを学習すれば、それらの注目画素に対してより適切な回帰係数wを学習することができると仮定する。このため、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類する。
そして、この後、判別係数学習部２５の処理によって、生徒画像の画素値に基づいて、各画素を判別クラスＡと判別クラスＢに分類するための予測演算に用いられる係数が学習されるのである。すなわち、本発明においては、真値が不明であっても、入力画像の画素値に基づいて各画素を判別クラスＡと判別クラスＢに分類できるようにするのである。
ここでは、ラベリング部２４が生徒画像の各画素をラベリングすると説明したが、ラベリングの単位は、正確には教師画像の画素値である真値tiに対応する生徒画像のタップ（注目画素周辺画素値や非線形特徴量を含むベクトル）毎に1個ずつラベリングされることになる。
また、ここでは、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする例について説明したが、他の方式でラベリングするようにしてもよい。例えば、予測値yiと真値tiの差分絶対値が予め設定された閾値未満の値となった注目画素を判別クラスＡとしてラベリングし、予測値yiと真値tiの差分絶対値が予め設定された閾値以上の値となった注目画素を判別クラスＢとしてラベリングするようにしてもよい。さらに、それ以外の方式で注目画素を判別クラスＡと判別クラスＢにラベリングしてもよい。以下では、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする場合の例について説明する。
図１に戻って、判別係数学習部２５は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、判別係数学習部２５は、生徒画像の注目画素とその周辺の画素値から、判別クラスＡと判別クラスＢを判定するための予測値の演算に用いられる係数を、例えば、最小二乗法を用いて学習する。
判別係数の学習においては、生徒画像の注目画素とその周辺の画素値から、判別クラスＡと判別クラスＢを判定するための予測値ｙiが式（１０）により求められるものとする。
Figure 0005476879
なお、zTは、行列式として表されるzの転置行列を表している。zoは、バイアスパラメータであり、定数項である。なお、Mの値は、タップの要素数に対応する。
式（２）の場合と同様に、式（１０）において、パラメータとして用いられるｘiをタップと称する。判別係数の学習におけるタップは、回帰係数の学習におけるタップと同様とする。すなわち、図２を参照して上述した、注目画素とその周辺の画素値からなるタップ、図２の注目画素とその周辺の画素値、並びに式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値からなるタップ、または、図２の注目画素とその周辺の画素値、式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、並びに式（４）により求められる注目画素の周辺の画素値の最大値および最小値と、上述した水平微分絶対値の最大値および垂直微分絶対値の最大値とからなるタップとされる。
判別係数学習部２５は、式（１０）の係数zおよびバイアスパラメータｚoを学習して、判別係数記憶部２６に記憶するようになされている。
判別予測演算式の係数を、最小二乗法を用いて学習する場合、上述したように構成されるタップを用いて求められた予測値を式（１）に代入し、式（１）の誤差項の全サンプル分の自乗和を式（１１）により演算する。
Figure 0005476879
式（１１）のＳ(AB)は、式（１２）により求められる値を要素とする行列である。
Figure 0005476879
式（１２）のＮAとＮBは、それぞれ判別クラスＡと判別クラスＢに属するサンプルの総数である。
また、式（１２）のＳA jkとＳB jkは、それぞれ判別クラスＡと判別クラスＢに属するサンプル（タップ）を用いて求めた分散・共分散値であり、式（１３）により求められる。
Figure 0005476879
Figure 0005476879
式（１０）のバイアスパラメータｚoは、式（１１）を用いて式（１５）のように求めることができる。
Figure 0005476879
なお、式（１５）において定数項であるバイアスパラメータｚoは含まれないようにすることも可能である。
このようにして得られる係数zは、上述したタップの要素数と同じ要素数のベクトルとなる。判別係数学習部２５により得られた係数zは、所定の注目画素が判別クラスＡまたは判別クラスＢのいずれに属するかを予測するための演算に用いられる係数であり、判別係数zと称することにする。なお、バイアスパラメータｚoも広義の判別係数であるものとし、必要に応じて判別係数zに対応付けられて記憶されるものとする。
例えば、図２に示されるように、生徒画像から得られる線形特徴量のみによってタップが構成される場合、タップの要素数は２５個となり、判別係数zのベクトルの要素数も２５個となる。また、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値を非線形特徴量として加えたものをタップとする場合、タップの要素数は７５（＝２５＋２５＋２５）個となるので、判別係数zのベクトルの要素数も７５個となる。さらに、式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとする場合、タップの要素数は７９（＝２５＋２５＋２５＋２＋２）個となるので、判別係数zのベクトルの要素数も７９個となる。
このようにして学習された係数zを用いて判別予測部２７により予測値が演算されて生徒画像の注目画素が判別クラスＡに属するものであるか判別クラスＢに属するものであるかを判定することができる。判別予測部２７は、式（１０）にタップと判別係数z（必要に応じてバイアスパラメータｚoも含む）を代入して予測値yiを演算する。
そして、判別予測部２７による演算の結果、予測値yiが０以上となったタップの注目画素は、判別クラスＡに属する画素であり、予測値yiが０未満となったタップの注目画素は、判別クラスＢに属する画素であるものと推定できる。
しかしながら、判別予測部２７による演算の結果に基づく推定が必ずしも真実であるとは限らない。すなわち、式（１０）にタップと判別係数zを代入して演算された予測値yiは、教師画像の画素値（真値）に係らず、生徒画像の画素値から予測した結果であるから、実際には判別クラスＡに属する画素が判別クラスＢに属する画素として推定されてしまったり、実際には判別クラスＢに属する画素が判別クラスＡに属する画素として推定されてしまうことがある。
そこで、本発明においては、反復して判別係数を学習させることにより、より精度の高い予測を可能とする。
すなわち、クラス分割部２８が、判別予測部２７の予測結果に基づいて、生徒画像を構成する各画素を、判別クラスＡに属する画素と判別クラスＢに属する画素とに分割する。
そして、回帰係数学習部２１が、クラス分割部２８により判別クラスＡに属する画素のみを対象として、上述した場合と同様に回帰係数wを学習して回帰係数記憶部２２に記憶する。回帰予測部２３は、クラス分割部２８により判別クラスＡに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＡに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
また、回帰係数学習部２１が、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰係数wを学習する。回帰予測部２３は、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＢに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
つまり、生徒画像の画素が、４つの集合に分割されることになる。第１の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第２の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。第３の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第４の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。
この後、判別係数学習部２５は、上述した４つの集合のうち、第１の集合と第２の集合に基づいて、あらためて判別係数zを、上述した場合と同様にして学習する。このとき、例えば、式（１２）のＮAとＮBが、それぞれ第１の集合の画素（サンプル）の総数と第２の集合の画素（サンプル）の総数とされる。また、判別係数学習部２５は、上述した４つの集合のうち、第３の集合と第４の集合に基づいて、あらためて判別係数zを、上述した場合と同様にして学習する。このとき、例えば、式（１２）のＮAとＮBが、それぞれ第３の集合の画素（サンプル）の総数と第４の集合の画素（サンプル）の総数とされる。
図６と図７は、反復して行われる判別係数の学習を説明する図である。
図６は、生徒画像から得られたタップ値であって、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップのそれぞれを表す空間を示した図である。すなわち、同図においては、説明を簡単にするために、仮想的にタップの要素数を２個として生徒画像において存在し得る全てのタップを２次元空間上に表している。従って、同図においては、タップが２個の要素からなるベクトルであるものと仮定する。
同図に示される円７１は、ラベリング部２４が最初に判別クラスＡとラベリングした画素に対応するタップの集合を表しており、円７２は、ラベリング部２４が最初に判別クラスＢとラベリングした画素に対応するタップの集合を表している。円７１に示される記号７３は、円７１に含まれるタップの要素の値の平均値の位置を表しており、円７１に示される記号７４は、円７２に含まれるタップの要素の値の平均値の位置を表している。
同図に示されるように、円７１と円７２は、互いに重なり合っているので、生徒画像から得られたタップの要素の値のみに基づいて、正確に判別クラスＡとラベリングした画素に対応するタップと判別クラスＢとラベリングした画素に対応するタップとを判別することはできなかったことになる。
しかしながら、記号７３と記号７４とに基づいて、おおよそ２つのクラスを判別するための境界線７５を特定することは可能である。ここで、境界線７５を特定する処理が、判別係数学習部２５により行われる第１回目の学習により得られた判別係数zを用いた判別予測部２７の判別予測の処理に対応することになる。なお、境界線７５上に位置するタップが、式（１０）により演算された予測値ｙiが０となったタップである。
境界線７５の図中右側に位置するタップの集合を識別するために、クラス分割部２８がそれらのタップに対応する画素にクラスコードビット１を付与する。また、境界線７５の図中左側に位置するタップの集合を識別するために、図１のクラス分割部２８がそれらのタップに対応する画素にクラスコードビット０を付与する。
なお、第１回目の学習により得られた判別係数zは、第１回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。また、第１回目の判別予測の結果に基づいて、クラスコードビット１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われる。同様に、第１回目の判別予測の結果に基づいて、クラスコードビット０が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われる。
そして、クラスコードビット１が付与された画素群と、クラスコードビット０が付与された画素群のそれぞれに基づいて判別係数の学習が繰り返される。その結果、クラスコードビット１が付与された画素群がさらに２つに分割され、クラスコードビット２が付与された画素群もさらに２つに分割されることになる。このときの分割は、判別係数学習部２５により行われる第２回目の学習により得られた判別係数zを用いた判別予測部２７の判別予測によりなされることになる。
なお、第２回目の学習により得られた判別係数zは、第２回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。第２回目の学習により得られる判別係数zは、第１回目の判別予測によりクラスコードビット１が付与された画素群と、第１回目の判別予測によりクラスコードビット０が付与された画素群のそれぞれを対象として行われる判別予測に用いられるので、いずれの画素群を対象とする判別予測に用いられるものであるのかを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。すなわち、第２回目の判別予測に用いられる判別係数zは、２種類記憶されることになる。
また、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。同様に、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１０が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。さらに、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット０１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われ、クラスコードビット００が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。
このような処理を繰り返すことにより、図６に示される空間が図７に示されるように分割される。
図７は、図６と同様に、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップのそれぞれを表す空間を示した図である。同図では、判別係数学習部２５により３回反復して判別係数の学習が行われた場合の例が示されている。すなわち、第１回目の学習により得られた判別係数zを用いた判別予測により境界線７５が特定され、第２回目の学習により得られた判別係数zを用いた判別予測により境界線７６−１と境界線７６−２が特定される。第３回目の学習により得られた判別係数zを用いた判別予測により境界線７７−１乃至境界線７７−４が特定される。
図１のクラス分割部２８は、境界線７５により分割されたタップの集合を識別するために、第１ビット目のクラスコードビットを付与し、境界線７６−１と境界線７６−２により分割されたタップの集合を識別するために、第２ビット目のクラスコードビットを付与し、境界線７７−１乃至境界線７７−４により分割されたタップの集合を識別するために、第３ビット目のクラスコードビットを付与する。
従って、図７に示されるように、生徒画像のタップのそれぞれは、３ビットのクラスコードに基づいて特定されるクラス番号Ｃ0乃至Ｃ7の８つのクラスに分割（分類）されることになる。
図７に示されるようにクラス分類された場合、図１の判別係数記憶部２６に、第１回目の判別予測に用いられる判別係数zが１種類記憶され、第２回目の判別予測に用いられる判別係数zが２種類記憶され、第３回目の判別予測に用いられる判別係数zが４種類記憶されていることになる。
また、図７に示されるようにクラス分類された場合、図１の回帰係数記憶部２２に、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wが記憶されていることになる。ここで、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wは、第３回目の判別予測の結果、クラス番号Ｃ0乃至Ｃ7のそれぞれに分類された生徒画像の注目画素のタップと、注目画素に対応する教師画像の画素値とをサンプルとし、それぞれのクラス番号毎にあらためて回帰係数の学習が行われて記憶される。
このように、生徒画像と教師画像を用いて予め判別係数zを学習しておき、入力された画像について反復して判別予測を繰り返せば、入力画像の画素をクラス番号Ｃ0乃至Ｃ7の８つのクラスに分類することが可能となる。そして、８つのクラスに分類された画素に対応するタップと、それぞれのクラスに対応する回帰係数wを用いて回帰予測を行えば、適切な高画質化処理を行うことが可能となる。
図８は、入力画像を図７のようにクラス分類する場合の例を、２分木構造を用いて説明する図である。入力画像の各画素が、第１回目の判別予測によって、第１ビットのクラスコードビット１または０が付与された画素に分類される。このとき、判別予測に用いられる判別係数zは、反復コード１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
第１ビットのクラスコードビット１が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード２１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。同様に、第１ビットのクラスコードビット０が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード２２に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
第１ビットおよび第２ビットのクラスコードビット１１が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード３１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。第１ビットおよび第２ビットのクラスコードビット１０が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード３２に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
同様に、第１ビットおよび第２ビットのクラスコードビット０１または００が付与された画素も、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。そして、反復コード３３または反復コード３４に対応する判別係数zが図１の判別係数記憶部２６に記憶されているものとする。
このように、３回反復して判別を行うことにより、入力画像の画素のそれぞれに３ビットからなるクラスコードが設定され、クラス番号が特定される。そして特定されたクラス番号に対応する回帰係数wも特定される。
この例では、クラスコードビットを反復回数順に、上位から下位ビットに繋げた値がクラス番号に対応している。従って、最終的なクラスコードに対応するクラス番号Ｃkは、例えば、式（１６）のようにして特定される。
Figure 0005476879
また、図８に示されるように，反復回数ｐと最終的なクラス数Ｎcとの関係は、式（１７）により表される。
Figure 0005476879
なお、最終的なクラス数Ｎcは、最終的に使用する回帰係数wの総数Ｎmと等しくなる。
判別係数zの総数Ｎdは、式（１８）により表される。
Figure 0005476879
なお、後述する画像処理装置を用いた高画質化処理における判別予測において、適応的に反復回数を減らすことで、処理のロバスト化や高速化を図ることも可能である。そのようにする場合には図８の各分岐において用いられた回帰係数も必要になるので、回帰係数の総数は式（１９）により表されるものとなる。
Figure 0005476879
ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数zの演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
図９は、本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
同図の画像処理装置１００は、図１の学習装置１０に対応する画像処理装置とされる。すなわち、画像処理装置１００は、学習装置１０により学習された判別係数を用いて入力画像の各画素のそれぞれのクラスを判別する。そして、画像処理装置１００は、判別されたクラスに対応する回帰係数であって、学習装置１０により学習された判別係数を用いて入力画像から得られるタップの回帰予測演算を行い、入力画像を高画質化する画像処理を行うようになされている。
すなわち、画像処理装置１００の判別係数記憶部１２２には、学習装置１０の判別係数記憶部２６に記憶されていた判別係数zが予め記憶される。画像処理装置１００の回帰係数記憶部１２４には、学習装置１０の回帰係数記憶部２２に記憶されていた回帰係数wが予め記憶される。
同図の判別予測部１２１は、入力画像において注目画素を設定し、注目画素に対応するタップを取得して式（１０）を参照して予測した演算を行う。このとき、判別予測部１２１は、反復回数と判別予測の対象とする画素群に基づいて反復コードを特定し、判別係数記憶部１２２から反復コードに対応する判別係数zを読み出すようになされている。
クラス分割部１２３は、判別予測部１２１の予測結果に基づいて、注目画素にクラスコードビットを付与していくことで、入力画像の画素を２つの集合に分割する。このとき、上述したように、例えば、式（１０）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
クラス分割部１２３の処理を経て、判別予測部１２１は、反復して判別予測を行い、クラス分割部１２３によってさらなる分割がなされる。判別予測は、予め設定された回数だけ反復して行われる。例えば、判別予測が３回反復して行われる場合、例えば、図７または図８を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されることになる。
なお、画像処理装置１００における判別予測の反復回数は、学習装置１０による判別係数の学習の反復回数と同じとなるように設定される。
クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
回帰予測部１２５は、入力画像において注目画素を設定し、注目画素に対応するタップを取得して式（２）を参照して予測した演算を行う。このとき、回帰予測部１２５は、注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数wを、回帰係数記憶部１２４から読み出すようになされている。
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
このように、本発明によれば、入力画像に対して判別予測を行うことにより、入力画像を構成する各画素（実際には、注目画素に対応するタップ）を、高画質化処理に適したクラスに分類することができる。
従来の技術では、例えば、１ビットＡＤＲＣなどを用いた入力画像の局所特徴量だけに応じた決め打ちのクラス分類になってしまうために、入力画像と教師画像の間を結ぶ回帰係数という意味では、必ずしも効率的な分類になっていないという問題があった。
これに対して、本発明では、ノイズの含まれる画像からノイズが除去された画像を生成する処理、ぼけのある画像からぼけのない画像を生成する処理、低解像度の画像から高解像度の画像を生成する処理など、高画質化処理の目的に応じた適切なクラス分類方式が自動的に学習されるようにすることができる。
また、本発明では、反復して判別予測を行うことにより、より適切にクラス分類することが可能となる。さらに、反復して行われる判別予測の処理の途中において、入力画像の画素値などに処理を施した中間データなどを生成する必要がないので、処理を高速化することが可能である。すなわち、出力画像を予測する際に，どの画素に対しても高々（ｐ＋１）回の予測式（式（２））の演算で、クラス分類と回帰予測を行うことができるので高速な処理が可能である。また、クラス分類と回帰予測を行う際に、タップの演算の中間データなどを用いることなく、常に入力に対する演算のみで完結しているために、実装においてパイプライン構造を利用することが可能となる。
次に、図１０のフローチャートを参照して、判別係数回帰係数学習処理の詳細について説明する。この処理は、図１の学習装置１０により実行される。
ステップＳ１０１において、判別係数学習部２５は、反復コードを特定する。いまの場合、第１回目の学習の処理であるから反復コードは１と特定される。
ステップＳ１０２において、回帰係数学習部２１乃至ラベリング部２４は、図１１を参照して後述するラベリング処理を実行する。ここで、図１１のフローチャートを参照して図１０のステップＳ１０２のラベリング処理の詳細な例について説明する。
ステップＳ１３１において、回帰係数学習部２１は、図１２を参照して後述する回帰係数学習処理を実行する。これにより、生徒画像の画素値に基づいて教師画像の画素値を予測するための演算に用いられる回帰係数wが求められる。
ステップＳ１３２において、回帰予測部２３は、ステップＳ１３１の処理により求められた回帰係数wを用いて回帰予測値を演算する。このとき、例えば、式（２）の演算が行われ、予測値ｙiが求められる。
ステップＳ１３３において、ラベリング部２４は、ステップＳ１３２の処理により得られた予測値yiを、教師画像の画素値である真値tiと比較する。
ステップＳ１３４において、ラベリング部２４は、ステップＳ１３３の比較結果に基づいて、注目画素（実際には、注目画素に対応するタップ）を判別クラスＡまたは判別クラスＢにラベリングする。これにより、例えば、図５を参照して上述したように、判別クラスＡまたは判別クラスＢのラベリングがなされる。
なお、ステップＳ１３２乃至ステップＳ１３４の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
このようにしてラベリング処理が実行される。
次に、図１２のフローチャートを参照して、図１１のステップＳ１３１の回帰係数演算処理の詳細な例について説明する。
ステップＳ１５１において、回帰係数学習部２１は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、その注目画素に対応する教師画像の画素との組み合わせを意味する。例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
ステップＳ１５２において、回帰係数学習部２１は、ステップＳ１５１の処理で特定されたサンプルの足しこみを行う。このとき、例えば、式（１）にサンプルのタップと教師画像の画素値が足しこまれていく。
ステップＳ１５３において、回帰係数学習部２１は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１５２の処理が繰り返し実行される。
ステップＳ１５４において、回帰係数学習部２１は、式（６）乃至式（９）の演算により回帰係数wを導出する。
このようにして、回帰係数演算処理が実行される。
以上により図１０のステップＳ１０２のラベリング処理が終了し、処理は、図１０のステップＳ１０３の判別係数演算処理に進む。
ステップＳ１０３において、判別係数学習部２５は、図１３を参照して後述する判別係数演算処理を実行する。ここで、図１３のフローチャートを参照して、図１０のステップＳ１０３の判別係数演算処理の詳細な例について説明する。
ステップＳ１７１において、判別係数学習部２５は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、注目画素についての判別クラスＡまたは判別クラスＢのラベリングの結果との組み合わせを意味する。例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
ステップＳ１７２において、判別係数学習部２５は、ステップＳ１７１の処理で特定されたサンプルの足しこみを行う。このとき、例えば、式（１１）にサンプルのタップと、判別クラスＡまたは判別クラスＢのラベリングの結果に基づく数値が足しこまれていく。
ステップＳ１７３において、判別係数学習部２５は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１７２の処理が繰り返し実行される。
ステップＳ１７４において、判別係数学習部２５は、式（１２）乃至式（１５）の演算により判別係数zを導出する。
このようにして、判別係数演算処理が実行される。
図１０に戻って、ステップＳ１０４において、判別予測部２３は、ステップＳ１０３の処理により求められた係数zと、生徒画像から得られるタップを用いて、判別予測値を演算する。このとき、例えば、式（１０）の演算が行われ、予測値ｙi（判別予測値）が求められる。
ステップＳ１０５において、クラス分割部２８は、ステップＳ１０４の処理により求められた判別予測値が０以上であるか否かを判定する。
ステップＳ１０５において、判別予測値が０以上であると判定された場合、処理は、ステップＳ１０６に進み、当該注目画素（実際にはタップ）にクラスコードビット１が設定される。一方、ステップＳ１０５において、判別予測値が０未満であると判定された場合、処理は、ステップＳ１０７に進み、当該注目画素（実際にはタップ）にクラスコードビット０が設定される。
なお、ステップＳ１０４乃至ステップＳ１０７の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
ステップＳ１０６、またはステップＳ１０７の処理の後、処理は、ステップＳ１０８に進み、判別係数記憶部２６は、ステップＳ１０３の処理で求められた判別係数zを、ステップＳ１０１で特定された反復コードに対応付けて記憶する。
ステップＳ１０９において、学習装置１０は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１０１に戻る。
そして、ステップＳ１０１において、あらためて反復コードが特定される。いまの場合、第２回目の学習の最初の処理であるから、反復コードは２１と特定される。
そして、同様に、ステップＳ１０２乃至Ｓ１０８の処理が実行される。このとき、上述したように、ステップＳ１０２の処理と、ステップＳ１０３の処理では、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定されることになる。
そして、ステップＳ１０９で反復が終了したか否かが判定される。
このように、ステップＳ１０９において反復が終了したと判定されるまで、ステップＳ１０１乃至Ｓ１０８の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１０１で反復コードは３４であると特定された後、ステップＳ１０２乃至Ｓ１０８の処理が実行され、ステップＳ１０９において、反復は終了したと判定されることになる。
このように、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、図８を参照して上述したように、７種類の判別係数zが、それぞれ反復コードに対応付けられて判別係数記憶部２６に記憶されたことになる。
ステップＳ１０９において、反復は終了したと判定された場合、処理は、ステップＳ１１０に進む。
ステップＳ１１０において、回帰係数学習部２１は、回帰係数演算処理を実行する。この処理は、図１２のフローチャートを参照して上述した場合と同様なので、詳細な説明は省略するが、いまの場合、ステップＳ１５１では、反復コードに対応するサンプルが特定されるのではなく、各クラス番号に対応するサンプルがそれぞれ特定される。
すなわち、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、図８を参照して上述したように、生徒画像の各画素は、クラス番号Ｃ0乃至Ｃ7のいずれかのクラスに分類されたことになる。従って、生徒画像のクラス番号Ｃ0の画素を、注目画素としてサンプルが特定されて、第１の回帰係数wが導出される。また、生徒画像のクラス番号Ｃ１の画素を、注目画素としてサンプルが特定されて、第２の回帰係数wが導出され、生徒画像のクラス番号Ｃ２の画素を、注目画素としてサンプルが特定されて、第３の回帰係数wが導出され、・・・生徒画像のクラス番号Ｃ７の画素を、注目画素としてサンプルが特定されて、第８の回帰係数wが導出される。
つまり、ステップＳ１１０の回帰係数演算処理においては、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wが求められることになる。
ステップＳ１１１において、回帰係数記憶部２２は、ステップＳ１１０の処理により求められた８種類の回帰係数wのそれぞれを、クラス番号に対応付けて記憶する。
このようにして、判別回帰係数学習処理が実行される。
なお、ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数zの演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
次に、図１４のフローチャートを参照して、判別回帰予測処理の例について説明する。この処理は、図９の画像処理装置１００により実行される。また、処理の実行に先立って、画像処理装置１００の判別係数記憶部１２２と回帰係数記憶部１２４には、それぞれ、図１０の判別回帰係数学習処理によって、判別係数記憶部２６に記憶された７種類の判別係数zと、回帰係数記憶部２２に記憶された８種類の回帰係数wとが記憶されているものとする。
ステップＳ１９１において、判別予測部１２１は、反復コードを特定する。いまの場合、第１回目の判別の処理であるから反復コードは１と特定される。
ステップＳ１９２において、判別予測部１２１は、図１５を参照して後述する判別処理を実行する。ここで、図１５のフローチャートを参照して、図１４のステップＳ１９２の判別処理の詳細な例について説明する。
ステップＳ２１１において、判別予測部１２１は、反復コードに対応する注目画素を設定する。例えば、反復コードが１であれば、第１回目の判別の処理なので、入力画像の全画素のそれぞれが注目画素として設定される。例えば、反復コードが２１であれば、第２回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定される。例えば、反復コードが３４であれば、第３回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット０が付与され、２回目の判別の処理でクラスコードビット０が付与された画素のそれぞれが注目画素として設定される。
ステップＳ２１２において、判別予測部１２１は、ステップＳ２１１で設定された注目画素に対応するタップを取得する。
ステップＳ２１３において、判別予測部１２１は、ステップＳ２１１の処理で特定された反復コードに対応する判別係数zを特定し、判別係数記憶部１２２から読み出す。
ステップＳ２１４において、判別予測部１２１は、判別予測値を演算する。このとき、例えば、上述した式（１０）の演算が行われることになる。
ステップＳ２１５において、クラス分割部１２３は、ステップＳ２１４の処理で演算された判別予測値に基づいて、注目画素にクラスコードビットを設定（付与）する。このとき、上述したように、例えば、式（１０）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
なお、ステップＳ２１１乃至ステップＳ２１５の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
このようにして、判別処理が実行される。
図１４に戻って、ステップＳ１９２の処理の後、ステップＳ１９３において、判別予測部１２１は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１９１に戻る。
この後、ステップＳ１９１では反復コードが２１と特定され、同様に、ステップＳ１９２の処理が実行される。このとき、上述したように、ステップＳ１９２の処理では、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定されることになる。
そして、ステップＳ１９３で反復が終了したか否かが判定される。
このように、ステップＳ１９３において反復が終了したと判定されるまで、ステップＳ１９１乃至Ｓ１９３の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１９１で反復コードは３４であると特定された後、ステップＳ１９２の処理が実行され、ステップＳ１９３において、反復は終了したと判定されることになる。
ステップＳ１９３においては、反復が終了したと判定された場合、処理は、ステップＳ１９４に進む。なお、ここまでの処理により、図７または図８を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されていることになる。また、上述したように、クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
ステップＳ１９４において、回帰予測部１２５は、入力画像において注目画素を設定する。
ステップＳ１９５において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素に対応するタップを取得する。
ステップＳ１９６において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数wを特定し、回帰係数記憶部１２４から読み出す。
ステップＳ１９７において、回帰予測部１２５は、ステップＳ１９５で取得したタップと、ステップＳ１９６で特定して読み出した回帰係数wを用いて式（２）の演算を行い、回帰予測値を演算する。
なお、ステップＳ１９１乃至ステップＳ１９７の処理は、入力画像の各画素のそれぞれを対象として行われる。
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
このようにして判別予測処理が実行される。このようにすることで、画像の高画質化処理を、より効率的で高速に行うことができる
図１６は、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
同図は、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
ここで、従来の画像処理装置による画像処理は、図１７に示されるようなクラスタップを用いて行われるクラス分類適応処理による画像処理である。すなわち、従来の画像処理装置による画像処理は、入力画像について、図１７の図中ハッチングされた円で示される画素を注目画素とし、９（＝３×３）個の画素の画素値に基づく１bitADRC (Adaptive Dynamic Range Coding)コードを算出し、その１bitADRCコード毎にクラス分類するものである。従来のクラス分類適応処理による画像処理については、例えば、特開平７−７９４１８号公報などに詳細に記載されている。
図１７に示されるようなクラスタップを取得して従来のクラス分類適応処理による画像処理を行う場合、入力画像の各画素は、それぞれ５１２（＝２9）通りのクラスに分類されることになる。本発明の学習装置１０において、９回反復して判別係数の学習を行った場合、入力画像の各画素が５１２通りのクラスに分類されることになるから、同図において、本発明の画像処理装置１００による画像処理の反復回数９回に対応する位置に、従来の画像処理装置による画像処理が施された画像の特性値が記されている。実際には、従来の画像処理装置による画像処理の反復回数は１回のみである（そもそも従来のクラス分類適応処理による画像処理では反復が想定されていない）。
また、本発明の画像処理装置１００においては、図２に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとしている。本発明の画像処理装置１００において反復回数ｐの値を９とした場合、判別係数zの種類の数Nd、および回帰係数wの種類の数Nmは、式（２０）により表される。
Figure 0005476879
図１６においては、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている。
Figure 0005476879
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約１dBほどS/N比の値が改善されている。
図１８は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
図１８においては、空間的な正規分布状のボケ劣化（σ＝１.５）が含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約０.５dBほどS/N比の値が改善されている。
図１９は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
図１９においては、空間的に水平／垂直方向に１／３のサイズに縮小されて帯域劣化した入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理（いまの場合、画像の拡大処理）している。すなわち、図１９の例は、ダウンコン劣化した画像をアップコン（３×３倍）するものである。同図のS/N比の値の評価式は、式（２１）を用いている
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約０.２dBほどS/N比の値が改善されている。
図１６、図１８、図１９に示されるように、本発明により、従来と比較してより効果的な高画質化処理を行うことが可能となる。
すなわち、本発明によれば、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像の場合、空間的な正規分布状のボケ劣化（σ＝１.５）が含まれた入力画像の場合、ダウンコン劣化した入力画像の場合のいずれにおいても従来の方式よりも適切に高画質化処理を行うことが可能である。また、図１６、図１８、図１９に示した例以外にも、本発明を、画像の高画質化に関係する様々なアプリケーションプログラムなどに応用することが可能である。例えば、本発明を、ノイズ除去、符号化歪除去、ボケ除去、解像度創造、階調創造、デモザイキング、IP変換等に関係する高画質化処理のアプリケーションプログラムなどに適用することが可能である。
さらに、本発明によれば、ノイズ除去、符号化歪除去、ボケ除去、・・・など画像の劣化原因が複数あった場合でも適切に高画質化処理を行うことができる。例えば、ノイズ、符号化歪、およびボケを含んだ画像であっても、本発明により適切に高画質化処理を施すことが可能である。また、本発明では、このように、画像の劣化原因が複雑化した場合であっても、判別係数zまたは回帰係数wの要素数および種類の数を増やすことなく、適切に高画質化処理を施すことが可能である。
ところで、本発明においては、上述したように、図２に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとしている。非線形特徴量を加えたタップを用いる場合の高画質化処理における効果について、図２０を参照して説明する。
図２０は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中四角形（菱形）の記号でプロットされた点が、従来の画像処理装置１００による画像処理を施して得られた画像の特性を示している。
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
図２０においては、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている。同図の点線が、図２に示される生徒画像から得られる線形特徴量のみのタップを用いた本発明の画像処理装置１００による高画質化処理により得られた画像の特性を表している。また、同図の実線が、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたタップを用いた本発明の画像処理装置１００による高画質化処理により得られた画像の特性を表している。
同図に示されるように、線形特徴量のみのタップを用いる場合と比較して、非線形特徴量を加えたタップを用いる高画質化処理が施された画像の特性は、約０.５dBほどS/N比の値が改善されている。
また、図２０の菱形でプロットされた点が、図１７に示される線形特徴量のみのタップを用いた従来の画像処理装置による高画質化処理により得られた画像の特性を表している。また、同図の四角形でプロットされた点が、図１７に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたタップを用いた従来の画像処理装置による高画質化処理により得られた画像の特性を表している。
同図に示されるように、従来の方式においても、線形特徴量のみのタップを用いる場合と比較して、非線形特徴量を加えたタップを用いる高画質化処理が施された画像の特性は、約０.４dBほどS/N比の値が改善されている。
非線形特徴量を加えたタップを用いる高画質化処理を従来のクラス分類適応処理に適用する場合、例えば、次のような処理となる。
入力画像において、クラスタップについては、線形特徴量のみのタップを用いる場合と同じように図１７に示されるタップを取得する。そのため、９個の要素の値に基づく１bitADRC (Adaptive Dynamic Range Coding)コードを算出し、算出された１bitADRCコード毎に、注目画素をクラス分類する。
また、予測タップとしては、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものを用いる。そのタップの要素のそれぞれに回帰係数wを乗じることで、式（２）を参照して上述した回帰演算を行った予測値を演算する。そして、得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになり、その出力画像の特性は、上述したように、線形特徴量のみのタップを用いる場合と比較してS/N比の値が改善されたものとなる。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
図２１において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図２１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
１０ 学習装置， ２１ 回帰係数学習部， ２２ 回帰係数記憶部， ２３ 回帰予測部， ２４ ラベリング部， ２５ 判別係数学習部， ２６ 判別係数記憶部， ２７ 判別予測部， ２８ クラス分割部， １００ 画像処理装置， １２１ 判別予測部， １２２ 判別係数記憶部， １２３ クラス分割部， １２４ 回帰係数記憶部， １２５ 回帰予測部， ７０１ ＣＰＵ， ７０２ ROM， ７１１ リムーバブルメディア

Claims (8)

  1. 第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、
    前記判別予測値に基づいて、前記第１の画像データの画素のそれぞれを、第１の判別クラスと第２の判別クラスのいずれかに分類する分類手段と、
    前記分類の結果に基づいて、前記第１の画像データから注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと前記判別クラス毎に予め記憶されている回帰係数との積和演算により回帰予測値を演算することによって、前記第１の画像を高画質化した第２の画像のデータの画素を予測する回帰予測手段とを備え、
    前記判別予測手段が前記判別予測演算を行う処理、および前記分類手段が前記第１の画像データの画素のそれぞれを、分類する処理を繰り返し実行する
    画像処理装置。
  2. 前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値である
    請求項１の画像処理装置。
  3. 前記非線形特徴量は、注目画素の周辺画素値の最大、最小値である
    請求項１の画像処理装置。
  4. 前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値である
    請求項１の画像処理装置。
  5. 第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと回帰係数との積和演算により第２の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、
    前記算出された前記回帰係数と、前記第１の画像データから得られたタップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、
    前記算出された前記回帰予測値と、第２の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、
    前記付与された判別情報に基づいて、第１の画像データから注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップを取得して、前記タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、
    前記算出された前記判別係数と、前記第１の画像データから得られたタップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、
    前記算出された前記判別予測値に基づいて、前記第１の画像データの画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、
    前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する
    係数学習装置。
  6. 前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値である
    請求項５の係数学習装置。
  7. 前記非線形特徴量は、注目画素の周辺画素値の最大、最小値である
    請求項５の係数学習装置。
  8. 前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値である
    請求項５の係数学習装置。
JP2009211613A 2008-09-29 2009-09-14 画像処理装置および係数学習装置。 Expired - Fee Related JP5476879B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009211613A JP5476879B2 (ja) 2008-09-29 2009-09-14 画像処理装置および係数学習装置。

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008250229 2008-09-29
JP2008250229 2008-09-29
JP2009211613A JP5476879B2 (ja) 2008-09-29 2009-09-14 画像処理装置および係数学習装置。

Publications (2)

Publication Number Publication Date
JP2010102696A JP2010102696A (ja) 2010-05-06
JP5476879B2 true JP5476879B2 (ja) 2014-04-23

Family

ID=42057553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009211613A Expired - Fee Related JP5476879B2 (ja) 2008-09-29 2009-09-14 画像処理装置および係数学習装置。

Country Status (3)

Country Link
US (1) US8401340B2 (ja)
JP (1) JP5476879B2 (ja)
CN (1) CN101715097B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5476879B2 (ja) * 2008-09-29 2014-04-23 ソニー株式会社 画像処理装置および係数学習装置。
CN103188988A (zh) 2010-08-27 2013-07-03 索尼公司 图像处理装置及方法
JP2014515587A (ja) 2011-06-01 2014-06-30 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー デジタル画像装置用の画像処理パイプラインの学習
JP2013003892A (ja) 2011-06-17 2013-01-07 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP5800626B2 (ja) * 2011-07-29 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US8941780B2 (en) * 2013-01-22 2015-01-27 Silicon Image, Inc. Mechanism for facilitating dynamic phase detection with high jitter tolerance for images of media streams
CN105959685B (zh) * 2016-05-31 2018-01-19 上海交通大学 一种基于视频内容及聚类分析的压缩码率预测方法
EP3669227B8 (en) * 2017-08-15 2024-02-28 Siemens Healthineers AG Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks
CN109886343B (zh) * 2019-02-26 2024-01-05 深圳市商汤科技有限公司 图像分类方法及装置、设备、存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3321915B2 (ja) * 1993-06-18 2002-09-09 ソニー株式会社 画像信号変換装置
KR100360206B1 (ko) * 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
US5555465A (en) * 1994-05-28 1996-09-10 Sony Corporation Digital signal processing apparatus and method for processing impulse and flat components separately
US5852470A (en) * 1995-05-31 1998-12-22 Sony Corporation Signal converting apparatus and signal converting method
JP4235852B2 (ja) * 1998-09-14 2009-03-11 ソニー株式会社 画像データ変換装置及び画像データ変換方法
JP4517409B2 (ja) * 1998-11-09 2010-08-04 ソニー株式会社 データ処理装置およびデータ処理方法
US6657677B1 (en) * 2000-01-12 2003-12-02 Koninklijke Philips Electronics N.V. Method and apparatus for improving conversion from SD to HDTV
JP4779282B2 (ja) * 2000-03-30 2011-09-28 ソニー株式会社 情報処理装置
JP4470280B2 (ja) * 2000-05-24 2010-06-02 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP4144374B2 (ja) * 2003-02-25 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR100646867B1 (ko) * 2004-12-21 2006-11-23 삼성전자주식회사 비선형 영상을 보정하는 촬상장치 및 그 방법
CN100466740C (zh) * 2005-11-11 2009-03-04 北京微视讯通数字技术有限公司 用于视频编码处理的差值量化方法及其装置
JP2007201572A (ja) * 2006-01-24 2007-08-09 Sony Corp 学習装置および学習方法、信号処理装置および信号処理方法、並びにプログラム
GB0613569D0 (en) * 2006-07-07 2006-08-16 Cambridge Entpr Method of identifying linear features within an image
JP4872862B2 (ja) * 2006-09-28 2012-02-08 ソニー株式会社 画像データ演算装置および方法、プログラム、並びに記録媒体
US8538203B2 (en) * 2007-07-24 2013-09-17 Sharp Laboratories Of America, Inc. Image upscaling technique
US8655108B2 (en) * 2007-09-19 2014-02-18 Sharp Laboratories Of America, Inc. Adaptive image up-scaling technique
JP5347862B2 (ja) * 2008-09-29 2013-11-20 ソニー株式会社 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP5476879B2 (ja) * 2008-09-29 2014-04-23 ソニー株式会社 画像処理装置および係数学習装置。

Also Published As

Publication number Publication date
US20100080451A1 (en) 2010-04-01
CN101715097B (zh) 2012-01-04
JP2010102696A (ja) 2010-05-06
US8401340B2 (en) 2013-03-19
CN101715097A (zh) 2010-05-26

Similar Documents

Publication Publication Date Title
JP5476879B2 (ja) 画像処理装置および係数学習装置。
JP5347862B2 (ja) 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
CN109389552B (zh) 一种基于上下文相关多任务深度学习的图像超分辨算法
Roy et al. Impulse noise removal using SVM classification based fuzzy filter from gray scale images
JP5061883B2 (ja) 画像処理装置、画像処理方法、プログラム、および学習装置
CN111583285B (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
JP2017049996A (ja) 画像認識に用いられるニューラルネットワークの訓練方法及び訓練装置
US11017269B2 (en) System and method for optimization of deep learning architecture
JP2013003892A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2001238073A (ja) 画像処理方法及び装置
WO2021144943A1 (ja) 制御方法、情報処理装置および制御プログラム
Patel et al. A generative adversarial network for tone mapping hdr images
Khan et al. Image Interpolation via Gradient Correlation‐Based Edge Direction Estimation
Graham et al. Unsupervised 3d out-of-distribution detection with latent diffusion models
WO1985004090A1 (en) X-ray ct image processor
Md. Taha et al. Reduction of salt-and-pepper noise from digital grayscale image by using recursive switching adaptive median filter
JP2013239108A (ja) 画像処理装置および方法、学習装置および方法、並びに、プログラム
JP2001084368A (ja) データ処理装置およびデータ処理方法、並びに媒体
CN100366074C (zh) 信息处理设备和方法
JP2019082847A (ja) データ推定装置、データ推定方法及びプログラム
JP4821580B2 (ja) 画像処理システムおよび画像処理プログラム
US20050226525A1 (en) Image magnification device and image magnification method
CN102209224A (zh) 系数学习设备和方法以及图像处理设备和方法
Haseyama et al. A genetic algorithm based image segmentation for image analysis
JP2011217011A (ja) 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140127

LAPS Cancellation because of no payment of annual fees