JP4235918B2

JP4235918B2 - 画像処理装置および画像処理方法

Info

Publication number: JP4235918B2
Application number: JP2006224155A
Authority: JP
Inventors: 秀雄中屋; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-08-21
Filing date: 2006-08-21
Publication date: 2009-03-11
Anticipated expiration: 2016-10-04
Also published as: JP2006340397A

Description

本発明は、画像処理装置および画像処理方法に関し、特に、画像を、その性質に応じて、幾つかのクラスに分類し、各クラスに対応した処理を施す画像処理装置および画像処理方法に関する。

例えば、標準解像度または低解像度の画像（以下、適宜、ＳＤ画像という）を、高解像度の画像（以下、適宜、ＨＤ画像という）に変換するなどの画像処理を行う方法として、ＳＤ画像を構成するブロックを、その性質に応じて所定のクラスに分類（クラス分類）し、そのクラスに対応した画像処理を施すものがある。

即ち、例えば、いま、図１４（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロックを構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図１４（Ｂ）に示すように、１６（＝（２¹）⁴）パターンに分類することができる。このようなパターン分けがクラス分類であり、このようにクラスに分けることで、各クラスごとに適した、即ち、画像の性質に適した画像処理を施すことが可能となる。

しかしながら、画像の性質（特徴）は、画素のレベル分布だけによって表されるものではなく、従って、その他の特徴量を用いて、クラス分類することによって、画像に対して、より適切な処理を施すことが可能になると考えられる。

本発明は、このような状況に鑑みてなされたものであり、画像を、その性質に応じて、より適切に処理することができるようにするものである。

本発明の一側面の画像処理装置は、第1の画像の画素値を用いて、前記第1の画像よりも解像度の高い第2の画像の画素値を予測する画像処理装置において、前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像を生成するブロック画像生成手段と、前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像を生成する生成手段と、前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像を生成する推定画像生成手段と、前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差を、前記ブロック画像の前記所定の方向における自己相似性として算出する算出手段と、前記算出手段により複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスを決定するクラス決定手段と、前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、前記クラス決定手段で決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理を行う処理手段とを備える。

前記推定画像生成手段は、前記第１の圧縮画像を構成する画素の画素値を、前記第２の圧縮画像を構成する画素を用いて外挿を行うことにより前記推定画像を生成することができる。

前記推定画像生成手段は、前記第２の圧縮画像を構成する画素の画素値を、前記第１の圧縮画像を構成する画素を用いて内挿を行うことにより前記推定画像を生成することができる。

本発明の一側面の画像処理方法は、第1の画像の画素値を用いて、前記第1の画像よりも解像度の高い第2の画像の画素値を予測する画像処理方法において、前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像を生成するブロック画像生成ステップと、前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像を生成する生成ステップと、前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像を生成する推定画像生成ステップと、前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差を、前記ブロック画像の前記所定の方向における自己相似性として算出する算出ステップと、前記算出ステップの処理で複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスを決定するクラス決定ステップと、前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、前記クラス決定ステップの処理で決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理を行う処理ステップとを含む。

本発明の一側面の画像処理装置および画像処理方法においては、前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像が生成され、前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像が生成され、前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像が生成され、前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差が、前記ブロック画像の前記所定の方向における自己相似性として算出され、複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスが決定され、前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理が行われる。

本発明によれば、画像を、その性質に応じて、より適切に処理することが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、例えば次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。したがって、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、
第1の画像の画素値を用いて、前記第1の画像よりも解像度の高い第2の画像の画素値を予測する画像処理装置において、
前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像を生成するブロック画像生成手段（例えば、図１のクラス分類用ブロック化回路１）と、
前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像を生成する生成手段（例えば、図１の間引き回路２、縮小回路３）と、
前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像を生成する推定画像生成手段（例えば、図１のクラス分類回路４）と、
前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差を、前記ブロック画像の前記所定の方向における自己相似性として算出する算出手段（例えば、図１のクラス分類回路４）と、
前記算出手段により複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスを決定するクラス決定手段（例えば、図１のクラス分類回路４）と、
前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、前記クラス決定手段により決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理を行う処理手段（例えば、図１の予測回路６）と
を備えることを特徴とする。

図１は、本発明を適用した画像変換装置の一実施の形態の構成を示している。なお、この画像変換装置は、ＳＤ画像をＨＤ画像に変換するようになされている。即ち、例えば、いま、図２において・印で示す部分を、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）とするとともに、同図において○印で示す部分を、ＳＤ画像を構成する画素（以下、適宜、ＳＤ画素という）とするとき、図１の画像変換装置は、同図に○印で示すＳＤ画像を、同図に・印で示すＨＤ画像に変換するようになされている。

例えば、地上回線や、衛星回線、ＣＡＴＶ（CAble TeleVision）網などの伝送路を介して伝送され、または、例えば、光ディスクや、光磁気ディスク、磁気テープなどの記録媒体から再生されたＳＤ画像の画像信号は、クラス分類用ブロック化回路１および予測値計算用ブロック化回路５に供給される。

クラス分類用ブロック化回路１は、そこに供給されるＳＤ画像から、所定の注目画素を含むクラス分類用ブロックを構成する。即ち、クラス分類用ブロック化回路１は、例えば、図２において実線で囲んで示すような、注目画素を中心とする５×５（横×縦）のＳＤ画素で構成されるクラス分類用ブロックを構成する。

ここで、クラス分類用ブロックを構成する５×５のＳＤ画素（図２において○印で示す部分）を、以下、適宜、次のように表記する。即ち、クラス分類用ブロックの中の左からｉ番目の、上からｊ番目に位置するＳＤ画素を、Ｂ_ijと表記する。従って、図２の実施の形態では、クラス分類用ブロックは、ＳＤ画素Ｂ₃₃を注目画素として構成されることになる。また、クラス分類用ブロックを構成するＳＤ画素から生成されるＨＤ画素（図２において・印で示す部分）を、以下、適宜、ＳＤ画素と同様に、Ａ_ijと表記する。

クラス分類用ブロック化回路１は、クラス分類用ブロックを構成すると、それを、間引き回路２および縮小回路３に出力する。

間引き回路２は、クラス分類用ブロックを受信すると、そのクラス分類用ブロックを構成するＳＤ画素を、例えば、間引くことなどにより、その画素数を少なくし、これにより、間引きブロックを構成する。即ち、間引き回路２は、クラス分類用ブロックを、例えば、水平方向および垂直方向とも１／２に間引くことにより、間引きブロック（圧縮画像）を構成する。この間引きブロックは、クラス分類回路４に供給される。

ここで、間引き回路２による間引き処理の結果残った、クラス分類用ブロック内の画素（図２において、点線の○印で示す部分）、即ち、間引きブロックを構成する画素を、以下、適宜、間引きＳＤ画素といい、また、この間引きＳＤ画素を、ＳＤ画素およびＨＤ画素と同様に、Ｃ_ijと表記する。

一方、縮小回路３では、クラス分類用ブロックを、注目画素を中心として縮小した縮小ブロックが構成される。即ち、縮小回路３では、５×５画素のクラス分類用ブロックから、その周辺の画素が取り除かれ、例えば、注目画素Ｂ₃₃を中心とする３×３画素でなる縮小ブロック（圧縮画像）が構成される。この縮小ブロックも、間引きブロックと同様に、クラス分類回路４に供給される。

ここで、間引きブロックおよび縮小ブロックは、いずれもクラス分類用ブロックの画素数を少なくすることにより生成されるものであり、また、画素数を少なくするということは、情報量が減少するので、この意味で、間引きブロックおよび縮小ブロックは圧縮画像ということができる。

クラス分類回路４は、間引きブロックおよび縮小ブロックを受信すると、その２つのブロックを用いてクラス分類を行い、その結果得られるクラスを表すインデックスを、後述する予測値計算用ブロック化回路５が出力する予測値計算用ブロックのクラスに対するものとして、予測回路６に供給する。

予測回路６には、また、予測値計算用ブロック化回路５から予測値計算用ブロックが供給される。予測値計算用ブロック化回路５では、例えば、図２において点線の四角形で囲むような、注目画素Ｂ₃₃を中心とする３×３画素の予測値計算用ブロックが構成され、予測回路６に供給される。

従って、本実施の形態では、予測値計算用ブロックと縮小ブロックとは、同一のＳＤ画素で構成されることとなるが、両者を構成するＳＤ画素は、同一にする必要はない。即ち、縮小ブロックは、上述したように、クラス分類用ブロックを、注目画素を中心として縮小したものであれば良く、予測値計算用ブロックは、その特徴がクラス分類用ブロックに含まれるように構成すれば良い（正確には、予測値計算用ブロックは、どのように構成しても良く、クラス分類用ブロックは、予測値計算用ブロックの特徴が含まれるように構成する必要がある）。

予測回路６は、予測値計算用ブロックと、そのクラスに対応するインデックスを受信すると、後述するような予測係数であって、受信したインデックスに対応するものと、予測値計算用ブロックを構成するＳＤ画素の画素値との線形結合により、ＨＤ画素の画素値の予測値を求める適応処理を行う。即ち、予測回路６は、インデックスに対応する予測係数と、予測値計算用ブロックを構成するＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄とから、例えば、注目画素Ｂ₃₃を中心とする３×３の範囲のＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅の予測値を求める。

予測回路６では、以下同様の処理が、画素Ｂ₃₃以外のＳＤ画素も、順次、注目画素として行われ、ＨＤ画像を構成するすべてのＨＤ画素の予測値が求められると、その予測値はモニタ７に供給される。モニタ７は、例えば、Ｄ／Ａ変換器を内蔵しており、予測回路６からのディジタル信号としての画素値をＤ／Ａ変換し、そのＤ／Ａ変換の結果得られる画像を表示する。

次に、図３は、図１のクラス分類回路４の構成例を示している。

間引き回路２からの間引きブロックは、第１クラス生成回路１１に供給され、縮小回路３からの縮小ブロック（上述したように、ここでは、図２に点線の四角で囲んだ予測値計算用ブロックと同一）は、第１クラス生成回路１１および第２クラス生成回路１２の両方に供給される。

第１クラス生成回路１１では、縮小ブロックと、間引きブロックとに基づいて、クラス分類用ブロックの自己相似性（縮小ブロックと間引きブロックとの間の相似性）が算出され、その自己相似性に基づいて、予測値計算用ブロックをクラス分類するための第１クラス情報が出力される。

この自己相似性に基づいて得られた第１クラス情報は、第２クラス生成回路１２および最終クラス決定回路１３に供給される。

第２クラス生成回路１２は、第１クラス情報生成回路１１からの第１クラス情報に基づいて、自己相似性が最も高い方向を認識する。さらに、第２クラス生成回路１２は、縮小ブロックを構成する画素のうち、自己相似性が最も高い方向に並んだものの画素値のパターンを検出し、そのパターンに対応する第２クラス情報を、最終クラス決定回路１３に出力する。最終クラス決定回路１３では、第１クラス生成回路１１または第２クラス生成回路１２それぞれからの第１クラス情報または第２クラス情報に基づいて、予測値計算用ブロックがクラス分類され、そのクラスに対応するインデックスが、予測回路６（図１）に出力される。

次に、図４は、図３の第１クラス生成回路１１の構成例を示している。

間引きブロックおよび縮小ブロックは、相似性算出部２１₁乃至２１₄に供給される。相似性算出部２１₁は、画素抽出部２６Ｂおよび２６Ｃ、並びにノルム計算部２７から構成されており、縮小ブロックまたは間引きブロックは、画素抽出部２６Ｂまたは２６Ｃにそれぞれ供給される。

画素抽出部２６Ｂは、縮小ブロックを構成するＳＤ画素（図２）Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄のうちの、注目画素Ｂ₃₃を通る所定の方向の直線上にあるものを抽出する。即ち、画素抽出部２６Ｂは、注目画素Ｂ₃₃を通る、例えば、垂直方向の直線上にあるＳＤ画素Ｂ₂₃，Ｂ₃₃，Ｂ₄₃を抽出する。この抽出されたＳＤ画素Ｂ₂₃，Ｂ₃₃，Ｂ₄₃は、ノルム計算部２７に出力される。

一方、画素抽出部２６Ｃは、間引きブロックを構成する間引きＳＤ画素（図２）Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃のうちの、注目画素Ｂ₃₃に対応する間引きＳＤ画素Ｃ₂₂を通る、画素抽出部２６Ｂにおける場合と同一方向の直線上にあるものを抽出する。従って、この場合、画素抽出部２６Ｂでは、間引きＳＤ画素Ｃ₁₂，Ｃ₂₂，Ｃ₃₂が抽出される。この抽出された間引きＳＤ画素Ｃ₁₂，Ｃ₂₂，Ｃ₃₂は、やはり、ノルム計算部２７に出力される。

ノルム計算部２７は、画素抽出部２６Ｂまたは２６Ｃそれぞれの出力を成分とするベクトルどうしのノルムを計算し、その計算結果を、上述の垂直方向における自己相似性として、最大相似性方向判定部２２に出力する。

相似性算出部２１₂乃至２２₄においても、相似性算出部２１₁における場合と同様にして、注目画素を通る、その他の方向の直線上にある画素を用いてベクトルのノルムが計算され、その方向における自己相似性として、最大相似性方向判定部２２に出力される。即ち、相似性算出部２１₂乃至２２₄では、例えば、水平方向、左斜め上方向（右斜め下方向）、または右斜め上方向（左斜め下方向）それぞれにおける自己相似性が求められ、最大相似性方向判定部２２に出力される。

最大相似性方向判定部２２は、相似性算出部２１₁乃至２１₄の出力に基づいて、自己相似性の最も高い方向が判定される。即ち、いまの場合、自己相似性は、ベクトルのノルムで与えられているから、最大相似性方向判定部２２は、その値の最も小さいものを検出し、そのノルムが得られた方向を、自己相似性の最も高い方向として判定する。最大相似性方向判定部２２は、このようにして自己相似性の最も高い方向を得ると、その方向に対応する、例えば、２ビットのコードなどを第１クラス情報として出力する。即ち、最大相似性方向判定部２２は、最も自己相似性の高い方向が、水平方向、垂直方向、左斜め上方向、または右斜め上方向である場合、第１クラス情報として、例えば、「００」、「０１」、「１０」、または「１１」などをそれぞれ出力する。

なお、上述の場合においては、各方向の自己相似性の評価量として、画素値を成分とするベクトルのノルムを用いるようにしたが、その他の値を自己相似性（以下、適宜、単に、相似性ともいう）の評価量として用いることも可能である。

即ち、例えば、縮小ブロックを構成するＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄から、その縮小ブロック内に存在しない、間引きブロックの間引きＳＤ画素Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃を外挿により求め、その外挿結果と、真の間引きＳＤ画素Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃の画素値との誤差を算出する。そして、この誤差を相似性の評価量とし、誤差の最も少ない方向を、最も高い相似性の方向とすることができる。

また、例えば、間引きブロックを構成する間引きＳＤ画素（図２）Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃から、その間引きブロック内に存在しない、縮小ブロックのＳＣ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄を内挿により求め、その内挿結果と、真のＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄の画素値との誤差を算出する。そして、この誤差を相似性の評価量とし、誤差の最も少ない方向を、最も高い相似性の方向とすることなどもできる。

次に、図５は、図３の第２クラス生成回路１２の構成例を示している。

縮小回路３からの縮小ブロックおよび第１クラス生成回路１１からの第１クラス情報は、最大相似方向画素抽出部３１に供給される。最大相似方向画素抽出部３１では、第１クラス情報に基づいて、相似性が最大の方向が認識され、縮小ブロックから、注目画素Ｂ₃₃を通る、その方向の直線上に並んでいるＳＤ画素（以下、適宜、最大相似性画素という）（本実施の形態では、縮小ブロックを構成するＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄の中の、水平方向、垂直方向、左斜め上方向、または右斜め上方向のうちのいずれかの方向に並ぶ３画素）が抽出される。この３つの最大相似性画素は、ＡＤＲＣ処理部３２を介して、パターン分類部３３に供給される。パターン分類部３３では、ＡＤＲＣ処理部３２を介して供給される３つの最大相似性画素の画素値のパターンが検出され、そのパターンに対応する第２クラス情報が出力される。

ここで、通常、各画素には、その画素値を表現するために、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、最大相似性画素は３画素得られる。従って、８ビットでそれぞれ表される３画素を対象に、その画素値のパターン分けを行ったのでは、（２⁸）³という膨大な数のパターンが生じることになる。従って、クラス数も膨大となり、そのような膨大な数のクラスに対応して処理を行うのでは、処理が繁雑となる。

そこで、本実施の形態においては、ＡＤＲＣ処理部３２において、３つの最大相似性画素に対して、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理が施されるようになされており、これにより、最大相似性画素のビット数を少なくすることで、その画素値のパターンの数を低減するようになされている。

即ち、ＡＤＲＣ処理では、図６（Ａ）に示すように、ある直線上に並んだ３つの最大相似性画素の中から、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、最大相似性画素の局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、３つの最大相似性画素それぞれの画素値がＫビットに再量子化される。

具体的には、３つの最大相似性画素の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。即ち、例えば、Ｋ＝２とした場合、図６（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２²）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。

なお、画素値を元に復号する場合においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ₀₀、下から２番目のレベルの範囲の中心値Ｌ₀₁、下から３番目のレベルの範囲の中心値Ｌ₁₀、または最も上のレベルの範囲の中心値Ｌ₁₁に変換され、その値に、最小値ＭＩＮが加算される。

ここで、以上のようなＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。

ＳＤ画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、パターンの数を低減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理部３２において行われるようになされている。

即ち、最大相似方向画素抽出部３１が出力する３つの最大相似性画素は、ＡＤＲＣ処理部３２の最大値検出部４１、最小値検出部４２、および遅延部４３に供給される。最大値検出部４１または最小値検出部４２では、３つの最大相似性画素から、その画素値の最大値ＭＡＸまたは最小値ＭＩＮがそれぞれ検出され、いずれも演算器４４に供給される。演算器４４では、最大値ＭＡＸと最小値ＭＩＮとの差分、即ち、ダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、ＡＤＲＣコード決定部４５に供給される。また、最小値検出部４２が出力する最小値ＭＩＮは、ＡＤＲＣコード決定部４５にも供給される。

一方、遅延部４３では、最大相似性画素が、最大値検出部４１（または最小値検出部４２）と演算器４５における処理に要する時間だけ遅延され、ＡＤＲＣコード決定部４５に供給される。ＡＤＲＣコード決定部４５では、３つの最大相似性画素の画素値それぞれから最小値ＭＩＮが減算され、それぞれの減算値が、ダイナミックレンジＤＲに基づいて、例えば１ビットに再量子化される。そして、その結果得られる３つの最大相似性画素それぞれについての１ビットのＡＤＲＣコード、即ち、合計で３ビットのＡＤＲＣコードが、第２クラス情報として出力される。

次に、図７は、図３の最終クラス決定回路１３の構成例を示すブロック図である。

第１クラス情報および第２クラス情報は、ＲＯＭ５１のアドレス端子ＡＤに供給されるようになされている。ＲＯＭ５１は、例えば、第１クラス情報および第２クラス情報の両方で示されるアドレスに、第１クラス情報を上位ビットとし、第２クラス情報を下位ビットとする値を記憶している。そして、ＲＯＭ５１は、第１クラス情報および第２クラス情報が、そのアドレス端子ＡＤに与えられると、その第１クラス情報および第２クラス情報の両方で示されるアドレスの記憶値を読み出し、その記憶値を、予測値計算用ブロック化回路５のクラスを示すインデックスとして出力する。従って、この場合、２ビットの第１クラス情報の後に３ビットの第２クラス情報を付加した５ビットのデータが、インデックスとして出力される。

以上のように、画素値のレベルのパターンだけでなく、画像の自己相似性にも対応してクラス分類を行うようにしたので、画像を、その性質に応じて、より適切に処理することが可能となる。

なお、インデックスは、上述の５ビットに、処理の単位がフレームか、またはフィールドかを示す１ビットを加え、合計６ビットとすることも可能である。

また、ＲＯＭ５１には、異なるアドレスの幾つかに、同一のインデックスを記憶させておくようにし、これにより、インデックスのビット数を少なくするようにすることが可能である。即ち、２ビットの第１クラス情報および３ビットの第２クラス情報によれば、５ビット、つまり、３２（＝２⁵）とおりにクラス分けが行われるが、そのような３２のクラスの中には、予測回路６において、同一の予測係数を用いて画素値の予測値を求めても問題ないものがある場合がある。そこで、このように同一の予測係数を用いることが可能な複数のクラスは、１つのクラスとして扱うこととし、このようにすることでクラス数を減らすことができる。

さらに、上述の場合には、図５のパターン分類部３３において、ＡＤＲＣコードに基づいて、パターン分類を行うようにしたが、パターン分類は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。

次に、図８は、図１の予測回路６の構成例を示している。

係数ＲＯＭ（Read Only Memory）６１は、あらかじめ学習（後述する）により求められたクラスごとの予測係数を記憶しており、クラス分類回路４が出力するインデックスを受信し、そのインデックスに対応するアドレスに記憶されている予測係数、即ち、予測値計算用ブロック化回路５が出力する予測値計算用ブロックのクラスに対応する予測係数を読み出して、積和演算器６２に出力する。

積和演算器６２には、予測係数の他、予測値計算用ブロック化回路５から予測値計算用ブロックが供給されるようになされており、積和演算器６２は、その予測値計算用ブロックと、そのクラスに対応する予測係数とを用いて、後述する式（１）（具体的には、例えば、式（８））に示す線形１次式を計算し（積和演算を行い）、これにより、ＨＤ画素の画素値の予測値を算出する適応処理を行う。即ち、例えば、上述の図２に示したように、予測値計算用ブロックを構成するＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄と予測係数との線形一次結合により、注目画素Ｂ₃₃を中心とする３×３の範囲のＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅の予測値が求められる。積和演算器６２において求められたＨＤ画素の予測値は、リミッタ６３に供給され、そこで、モニタ７が内蔵するＤ／Ａ変換器におけるダイナミックレンジを越えないように、その値が制限された後、モニタ７に供給される。

ここで、適応処理について詳述する。

例えば、いま、ＨＤ画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素の画素値（以下、適宜、学習データという）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。

Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・
・・・（１）

そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

で定義すると、次のような観測方程式が成立する。

ＸＷ＝Ｙ’
・・・（２）

そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、ＨＤ画素の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、

で定義すると、式（２）から、次のような残差方程式が成立する。

ＸＷ＝Ｙ＋Ｅ
・・・（３）

この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

を最小にすることで求めることができる。

従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。

・・・（４）

そこで、まず、式（３）を、予測係数ｗ_iで微分することにより、次式が成立する。

・・・（５）

式（４）および（５）より、式（６）が得られる。

・・・（６）

さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。

・・・（７）

式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。

以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、積和演算器６２において行われるようになされている。

なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。

以上説明した適応処理は、ＨＤ画素の画素値ｙを教師データとして学習を行うことにより得られる予測係数ｗ₁，ｗ₂，・・・を用いて行うものであり、このような適応処理（以下、適宜、第１の適応処理という）は、本件出願人が先に提案している。

ところで、第１の適応処理によれば、予測係数ｗ₁，ｗ₂，・・・を求めるのに際し、即ち、学習に際し、ＨＤ画像が教師データとして必要となる。即ち、例えば、図２において、ＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄から、ＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅の予測値を第１の適応処理により求める場合、そのための予測係数ｗ₁，ｗ₂，・・・の算出には、ＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅の画素値が必要となる。

しかしながら、ＨＤ画像がなくても、予測係数ｗ₁，ｗ₂，・・・が求められれば便利である。

そこで、画像の自己相似性を利用し、例えば、次のように、ＳＤ画素のみから予測係数ｗ₁，ｗ₂，・・・を求め、予測回路６では、これを用いて適応処理（このような適応処理を、以下、適宜、第２の適応処理という）を行うようにすることが可能である。

即ち、図２において、予測値計算用ブロックを構成するＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄と、ＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅との間の位置関係に注目した場合、その位置関係は、間引きＳＤ画素Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃と、ＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄との間の位置関係と、いわば相似である。

従って、画像の自己相似性から、間引きＳＤ画素Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃を学習データとするとともに、ＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄を教師データとして学習を行い、これにより、予測係数ｗ₁，ｗ₂，・・・を求め、その予測係数ｗ₁，ｗ₂，・・・を、予測値計算用ブロックを構成するＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄から、ＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅の予測値を予測するのに用いることができる。

図９は、第２の適応処理を行うための予測係数を求める学習処理を行う画像処理装置の構成例を示している。

クラス分類用ブロック化回路７１、学習用ブロック化回路７５、および教師用ブロック化回路７６には、ＳＤ画像が供給される。

クラス分類用ブロック化回路７１、間引き回路７２、縮小回路７３、またはクラス分類回路７４では、図１のクラス分類用ブロック化回路１、間引き回路２、縮小回路３、またはクラス分類回路４における場合とそれぞれ同様の処理が行われ、これにより、後述する学習用ブロック化回路７５が出力する学習用ブロックのクラスに対応するインデックスが、学習回路７７に供給される。

一方、学習用ブロック化回路７５は、ＳＤ画像から、上述したように、学習データとするＳＤ画素（間引きＳＤ画素）Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃で構成される、予測値計算用ブロックより大きいブロックを構成し、これを学習用ブロックとして、学習回路７７に出力する。また、同時に、教師用ブロック化回路７６では、ＳＤ画像から、教師データとするＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄で構成されるブロックが構成され、これが教師用ブロックとして、やはり、学習回路７７に出力される。

学習回路７７では、学習用ブロックを構成するＳＤ画素を学習データとするとともに、教師用ブロックを構成するＳＤ画素を教師データとして、例えば、最小自乗法により、誤差を最小とする予測係数が算出される。

即ち、例えば、いま、学習用ブロックを構成するＳＤ画素（間引きＳＤ画素）の画素値を、ｘ₁，ｘ₂，ｘ₃，・・・とし、求めるべき予測係数をｗ₁，ｗ₂，ｗ₃，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、あるＳＤ画素の画素値ｙを求めるには、予測係数ｗ₁，ｗ₂，ｗ₃，・・・は、
次式を満たす必要がある。

ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・

そこで、学習回路７７では、学習用ブロックと教師用ブロックとから、真値ｙに対する、予測値ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・の自乗誤差を最小とする予測係数ｗ₁，ｗ₂，ｗ₃，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。

学習回路７７において求められた予測係数は、クラス分類回路７４からのインデックスに対応するクラスの予測係数として出力される。

即ち、本実施の形態においては、学習ブロックを構成するＳＤ画素（間引きＳＤ画素）Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃から、教師用ブロックを構成する９個のＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄を求めるための予測係数を算出する必要がある。

このため、学習回路７７では、クラス分類回路７４が出力するインデックスに対応するクラスＣＬについて、ＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄それぞれを教師データとするとともに、ＳＤ画素（間引きＳＤ画素）Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃を学習データとして、式（７）に示した正規方程式がたてられる。

さらに、学習回路７７では、クラスＣＬにクラス分類される、他の学習用ブロックについても同様にして、正規方程式がたてられ、ＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄それぞれの予測値Ｅ［Ｂ₂₂］，Ｅ［Ｂ₂₃］，Ｅ［Ｂ₂₄］，Ｅ［Ｂ₃₂］，Ｅ［Ｂ₃₃］，Ｅ［Ｂ₃₄］，Ｅ［Ｂ₄₂］，Ｅ［Ｂ₄₃］，Ｅ［Ｂ₄₄］を求めるための予測係数ｗ₁（Ｂ₂₂）乃至ｗ₉（Ｂ₂₂），ｗ₁（Ｂ₂₃）乃至ｗ₉（Ｂ₂₃），ｗ₁（Ｂ₂₄）乃至ｗ₉（Ｂ₂₄），ｗ₁（Ｂ₃₂）乃至ｗ₉（Ｂ₃₂），ｗ₁（Ｂ₃₃）乃至ｗ₉（Ｂ₃₃），ｗ₁（Ｂ₃₄）乃至ｗ₉（Ｂ₃₄），ｗ₁（Ｂ₄₂）乃至₉（Ｂ₄₂），ｗ₁（Ｂ₄₃）乃至ｗ₉（Ｂ₄₃），ｗ₁（Ｂ₄₄）乃至ｗ₉（Ｂ₄₄）（本実施の形態では、１つの予測値を求めるのに学習データが９個用いられるので、それに対応して、予測係数ｗも９個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、学習回路７７では、正規方程式が繰り返したてられる）、その正規方程式を解くことで、クラスＣＬについて、ＳＤ画素Ｂ_3+m,3+nの予測値Ｅ［Ｂ_3+m,3+n］を求めるのに最適な予測係数ｗ₁（Ｂ_3+m,3+n）乃至ｗ₉（Ｂ_3+m,3+n）が算出される（但し、ここでは、ｍ＝−１，０，＋１、ｎ＝−１，０，＋１）。

図１の予測回路６を構成する係数ＲＯＭ６１（図８）には、以上のようにして学習回路７７から出力される予測係数を記憶させておくことができ、この場合、積和演算器６２では、式（１）に対応する次式にしたがって、予測値計算用ブロック内におけるＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅それぞれの予測値Ｅ［Ａ₄₃］，Ｅ［Ａ₄₄］，Ｅ［Ａ₄₅］，Ｅ［Ａ₅₃］，Ｅ［Ａ₅₄］，Ｅ［Ａ₅₅］，Ｅ［Ａ₆₃］，Ｅ［Ａ₆₄］，Ｅ［Ａ₆₅］が求められる。

Ｅ［Ａ₄₃］＝ｗ₁（Ｂ₂₂）Ｂ₂₂＋ｗ₂（Ｂ₂₂）Ｂ₂₃＋ｗ₃（Ｂ₂₂）Ｂ₂₄
＋ｗ₄（Ｂ₂₂）Ｂ₃₂＋ｗ₅（Ｂ₂₂）Ｂ₃₃＋ｗ₆（Ｂ₂₂）Ｂ₃₄
＋ｗ₇（Ｂ₂₂）Ｂ₄₂＋ｗ₈（Ｂ₂₂）Ｂ₄₃＋ｗ₉（Ｂ₂₂）Ｂ₄₄
Ｅ［Ａ₄₄］＝ｗ₁（Ｂ₂₃）Ｂ₂₂＋ｗ₂（Ｂ₂₃）Ｂ₂₃＋ｗ₃（Ｂ₂₃）Ｂ₂₄
＋ｗ₄（Ｂ₂₃）Ｂ₃₂＋ｗ₅（Ｂ₂₃）Ｂ₃₃＋ｗ₆（Ｂ₂₃）Ｂ₃₄
＋ｗ₇（Ｂ₂₃）Ｂ₄₂＋ｗ₈（Ｂ₂₃）Ｂ₄₃＋ｗ₉（Ｂ₂₃）Ｂ₄₄
Ｅ［Ａ₄₅］＝ｗ₁（Ｂ₂₄）Ｂ₂₂＋ｗ₂（Ｂ₂₄）Ｂ₂₃＋ｗ₃（Ｂ₂₄）Ｂ₂₄
＋ｗ₄（Ｂ₂₄）Ｂ₃₂＋ｗ₅（Ｂ₂₄）Ｂ₃₃＋ｗ₆（Ｂ₂₄）Ｂ₃₄
＋ｗ₇（Ｂ₂₄）Ｂ₄₂＋ｗ₈（Ｂ₂₄）Ｂ₄₃＋ｗ₉（Ｂ₂₄）Ｂ₄₄
Ｅ［Ａ₅₃］＝ｗ₁（Ｂ₃₂）Ｂ₂₂＋ｗ₂（Ｂ₃₂）Ｂ₂₃＋ｗ₃（Ｂ₃₂）Ｂ₂₄
＋ｗ₄（Ｂ₃₂）Ｂ₃₂＋ｗ₅（Ｂ₃₂）Ｂ₃₃＋ｗ₆（Ｂ₃₂）Ｂ₃₄
＋ｗ₇（Ｂ₃₂）Ｂ₄₂＋ｗ₈（Ｂ₃₂）Ｂ₄₃＋ｗ₉（Ｂ₃₂）Ｂ₄₄
Ｅ［Ａ₅₄］＝ｗ₁（Ｂ₃₃）Ｂ₂₂＋ｗ₂（Ｂ₃₃）Ｂ₂₃＋ｗ₃（Ｂ₃₃）Ｂ₂₄
＋ｗ₄（Ｂ₃₃）Ｂ₃₂＋ｗ₅（Ｂ₃₃）Ｂ₃₃＋ｗ₆（Ｂ₃₃）Ｂ₃₄
＋ｗ₇（Ｂ₃₃）Ｂ₄₂＋ｗ₈（Ｂ₃₃）Ｂ₄₃＋ｗ₉（Ｂ₃₃）Ｂ₄₄
Ｅ［Ａ₅₅］＝ｗ₁（Ｂ₃₄）Ｂ₂₂＋ｗ₂（Ｂ₃₄）Ｂ₂₃＋ｗ₃（Ｂ₃₄）Ｂ₂₄
＋ｗ₄（Ｂ₃₄）Ｂ₃₂＋ｗ₅（Ｂ₃₄）Ｂ₃₃＋ｗ₆（Ｂ₃₄）Ｂ₃₄
＋ｗ₇（Ｂ₃₄）Ｂ₄₂＋ｗ₈（Ｂ₃₄）Ｂ₄₃＋ｗ₉（Ｂ₃₄）Ｂ₄₄
Ｅ［Ａ₆₃］＝ｗ₁（Ｂ₄₂）Ｂ₂₂＋ｗ₂（Ｂ₄₂）Ｂ₂₃＋ｗ₃（Ｂ₄₂）Ｂ₂₄
＋ｗ₄（Ｂ₄₂）Ｂ₃₂＋ｗ₅（Ｂ₄₂）Ｂ₃₃＋ｗ₆（Ｂ₄₂）Ｂ₃₄
＋ｗ₇（Ｂ₄₂）Ｂ₄₂＋ｗ₈（Ｂ₄₂）Ｂ₄₃＋ｗ₉（Ｂ₄₂）Ｂ₄₄
Ｅ［Ａ₆₄］＝ｗ₁（Ｂ₄₃）Ｂ₂₂＋ｗ₂（Ｂ₄₃）Ｂ₂₃＋ｗ₃（Ｂ₄₃）Ｂ₂₄
＋ｗ₄（Ｂ₄₃）Ｂ₃₂＋ｗ₅（Ｂ₄₃）Ｂ₃₃＋ｗ₆（Ｂ₄₃）Ｂ₃₄
＋ｗ₇（Ｂ₄₃）Ｂ₄₂＋ｗ₈（Ｂ₄₃）Ｂ₄₃＋ｗ₉（Ｂ₄₃）Ｂ₄₄
Ｅ［Ａ₆₅］＝ｗ₁（Ｂ₄₄）Ｂ₂₂＋ｗ₂（Ｂ₄₄）Ｂ₂₃＋ｗ₃（Ｂ₄₄）Ｂ₂₄
＋ｗ₄（Ｂ₄₄）Ｂ₃₂＋ｗ₅（Ｂ₄₄）Ｂ₃₃＋ｗ₆（Ｂ₄₄）Ｂ₃₄
＋ｗ₇（Ｂ₄₄）Ｂ₄₂＋ｗ₈（Ｂ₄₄）Ｂ₄₃＋ｗ₉（Ｂ₄₄）Ｂ₄₄
・・・（８）

以上のように、ＳＤ画素Ｂ₂₂，Ｂ₂₃，Ｂ₂₄，Ｂ₃₂，Ｂ₃₃，Ｂ₃₄，Ｂ₄₂，Ｂ₄₃，Ｂ₄₄それぞれの予測値を、間引きＳＤ画素Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，Ｃ₂₁，Ｃ₂₂，Ｃ₂₃，Ｃ₃₁，Ｃ₃₂，Ｃ₃₃で構成される所定の学習用ブロック（所定のブロック）から算出することができるように、学習を行うことで予測係数を求め、その予測係数を用いて、学習用ブロックより小さい（注目画素Ｂ₃₃を中心として学習ブロックを、いわば縮小した）予測値計算用ブロック（小ブロック）に対して適応処理を施した場合によれば、画像の自己相似性によって、ＨＤ画素Ａ₄₃，Ａ₄₄，Ａ₄₅，Ａ₅₃，Ａ₅₄，Ａ₅₅，Ａ₆₃，Ａ₆₄，Ａ₆₅についての適正な予測値を得ることができる。

次に、図１０は、図９の学習回路７７の構成例を示している。

乗算回路８１には、学習用ブロックを構成する学習データｘ₁，ｘ₂，・・・，ｘ_mと、教師用ブロックを構成する教師データｙとが入力されるようになされており、そこでは、式（７）の正規方程式におけるサメーション（Σ）の対象となる学習データｘ₁，ｘ₂，・・・，ｘ_mどうしの積、および学習データｘ₁，ｘ₂，・・・，ｘ_mそれぞれと教師データｙとの積が求められ、加算回路８２に供給される。

加算回路８２には、乗算回路８１の出力の他、デコーダ８３の出力も供給されるようになされている。デコーダ８３には、クラス分類回路７４（図９）からインデックスが供給されるようになされており、デコーダ８３は、そのインデックスに基づいて、学習データｘ₁，ｘ₂，・・・，ｘ_mのクラス（学習用ブロックのクラス）を認識し、その認識結果を、加算回路８２に出力する。

加算回路８２は、乗算回路８１の出力を用いて、式（７）の正規方程式におけるサメーションに相当する演算を、デコーダ８３からのクラスごとに独立して行い、その演算結果を、演算回路８４に供給する。演算回路８４では、加算回路８２の出力を用い、掃き出し法による演算が行われ、これにより、予測係数が算出されて出力される。

次に、図１１は、図１０の乗算回路８１の構成例を示している。

乗算回路８１は、同図に示すように、乗算器アレイで構成されている（乗算器が所定形状に配列されて構成されている）。即ち、乗算回路８１は、式（７）の正規方程式の左辺における予測係数ｗの係数（サメーションの部分）、およびその右辺における各項に対応する乗算器から構成されている。

なお、式（７）の正規方程式の左辺における予測係数ｗにかかる係数で構成される行列（以下、適宜、係数行列という）と、その転置行列とは等しいため、図１１の実施の形態では、乗算器は、係数行列の対角成分を含む右上部分の成分と、式（７）の右辺の項に対応する乗算器だけが設けられている。

以上のように構成される乗算回路８１では、各乗算器において、上述したように、式（７）の正規方程式におけるサメーション（Σ）の対象となる学習データｘ₁，ｘ₂，・・・，ｘ_mどうしの積、および学習データｘ₁，ｘ₂，・・・，ｘ_mそれぞれと教師データｙとの積が求められ、加算回路８２に供給される。

次に、図１２は、図１０の加算回路８２の構成例を示している。

加算回路８２は、図１１の乗算回路８１を構成する乗算器と同様に加算器またはメモリセルがそれぞれ配置された加算器アレイまたはメモリアレイ（レジスタアレイ）から構成されている。なお、加算器アレイは、乗算器アレイと同様に１つだけ設けられているが、メモリアレイは、クラスに対応する数だけ設けられている。

以上のように構成される加算回路８２では、加算器アレイを構成する各加算器に、乗算器アレイの、対応する乗算器の出力が供給される。さらに、各加算器には、デコーダ８３からのクラスに対応するメモリアレイを構成する、対応するメモリセルの記憶値が供給される。各加算器では、乗算器とメモリセルの出力どうしが加算され、その加算結果が、元のメモリセルに供給される。そして、各メモリセルでは、加算器から供給される加算結果が記憶され、加算回路８２は、以下、同様の処理を繰り返すことで、式（７）の正規方程式におけるサメーションに相当する演算を行う。

これにより、各メモリアレイには、対応するクラスについての、正規方程式の各項の係数が記憶されることになる。

そして、図１０の演算回路８４では、メモリアレイの各メモリセルの記憶値を用いて、掃き出し法により、各クラスごとの予測係数が求められる。

ところで、例えば、ＮＴＳＣ方式などに準拠したＳＤ画像を受信する受信装置などに、図１の画像変換装置を内蔵させ、その予測回路６において第１の適応処理によりＨＤ画素の予測値を求めるようにした場合においては、上述したように、学習に際し、教師データとしてＨＤ画素が必要となるため、受信装置において、予測係数の更新をすることは困難である。

その一方、第２の適応処理によりＨＤ画素の予測値を求めるようにした場合においては、教師データとしてＨＤ画素は必要でなく、ＳＤ画素（間引きＳＤ画素を含む）だけで学習を行うことができ、従って、受信装置において、予測係数を更新することができる。

そこで、図１３は、予測係数を更新しながら、ＳＤ画像をＨＤ画像に変換する画像変換装置の一実施の形態の構成を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、この画像変換装置は、フレームメモリ９１、学習用ブロック化回路９２、教師用ブロック化回路９３、学習回路９４、および係数ＲＡＭ（例えば、ＳＲＡＭ（Static Read Only Memory）など）９５が新たに設けられているとともに、予測回路６に代えて予測回路９６が設けられている他は、図１の画像変換装置と同様に構成されている。

フレームメモリ９１には、伝送路を介して伝送され、または、記録媒体から再生されたＳＤ画像が、例えば、フレーム（またはフィールド）単位で記憶される。フレームメモリ９１に記憶されたＳＤ画像は、クラス分類用ブロック化回路１に供給され、以下、図１における場合と同様にして、クラス分類回路４からは、後述する学習用ブロック９２が出力する学習用ブロックのクラスに対応するインデックスが出力される。

また、フレームメモリ９１に記憶されたＳＤ画像は、同時に、学習用ブロック化回路９２および教師用ブロック化回路９３にも供給される。

学習用ブロック化回路９２、教師用ブロック化回路９３、または学習回路９４は、図９における学習用ブロック化回路７５、教師用ブロック化回路７６、または学習回路７７と同様に構成されており、また、学習回路９４には、クラス分類回路７４（図９）に対応するクラス分類回路４からインデックスが供給されるようになされている。従って、学習回路９４では、図９で説明したような学習が行われ、その結果得られる予測係数が、係数ＲＡＭ９５に供給される。

係数ＲＡＭ９５には、学習回路９４から予測係数が供給される他、クラス分類回路４からインデックスが供給されるようになされており、係数ＲＡＭ９５では、そのインデックスに対応するアドレスに、学習回路９４からの予測係数が記憶（上書き）される。

以上の学習処理が、フレームメモリ９１に記憶されたＳＤ画像を構成する、例えば、すべての画素を注目画素として行われると、予測値計算用ブロック化回路５は、フレームメモリ９１に記憶されたＳＤ画像から予測値計算用ブロックを順次構成し、予測回路９６に出力する。

また、このとき、フレームメモリ９１に記憶されたＳＤ画像は、クラス分類用ブロック化回路１にも、再び供給され、以下、上述した場合と同様にして、予測値計算用ブロック化回路５が構成する予測値計算用ブロックのクラスに対応するインデックスが、クラス分類回路４から出力される。

このインデックスは、係数ＲＡＭ９５にアドレスとして与えられ、そのアドレスに記憶された予測係数が、係数ＲＡＭ９５から読み出されて予測回路９６に供給される。

予測回路９６は、図８に示した予測回路６を構成するブロックのうちの、係数ＲＯＭ６１を除く、積和演算器６２およびリミッタ６３で構成され、そこでは、係数ＲＡＭ９５からの予測係数を用い、式（８）で説明したようにしてＨＤ画素の予測値が求められる。

以上のように、ＨＤ画像に変換しようとするＳＤ画像から予測係数を求め、その予測係数を用いて、ＳＤ画像をＨＤ画像に変換する場合によれば、より精度の高いＨＤ画像を得ることが可能となる。

以上、本発明を、ＳＤ画像をＨＤ画像に変換する画像変換装置に適用した場合について説明したが、本発明は、その他、例えば、画像の拡大処理などを行う場合にも適用可能である。

なお、本実施の形態においては、係数ＲＯＭ６１（図８）には（図１３における係数ＲＡＭ９５についても同様）、各クラスに対応するアドレスに、予測係数を記憶させるようにしたが、係数ＲＯＭ６１には、その他、例えば、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラスについてのインデックスが与えられると、そのクラスに対応する画素値が出力されることになり、予測値計算用ブロック化回路５および予測回路６（または予測回路９６）を設けずに済むようになる。

さらに、本実施の形態においては、第１クラス情報および第２クラス情報の両方から、最終的なクラスを決定するようにしたが、第１クラス情報または第２クラス情報のうちのいずれか一方から最終的なクラスを決定するようにすることも可能である。

また、本実施の形態では、間引き回路２において、画素を単純に間引くことにより、間引きブロックを構成するようにしたが、間引きブロックは、その他、例えば、幾つかの画素の平均値などを１の画素に割り当てることなどによって生成するようにすることなども可能である。

さらに、本実施の形態では、各ブロックの形状を正方形としたが、ブロックの形状は正方形に限定されるものではない。即ち、本明細書中におけるブロックとは、幾つかの画素の集合を意味し、その形状は、正方形の他、例えば、長方形や、十字形、円形その他の任意の形状とすることができる。

また、本発明は、ハードウェアおよびソフトウェアのいずれによっても実現可能である。

本発明を適用した画像変換装置の第１の実施の形態の構成を示すブロック図である。図１の画像変換装置の処理を説明するための図である。図１のクラス分類回路４の構成例を示すブロック図である。図３の第１クラス生成回路１１の構成例を示すブロック図である。図３の第２クラス生成回路１２の構成例を示すブロック図である。ＡＤＲＣ処理を説明するための図である。図３の最終クラス決定回路１３の構成例を示すブロック図である。図１の予測回路６の構成例を示すブロック図である。予測係数を求める学習処理を行う画像処理装置の構成例を示すブロック図である。図９の学習回路７７の構成例を示すブロック図である。図１０の乗算回路８１の構成例を示すブロック図である。図１０の加算回路８２の構成例を示すブロック図である。本発明を適用した画像変換装置の第２の実施の形態の構成を示すブロック図である。画素値のレベルのパターンにのみ基づいて行うクラス分類を説明するための図である。

符号の説明

１クラス分類用ブロック化回路，２間引き回路，３縮小回路，４クラス分類回路，５予測値計算用ブロック化回路，６予測回路，７モニタ，１１第１クラス生成回路，１２第２クラス生成回路，１３最終クラス決定回路，２１₁乃至２１₄ 相似性算出部，２２最大相似性方向判定部，２６Ｂ，２６Ｃ画素抽出部，２７ノルム計算部，３１最大相似性方向画素抽出部，３２ＡＤＲＣ処理部，３３パターン分類部，４１最大値検出部，４２最小値検出部，４３遅延部，４４演算器，４５ＡＤＲＣコード決定部，５１ＲＯＭ，６１係数ＲＯＭ，６２積和演算器，６３リミッタ，７１クラス分類用ブロック化回路，７２間引き回路，７３縮小回路，７４クラス分類回路，７５学習ブロック化回路，７６教師用ブロック化回路，７７学習回路，８１乗算回路，８２加算回路，８３デコーダ，８４演算回路，９１フレームメモリ，９２学習用ブロック化回路，９３教師用ブロック化回路，９４学習回路，９５係数ＲＡＭ，９６予測回路

Claims

第1の画像の画素値を用いて、前記第1の画像よりも解像度の高い第2の画像の画素値を予測する画像処理装置において、
前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像を生成するブロック画像生成手段と、
前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像を生成する生成手段と、
前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像を生成する推定画像生成手段と、
前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差を、前記ブロック画像の前記所定の方向における自己相似性として算出する算出手段と、
前記算出手段により複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスを決定するクラス決定手段と、
前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、前記クラス決定手段により決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理を行う処理手段と
を備えることを特徴とする画像処理装置。
前記推定画像生成手段は、前記第１の圧縮画像を構成する画素の画素値を、前記第２の圧縮画像を構成する画素を用いて外挿を行うことにより前記推定画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
前記推定画像生成手段は、前記第２の圧縮画像を構成する画素の画素値を、前記第１の圧縮画像を構成する画素を用いて内挿を行うことにより前記推定画像を生成する
ことを特徴とする請求項１の画像処理装置。
第1の画像の画素値を用いて、前記第1の画像よりも解像度の高い第2の画像の画素値を予測する画像処理方法において、
前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像を生成するブロック画像生成ステップと、
前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像を生成する生成ステップと、
前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像を生成する推定画像生成ステップと、
前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差を、前記ブロック画像の前記所定の方向における自己相似性として算出する算出ステップと、
前記算出ステップの処理で複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスを決定するクラス決定ステップと、
前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、前記クラス決定ステップの処理で決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理を行う処理ステップと
を含むことを特徴とする画像処理方法。