JPWO2015083396A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

画像処理装置及び画像処理方法が、入力画像（Ｄｉｎ）を拡大して低解像度拡大画像（Ｄ１０１）を生成する。入力画像（Ｄｉｎ）のパターン判別結果に応じて高解像度化変換用の係数データ（Ｄ１０８）を選択し、低解像度の特徴成分（Ｄ１０２Ｈ）を高解像度の特徴成分（Ｄ１０３Ｈ）に変換する。入力画像（Ｄｉｎ）の局所領域のパターンが平坦であるかどうかを判定し、平坦である場合には、高解像度化変換部（１０３）において画素値の大きな変更が行われないような係数データが選択される。回路規模、メモリ容量を削減しつつ、ノイズへの耐性を向上させて、ハードウェア化に適した高解像度化を行うことができる。

Description

本発明は、１枚の入力画像を用いて、入力画像より高解像度の出力画像を生成する画像処理装置及び画像処理方法に関するものである。

撮像画像の中から所望の範囲の画像のみを切り出し、拡大することにより電子的にズームを行う機能（デジタルズーム機能）を備えた撮像装置がある。一般的なデジタルズームでは、バイリニア法やバイキュービック法等を用いて画像の拡大処理が行われるが、近年、より解像感の高いデジタルズーム画像を生成することを目的として、入力画像に存在しない高解像度の情報を生成することができる超解像処理と呼ばれる手法が用いられるようになってきている。

１枚の画像を用いた超解像処理で、より高品質な高解像度化が可能な手法に、学習データベースを用いた超解像処理が知られている。この手法は、高解像度画像と低解像度画像の対応関係の事例を学習したデータベースを参照することにより、入力画像に存在しない高解像度の情報を予測し、高解像度化を行うものである（例えば、特許文献１参照）。

特許文献１に記載の超解像処理では、補間された画像において分割されたパッチ毎に探索ベクトルを生成し、探索ベクトルと最も類似度の高いインデックスベクトルに対応する高周波成分データを学習データベースから検索することによって、高解像度のパッチを予測する。

特開２００３−０１８３９８号公報（段落００１４から００１７）

しかしながら、特許文献１に記載の超解像処理では、探索ベクトルの次元数分の類似度計算をパッチ毎に行わなければならないため、１パッチあたりの演算量が多く、回路規模が大きい。また、学習データベースに大量の数のパッチを蓄えなければならず、必要となるメモリ容量が大きい。以上のことからハードウェア化に適さない。

また、学習データベースを用いた超解像処理の共通の課題として、ノイズへの耐性が低いことがある。すなわち、注目パッチにごくわずかでもノイズが混入した場合に、本来参照したいものと異なる学習データを参照してしまうことによって画質劣化を生じる。回路規模やメモリ容量の削減のために探索ベクトルの次元数や学習データベースのパッチ数を削減すると、この問題は一層顕著となる。

本発明は上記のような問題点を解決するためになされたものであり、回路規模及びメモリ容量を削減しつつ、ノイズへの耐性を向上させて、ハードウェア化に適した高品質な高解像度画像を得ることができる画像処理装置及び画像処理方法を提供するものである。

本発明に係る画像処理装置は、
入力画像を拡大し低解像度拡大画像を生成する画像拡大部と、
前記低解像度拡大画像をそのパッチごとに低解像度の特徴成分と非特徴成分に分離する特徴成分分離部と、
前記低解像度の特徴成分を高解像度の特徴成分に変換する高解像度化変換部と、
前記高解像度の特徴成分と前記非特徴成分を合成して高解像度パッチを生成する特徴成分合成部と、
各画素について１つ以上の前記高解像度パッチの値を平均化することで出力画像を生成するパッチ平均化部と、
複数の互いに異なるパターンにそれぞれ対応する複数組の係数データを記憶する係数データ記憶部と、
前記入力画像のうちの前記低解像度拡大画像のパッチに対応する局所領域のパターンを判別し、判別結果を示すパターン判別信号を出力するパターン判別部と、
前記係数データ記憶部に記憶されている複数組の係数データから前記パターン判別信号に応じた組の係数データを選択して出力する係数データ選択部とを有し、
前記高解像度化変換部は、前記係数データ選択部で選択された前記係数データを用いて、前記低解像度の特徴成分を前記高解像度の特徴成分に変換する
ことを特徴とする。

本発明によれば、回路規模及びメモリ容量を削減しつつ、ノイズへの耐性を向上させて、ハードウェア化に適した構成で、高品質な高解像度画像を得ることができる。

本発明の実施の形態１の画像処理装置を示すブロック図である。 （ａ）及び（ｂ）は、入力画像及び入力画像の拡大により得られる低解像度拡大画像を示す図である。 低解像度拡大画像におけるパッチの配列及び各パッチに含まれる画素を示す図である。 （ａ）及び（ｂ）は低解像度拡大画像の各パッチにおける画素の配列と、各画素についての差分値（ｄｌ_１〜ｄｌ_２５）による列ベクトルの構成要素との対応関係を示す図である。 高解像度拡大画像におけるパッチの配列及び各パッチに含まれる画素を示す図である。 変換により得られた高解像度画像の特徴量（ｄｈ_１〜ｄｈ_９）による列ベクトルの構成要素に対応する高解像度画像の画素の配列を示す図である。 係数データ記憶部１０６が記憶する係数データの一例を示す図である。 パターン判別部１０７の構成例を示すブロック図である。 （ａ）〜（ｃ）は、３×３画素配列に対するＬＢＰ算出方法の一例を示す図である。 パターン判別信号Ｄ１０７の生成規則を示す図である。 実施の形態１の画像処理装置における処理の手順を示すフロー図である。 係数データの生成に用いられる装置（係数データ生成装置）を示すブロック図である。 （ａ）〜（ｃ）は、教師画像、教師画像を縮小することで得られる縮小画像、縮小画像を拡大することで得られる低解像度拡大画像を示す図である。 パッチペアの分類の例を示す図である。 行数がＮＬ×ＮＬに等しく、列数がグループ内のパッチ数に等しい、係数の行列を示す図である。 行数がＮＨ×ＮＨに等しく、列数がグループ内のパッチ数に等しい、係数の行列を示す図である。 低解像度拡大画像のＮＬ×ＮＬ個の画素で構成されるパッチと、高解像度画像のＮＨ×ＮＨ個の画素で構成されるパッチの関係を示す図である。 回帰演算で求められるＮＬ×ＮＬ行、ＮＬ×ＮＬ列の係数の行列Ｍｓのうち、ＮＨ×ＮＨ個の画素の算出に用いられる係数を示す図である。

実施の形態１．
図１は本発明の実施の形態１に係る画像処理装置を示す。図示の画像処理装置は、入力画像Ｄｉｎを拡大し低解像度拡大画像Ｄ１０１を生成する画像拡大部１０１と、低解像度拡大画像Ｄ１０１をそのパッチごとに低解像度の特徴成分Ｄ１０２Ｈと非特徴成分Ｄ１０２Ｌに分離する特徴成分分離部１０２と、低解像度の特徴成分Ｄ１０２Ｈを高解像度の特徴成分Ｄ１０３Ｈに変換する高解像度化変換部１０３と、高解像度の特徴成分Ｄ１０３Ｈと非特徴成分Ｄ１０２Ｌを合成して高解像度パッチＤ１０４を生成する特徴成分合成部１０４と、各画素について１つ以上の高解像度パッチの値を平均化することで出力画像Ｄｏｕｔを生成するパッチ平均化部１０５と、複数の互いに異なるパターンにそれぞれ対応する複数組の係数データＤ１０６を記憶する係数データ記憶部１０６と、入力画像Ｄｉｎのうちの前記低解像度拡大画像のパッチに対応する局所領域のパターンを判別し、判別結果を示すパターン判別信号Ｄ１０７を出力するパターン判別部１０７と、係数データ記憶部１０６に記憶されている複数組の係数データＤ１０６からパターン判別信号Ｄ１０７に応じた係数データの組Ｄ１０８を選択して出力する係数データ選択部１０８とを備えている。
高解像度化変換部１０３は、係数データ選択部１０８で選択された係数データＤ１０８を用いて、低解像度の特徴成分Ｄ１０２Ｈを高解像度の特徴成分Ｄ１０３Ｈに変換する。

以下、各部の処理をより詳細に説明する。
画像拡大部１０１は、例えば図２（ａ）に示される入力画像Ｄｉｎを拡大し、図２（ｂ）に示される低解像度拡大画像Ｄ１０１を生成する。図２（ａ）及び（ｂ）において、丸印の各々が１つの画素を表す。画像の拡大は、例えば、バイキュービック法により行う。拡大率は水平方向及び垂直方向の各々について例えば２である。図２（ｂ）の拡大画像Ｄ１０１の画素のうち、黒丸で示される画素は、図２（ａ）に示される入力画像Ｄｉｎの画素と同じ位置にある画素である。

特徴成分分離部１０２は、低解像度拡大画像Ｄ１０１（図２（ｂ））をそのパッチ（小領域の画素群）ごとに低解像度の特徴成分Ｄ１０２Ｈと非特徴成分Ｄ１０２Ｌに分離する。

低解像度拡大画像Ｄ１０１におけるパッチは互いに重なり合うように形成される。
例えば、図３に示すように、各パッチＬＰｃは、ＮＬ×ＮＬ個の画素から成る矩形の領域である。ＮＬは例えば５であり、パッチのピッチ（パッチの中心間の距離）は水平方向、垂直方向ともに、２画素であり、従って水平方向に隣接し合うパッチ間には水平方向に３画素の重なりがあり、垂直方向に隣接し合うパッチ間には垂直方向に３画素の重なりがある。
水平方向及び垂直方向におけるパッチのピッチＬＰＰｈ、ＬＰＰｖがともに２であるので、パッチの中心に位置する画素は１行おきに、かつ１列おきに配置されている。

特徴成分分離部１０２は、低解像度拡大画像Ｄ１０１のＮＬ×ＮＬ個の画素から成るパッチＬＰｃの各々について、ＮＬ×ＮＬ個の画素の平均値ｌＭｅａｎを求めて非特徴成分Ｄ１０２Ｌとして出力し、各々の画素の画素値から上記平均値ｌＭｅａｎを減算することで得られるＮＬ×ＮＬ個の差分値を特徴量とし、この特徴量を予め定められた順番で並べることで得られる列ベクトルを、特徴成分Ｄ１０２Ｈとして出力する。

例えば、図４（ａ）に示されるように、画素Ｐ（１）〜Ｐ（２５）を、その番号（括弧内の数値）で示す順序で取り出して、それらの差分値ｄｌ_１〜ｄｌ_２５を特徴量として、図４（ｂ）に示すように、上から順に並べることで列ベクトルを形成する。
特徴成分Ｄ１０２Ｈは各画素の画素値から平均値を減算することで得られるものであるので、当該パッチの高周波成分であり、非特徴成分Ｄ１０２Ｌは当該パッチの低周波成分であると言える。

特徴成分分離部１０２は、低解像度拡大画像Ｄ１０１の画像成分のうち、高解像度化変換部１０３での予測に用いられる特徴成分（高周波成分）のみを分離乃至抽出することにより、高解像度化変換部１０３への入力を正規化する役割をもつ。

高解像度化変換部１０３は、係数データ選択部１０８で選択された係数データＤ１０８を用いて低解像度の特徴成分Ｄ１０２Ｈを高解像度の特徴成分Ｄ１０３Ｈに変換する。この変換は、低解像度画像のパッチの特徴成分から、高解像度画像の対応する位置のパッチの特徴成分への変換である。ここで「位置」に関して「対応する」とは、高解像度画像のパッチの中心の画素位置が、低解像度拡大画像のパッチの中心の画素位置と同じであること、言い換えると、高解像度画像を低解像度拡大画像に重ねた場合に一致する位置を意味する。互いに対応する位置に中心を有する低解像度拡大画像のパッチと高解像画像のパッチとでパッチペアが構成される。

高解像度画像におけるパッチも互いに重なり合うように形成される。
例えば、図５に示すように、各パッチＨＰｃは、例えばＮＨ×ＮＨ個の画素から成る矩形の領域である。ＮＨは例えば３であり、水平方向におけるパッチのピッチＨＰＰｈ、垂直方向におけるパッチのピッチＨＰＰｖはともに２画素であり、従って水平方向に隣接し合うパッチ間には水平方向に１画素の重なりがあり、垂直方向に隣接し合うパッチ間には垂直方向に１画素の重なりがある。

図５に示す例では、高解像度画像Ｄ１０３ＨにおけるパッチＨＰｃは、その中心に位置する画素が、１行おきにかつ１列おきに配置されている点で、低解像度拡大画像Ｄ１０１におけるパッチＬＰｃと同じであり、高解像度画像Ｄ１０３ＨにおけるパッチＨＰｃの中心は低解像度拡大画像Ｄ１０１におけるパッチＬＰｃの中心と一致している。

係数データＤ１０８は低解像度画像の各パッチと、高解像画像の対応するパッチの関係を与えるものであり、係数データ選択部１０８から供給される。

ここで、低解像度拡大画像の各パッチの特徴成分Ｄ１０２ＨをＮＬ×ＮＬ個の値（低解像度拡大画像の各パッチを構成する画素の特徴成分値）ｄｌ_１〜ｄｌ_{ＮＬ×ＮＬ}をもつ列ベクトルｎｌｐ、高解像度画像の対応するパッチの特徴成分Ｄ１０３ＨをＮＨ×ＮＨ個の値（高解像度画像の対応するパッチを構成する画素の特徴成分値）ｄｈ_１〜ｄｈ_{ＮＨ×ＮＨ}をもつ列ベクトルｎｈｐ、係数データＤ１０８をＮＨ×ＮＨ行ＮＬ×ＮＬ列の成分からなる行列Ｍで定義すると、高解像度化変換部１０３による変換は次式（１）で表される。

ＮＬ＝５、ＮＨ＝３の場合について式（１）を、行列を用いて書き直すと下記の式（２）の如くとなる。

式（２）の左辺は、例えば、図６に示される画素Ｑ（１）〜Ｑ（９）を、その番号（括弧内の数値）で示す順序で取り出して、それらの差分値ｄｈ_１〜ｄｈ_９を上から順に並べたものである。但し、図６に示される画素Ｑ（１）〜Ｑ（９）は、それぞれ、図４（ａ）に示される画素のうち、中央の３×３の位置、即ち、Ｐ（７）、Ｐ（８）、Ｐ（９）、Ｐ（１２）、Ｐ（１３）、Ｐ（１４）、Ｐ（１７）、Ｐ（１８）、Ｐ（１９）に対応する位置にあるものである。

式（１）及び式（２）は、高解像度の特徴成分Ｄ１０３Ｈの各画素の値は、低解像度の特徴成分Ｄ１０２ＨのＮＬ×ＮＬ個の全ての画素に対する重み付け加算により与えられることを示している。
行列Ｍは、係数データ選択部１０８で選択された係数データＤ１０８で構成される行列である。係数データ選択部１０８は係数データ記憶部１０６に記憶された複数組の係数データＤ１０６のうちの１組の係数データを選択して、高解像度化変換部１０３に供給する。係数データ記憶部１０６に記憶されている複数組の係数データの各々は、教師画像から生成された低解像度画像の特徴成分Ｄ１０２Ｈと高解像度画像の特徴成分Ｄ１０３Ｈのペアの関係を近似する線形回帰モデルであり、予め学習を行うことで得られたものである。その生成方法については後述する。

なお、低解像度の特徴成分Ｄ１０２Ｈから高解像度の特徴成分Ｄ１０３Ｈへの変換は非線形であってもよい。その場合、係数データＤ１０８としては非線形関数の係数を与えるものを用いる。

特徴成分合成部１０４は、高解像度の特徴成分Ｄ１０３Ｈと非特徴成分Ｄ１０２Ｌを合成して高解像度パッチＤ１０４を生成する。

特徴成分合成部１０４は、例えば、低解像度拡大画像のパッチのＮＬ×ＮＬ個の画素の平均値ｌＭｅａｎ（＝Ｄ１０２Ｌ）を、高解像度の特徴成分Ｄ１０３Ｈの各成分（各画素についての値）ｄｈ_１〜ｄｈ_９に加算する。
特徴成分合成部１０４は、特徴成分分離部１０２で分離した非特徴成分（低周波成分）ｌＭｅａｎを高解像度の特徴成分に加算することで、特徴成分分離部１０２で行った正規化を解除する役割をもつ。

特徴成分合成部１０４による合成は次式（３）により表される。

式（３）で、ｈｐは、高解像度パッチＤ１０４を構成する画素の画素値を表すＮＨ×ＮＨ個の値ｈ_１〜ｈ_{ＮＨ×ＮＨ}をもつ列ベクトル、ｎｈｐは、高解像度パッチの特徴成分Ｄ１０３Ｈを構成するＮＨ×ＮＨ個の画素の特徴成分値ｄｈ_１〜ｄｈ_{ＮＨ×ＮＨ}をもつ列ベクトル、ｌＭｅａｎは、非特徴成分Ｄ１０２Ｌを表すスカラー値、ｃは、高解像度の特徴成分（高周波成分）に対するゲインを調整するスカラー値（定数）である。
ＮＨ＝３の場合について、式（３）を、行列を用いて書き直すと下記の式（４）の如くとなる。

式（３）又は（４）において、ｃ＝１とすることによって学習通りの推定結果を得ることができる。
ｃ＞１とすることによって、高解像度の特徴成分（高周波成分）を意図的に強調（エンハンス）して出力画像の解像感を高めることができる。
式（３）或いは式（４）による演算は、高解像度パッチの各々について行われる。

先にも述べたように、パッチは互いに重なりあうように形成されるので、画素の中には複数のパッチに属するものがある。図５の例では、高解像度画像の画素のうち、各パッチの中心に位置する画素Ｐｘｃは、１つのパッチＬＰｃに属し、該中心画素Ｐｘｃに対し水平方向に隣接する画素Ｐｘａ及び垂直方向に隣接する画素Ｐｘｂは、２つのパッチＬＰｃに属し、中心画素Ｐｘｃに対し斜め方向に隣接する画素Ｐｘｄは４つのパッチＬＰｃに属する。
２つのパッチに属する画素については、式（３）或いは式（４）による演算の結果（各パッチの生成において求められた当該画素の画素値）が２つ得られ、４つのパッチに属する画素については、式（３）或いは式（４）による演算の結果が４つ得られる。１つのパッチにのみ属する画素については、式（３）或いは式（４）による演算の結果が１つだけ得られる。

パッチ平均化部１０５は、高解像度画像の各画素について１つ以上の高解像度パッチの値（各パッチの生成において求められた当該画素の画素値）を平均化することで出力画像Ｄｏｕｔを生成する。即ち、２つのパッチに属する画素については、２つのパッチの値を平均化し、４つのパッチに属する画素については、４つのパッチの値を平均化し、１つのパッチにしか属さない画素については１つのパッチの値をそのまま出力する。

式（３）或いは式（４）による演算は出力画像Ｄｏｕｔの各画素について１又は２以上の高解像度パッチによる画素値候補の推定であると言え、平均化は、１又は２以上の画素値候補の平均（単純平均または加重平均）を求める処理であると言える。この平均化により、最終的な出力画素値が得られる。

係数データ記憶部１０６は、高解像度画像と低解像度画像の対応関係を与える係数データをパターン別に複数記憶する。ここで言うパターンとは、画像内の各部における画素値の変化のパターンであり、画像の各部分がどのようなパターンを有するかは、パターン判別部１０７により判定される。

図７は、係数データ記憶部１０６が記憶する係数データＤ１０６の内容を表す。図７に示す係数データ記憶部１０６の構成例では、係数データＤ１０６は、式（１）或いは式（２）で用いたＮＨ×ＮＨ行ＮＬ×ＮＬ列の成分からなる行列Ｍであり、パターン判別信号Ｄ１０７の値０、１、…、ＮＰ−１（ＮＰはパターンの数）の各々に対して定義されている。そして、パターン判別信号Ｄ１０７を係数データ記憶部１０６に入力すると、入力されたパターン判別信号Ｄ１０７の値をインデックスとして係数データが選択され、読み出される。

パターン判別部１０７は、入力画像Ｄｉｎのうち、低解像度拡大画像Ｄ１０１のパッチの中心に対応する位置の画素を注目画素として、該注目画素を中心とする局所領域のパターンを判別し、判別結果を示すパターン判別信号Ｄ１０７を出力する。
ここで言う局所領域は、低解像度拡大画像における各パッチに対応する入力画像Ｄｉｎの領域であり、水平方向及び垂直方向の拡大率が２である場合、低解像度拡大画像の各パッチの中心と一致する中心を持つ、３×３画素の配列から成る矩形の領域である。パターンとしてここでは、局所二値パターン（ＬＢＰ；Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）を用いるものとする。

図８は、パターン判別部１０７の構成例を表す図である。
パターン判別部１０７は、入力画像Ｄｉｎの局所領域の画素の画素値の平均値ＡＶＥを求める平均部２０１と、注目画素の周辺画素の画素値と平均値ＡＶＥを比較し、これらの画素の各々についての比較の結果の組合せを表すパターン番号Ｐｎｕｍを生成するＬＢＰ算出部２０２と、注目画素の周辺画素の画素値と平均値ＡＶＥの差分絶対値に基づいて当該領域が平坦かどうかを判定し、判定結果を示す平坦判定信号Ｆｌａｔを出力する平坦判定部２０３と、パターン番号Ｐｎｕｍと平坦判定信号Ｆｌａｔからパターン判別信号Ｄ１０７を生成するパターン判別信号生成部２０４を備えている。

平均部２０１は、入力画像Ｄｉｎの注目画素（低解像度拡大画像Ｄ１０１における各パッチの中心の画素に対応する画素）を中心とする局所領域、例えば３×３画素の領域の画素の画素値の平均値ＡＶＥを求める。
平均は、３×３画素の画素値の単純平均であってもよいし、中心画素に対する重み付けが大きくなるようにした加重平均であってもよい。加重平均を求める演算の例を、次式（５）に示す。

ここで、（ｓ，ｔ）は３×３画素の中心画素からのオフセット座標を、ｉｍＬＢＰ（ｓ，ｔ）は座標（ｓ，ｔ）における入力画像Ｄｉｎの画素値を表す。

ＬＢＰ算出部２０２は、注目画素の近傍８画素の画素値と平均値ＡＶＥを比較し、これらの画素の各々についての比較の結果の組合せを表すパターン番号Ｐｎｕｍを生成する。上記の比較の結果は、平均値ＡＶＥ以上であるか否かを示すものであり、例えば「１」と「０」の２値で表される。比較結果の組合せは、比較結果を示す値を予め定められた順序で並べることで得られる数列である。

図９（ａ）〜（ｃ）は、ある３×３画素配列に対するＬＢＰ算出例を示す図である。
図９（ａ）において、中心画素からのオフセット座標（ｓ，ｔ）で示される各マス目に記載された数値は、３×３画素の領域の各画素における画素値を表している。

ＬＢＰ算出部２０２では、まず、３×３画素の画素値の平均値ＡＶＥ（式（５）の場合、ＡＶＥ＝５１．７８）と、注目画素の近傍８画素の画素値とを比較し、各画素の値を、ＡＶＥ以上であれば「１」、ＡＶＥ未満であれば「０」に二値化する。
図９（ｂ）に、二値化の結果を示す。この二値化は次式（６）で表される。

ここで、Ｄ（ｓ，ｔ）は座標（ｓ，ｔ）の画素の二値化結果を表す。

次に、座標（ｓ，ｔ）＝（−１，−１）の画素の二値化結果を第１ビット、座標（ｓ，ｔ）＝（−１，０）の画素の二値化結果を第２ビット、以降、反時計回りに順次二値化結果を並べる（各ビット位置に割り当てる）ことによってできる８ビットの値を生成し、この８ビットの値をパターン番号Ｐｎｕｍとして出力する。パターン番号の決定は、次式（７）で表される。

図９（ｃ）に示すように、図９（ａ）の３×３画素配列の場合、式（７）により算出されるパターン番号Ｐｎｕｍは「１３５」となる。

なお、公知のＬＢＰ算出方法では、中心画素の画素値そのものと近傍８画素の画素値の比較により二値化を行うが、実施の形態１では、３×３画素の平均値ＡＶＥと近傍８画素の画素値の比較により二値化を行うことで、ノイズの影響を軽減したパターン情報の抽出を可能としている。

平坦判定部２０３は、例えば注目画素の周辺画素の画素値と平均値ＡＶＥの差分絶対値の平均が予め定められた閾値よりも小さいか否かに基づいて当該領域が平坦かどうかを判定し、判定結果を示す平坦判定信号Ｆｌａｔを出力する。

具体的にはまず、次式（８）により、注目画素の近傍８画素の画素値と平均値ＡＶＥの差分絶対値の平均ｄｉｆｆを算出する。

ここで、差分絶対値の平均ｄｉｆｆが予め設定した閾値ｓｉｇより小さければ当該領域は平坦であると判定し、平坦判定信号Ｆｌａｔを「１」とする。差分絶対値の平均ｄｉｆｆが閾値ｓｉｇ以上である場合には当該領域は平坦でないと判定し、平坦判定信号Ｆｌａｔを「０」とする。平坦判定の式を式（９）に示す。

パターン判別信号生成部２０４は、パターン番号Ｐｎｕｍと平坦判定信号Ｆｌａｔからパターン判別信号Ｄ１０７を生成する。パターン番号Ｐｎｕｍ及び平坦判定信号Ｆｌａｔの組合せによるパターン判別信号Ｄ１０７の生成規則を図１０に示す。

図１０に示した例では、平坦判定信号Ｆｌａｔが「０」のとき、パターン番号Ｐｎｕｍの値そのものをパターン判別信号Ｄ１０７として出力する。また、平坦判定信号Ｆｌａｔが「１」のとき、パターン番号Ｐｎｕｍによらず、予め定められた、平坦であることを示すパターン判別番号２５６を出力する。このような処理をする結果、判別されるパターンの数は２５７となる。

ここで、平坦判定信号Ｆｌａｔが「１」のときのパターン判別信号Ｄ１０７（図１０の場合は２５６）に対応する係数データとしては、単位行列または単位行列に近い行列を予め設定しておくものとする。ここで言う「単位行列」は、高解像度画像の各画素についての差分値の算出に当たり、低解像度画像における上記各画素に対応する画素についての係数が「１」で、それ以外は「０」となる行列、即ち、第１〜６列、第１０、１１列、第１５、１６列、第２０〜２５列の要素をすべて「０」とし、残りの列のみが存在すると考えたときの左上から右下への対角線上の要素のみを「１」とし、それ以外の要素を０とした行列を意味し、「単位行列に近い行列」は、上記した行列において、「１」の代わりに「１」に近い値、例えば１よりも小さく、０．９よりも大きい値を用い、「０」の代わりに「０」に近い値、例えば０よりも大きく０．１よりも小さい値を用いた行列である。このような行列を用いることで、パッチが平坦であると判定された場合には、高解像度化変換部１０３において画素値の大きな変更が行われないようにする。

同様の処理を行うために、平坦判定信号Ｆｌａｔを高解像度化変換部１０３に入力し（図示せず）、高解像度化変換部１０３における演算を、平坦判定信号Ｆｌａｔが「０」の場合は式（１）或いは式（２）を用い、平坦判定信号Ｆｌａｔが「１」の場合は式（１）或いは式（２）の演算を行わず、低解像度の特徴成分Ｄ１０２Ｈの一部、即ち、２５個の要素を持つ列ベクトルで構成される特徴成分Ｄ１０２Ｈのうちの７〜９番目、１２〜１４番目、１７〜１９番目の要素を、それぞれ１乃至９番目の要素として並べた列ベクトルを高解像度の特徴成分Ｄ１０３Ｈとして出力するように構成してもよい。

以上で説明したように、パターン判別部１０７は、入力画像Ｄｉｎの局所領域のパターンを判別し、判別結果を示すパターン判別信号Ｄ１０７を出力する。

係数データ選択部１０８は、係数データ記憶部１０６に記憶されている複数組の係数データＤ１０６のうち、パターン判別信号Ｄ１０７に対応する組の係数データを選択して、選択された係数データＤ１０８として出力する。

図７で説明したように、係数データ記憶部１０６は、パターン判別信号Ｄ１０７の値０、１、…、ＮＰ−１の各々に対して、式（１）或いは式（２）で用いるＮＨ×ＮＨ行ＮＬ×ＮＬ列の成分からなる行列Ｍを記憶したものである。係数データ選択部１０８は、パターン判別信号Ｄ１０７を受けて、係数データ記憶部１０６から、パターン判別信号Ｄ１０７の値に対応する行列Ｍを読み出し、係数データＤ１０８として出力する。
以上が、実施の形態１に係る画像処理装置の各構成要素の説明である。

続いて、実施の形態１に係る画像処理装置の動作を説明する。
図１１は、実施の形態１に係る画像処理装置における処理の手順を表す。実施の形態１の画像処理装置の動作としては、まず、画像拡大ステップＳ１１にて、入力画像Ｄｉｎを画像拡大部１０１により拡大し、低解像度拡大画像Ｄ１０１を生成する。

次にパッチ選択ステップＳ１２において低解像度拡大画像Ｄ１０１からパッチを一つ選択する。パッチの選択は例えばラスター順に、例えば画像を左上から右下へ（上から下へ、かつ同じ高さ位置においては左から右へ）と言う順に行われる。パッチの選択とともに、入力画像Ｄｉｎ中の対応する局所領域を選択する。

次に、ステップＳ１３からステップＳ１７において、低解像度拡大画像Ｄ１０１のパッチ毎に、特徴成分分離部１０２、パターン判別部１０７、係数データ選択部１０８、高解像度化変換部１０３、及び特徴成分合成部１０４による処理を行う。

パッチ毎の処理（ステップＳ１３からステップＳ１７）においては、まず、特徴成分分離ステップＳ１３にて、各パッチを低解像度の特徴成分Ｄ１０２Ｈと非特徴成分Ｄ１０２Ｌに分離する。
これと並行して、パターン判別ステップＳ１４において、各パッチに対応する入力画像Ｄｉｎの局所領域の画素を用いてパターンを判別し、判別結果を示すパターン判別信号Ｄ１０７を出力する。
次に、係数データ選択ステップＳ１５において、ステップＳ１４で得られたパターン判別信号Ｄ１０７に応じた係数データを係数データ記憶部１０６から選択して出力する。

ステップＳ１３及びステップＳ１５の次に、高解像度化変換ステップＳ１６において、ステップＳ１３で得られた低解像拡大画像の各パッチの特徴成分Ｄ１０２Ｈに対して、ステップＳ１５で選択した係数データＤ１０８を用いて演算を行い、低解像度の特徴成分Ｄ１０２Ｈから高解像度の特徴成分Ｄ１０３Ｈへの変換を行う。
次に、ステップＳ１７において、ステップＳ１３で分離した非特徴成分Ｄ１０２Ｌを、ステップＳ１６の出力である高解像度の特徴成分Ｄ１０３Ｈと合成して、高解像度パッチを生成する。

次に判定ステップＳ１８において、画像中のすべてのパッチについてのステップＳ１２〜Ｓ１７の処理が行われたか否かの判定を行う。まだ処理されていないパッチがあれば（ステップＳ１８でＮＯ）、ステップＳ１２に戻り、次のパッチを選択する。

ステップＳ１８ですべてのパッチについての処理が終わっていれば、パッチ平均化ステップＳ１９に進み、各画素についてパッチ毎の処理で得られた高解像度パッチの値をパッチ平均化部１０５により平均化し出力画像Ｄｏｕｔを生成する。

なお、画像内のすべてのパッチが終わらなくても、各画素についてそれが属するパッチについての処理が終わったら、直ちに当該画素についてステップＳ１８の処理を行うようにしても良い。この場合、ステップＳ１２〜Ｓ１８の処理と、ステップＳ１８の処理とが並行して行われることになる。
以上が、実施の形態１に係る画像処理装置の動作の説明である。

次に、係数データＭの生成方法について説明する。係数データＭは、前述したように、教師画像から生成された低解像度画像の特徴成分Ｄ１０２Ｈと高解像度画像の特徴成分Ｄ１０３Ｈのペアの関係を近似する線形回帰モデルであり、予め学習を行って係数データ記憶部１０６に記憶させておく。

図１２は、係数データの生成に用いられる装置（係数データ生成装置）を示す。
係数データの生成には、まず、画像縮小部４０１で、教師画像となる高解像度画像Ｄｔｉ（図１３（ａ））を縮小し、縮小画像（低解像度画像）Ｄ４０１（図１３（ｂ））を生成する。縮小率は、画像拡大部１０１における拡大率と同じである。縮小は間引きによって行っても良く、平均化によって行っても良い。図１３（ｂ）の縮小画像Ｄ４０１の画素は、図１３（ａ）の高解像度画像Ｄｔｉの画素のうちの黒丸で示される画素と同じ位置にある。

次に、パターン判別部３０７で、縮小画像Ｄ４０１の各画素に対してパターン判別を行ってパターン判別信号Ｄ３０７を出力する。パターン判別部３０７によるパターン判別は、図１のパターン判別部１０７における処理と同内容のものである。但し、パターン判別部１０７では、パッチの中心の画素に一致する画素を中心としてパターン判別が行われるが、パターン判別部３０７では、縮小画像Ｄ４０１のすべての画素が順次注目画素として選択され、該注目画素を中心とする３×３画素の領域についてパターン判別が行われる。

画像拡大部３０１は、縮小画像Ｄ４０１（図１３（ｂ））を拡大して低解像度拡大画像Ｄ３０１（図１３（ｃ））を生成する。画像拡大部３０１の処理は、図１の画像拡大部１０１の処理と同じである。図１３（ｃ）の拡大画像Ｄ３０１の画素のうち、黒丸で示される画素は、図１３（ｂ）に示される縮小画像Ｄ４０１の画素と同じ位置にある画素である。

特徴成分分離部３０２は、得られた低解像度拡大画像Ｄ３０１の各パッチの特徴成分を抽出する。即ち、特徴成分分離部３０２は、低解像度拡大画像Ｄ３０１のうち、それぞれ縮小画像Ｄ４０１の画素と同じ位置の画素（図１３（ｃ）に黒丸で示す）を中心とするＮＬ×ＮＬ個の画素の大きさのパッチＬＰｃ（図３のＬＰｃと同様のもの）の各々について、ＮＬ×ＮＬ個の画素の平均値ｔｌＭｅａｎを求め、各々の画素の画素値から平均値ｔｌＭｅａｎを減算することで得られるＮＬ×ＮＬ個の差分値を特徴量とし、この特徴量を予め定められた順番で並べることで得られる列ベクトルを特徴成分Ｄ３０２Ｈとして出力する。以上の処理の結果、特徴成分Ｄ３０２Ｈは、縮小画像Ｄ４０１の各画素に対応して求められることになる。

特徴成分分離部４０２は、高解像度画像Ｄｔｉの各パッチの特徴成分を抽出する。即ち、特徴成分分離部４０２は、高解像度画像（教師画像）Ｄｔｉのうち、縮小画像Ｄ４０１の画素と同じ位置の画素（図１３（ａ）に黒丸で示す）の各々を中心とするＮＬ×ＮＬ個の画素から成るパッチＴＰｃ（図３のＬＰｃと同じ大きさを有するもの）の各々について、ＮＬ×ＮＬ個の画素の平均値ｔｈＭｅａｎを求め、各々の画素の画素値から平均値ｔｈＭｅａｎを減算することで得られるＮＬ×ＮＬ個の差分値を特徴量とし、この特徴量を予め定められた順番で並べることで得られる列ベクトルを、特徴成分Ｄ４０２Ｈとして出力する。以上の処理の結果、特徴成分Ｄ４０２Ｈは、縮小画像Ｄ４０１の各画素に対応して求められることになる。

特徴成分分離部３０２で特徴成分の分離を行ったパッチと、特徴成分分離部４０２で特徴成分の分離を行ったパッチとはともに、特徴成分分離部１０２で特徴成分の分離を行ったパッチと同じ大きさ（ＮＬ×ＮＬ）を有する。
縮小画像Ｄ４０１の同じ画素に対応して、特徴成分分離部３０２で特徴成分が求められたパッチと、特徴成分分離部４０２で特徴成分が求められたパッチとによってペア（パッチペア）が構成される。従って、パッチペアを構成する低解像度拡大画像Ｄ３０１のパッチＬＰｃと高解像度画像ＤｔｉのパッチＴＰｃとは、それらの中心に位置する画素が互いに同じ位置にある。

分類部４０３は、各ペアを構成するパッチの特徴成分Ｄ３０２Ｈ及びＤ４０２Ｈを互いに対応付け、各ペアを、当該ペアを構成するパッチの中心の画素についての、パターン判別部３０７によるパターン判別の結果（パターン判別信号Ｄ３０７の値）ごとに、分類（グループ分け）する。

分類の結果を表に纏めれば例えば図１４に示す如くとなる。図１４でパターン判別信号Ｄ３０７の欄には、パターン判別部１０７に関して説明したパターン判別信号Ｄ１０７（０から２５６までの値）が予め記入されている。
ペア番号欄には、判別信号の値に対応するペア番号（すべて「ｘｘ」で示すがその値は異なる）が記入されている。例えばあるペアについて、当該ペアを構成するパッチの中心に位置する画素についてパターン判別の結果、ある値を持つパターン判別信号Ｄ３０７が生成されたら、その値の欄に当該ペアの番号が記入される。ペアの番号として、ペアを構成するパッチの中心の画素の座標を表すデータを用いても良い。
このようなグループ分けの結果、判別信号の各値と、それに対応するペア番号が対応付けて記憶される。

以上、一つの教師画像Ｄｔｉが供給されて、それに対するパターン判別、パッチペアの形成及び分類を行う場合を想定して説明したが、複数の教師画像Ｄｔｉを順次供給して、パターン判別、パッチペアの形成、及び分類を行い、これらの処理の結果を分類部４０３に蓄積しても良い。

演算部４０４は、パターン判別信号Ｄ３０７の値が同じであるグループごとに、低解像度パッチと高解像度パッチの関係を近似するための係数データの値を線形回帰演算により導出する。この演算は式（１０）で表される。

ここで、行列Ｍｓは当該グループのパターン判別信号に対するＮＬ×ＮＬ行ＮＬ×ＮＬ列の成分からなる係数データ、
Ｘｔはグループ内の低解像度パッチ（特徴成分分離部３０２で特徴成分の分離を行ったパッチ）をベクトル化することで得られる、行数が（ＮＬ×ＮＬ）に等しく、列数がグループ内のパッチの数に等しい行列、即ち、図１５に示すように、当該グループに分類されたペアを構成する低解像度パッチの特徴成分Ｄ３０２Ｈを構成するＮＬ×ＮＬ個の特徴量、即ち差分値を列方向に並べ、異なるパッチについての特徴成分Ｄ３０２Ｈを行方向に並べた（異なる列に配置した）行列、
Ｙｔはグループ内の高解像度パッチ（特徴成分分離部４０２で特徴成分の分離を行ったパッチ）をベクトル化することで得られる、行数が（ＮＬ×ＮＬ）に等しく、列数がグループ内のパッチの数に等しい行列、即ち、図１６に示すように、当該グループに分類されたペアを構成する高解像度パッチの特徴成分Ｄ４０２Ｈを構成するＮＬ×ＮＬ個の特徴量、即ち差分値を列方向に並べ、異なるパッチについての特徴成分Ｄ４０２Ｈを行方向に並べた（異なる列に配置した）行列、
λは予め定められた定数、
ｅｙｅ（ＮＬ×ＮＬ，ＮＬ×ＮＬ）はＮＬ×ＮＬ行ＮＬ×ＮＬ列の単位行列である。
また、Ｘｔ^Ｔ、Ｙｔ^ＴはそれぞれＸｔ、Ｙｔの転置行列である。
なお、各グループ内でパッチ数が（ＮＬ×ＮＬ）個に満たない場合は、Ｍｓとして単位行列を出力する。

係数データ抽出部４０５は、上記のようにして得られたＮＬ×ＮＬ行ＮＬ×ＮＬ列の行列Ｍｓから、高解像度パッチＨＰｃを構成するＮＨ×ＮＨ個の画素に対応する要素（ＮＨ×ＮＨ個の画素の特徴成分Ｄ１０３Ｈの算出に用いられる要素）だけを取り出したＮＨ×ＮＨ行ＮＬ×ＮＬ列の行列Ｍを抽出して、係数データ記憶部１０６に記憶させる。

図１７に示すように、ＮＬ＝５、ＮＨ＝３の場合について、ＮＨ×ＮＨ行ＮＬ×ＮＬ列の行列Ｍの生成のため、ＮＬ×ＮＬ行ＮＬ×ＮＬ列の行列Ｍｓから取り出される行が図１８に示されている。図１７には、ＮＬ×ＮＬ個の画素から成るパッチ内の画素が符号Ｐ（１）〜Ｐ（２５）で示される。符号Ｐ（１）〜Ｐ（２５）のうち、括弧内の数値が画素に付与された番号である。図１８において、行を表す符号Ｒ（１）〜Ｒ（２５）のうち括弧内の数値が行の番号を表す。図１８の行Ｒ（１）〜Ｒ（２５）は、それぞれ画素Ｐ（１）〜（２５）に対応する。

図１７に示されるＮＬ×ＮＬ個の画素から成るパッチＬＰｃのうちの、高解像度パッチＨＰｃを構成するＮＨ×ＮＨ個の画素は、図１７に示される太線ＨＰｃで囲まれた部分内の画素であり、図６のＮＨ×ＮＨ個の画素Ｑ（１）〜Ｑ（９）に対応する。図１８で取り出される行は、図６のＮＨ×ＮＨ個の画素Ｑ（１）〜Ｑ（９）の算出に用いられる係数から成る行であり、ＮＬ×ＮＬ個の画素のうち、太線ＨＰｃで囲まれる領域内にある、画素Ｐ（７）、Ｐ（８）、Ｐ（９）、Ｐ（１２）、Ｐ（１３）、Ｐ（１４）、Ｐ（１７）、Ｐ（１８）、Ｐ（１９）に対応する行Ｒ（７）、Ｒ（８）、Ｒ（９）、Ｒ（１２）、Ｒ（１３）、Ｒ（１４）、Ｒ（１７）、Ｒ（１８）、Ｒ（１９）であり、これらの行は、図１８には、左端に丸印が付してある。

以上の処理がパターン判別信号の２５７個の値の各々について行われ、係数データ記憶部１０６には、パターン判別信号の２５７個の値の各々に対応した係数データＭが記憶される。

上記の係数データの生成方法は、高解像度化変換部１０３による変換が線形である場合についてのものであるが、非線形である場合についても公知の最適化手法を用いて係数データを算出することが可能である。
以上が係数データの生成方法の説明である。

次に実施の形態１の画像処理装置による効果を説明する。
実施の形態１の画像処理装置では、パッチ毎に行う高解像度化変換処理において、パターン判別部１０７が入力画像Ｄｉｎの局所領域のパターンを判別し、係数データ選択部１０８がパターン別に記憶された係数データの中から、パターン判別信号Ｄ１０７に応じた係数データを選択するようにした。

これにより、従来のように、１パッチ毎の学習データベースの探索のために、探索ベクトルの次元数分の類似度計算を行う必要がなく、各パッチについて、入力画像Ｄｉｎの局所領域の画素群からパターン判別信号Ｄ１０７を生成し、生成したパターン判別信号Ｄ１０７により係数データを選択すればよい。従って、回路規模を削減することができる。

また、パターン判別部１０７のＬＢＰ算出部２０２において、局所二値パターン（ＬＢＰ）を使ってパターン判別するようにした。このため、注目画素の近傍８画素の画素値と平均値ＡＶＥの比較演算だけでパターン番号Ｐｎｕｍを決定することが可能であり、パターン番号Ｐｎｕｍの決定に必要な回路規模を削減できる。

また、パターン判別にＬＢＰを用いることで、係数データ記憶部１０６は、２５６通りのパターン番号Ｐｎｕｍに対応する係数データと、平坦判定信号Ｆｌａｔが「１」である場合に対応する係数データの合計２５７組の係数データを保持すればよく、学習データベースに大量の数のパッチを蓄える必要がないので、メモリ容量を削減できる。

さらに、パターン判別部１０７の平坦判定部２０３において、注目画素の近傍８画素の画素値と平均値ＡＶＥの差分絶対値の平均ｄｉｆｆを算出し、予め設定した閾値ｓｉｇと比較することにより平坦判定を行い、パッチが平坦であると判定された場合には、高解像度化変換部１０３において画素値の大きな変更が行われないようにした。

これにより、注目パッチにノイズが混入し、差分絶対値の平均ｄｉｆｆが閾値ｓｉｇ未満である場合には平坦と判定され、高解像度化変換部１０３での処理が行われないため、ノイズのパターンによる影響を受けた、係数データの誤選択（本来参照すべきものとは異なるものの選択）により生じる画質劣化を防止することができる。

とくにパターン判別にＬＢＰを用いる場合、従来の方法では、ノイズ耐性が低いという欠点があった。ＬＢＰ算出では、注目画素の近傍８画素の画素値と平均値ＡＶＥの差分値の大きさにかかわらずその大小のみでパターンを決定するため、画素値の変化が小さく平坦な領域であってもノイズのパターンを特定のパターンとして判別してしまう。この場合、高解像度化変換部１０３で実際のパターンとは異なるノイズのパターンを強調する処理が行われ、画質が劣化する。

これに対して、画素値の変化が小さい領域を平坦領域と判定し、平坦領域では高解像度化変換部１０３において画素値の大きな変更が行われないようにすることで、ＬＢＰを用いる場合の回路規模、メモリ容量が小さいという利点を保ちつつ、ノイズのパターンを強調することによる画質劣化を多くの場合で回避することができる。これによりノイズへの耐性が向上する。

以上本発明を画像処理装置として説明したが、画像処理装置で実施される画像処理方法もまた本発明の一部を成す。上記の画像処理装置を構成する要素の一部又は全部、或いは上記画像処理方法における処理の一部又は全部は、ソフトウェアにより、即ちプログラムされたコンピュータによって実現することができる。

以上で説明したように、本発明によれば、回路規模、メモリ容量を削減しつつ、ノイズへの耐性を向上させて、ハードウェア化に適した高品質な高解像度化を行うことができる。

１０１ 画像拡大部、 １０２ 特徴成分分離部、 １０３ 高解像度化変換部、 １０４ 特徴成分合成部、 １０５ パッチ平均化部、 １０６ 係数データ記憶部、 １０７ パターン判別部、 １０８ 係数データ選択部、 ２０１ 平均部、 ２０２ ＬＢＰ算出部、 ２０３ 平坦判定部、 ２０４ パターン判別信号生成部、 ３０１ 画像拡大部、 ３０２ 特徴成分分離部、 ３０７ パターン判別部、 ４０１ 画像縮小部、 ４０２ 特徴成分分離部、 ４０３ 分類部、 ４０４ 演算部、 ４０５ 係数データ抽出部。

Claims (9)

1. 入力画像を拡大し低解像度拡大画像を生成する画像拡大部と、
   前記低解像度拡大画像をそのパッチごとに低解像度の特徴成分と非特徴成分に分離する特徴成分分離部と、
   前記低解像度の特徴成分を高解像度の特徴成分に変換する高解像度化変換部と、
   前記高解像度の特徴成分と前記非特徴成分を合成して高解像度パッチを生成する特徴成分合成部と、
   各画素について１つ以上の前記高解像度パッチの値を平均化することで出力画像を生成するパッチ平均化部と、
   複数の互いに異なるパターンにそれぞれ対応する複数組の係数データを記憶する係数データ記憶部と、
   前記入力画像のうちの前記低解像度拡大画像のパッチに対応する局所領域のパターンを判別し、判別結果を示すパターン判別信号を出力するパターン判別部と、
   前記係数データ記憶部に記憶されている複数組の係数データから前記パターン判別信号に応じた組の係数データを選択して出力する係数データ選択部とを有し、
   前記高解像度化変換部は、前記係数データ選択部で選択された前記係数データを用いて、前記低解像度の特徴成分を前記高解像度の特徴成分に変換する
   ことを特徴とする画像処理装置。
2. 前記パターン判別部は、前記入力画像の局所領域のパターンが平坦であるかどうかを判定する平坦判定部を備え、
   前記係数データ選択部は、前記平坦判定部の判定結果に応じて前記係数データの選択を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記平坦判定部の判定結果が平坦である場合に選択される前記係数データは、前記高解像度化変換部における変換で画素値の大きな変更が行われないような係数データであることを特徴とする請求項２に記載の画像処理装置。
4. 前記パターン判別部は、前記入力画像の局所領域のパターンが平坦であるかどうかを判定する平坦判定部を備え、
   前記高解像度化変換部は、
   前記平坦判定部の判定結果が平坦でないことを示す場合には前記係数データを用いて前記低解像度の特徴成分を変換したものを前記高解像度の特徴成分として出力し、
   前記平坦判定部の判定結果が平坦であることを示す場合には前記係数データを用いず、前記低解像度の特徴成分の全部または一部をそのまま前記高解像度の特徴成分として出力する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記パターン判別部は、
   前記入力画像のうちの前記低解像度拡大画像のパッチの中心に対応する位置の画素を注目画素として、前記注目画素を中心とする局所領域の画素の画素値の平均値を求める平均部と、
   前記注目画素の周辺画素の画素値と前記平均値を比較し、各画素についての比較の結果の組合せを表すパターン番号を生成するＬＢＰ算出部と、
   前記注目画素の周辺画素の画素値と前記平均値の差分絶対値の平均が予め定められた閾値よりも小さいか否かに基づいて当該領域が平坦かどうかを判定して平坦判定信号を出力する平坦判定部と、
   前記パターン番号と前記平坦判定信号からパターン判別信号を生成するパターン判別信号生成部とを有する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記パターン判別部は、
   前記入力画像のうちの前記低解像度拡大画像のパッチの中心に対応する位置の画素を注目画素として、前記注目画素を中心とする局所領域の画素の画素値の平均値を求める平均部と、
   前記注目画素の周辺画素の画素値と前記平均値を比較し、各画素についての比較の結果の組合せを表すパターン番号を前記パターン判別信号として出力するＬＢＰ算出部と、
   前記注目画素の周辺画素の画素値と前記平均値の差分絶対値の平均が予め定められた閾値よりも小さいか否かに基づいて当該領域が平坦かどうかを判定して平坦判定信号を出力する平坦判定部とを有し、
   前記高解像度化変換部は、前記平坦判定信号を受けて、
   前記平坦判定信号が平坦でないことを示す場合には前記係数データを用いて前記低解像度の特徴成分を変換したものを前記高解像度の特徴成分として出力し、
   前記平坦判定信号が平坦であることを示す場合には前記係数データを用いず、前記低解像度の特徴成分の全部または一部をそのまま前記高解像度の特徴成分として出力する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記特徴成分分離部により分離される前記非特徴成分は、当該パッチを構成する画素の画素値の平均値であり、前記特徴成分分離部により分離される前記低解像度の特徴成分は、当該パッチを構成する画素の画素値の、前記平均値に対する差分で構成されることを特徴とする請求項１から６までのいずれかに記載の画像処理装置。
8. 前記特徴成分合成部は、前記非特徴成分を前記特徴成分に加算することで前記合成を行うことを特徴とする請求項７に記載の画像処理装置。
9. 入力画像を拡大し低解像度拡大画像を生成する画像拡大ステップと、
   前記低解像度拡大画像をそのパッチごとに低解像度の特徴成分と非特徴成分に分離する特徴成分分離ステップと、
   前記低解像度の特徴成分を高解像度の特徴成分に変換する高解像度化変換ステップと、
   前記高解像度の特徴成分と前記非特徴成分を合成して高解像度パッチを生成する特徴成分合成ステップと、
   各画素について１つ以上の前記高解像度パッチの値を平均化することで出力画像を生成するパッチ平均化ステップと、
   前記入力画像のうちの前記低解像度拡大画像のパッチに対応する局所領域のパターンを判別し、判別結果を示すパターン判別信号を出力するパターン判別ステップと、
   係数データ記憶部に、複数の互いに異なるパターンにそれぞれ対応して記憶されている複数組の係数データから、前記パターン判別信号に応じた組の係数データを選択して出力する係数データ選択ステップとを有し、
   前記高解像度化変換ステップは、前記係数データ選択ステップで選択された前記係数データを用いて、前記低解像度の特徴成分を前記高解像度の特徴成分に変換する
   ことを特徴とする画像処理方法。

Images