JP5891916B2 - 画像拡大処理装置 - Google Patents

Description

本発明は、原画像を拡大して拡大画像を生成する技術に関し、特に、フラクタルを用いて原画像の拡大処理を行う技術に関する。

一般的なデジタル画像は、所定の画素値をもった画素を縦横に並べた配列によって構成され、そのサイズは、配列を構成する画素数によって定まる。したがって、このようなデジタル画像を拡大するためには、配列を構成する画素数を増やす必要がある。そのため、通常、原画像に含まれている既存の画素の画素値を利用した補間処理を行い、新たな画素の画素値を決定する演算処理が行われる。

たとえば、下記の特許文献１には、原画像上の注目画素の周囲の画素についての画素値の分布状態を評価することにより、新たな画素の画素値を決定し、注目画素を（Ｎ×Ｍ）画素に拡大する画像拡大処理方法が開示されている。また、特許文献２には、注目画素を含む所定領域に対してエッジ方向情報を推定する処理を行い、推定したエッジ方向に応じたエッジ形状パターンを選択することにより、ボケやジャギーの発生を抑制した画像拡大処理を行う方法が開示されている。

一方、特許文献３には、フラクタルを用いた拡大処理方法が開示されている。この方法は、原画像のもつ自己相似性を利用して、原画像の一部分の領域を、同じ原画像に含まれるより広い領域の類似するパターンによって置き換えることにより、解像度を向上させる手法であり、一般的な補間法を利用した拡大処理に比べて、高周波成分の損失が少ない高品質な拡大画像が得られる利点がある。

特開平７−１８２５０３号公報 特開２００３−２７４１５７号公報 特開平１１−００８７５８号公報

前掲の特許文献１，２に開示されている一般的な補間法を利用した画像拡大処理は、そもそも原画像には含まれていなかった新たな画素についての情報を、近隣に位置する既存の画素の情報から推定する、という基本原理に基づくものであるため、高品質な拡大画像を得ることが困難である。たとえば、特許文献１に開示されている手法では、画像のコントラストのみに基づいてエッジ部の認識が行われるため、エッジの方向再現性を確保することが困難である。また、特許文献２に開示されている手法では、濃度差の大きいエッジに関する再現性は確保できるが、濃度差の小さいエッジに関する再現性に問題が生じることになる。

これに対して、特許文献３に開示されているフラクタルを用いた拡大処理では、原画像自身にもともと含まれていた情報を利用して補間が行われるため、エッジ再現性などに優れた高品質な拡大画像が得られるものとされている。しかしながら、原画像の一部分の領域を、より広い領域のパターンによって置き換える際に、もとの領域に対する当該パターンの類似度が十分でないと、拡大画像上にノイズ成分が現れ、画質が低下するという別な問題が生じることになる。

そこで本発明は、フラクタルを用いて拡大処理を行うという基本原理を採用しつつ、ノイズ成分の少ない高品質な拡大画像を得ることができる画像拡大処理装置および画像拡大処理方法を提供することを目的とする。

(1) 本発明の第１の態様は、原画像を拡大して拡大画像を生成する処理を行う画像拡大処理装置において、
拡大対象となる原画像を入力する原画像入力部と、
入力した原画像を、所定の画素値をもった画素の配列を示す画像データとして格納する原画像格納用メモリと、
原画像を所定の回転角θだけ回転させることにより得られる回転画像を、原画像格納用メモリに格納されている画像データを用いた補間演算により生成する回転画像演算部と、
生成された回転画像を、所定の画素値をもった画素の配列を示す画像データとして格納する回転画像格納用メモリと、
原画像格納用メモリに格納されている原画像上に、複数画素の配列からなるレンジセルを、少なくとも拡大対象領域がカバーされるように定義し、定義した個々のレンジセルを、順次、着目レンジセルとして抽出するレンジセル抽出部と、
回転画像格納用メモリに格納されている回転画像上に、レンジセルを構成する画素配列よりも大きな画素配列からなるドメインセルを複数組定義し、個々のドメインセルを、順次、着目ドメインセルとして抽出するドメインセル抽出部と、
抽出された着目レンジセルの画素値変動分布と抽出された着目ドメインセルの画素値変動分布との類似度を判定する類似度判定部と、
個々のレンジセルのそれぞれについて、最も高い類似度が得られた最適ドメインセルを特定する情報を格納する判定結果格納部と、
個々のレンジセルを構成する画素配列からなる被置換画素群を、当該レンジセルについての最適ドメインセルを構成する画素の画素値変動分布を参照することにより画素値が決定された、当該最適ドメインセルと同じ大きさの画素配列からなる置換画素群に置換することにより拡大画像を生成するセル合成部と、
セル合成部によって生成された拡大画像に対して、画素値の修正処理を行う修正処理部と、
修正処理部によって修正された拡大画像を出力する拡大画像出力部と、
を設け、
修正処理部が、隣接配置された複数組の置換画素群の境界部分の画素値の不連続性を平滑化するための画像平滑フィルタを作用させる平滑化処理を行う平滑処理部と、置換画素群を構成する画素の画素値を被置換画素群を構成する画素の画素値により近づけるための輝度値調整処理を行う輝度調整部と、を有し、第ｋ回目の平滑化処理および輝度値調整処理が完了した後に、第（ｋ＋１）回目の平滑化処理および輝度値調整処理が実行されるように、平滑化処理と輝度値調整処理とを交互に繰り返し実行し、
第ｋ回目の輝度値調整処理では、置換画素群上に定義されたローカル座標系ｘｙで示される位置に配置されている修正後画素値ｑ _ｋ （ｘ，ｙ）を、
ｑ _ｋ （ｘ，ｙ）＝ｄ′（ｘ，ｙ）×α _ｋ ＋ｑ _ｋ−１ （ave）
ここで、
ｄ′（ｘ，ｙ）＝ｄ（ｘ，ｙ）−ｄ（ave）
α _ｋ は所定の輝度変換パラメータ
ｑ _ｋ−１ （ave）は、置換画素群についての修正前画素値の平均
ｄ（ave）は、最適ドメインセルの各画素の画素値の平均
ｄ（ｘ，ｙ）は、最適ドメインセルのローカル座標系ｘｙで示される位置
に配置されている画素の画素値
なる演算式によって算出するようにしたものである。

(2) 本発明の第２の態様は、上述した第１の態様に係る画像拡大処理装置において、
レンジセルをａ行ｂ列に配列された画素の集合体によって構成し、
ドメインセルを（Ｍ×ａ）行（Ｍ×ｂ）列に配列された画素の集合体によって構成し、
セル合成部が、原画像に対して縦横それぞれＭ倍の解像度を有する拡大画像を生成するようにしたものである。

(3) 本発明の第３の態様は、上述した第２の態様に係る画像拡大処理装置において、
レンジセル抽出部が、Ａ行Ｂ列の画素配列からなる原画像上において、ａ行ｂ列に配置された画素を包含するセル枠を、行方向にａ画素ピッチ、列方向にｂ画素ピッチで移動させることにより、合計（Ａ／ａ）×（Ｂ／ｂ）組のレンジセルを定義するようにしたものである。

(4) 本発明の第４の態様は、上述した第２の態様に係る画像拡大処理装置において、
レンジセル抽出部が、Ａ行Ｂ列の画素配列からなる原画像上において、ａ行ｂ列に配置された画素を包含するセル枠を、行方向に１画素ピッチ、列方向に１画素ピッチで移動させることにより、合計（Ａ−ａ＋１）×（Ｂ−ｂ＋１）組のレンジセルを、相互に部分的な重なりを許して定義し、
セル合成部が、拡大画像を構成する個々の画素の画素値を決定する際に、当該画素位置に複数のレンジセルが重なり合って定義されていた場合には、これら複数のレンジセルのそれぞれについての最適ドメインセルの画素値変動分布を参照した決定処理を行うようにしたものである。

(5) 本発明の第５の態様は、上述した第２〜第４の態様に係る画像拡大処理装置において、
ドメインセル抽出部が、Ａ行Ｂ列の画素配列からなる原画像上において、（Ｍ×ａ）行（Ｍ×ｂ）列に配列された画素を包含するセル枠を、行方向に１画素ピッチ、列方向に１画素ピッチで移動させることにより、合計（Ａ−（Ｍ×ａ）＋１）×（Ｂ−（Ｍ×ｂ）＋１）組のドメインセルを定義するようにしたものである。

(6) 本発明の第６の態様は、上述した第２〜第５の態様に係る画像拡大処理装置において、
類似度判定部が、着目ドメインセル内の画像を縦横それぞれ１／Ｍに縮小して縮小ドメインセルを生成し、縮小ドメインセルを構成する個々の画素の画素値と、着目レンジセルを構成する個々の画素の画素値とについて、両者が近づくように輝度変換処理を施し、輝度変換処理後の縮小ドメインセルの個々の画素の画素値と着目レンジセルの個々の画素の画素値とを比較することにより類似度の判定を行うようにしたものである。

(7) 本発明の第７の態様は、上述した第２〜第５の態様に係る画像拡大処理装置において、
類似度判定部が、
着目レンジセルＲを構成する個々の画素について、その画素値ｒの平均であるレンジセル平均値ｒ（ave）を求めるレンジセル平均値算出部と、
着目レンジセルＲを構成する個々の画素について、その画素値ｒとレンジセル平均値ｒ（ave）との差を示す差分値ｒ′を求め、求めた差分値ｒ′を画素値とするレンジセル差分画像Ｒ′を生成するレンジセル差分画像生成部と、
着目ドメインセルＤ内の画像を縦横それぞれ１／Ｍに縮小して縮小ドメインセルＳＤを得る縮小処理部と、
縮小ドメインセルＳＤを構成する個々の画素について、その画素値ｓｄの平均である縮小ドメインセル平均値ｓｄ（ave）を求めるドメインセル平均値算出部と、
縮小ドメインセルＳＤを構成する個々の画素について、その画素値ｓｄと縮小ドメインセル平均値ｓｄ（ave）との差を示す差分値ｓｄ′を求め、求めた差分値ｓｄ′を画素値とする縮小ドメインセル差分画像ＳＤ′を生成する縮小ドメインセル差分画像生成部と、
レンジセル差分画像Ｒ′内のｘ行ｙ列目の画素の画素値をｒ′（ｘ，ｙ）、縮小ドメインセル差分画像ＳＤ′内のｘ行ｙ列目の画素の画素値をｓｄ′（ｘ，ｙ）としたときに、
α＝Σ_x,y ［ｒ′（ｘ，ｙ）・ｓｄ′（ｘ，ｙ）］／
Σ_x,y ［ｓｄ′（ｘ，ｙ）］^２
なる式で与えられる輝度変換パラメータαを求める輝度変換パラメータ算出部と、
レンジセル差分画像Ｒ′内の各画素の画素値ｒ′（ｘ，ｙ）と、縮小ドメインセル差分画像ＳＤ′内の各画素の画素値ｓｄ′（ｘ，ｙ）と、輝度変換パラメータαと、に基づいて、
Ｅ＝Σ_x,y ［ｒ′（ｘ，ｙ）−α・ｓｄ′（ｘ，ｙ）］^２
なる式で与えられる誤差値Ｅを求める誤差値算出部と、
を有し、誤差値Ｅが小さいほど、着目レンジセルの画素値変動分布と着目ドメインセルの画素値変動分布との類似度が高いと判定するようにしたものである。

(8) 本発明の第８の態様は、上述した第７の態様に係る画像拡大処理装置において、
セル合成部が、置換画素群を構成する（Ｍ×ａ）行（Ｍ×ｂ）列の画素配列のうちのｘ行ｙ列目の画素の画素値ｑ（ｘ，ｙ）を、最適ドメインセルの各画素の画素値の平均をｄ（ave）、最適ドメインセルのｘ行ｙ列目の画素の画素値をｄ（ｘ，ｙ）として、
ｑ（ｘ，ｙ）＝（ｄ（ｘ，ｙ）−ｄ（ave））×α＋ｒ（ave）
なる式を用いた演算により決定するようにしたものである。

(9) 本発明の第９の態様は、上述した第８の態様に係る画像拡大処理装置において、
ドメインセル平均値算出部が、縮小ドメインセル平均値ｓｄ（ave）を求める機能とともに、ドメインセルＤを構成する個々の画素について、その画素値ｄの平均であるドメインセル平均値ｄ（ave）を求める機能を有し、
判定結果格納部が、個々のレンジセルのそれぞれについて、最も高い類似度が得られた最適ドメインセルを特定するための回転角θおよびセル位置を示す情報とともに、当該最適ドメインセルについての輝度変換パラメータαおよびドメインセル平均値ｄ（ave）、ならびに、レンジセル平均値ｒ（ave）を格納する機能を有し、
セル合成部が、判定結果格納部に格納されている輝度変換パラメータα、ドメインセル平均値ｄ（ave）、レンジセル平均値ｒ（ave）を利用して、画素値ｑ（ｘ，ｙ）を決定するための演算を行うようにしたものである。

(10) 本発明の第１０の態様は、上述した第１〜第９の態様に係る画像拡大処理装置において、
回転画像演算部が、回転前の原画像の各画素位置を基準点として、個々の基準点について、回転後の原画像を構成する画素のうちの当該基準点の近傍にある参照画素の画素値を用いた補間演算を行うことにより補間画素値を求め、これら補間画素値を有する各基準点位置に配置された画素の集合体として回転画像の生成を行うようにしたものである。

(11) 本発明の第１１の態様は、上述した第１０の態様に係る画像拡大処理装置において、
原画像格納用メモリおよび回転画像格納用メモリが、それぞれ矩形画像の画像データを格納する機能を有し、
回転画像演算部が、基準点の近傍に参照画素が存在しないために当該基準点についての補間画素値を求めることができない場合には、当該基準点位置に配置された画素については画素値の定義を行わず、
ドメインセル抽出部が、一部もしくは全部の画素について画素値の定義が行われていないドメインセルについては、着目ドメインセルとしての抽出を行わないようにしたものである。

(12) 本発明の第１２の態様は、上述した第１０の態様に係る画像拡大処理装置において、
原画像格納用メモリおよび回転画像格納用メモリが、それぞれ矩形画像の画像データを格納する機能を有し、
回転画像格納用メモリのサイズが、補間画素値を求めることができる位置に配置された画素のみから構成される回転画像を格納するのに適したサイズとなるように、原画像格納用メモリのサイズよりも小さく設定されているようにしたものである。

(13) 本発明の第１３の態様は、上述した第１０の態様に係る画像拡大処理装置において、
原画像格納用メモリおよび回転画像格納用メモリが、それぞれ矩形画像の画像データを格納する機能を有し、
所定の変動範囲内の回転角θだけ回転させることにより得られる複数通りの回転画像をすべて包摂することが可能な包摂矩形内の画像を収容することができるように、回転画像格納用メモリのサイズが、原画像格納用メモリのサイズよりも大きく設定されており、
回転画像演算部が、基準点の近傍に参照画素が存在しないために当該基準点についての補間画素値を求めることができない場合には、当該基準点位置に配置された画素については画素値の定義を行わず、
ドメインセル抽出部が、一部もしくは全部の画素について画素値の定義が行われていないドメインセルについては、着目ドメインセルとしての抽出を行わないようにしたものである。

(14) 本発明の第１４の態様は、上述した第１０の態様に係る画像拡大処理装置において、
原画像格納用メモリおよび回転画像格納用メモリが、それぞれ矩形画像の画像データを格納する機能を有し、
回転画像演算部が、原画像の周囲に当該原画像の複製画像を配置した拡張原画像を作成した上で、当該拡張原画像を利用した補間演算によって、回転画像格納用メモリ内に回転画像を生成する処理を行うようにしたものである。

(15) 本発明の第１５の態様は、上述した第１４の態様に係る画像拡大処理装置において、
所定の変動範囲内の回転角θだけ回転させることにより得られる複数通りの回転画像をすべて包摂することが可能な包摂矩形内の画像を収容することができるように、回転画像格納用メモリのサイズが、原画像格納用メモリのサイズよりも大きく設定されているようにしたものである。

(16) 本発明の第１６の態様は、上述した第１４または第１５の態様に係る画像拡大処理装置において、
原画像の輪郭矩形の外側の上下左右の四方に、それぞれ輪郭矩形の上下左右の辺を複製基準軸として原画像に対して複製基準軸に関して鏡像関係となる複製画像を配置することにより拡張原画像を作成するようにしたものである。

(17) 本発明の第１７の態様は、上述した第１６の態様に係る画像拡大処理装置において、
原画像の輪郭矩形の４頂点の各外側近傍の隙間領域に、当該頂点を中心として原画像を１８０°回転して得られる複製画像を配置することにより拡張原画像を作成するようにしたものである。

(18) 本発明の第１８の態様は、上述した第１〜第１７の態様に係る画像拡大処理装置において、
判定結果格納部が、個々のレンジセルのそれぞれについて、現段階で最も高い類似度が得られた仮最適ドメインセルに関する情報を格納する格納領域を有し、類似度判定部から特定のレンジセルについての新たな着目ドメインセルに対する類似度の判定結果が得られたときに、当該特定のレンジセルについて現段階で格納されている仮最適ドメインセルについての類似度と新たな着目ドメインセルに対する類似度とを比較し、前者よりも後者の方が高い場合にのみ、前者を後者によって書き換える処理を行い、類似度判定部から全ドメインセルに対する類似度の判定結果が得られた時点で格納されていた仮最適ドメインセルを最終的な最適ドメインセルとするようにしたものである。

(19) 本発明の第１９の態様は、上述した第１〜第１８の態様に係る画像拡大処理装置において、
原画像入力部が複数の原色プレーンからなるカラー画像を原画像として入力する機能を有し、
原画像格納用メモリおよび回転画像格納用メモリが、それぞれ原色プレーンごとの画像データを別個独立して格納する機能を有し、
セル合成部が、原色プレーンごとの拡大画像を別個独立して生成する機能を有し、
拡大画像出力部が、複数の原色プレーンからなるカラー画像を拡大画像として出力する機能を有するようにしたものである。

(20) 本発明の第２０の態様は、コンピュータにプログラムを組み込むことにより、上述した第１〜第１９の態様に係る画像拡大処理装置として機能させるようにしたものである。

(21) 本発明の第２１の態様は、上述した第１〜第１９の態様に係る画像拡大処理装置を、論理素子およびメモリが組み込まれた半導体集積回路によって構成したものである。

本発明では、原画像を任意の回転角θだけ回転させた回転画像が生成され、この回転画像上で定義されたドメインセルの中から、レンジセルに対する類似度が最も高いものが最適ドメインセルとして選択される。そして、この最適ドメインセル内の画素値変動分布を参照して、レンジセルを置換する置換画素群が求められる。このため、回転角θをきめ細かく変化させることにより、多数のバリエーションをもった回転画像を生成することができるようになり、多数のバリエーションをもったドメインセルを定義することができるようになる。そして、この多数のバリエーションをもったドメインセルの中から最適ドメインセルが選択されるため、原画像上のもとの領域に対して極めて類似度の高い最適ドメインセルを利用した拡大処理が可能になる。その結果、ノイズ成分の少ない高品質な拡大画像を得ることができる。

一般的なデジタル画像の拡大処理の原理を示す平面図である。 画像拡大処理に利用される一般的な画素補間方法のいくつかを示す図である。 フラクタルを用いた画像拡大処理で定義されるレンジセルＲの一例を示す平面図である。 フラクタルを用いた画像拡大処理で定義されるドメインセルＤの一例を示す平面図である。 フラクタルを用いた画像拡大処理の基本手順を示す図である。 図５に示す基本手順における「Ｔ６：比較処理」で利用される演算式を示す図である。 レンジセルＲ（ｉ，ｊ）を構成する被置換画素群を置換画素群Ｑ（Ｒ（ｉ，ｊ））で置換する処理を示す図である。 ドメインセルＤ（ｍ，ｎ）を構成する画素の配置転換例を示す図である。 本発明の特徴となる原画像Ｐinの回転処理を示す平面図である。 図９に示す回転処理によって回転画像を生成する方法を示す平面図である。 回転処理に基づく画素位置の座標変換処理の一例を示す平面図である。 本発明に係る画像拡大処理方法の基本手順を示す流れ図である。 図１２に示す拡大画像修正処理（ステップＳ１６）の一例を示す図である。 本発明に係る画像拡大処理装置の基本構成を示すブロック図である。 回転画像格納用メモリ４０に格納される画像の輪郭矩形Ｃと角θだけ回転した原画像Ｐinとの位置関係の第１のバリエーションを示す平面図である。 回転画像格納用メモリ４０に格納される画像の輪郭矩形Ｃと角θだけ回転した原画像Ｐinとの位置関係の第２のバリエーションを示す平面図である。 回転画像格納用メモリ４０に格納される画像の輪郭矩形Ｃと角θだけ回転した原画像Ｐinとの位置関係の第３のバリエーションを示す平面図である。 図１７に示す第３のバリエーションにおいて、拡張原画像を利用した回転画像の生成例を示す平面図である。 拡大画像の品質評価に用いられる式を示す図である。 拡大画像の品質の比較を示すグラフである。 拡大画像の品質の比較に利用した原画像を示す図である。 ３通りの方法で得られた拡大画像を示す図である。

以下、本発明を図示する実施形態に基づいて説明する。

＜＜＜ §１． 一般的な画像拡大処理の原理 ＞＞＞
原画像を拡大して拡大画像を生成するには、原画像に含まれている情報を補間して、その情報量を増やす処理を行う必要がある。図１は、一般的なデジタル画像の拡大処理の原理を示す平面図であり、Ａ×Ｂの画素配列をもつ原画像Ｐinを、縦横それぞれ２倍に拡大して、２Ａ×２Ｂの画素配列をもつ拡大画像Ｐoutを生成した例が示されている。画像拡大処理装置は、入力した原画像Ｐinに基づいて拡大画像Ｐoutを生成し、これを出力する処理を行うことになる。

図１に示す例の場合、原画像Ｐinの各画素を、それぞれ２×２に配列された４画素に置き換えることにより拡大画像Ｐoutを生成することができる。たとえば、原画像Ｐinの左上の１画素（ハッチングを施した画素）は、拡大画像Ｐoutの左上の４画素（ハッチングを施した画素）に置き換えられることになる。このように、原画像の１画素を４画素に置き換えるためには、当該１画素の近傍に新たに３画素を追加して定義すればよい。既存の画素の近傍に新たな画素を追加する場合、当該新たな画素の画素値は、既存の画素の画素値を用いた補間によって求めることができる。

図２は、画像拡大処理に利用される一般的な画素補間方法のいくつかを示す図である。いずれも○印は、原画像上の既存画素の中心位置を示し、×印は新たに定義される補間画素の中心位置を示している。ここで行う補間処理は、○印で示す既存画素の画素値に基づいて、×印で示す補間画素の画素値を決定する処理ということになる。

まず、図２(a) に示す「ニアレストネイバー法」は、新たに補間画素Ｑを追加する場合に、当該補間画素Ｑの画素値として、最も近傍にある既存画素の画素値をそのまま流用する方法である。たとえば、図示のとおり、原画像上に、互いに隣接した４つの既存画素Ｐａ〜Ｐｄが存在し、これら既存画素Ｐａ〜Ｐｄの間に新たに補間画素Ｑを定義する場合、当該補間画素Ｑの画素値として、最も近傍にある既存画素Ｐｂの画素値がそのまま流用されることになる。この方法は、画素値に対する演算が一切不要であるため、演算負担は極めて低いものの、得られた拡大画像の品質は粗悪なものにならざるを得ない。

一方、図２(b) に示す「バイリニア法」は、隣接する２つの既存画素からの距離に応じた線形補間値を求める方法である。図のグラフにおける横軸は、各画素の一次元方向の位置を示しており、縦軸は各画素の画素値を示している。図示の例は、隣接配置された２つの既存画素Ｐａ，Ｐｂの間に、新たに２つの補間画素Ｑｃ，Ｑｄを定義する際に、これら補間画素Ｑｃ，Ｑｄの画素値の決定方法を示すものである。図示のとおり、グラフ上で既存画素Ｐａ，Ｐｂの画素値を示す点を結ぶ線形補間ラインＦを引き、この線形補間ラインＦ上の点として、補間画素Ｑｃ，Ｑｄの画素値を示す点をプロットすればよい。この方法では、比較的簡単な線形演算により補間画素の画素値を算出できるが、画素値の空間的な変化が線形性をもっていることを前提とする補間処理であるため、やはり高品質な拡大画像を得ることはできない。

また、図２(c) に示す「バイキュービック法」は、補間画素Ｑの周囲に位置する複数の既存画素（図示の例の場合、１６個の既存画素Ｐ１〜Ｐ１６）の位置およびその画素値に基づいた補間演算により、補間画素Ｑの画素値を算出する方法である。演算負担は重くなるが、近傍領域に存在する多数の既存画素の情報を利用した高度な補間を行うことができる。

しかしながら、図２に例示した一般的な補間法を利用した画像拡大処理は、いずれも、原画像上の既存画素の情報に基づいて、新たに定義する補間画素の画素値を推定するという基本原理に基づく処理ということになる。このように既存画素の情報に基づく推定処理には限界があり、特に、画像のエッジ部分の再現性を確保するのが困難である。

これに対して、本発明が利用するフラクタルを用いた拡大処理の基本原理は、原画像の一部分の領域を、同じ原画像内のより広い領域の類似するパターンによって置き換える、という手法を採るものである。以下、この基本原理を簡単に説明する。

一般に、自然界に存在する多くの物は、その全体を巨視的に観察しても、一部を拡大して微視的に観察しても、相互に類似した形状をなす性質を有しているとされ、そのような幾何学的な自己相似性をもつ性質が、一般にフラクタルと呼ばれている。具体的には、リアス式海岸の海岸線、樹木の枝葉の形状、生物の体内組織の形状などに、代表的なフラクタル構造が見られる。したがって、このような自然界の万物をモチーフとして含む一般的な画像にも、多くのフラクタル構造が含まれていると考えられている。フラクタルを用いた拡大処理は、原画像に含まれるフラクタル構造に着目し、その自己相似性を利用した置換処理によって画像の解像度を向上させる処理ということができる。

フラクタルを用いた画像拡大処理では、まず、原画像上に複数のレンジセルが定義される。図３は、原画像Ｐin上に定義した複数のレンジセルの一例を示す平面図である。ここでは説明の便宜上、縦方向サイズが１２画素、横方向サイズが１６画素という画素配列からなる原画像Ｐin上に、縦横のサイズがそれぞれ２画素の画素配列からなるレンジセルＲ（図に太線で囲って示す４画素分のセル）を定義した場合を例にとって説明する。別言すれば、ここに示す例の場合、原画像Ｐinを横方向に８分割、縦方向に６分割することにより、合計４８組のレンジセルＲが定義されていることになる。

ここでは、便宜上、個々のレンジセルを符号「Ｒ（ｉ，ｊ）」で示すことにする。ここで、ｉはレンジセルの縦位置を示すパラメータであり、当該レンジセルの左上隅の画素が位置する行数を示し、ｊはレンジセルの横位置を示すパラメータであり、当該レンジセルの左上隅の画素が位置する列数を示す。すなわち、レンジセルＲ（ｉ，ｊ）は、原画像Ｐinを構成する画素配列における第ｉ行目、第ｊ列目の画素を左上隅に含むレンジセルということになる。したがって、図３に示す例の場合、原画像Ｐinの最上段には、左から右方向に向かって、レンジセルＲ（１，１），Ｒ（１，３），Ｒ（１，５），... ，Ｒ（１，１５）が順に並び、その下の段には、やはり左から右に向かって、レンジセルＲ（３，１），... が並ぶことになる。

続いて、同じ原画像Ｐin上に複数のドメインセルが定義される。図４は、原画像Ｐin上に定義した複数のドメインセルの一例を示す平面図であり、縦横のサイズがそれぞれ４画素の画素配列からなるドメインセルＤ（図に太線で囲って示す１６画素分のセル）を定義した例が示されている。すなわち、図示の例の場合、原画像Ｐinを横方向に４分割、縦方向に３分割することにより、合計１２組のドメインセルＤが定義されていることになる。

ここでは、便宜上、個々のドメインセルを符号「Ｄ（ｍ，ｎ）」で示すことにする。ここで、ｍはドメインセルの縦位置を示すパラメータであり、当該ドメインセルの左上隅の画素が位置する行数を示し、ｎはドメインセルの横位置を示すパラメータであり、当該ドメインセルの左上隅の画素が位置する列数を示す。すなわち、ドメインセルＤ（ｍ，ｎ）は、原画像Ｐinを構成する画素配列における第ｍ行目、第ｎ列目の画素を左上隅に含むレンジセルということになる。したがって、図４に示す例の場合、原画像Ｐinの最上段には、左から右方向に向かって、ドメインセルＤ（１，１），Ｄ（１，５），Ｄ（１，９），Ｄ（１，１３）が順に並び、その下の段には、やはり左から右に向かって、ドメインセルＤ（５，１），... が並ぶことになる。

レンジセルＲの大きさとドメインセルＤの大きさとの関係は、レンジセルＲを構成する画素配列よりもドメインセルＤを構成する画素配列の方が大きくなるように設定する必要がある。レンジセルＲもドメインセルＤも、同じ原画像Ｐin上に定義された部分領域によって構成されているが、前者の領域よりも後者の領域の方が広域である必要がある。これは、前者の領域を後者の領域によって置き換えることにより、拡大画像を得るために必要な条件である。

本発明に係る拡大処理は、必ずしも縦横等倍の拡大処理に限定されるものではないが、通常の用途では、原画像を縦横等倍に拡大するのが一般的である。そこで、以下、原画像Ｐinに対して縦横それぞれＭ倍の解像度を有する拡大画像を生成する例についての説明を行う。

縦横等倍の拡大処理を行う場合、レンジセルＲをａ行ｂ列に配列された画素の集合体によって構成し、ドメインセルＤを（Ｍ×ａ）行（Ｍ×ｂ）列に配列された画素の集合体によって構成すればよい。後述するように、本発明に係る画像拡大処理装置では、セル合成部によって、個々のレンジセルＲ内の被置換画素群が、ドメインセルＤと同じ大きさの画素配列からなる置換画素群に置換する処理が行われることになるので、レンジセルＲとドメインセルＤの大きさの関係を上述のように設定しておけば、原画像Ｐinに対して縦横それぞれＭ倍に拡大した拡大画像を得ることができる。図３および図４に示す例は、ａ＝２，ｂ＝２，Ｍ＝２に設定した例ということになる。

レンジセルＲは、原画像Ｐin上に、少なくとも拡大対象領域がカバーされるように定義すればよい。図３に示す例では、原画像Ｐinの全領域をカバーするようにレンジセルＲの定義が行われているが、原画像Ｐinの一部分のみを拡大すれば足りるような場合は、当該拡大対象領域をカバーするのに必要なレンジセルＲを定義すればよい。

与えられた原画像全体を拡大対象領域とする一般的な用途の場合には、図３に示す例のように、Ａ行Ｂ列の画素配列（図示の例の場合、Ａ＝１２，Ｂ＝１６）からなる原画像Ｐin上において、ａ行ｂ列（図示の例の場合、ａ＝２，ｂ＝２）に配置された画素を包含するセル枠を、行方向にａ画素ピッチ、列方向にｂ画素ピッチで移動させることにより、合計（Ａ／ａ）×（Ｂ／ｂ）組のレンジセルを定義すれば、原画像Ｐin全体をカバーするレンジセルの定義を行うことができる（なお、後に変形例として述べるように、隣接するレンジセルが一部重なりを生じるような定義を行うことも可能である）。

一方、ドメインセルＤは、できるだけ多くのバリエーションが得られるような定義を行うのが好ましい。図４では、説明の便宜上、相互に重なりが生じないように、合計１２組のドメインセルＤを定義した例を示したが、実用上は、相互に重なりが生じるように、より多数のドメインセルを定義するのが好ましい。これは、特定のレンジセルＲに対する置換画素群を決定する際に、当該レンジセルに最も適した最適ドメインセルの情報を利用するためである。最適ドメインセルを選択する上では、候補となるドメインセルの数が多ければ多いほどよい。

具体的には、原画像Ｐinの左上隅に基本となるドメインセルを定義し、このドメインセルを縦横に１画素ずつ移動させながら、多数のドメインセルの定義を行うようにすればよい。すなわち、Ａ行Ｂ列の画素配列からなる原画像Ｐin上において、（Ｍ×ａ）行（Ｍ×ｂ）列に配列された画素を包含するセル枠を、行方向に１画素ピッチ、列方向に１画素ピッチで移動させることにより、合計（Ａ−（Ｍ×ａ）＋１）×（Ｂ−（Ｍ×ｂ）＋１）組のドメインセルを定義すればよい。このような方法を採れば、Ａ＝１２，Ｂ＝１６，ａ＝２，ｂ＝２，Ｍ＝２という設定例では、合計９×１３＝１１７組のドメインセルが定義できる。

結局、上例の場合、ある特定のレンジセルＲに対する置換処理は、１１７組のドメインセルＤの中から、当該レンジセルＲに最も類似した（後述するように、画素値変動分布が最も類似した）ドメインセルを最適ドメインセルＤとして決定し、この最適ドメインセルＤを参照することにより当該最適ドメインセルと同じ大きさの画素配列からなる置換画素群を求め、この置換画素群によって元のレンジセルＲを置き換えることによって行われることになる。レンジセルＲが２×２の画素配列から構成されるのに対して、置換画素群は４×４の画素配列から構成されるため、縦横２倍に拡大した拡大画像が得られることになる。

このように、フラクタルを用いた拡大処理は、原画像Ｐinにフラクタル構造が存在し自己相似性を有しているとの前提に基づいて、特定のレンジセルＲに最も類似した最適ドメインセルＤ（レンジセルより広域のセル）を同じ原画像Ｐin上で探し出し、この最適ドメインセルＤの画素値変動分布を利用して置換画素群を決定し、当該レンジセルＲの内容を置換する、というものである。図２に示した一般的な補間法が、もともと原画像に含まれていない画素情報を、もともと原画像に含まれていた画素情報に基づいて推定する、という手法を採るのに対して、フラクタルを用いた拡大処理は、原画像上のレンジセル内の画素情報を、もともと原画像に含まれていたより広域の画素情報によって置換する、という手法を採るものであり、高周波成分の損失が少ない高品質な拡大画像が得られる利点があるとされている。

＜＜＜ §２． フラクタルを用いた拡大処理の具体的手順 ＞＞＞
続いて、従来から知られているフラクタルを用いた拡大処理の具体的な手順の一例を説明する。ここでは、§１で述べたように、図３に示す原画像Ｐin上に、合計４８組のレンジセルＲ（２×２の画素配列）を定義するとともに、図４に示すようなドメインセルＤを１画素ピッチで縦横にずらした合計１１７組のドメインセルＤ（４×４の画素配列）を定義したものとしよう。

図５は、このような例におけるフラクタルを用いた画像拡大処理の基本手順を示す図であり、原画像Ｐinから抽出された１つの着目レンジセルＲ（ｉ，ｊ）と、同じく原画像Ｐinから抽出された１つの着目ドメインセルＤ（ｍ，ｎ）と、を比較し、両者の類似度を判定する方法が示されている。

まず、手順Ｔ１において、１つの着目レンジセルＲ（ｉ，ｊ）を抽出する処理、すなわち、着目レンジセルＲ（ｉ，ｊ）を構成する画素の画素値を読み出す処理が行われる。前述したとおり、着目レンジセルＲ（ｉ，ｊ）は、２×２の画素配列からなるセルであり、原画像Ｐin上で第ｉ行目、第ｊ列目に位置する画素を左上隅に含んでいる。ここでは、レンジセルＲを構成する個々の画素（およびその画素値）を小文字「ｒ」で示すことにする。したがって、着目レンジセルＲ（ｉ，ｊ）を構成する４つの画素を原画像Ｐin上の行列座標で示すと、ｒ（ｉ，ｊ），ｒ（ｉ，ｊ＋１），ｒ（ｉ＋１，ｊ），ｒ（ｉ＋１，ｊ＋１）ということになる。

ただ、ここでは、説明の便宜上、着目レンジセルＲ（ｉ，ｊ）上にローカル座標系ｘｙを定義し、各画素（およびその画素値）をｒ（ｘ，ｙ）なる記号で表すことにする。すなわち、ｒ（ｘ，ｙ）は、着目レンジセルＲ（ｉ，ｊ）内のｘ行ｙ列目の画素（およびその画素値）を示しており、図示の例の場合、ｘ＝１または２、ｙ＝１または２ということになる。

続いて、手順Ｔ２において、この着目レンジセルＲ（ｉ，ｊ）内の画素の画素値の平均値ｒ（ave）が求められ、
ｒ′（ｘ，ｙ）＝ｒ（ｘ，ｙ）−ｒ（ave） 式（１）
なる式に基づいて、差分画素値ｒ′（ｘ，ｙ）が算出され、この差分画素値ｒ′（ｘ，ｙ）をもった画素ｒ′（ｘ，ｙ）からなる差分画像Ｒ′（ｉ，ｊ）が生成される。この差分画像Ｒ′（ｉ，ｊ）は、元の着目レンジセルＲ（ｉ，ｊ）に含まれる情報から画素値（輝度値）の変動分布のみを取り出した情報を示すものである。

続いて、手順Ｔ３において、１つの着目ドメインセルＤ（ｍ，ｎ）を抽出する処理、すなわち、着目ドメインセルＤ（ｍ，ｎ）を構成する画素の画素値を読み出す処理が行われる。前述したとおり、着目ドメインセルＤ（ｍ，ｎ）は、４×４の画素配列からなるセルであり、原画像Ｐin上で第ｍ行目、第ｎ列目に位置する画素を左上隅に含んでいる。ここでは、ドメインセルＤ（ｍ，ｎ）を構成する個々の画素（およびその画素値）を小文字「ｄ」で示すことにし、ローカル座標系ｘｙを用いて、各画素（およびその画素値）をｄ（ｘ，ｙ）なる記号で表すことにする。すなわち、ｄ（ｘ，ｙ）は、着目ドメインセルＤ（ｍ，ｎ）内のｘ行ｙ列目の画素（およびその画素値）を示しており、図示の例の場合、ｘ＝１〜４、ｙ＝１〜４ということになる。

続いて、手順Ｔ４において、この着目ドメインセルＤ（ｍ，ｎ）内の画素の画素値の平均値ｄ（ave）が求められ、更に、この着目ドメインセルＤ（ｍ，ｎ）に対する画像縮小処理を行うことにより、縮小ドメインセルＳＤ（ｍ，ｎ）が求められる。ここで、縮小ドメインセルＳＤ（ｍ，ｎ）は、着目レンジセルＲ（ｉ，ｊ）と同じサイズの画素配列をもったセルであり、この例の場合、２×２の画素配列をもったセルになる。要するに、手順Ｔ４における画像縮小処理は、縦横１／Ｍ（この例の場合、縦横１／２）に縮小する処理ということになる。

このような縮小処理は、画素を所定間隔で間引く処理によって行うこともできるし（たとえば、偶数行、偶数列の画素を間引けばよい）、Ｍ行Ｍ列の画素群をその平均的な画素値をもつ１画素に置換する処理によって行うこともできる（たとえば、２行２列の４画素を、その平均的な画素値をもつ１画素に置換すればよい）。ここでは、縮小ドメインセルＳＤ（ｍ，ｎ）を構成する個々の画素（およびその画素値）を小文字「ｓｄ」で示すことにし、ローカル座標系ｘｙを用いて、各画素（およびその画素値）をｓｄ（ｘ，ｙ）なる記号で表すことにする。すなわち、ｓｄ（ｘ，ｙ）は、縮小ドメインセルＳＤ（ｍ，ｎ）内のｘ行ｙ列目の画素（およびその画素値）を示しており、図示の例の場合、ｘ＝１または２、ｙ＝１または２ということになる。

続いて、手順Ｔ５において、この縮小ドメインセルＳＤ（ｍ，ｎ）内の画素の画素値の平均値ｓｄ（ave）が求められ、
ｓｄ′（ｘ，ｙ）＝ｓｄ（ｘ，ｙ）−ｓｄ（ave） 式（２）
なる式に基づいて、差分画素値ｓｄ′（ｘ，ｙ）が算出され、この差分画素値ｓｄ′（ｘ，ｙ）をもった画素ｓｄ′（ｘ，ｙ）からなる差分画像ＳＤ′（ｍ，ｎ）が生成される。この差分画像ＳＤ′（ｍ，ｎ）は、元の着目ドメインセルＤ（ｍ，ｎ）を縮小して得られた縮小ドメインセルＳＤ（ｍ，ｎ）に含まれる情報から画素値（輝度値）の変動分布のみを取り出した情報を示すものである。

最後に、手順Ｔ６において、レンジセルの差分画像Ｒ′（ｉ，ｊ）とドメインセルの差分画像ＳＤ′（ｍ，ｎ）との比較が行われ、両者の類似度が判定される。手順Ｔ４で画像縮小処理を行ったため、両者は同じサイズの画素配列（この例では、いずれも２×２の画素配列）によって構成されている。そこで、類似度の判定は、それぞれ対応する位置にある画素についての画素値の比較によって行うことができ、対応する画素の画素値の差が少ないほど類似度が高いと判定することができる。

図６は、この比較処理で利用される演算式を示す図である。ここで、輝度変換パラメータαは、
α＝Σ_x,y ［ｒ′（ｘ，ｙ）・ｓｄ′（ｘ，ｙ）］／
Σ_x,y ［ｓｄ′（ｘ，ｙ）］^２ 式（３）
なる式で与えられるパラメータであり、比較対象となる両セル内の画素値（輝度値）の変動振幅の差を補正する役割を果たす。一方、誤差値Ｅは、輝度変換パラメータαを用いて、
Ｅ＝Σ_x,y ［ｒ′（ｘ，ｙ）−α・ｓｄ′（ｘ，ｙ）］^２ 式（４）
なる式で与えられる値であり、両セル内の画素値（輝度値）の差分二乗誤差の和を示す値である。

図５に示す手順は、本来、着目レンジセルＲ（ｉ，ｊ）と着目ドメインセルＤ（ｍ，ｎ）と、を比較し、両者の類似度を判定することを目的とするものである。しかしながら、両者は、画素配列のサイズが異なっているため、まず、手順Ｔ４における縮小処理によって幾何変換を施し、手順Ｔ６において、対応する画素同士の比較が可能になるようにしている。また、ここで判定すべき類似度は、画素値（輝度値）の絶対値そのものの類似度ではなく、画素値（輝度値）の変動分布の類似度である。そこで、手順Ｔ２，Ｔ５で変動分のみを取り出す差分演算を行うとともに、手順Ｔ６で差分二乗誤差を求める際に輝度変換パラメータαを用いた補正を行い、輝度変換後の画素値を比較する処理を行っている。

結局、上記式（４）で示される誤差値Ｅは、着目レンジセルＲ（ｉ，ｊ）と着目ドメインセルＤ（ｍ，ｎ）との画素値変動分布の相違を示す値ということになる。したがって、ある特定のレンジセルＲについて、定義されたすべてのドメインセルＤ（上例の場合、１画素ピッチで縦横にずらした合計１１７組のドメインセル）に対する誤差値Ｅを求めれば、誤差値Ｅが最も小さいドメインセルＤ（すなわち、画素値の変動分布が最も類似しているドメインセルＤ）を、当該特定のレンジセルＲについての最適ドメインセルと決定することができる。こうして、最適ドメインセルＤが決定されたら、当該最適ドメインセルＤを利用して置換画素群を生成し、元のレンジセルＲを置換する処理を行えばよい。

図７は、特定のレンジセルＲに対する具体的な置換処理を示す図である。図７(a) は、与えられた原画像Ｐinを示している。ここでは、図５に示す手順に基づく比較処理により、原画像Ｐin上の特定のレンジセルＲ（ｉ，ｊ）に対して、ドメインセルＤ（ｍ，ｎ）が最適ドメインセルと決定されたものとしよう。すなわち、最適ドメインセルＤ（ｍ，ｎ）は、レンジセルＲ（ｉ，ｊ）内の画素値の変動分布に対して最も類似性の高い画素値の変動分布を有していることになる。

一方、図７(b) は、図７(a) に示す原画像Ｐin上に定義されたレンジセルＲ（ｉ，ｊ）を、置換画素群Ｑ（Ｒ（ｉ，ｊ））に置換することによって得られた拡大画像Ｐoutを示している。レンジセルＲ（ｉ，ｊ）が２×２の画素配列から構成されるのに対して、置換画素群Ｑ（Ｒ（ｉ，ｊ））は４×４の画素配列から構成されており、拡大画像Ｐoutは、原画像Ｐinを縦横にそれぞれ２倍に拡大した画像になっている。置換画素群Ｑ（Ｒ（ｉ，ｊ））を構成する各画素をｑ（ｘ，ｙ）とし、その画素値も同じ記号ｑ（ｘ，ｙ）で表すことにすると、画素値ｑ（ｘ，ｙ）は、
ｑ（ｘ，ｙ）＝（ｄ（ｘ，ｙ）−ｄ（ave））×α＋ｒ（ave） 式（５）
で与えられる。

ここで、レンジセル平均値ｒ（ave）は、レンジセルＲ（ｉ，ｊ）を構成する個々の画素ｒ（ｘ，ｙ）の画素値ｒ（ｘ，ｙ）の平均値であり、図５の手順Ｔ２で求めたものをそのまま利用することができる（図示の例の場合、ｘ＝１または２、ｙ＝１または２である）。一方、ドメインセル平均値ｄ（ave）は、最適ドメインセルＤ（ｍ，ｎ）を構成する個々の画素ｄ（ｘ，ｙ）の画素値ｄ（ｘ，ｙ）の平均値であり、図５の手順Ｔ４で求めたものをそのまま利用することができる（図示の例の場合、ｘ＝１〜４、ｙ＝１〜４である）。なお、図５の手順Ｔ４において、縮小処理を行う前に平均値ｄ（ave）を算出しているのは、この図７に示す置換処理における上記式（５）の演算に利用するためである（図５に示す比較処理を行う上では、平均値ｄ（ave）の算出は不要である）。また、輝度変換パラメータαは、図５の手順Ｔ６において、図６に示す式（３）に基づく演算によって算出された値であり、レンジセルＲ（ｉ，ｊ）と最適ドメインセルＤ（ｍ，ｎ）との間の画素値の変動振幅の差を補正する補正値である。なお、式（５）におけるｄ（ave）の代用として、縮小ドメインセル平均値ｓｄ（ave）を用いるようにしてもかまわない。

結局、式（５）によって算出される置換画素群Ｑ（Ｒ（ｉ，ｊ））を構成する１６個の画素の各画素値ｑ（ｘ，ｙ）は、被置換画素群となるレンジセルＲ（ｉ，ｊ）の各画素ｒ（ｘ，ｙ）の平均値ｒ（ave）に、変動量（ｄ（ｘ，ｙ）−ｄ（ave））×αを加えた値ということになる。しかも、変動量（ｄ（ｘ，ｙ）−ｄ（ave））×αは、最適ドメインセルＤ（ｍ，ｎ）内の対応位置にある画素の画素値の変動量に輝度変換パラメータαを乗じたものになっている。このため、置換画素群Ｑ（Ｒ（ｉ，ｊ））は、レンジセルＲ（ｉ，ｊ）の画素値平均と同じ画素値平均を有し、かつ、最適ドメインセルＤ（ｍ，ｎ）の画素値変動分布と同じ画素値変動分布をもつことになる。

かくして、図７(b) に示す拡大画像Ｐoutは、これを巨視的に全体観察すれば、原画像Ｐinの輝度分布をそのまま再現した画像になっており、これを微視的に部分観察すれば、原画像Ｐin内のいずれかの箇所の輝度分布を再現した画像になっている。このように、フラクタルを用いた拡大処理を行えば、違和感の少ない高品質な拡大画像が得られることになる。

もっとも、フラクタルを用いた拡大処理の品質を維持するためには、ドメインセルＤのバリエーションをできるだけ多くすることが重要である。上例の場合、１つのレンジセルＲに対して、１画素ピッチで縦横にずらした合計１１７組のドメインセルＤの中から最適ドメインセルの選択を行っているが、得られる拡大画像の品質を向上させるためには、ドメインセルＤのバリエーションを更に増やすことが好ましい。

このような観点から、前掲の特許文献３には、原画像Ｐinから抽出された１つのドメインセルＤ内の画素の配置転換を行うことにより、バリエーションを増やす工夫が開示されている。たとえば、図５に示す例では、原画像Ｐinのｍ行ｎ列目の画素を左上隅に含む位置から、１つのドメインセルＤ（ｍ，ｎ）のみが抽出され、レンジセルＲ（ｉ，ｊ）に対する類似度が判定されるが、このドメインセルＤ（ｍ，ｎ）を構成する１６個の画素について配置転換を行うと、原画像Ｐin上の同じ位置から抽出したドメインセルＤ（ｍ，ｎ）について、複数通りのバリエーションを得ることができる。

図８は、このようなドメインセルＤ（ｍ，ｎ）を構成する画素の配置転換例を示す図である。ここでは、原画像Ｐinから抽出したままのドメインセルＤをオリジナルドメインセルＤ１と呼ぶことにし、このオリジナルドメインセルＤ１に含まれている画素に、図８左上に示すように、１〜１６の番号を付すことにする。このオリジナルドメインセルＤ１に含まれている画素１〜画素１６に対して、様々な配置転換作業を行うことにより、複数通りのバリエーションをもったドメインセルＤ２〜Ｄ８を作成することができる。

たとえば、図８に示すドメインセルＤ２は、オリジナルドメインセルＤ１の画素配列を時計回りに９０°回転するように配置転換したものであり、画素１〜画素１６の配置が変更されていることがわかる。同様に、ドメインセルＤ３，Ｄ４は、オリジナルドメインセルＤ１の画素配列を時計回りに１８０°，２７０°回転するように配置転換したものである。

一方、ドメインセルＤ５は、オリジナルドメインセルＤ１の各画素を、配置転換軸ａ５を基準軸として対称位置にある画素と入れ替えたものである。同様に、ドメインセルＤ６，Ｄ７，Ｄ８は、オリジナルドメインセルＤ１の各画素を、それぞれ配置転換軸ａ６，ａ７，ａ８を基準軸として対称位置にある画素と入れ替えたものである。

図８に示すとおり、各ドメインセルＤ１〜Ｄ８の画素配置は互いに異なっているので、オリジナルドメインセルＤ１を含めて、合計８通りのバリエーションが生まれたことになる。前述した具体例の場合、１つのレンジセルＲに対して、１画素ピッチで縦横にずらした合計１１７組のドメインセルＤが最適ドメインセルの候補となっていたが、図８に例示するような配置転換によって、合計８通りのバリエーションを候補とすることができれば、合計９３６通りの候補の中から最適ドメインセルの選択を行うことが可能になり、拡大画像の品質向上に貢献する。

＜＜＜ §３． 本発明に係る画像拡大処理の基本概念 ＞＞＞
本発明に係る画像拡大処理は、§２で述べたフラクタルを用いた拡大処理を更に改良するものであり、この改良により、ドメインセルのバリエーションの数を飛躍的に増加させることが可能になる。

図８に例示したように、原画像Ｐinの同じ位置から抽出したドメインセルＤに対して、画素の配置転換作業を行えば、それだけドメインセルのバリエーションを増やすことが可能である。しかしながら、画素の配置転換は全くランダムに行うことはできないので（全くランダムな配置転換を行うと、フラクタル構造に特有の自己相似性が失われてしまう）、このような画素の配置転換によって得られるバリエーションの数は、実用上、図８に例示したように、たかだか８通り程度に限定されてしまう。そのため、従来のフラクタルを用いた拡大処理手法では、レンジセルＲに対する類似度が不十分なドメインセルＤが最適ドメインセルとして選択されてしまう可能性があり、拡大画像上にノイズ成分が現れ、画質が低下するという問題が生じる。

本発明の手法によれば、ドメインセルのバリエーションの数を飛躍的に増やすことができるので、類似度が十分に高い最適ドメインセルが選択されるようになり、ノイズ成分の少ない高品質な拡大画像を得ることができるようになる。

本発明の要点は、原画像Ｐinを任意の回転角θだけ回転させた回転画像を生成し、この回転画像上で定義されたドメインセルの中から、レンジセルに対する類似度が最も高いものを最適ドメインセルとして選択することにある。ここで、回転角θを任意に設定した回転画像を生成するためには、原画像Ｐinを構成する個々の画素の画素値を用いた補間演算が必要になり、回転画像を構成する個々の画素の画素値は、多くの場合、原画像Ｐinを構成する個々の画素の画素値とは異なるものになる。したがって、前述した画素の配置転換によって得られるバリエーションとは比較にならない数のバリエーションが得られることになる。

図９は、本発明の特徴となる原画像Ｐinの回転処理を示す平面図である。ここで、水平基準線Ｈは、回転前の原画像Ｐinの上辺の位置を示す直線であり、図示の原画像Ｐinは、この水平基準線Ｈ上の回転中心点Ｇを中心点として所定の回転角θだけ回転させた後の状態を示している。なお、ここでは、図示の便宜上、回転中心点Ｇを原画像Ｐinの左上隅点にとっているが、回転中心点Ｇは任意の位置にとることができ、たとえば、原画像Ｐinの中心点を回転中心点Ｇとしてもよい。

本発明では、レンジセルＲの定義は、図３に示すように、回転前の原画像Ｐin上で行われるが、ドメインセルＤの定義は、図９に示すように、回転後の原画像Ｐin上で行われる（もちろん、回転角θ＝０に設定して得られる回転画像は、回転前の原画像Ｐinと同一である）。但し、ドメインセルＤのセル枠の位置は、回転角θにかかわらず常に一定とし、水平基準線Ｈに対して固定されるようにする。

たとえば、図９に示すドメインセルＤ（ｍ，ｎ，θ）は、元の原画像Ｐinを回転角θだけ回転して得られる回転画像上に定義されたドメインセルであるが、セル枠の位置は、回転前の原画像Ｐinの画素配列のｍ行ｎ列目の画素が左上隅にくるように固定したままにする。したがって、回転角θを、θ＝０°，１０°，２０°，３０°と４通りに変えて回転画像を生成すれば、ドメインセルＤも、これら４通りの回転角θに応じて、Ｄ（ｍ，ｎ，０°），Ｄ（ｍ，ｎ，１０°），Ｄ（ｍ，ｎ，２０°），Ｄ（ｍ，ｎ，３０°）という４通りのバリエーションが得られるが、これら各ドメインセルＤの水平基準線Ｈに対する位置は不変である。

図１０は、図９に示す回転処理によって回転画像を生成する方法を示す平面図である。これまでの説明では、図示の便宜上、個々の画素を小さな正方形の領域で表現し、これら正方形を縦横に並べた配列として、原画像Ｐin，レンジセルＲ，ドメインセルＤ等の画像データを示してきたが、図１０では、これら画像データを、所定ピッチで配置された代表点（これまで小さな正方形で示してきた画素の中心点）にそれぞれ所定の画素値を定義したデータとして捉えている。

すなわち、図１０において、符号Ｄ（ｍ，ｎ，θ）で示した太線の枠は、これまでの説明と同様、ドメインセルＤを構成する各画素を正方形の領域として示したものであるが、各正方形の中心点にプロットされた×印は、ドメインセルＤ（ｍ，ｎ，θ）を構成する各画素の代表点を示している。×印の代表点は、いずれも水平基準線Ｈに平行な方向に整列している。一方、○印は、元の原画像Ｐinを回転角θだけ回転して得られる回転画像を構成する画素の代表点を示している。図には、回転画像の１行目の画素の代表点を結ぶ基準線Ｌが示されているが、この基準線Ｌは、水平基準線Ｈに対して回転角θをなす線になる。

図示のとおり、回転角θを任意の値に設定して回転画像を定義すると、多くの場合、○印の位置と×印の位置とは一致しない（もちろん、θ＝０°や９０°など、回転角θを特定の値に設定した場合は、両者が一致することがある）。そして、与えられた原画像Ｐinを示す画像データは、あくまでも図１０に○印で示す各代表点位置に定義された画素値を示すデータであるので、ドメインセルＤ（ｍ，ｎ，θ）を構成する各画素の画素値、すなわち、×印の位置に定義すべき画素値を求めるには、近傍に位置する○印の位置に定義されている画素値に基づく補間演算を行う必要がある。

ここで、元の原画像Ｐinを任意の回転角θだけ回転させることによって得られる回転画像を構成する各画素の代表点位置（図１０の○印の位置）の座標は、幾何学的な座標変換処理によって求めることができる。図１１は、このような座標変換処理の一例を示す平面図である。この例では、ＸＹ二次元座標系上の座標点Ｐ（Ｘ，Ｙ）を、回転中心点Ｇ（Ｘ０，Ｙ０）を中心として時計回りに回転角θだけ回転することにより、座標点Ｐ′（Ｘ′，Ｙ′）が得られた場合に、座標値Ｘ′，Ｙ′と元の座標値Ｘ，Ｙとの関係が示されている。具体的には、図示のとおり
Ｘ′＝Ｘ０＋（Ｘ−Ｘ０）・cos θ，
Ｙ′＝Ｙ０＋（Ｘ−Ｘ０）・sin θ 式（６）
なる演算式に基づいて、座標値Ｘ′，Ｙ′が得られる。したがって、図１０に○印で示す各代表点の位置座標は、回転角θを用いた上記式（６）に基づく演算によって決定できる。

したがって、図１０に×印で示す各位置に定義すべき画素値は、その近傍の○印の位置に定義されている画素値を参照して、たとえば、図２(c) に例示するバイキュービック法などを利用した公知の補間演算により決定することができる。図示の例の場合、１６個の×印の位置に対して、補間演算によってそれぞれ所定の画素値が決定できれば、これら画素値の配列がドメインセルＤ（ｍ，ｎ，θ）ということになる。

ここで、たとえば、回転角θを、０°，１°，２°，... ，３５９°と１°刻みに変化させて３６０通り設定すれば、同じ枠位置から抽出したドメインセルＤ（ｍ，ｎ，θ）について、３６０通りのバリエーションを得ることができる。もちろん、回転角θを、０．１°刻みに変化させれば、３６００通りのバリエーションを得ることができる。なお、回転角θの範囲は、必ずしも０°〜３６０°にする必要はなく、たとえば、０°〜９０°という範囲に限定してもよいし、−２０°〜＋２０°という範囲に限定してもかまわない。

このように、本発明では、任意の回転角θを設定した回転画像を生成し、この回転画像を用いてドメインセルＤを得るようにしたため、得られるドメインセルのバリエーションの数を飛躍的に増加させることができる。その結果、最適ドメインセルの類似度を高め、拡大画像の品質を格段に向上させることができるようになる。もちろん、任意の回転角θを設定した回転画像からドメインセルＤを得るには、図１０で説明したとおり、バイキュービック法などを利用した補間演算を行う必要があるため、演算負担は増加することになるが、近年はＣＰＵなどの演算処理ユニットの性能が向上してきており、本発明を利用することにより、実用上、十分な速度で高品質な拡大画像を得ることが可能である。

＜＜＜ §４． 本発明に係る画像拡大処理の基本手順 ＞＞＞
続いて、図１２の流れ図を参照しながら、本発明に係る画像拡大処理の基本手順を説明する。この基本手順は、専用のプログラムを組み込んだコンピュータによって実行される。

まず、ステップＳ１では、拡大処理の対象となる原画像Ｐinを、所定の画素値をもった画素の配列を示す画像データとして原画像格納用メモリに格納する入力段階が行われる。たとえば、原画像格納用メモリには、図３に示すように、縦横の行列状に配置された複数の画素からなる矩形画像が、拡大処理の対象となる原画像Ｐinとして格納される。

続くステップＳ２では、レンジセルの縦および横の位置を示すパラメータｉおよびｊが初期値に設定される。ここに示す例の場合、レンジセルの左上隅に位置する画素の行番号および列番号をパラメータｉ，ｊとして用いているため、初期値として、ｉ＝１，ｊ＝１が設定される。

そして、ステップＳ３において、原画像格納用メモリに格納されている原画像Ｐinの一部の領域を、レンジセルＲ（ｉ，ｊ）として抽出する処理が行われる。既に述べたとおり、本発明では、原画像Ｐin上の所定位置に、複数画素の配列からなるレンジセルが定義される。たとえば、図３に示す例では、２×２の画素配列からなる合計４８組のレンジセルＲが定義されている。ステップＳ３では、このように定義された複数組のレンジセルのうち、パラメータｉ，ｊで特定される１組のレンジセルを着目レンジセルとして抽出し、抽出した着目レンジセル内の各画素の画素値を読み出す処理が行われる。たとえば、図５に示す例の場合、２×２の画素配列からなる着目レンジセルＲ（ｉ，ｊ）を構成する４つの画素の各画素値ｒ（ｘ，ｙ）が読み出されることになる。

次のステップＳ４では、回転角θの初期値が設定される。初期値は、任意の値に設定することができるが、実用上は、回転角θの変動範囲の始端となる値に設定すればよい。たとえば、回転角θの変動範囲を０°〜９０°に設定する場合には、初期値θ＝０°に設定すればよいし、回転角θの変動範囲を−２０°〜＋２０°に設定する場合には、初期値θ＝−２０°に設定すればよい。

続くステップＳ５では、設定された回転角θに基づいて、回転画像Ｐ（θ）を演算する処理が行われる。すなわち、原画像格納用メモリに格納されている原画像Ｐinについての画像データ（ステップＳ１で入力した回転させていない画像データ）を用いた補間演算により、原画像Ｐinを回転角θだけ回転させた回転画像Ｐ（θ）を生成し、生成された回転画像Ｐ（θ）を、所定の画素値をもった画素の配列を示す画像データとして回転画像格納用メモリに格納する処理が行われる。

§３では、図１０を参照して、１組のドメインセルＤ（ｍ，ｎ，θ）を構成する画素（×印を代表点とする画素）の画素値を、回転画像を構成する画素（○印を代表点とする画素）の画素値に基づく補間処理によって求める処理を説明した。ステップＳ５で行われる回転画像Ｐ（θ）の演算処理は、このような補間処理を、必要なすべてのドメインセルＤに関して行う処理ということができる。

別言すれば、図１０に○印で示す画素の各代表点は、「元の原画像Ｐin（原画像格納用メモリに格納されている画像データ）上の画素の各代表点を、回転角θだけ回転させて得られる点」として定義される概念上の点にすぎない。ステップＳ５の演算処理は、このような概念上の点を参照して、水平基準線Ｈに対して固定された×印で示す代表点（図１０では、×印の点は、ドメインセルＤ（ｍ，ｎ，θ）内の１６点しか示されていないが、これを同ピッチで縦横に繰り返し並べた点）についての画素値を求め、画像データとして、回転画像格納用メモリに格納する処理と言うことができる。

結局、ステップＳ５が完了した時点では、原画像格納用メモリには、ステップＳ１で入力した原画像Ｐinの画像データが格納されており、回転画像格納用メモリには、ステップＳ５で行った補間演算により求められた回転画像Ｐ（θ）の画像データが格納された状態になる。

続いて、ステップＳ６において、ドメインセルの縦および横の位置を示すパラメータｍおよびｎが初期値に設定される。ここに示す例の場合、ドメインセルの左上隅に位置する画素の行番号および列番号をパラメータｍ，ｎとして用いているため、初期値として、ｍ＝１，ｎ＝１が設定される。

そして、ステップＳ７では、回転画像格納用メモリに格納されている回転画像Ｐ（θ）の一部の領域を、着目ドメインセルＤ（ｍ，ｎ，θ）として抽出する処理が行われる。本発明では、回転画像Ｐ（θ）上の所定位置に、複数画素の配列からなるドメインセルＤが定義される。ここで、ドメインセルＤは、レンジセルＲを構成する画素配列よりも大きな画素配列から構成されている。たとえば、図５には、原画像Ｐin上に４×４の画素配列からなるドメインセルＤ（ｍ，ｎ）を定義した例が示されているが、本発明では、原画像Ｐinの代わりに、回転画像Ｐ（θ）上の所定位置にドメインセルＤ（ｍ，ｎ，θ）が定義されることになる（もちろん、θ＝０の設定で得られた回転画像Ｐ（０）は、実質的に、原画像Ｐinと同じ画像になる）。

続くステップＳ８では、ステップＳ３で抽出された着目レンジセルＲ（ｉ，ｊ）と、ステップＳ７で抽出された着目ドメインセルＤ（ｍ，ｎ，θ）との比較が行われ、両者の類似度が判定される。この比較判定処理の具体的な手順は、図５で述べた着目レンジセルＲ（ｉ，ｊ）と着目ドメインセルＤ（ｍ，ｎ）との比較判定処理の手順と同様である。すなわち、ステップＳ３で抽出された着目レンジセルＲ（ｉ，ｊ）に対しては、手順Ｔ２の差分演算処理が行われ、レンジセル差分画像Ｒ′（ｉ，ｊ）が生成される。一方、ステップＳ７で抽出された着目ドメインセルＤ（ｍ，ｎ，θ）に対しては、手順Ｔ４の縮小処理、手順Ｔ５の差分演算処理が行われ、縮小ドメインセル差分画像ＳＤ′（ｍ，ｎ，θ）が生成される。

そして、最後に、手順Ｔ６の比較処理により、レンジセル差分画像Ｒ′（ｉ，ｊ）と縮小ドメインセル差分画像ＳＤ′（ｍ，ｎ，θ）との類似度（両画像の画素値変動分布の類似度）を示す誤差値Ｅが、図６に示す式（３），（４）に基づいて求められる。ここで、誤差値Ｅは、値が小さいほど、類似度が高いことを示すパラメータとなる。こうして求められた比較結果（誤差値Ｅ）は、着目レンジセルＲ（ｉ，ｊ）と着目ドメインセルＤ（ｍ，ｎ，θ）との比較結果として保存される。

このような比較処理が、着目レンジセルＲ（ｉ，ｊ）と着目ドメインセルＤ（ｍ，ｎ，θ）の組み合わせを変えることにより、総当たりで実施される。すなわち、ステップＳ９では、回転画像Ｐ（θ）上に定義された全ドメインセルについての処理が完了したか否かが判断され、否定的な判断がなされた場合には、ステップＳ１０へと進み、パラメータｍ，ｎが更新され、新たなドメインセルＤ（ｍ，ｎ，θ）についてステップＳ７からの処理が繰り返し実行される。回転画像Ｐ（θ）上に、１画素ピッチで縦横にずらした多数のドメインセルＤを定義して最適ドメインセルの候補とする場合であれば、パラメータｍを１ずつ増加させる更新およびパラメータｎを１ずつ増加させる更新を、ｍとｎのすべての組み合わせについて行えばよい。

ステップＳ９で肯定的な判断がなされた場合には、ステップＳ１１へと進み、全回転角度についての処理が完了したか否かが判断される。たとえば、回転角θの変動範囲を０°〜９０°に設定し、ステップＳ４でθの初期値をθ＝０°に設定して徐々に増加させる更新を行った場合には、θ＝９０°についての処理が完了するまで、ステップＳ１１における否定的判断がなされ、ステップＳ１２へと進むことになる。ステップＳ１２では、回転角θの値が更新され（たとえば、１°とか、０．１°とか、予め設定した所定の刻み幅だけ増加させる更新を行えばよい）、ステップＳ５からの処理が繰り返し実行される。

すなわち、ステップＳ５では、原画像格納用メモリに格納されている原画像Ｐinに基づいて新たな回転画像Ｐ（θ）が演算され、回転画像格納用メモリの画像データが新たな回転画像Ｐ（θ）に書き換えられる。そして、この新たな回転画像Ｐ（θ）から抽出されたドメインセルＤを用いて、前述した処理が繰り返し実行される。

ステップＳ１１で肯定的な判断がなされた場合には、ステップＳ１３へと進み、全レンジセルＲについての処理が完了したか否かが判断される。たとえば、図３に示す例のように、合計４８組のレンジセルＲを定義した場合、これら４８組のレンジセルすべてについての処理が完了するまでは、ステップＳ１３で否定的判断がなされ、ステップＳ１４へ進むことになる。ステップＳ１４では、パラメータｉ，ｊが更新され、新たなレンジセルＲ（ｉ，ｊ）についてステップＳ３からの処理が繰り返し実行される。図３に例示するように、２画素ピッチで縦横にずらした多数のレンジセルＲを定義した場合、パラメータｉを２ずつ増加させる更新およびパラメータｊを２ずつ増加させる更新を、ｉとｊのすべての組み合わせについて行えばよい。

結局、ステップＳ２〜Ｓ１４に示す手順は、個々のレンジセルＲと個々のドメインセルＤとのすべての組み合わせに関して、それぞれ比較を行って類似度を判定し、その結果を保存する手順ということになる。すなわち、ステップＳ１４を経てステップＳ３へ戻る繰り返し手順では、原画像Ｐin上の異なる位置に定義された複数のレンジセルＲ（ｉ，ｊ）のそれぞれについて、画素値を読み出すレンジセル読出処理が繰り返し行われ、比較対象となる一方の情報が取得される。

一方、ステップＳ１２を経てステップＳ５へ戻る繰り返し手順では、回転角θの異なる複数通りの回転画像Ｐ（θ）を生成し、これを回転画像格納用メモリに格納する画像回転処理が繰り返し行われる。そして、この画像回転処理の中に入れ子式に組み込まれたステップＳ１０を経てステップＳ７へ戻る繰り返し手順では、結局、複数通りの回転画像Ｐ（θ）のそれぞれについて、かつ、回転画像Ｐ（θ）上の異なる位置に定義された複数のドメインセルＤのそれぞれについて、画素値を読み出すドメインセル読出処理が繰り返し行われ、比較対象となる他方の情報が取得されることになる。

こうして、ステップＳ８の類似度判定段階では、個々のレンジセルＲのそれぞれについて、複数通りの回転画像Ｐ（θ）のそれぞれについての複数位置からそれぞれ抽出されたドメインセルＤに対する類似度の判定が行われ、最も高い類似度が得られたドメインセルを当該レンジセルについての最適ドメインセルとして特定する処理が行われる。

最終的に、ステップＳ１３で肯定的な判断がなされると、ステップＳ１５へと進み、拡大画像の生成処理が行われる。この処理は、レンジセルＲを構成する画素配列からなる被置換画素群を、ドメインセルＤと同じ大きさの画素配列からなる置換画素群に置換することにより拡大画像を生成する処理であり、その手順は、§２において、図７を参照して述べたとおりである。すなわち、被置換画素群となるレンジセルＲについての最適ドメインセルＤを構成する画素の画素値変動分布を参照することにより、置換画素群Ｑ（Ｒ（ｉ，ｊ））を構成する各画素の画素値ｑ（ｘ，ｙ）を決定する処理が行われることになる。図７に示す例の場合、レンジセルＲ（ｉ，ｊ）を構成する２×２の画素配列からなる被置換画素群が、ドメインセルＤと同じ大きさの４×４の画素配列からなる置換画素群Ｑ（Ｒ（ｉ，ｊ））に置換されている。

ここで、置換画素群Ｑ（Ｒ（ｉ，ｊ））を構成する各画素の画素値ｑ（ｘ，ｙ）は、レンジセルＲ（ｉ，ｊ）およびその最適ドメインセルＤ（ｍ，ｎ）を利用した式（５）に基づく演算によって算出される。これまでの各手順を実行することにより、個々のレンジセルＲと個々のドメインセルＤとのすべての組み合わせに関して、それぞれ類似度が判定され、その結果が保存されているので、ステップＳ１５を実行する時点では、個々のレンジセルＲについて、最も高い類似度が得られたドメインセルＤを最適ドメインセルとして特定することができる。そこで、この最適ドメインセルを利用して、式（５）に基づく演算を行い、置換画素群Ｑ（Ｒ（ｉ，ｊ））を構成する各画素の画素値を決定し、これを拡大画像格納用メモリに記録する処理を行えばよい。

ここで述べる実施例では、レンジセルＲをａ行ｂ列に配列された画素の集合体によって構成し、ドメインセルＤを（Ｍ×ａ）行（Ｍ×ｂ）列に配列された画素の集合体によって構成しているため、ステップＳ１５では、ステップＳ１で入力した原画像Ｐinに対して、縦横それぞれＭ倍の解像度を有する拡大画像が生成されることになる。

続くステップＳ１６では、ステップＳ１５で生成された拡大画像に対する修正処理が行われる。この修正処理は、得られた拡大画像の品質を向上させるとともに、その輝度値を原画像Ｐinの輝度値により近づけることを目的とするものであり、その詳細については、§５で述べることにする。

最後のステップＳ１７では、修正処理が完了した画像を、最終的な拡大画像Ｐoutとして出力する処理が行われる。

＜＜＜ §５． 拡大画像に対する修正処理 ＞＞＞
ここでは、図１２に示す流れ図におけるステップＳ１６の拡大画像修正処理の詳細について述べる。ここでは、異なる２通りの手法に基づく修正処理を説明する。いずれの修正処理も、ステップＳ１５で生成された拡大画像に対して、画素値を修正する処理という点では共通するが、第１の修正処理は、画素値の不連続性を平滑化する修正処理であり、第２の修正処理は、拡大画像の輝度値を原画像の輝度値に近づける修正処理ということになる。

まず、第１の修正処理を説明する。既に述べたとおり、本発明では、原画像Ｐin上に多数のレンジセルＲが定義され、このレンジセルＲ内の画素群を１セットの被置換画素群として、より解像度の高い置換画素群Ｑによる置換が行われる。たとえば、図３に示す例の場合、原画像Ｐin上に４８組のレンジセルＲが定義され、個々のレンジセルＲ内の画素群が１セットとして置換されてゆくことになる。

ここで、置換後の各画素の画素値分布に着目すると、１セットの置換画素群Ｑに所属する画素の画素値分布は自然なものになる。なぜなら、１セットの置換画素群Ｑは、最適ドメインセルＤを参照して生成されたものであり、当該最適ドメインセルＤは、もともと原画像Ｐinに含まれていた部分画像であるためである。これに対して、１セットの置換画素群Ｑ１とこれに隣接して配置される別な１セットの置換画素群Ｑ２との境界部分には、不自然な画素値分布が生じやすい。なぜなら、各置換画素群Ｑ１，Ｑ２は、それぞれ別な最適ドメインセルを参照して生成されたものであり、これらの最適ドメインセルは、必ずしも原画像Ｐin上において隣接していたセルではないためである。

したがって、たとえば、図７(b) に示すような拡大画像Ｐoutを生成すると、置換画素群Ｑ（Ｒ（ｉ，ｊ））内の画素値分布は自然なものになるとしても、その上下左右に隣接する別な置換画素群との境界部分の画素値分布は不自然なものになりやすい。

第１の修正処理は、このような問題に対処する修正を行うものであり、隣接配置された複数組の置換画素群の境界部分の画素値の不連続性を平滑化するための画像平滑フィルタを作用させる処理ということができる。このような画像平滑フィルタとしては、ローパスフィルタ、移動平均フィルタ、加重平均フィルタなどが知られており、この画像平滑フィルタを用いた畳み込み演算により、置換画素群の境界部分の画素値分布を自然にするための平滑化を行うことができる。具体的な平滑化の演算処理については、公知の技術であるため、ここでは詳しい説明は省略する。

一方、第２の修正処理は、置換画素群を構成する画素の画素値を被置換画素群を構成する画素の画素値により近づけるための輝度調整処理ということができる。ここでは、図１３を参照しながら、この輝度調整処理を具体的に説明しよう。

ここでは、ステップＳ１５の拡大画像生成処理によって作成された拡大画像を第０次拡大画像と呼ぶことにする。図１３の左上に示す画像が、この第０次拡大画像であり、この例では、４×４の画素配列からなる置換画素群Ｑ_０（Ｒ（ｉ，ｊ））によって、原画像Ｐin上のレンジセルＲ（ｉ，ｊ）を置換した状態が示されている。第０次拡大画像は、このような多数の置換画素群の集合によって構成されている。

図示の置換画素群Ｑ_０（Ｒ（ｉ，ｊ））は、図７(b) に示す置換画素群Ｑ（Ｒ（ｉ，ｊ））に対応するものであり（Ｑの次の添字「０」は、第０次拡大画像を構成する置換画素群であることを示す）、その各画素値ｑ（ｘ，ｙ）は、式（５）に基づいて算出されたものである。ここでは、置換画素群Ｑ_０（Ｒ（ｉ，ｊ））を構成する個々の画素を、この置換画素群上に定義されたローカル座標系ｘｙを用いて、ｑ_０（ｘ，ｙ）と表すこととし、当該画素の画素値も同じ符号ｑ_０（ｘ，ｙ）と表すことにする。

一方、図１３の右上に示すドメインセルＤ（ｍ，ｎ，θ）は、レンジセルＲ（ｉ，ｊ）についての最適ドメインセルである。そこで、この最適ドメインセルＤ（ｍ，ｎ，θ）を構成する個々の画素ｄ（ｘ，ｙ）の画素値についての平均値ｄ（ave）を求め、更に、
ｄ′（ｘ，ｙ）＝ｄ（ｘ，ｙ）−ｄ（ave） 式（７）
なる式に基づいて、差分画素値ｄ′（ｘ，ｙ）を算出し、この差分画素値ｄ′（ｘ，ｙ）をもった画素ｄ′（ｘ，ｙ）からなる差分画像Ｄ′（ｍ，ｎ，θ）を生成する。この差分画像Ｄ′（ｍ，ｎ，θ）は、最適ドメインセルＤ（ｍ，ｎ，θ）に含まれる情報から画素値（輝度値）の変動分布のみを取り出した情報を示すものである。

続いて、第０次拡大画像を構成する置換画素群Ｑ_０（Ｒ（ｉ，ｊ））に対して、次のような修正処理を行う。まず、置換画素群Ｑ_０（Ｒ（ｉ，ｊ））を構成する個々の画素ｑ_０（ｘ，ｙ）についての画素値の平均値ｑ０（ave）を算出する。そして、
ｑ′_０（ｘ，ｙ）＝ｑ_０（ｘ，ｙ）−ｑ_０（ave） 式（８）
なる式に基づいて、差分画素値ｑ′_０（ｘ，ｙ）を算出し、この差分画素値ｑ′_０（ｘ，ｙ）をもった画素ｑ′_０（ｘ，ｙ）からなる差分画像Ｑ′_０（Ｒ（ｉ，ｊ））を生成する。この差分画像Ｑ′_０（Ｒ（ｉ，ｊ））は、置換画素群Ｑ_０（Ｒ（ｉ，ｊ））に含まれる情報から画素値（輝度値）の変動分布のみを取り出した情報を示すものである。

ところで、図７に示すように、置換画素群の画素値ｑ（ｘ，ｙ）は、
ｑ（ｘ，ｙ）＝（ｄ（ｘ，ｙ）−ｄ（ave））×α＋ｒ（ave） 式（５）
なる式で与えられるので、この式（５）と上述した式（８）とをまとめれば、置換画素群Ｑ_０（Ｒ（ｉ，ｊ））を構成する各画素の画素値ｑ_０（ｘ，ｙ）は、
ｑ_０（ｘ，ｙ）＝ｄ′（ｘ，ｙ）×α_０＋ｒ（ave） 式（９）
なる式によって算出されたことになる。この式（９）におけるα_０は、図６の式（３）で算出される輝度変換パラメータαと同じものであるが、ここでは、第０次拡大画像を得るために用いたパラメータという意味で、第０次輝度変換パラメータα_０と呼ぶことにする。

次に、画素値ｑ_１（ｘ，ｙ）を、
ｑ_１（ｘ，ｙ）＝ｄ′（ｘ，ｙ）×α_１＋ｑ_０（ave） 式（１０）
α_１＝Σ_x,y ［ｑ′_０（ｘ，ｙ）・ｄ′（ｘ，ｙ）］／
Σ_x,y ［ｄ′（ｘ，ｙ）］^２ 式（１１）
なる式によって算出する。ここで、式（１０）は、式（９）に準じた式となっており、式（９）のｑ_０（ｘ，ｙ）をｑ_１（ｘ，ｙ）に置き換え、α_０をα_１に置き換え、ｒ（ave）をｑ_０（ave）に置き換えたものである。同様に、式（１１）は、図６に示す式（３）に準じた式となっており、式（３）のｒ′（ｘ，ｙ）をｑ′_０（ｘ，ｙ）に置き換え、ｓｄ′（ｘ，ｙ）をｄ′（ｘ，ｙ）に置き換えたものである。

こうして算出された画素値ｑ_１（ｘ，ｙ）をもつ画素の集合体として、置換画素群Ｑ_１（Ｒ（ｉ，ｊ））を定義し、第０次拡大画像を構成する置換画素群Ｑ_０（Ｒ（ｉ，ｊ））を、それぞれ置換画素群Ｑ_１（Ｒ（ｉ，ｊ））に置き換える処理を行えば、第０次拡大画像に基づいて第１次拡大画像を得ることができる。

同様にして、第１次拡大画像から第２次拡大画像を得る処理を行い、更に、第２次拡大画像から第３次拡大画像を得る処理を行い、... という処理を合計ｎ回繰り返してゆけば、第ｎ次拡大画像が得られる。第ｋ次拡大画像を第（ｋ−１）次拡大画像から得るには、第ｋ次拡大画像の画素値ｑ_ｋ（ｘ，ｙ）を、
ｑ_ｋ（ｘ，ｙ）＝ｄ′（ｘ，ｙ）×α_ｋ＋ｑ_ｋ−１（ave） 式（１２）
α_ｋ＝Σ_x,y ［ｑ′_ｋ（ｘ，ｙ）・ｄ′（ｘ，ｙ）］／
Σ_x,y ［ｄ′（ｘ，ｙ）］^２ 式（１３）
なる一般式によって算出すればよい。

一般に、第ｋ次拡大画像は、第（ｋ−１）次拡大画像に比べて、原画像Ｐinの輝度値により近い高品質な画像になる。ｋの値を増やしてゆくと、拡大画像の輝度値（画素値）は徐々に収束してゆくことになるので、輝度値の変化がある程度の範囲内に収束した時点で得られた第ｋ次拡大画像を、最終的な第ｎ次拡大画像とすればよい。通常、ｎ＝１０程度に設定すれば、十分に高品質な拡大画像を得ることができる。

以上、第１の修正処理として平滑化処理を、第２の修正処理として輝度値修正処理を述べたが、実際には、これらを交互に繰り返して行うのが好ましい。すなわち、一般的な手順として、第ｋ次拡大画像が得られたら、この第ｋ次拡大画像に対して第１の修正処理である平滑化処理を行い、平滑化した後の第ｋ次拡大画像に基づいて、第２の修正処理である輝度値修正処理を行って第（ｋ＋１）次拡大画像を生成する、という処理を、ｋ＝０からｋ＝ｎ−１まで順次行えばよい。

＜＜＜ §６． 本発明に係る画像拡大処理装置の基本構成 ＞＞＞
続いて、本発明に係る画像拡大処理装置の基本構成を、図１４に示すブロック図を参照しながら説明する。この画像拡大処理装置は、与えられた原画像Ｐinを拡大して拡大画像Ｐoutを生成する処理を行う装置であり、実際には、コンピュータに専用のプログラムを組み込むことによって構成することができる。もちろん、この図１４に各ブロックとして示されている構成要素を、論理素子およびメモリによって構成すれば、この画像拡大処理装置を半導体集積回路として実現することも可能である。

図示の原画像入力部１０は、拡大対象となる原画像Ｐinを入力する機能をもった構成要素であり、入力された原画像Ｐinは、原画像格納用メモリ２０に格納される。原画像Ｐinは、所定の画素値をもった画素の配列を示す画像データによって構成されており、原画像格納用メモリ２０は、そのような画像データを格納する役割を果たす。

回転画像演算部３０は、原画像格納用メモリ２０に格納されている原画像Ｐinを、所定の回転角θだけ回転させることにより回転画像Ｐ（θ）を生成し、得られた回転画像Ｐ（θ）を回転画像格納用メモリ４０に格納する処理を行う。回転画像Ｐ（θ）は、原画像格納用メモリ２０内の原画像Ｐinを構成する画像データを用いた補間演算により生成される。補間演算の基本原理は、図１０を参照して説明したとおりである。回転画像格納用メモリ４０は、生成された回転画像Ｐ（θ）を、所定の画素値をもった画素の配列を示す画像データとして格納する。

レンジセル抽出部５０は、原画像格納用メモリ２０に格納されている原画像Ｐin上に、複数画素の配列からなるレンジセルＲを、少なくとも拡大対象領域がカバーされるように定義し、定義した個々のレンジセルＲ（ｉ，ｊ）を、順次、着目レンジセルとして抽出する処理を行う。たとえば、図３に示す例のように、原画像Ｐinの全領域を拡大対象領域として、合計４８組のレンジセルを定義した場合は、これら４８組のレンジセルが順次抽出されることになる。

図３に示す例の場合、レンジセル抽出部５０は、Ａ行Ｂ列の画素配列からなる原画像Ｐin上において、ａ行ｂ列に配置された画素を包含するセル枠を、行方向にａ画素ピッチ、列方向にｂ画素ピッチで移動させることにより、合計（Ａ／ａ）×（Ｂ／ｂ）組のレンジセルを定義することになる。なお、レンジセル抽出部５０によるレンジセルＲ（ｉ，ｊ）の抽出処理とは、実際には、図５に例示するように、レンジセルＲ（ｉ，ｊ）を構成する個々の画素の画素値ｒ（ｘ，ｙ）を読み出す処理である。

一方、ドメインセル抽出部６０は、回転画像格納用メモリ４０に格納されている回転画像Ｐ（θ）上に、ドメインセルを複数組定義し、個々のドメインセルＤ（ｍ，ｎ，θ）を、順次、着目ドメインセルとして抽出する処理を行う。ここで、個々のドメインセルＤは、レンジセルＲを構成する画素配列よりも大きな画素配列を有するようにする。

ここに示す例の場合、ドメインセル抽出部６０は、Ａ行Ｂ列の画素配列からなる原画像上において、拡大倍率をＭとして、（Ｍ×ａ）行（Ｍ×ｂ）列に配列された画素を包含するセル枠を、行方向に１画素ピッチ、列方向に１画素ピッチで移動させることにより、合計（Ａ−（Ｍ×ａ）＋１）×（Ｂ−（Ｍ×ｂ）＋１）組のドメインセルを定義することになる。なお、ドメインセル抽出部６０によるドメインセルＤ（ｍ，ｎ，θ）の抽出処理とは、実際には、ドメインセルＤ（ｍ，ｎ，θ）を構成する個々の画素の画素値ｒ（ｘ，ｙ）を読み出す処理である。

類似度判定部９０は、レンジセル抽出部５０が抽出した着目レンジセルＲ（ｉ，ｊ）の画素値変動分布と、ドメインセル抽出部６０が抽出した着目ドメインセルＤ（ｍ，ｎ，θ）の画素値変動分布との類似度を判定する処理を行う。判定結果として得られた類似度は、判定結果格納部８０に格納される。もっとも、ここに示す実施例の場合、判定結果格納部８０には、すべての判定結果（類似度判定部９０で得られたすべての類似度）を格納しておく必要はなく、個々のレンジセルのそれぞれについて、最も高い類似度が得られた最適ドメインセルを特定する情報が格納されていれば十分である。

セル合成部７０は、判定結果格納部８０に格納されている情報に基づいて、個々のレンジセルＲ（ｉ，ｊ）についての最適ドメインセルＤ（ｍ，ｎ，θ）を認識し、当該最適ドメインセルＤ（ｍ，ｎ，θ）を構成する画素の画素値変動分布を参照して、当該最適ドメインセルと同じ大きさの画素配列からなる置換画素群を構成する画素の画素値を決定する。具体的には、図７に示す式（５）に基づいて、置換画素群を構成する画素の画素値ｑ（ｘ，ｙ）が決定され、当該画素の集合体である置換画素群Ｑ（Ｒ（ｉ，ｊ））が決定される。そして、レンジセルＲ（ｉ，ｊ）を構成する画素配列からなる被置換画素群を、当該レンジセルＲ（ｉ，ｊ）についての置換画素群Ｑ（Ｒ（ｉ，ｊ））に置換することにより拡大画像を生成する処理を行う。

この処理の具体例は、図７に示したとおりである。要するに、セル合成部７０は、拡大倍率をＭ、レンジセルＲ（ｉ，ｊ）の縦横サイズをａ，ｂ、置換画素群Ｑ（Ｒ（ｉ，ｊ））を構成する（Ｍ×ａ）行（Ｍ×ｂ）列の画素配列のうちのｘ行ｙ列目の画素の画素値をｑ（ｘ，ｙ）、最適ドメインセルＤ（ｍ，ｎ，θ）のｘ行ｙ列目の画素の画素値をｄ（ｘ，ｙ）、その平均値をｄ（ave）として、図７に示すように、
ｑ（ｘ，ｙ）＝（ｄ（ｘ，ｙ）−ｄ（ave））×α＋ｒ（ave） 式（５）
なる式を用いた演算により、画素値ｑ（ｘ，ｙ）を求める処理を行うことになる。

このような拡大画像生成処理を行うために、セル合成部７０内には、拡大画像を格納するための拡大画像格納用メモリ７１が設けられており、拡大画像は、この拡大画像格納用メモリ７１内に生成されることになる。こうして生成された拡大画像は、拡大画像出力部１１０によって、拡大画像Ｐoutとして出力される。

もっとも、ここに示す実施例では、更に、修正処理部１００が設けられている。この修正処理部１００は、セル合成部７０によって生成された拡大画像に対して、画素値の修正処理を行う構成要素であり、拡大画像出力部１１０は、実際には、この修正処理部１００によって修正された拡大画像を、最終的な拡大画像Ｐoutとして出力することになる。

修正処理部１００は、拡大画像格納用メモリ７１内に格納されている拡大画像に対する修正処理を行うため、平滑処理部１０１と輝度調整部１０２とを有している。ここで、平滑処理部１０１は、§５で第１の修正処理として説明した平滑処理、すなわち、隣接配置された複数組の置換画素群の境界部分の画素値の不連続性を平滑化するための画像平滑フィルタを作用させる処理を行う構成要素である。また、輝度調整部１０２は、§５で第２の修正処理として説明した輝度調整処理、すなわち、置換画素群を構成する画素の画素値を被置換画素群を構成する画素の画素値により近づけるため、図１３で説明した処理を行う構成要素である。セル合成部７０によって拡大画像格納用メモリ７１内に生成された拡大画像は、図１３に示す第０次拡大画像に相当するものである。修正処理部１００による修正作業により、拡大画像格納用メモリ７１内の画像は、第１次拡大画像，第２次拡大画像，第３次拡大画像，... と更新されてゆき、最終的な第ｎ次拡大画像が得られた時点で、拡大画像出力部１１０によって、当該第ｎ次拡大画像が最終的な拡大画像Ｐoutとして出力されることになる。

もちろん、この図１４に示す画像拡大処理装置は、図１２の流れ図に示す処理を実行するように制御される。すなわち、まず、ステップＳ１の原画像Ｐinの入力段階において、原画像格納用メモリ２０に原画像Ｐinが格納され、所定のパラメータｉ，ｊの設定に基づくステップＳ３のレンジセル抽出段階では、１つの着目レンジセルＲ（ｉ，ｊ）がレンジセル抽出部５０によって抽出され、類似度判定部９０に与えられる。また、所定の回転角θの設定に基づくステップＳ５の回転画像Ｐ（θ）の演算段階では、回転画像演算部３０の演算が行われ、得られた回転画像Ｐ（θ）が回転画像格納用メモリ４０に格納される。そして、所定のパラメータｍ，ｎの設定に基づくステップＳ７のドメインセル抽出段階では、１つの着目ドメインセルＲ（ｍ，ｎ，θ）がドメインセル抽出部６０によって抽出され、類似度判定部９０に与えられる。

続く、ステップＳ８では、類似度判定部９０による着目レンジセルＲ（ｉ，ｊ）と着目ドメインセルＲ（ｍ，ｎ，θ）との類似度判定が行われ、判定結果が、判定結果格納部８０に格納される。そして、ステップＳ１０において、パラメータｍ，ｎが更新されると、ドメインセル抽出部６０により、回転画像格納用メモリ４０に格納されている回転画像Ｐ（θ）の別な位置から新たな着目ドメインセルＲ（ｍ，ｎ，θ）の抽出が行われ、類似度判定部９０による判定処理が繰り返し実行される。

こうして、同一の回転画像Ｐ（θ）上のすべての位置から着目ドメインセルＲ（ｍ，ｎ，θ）の抽出が完了すると、ステップＳ１２において、回転角θが更新される。これにより、回転画像演算部３０が、新たな回転角θに基づいて、新たな回転画像の演算を行い、得られた新たな回転画像Ｐ（θ）が回転画像格納用メモリ４０に格納される。このようにして、様々な回転画像Ｐ（θ）について、それぞれ着目ドメインセルＲ（ｍ，ｎ，θ）を抽出し、類似度判定部９０によって類似度を判定する処理が繰り返し実行される。

そして、同一の着目レンジセルＲ（ｉ，ｊ）について、ドメインセルＲ（ｍ，ｎ，θ）の全候補に対する類似度判定が完了すると、ステップＳ１４において、パラメータｉ，ｊが更新される。これにより、レンジセル抽出部５０が、新たなパラメータｉ，ｊに基づいて、新たなレンジセルＲ（ｉ，ｊ）を抽出して類似度判定部９０に与える処理を行う。このようにして、すべてのレンジセルＲ（ｉ，ｊ）について、候補となるすべてのドメインセルＲ（ｍ，ｎ，θ）に対する類似度判定が完了したら、セル合成部７０が、判定結果格納部８０に格納されている判定結果を利用して、各レンジセルＲ（ｉ，ｊ）に対する最適ドメインセルＲ（ｍ，ｎ，θ）の認識を行い、置換処理によって拡大画像の生成が行われることになる。

続いて、類似度判定部９０の詳細な説明を行う。この類似度判定部９０が行う類似度判定処理の基本手順は、§２において図５を参照して述べたとおりである。すなわち、類似度判定部９０は、ドメインセル抽出部６０によって抽出された着目ドメインセルＤ（ｍ，ｎ，θ）内の画像を縦横それぞれ１／Ｍに縮小して縮小ドメインセルＳＤ（ｍ，ｎ，θ）を生成し、この縮小ドメインセルＳＤ（ｍ，ｎ，θ）を構成する個々の画素ｓｄ（ｘ，ｙ）の画素値と、レンジセル抽出部５０によって抽出された着目レンジセルＲ（ｉ，ｊ）を構成する個々の画素ｒ（ｘ，ｙ）の画素値とについて、両者が近づくように輝度変換処理（差分演算を行って画素値変動分布のみを抽出し、一方に輝度変換パラメータαを乗じて、比較対象となる両画素値の輝度調整を行う処理）を施し、輝度変換処理後の縮小ドメインセルＳＤ（ｍ，ｎ，θ）の個々の画素の画素値と着目レンジセルＲ（ｉ，ｊ）の個々の画素の画素値とを比較することにより類似度の判定を行うことになる。

この実施例の場合、類似度判定部９０は、縮小処理部９１、レンジセル平均値算出部９２、ドメインセル平均値算出部９３、レンジセル差分画像生成部９４、縮小ドメインセル差分画像生成部９５、輝度変換パラメータ算出部９６、誤差値算出部９７によって構成されている。これらの各構成要素は、図５に示す手順を実行するための構成要素ということになる。

レンジセル平均値算出部９２は、着目レンジセルＲ（ｉ，ｊ）を構成する個々の画素について、その画素値ｒ（ｘ，ｙ）の平均であるレンジセル平均値ｒ（ave）を求める処理を行い、レンジセル差分画像生成部９４は、着目レンジセルＲ（ｉ，ｊ）を構成する個々の画素について、その画素値ｒ（ｘ，ｙ）とレンジセル平均値ｒ（ave）との差を示す差分値ｒ′（ｘ，ｙ）を求め、求めた差分値ｒ′（ｘ，ｙ）を画素値とするレンジセル差分画像Ｒ′（ｉ，ｊ）を生成する。この処理は、図５に手順Ｔ２として示す処理に対応する。

一方、縮小処理部９１は、着目ドメインセルＤ（ｍ，ｎ，θ）内の画像を縦横それぞれ１／Ｍに縮小して縮小ドメインセルＳＤ（ｍ，ｎ，θ）を作成する。ドメインセル平均値算出部９３は、この縮小ドメインセルＳＤ（ｍ，ｎ，θ）を構成する個々の画素について、その画素値ｓｄ（ｘ，ｙ）の平均である縮小ドメインセル平均値ｓｄ（ave）を求める。そして、縮小ドメインセル差分画像生成部９５は、縮小ドメインセルＳＤ（ｍ，ｎ，θ）を構成する個々の画素について、その画素値ｓｄ（ｘ，ｙ）と縮小ドメインセル平均値ｓｄ（ave）との差を示す差分値ｓｄ′（ｘ，ｙ）を求め、求めた差分値ｓｄ′（ｘ，ｙ）を画素値とする縮小ドメインセル差分画像ＳＤ′（ｍ，ｎ，θ）を生成する。この処理は、図５に手順Ｔ４およびＴ５として示す処理に対応する。

輝度変換パラメータ算出部９６は、レンジセル差分画像Ｒ′（ｉ，ｊ）内のｘ行ｙ列目の画素の画素値をｒ′（ｘ，ｙ）、縮小ドメインセル差分画像ＳＤ′（ｍ，ｎ，θ）内のｘ行ｙ列目の画素の画素値をｓｄ′（ｘ，ｙ）としたときに、図６上段に示すように、
α＝Σ_x,y ［ｒ′（ｘ，ｙ）・ｓｄ′（ｘ，ｙ）］／
Σ_x,y ［ｓｄ′（ｘ，ｙ）］^２ 式（３）
なる式で与えられる輝度変換パラメータαを求める処理を行う。

そして、誤差値算出部９７は、レンジセル差分画像Ｒ′（ｉ，ｊ）内の各画素の画素値ｒ′（ｘ，ｙ）と、縮小ドメインセル差分画像ＳＤ′（ｍ，ｎ，θ）内の各画素の画素値ｓｄ′（ｘ，ｙ）と、輝度変換パラメータαと、に基づいて、図６下段に示すように、
Ｅ＝Σ_x,y ［ｒ′（ｘ，ｙ）−α・ｓｄ′（ｘ，ｙ）］^２ 式（４）
なる式で与えられる誤差値Ｅを求める処理を行う。ここで、この誤差値Ｅが小さいほど、着目レンジセルＲ（ｉ，ｊ）の画素値変動分布と着目ドメインセルＤ（ｍ，ｎ，θ）の画素値変動分布との類似度が高い、との判定結果を示すことになる。

こうして得られた判定結果は、判定結果格納部８０に格納される。もちろん、判定結果格納部８０には、特定のレンジセルＲ（ｉ，ｊ）と特定のドメインセルＤ（ｍ，ｎ，θ）との組み合わせについて算出された誤差値Ｅそのものを判定結果として格納するようにしてもよいが、セル合成部７０が拡大画像を生成する処理を行う際に必要な情報は、個々の誤差値Ｅそのものではなく、個々のレンジセルＲ（ｉ，ｊ）について、どのドメインセルＤ（ｍ，ｎ，θ）が最適ドメインセルであるかを認識するための情報である。もちろん、上記判定処理によって得られた個々の誤差値Ｅをすべて判定結果格納部８０に格納しておけば、特定のレンジセルＲ（ｉ，ｊ）について誤差値Ｅが最も小さいドメインセルＤ（ｍ，ｎ，θ）を最適ドメインセルとして認識することが可能であるが、ここに示す実施例では、個々のレンジセルＲのそれぞれについて、最適ドメインセルＤを特定するための情報を判定結果格納部８０に格納するようにしている。

すなわち、判定結果格納部８０には、個々のレンジセルＲのそれぞれについて、現段階で最も高い類似度が得られているドメインセルＤ（ここでは、仮最適ドメインセルと呼ぶことにする）に関する情報を格納する格納領域が設けられている。具体的には、最適ドメインセルＤ（ｍ，ｎ，θ）を特定するための情報として、回転角θおよびセル位置を示すパラメータｍ，ｎを格納すればよい。そして、類似度判定部９０から判定結果格納部８０に対して、特定のレンジセルについての新たな着目ドメインセルに対する類似度の判定結果（すなわち、誤差値Ｅ）が得られたときに、当該特定のレンジセルについて現段階で格納されている仮最適ドメインセルについての類似度（誤差値Ｅ）と新たな着目ドメインセルに対する類似度（誤差値Ｅ）とを比較し、前者よりも後者の方が高い場合（誤差値Ｅの比較の場合は、前者よりも後者の方が低い場合）にのみ、前者に関する情報（ｍ，ｎ，θ）を後者に関する情報（ｍ，ｎ，θ）によって書き換える処理を行うようにする。そうすれば、類似度判定部９０から全ドメインセルに対する類似度の判定結果が得られた時点で判定結果格納部８０に格納されていた仮最適ドメインセルが、最終的な最適ドメインセルということになる。

なお、ここに示す実施例の場合、ドメインセル平均値算出部９３は、縮小ドメインセルＳＤ（ｍ，ｎ，θ）を構成する個々の画素ｓｄ（ｘ，ｙ）についての画素値の平均値である縮小ドメインセル平均値ｓｄ（ave）を求める機能とともに、縮小前のドメインセルＤ（ｍ，ｎ，θ）を構成する個々の画素ｄ（ｘ，ｙ）についての画素値の平均値であるドメインセル平均値ｄ（ave）を求める機能も有している。前述したとおり、縮小ドメインセル平均値ｓｄ（ave）は、縮小ドメインセル差分画像生成部９５が縮小ドメインセル差分画像を生成する際に利用されることになる。

一方、ドメインセル平均値ｄ（ave）は、類似度判定部９０における類似度判定に用いられるわけではなく、セル合成部７０における拡大画像生成処理に利用される（図７の式（５）参照）。もちろん、セル合成部７０にドメインセル平均値ｄ（ave）を算出する機能をもたせてもよいが、ここに示す実施例では、ドメインセル平均値算出部９３において、縮小ドメインセル平均値ｓｄ（ave）とドメインセル平均値ｄ（ave）との双方を算出させるようにし、セル合成部７０が算出結果を利用できるようにしている。

また、ここに示す実施例では、判定結果格納部８０が、個々のレンジセルのそれぞれについて、最も高い類似度が得られた最適ドメインセルを特定するための回転角θおよびセル位置を示すパラメータｍ，ｎとともに、当該最適ドメインセルについての輝度変換パラメータαおよびドメインセル平均値ｄ（ave）、ならびに、レンジセル平均値ｒ（ave）を格納する機能も有している。前述したとおり、輝度変換パラメータαは誤差値Ｅを算出するために必要な値であり、輝度変換パラメータ算出部αにおいて算出される。また、レンジセル平均値ｒ（ave）は、レンジセル差分画像を作成するために必要な値であり、レンジセル平均値算出部９２において算出される。更に、ドメインセル平均値算出部９３では、ドメインセル平均値ｄ（ave）が算出される。

そして、セル合成部７０が行う拡大画像生成処理では、画素値ｑ（ｘ，ｙ）を決定するために（図７の式（５）参照）、レンジセル平均値ｒ（ave）と、最適ドメインセルに関する輝度変換パラメータαおよびドメインセル平均値ｄ（ave）とが必要になる。もちろん、これらの値は、セル合成部７０において算出することもできるが、ここに示す実施例では、個々のＲ（ｉ，ｊ）ごとに、これらの値を類似度判定部９０で算出し、判定結果格納部８０に格納するようにしている。したがって、セル合成部７０は、判定結果格納部８０に格納されている輝度変換パラメータα、ドメインセル平均値ｄ（ave）、レンジセル平均値ｒ（ave）を利用して、画素値ｑ（ｘ，ｙ）を決定するための演算を行うことができる。

もちろん、輝度変換パラメータαおよびドメインセル平均値ｄ（ave）は、個々のＲ（ｉ，ｊ）についての最適ドメインセルに関する値のみが必要になるので、判定結果格納部８０には、最適ドメインセルに関する値のみが格納されるようにすれば十分である。具体的には、個々のレンジセルについて現段階で格納されている仮最適ドメインセルについての類似度と新たな着目ドメインセルに対する類似度とを比較し、前者よりも後者の方が高い場合（誤差値Ｅの比較の場合は、前者よりも後者の方が低い場合）にのみ、前者についての値α，ｄ（ave）を後者についての値α，ｄ（ave）に書き換える処理を行ってゆけば、最終的に、最適ドメインセルに関する値のみが格納されている状態になる。

以上、類似度判定部９０の詳細な構成を説明したが、この類似度判定部９０の各構成要素による演算結果は、輝度調整部１０２によっても利用することができる。既に述べたとおり、輝度調整部１０２は、図１３に示すような輝度調整演算を行い、拡大画像格納用メモリ７１内の第ｋ次拡大画像に対する修正処理を行うことになるが、この輝度調整演算の内容は、類似度判定部９０によって行われる類似度判定演算の内容に準じたものになっている。もちろん、輝度調整部１０２の内部に、図１３に示すような輝度調整演算を行うための構成要素を組み込むこともできるが、実用上は、類似度判定部９０内の構成要素を利用して修正処理を行うようにするのが好ましい。

＜＜＜ §７． 矩形画像を回転させる上での工夫 ＞＞＞
図１４に示す画像拡大処理装置において、回転画像演算部３０は、原画像格納用メモリ２０内に格納されている原画像Ｐinを回転角θだけ回転させて回転画像Ｐ（θ）を生成し、これを回転画像格納用メモリ４０に格納する処理を行う。この場合、原画像Ｐinが、たとえば、魚眼レンズなどで撮影された円形の画像であった場合、回転画像Ｐ（θ）も円形の画像になるので、画像の輪郭形状が変化することはない。しかしながら、一般的な用途で利用されるデジタル画像は、通常、矩形の輪郭をもった画像であり、原画像Ｐinも回転画像Ｐ（θ）も矩形画像となるのが一般的である。

本発明において、原画像格納用メモリ２０および回転画像格納用メモリ４０として、それぞれ矩形画像の画像データを格納するメモリを用い、矩形画像を取り扱うようにする場合、回転画像Ｐ（θ）を生成する際に若干の工夫が必要になる。ここでは、そのような工夫をいくつか述べることにする。

ここでは、まず、原画像格納用メモリ２０と回転画像格納用メモリ４０とが、全く同じサイズの矩形画像を格納する構成をもったメモリである場合を考えてみる。具体的には、原画像格納用メモリ２０がＡ行Ｂ列の画素配列からなる原画像Ｐinを収容するサイズのメモリによって構成され、回転画像格納用メモリ４０が同じくＡ行Ｂ列の画素配列からなる回転画像Ｐ（θ）を収容するサイズのメモリによって構成されているものとしよう。

図１５は、回転画像格納用メモリ４０に格納される画像の輪郭矩形Ｃ（以下、単に、輪郭矩形Ｃと呼ぶ）と角θだけ回転した原画像Ｐinとの位置関係の第１のバリエーションを示す平面図である。図１０で説明したように、回転画像Ｐ（θ）を構成する画素（すなわち、ドメインセルＤを構成する画素）の代表点（×印）は、水平基準線Ｈに平行な方向に整列しているのに対し、回転角θだけ回転した原画像Ｐinを構成する画素の代表点（○印）は、水平基準線Ｈに対して角度θをなす基準線Ｌに平行な方向に整列している。

したがって、図１５において、輪郭矩形Ｃは、水平基準線Ｈに平行な二辺をもった矩形となり、これに回転角θだけ回転した矩形状の原画像Ｐinを重ねると、図示のように、両者は互いにずれた状態になる。なお、ここでは、原画像Ｐinの中心位置に回転中心点Ｇを定め、この回転中心点Ｇが、輪郭矩形Ｃの中心位置にくるように、両者を重ね合わせた例を示すことにする。

結局、図１５に示す例の場合、回転後の原画像Ｐinの４隅のドットによるハッチングを施して示す領域は、輪郭矩形Ｃの外部に食み出すことになる。逆に言えば、輪郭矩形Ｃの４隅には、原画像Ｐinが重ならない領域が生じることになる。ところで、回転画像演算部３０は、原画像格納用メモリ２０に格納されている回転前の原画像Ｐinの各画素位置を基準点（図１０の×印の点）として、個々の基準点について、回転後の原画像Ｐinを構成する画素（図１０の○印の点に配置された画素）のうちの当該基準点の近傍にある参照画素の画素値を用いた補間演算を行うことにより補間画素値を求め、これら補間画素値を有する各基準点位置に配置された画素の集合体として回転画像Ｐ（θ）の生成を行うことになるので、基準点の近傍に参照画素が存在しない場合、補間画素値を求めることができなくなる。

たとえば、図１５に示す例の場合、輪郭矩形Ｃの４隅の領域（原画像Ｐinが重ならない領域）については、補間画素値を求めることができない。このため、輪郭矩形Ｃの左上から順番に、ドメインセルＤ（１，１，θ），Ｄ（１，５，θ），... を定義した場合、ドメインセルＤ（１，５，θ）を構成する１６個の画素については、それぞれ画素値を求めることができるが、ドメインセルＤ（１，１，θ）を構成する１６個の画素の一部については、画素値を求めることができなくなる。

このように、回転画像格納用メモリ４０に格納される画像の各画素の基準点の近傍に、回転後の原画像Ｐinに含まれる参照画素が存在しないと、当該基準点についての補間画素値を求めることができない。そのような場合には、回転画像演算部３０が、当該基準点位置に配置された画素については画素値の定義を行わないようにすればよい。具体的には、たとえば、１６進数の「００」や「ＦＦ」といった特殊なコードを、便宜上、定義域外の画素値とするような取り決めをしておき、この特殊コードが画素値として記録されている画素については、画素値が定義されていない画素として取り扱うようにすればよい。また、ドメインセル抽出部６０は、一部もしくは全部の画素について画素値の定義が行われていないドメインセルについては、着目ドメインセルとしての抽出を行わないようにすればよい。

このような取り扱いをするように決めておけば、図１５に示す輪郭矩形Ｃの４隅の領域は画素値が定義されていない領域となり、当該領域にかかるドメインセルは、着目ドメインセルとしては抽出されないことになる。具体的には、図１５に示す例の場合、ドメインセルＤ（１，５，θ）は抽出されるが、ドメインセルＤ（１，１，θ）は抽出されないことになる。このように、画素値が定義されていない画素を含むドメインセルＤは、着目画素として抽出されることはないので、類似度判定部９０における判定処理には何ら支障は生じない。

もちろん、矩形画像を取り扱う際の工夫として、別なアプローチを採ることも可能である。図１６は、輪郭矩形Ｃと角θだけ回転した原画像Ｐinとの位置関係の第２のバリエーションを示す平面図である。図１５に示す例は、原画像格納用メモリ２０と回転画像格納用メモリ４０とが、全く同じサイズの矩形画像を格納する構成をもったメモリである場合であったが、図１６に示す例では、回転画像格納用メモリ４０のサイズが、補間画素値を求めることができる位置に配置された画素のみから構成される回転画像を格納するのに適したサイズとなるように、原画像格納用メモリ２０のサイズよりも小さく設定されている。

その結果、輪郭矩形Ｃは、回転した原画像Ｐinの中に包摂された状態になる。すなわち、輪郭矩形Ｃ内の任意の点は、必ず、回転した原画像Ｐinの中の点になるので、回転画像格納用メモリ４０に格納される画像の各画素の基準点の近傍には、必ず、回転後の原画像Ｐinに含まれる参照画素が存在することになる。したがって、各基準点について、必ず補間画素値を求めることができ、回転画像格納用メモリ４０に格納される画像の各画素には、必ず何らかの画素値が与えられる。図１６に示す例の場合、ドメインセルＤ（１，１，θ）内の１６個の画素や、ドメインセルＤ（１，５，θ）内の１６個の画素には、すべて何らかの画素値が定義されることになり、これらのドメインセルを着目ドメインセルとして抽出しても、何ら支障は生じない。

なお、図１６に示す例では、回転角が、−θ〜＋θの範囲であれば、輪郭矩形Ｃが、回転した原画像Ｐinの中に包摂された状態になるが、回転角がこの範囲を越えると、輪郭矩形Ｃの隅が回転した原画像Ｐinから食み出してしまう。したがって、たとえば、回転角の範囲を０°〜３６０°に設定するような場合は、当該角度範囲で回転させても輪郭矩形Ｃが原画像Ｐinから食み出さないように、輪郭矩形Ｃのサイズ（すなわち、回転画像格納用メモリ４０のサイズ）をより小さく設定する必要がある。ただ、輪郭矩形Ｃのサイズを小さくすればするほど、図にドットによるハッチングを施して示す領域の面積が広くなる。すなわち、原画像Ｐinのうち、ドメインセルＤとしては利用されない部分の面積が広くなる。これは、最適ドメインセルの候補が減ることを意味するので、輪郭矩形Ｃのサイズをあまり小さく設定するのは好ましくない。

そこで、原画像Ｐinに含まれる画像情報を隅々まで利用する、という観点から、全く逆のアプローチを採ることも可能である。図１７は、輪郭矩形Ｃと角θだけ回転した原画像Ｐinとの位置関係の第３のバリエーションを示す平面図である。この例の場合、所定の変動範囲内の回転角θだけ回転させることにより得られる複数通りの回転画像をすべて包摂することが可能な包摂矩形内の画像を収容することができるように、回転画像格納用メモリ４０のサイズが、原画像格納用メモリ２０のサイズよりも大きく設定されている。

すなわち、この例の場合は、回転角θが所定の範囲内である限り、輪郭矩形Ｃが原画像Ｐinをそっくり包摂するようになる。したがって、原画像Ｐinに含まれる画像情報は隅々まで利用され、すべての情報を利用したドメインセルＤが候補として抽出されることになる。もちろん、この図１７に示す例の場合、図１５に示す例と同様に、輪郭矩形Ｃ上に定義されるドメインセルＤの一部については、画素値の定義が行われないことになる。たとえば、図示されているドメインセルＤ（５，１３，θ），Ｄ（９，１３，θ），Ｄ（９，１７，θ）については、全画素について画素値を求めることができるが、ドメインセルＤ（１，１，θ），Ｄ（１，５，θ），Ｄ（１，９，θ），Ｄ（１，１３，θ），Ｄ（５，１７，θ）については、一部もしくは全部の画素値を定義することができない。

このように、基準点の近傍に参照画素が存在しないために当該基準点についての補間画素値を求めることができない場合には、図１５に示す例と同様に、当該基準点位置に配置された画素については画素値の定義を行わないようにし、ドメインセル抽出部６０が、一部もしくは全部の画素について画素値の定義が行われていないドメインセルＤについては、着目ドメインセルとしての抽出を行わないようにすればよい。

この図１７に示す例は、原画像Ｐinに含まれる画像情報を隅々まで利用してドメインセルを形成できるので、最適ドメインセルの候補を増やすメリットが得られるが、輪郭矩形Ｃを大きく設定する必要があるため、必要な回転画像格納用メモリ４０のサイズが肥大し、製造コストが高騰する点がデメリットになる。特に、回転角θの許容範囲を大きく設定すればするほど、輪郭矩形Ｃのサイズも大きくする必要がある（たとえば、回転角の範囲を０°〜３６０°に設定した場合、輪郭矩形Ｃは図示のサイズよりも更に大きくする必要がある）。しかも、着目ドメインセルとしては抽出されないドメインセルＤの数も増え、メモリ領域が無駄に消費されることになる。

このように、これまで述べてきたアプローチには、それぞれ一長一短があるが、最後に、原画像Ｐinに含まれる画像情報を隅々まで利用して最適ドメインセルの候補を増やすメリットを維持しつつ、着目ドメインセルとしては抽出されないドメインセルＤの数を抑え、メモリ領域を有効活用できる効果的な方法を述べておく。この方法の特徴は、回転画像演算部３０が、回転させた原画像Ｐinの周囲に当該原画像の複製画像を配置した拡張原画像を作成した上で、当該拡張原画像を利用した補間演算によって、回転画像格納用メモリ４０内に回転画像を生成する処理を行う点にある。ここでは、図１７に示す第３のバリエーションにおいて、拡張原画像を利用した回転画像の生成例を説明しよう。

図１８は、図１７に示す例と同様に、回転角θが所定の範囲内である限り、輪郭矩形Ｃが原画像Ｐinをそっくり包摂するように、回転画像格納用メモリ４０のサイズを、原画像格納用メモリ２０のサイズよりも大きく設定した例である。図１７に示す例の場合、回転した原画像Ｐinの外側の領域については補間画素値を求めることができないため、着目ドメインセルとして利用可能なドメインセルを定義することができず、メモリ領域が無駄に消費されていたが、図１８に示す例の場合、回転した原画像Ｐinの外側の領域についても補間画素値を求めることができるようになる。

なぜなら、この図１８に示す例の場合、元の原画像Ｐinの９倍の大きさの拡張原画像Ｚが定義されているからである。図では、角θだけ回転して得られる原画像（直線で囲われた矩形内の画像）を原画像Ｐin（０）と呼び、この原画像Ｐin（０）を複製して得られる各画像（一部もしくは全部が一点鎖線で囲われた矩形内の画像）を複製画像Ｐin（１）〜Ｐin（８）と呼ぶことにする。拡張原画像Ｚは、原画像Ｐin（０）と複製画像Ｐin（１）〜Ｐin（８）とを併せた画像ということになる。

ここで、複製画像Ｐin（１）は、複製基準軸Ｌ１（原画像Ｐin（０）の輪郭矩形の上辺）に関して原画像Ｐin（０）と鏡像関係となる画像であり、いわば原画像Ｐin（０）を図の白矢印で示すように、上方に折り返すように配置して得られる画像である。また、複製画像Ｐin（２）は、複製基準軸Ｌ２（原画像Ｐin（０）の輪郭矩形の下辺）に関して原画像Ｐin（０）と鏡像関係となる画像であり、いわば原画像Ｐin（０）を図の白矢印で示すように、下方に折り返すように配置して得られる画像である。

同様に、複製画像Ｐin（３）は、複製基準軸Ｌ３（原画像Ｐin（０）の輪郭矩形の左辺）に関して原画像Ｐin（０）と鏡像関係となる画像であり、いわば原画像Ｐin（０）を図の白矢印で示すように、左方に折り返すように配置して得られる画像である。また、複製画像Ｐin（４）は、複製基準軸Ｌ４（原画像Ｐin（０）の輪郭矩形の右辺）に関して原画像Ｐin（０）と鏡像関係となる画像であり、いわば原画像Ｐin（０）を図の白矢印で示すように、右方に折り返すように配置して得られる画像である。

一方、複製画像Ｐin（５）は、頂点Ｖ５（原画像Ｐin（０）の輪郭矩形の左上頂点）を中心として、原画像Ｐin（０）を１８０°回転して得られる画像であり、複製画像Ｐin（６）は、頂点Ｖ６（原画像Ｐin（０）の輪郭矩形の右上頂点）を中心として、原画像Ｐin（０）を１８０°回転して得られる画像であり、複製画像Ｐin（７）は、頂点Ｖ７（原画像Ｐin（０）の輪郭矩形の左下頂点）を中心として、原画像Ｐin（０）を１８０°回転して得られる画像であり、複製画像Ｐin（８）は、頂点Ｖ８（原画像Ｐin（０）の輪郭矩形の右下頂点）を中心として、原画像Ｐin（０）を１８０°回転して得られる画像である。

原画像Ｐin（０）の周囲に、上述した８枚の複製画像Ｐin（１）〜Ｐin（８）を配置して得られる拡張原画像Ｚは、輪郭矩形Ｃの全領域を覆うことが可能である。しかも、上述した方法で複製を行えば、各画像Ｐin（０）〜Ｐin（８）の境界部分において、画像が滑らかに接続されることになるので、境界を跨がるようなドメインセルＤが定義されたとしても、当該ドメインセルＤ内の画素値分布は違和感のない自然なものになる。

もちろん、回転角θによっては、元の原画像Ｐinの９倍の大きさの拡張原画像Ｚによっても輪郭矩形Ｃの全領域を覆うことができないような場合もある。そのような場合は、更にその周囲に複製画像を配置するようにしてもかまわない。もちろん、覆うことができなかった領域には画素値を定義せず、画素値が定義されていない画素を含むドメインセルＤについては、着目ドメインセルとして抽出しないようにしてもよい。

また、輪郭矩形Ｃの全領域を覆う必要がないのであれば、必ずしも８枚の複製画像Ｐin（１）〜Ｐin（８）のすべてを配置して拡張原画像を形成する必要はなく、たとえば、複製画像Ｐin（１）〜Ｐin（４）の４枚を原画像Ｐin（０）の周囲に配置して拡張原画像を形成してもかまわない。すなわち、原画像Ｐin（０）の輪郭矩形の外側の上下左右の四方に、それぞれ当該輪郭矩形の上下左右の辺を複製基準軸として原画像に対して複製基準軸に関して鏡像関係となる複製画像を配置することにより拡張原画像を作成すればよい。

図１８に示す例は、この４枚の複製画像Ｐin（１）〜Ｐin（４）を配置した上に、更に、原画像Ｐin（０）の輪郭矩形の４頂点の各外側近傍の隙間領域に、当該頂点を中心として原画像を１８０°回転して得られる複製画像を配置することにより拡張原画像を作成した例ということになる。

なお、図１８に示す例は、図１７に示す例（回転画像格納用メモリ４０のサイズが、原画像格納用メモリ２０のサイズよりも大きく設定されている例）に拡張原画像を適用したものであるが、もちろん、図１５に示す例（回転画像格納用メモリ４０のサイズが、原画像格納用メモリ２０のサイズに等しくなるように設定されている例）に拡張原画像を適用することも可能である。

＜＜＜ §８． 本発明の変形例 ＞＞＞
ここでは、これまで述べてきた種々の実施例についての変形例をいくつか述べておく。

(1) 相互に重なりを生じるレンジセル群の定義
図３では、Ａ行Ｂ列の画素配列からなる原画像上において、ａ行ｂ列に配置された画素を包含するセル枠を、行方向にａ画素ピッチ、列方向にｂ画素ピッチで移動させることにより、合計（Ａ／ａ）×（Ｂ／ｂ）組のレンジセルＲを定義した例を示した。このような方法では、原画像Ｐinの全体をカバーし、かつ、相互に重なり合わない複数のレンジセル群の定義が可能になる。

ただ、本発明を実施するにあたって、相互に重なりを生じるレンジセル群を定義してもかまわない。たとえば、レンジセル抽出部５０が、Ａ行Ｂ列の画素配列からなる原画像Ｐin上において、ａ行ｂ列に配置された画素を包含するセル枠をレンジセルＲとして定義する際に、当該セル枠を行方向に１画素ピッチ、列方向に１画素ピッチで移動させれば、合計（Ａ−ａ＋１）×（Ｂ−ｂ＋１）組のレンジセルを、相互に部分的な重なりを許して定義することができる。

もっとも、このように相互に重なりを生じるレンジセル群を定義した場合、セル合成部７０が拡大画像を生成する際に、拡大画像を構成する１つの画素の位置に複数のレンジセルが重なり合って定義されることになる。したがって、セル合成部７０は、拡大画像を構成する個々の画素の画素値を決定する際に、当該画素位置に複数のレンジセルが重なり合って定義されていた場合には、これら複数のレンジセルのそれぞれについての最適ドメインセルの画素値変動分布を参照して、個々の画素の画素値を決定する処理を行う必要がある。

(2) カラー画像への適用
これまで述べてきた実施例では、原画像Ｐinが単一のプレーンからなるモノクロ画像であり、得られる拡大画像Ｐoutも単一のプレーンからなるモノクロ画像になる例を述べたが、本発明は、カラー画像についても同様に適用可能である。一般に、カラー画像は、複数の原色（たとえば、Ｒ，Ｇ，Ｂの３色）から構成され、複数の原色プレーンの集合体として表現される。そこで、カラー画像を取り扱う場合には、図１４に示す構成において、原画像入力部１０に、複数の原色プレーンからなるカラー画像を原画像Ｐinとして入力する機能をもたせ、原画像格納用メモリ２０および回転画像格納用メモリ４０に、それぞれ原色プレーンごとの画像データを別個独立して格納する機能をもたせ、セル合成部７０に、原色プレーンごとの拡大画像を別個独立して生成する機能をもたせ、拡大画像出力部１１０に、複数の原色プレーンからなるカラー画像を拡大画像として出力する機能をもたせるようにすればよい。

(3) 画素の配置転換の併用
図８では、抽出した着目ドメインセルＤ（ｍ，ｎ）に対して、画素の配置転換を行うことによりバリエーションを増やす例を示したが、本発明においても、このような画素の配置転換を行い、バリエーションを更に増やすようにしてもかまわない。すなわち、特定の回転角θだけ回転した回転画像Ｐ（θ）の特定の位置から、ドメインセルＤ（ｍ，ｎ，θ）を抽出したら、抽出したドメインセルＤ（ｍ，ｎ，θ）について、画素の配置転換を行えば、位置を示すパラメータｍ，ｎによるバリエーション、回転角θによるバリエーションに、更に、画素の配置転換によるバリエーションを加えることができる。

(4) 縦横任意倍率の拡大処理
これまで述べた実施例では、縦横ともにＭ倍の拡大画像を得る例を示したが、本発明を実施する上では、拡大率は必ずしも縦横等倍である必要はない。たとえば、縦Ｕ倍、横Ｖ倍の拡大画像を生成するのであれば、ａ行ｂ列の画素配列からなるレンジセルＲに対して、（Ｕ×ａ）行（Ｖ×ｂ）列の画素配列からなるドメインセルＤを定義するようにすればよい。

＜＜＜ §９． 本発明に係る実施例の具体的な効果 ＞＞＞
最後に、本発明に係る実施例の具体的な効果を示しておく。図１９は、画像変換の品質評価に用いられる式を示す図である。一般に、何らかの方法で変換された画像の品質を客観的に評価するための数値のひとつとして、ＰＳＮＲ（Peak Signal-to-Noise Ratio）なる値が知られている。このＰＳＮＲ値は、図１９の式（１４）で定義されるＭＳＥなる値を用いて、式（１５）によって定義される。ここで、ｆ（ｉ，ｊ）は、原画像のｉ行ｊ列目の画素の画素値、ｆ′（ｉ，ｊ）は、変換後の画像のｉ行ｊ列目の画素の画素値、ｕは、各画像の縦方向サイズ、ｖは、各画像の横方向サイズである。このＰＳＮＲ値が大きいほど、変換後の画像の品質は高いとされている。

図２０は、３通りの実験結果について、拡大画像の品質の比較を示すグラフである。実験結果Ａは、従来のフラクタルを用いた拡大手法（図５に示す基本手順による拡大処理を行うもの）により得られた拡大画像についての評価を示し、実験結果Ｂは、更に、図８に示すバリエーション（画素の配置転換によるバリエーション）を加えた方法により得られた拡大画像についての評価を示し、実験結果Ｃは、本発明に係る拡大手法（回転角θ＝０°〜９０°まで１°刻みで変化させたもの）により得られた拡大画像についての評価を示している。図示のとおり、本発明に係る方法によれば、従来の方法よりも更に品質の高い拡大画像が得られることがわかる。

図２１は、拡大画像の品質の比較に利用した原画像を示す図である。まず、上段のサンプル画像を用意し、これを中段に示すように縦横１／２に縮小したものを原画像Ｐinとして、この原画像Ｐinに対して３通りの方法で拡大処理を行った。理想的な処理であれば、図２１の下段に示すような拡大画像（上段のサンプル画像と全く同じ画像）が得られることになる。

図２２は、３通りの方法で拡大処理を行った結果を示す画像である。図２２(a) は、図２(c) に示すバイキュービック法によって得られた拡大画像、図２２(b) は、図８に示すバリエーション（画素の配置転換によるバリエーション）を付加した従来のフラクタルを用いた拡大処理によって得られた拡大画像（図２０の実験結果Ｂ）、そして図２２(c) は、本発明に係る拡大処理によって得られた拡大画像（図２０の実験結果Ｃ）である。

いずれも、図２１の下段に示す理想的な拡大画像に比べると品質は落ちるが、３通りの拡大方法の中では、図２２(c) に示す本発明に係る拡大処理によって得られた拡大画像が最も高い品質の画像となっている。すなわち、図２２(a) に示す拡大画像では、高周波成分が失われてしまっており、全体的にピンボケした画像になっている。一方、図２２(b) に示す拡大画像では、高周波成分は損なわれていないが、画像全体に細かなノイズ成分が現れ、品質の低下を招いている。これに対して、図２２(c) に示す拡大画像では、高周波成分も十分に再現されており、ノイズ成分も抑制されている。これは、回転角θ＝０°〜９０°まで１°刻みで変化させた回転画像の生成により、最適ドメインセルの候補となるドメインセルのバリエーションが飛躍的に向上したためと考えられる。

１０：原画像入力部
２０：原画像格納用メモリ
３０：回転画像演算部
４０：回転画像格納用メモリ
５０：レンジセル抽出部
６０：ドメインセル抽出部
７０：セル合成部
７１：拡大画像格納用メモリ
８０：判定結果格納部
９０：類似度判定部
９１：縮小処理部
９２：レンジセル平均値算出部
９３：ドメインセル平均値算出部
９４：レンジセル差分画像生成部
９５：縮小ドメインセル差分画像生成部
９６：輝度変換パラメータ算出部
９７：誤差値算出部
１００：修正処理部
１０１：平滑処理部
１０２：輝度調整部
１１０：拡大画像出力部
Ａ：原画像Ｐinの縦方向サイズ（画素配列の総行数）
ａ：レンジセルの縦方向サイズ（画素配列の総行数）
ａ５〜ａ８：画素の配置転換軸
Ｂ：原画像Ｐinの横方向サイズ（画素配列の総列数）
ｂ：レンジセルの横方向サイズ（画素配列の総列数）
Ｃ：回転画像格納用メモリに格納される画像の輪郭矩形
Ｄ（ｍ，ｎ）：ドメインセル
Ｄ′（ｍ，ｎ）：ドメインセルの差分画像
Ｄ（ｍ，ｎ，θ）：ドメインセル（角度θだけ回転させた回転画像から得られたもの）
Ｄ１〜Ｄ８：ドメインセル（画素の配置転換を行ったものを含む）
ｄ（ｘ，ｙ）：ドメインセルの各画素／その画素値
ｄ′（ｘ，ｙ）：ドメインセルの差分画像の各画素／その画素値
ｄ（ave）：ドメインセル平均値（ドメインセルの各画素の画素値の平均値）
Ｅ：誤差値
Ｆ：線形補間ライン
ｆ（ｉ，ｊ）：原画像の画素値
ｆ′（ｉ，ｊ）：変換後の画像の画素値
Ｇ，Ｇ（Ｘ０，Ｙ０）：回転中心点
Ｈ：水平基準線
ｉ：レンジセルの縦位置を示すパラメータ
ｊ：レンジセルの横位置を示すパラメータ
ｋ：輝度調整処理の回数を示すパラメータ
Ｌ：回転画像の基準線
Ｌ１〜Ｌ４：複製基準軸
Ｍ：拡大倍率／
ｍ：ドメインセルの縦位置を示すパラメータ
ｎ：ドメインセルの横位置を示すパラメータ
Ｏ：ＸＹ座標系の原点
Ｐ１〜Ｐ１６：原画像上の既存画素
Ｐａ〜Ｐｄ：原画像上の既存画素
Ｐin：原画像（入力画像）
Ｐin（０）：原画像（複製の元になる画像）
Ｐin（１）〜Ｐin（８）：原画像の複製画像
Ｐout：拡大画像（出力画像）
Ｐ（Ｘ，Ｙ）：座標点
Ｐ′（Ｘ，Ｙ）：回転後の座標点
Ｐ（θ）：回転画像
Ｑ，Ｑｃ，Ｑｄ：補間画素
Ｑ（Ｒ（ｉ，ｊ））：置換画素群
Ｑ_０（Ｒ（ｉ，ｊ））：第０次置換画素群
Ｑ′_０（Ｒ（ｉ，ｊ））：第０次置換画素群の差分画像
ｑ（ｘ，ｙ）：置換画素群を構成する各画素／その画素値
ｑ_０（ｘ，ｙ）：第０次置換画素群を構成する各画素／その画素値
ｑ_１（ｘ，ｙ）：第１次置換画素群を構成する各画素／その画素値
ｑ_ｋ（ｘ，ｙ）：第ｋ次置換画素群を構成する各画素／その画素値
ｑ′_０（ｘ，ｙ）：第０次置換画素群の差分画像を構成する各画素／その画素値
ｑ_０（ave）：第０次置換画素群を構成する各画素の画素値の平均値
ｑ_ｋ（ave）：第ｋ次置換画素群を構成する各画素の画素値の平均値
ｑ′_ｋ（ｘ，ｙ）：第ｋ次置換画素群の差分画像を構成する各画素／その画素値
Ｒ（ｉ，ｊ）：レンジセル／被置換画素群
Ｒ′（ｉ，ｊ）：レンジセルの差分画像
ｒ（ｘ，ｙ）：レンジセルの各画素／その画素値
ｒ（ave）：レンジセル平均値（レンジセルの各画素の画素値の平均値）
ｒ′（ｘ，ｙ）：レンジセル差分画像の各画素／その画素値
Ｓ１〜Ｓ１７：流れ図の各ステップ
ＳＤ（ｍ，ｎ）：縮小ドメインセル
ＳＤ′（ｍ，ｎ）：縮小ドメインセル差分画像
ｓｄ（ｘ，ｙ）：縮小ドメインセルの各画素／その画素値
ｓｄ′（ｘ，ｙ）：縮小ドメインセル差分画像の各画素／その画素値
ｓｄ（ave）：縮小ドメインセル平均値（縮小ドメインセルの各画素の画素値の平均値）
Ｔ１〜Ｔ６：各手順
ｕ：画像の縦方向サイズ（画素配列の総行数）
Ｖ５〜Ｖ８：原画像の輪郭を構成する矩形の頂点
ｖ：画像の横方向サイズ（画素配列の列行数）
Ｘ：ＸＹ座標系の座標軸／座標値
Ｘ０，Ｘ′：ＸＹ座標系の座標値
ｘ：セル内のローカル座標系の座標値（セル内の画素の縦位置を示すパラメータ）
Ｙ：ＸＹ座標系の座標軸／座標値
Ｙ０，Ｙ′：ＸＹ座標系の座標値
ｙ：セル内のローカル座標系の座標値（セル内の画素の横位置を示すパラメータ）
Ｚ：拡張原画像
α：輝度変換パラメータ
α_０：第０次輝度変換パラメータ
α_１：第１次輝度変換パラメータ
α_ｋ：第ｋ次輝度変換パラメータ
θ：回転角

Claims (21)

1. 原画像を拡大して拡大画像を生成する処理を行う画像拡大処理装置であって、
   拡大対象となる原画像を入力する原画像入力部と、
   入力した原画像を、所定の画素値をもった画素の配列を示す画像データとして格納する原画像格納用メモリと、
   前記原画像を所定の回転角θだけ回転させることにより得られる回転画像を、前記原画像格納用メモリに格納されている画像データを用いた補間演算により生成する回転画像演算部と、
   生成された回転画像を、所定の画素値をもった画素の配列を示す画像データとして格納する回転画像格納用メモリと、
   前記原画像格納用メモリに格納されている原画像上に、複数画素の配列からなるレンジセルを、少なくとも拡大対象領域がカバーされるように定義し、定義した個々のレンジセルを、順次、着目レンジセルとして抽出するレンジセル抽出部と、
   前記回転画像格納用メモリに格納されている回転画像上に、前記レンジセルを構成する画素配列よりも大きな画素配列からなるドメインセルを複数組定義し、個々のドメインセルを、順次、着目ドメインセルとして抽出するドメインセル抽出部と、
   抽出された着目レンジセルの画素値変動分布と抽出された着目ドメインセルの画素値変動分布との類似度を判定する類似度判定部と、
   個々のレンジセルのそれぞれについて、最も高い類似度が得られた最適ドメインセルを特定する情報を格納する判定結果格納部と、
   個々のレンジセルを構成する画素配列からなる被置換画素群を、当該レンジセルについての最適ドメインセルを構成する画素の画素値変動分布を参照することにより画素値が決定された、当該最適ドメインセルと同じ大きさの画素配列からなる置換画素群に置換することにより拡大画像を生成するセル合成部と、
   前記セル合成部によって生成された拡大画像に対して、画素値の修正処理を行う修正処理部と、
   前記修正処理部によって修正された拡大画像を出力する拡大画像出力部と、
   を備え、
   前記修正処理部が、隣接配置された複数組の置換画素群の境界部分の画素値の不連続性を平滑化するための画像平滑フィルタを作用させる平滑化処理を行う平滑処理部と、置換画素群を構成する画素の画素値を被置換画素群を構成する画素の画素値により近づけるための輝度値調整処理を行う輝度調整部と、を有し、第ｋ回目の平滑化処理および輝度値調整処理が完了した後に、第（ｋ＋１）回目の平滑化処理および輝度値調整処理が実行されるように、前記平滑化処理と前記輝度値調整処理とを交互に繰り返し実行し、
   第ｋ回目の輝度値調整処理では、置換画素群上に定義されたローカル座標系ｘｙで示される位置に配置されている修正後画素値ｑ _ｋ （ｘ，ｙ）を、
   ｑ _ｋ （ｘ，ｙ）＝ｄ′（ｘ，ｙ）×α _ｋ ＋ｑ _ｋ−１ （ave）
   ここで、
   ｄ′（ｘ，ｙ）＝ｄ（ｘ，ｙ）−ｄ（ave）
   α _ｋ は所定の輝度変換パラメータ
   ｑ _ｋ−１ （ave）は、置換画素群についての修正前画素値の平均
   ｄ（ave）は、最適ドメインセルの各画素の画素値の平均
   ｄ（ｘ，ｙ）は、最適ドメインセルのローカル座標系ｘｙで示される位置
   に配置されている画素の画素値
   なる演算式によって算出することを特徴とする画像拡大処理装置。
2. 請求項１に記載の画像拡大処理装置において、
   レンジセルをａ行ｂ列に配列された画素の集合体によって構成し、
   ドメインセルを（Ｍ×ａ）行（Ｍ×ｂ）列に配列された画素の集合体によって構成し、
   セル合成部が、原画像に対して縦横それぞれＭ倍の解像度を有する拡大画像を生成することを特徴とする画像拡大処理装置。
3. 請求項２に記載の画像拡大処理装置において、
   レンジセル抽出部が、Ａ行Ｂ列の画素配列からなる原画像上において、ａ行ｂ列に配置された画素を包含するセル枠を、行方向にａ画素ピッチ、列方向にｂ画素ピッチで移動させることにより、合計（Ａ／ａ）×（Ｂ／ｂ）組のレンジセルを定義することを特徴とする画像拡大処理装置。
4. 請求項２に記載の画像拡大処理装置において、
   レンジセル抽出部が、Ａ行Ｂ列の画素配列からなる原画像上において、ａ行ｂ列に配置された画素を包含するセル枠を、行方向に１画素ピッチ、列方向に１画素ピッチで移動させることにより、合計（Ａ−ａ＋１）×（Ｂ−ｂ＋１）組のレンジセルを、相互に部分的な重なりを許して定義し、
   セル合成部が、拡大画像を構成する個々の画素の画素値を決定する際に、当該画素位置に複数のレンジセルが重なり合って定義されていた場合には、これら複数のレンジセルのそれぞれについての最適ドメインセルの画素値変動分布を参照した決定処理を行うことを特徴とする画像拡大処理装置。
5. 請求項２〜４のいずれかに記載の画像拡大処理装置において、
   ドメインセル抽出部が、Ａ行Ｂ列の画素配列からなる原画像上において、（Ｍ×ａ）行（Ｍ×ｂ）列に配列された画素を包含するセル枠を、行方向に１画素ピッチ、列方向に１画素ピッチで移動させることにより、合計（Ａ−（Ｍ×ａ）＋１）×（Ｂ−（Ｍ×ｂ）＋１）組のドメインセルを定義することを特徴とする画像拡大処理装置。
6. 請求項２〜５のいずれかに記載の画像拡大処理装置において、
   類似度判定部が、着目ドメインセル内の画像を縦横それぞれ１／Ｍに縮小して縮小ドメインセルを生成し、前記縮小ドメインセルを構成する個々の画素の画素値と、着目レンジセルを構成する個々の画素の画素値とについて、両者が近づくように輝度変換処理を施し、輝度変換処理後の前記縮小ドメインセルの個々の画素の画素値と前記着目レンジセルの個々の画素の画素値とを比較することにより類似度の判定を行うことを特徴とする画像拡大処理装置。
7. 請求項２〜５のいずれかに記載の画像拡大処理装置において、
   類似度判定部が、
   着目レンジセルＲを構成する個々の画素について、その画素値ｒの平均であるレンジセル平均値ｒ（ave）を求めるレンジセル平均値算出部と、
   前記着目レンジセルＲを構成する個々の画素について、その画素値ｒと前記レンジセル平均値ｒ（ave）との差を示す差分値ｒ′を求め、求めた差分値ｒ′を画素値とするレンジセル差分画像Ｒ′を生成するレンジセル差分画像生成部と、
   着目ドメインセルＤ内の画像を縦横それぞれ１／Ｍに縮小して縮小ドメインセルＳＤを得る縮小処理部と、
   前記縮小ドメインセルＳＤを構成する個々の画素について、その画素値ｓｄの平均である縮小ドメインセル平均値ｓｄ（ave）を求めるドメインセル平均値算出部と、
   前記縮小ドメインセルＳＤを構成する個々の画素について、その画素値ｓｄと前記縮小ドメインセル平均値ｓｄ（ave）との差を示す差分値ｓｄ′を求め、求めた差分値ｓｄ′を画素値とする縮小ドメインセル差分画像ＳＤ′を生成する縮小ドメインセル差分画像生成部と、
   前記レンジセル差分画像Ｒ′内のｘ行ｙ列目の画素の画素値をｒ′（ｘ，ｙ）、前記縮小ドメインセル差分画像ＳＤ′内のｘ行ｙ列目の画素の画素値をｓｄ′（ｘ，ｙ）としたときに、
   α＝Σ_x,y ［ｒ′（ｘ，ｙ）・ｓｄ′（ｘ，ｙ）］／
   Σ_x,y ［ｓｄ′（ｘ，ｙ）］^２
   なる式で与えられる輝度変換パラメータαを求める輝度変換パラメータ算出部と、
   前記レンジセル差分画像Ｒ′内の各画素の画素値ｒ′（ｘ，ｙ）と、前記縮小ドメインセル差分画像ＳＤ′内の各画素の画素値ｓｄ′（ｘ，ｙ）と、前記輝度変換パラメータαと、に基づいて、
   Ｅ＝Σ_x,y ［ｒ′（ｘ，ｙ）−α・ｓｄ′（ｘ，ｙ）］^２
   なる式で与えられる誤差値Ｅを求める誤差値算出部と、
   を有し、前記誤差値Ｅが小さいほど、着目レンジセルの画素値変動分布と着目ドメインセルの画素値変動分布との類似度が高いと判定することを特徴とする画像拡大処理装置。
8. 請求項７に記載の画像拡大処理装置において、
   セル合成部が、置換画素群を構成する（Ｍ×ａ）行（Ｍ×ｂ）列の画素配列のうちのｘ行ｙ列目の画素の画素値ｑ（ｘ，ｙ）を、最適ドメインセルの各画素の画素値の平均をｄ（ave）、最適ドメインセルのｘ行ｙ列目の画素の画素値をｄ（ｘ，ｙ）として、
   ｑ（ｘ，ｙ）＝（ｄ（ｘ，ｙ）−ｄ（ave））×α＋ｒ（ave）
   なる式を用いた演算により決定することを特徴とする画像拡大処理装置。
9. 請求項８に記載の画像拡大処理装置において、
   ドメインセル平均値算出部が、縮小ドメインセル平均値ｓｄ（ave）を求める機能とともに、ドメインセルＤを構成する個々の画素について、その画素値ｄの平均であるドメインセル平均値ｄ（ave）を求める機能を有し、
   判定結果格納部が、個々のレンジセルのそれぞれについて、最も高い類似度が得られた最適ドメインセルを特定するための回転角θおよびセル位置を示す情報とともに、当該最適ドメインセルについての輝度変換パラメータαおよびドメインセル平均値ｄ（ave）、ならびに、レンジセル平均値ｒ（ave）を格納する機能を有し、
   セル合成部が、前記判定結果格納部に格納されている輝度変換パラメータα、ドメインセル平均値ｄ（ave）、レンジセル平均値ｒ（ave）を利用して、画素値ｑ（ｘ，ｙ）を決定するための演算を行うことを特徴とする画像拡大処理装置。
10. 請求項１〜９のいずれかに記載の画像拡大処理装置において、
    回転画像演算部が、回転前の原画像の各画素位置を基準点として、個々の基準点について、回転後の原画像を構成する画素のうちの当該基準点の近傍にある参照画素の画素値を用いた補間演算を行うことにより補間画素値を求め、これら補間画素値を有する各基準点位置に配置された画素の集合体として回転画像の生成を行うことを特徴とする画像拡大処理装置。
11. 請求項１０に記載の画像拡大処理装置において、
    原画像格納用メモリおよび回転画像格納用メモリが、それぞれ矩形画像の画像データを格納する機能を有し、
    回転画像演算部が、基準点の近傍に参照画素が存在しないために当該基準点についての補間画素値を求めることができない場合には、当該基準点位置に配置された画素については画素値の定義を行わず、
    ドメインセル抽出部が、一部もしくは全部の画素について画素値の定義が行われていないドメインセルについては、着目ドメインセルとしての抽出を行わないことを特徴とする画像拡大処理装置。
12. 請求項１０に記載の画像拡大処理装置において、
    原画像格納用メモリおよび回転画像格納用メモリが、それぞれ矩形画像の画像データを格納する機能を有し、
    回転画像格納用メモリのサイズが、補間画素値を求めることができる位置に配置された画素のみから構成される回転画像を格納するのに適したサイズとなるように、原画像格納用メモリのサイズよりも小さく設定されていることを特徴とする画像拡大処理装置。
13. 請求項１０に記載の画像拡大処理装置において、
    原画像格納用メモリおよび回転画像格納用メモリが、それぞれ矩形画像の画像データを格納する機能を有し、
    所定の変動範囲内の回転角θだけ回転させることにより得られる複数通りの回転画像をすべて包摂することが可能な包摂矩形内の画像を収容することができるように、回転画像格納用メモリのサイズが、原画像格納用メモリのサイズよりも大きく設定されており、
    回転画像演算部が、基準点の近傍に参照画素が存在しないために当該基準点についての補間画素値を求めることができない場合には、当該基準点位置に配置された画素については画素値の定義を行わず、
    ドメインセル抽出部が、一部もしくは全部の画素について画素値の定義が行われていないドメインセルについては、着目ドメインセルとしての抽出を行わないことを特徴とする画像拡大処理装置。
14. 請求項１０に記載の画像拡大処理装置において、
    原画像格納用メモリおよび回転画像格納用メモリが、それぞれ矩形画像の画像データを格納する機能を有し、
    回転画像演算部が、原画像の周囲に当該原画像の複製画像を配置した拡張原画像を作成した上で、当該拡張原画像を利用した補間演算によって、回転画像格納用メモリ内に回転画像を生成する処理を行うことを特徴とする画像拡大処理装置。
15. 請求項１４に記載の画像拡大処理装置において、
    所定の変動範囲内の回転角θだけ回転させることにより得られる複数通りの回転画像をすべて包摂することが可能な包摂矩形内の画像を収容することができるように、回転画像格納用メモリのサイズが、原画像格納用メモリのサイズよりも大きく設定されていることを特徴とする画像拡大処理装置。
16. 請求項１４または１５に記載の画像拡大処理装置において、
    原画像の輪郭矩形の外側の上下左右の四方に、それぞれ前記輪郭矩形の上下左右の辺を複製基準軸として前記原画像に対して前記複製基準軸に関して鏡像関係となる複製画像を配置することにより拡張原画像を作成することを特徴とする画像拡大処理装置。
17. 請求項１６に記載の画像拡大処理装置において、
    原画像の輪郭矩形の４頂点の各外側近傍の隙間領域に、当該頂点を中心として前記原画像を１８０°回転して得られる複製画像を配置することにより拡張原画像を作成することを特徴とする画像拡大処理装置。
18. 請求項１〜１７のいずれかに記載の画像拡大処理装置において、
    判定結果格納部が、個々のレンジセルのそれぞれについて、現段階で最も高い類似度が得られた仮最適ドメインセルに関する情報を格納する格納領域を有し、類似度判定部から特定のレンジセルについての新たな着目ドメインセルに対する類似度の判定結果が得られたときに、当該特定のレンジセルについて現段階で格納されている仮最適ドメインセルについての類似度と前記新たな着目ドメインセルに対する類似度とを比較し、前者よりも後者の方が高い場合にのみ、前者を後者によって書き換える処理を行い、類似度判定部から全ドメインセルに対する類似度の判定結果が得られた時点で格納されていた仮最適ドメインセルを最終的な最適ドメインセルとすることを特徴とする画像拡大処理装置。
19. 請求項１〜１８のいずれかに記載の画像拡大処理装置において、
    原画像入力部が複数の原色プレーンからなるカラー画像を原画像として入力する機能を有し、
    原画像格納用メモリおよび回転画像格納用メモリが、それぞれ原色プレーンごとの画像データを別個独立して格納する機能を有し、
    セル合成部が、原色プレーンごとの拡大画像を別個独立して生成する機能を有し、
    拡大画像出力部が、複数の原色プレーンからなるカラー画像を拡大画像として出力する機能を有することを特徴とする画像拡大処理装置。
20. 請求項１〜１９のいずれかに記載の画像拡大処理装置としてコンピュータを機能させるプログラム。
21. 請求項１〜１９のいずれかに記載の画像拡大処理装置として機能する論理素子およびメモリが組み込まれた半導体集積回路。