JP4882843B2 - 画像処理システム及び画像処理プログラム - Google Patents

Description

本発明は、画像処理システム及び画像処理プログラムに関する。

画像の拡大処理は、画像の編集やファイリング、表示、印刷などを行うシステムにとって基本的な処理の一つである。また近年、インターネットのホームページ上の画像やデジタルビデオなどのディスプレイ解像度での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷することも頻繁に行われている。このプリンタによる印刷の際に、高画質の出力結果を得ることが望まれており、高画質の拡大処理に対する重要度が高まっている。

カラーを含む多階調で表現された画像（以下では、これを多値画像と称する場合もある）を拡大処理する既存の代表的な手法としては、最近傍法や線形補間法、キュービック・コンボリューション法などがある。最近傍法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使うという方法である。この方法は、演算量が少ないため高速に処理することができる。しかし、原画像の１画素がそのまま矩形形状に拡大されるため、隣り合う画素の画素値の差が小さい場合は画質劣化の程度は小さくほとんど影響はないが、逆に大きい場合などは、斜線部やエッジ部のジャギーが目立ったり、倍率が大きい場合には画像がモザイク状になるなど、画質劣化の程度は大きい。

線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求めるという方法である。この方法では、最近傍法よりも処理は重いものの演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。

キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）が近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）と前記の近似補間関数との畳み込み演算により、拡大後の画素値を求める方法である。この方法は、前記２つの手法に比べて画質は比較的よいが、拡大倍率が大きくなるとエッジ部分でジャギーが発生したり、高域が強調気味となる特性を持つためノイズ成分が強調されてしまうなどの欠点もある。

近年ではこれら拡大画像の画質問題を解決する試みとして、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、離散コサイン変換）などの直交変換を用いて、実空間の画像信号を周波数空間の信号に変換し、何らかの高周波数成分を追加したのち逆変換を行うことにより、サンプリング時に失われた高周波数成分を復元する拡大手法が提案されている。例えば特許文献１、特許文献２などの新規方式が提案されている。特許文献１に記載されている技術では、実空間の画像信号に対してＤＣＴ、ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、逆離散コサイン変換）を繰り返して行うゲルヒベルグ‐パポリスの反復法を利用して、拡大画像における高周波数成分の復元を実現する技術が記載されている。しかし、例えば特許文献１による技術では、ＤＣＴ、ＩＤＣＴの反復演算を行うため演算量が非常に多く、対象画像がカラー画像の場合などではさらに処理負荷が大きくなる。

例えば特許文献２に記載されている技術では、画像をブロック毎にＤＣＴして周波数信号に変換し、前記周波数信号に変換された画像ブロックの高周波部分に０を補間して、通常ＩＤＣＴで用いる基底とは異なる基底を複数用意し、画像ブロックの特徴に基づき、用意した基底を切り替えてＩＤＣＴする手法が提案されている。しかし特許文献２による手法では、ＩＤＣＴで用いる複数の基底を実験的に手動で作成しており、予め作成された基底だけでは多種多様な画像ブロックの特徴に基づくＩＤＣＴが行えず、エッジ部のジャギーの発生や、リンギングなどの画質劣化が起こることが考えられる。

また、これらに関する技術として、例えば特許文献３には、画像平坦部におけるリンギングを抑制することにより、拡大画像の高画質化を図ることを目的とし、リンギングの発生のない、平坦部が滑らかな参照画像を用意し、処理対象画像を複数領域に分け、平坦部領域を求め、注目画素を中心とする矩形領域に対しリンギング修正処理を行い、処理対象画像と参照画像との誤差を画像の平坦部において少なくすることにより、リンギングの抑制を図る技術が記載されている。

また、例えば特許文献４には、画像内容に逆らうことなく可視的な劣化を感じることがないようにしつつ、補間処理の負担を最小限に抑えることができる画像処理方法を提供することを目的とし、空間周波数領域へ直交変換を用いて複数画素単位で周波数（交流）成分を含んで圧縮された画像データを、圧縮データから非圧縮データへ復元する時に、圧縮の単位である複数の部分画素領域についての周波数（交流）成分を含むデータを抽出することを特徴とする画像処理方法において、抽出した複数の部分画素領域の周波数（交流）成分の特徴量と、予め設定してある空間周波数特性閾値とを比較し、周波数特性として高域周波数データブロックと低域周波数データブロックに判定し、その結果を複数の部分画素領域の位置情報に関連付け、画像データ変倍用の補間精度の違うフィルタを少なくとも２種類備え、画像データを変倍（拡大若しくは縮小）する時に、先に求めた結果を基に複数の部分画素領域単位で変倍用フィルタを切り替えて使用する技術が記載されている。

また、例えば特許文献５には、画像の特徴抽出が高速にでき、さらに、レイアウトや形状やテクスチャといった特徴を個別的に抽出可能な柔軟性の高い特徴抽出を行うことを課題とし、グレースケール画像又はカラー画像を入力してウェーブレット変換を施すウェーブレット変換部と、ウェーブレット変換後の各周波数帯域の係数に基づいて、画像のレイアウト、形状及びテクスチャの各々に分けて特徴量を抽出するレイアウト特徴量抽出部、形状特徴量抽出部及びテクスチャ特徴量抽出部を備える技術が記載されている。
特許第３３０２７３１号公報 特許第３１９５１４２号公報 特許第３４０４１３８号公報 特開２００３−２７４１５４号公報 特開２００１−０９２９７３号公報

本発明は、このような背景技術の状況の中でなされたもので、入力された画像に対してボケやジャギーを生じさせること無く、鮮鋭度が高い滑らかなエッジの再現と、さらにテクスチャなどの細部の構造を再現することができる拡大処理を、処理負荷が小さく高速で行うことが可能な画像処理システム及び画像処理プログラムを提供することを目的とするものである。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。［１］ 画像領域の複数のパターンに対して、各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
注目領域を含む画像領域と前記周波数成分生成手段によって生成された所定の周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
前記拡大画像領域生成手段により生成された拡大画像領域を配置して、入力画像に対する拡大画像を生成する拡大画像生成手段
を有することを特徴とする画像処理システム。

［２］ 予め算出された又は保持している、画像領域の複数のパターンに対する各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
注目領域を含む画像領域と前記周波数成分生成手段によって生成された所定の周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
前記拡大画像領域生成手段により生成された拡大画像領域を配置して、入力画像に対する拡大画像を生成する拡大画像生成手段
を有することを特徴とする画像処理システム。

［３］ 画像領域の複数のパターンに対して、各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
注目領域を含む画像領域と前記周波数成分生成手段によって生成された周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
前記拡大画像領域生成手段とは異なる手法で前記注目領域に対する拡大画像領域を生成する第２の拡大画像領域生成手段と、
前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を配置して入力画像に対する拡大画像を生成する拡大画像生成手段
を有し、
前記拡大画像生成手段による配置は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合わないように順次配置すること、又は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合うように順次配置することとし、該重なり合うように順次配置する場合は、重なり合う画素値の総和を重なった数で除算することにより画素値を算出すること、又は、重なり合う画素値を各々前画素値との平均値とすること
を特徴とする画像処理システム。

［４］ 予め算出された又は保持している、画像領域の複数のパターンに対する各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
注目領域を含む画像領域と前記周波数成分生成手段によって生成された周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
前記拡大画像領域生成手段とは異なる手法で前記注目領域に対する拡大画像領域を生成する第２の拡大画像領域生成手段と、
前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を配置して入力画像に対する拡大画像を生成する拡大画像生成手段
を有し、
前記拡大画像生成手段による配置は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合わないように順次配置すること、又は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合うように順次配置することとし、該重なり合うように順次配置する場合は、重なり合う画素値の総和を重なった数で除算することにより画素値を算出すること、又は、重なり合う画素値を各々前画素値との平均値とすること
を特徴とする画像処理システム。

［５］ コンピュータを
画像領域の複数のパターンに対して、各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
注目領域を含む画像領域と前記周波数成分生成手段によって生成された所定の周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
前記拡大画像領域生成手段により生成された拡大画像領域を配置して、入力画像に対する拡大画像を生成する拡大画像生成手段
として機能させることを特徴とする画像処理プログラム。
［６］ コンピュータを
予め算出された又は保持している、画像領域の複数のパターンに対する各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
注目領域を含む画像領域と前記周波数成分生成手段によって生成された所定の周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
前記拡大画像領域生成手段により生成された拡大画像領域を配置して、入力画像に対する拡大画像を生成する拡大画像生成手段
として機能させることを特徴とする画像処理プログラム。
［７］ コンピュータを
画像領域の複数のパターンに対して、各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
注目領域を含む画像領域と前記周波数成分生成手段によって生成された周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
前記拡大画像領域生成手段とは異なる手法で前記注目領域に対する拡大画像領域を生成する第２の拡大画像領域生成手段と、
前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を配置して入力画像に対する拡大画像を生成する拡大画像生成手段
として機能させ、
前記拡大画像生成手段による配置は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合わないように順次配置すること、又は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合うように順次配置することとし、該重なり合うように順次配置する場合は、重なり合う画素値の総和を重なった数で除算することにより画素値を算出すること、又は、重なり合う画素値を各々前画素値との平均値とすること
を特徴とする画像処理プログラム。
［８］ コンピュータを
予め算出された又は保持している、画像領域の複数のパターンに対する各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
注目領域を含む画像領域と前記周波数成分生成手段によって生成された周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
前記拡大画像領域生成手段とは異なる手法で前記注目領域に対する拡大画像領域を生成する第２の拡大画像領域生成手段と、
前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を配置して入力画像に対する拡大画像を生成する拡大画像生成手段
として機能させ、
前記拡大画像生成手段による配置は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合わないように順次配置すること、又は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合うように順次配置することとし、該重なり合うように順次配置する場合は、重なり合う画素値の総和を重なった数で除算することにより画素値を算出すること、又は、重なり合う画素値を各々前画素値との平均値とすること
を特徴とする画像処理プログラム。

本発明にかかる画像処理システム及び画像処理プログラムによれば、本構成を有していない場合に比較して、入力された画像に対してボケやジャギーを生じさせること無く、鮮鋭度が高い滑らかなエッジの再現と、さらにテクスチャなどの細部の構造を再現することができる拡大処理を、処理負荷が小さく高速で行うことを可能とすることができる。

本実施の形態に関する技術は、カラーを含む多階調で表現された画像の拡大処理を行う画像処理技術に関するものであり、特に入力された画像に対してボケやジャギーなどの画質欠陥をなるべく生じさせること無く、高画質にしかも処理負荷が軽い拡大処理を行う画像処理技術に関するものである。

（第１の実施の形態）
図１は、画像処理システム、画像処理プログラム及び画像処理方法の第１の実施の形態を示すブロック図である。図中、１は記憶部、２は画像ブロック設定部、３は拡大画像ブロック生成部、４は拡大画像生成部である。さらに３０は画像ブロック直交変換部、３１は高周波数成分生成部、３２は画像ブロック逆直交変換部である。

記憶部１は、画像データが拡大処理されるまで一時的に記憶する機能や、解像度変換又は拡大処理された拡大画像データが図示しない出力装置に出力されるまで一時的に記憶する機能などを備えたものである。なお、画像データは画像処理システムで処理可能な画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、図示しないデジタルカメラやスキャナなどによって取り込まれたり、パーソナルコンピュータ等において作成、編集等を処理するアプリケーションプログラムで作成された画像データ等である。拡大画像データについても、同様の画像フォーマットのデータである。

画像ブロック設定部２は、拡大画像ブロック生成部３における処理で必要とされる所定の画像ブロックサイズをそれぞれ設定し、記憶部１により記憶されている入力画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、このブロックサイズの画像ブロックを出力する。

拡大画像ブロック生成部３は、画像ブロック設定部２から出力された画像ブロック中に含まれる所定サイズの注目ブロックに対して、注目ブロック及び注目ブロックの近傍に複数ある同サイズの周辺ブロックをそれぞれ直交変換して複数の高周波数成分要素を抽出し、前記注目ブロックと前記複数の高周波数成分要素を用いて逆直交変換を行うことにより拡大画像ブロックを生成する。
なお、拡大画像ブロック生成部３の詳細については後述する。

拡大画像生成部４は、拡大画像ブロック生成部３で生成された拡大画像ブロックを順次配置し、解像度変換あるいは拡大された拡大画像データを記憶部１に出力する。なお、拡大画像ブロックの配置方法については後述するが、例えば順次並べていく方法の他、拡大画像ブロックを重なり合うように順次配置して重畳させ、重なる画素値の総和を重なった数で割ることにより画素値を算出するように構成することもできる。

［拡大画像ブロック生成部３の詳細説明］
次に、拡大画像ブロック生成部３についてより詳細に説明する。拡大画像ブロック生成部３は、図１に示すように、画像ブロック直交変換部３０、高周波数成分生成部３１、画像ブロック逆直交変換部３２で構成される。以降、本例では図２に例示するように注目ブロック及び周辺ブロックが２×２画素サイズブロックであり、注目ブロック及び周辺ブロックを含む画像ブロックが４×４画素サイズブロックである場合を具体例として説明する。

画像ブロック直交変換部３０は、画像ブロック設定部２から出力された画像ブロック中の注目ブロックあるいは周辺ブロックに対して、以下の式（１）に示すようにＨａａｒウェーブレットを用いたウェーブレット変換をし、注目ブロックあるいは周辺ブロックをサブバンド成分ＬＬ、ＬＨ、ＨＬ、ＨＨに分解する。
ＬＬ＝（ａ＋ｃ＋ｂ＋ｄ）／４
ＬＨ＝（ａ＋ｂ−ｃ−ｄ）／４
ＨＬ＝（ａ−ｂ＋ｃ−ｄ）／４
ＨＨ＝（ａ−ｂ−ｃ＋ｄ）／４ ・・・式（１）
上記式におけるａ、ｂ、ｃ及びｄは、図３に例示するように、注目ブロックあるいは周辺ブロックにある各画素の画素値である。
なお、画像ブロック直交変換部３０における直交変換は上述したＨａａｒウェーブレットを用いたウェーブレット変換に限定されるわけではなく、実空間領域の画像ブロックをサブバンド成分に分解する変換であればよい。

高周波数成分生成部３１は、画像ブロック逆直交変換部３２で必要とされる注目ブロックの高周波数成分に相当する値を生成する。図４は高周波数成分生成部３１における注目ブロックの高周波数成分生成処理のフローチャートであり、図５は高周波数成分生成部３１における注目ブロックの高周波数成分生成処理の具体例を示した図である。

図４に示すように、ステップＳ４０において、高周波数成分生成部３１は、まず図５（ａ）に示すように注目ブロック近傍の周辺ブロックを選択する。

ステップＳ４１において、高周波数成分生成部３１は選択された周辺ブロックを画像ブロック直交変換部３０に出力し、上述の式（１）を用いて図５（ｂ）に示すようにサブバ
ンド成分ＬＬ１、ＬＨ１、ＨＬ１、ＨＨ１に分解する。

ステップＳ４２において、高周波数成分生成部３１は、図５（ｃ）に示すように前記周辺ブロックのサブバンド成分のうち高周波数成分を表すＬＨ１、ＨＬ１、ＨＨ１を、図５（ｄ）に図示するように注目ブロック（画素値ａ、ｂ、ｃ、ｄ）を多重解像度解析における低周波数成分を表すサブバンド成分ＬＬを構成する要素とみなした時のサブバンド成分ＬＨ、ＨＬ、ＨＨを構成する所定位置の要素とみなし、ＬＨ１、ＨＬ１、ＨＨ１の値を埋める。

ステップＳ４３において、高周波数成分生成部３１は、図５（ｃ）に示すように、サブバンド成分ＬＨ、ＨＬ、ＨＨを構成する残りすべての要素を生成し終えたかを判断し、全ての高周波数成分の生成が終了した場合は処理を終了する。高周波数成分の生成が終了していない場合はステップＳ４０からステップＳ４２までの処理を繰り返す。

高周波数成分生成部３１は上述したように、ステップＳ４０からステップＳ４３までの処理を行うことで４つの周辺ブロックを選択し、最終的に図６に図示するように各注目ブロックに対応した４組の高周波数成分［ＬＨ１、ＨＬ１、ＨＨ１］、［ＬＨ２、ＨＬ２、ＨＨ２］、［ＬＨ３、ＨＬ３、ＨＨ３］、［ＬＨ４、ＨＬ４、ＨＨ４］をそれぞれ生成する。
なお、高周波数成分生成部３１における高周波数成分生成処理については、注目ブロックのサブバンド成分ＬＨ０、ＨＬ０、ＨＨ０の絶対値である｜ＬＨ０｜、｜ＨＬ０｜、｜ＨＨ０｜の値がすべてある所定の閾値Ｔｈ１より小さい場合のように、注目ブロックの画素値変化が非常に小さく平坦な場合（注目ブロックに高周波数成分がほとんどない場合）には、高周波数成分生成部３１は上述したステップＳ４０からステップＳ４３までの高周波数成分生成処理は行わず、全ての高周波数成分［ＬＨ１、ＨＬ１、ＨＨ１］、［ＬＨ２、ＨＬ２、ＨＨ２］、［ＬＨ３、ＨＬ３、ＨＨ３］、［ＬＨ４、ＨＬ４、ＨＨ４］を０とするような処理を行ってもよい。

ここで高周波数成分生成部３１における周辺ブロックの選択方法について述べる。
［第１の選択方法］
高周波数成分生成部３１における周辺ブロックの第１の選択方法として、例えば図７（ａ）に示すように、注目ブロックの真上を第１の周辺ブロック、右を第２の周辺ブロック、左を第３の周辺ブロック、真下を第４の周辺ブロックと選択する方法や、図７（ｂ）に示すように、注目ブロックの左上を第１の周辺ブロック、右上を第２の周辺ブロック、左下を第３の周辺ブロック、右下を第４の周辺ブロックと選択する方法など、注目ブロックの特徴に関わらず予め決めておく方法が考えられる。

［第２の選択方法］
高周波数成分生成部３１における周辺ブロックの第２の選択方法として、注目ブロックのサブバンド成分ＬＨ０、ＨＬ０を用いて次の式（２）で、注目ブロックのエッジ角度Θを算出し、算出された注目ブロックのエッジ角度Θに基づいて４つの周辺ブロックを選択するような動的な選択方法が考えられる。
Θ＝ａｒｃｔａｎ（ＬＨ０／ＨＬ０） ・・・式（２）

ここで、図１５、図１６及び図１７を用いて、注目ブロックのエッジ角度Θに基づく周辺ブロック選択の具体例について説明する。
式（２）で算出された注目ブロックのエッジ角度Θは、例えば図１５に示すように２２．５°毎に区分された８方向に正規化される。本例では、エッジ角度Θが０°又は±１８０°を中心とした角度範囲を「方向（０）」とし、２２．５°又は−１５７．５°を中心とした角度範囲を「方向（１）」とし、４５°又は−１３５°を中心とした角度範囲を「方向（２）」とし、６７．５°又は−１１２．５°を中心とした角度範囲を「方向（３）」とし、９０°又は−９０°を中心とした角度範囲を「方向（４）」とし、１１２．５°又は−６７．５°を中心とした角度範囲を「方向（５）」とし、１３５°又は−４５°を中心とした角度範囲を「方向（６）」とし、１５７．５°又は−２２．５°を中心とした角度範囲を「方向（７）」する。これらの角度範囲は、それぞれの中心から±１１．２５°の範囲である。

ここで、先に述べた正規化されたエッジ角度Θに基づく動的な周辺ブロックの選択というのは、図１６に示すように注目ブロック中の画素ａに対して、４×４画像ブロック内で注目ブロック中の画素ａを含む周辺ブロックの選択候補である図１６（ａ）、図１６（ｂ）、図１６（ｃ）、図１６（ｄ）の４つの位置（位置０、位置１、位置２、位置３）にある候補ブロックの中から注目ブロックのエッジ角度Θに基づいて、注目ブロックに近い特徴（ここではエッジ角度Θ）を有すると推定される１つの周辺ブロックを予め決定しておくということである。
また他の注目ブロック中の画素ｂ、画素ｃ、画素ｄも画素ａの場合と同様に各画素毎に注目ブロックのエッジ角度Θに基づいて注目ブロックに近い特徴を有すると推定される周辺ブロックを予め１ブロック決定しておく。
つまり注目ブロックのエッジ角度Θに基づいて各画素（画素ａ、画素ｂ、画素ｃ、画素ｄ）毎に選択すべき周辺ブロックの位置を「参照ブロックパターン」として予め用意しておくことにより、高周波数成分生成部３１における高周波数成分生成で用いる周辺ブロックをエッジ角度Θに基づいて動的に選択することが可能となる。

具体例として、図１７に注目ブロックのエッジ角度Θが「方向（１）」の場合に選択されるべき周辺ブロックの位置を表した「参照ブロックパターン」の一例を示す。図１７中、斜めのハッチが掛かった２×２画像ブロックが各画素における高周波数成分生成に用いるべき周辺ブロックを示す。
注目ブロック中の画素ａに対して、図１７（Ａ）では選択すべき周辺ブロックを図１６（ｂ）で示した位置１の画像ブロックとしている。同様に注目ブロック中の画素ｂに対しても、図１７（Ｂ）では図１６（ｂ）で示した位置１の画像ブロックとしている。また、注目ブロック中の画素ｃに対して、図１７（Ｃ）では図１６（ｃ）で示した位置２の画像ブロックとしている。さらに、注目ブロック中の画素ｄに対しては画素ｃと同様に、図１７（Ｄ）では図１６（ｃ）で示した位置２の画像ブロックとしている。
つまり図１７に示した具体例においては、エッジ角度Θが「方向（１）」を有する注目ブロック（画素ａ、画素ｂ、画素ｃ、画素ｄ）の各画素が選択すべき周辺ブロックの位置を表す「参照ブロックパターン」は［位置１、位置１、位置２、位置２］となる。

図１８は、注目ブロックのエッジ角度Θが「方向（１）」とは異なる場合の「参照ブロックパターン」の具体的な例を示したものである。
図１８（ａ）は注目ブロックのエッジ角度Θが「方向（０）」の場合であり、「参照ブロックパターン」は［位置１、位置０、位置３、位置２］である。
図１８（ｂ）は注目ブロックのエッジ角度Θが「方向（２）」の場合であり、「参照ブロックパターン」は［位置３、位置１、位置２、位置０］である。
図１８（ｃ）は注目ブロックのエッジ角度Θが「方向（３）」の場合であり、「参照ブロックパターン」は［位置２、位置１、位置２、位置１］である。
図１８（ｄ）は注目ブロックのエッジ角度Θが「方向（４）」の場合であり、「参照ブロックパターン」は［位置２、位置３、位置０、位置１］である。
図１８（ｅ）は注目ブロックのエッジ角度Θが「方向（５）」の場合であり、「参照ブロックパターン」は［位置０、位置３、位置０、位置３］である。
図１８（ｆ）は注目ブロックのエッジ角度Θが「方向（６）」の場合であり、「参照ブロックパターン」は［位置０、位置２、位置１、位置３］である。
図１８（ｇ）は注目ブロックのエッジ角度Θが「方向（７）」の場合であり、「参照ブロックパターン」は［位置０、位置０、位置３、位置３］である。

もちろん注目ブロックのエッジ角度Θに基づく「参照ブロックパターン」は図１７及び図１８に示した具体例に限られるわけではなく、入力画像データの種類（例えば、風景画像、人物画像、静物画像など）、あるいは画像フォーマット（例えば、ＢＭＰ、ＪＰＥＧ、ＴＩＦＦ）などに応じてエッジ角度Θ毎の「参照ブロックパターン」を便宜変更するようにしてもよい。

またさらに別の周辺ブロックの選択方法として、注目ブロックの高周波数成分を表すサブバンド成分ＬＨ０、ＨＬ０、ＨＨ０を用いて周辺ブロックとの類似度Δを以下の式（３）で計算する。
ｄｘ ＝ ｜ＨＬ０−ＨＬｘ｜
ｄｙ ＝ ｜ＬＨ０−ＬＨｘ｜
ｄｄ ＝ ｜ＨＨ０−ＨＨｘ｜
Δ ＝ ｄｘ＋ｄｙ＋ｄｄ ・・・式（３）

ここでＨＬｘ、ＬＨｘ、ＨＨｘ、は選択した周辺ブロックのサブバンド成分である。そしてこの類似度Δがある所定の閾値Ｔｈ０よりも小さいブロックを類似周辺ブロックとして選択するような方法をとってもよい。ただしこの場合は、画像ブロック内に類似周辺ブロックが４つ存在するとは限らないので、この場合は類似度Δの値が小さい周辺ブロックから順に選択するようにする。

［第３の選択方法］
高周波数成分生成部３１における周辺ブロックの第３の選択方法として、各周辺ブロックの統計量に相当する値に基づいて選択する方法が考えられる。
図１９（ａ）は注目ブロック（２×２サイズブロック）内のある注目画素、例えば図１６で示した注目領域（ａ、ｂ、ｃ、ｄ）中の注目画素ａが、高周波数成分生成に用いる周辺ブロック（２×２サイズブロック）の選択領域として必要な画像ブロック（３×３サイズブロック）を図示したものである。図１９に示す例では、注目画素は画素ｉ１１である。またｉ００、・・・、ｉ２２はそれぞれ各画素及びその画素値を表すものとする。

高周波数成分生成部３１は、図１９（ａ）に示す３×３画像ブロック（ｉ００、・・・、ｉ２２）の平均値mean、及び図１９（ｂ）から図１９（ｅ）に示す各周辺ブロックである周辺ブロック０（ｉ００、ｉ０１、ｉ１０、ｉ１１）、周辺ブロック１（ｉ０１、ｉ０２、ｉ１１、ｉ１２）、周辺ブロック２（ｉ１０、ｉ１１、ｉ２０、ｉ２１）、周辺ブロック３（ｉ１１、ｉ１２、ｉ２１、ｉ２２）の分散に相当する値、ｖｅｒ０、ｖｅｒ１、ｖｅｒ２、ｖｅｒ３を以下の式（４）で算出する。
mean = (i00 + i01 + i02 + i10 + i11 +i12 + i20 + i21 + i22)/9
ｖｅｒ０= |i00 - mean| + |i01 - mean| +|i10 - mean| + |i11 - mean|
ｖｅｒ１= |i01 - mean| + |i02 - mean| +|i11 - mean| + |i12 - mean|
ｖｅｒ２= |i10 - mean| + |i11 - mean| +|i20 - mean| + |i21 - mean|
ｖｅｒ３= |i11 - mean| + |i12 - mean| +|i21 - mean| + |i22 - mean| ・・・式（４）

次に高周波数成分生成部３１は、式（４）で算出した分散に相当する各値ｖｅｒ０、ｖｅｒ１、ｖｅｒ２、ｖｅｒ３の中から最小値を探索し、その最小値ｖｅｒｍｉｎを持つ周辺ブロックを高周波数成分生成で用いる周辺ブロックとして選択するような方法をとってもよい。上記のような最小値に相当するブロックを選択することにより、高周波数成分生成部３１は破綻の少ない安定した高周波数成分の生成を行うことが可能となる。
ここで周辺ブロックの選択に用いる統計量は、式（４）に示した算出式でのみ算出されるわけではなく、図１９（ｂ）から図１９（ｅ）に示す各周辺ブロックのばらつき具合に相当する値を算出可能な算出式であればどのような式を用いてもよい。例えば、次の式（５）のような算出式でももちろんよい。
ｖｅｒ０^２=（i00 - mean）^２+（i01- mean）^２+（i10 - mean）^２+（i11
- mean）^２
ｖｅｒ１^２=（i01 - mean）^２+（i02- mean）^２+（i11 - mean）^２+（i12
- mean）^２
ｖｅｒ２^２=（i10 - mean）^２+（i11- mean）^２+（i20 - mean）^２+（i21
- mean）^２
ｖｅｒ３^２=（i11 - mean）^２+（i12- mean）^２+（i21 - mean）^２+（i22
- mean）^２
・・・式（５）

また上述した例では算出した分散に相当する値の最小値を持つ周辺ブロックを高周波数成分生成で用いる周辺ブロックとして選択する例を示したが、最小値をもつ周辺ブロックではなく別の選択方法として、例えば算出した分散相当の値の大小関係と注目ブロックのエッジ強度を関連付けて、前記エッジ強度に基づいて関連付けられた分散値を持つ周辺ブロックを選択する方法も考えられる。
注目ブロックのエッジ強度Ｅは、一例として注目ブロックのサブバンド成分ＬＨ０、ＨＬ０、ＨＨ０を用いて次の式（６）で算出される。
Ｅ＝｜ＬＨ０｜＋｜ＨＬ０｜＋｜ＨＨ０｜ ・・・式（６）

図２０（ａ）は式（６）で算出されたエッジ強度Ｅの強さにより、処理対象となる注目ブロックのエッジ強度領域を４領域に分割した例を示したものである。図２０（ａ）の領域０が処理対象となるエッジ強度では最もエッジ強度Ｅが弱い領域であり、図２０（ａ）の領域３が処理対象となるエッジ強度では最もエッジ強度Ｅが強い領域であることを示している。
高周波数成分生成部３１は、図２０（ａ）に示した処理対象となる注目ブロックのエッジ強度領域（領域０〜領域３）と式（４）あるいは式（５）を用いて算出された各周辺ブックの分散に相当する値とを関連付ける。具体的には図２０（ｂ）に示すように、式（４）あるいは式（５）で算出された各周辺ブロックの分散に相当する各値の大小関係と分割された注目ブロックのエッジ強度領域を関連付けて、例えば注目ブロックのエッジ強度Ｅが領域３に属する強度を持つ場合は、図２０（ｂ）に図示するように、算出された各周辺ブロックの分散に相当する値を基に最大値を持つ周辺ブロックを選択する。同様に、注目ブロックのエッジ強度Ｅが領域２に属する場合は、２番目に大きい値を持つ周辺ブロックを選択し、注目ブロックのエッジ強度Ｅが領域１に属する場合は、２番目に小さい値を持つ周辺ブロックを選択し、注目ブロックのエッジ強度Ｅが領域０に属する場合は、最小値を持つ周辺ブロックを選択する。このような選択方法をとることにより、高周波数成分生成部３１は、注目ブロックのエッジ強度に応じた高周波数成分生成が可能となり、より入力画像の特徴を高精度に再現することができる。

また上記では注目ブロックのエッジ強度Ｅと算出した分散に相当する値を関連付けた例を示したが、図２１に示すように注目ブロック中の注目画素の輝度値と算出した分散に相当する値を関連付けるようにしてもよい。図２１に図示する例では、輝度値が０〜２５５の８ビット階調で表現されているとして、輝度値［０〜６３］の場合は、最小値を持つ周辺ブロックを選択し、輝度値［６４〜１２７］の場合は、２番目に小さい値を持つ周辺ブロックを選択し、輝度値［１２８〜１９１］の場合は、２番目に大きい値を持つ周辺ブロックを選択し、輝度値［１９２〜２５５］の場合は、最大値を持つ周辺ブロックを選択するようにしている。これは入力画像中の輝度値の大きい領域は光の反射率の大きな物体の表面である場合が多く、算出された分散に相当する値が大きな周辺ブロックを選択するのが好ましいためである。

さらに、図２０及び図２１に図示したいずれの例でも、領域を４領域に分割しているが、もちろんそれに限ったわけではなく、例えば２領域に分割して分散に相当する値の最大値と最小値を関連付けるといった手法をとってももちろんよく、要するに算出された統計量と注目ブロックあるいは注目画素の状態に基づいて、高周波数成分の生成に必要な周辺ブロックを動的に選択する手法であればどんな手法を用いてもよい。

［第４の選択方法］
高周波数成分生成部３１における周辺ブロックの第４の選択方法として、注目画素を含む画像ブロックの形状に基づいて選択する方法が考えられる。なお以下の説明では、周辺ブロック、注目画素及び画像ブロックの関係については、先の［第３の選択方法］の説明で用いた図１９に記した具体例で以下の説明を行う。

高周波数成分生成部３１は、図１９（ａ）に示す３×３画像ブロック（ｉ００、・・・、ｉ２２）において、図２２に示すように注目画素ｉ１１とｄ０〜ｄ７までの８方向の位置にある画素ｉ０１、ｉ０２、ｉ１２、ｉ２２、ｉ２１、ｉ２０、ｉ１０、ｉ００との各差分値Ｄｄ０、Ｄｄ１、Ｄｄ２、Ｄｄ３、Ｄｄ４、Ｄｄ５、Ｄｄ６、Ｄｄ７を以下の式（７）で算出する。
Ｄｄ０ ＝ ｉ１１ − ｉ０１
Ｄｄ１ ＝ ｉ１１ − ｉ０２
Ｄｄ２ ＝ ｉ１１ − ｉ１２
Ｄｄ３ ＝ ｉ１１ − ｉ２２
Ｄｄ４ ＝ ｉ１１ − ｉ２１
Ｄｄ５ ＝ ｉ１１ − ｉ２０
Ｄｄ６ ＝ ｉ１１ − ｉ１０
Ｄｄ７ ＝ ｉ１１ − ｉ００ ・・・ 式（７）
つまり、注目画素とその注目画素の周辺にある周辺画素との画素値の差分を求めている。

高周波数成分生成部３１は、式（７）で算出された注目画素ｉ１１とその周囲８方向（ｄ０〜ｄ７）に位置する各画素との差分値Ｄｄ０〜Ｄｄ７を所定の閾値ｔｈを用いて分類する。例えば図２３に具体的に示すように各差分値と閾値ｔｈを比較し、差分値＜−ｔｈの場合は分類０、−ｔｈ≦差分値≦ｔｈの場合は分類１、差分値＞ｔｈの場合は分類２として８方向の各差分値各々を３つに分類することで、図１９（ａ）に示す３×３画像ブロックに対して３^８＝６５６１通りの分類が可能となる。さらに高周波数成分生成部３１は、例えばこれら各方向の差分値に基づいた各分類値（０、１、２）を各方向ｄ０からｄ７まで順に並べることにより画像ブロックの分類パターンを生成し、前記分類パターンを３×３画像ブロックの形状パターンとして算出する。つまり、注目画素と周辺画素との画素値の差分値の組み合わせである形状パターンを算出する。

なお、上述の所定の閾値ｔｈは予め既定の値を定めておいてもよいし、３×３画像ブロック毎に動的に変わるような変動値を用いてもよい。また上述の例では各差分値を閾値ｔｈを用いて３つに分類したが、もちろんこれに限ったわけではなく例えば２つの閾値を用いて５つに分類してもよい。ただし実際には、例えば５分類の場合５^８＝３９０６２５通りの分類となり、分類数が増加するとパターン数が膨大となるため、計算負荷や算出する画像ブロック形状の必要精度を勘案して分類数を決定するのが好ましい。

次に高周波数成分生成部３１は、３×３画像ブロック形状パターンと周辺ブロック選択位置に関する対応表（以後、「ブロック選択マップ」と呼ぶ）に基づいて図１９（ｂ）、図１９（ｃ）、図１９（ｄ）、図１９（ｅ）に示す周辺ブロック０、周辺ブロック１、周辺ブロック２、周辺ブロック３の中から１つの周辺ブロックを選択する。ブロック選択マップの作成については後述するが、ここで用いるブロック選択マップは図２４に具体例を示すように、画像ブロック形状パターンと選択されるべき周辺ブロックの位置情報が対になった対応表である。例えば図２４の太枠で囲まれた「形状パターン５」の要素を例に説明すると、３×３画像ブロックの形状パターンが「形状パターン５」と算出された場合は、「形状パターン５」を検索キーとしてブロック選択マップを参照することにより、選択位置として位置２が検索され、その結果に基づいて高周波数成分生成部３１は位置２の周辺ブロックを選択する。

次に、ブロック選択マップの作成について以下で詳述する。
図２５に示すのはブロック選択マップ作成の具体的な例を示したフローチャートである。
ステップＳ２５０において、入力画像を縦横１／２に縮小処理する。ステップＳ２５０における縮小処理は入力画像における２×２画素の平均値を対応する縮小画像の画素値とするような平均値縮小処理が望ましい。具体的には図２６に示すように例えば入力画像の６×６サイズ画像ブロックに対して、それに対応した１／２縮小画像の３×３サイズ画像ブロックを生成する場合、画素ｉ１１の画素値を入力画像中の画素ａ、ｂ、ｃ、ｄの平均値となるように生成する。
ステップＳ２５１において、図２６（ｂ）に示したような１／２縮小画像の注目画素を含む３×３画像ブロックの形状パターンを上述した式（７）で算出される８方向の差分値を用いた手法で算出する。

ステップＳ２５２において、図２６（ｂ）に示したような１／２縮小画像における３×３画像ブロック中の注目画素ｉ１１に対して、図１９（ｂ）、図１９（ｃ）、図１９（ｄ）、図１９（ｅ）に示す周辺ブロック０、周辺ブロック１、周辺ブロック２、周辺ブロック３、それぞれ４つの周辺ブロックの高周波数成分を用いた４つの２×２拡大画像ブロックを生成する。
ステップＳ２５３において、先のステップＳ２５２において生成した４つの２×２拡大画像ブロックそれぞれと、１／２縮小画像中の注目画素ｉ１１に対応する入力画像中の画素ａ、ｂ、ｃ、ｄの誤差値ｄｉｆｆ０、ｄｉｆｆ１、ｄｉｆｆ２、ｄｉｆｆ３を以下の式（８）で算出する。
ｄｉｆｆ ＝ ｜ａ−ａ´｜＋｜ｂ−ｂ´｜＋｜ｃ−ｃ´｜＋｜ｄ−ｄ´｜
・・・ 式（８）
ここでａ、ｂ、ｃ、ｄは１／２縮小画像中の注目画素ｉ１１に対応する２×２入力画像ブロックの画素値であり、ａ´、ｂ´、ｃ´、ｄ´は１／２縮小画像中の注目画素ｉ１１と周辺ブロックの高周波数成分を用いて生成した２×２拡大画像ブロックの画素値であり、４つの周辺ブロックからそれぞれ４組のａ´、ｂ´、ｃ´、ｄ´が生成され、４つの誤差値ｄｉｆｆ０、ｄｉｆｆ１、ｄｉｆｆ２、ｄｉｆｆ３が式（８）によりそれぞれ算出される。

ステップＳ２５４において、ステップＳ２５３で算出した入力画像と生成した拡大画像ブロックとの誤差値ｄｉｆｆ０、ｄｉｆｆ１、ｄｉｆｆ２、ｄｉｆｆ３の中から、最も小さい誤差値となった周辺ブロックの位置情報を記録する。具体的には図１６及び図１９で示したように、周辺ブロック０で生成した拡大画像ブロックの誤差値が最小値であれば、位置０、周辺ブロック１のものであれば位置１、周辺ブロック２のものであれば位置２、周辺ブロック３のものであれば位置３を記録する。
またステップＳ２５４の別の処理方法として、周辺ブロック位置毎のそれぞれの誤差値ｄｉｆｆ０、ｄｉｆｆ１、ｄｉｆｆ２、ｄｉｆｆ３を順次加算するようにしてもよい。
ステップＳ２５５において、１／２縮小画像中の処理対象となる全ての注目ブロックを終了したかどうかを判定する。終了していない場合はステップＳ２５１に処理を移し、ステップＳ２５１〜ステップＳ２５４までの処理を繰り返すことにより形状パターンに対応した位置情報を順次記録する。また、全ての注目ブロックを終了した場合はステップＳ２５６に処理を移す。
ステップＳ２５６において、ステップＳ２５０からステップＳ２５５までの処理において作成されたブロック形状パターンに対する誤差値最小となる周辺ブロックの位置情報を順次記録した情報から、各ブロック形状パターンに対する選択すべき最適な位置情報を算出する。

図２７にステップＳ２５０からステップＳ２５５までの処理において作成されたブロック形状パターンに対する誤差値最小となる周辺ブロックの位置情報を順次記録した表の具体的な一例を示す。図２７中に示す各数字は、各ブロック形状パターンに対して１／２縮小画像全体で入力画像に対する誤差値が最小となった位置の総記録数を表している。具体的に図２７に示した例で説明すると、図２７においてブロック形状パターン０と算出された画像ブロックに対して誤差値最小の拡大画像ブロックを生成したのは、位置０の周辺ブロックの場合が１６８回、位置１の周辺ブロックの場合が１４４回、位置２の周辺ブロックの場合が３回、位置３の周辺ブロックの場合が１３５回記録されたことを意味する。

そこでステップＳ２５６では、これら各ブロック形状パターンに対する各位置の記録回数のデータに基づいて最も記録回数の多い位置を選択すべき最適な位置情報として算出し、図２４に示したようなブロック選択マップを作成する。例えば図２７に示した表では、ブロック形状パターン０の場合は記録回数１６８回の位置０を算出し、ブロック形状パターン１の場合は記録回数２０９回の位置０を算出し、ブロック形状パターン２の場合は記録回数３１０回の位置３を算出するといった具合に処理を行って、図２４に示すような最終的なブロック選択マップを生成し、ブロック選択マップ生成処理を終了する。
また、ステップＳ２５４での処理が周辺ブロック位置毎の誤差値ｄｉｆｆ０、ｄｉｆｆ１、ｄｉｆｆ２、ｄｉｆｆ３を順次加算する処理の場合には、ステップＳ２５６では最終的に最も誤差値の小さい位置を算出することで図２４に示すような最終的なブロック選択マップを生成する。

以上、ブロック選択マップ生成処理の詳細を述べたが、上述のブロック選択マップ生成処理は拡大画像ブロック生成部３における拡大画像ブロック生成処理と同時に処理するのではなく、処理負荷や処理時間を勘案して拡大画像ブロック生成処理とは別に予めブロック選択マップ生成処理を行うようにしてももちろんよい。また予めブロック選択マップ生成処理を行う場合には、ブロック選択マップの各ブロック形状パターンに対応した選択すべき位置情報の精度を上げるため、あるいは任意の入力画像に対応したブロック選択マップを生成するために、図２５に示したフローチャートにおいて、ステップＳ２５０からステップＳ２５５の処理を複数の画像に適用してブロック選択マップ生成を行うようにしてもよい。

画像ブロック逆直交変換部３２は、図８（ａ）に示すように注目ブロックと高周波数成分生成部３１で生成された注目ブロックの高周波数成分に相当するサブバンド成分［ＬＨ１、ＨＬ１、ＨＨ１］、［ＬＨ２、ＨＬ２、ＨＨ２］、［ＬＨ３、ＨＬ３、ＨＨ３］、［ＬＨ４、ＨＬ４、ＨＨ４］を用いて、以下の式（９）に示すような逆ウェーブレット変換を行い、図８（ｂ）に示すような注目ブロックに対する拡大画像ブロックを生成する。
ａ０＝（ａ＋ＬＨ１＋ＨＬ１＋ＨＨ１）／４
ｂ０＝（ａ＋ＬＨ１−ＨＬ１−ＨＨ１）／４
ｃ０＝（ａ−ＬＨ１＋ＨＬ１−ＨＨ１）／４
ｄ０＝（ａ−ＬＨ１−ＨＬ１＋ＨＨ１）／４
ａ１＝（ｂ＋ＬＨ２＋ＨＬ２＋ＨＨ２）／４
ｂ１＝（ｂ＋ＬＨ２−ＨＬ２−ＨＨ２）／４
ｃ１＝（ｂ−ＬＨ２＋ＨＬ２−ＨＨ２）／４
ｄ１＝（ｂ−ＬＨ２−ＨＬ２＋ＨＨ２）／４
ａ２＝（ｃ＋ＬＨ３＋ＨＬ３＋ＨＨ３）／４
ｂ２＝（ｃ＋ＬＨ３−ＨＬ３−ＨＨ３）／４
ｃ２＝（ｃ−ＬＨ３＋ＨＬ３−ＨＨ３）／４
ｄ２＝（ｃ−ＬＨ３−ＨＬ３＋ＨＨ３）／４
ａ３＝（ｄ＋ＬＨ４＋ＨＬ４＋ＨＨ４）／４
ｂ３＝（ｄ＋ＬＨ４−ＨＬ４−ＨＨ４）／４
ｃ３＝（ｄ−ＬＨ４＋ＨＬ４−ＨＨ４）／４
ｄ３＝（ｄ−ＬＨ４−ＨＬ４＋ＨＨ４）／４ ・・・式（９）

以上説明したように、拡大画像ブロック生成部３では、注目ブロックの高周波数成分として、所定の複数の周辺ブロックを直交変換して生成された高周波数成分を注目ブロックの高周波数成分と見なし、注目ブロックとこの生成された複数の高周波数成分を用いた逆直交変換を行うことで拡大画像ブロックを生成することにより、注目ブロックが本来持つ高周波数成分を失うことなく拡大することが可能となる。

［拡大画像生成部４の詳細説明］
次に、拡大画像生成部４をより詳細に説明する。
拡大画像生成部４では、拡大画像ブロック生成部３で生成された注目ブロックに対する拡大画像ブロックを所定の方法により順次配置する。図９は、拡大画像ブロック生成部３で生成された４×４画素の拡大画像ブロックを配置する具体例の説明図である。図９に示す例では、順次生成された拡大画像ブロック０及び拡大画像ブロック１をオーバーラップさせるように配置している。オーバーラップする画素は各々前画素値との平均をとるようにして配置する。又は、オーバーラップする画素の総和を計算し、前記画素値の総和をオーバーラップした数で割ることにより各画素値を算出するようにしてもよい。この場合、注目画素を例えば１画素ずつずらしながら選択し、拡大処理を行っていくことになる。あるいは、オーバーラップさせずに並べていくこともできる。この場合、注目領域が重ならないように選択していけばよい。

（第２の実施の形態）
図１０は、画像処理システム、画像処理プログラム及び画像処理方法の第２の実施の形態を示すブロック図である。
図中、１は記憶部、２は画像ブロック設定部、５は拡大画像ブロック生成部、４は拡大画像生成部である。さらに３０は画像ブロック直交変換部、３１は高周波数成分生成部、３２は画像ブロック逆直交変換部、５０は画像ブロック分類部、５１は画像ブロック強調部、５２は第１拡大ブロック生成部、５３は第２拡大ブロック生成部である。
なお、記憶部１、画像ブロック設定部２、拡大画像生成部４、画像ブロック直交変換部３０、高周波数成分生成部３１、画像ブロック逆直交変換部３２については図１に示した第１の実施の形態におけるものと同様であるので説明を省略する。

図１０に例示する第２の実施の形態における画像処理システムの動作の具体例を図１２のフローチャートを用いて説明する。
ステップＳ１２０において、画像ブロック設定部２は、注目ブロックを含む所定サイズの画像ブロックを切り出し、拡大画像ブロック生成部５に出力する。

ステップＳ１２１において、画像ブロック直交変換部３０は、画像ブロック設定部２から出力された画像ブロック中に含まれる所定サイズの注目ブロックを直交変換して各サブバンド成分ＬＬ、ＬＨ、ＨＬ、ＨＨに分解する。

ステップＳ１２２において、画像ブロック分類部５０は、前記画像ブロック直交変換部３０で得られた注目ブロックのサブバンド成分を用いて所定の基準により注目ブロックを分類する。より具体的には、注目ブロックがエッジを含むブロックであるのか、エッジではなく細かな凹凸で構成されるようなテクスチャを含むブロックであるのかを判定し、分類する。

ステップＳ１２３において、画像ブロック強調部５１は、画像ブロック分類部５０において分類された注目ブロック毎に異なるコントラスト強調処理を行う。

ステップＳ１２４において、第１拡大ブロック生成部５２は、画像ブロック分類部５０においてテクスチャを含むブロックであると判断された注目ブロックに対して拡大画像ブロック生成処理を行い、また第２拡大ブロック生成部５３は、画像ブロック分類部５０においてエッジを含むブロックであると判断された注目ブロックに対して拡大画像ブロック生成処理を行い、前記注目ブロックの拡大画像ブロックを生成する。その後、拡大画像生成部４は、第１拡大ブロック生成部５２及び第２拡大ブロック生成部５３により生成された拡大画像ブロックを配置する。その配置方法は、前記第１の実施の形態における拡大画像生成部４の配置方法と同様である。

次に、画像ブロック分類部５０、画像ブロック強調部５１、第１拡大ブロック生成部５２、第２拡大ブロック生成部５３について説明する。

画像ブロック分類部５０は、注目ブロックを画像特徴量に基づいて切り分ける。ここで画像ブロックの切り分けとは、特徴のある画像ブロック（例えば、エッジを含んだ画像ブロックなど）と、特徴の少ない画像ブロック（例えば、画素値変化の少ない画像ブロックなど）とを切り分けることを意味する。より具体的には、画像ブロック直交変換部３０で式（１）により直交変換された注目ブロックのサブバンド成分ＬＨ、ＨＬ、ＨＨの絶対値｜ＬＨ｜、｜ＨＬ｜、｜ＨＨ｜を所定の基準値ＴＨ２とそれぞれ比較し、３つのサブバンド成分の絶対値が一つでも基準値ＴＨ２より大きい場合は、注目ブロックをエッジを含むブロック（以後、エッジブロックと呼ぶ）と判定し、３つのサブバンド成分の絶対値がすべて基準値ＴＨ２より小さい場合は、注目ブロックをテクスチャを含むブロック（以後、テクスチャブロックと呼ぶ）と判定する。

画像ブロック強調部５１は、画像ブロック設定部２から出力された注目ブロックを含む画像ブロックに対して、先ほど述べた画像ブロック分類部５０における画像ブロックの分類結果に基づいたコントラスト強調処理を行う。
図１１は、画像ブロック強調部５１において用いられる強調カーネル５３３（コントラスト強調カーネル）を例示する図である。

図１１に例示するように、第１の強調カーネル５３３ａは、重み付け係数「１．８０」及び「−０．２０」を用いてコントラストを強調し、第２の強調カーネル５３３ｂは、重み付け係数「１．２０」及び「−０．０５」を用いてコントラストを強調する。これらの強調カーネルは、画像ブロック分類部５０の分類結果に対応付けられており、互いに異なる重み付け係数を用いてコントラスト強調処理を行う。
具体的には図１１（Ａ）に示す第１の強調カーネル５３３ａは、画像ブロック分類部５０でエッジブロックと分類された注目ブロックを含む画像ブロックのコントラスト強調処理に用いられる。このようにより大きな重み付け係数を持つ強調カーネル５３３ａをエッジブロックに対応付けることにより、より鮮明で鮮鋭度の高いエッジを再現することができる。

また図１１（Ｂ）に示す第２の強調カーネル５３３ｂは、画像ブロック分類部５０でテクスチャブロックと分類された注目ブロックを含む画像ブロックのコントラスト強調処理に用いられる。テクスチャブロックに対してエッジブロックより小さな重み付け係数を持つ強調カーネル５３３ｂを対応付けることにより、テクスチャを際立たせ、テクスチャの再現性を向上させることができる。またさらにテクスチャの過度な強調による画像のざらつきを抑えることも可能である。

第１の強調カーネル５３３ａ及び第２の強調カーネル５３３ｂは、図１１に例示するように、注目画素Ｐの直下画素ａ、直右画素ｂ、直上画素ｃ及び直左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．２０）又は（−０．０５）を掛け合わせ、重み付け係数（１．８０）又は（１．２０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
例えば、第１の強調カーネル５３３ａを適用する場合に、以下の式（１０）に従って、コントラスト強調後の画素値Ｐ'が算出される。
（画素値Ｐ'）＝１．８０×Ｐ−０．２０×（ａ＋ｂ＋ｃ＋ｄ）・・・式（１０）

なお、重み付け係数は図１１（Ａ）、（Ｂ）に例示したものに限られたものではない。また、参照する画素の位置も、図１１に示すような上下左右に限られたものではない。例えば、斜め方向の画素を参照してコントラスト強調を行ったり、さらに離れた画素を参照してコントラスト強調を行ったり、重み付け係数及び参照する画素位置それぞれは、処理対象画像データの種類及びサイズなどにより適宜変更してもよい。

第１拡大ブロック生成部５２は、高周波数成分生成部３１及び画像ブロック逆直交変換部３２で構成され、第１の実施の形態の説明で述べたように、注目ブロックの高周波数成分として、所定の複数の周辺ブロックを直交変換して生成された高周波数成分を注目ブロックの高周波数成分と見なし、注目ブロックとこの生成された複数の高周波数成分を用いた逆直交変換を行うことで注目ブロックが本来持つ高周波数成分を保存するような拡大画像ブロック生成処理を行う。
図１０に例示する第２の実施の形態では、第１拡大ブロック生成部５２は、画像ブロック分類部５０において、テクスチャブロックと判定された注目ブロックに対して上記の拡大画像ブロック生成処理を行う。

第２拡大ブロック生成部５３は、画像ブロック分類部５０において、エッジブロックと判定された注目ブロックに対して、エッジ強度、エッジ方向、注目ブロックの画素値パターンなどの特徴量を算出し、鮮鋭度が高くジャギーの発生を抑制した拡大画像ブロック生成処理を行う。

上述したように、第２の実施の形態における画像処理システム、画像処理プログラム及び画像処理方法では、画素値差が大きくエッジとして認識できるような入力画像データ中の領域は、第２拡大ブロック生成部５３によってジャギーを抑制した鮮鋭なエッジ再現が可能な拡大処理を行うことができる。さらに画素値差が大きくない領域（例えば画素値の凹凸があまり大きくないような、遠景の木々や、建物の壁面、人物の髪などのテクスチャ領域）においても、第１拡大ブロック生成部５２で入力画像データの高周波数成分を補うような拡大処理を行うことにより、補間ボケによる細部情報の欠落などが生じず、上記テクスチャ領域の再現性を上げることが可能となる。

図１３は、画像処理システムの機能、画像処理プログラム又は画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、３０１はプログラム、３０２はコンピュータ、３１１は光磁気ディスク、３１２は光ディスク、３１３は磁気ディスク、３１４はメモリ、３２１は光磁気ディスク装置、３２２は光ディスク装置、３２３は磁気ディスク装置である。

上述の各実施の形態で説明した画像処理の機能は、コンピュータにより実行可能なプログラム３０１によっても実現することが可能である。その場合、そのプログラム３０１及びそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク３１１、光ディスク３１２（ＣＤやＤＶＤなどを含む）、磁気ディスク３１３、メモリ３１４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。

これらの記憶媒体にプログラム３０１を格納しておき、例えばコンピュータ３０２の光磁気ディスク装置３２１，光ディスク装置３２２，磁気ディスク装置３２３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータ３０２からプログラム３０１を読み出し、画像処理システムの機能、画像処理プログラム又は画像処理方法を実行することができる。あるいは、予め記憶媒体をコンピュータ３０２に装着しておき、例えばネットワークなどを介してプログラム３０１をコンピュータ３０２に転送し、記憶媒体にプログラム３０１を格納して実行させてもよい。なお、記憶部１は、コンピュータ３０２内のメモリあるいは付属の磁気ディスク装置３２３やその他の記憶媒体を適用することができる。もちろん、本実施の形態の一部の機能についてハードウェアによって構成することもでき、あるいは、すべてをハードウェアで構成してもよい。

図１４を参照して、本実施の形態の画像処理システムの機能又は画像処理方法を実現するコンピュータ３０２のハードウェア構成例について説明する。図１４に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるシステムであり、スキャナ等のデータ読み取り部４１７と、プリンタなどのデータ出力部４１８を備えたハード構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１は、上述の実施の形態において説明した各種の構成要素である部分、すなわち、画像ブロック設定部２、拡大画像ブロック生成部３，５等の各構成要素の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２は、ＣＰＵ４０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０３は、ＣＰＵ４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス４０４により相互に接続されている。

ホストバス４０４は、ブリッジ４０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス４０６に接続されている。
キーボード４０８、マウス等のポインティングデバイス４０９は、操作者により操作される入力デバイスである。ディスプレイ４１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ４０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、入力画像、拡大処理された画像などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ４１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体４１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース４０７、外部バス４０６、ブリッジ４０５、及びホストバス４０４を介して接続されているＲＡＭ４０３に供給する。リムーバブル記録媒体４１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート４１４は、外部接続機器４１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート４１４は、インタフェース４０７、及び外部バス４０６、ブリッジ４０５、ホストバス４０４等を介してＣＰＵ４０１等に接続されている。通信部４１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部４１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部４１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１４に示すシステムのハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１４に示す構成に限らず、本実施の形態において説明した構成要素である部分を実行可能な構成であればよい。例えば、一部の構成要素である部分を専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部の構成要素である部分は外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１４に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（多機能複写機とも呼ばれ、スキャナ、プリンタ、複写機、ファックス等の機能を有している）などに組み込まれていてもよい。

以上説明したように、第１の実施の形態は、所定の大きさの画像領域を複数の周波数成分に変換し、周波数変換して得られた複数の画像領域の周波数成分から注目領域の高周波数成分を生成し、注目領域と前記生成された高周波数成分とを逆変換することにより拡大画像領域を生成してそれらを所定の方法で配置して拡大画像を生成している。このような拡大処理によって、失われる原画像に本来ある高周波数成分を補間した拡大処理が可能となり、ボケやディテール（細部）のつぶれ等の画質欠陥を抑制することができる。
また第２の実施の形態のように、注目領域を分類し、分類された注目領域毎に異なる強調処理及び画像領域拡大処理を行うことで、例えば主にテクスチャなどのボケやディテールのつぶれなどが問題となる領域とエッジなどの鮮鋭性やジャギーなどが問題となる領域それぞれに最適な画像領域拡大方法を行うことが可能となる。このような拡大処理によって、入力画像のボケやディテールのつぶれ、またエッジのジャギーなどの画質欠陥を抑制した高画質な拡大画像が得ることができる。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラム又はその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

画像処理システム、画像処理プログラム及び画像処理方法の第１の実施の形態の一構成例を示すブロック図である。 注目ブロック及び周辺ブロックを含む画像ブロックの一例についての説明図である。 注目ブロックあるいは周辺ブロックにある各画素の画素値の一例についての説明図である。 高周波数成分生成部における注目ブロックの高周波数成分生成処理例についてのフローチャートである。 高周波数成分生成部における注目ブロックの高周波数成分生成処理の具体例を示した説明図である。 各注目ブロックに対応した４組の高周波数成分の具体例を示した説明図である。 高周波数成分生成部における周辺ブロックの選択方法例を示した説明図である。 画像ブロック逆直交変換部の処理例を示した説明図である。 拡大画像ブロック生成部で生成された４×４画素の拡大画像ブロックを配置する具体例の説明図である。 画像処理システム及び画像処理方法の第２の実施の形態の一構成例を示すブロック図である。 画像ブロック強調部において用いられる強調カーネルを例示する説明図である。 第２の実施の形態における画像処理システムの動作の具体例を示すフローチャートである。 画像処理システムの機能、画像処理プログラム又は画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例を示す説明図である。 画像処理システムの機能、画像処理プログラム又は画像処理方法を実現するコンピュータのハードウェア構成の一例を示す説明図である。 注目ブロックのエッジ角度の具体例を示す説明図である。 注目ブロックのエッジ角度に基づく周辺ブロック選択の具体例を示す説明図である。 参照ブロックパターンの一例を示す説明図である。 参照ブロックパターンの具体的な例を示す説明図である。 注目ブロック内の注目画素、周辺ブロックの一例を示す説明図である。 エッジ強度Ｅの強さにより、処理対象となる注目ブロックのエッジ強度領域を４領域に分割した例を示す説明図である。 注目ブロック中の注目画素の輝度値と算出した分散に相当する値を関連付けた一例を示す説明図である。 高周波数成分生成部が注目画素と周囲８画素との各差分値を算出する処理の一例を示す説明図である。 差分値を３つに分類する処理の一例を示す説明図である。 ブロック選択マップの一例を示す説明図である。 ブロック選択マップ作成の具体的な例を示すフローチャートである。 平均値縮小処理の一例を示す説明図である。 ブロック形状パターンに対する誤差値最小となる周辺ブロックの位置情報を順次記録した表の具体的な一例を示す説明図である。

符号の説明

１…記憶部
２…画像ブロック設定部
３…拡大画像ブロック生成部
４…拡大画像生成部
３０…画像ブロック直交変換部
３１…高周波数成分生成部
３２…画像ブロック逆直交変換部
３０１…プログラム
３０２…コンピュータ
３１１…光磁気ディスク
３１２…光ディスク
３１３…磁気ディスク
３１４…メモリ
３２１…光磁気ディスク装置
３２２…光ディスク装置
３２３…磁気ディスク装置

Claims (8)

1. 画像領域の複数のパターンに対して、各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
   注目領域を含む画像領域と前記周波数成分生成手段によって生成された所定の周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
   前記拡大画像領域生成手段により生成された拡大画像領域を配置して、入力画像に対する拡大画像を生成する拡大画像生成手段
   を有することを特徴とする画像処理システム。
2. 予め算出された又は保持している、画像領域の複数のパターンに対する各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
   注目領域を含む画像領域と前記周波数成分生成手段によって生成された所定の周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
   前記拡大画像領域生成手段により生成された拡大画像領域を配置して、入力画像に対する拡大画像を生成する拡大画像生成手段
   を有することを特徴とする画像処理システム。
3. 画像領域の複数のパターンに対して、各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
   注目領域を含む画像領域と前記周波数成分生成手段によって生成された周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
   前記拡大画像領域生成手段とは異なる手法で前記注目領域に対する拡大画像領域を生成する第２の拡大画像領域生成手段と、
   前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を配置して入力画像に対する拡大画像を生成する拡大画像生成手段
   を有し、
   前記拡大画像生成手段による配置は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合わないように順次配置すること、又は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合うように順次配置することとし、該重なり合うように順次配置する場合は、重なり合う画素値の総和を重なった数で除算することにより画素値を算出すること、又は、重なり合う画素値を各々前画素値との平均値とすること
   を特徴とする画像処理システム。
4. 予め算出された又は保持している、画像領域の複数のパターンに対する各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
   注目領域を含む画像領域と前記周波数成分生成手段によって生成された周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
   前記拡大画像領域生成手段とは異なる手法で前記注目領域に対する拡大画像領域を生成する第２の拡大画像領域生成手段と、
   前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を配置して入力画像に対する拡大画像を生成する拡大画像生成手段
   を有し、
   前記拡大画像生成手段による配置は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合わないように順次配置すること、又は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合うように順次配置することとし、該重なり合うように順次配置する場合は、重なり合う画素値の総和を重なった数で除算することにより画素値を算出すること、又は、重なり合う画素値を各々前画素値との平均値とすること
   を特徴とする画像処理システム。
5. コンピュータを
   画像領域の複数のパターンに対して、各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
   注目領域を含む画像領域と前記周波数成分生成手段によって生成された所定の周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
   前記拡大画像領域生成手段により生成された拡大画像領域を配置して、入力画像に対する拡大画像を生成する拡大画像生成手段
   として機能させることを特徴とする画像処理プログラム。
6. コンピュータを
   予め算出された又は保持している、画像領域の複数のパターンに対する各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
   注目領域を含む画像領域と前記周波数成分生成手段によって生成された所定の周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
   前記拡大画像領域生成手段により生成された拡大画像領域を配置して、入力画像に対する拡大画像を生成する拡大画像生成手段
   として機能させることを特徴とする画像処理プログラム。
7. コンピュータを
   画像領域の複数のパターンに対して、各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
   注目領域を含む画像領域と前記周波数成分生成手段によって生成された周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
   前記拡大画像領域生成手段とは異なる手法で前記注目領域に対する拡大画像領域を生成する第２の拡大画像領域生成手段と、
   前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を配置して入力画像に対する拡大画像を生成する拡大画像生成手段
   として機能させ、
   前記拡大画像生成手段による配置は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合わないように順次配置すること、又は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合うように順次配置することとし、該重なり合うように順次配置する場合は、重なり合う画素値の総和を重なった数で除算することにより画素値を算出すること、又は、重なり合う画素値を各々前画素値との平均値とすること
   を特徴とする画像処理プログラム。
8. コンピュータを
   予め算出された又は保持している、画像領域の複数のパターンに対する各々選択すべき画像領域の位置を規定した情報に基づいて選択された画像領域から周波数成分を生成する周波数成分生成手段と、
   注目領域を含む画像領域と前記周波数成分生成手段によって生成された周波数成分を用いて逆変換することにより、前記注目領域に対する拡大画像領域を生成する拡大画像領域生成手段と、
   前記拡大画像領域生成手段とは異なる手法で前記注目領域に対する拡大画像領域を生成する第２の拡大画像領域生成手段と、
   前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を配置して入力画像に対する拡大画像を生成する拡大画像生成手段
   として機能させ、
   前記拡大画像生成手段による配置は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合わないように順次配置すること、又は、前記拡大画像領域生成手段及び前記第２の拡大画像領域生成手段により生成された拡大画像領域を重なり合うように順次配置することとし、該重なり合うように順次配置する場合は、重なり合う画素値の総和を重なった数で除算することにより画素値を算出すること、又は、重なり合う画素値を各々前画素値との平均値とすること
   を特徴とする画像処理プログラム。

Images