JP3882585B2 - 画像処理装置およびプログラム - Google Patents
画像処理装置およびプログラム Download PDFInfo
- Publication number
- JP3882585B2 JP3882585B2 JP2001341432A JP2001341432A JP3882585B2 JP 3882585 B2 JP3882585 B2 JP 3882585B2 JP 2001341432 A JP2001341432 A JP 2001341432A JP 2001341432 A JP2001341432 A JP 2001341432A JP 3882585 B2 JP3882585 B2 JP 3882585B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- unit
- enlargement
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 286
- 238000000034 method Methods 0.000 claims description 252
- 230000008569 process Effects 0.000 claims description 91
- 238000006243 chemical reaction Methods 0.000 claims description 80
- 238000000605 extraction Methods 0.000 claims description 71
- 238000010191 image analysis Methods 0.000 claims description 44
- 238000003672 processing method Methods 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 33
- 238000004364 calculation method Methods 0.000 description 17
- 238000013500 data storage Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 230000015556 catabolic process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 5
- 239000000428 dust Substances 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、多階調で表現された画像を拡大処理する画像処理装置およびコンピュータを利用して前記拡大処理をするためのプログラムに関する。
【０００２】
【従来の技術】
デジタル画像に対する信号処理の１つとして、拡大処理がある。たとえば、データベースや高精細カラー印刷などの分野では種々の高品質な画像処理機能が求められているが、その１つに画像拡大が求められている。この画像の拡大処理は、画像の編集やファイリング、表示、印刷などをするシステムにとって基本的な処理の１つである。たとえば、外部などから入力されたデジタル画像を解像度の異なるプリンタに印刷出力したり、またはディスプレイ上で拡大表示するなどの場合には、画像の拡大処理が必要となる。たとえば、７２０（水平方向）×４８０（垂直方向）画素である規格の画像データを、８００×６００画素のディスプレイに全画面表示する場合などである。またこの拡大処理は、たとえばＨＤＴＶ（高解像度テレビ）、ＮＴＳＣ方式のテレビ、電子スティルカメラ、医用画像システム、印刷用画像システムなどの、解像度の異なるメディアを結ぶために必要な解像度変換の手法としても利用できる極めて重要な機能である。さらに近年では、インターネットのホームページ上の画像やデジタルビデオなどの、たとえば７５ｄｐｉ近辺の比較的低解像度（ディスプレイ解像度）での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷する際に、高画質の出力結果を得るために、高画質の拡大処理に対するニーズも高まっている。
【０００３】
多階調で表現された多値画像を拡大処理する、すなわち拡大後の各画素位置の値を求める手法としては、従来から多くの手法が提案されており、たとえば、最近傍法（ニアレストネイバー；nearest neighbor）、線形補間法（バイリニア；bilinear）、あるいはキュービック・コンボリューション法（cubic convolution） などの補間を基本とした拡大方式（以下補間拡大方式ともいう）がよく知られている。
【０００４】
最近傍法は、拡大後の各画素値として、その画素を元画像上に逆写像した際に最も距離が近い画素の画素値を使うという方法であり、たとえばｘ方向の拡大率をａ、ｙ方向の拡大率をｂとすると、拡大後の各座標点（Ｘ，Ｙ）をそれぞれ１／ａ，１／ｂした元画像上の逆写像点を計算し、それに最も近い元画像上の画素値を（Ｘ，Ｙ）の画素値とする。
【０００５】
線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍の画素（たとえば４近傍画素）を参照し、ｘ方向、ｙ方向それぞれにその画素点（４近傍画素では４点）で囲まれる領域を線形近似（線形補間）して逆写像点での画素値を求めるというものである。この線形補間法は、最近傍法よりも処理負荷が重いものの演算量は比較的少なく、また線形補間そのものに平滑化効果があるため最近傍法に比べてジャギーが目立ち難い。
【０００６】
キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数｛ｓｉｎｃ（ｘ）＝ｓｉｎ（ｘ）／ｘ｝を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍画素（たとえばＸ、Ｙ方向それぞれ４画素の１６画素）と前記の近似補間関数との畳み込みにより、拡大後の画素値を求める方法である。これはｓｉｎｃ関数の周波数特性がナイキスト周波数内で“１”、その外側で“０”となる理想的な特性であることを利用して再標本化による折返し歪を抑えるという考え方に基づいている。この方法は、シャープな画像が得られるので前記２つの手法に比べて画質は比較的よい。
【０００７】
しかしながら、これらの補間拡大方式は、本質的にボケが発生してしまう傾向がある。また最近傍法は、処理が簡単で演算量が少ないため高速に処理できるが、元画像の１画素がそのまま矩形形状に拡大されるため、元画像に斜線または境界線が存在している場合には、拡大画像中のエッジ部や斜線部にジャギーと言われるギザギザの劣化が発生したり、倍率が大きい場合には画像がモザイク状（ブロック画像状）になるなど、視覚的な画質劣化の程度は大きい。線形補間法は、平滑化（ローパスフィルタ；ＬＰＦ）効果が強いために、たとえば直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、ＬＰＦ的な作用を受けてスムージングされた画像になり画像が全体的にボケた感じになる。キュービック・コンボリューション法は、参照範囲が大きく前記２つの方式と比較して演算量が多くなるので高速化処理が求められるときには適さない。また、ｓｉｎｃ関数は無限に続く関数であるため、それを所定範囲（１６画素の例では−２〜２）の範囲で打ち切って近似した関数を用いたことによる高域強調気味の特性があり、最近傍法ほどではないもののエッジ部分で軽いジャギーが発生したりノイズ成分が強調されてしまう。
【０００８】
これに対し最近では、前記補間拡大方式とは全く異なるアプローチとして、反復変換符号化を利用することで、ボケ、ジャギー、あるいはブロック歪の発生を防止する拡大手法が提案されている。この反復変換符号化の中には、たとえばフラクタルの概念を利用したものもある（たとえば特許第２９６８５８２号など）。またフラクタルの概念を利用するために通常ＩＦＳ（反復関数系；Iterated Function Systems ）が用いられる。以下フラクタルの概念を利用した反復変換符号化による拡大方式をフラクタル拡大手法という。
【０００９】
フラクタルの概念は、画像全体の中で、その画像の一部分を取り出した場合に、その取り出された画像と良く似た別の画像が、その画像の中に異なるサイズの形で存在するという前提で、画像の自己相似性を利用したものである。そしてフラクタル拡大手法は、ブロック画像歪みが目立つことがなく、しかも画像内の異なるサイズのブロック画像間の自己相似性を利用していることから、復号時には解像度に依存しないという利点があり、比較的大きな拡大率に対しても高画質な出力の得られる拡大手法である。たとえば第２９６８５８２号特許は、拡大したサイズの初期画像に対して、初期画像が拡大されたことにより同じ比率で拡大されたレンジブロック画像に対して座標変換および画素値変換をした結果を求め、同じく拡大されたドメインブロック画像位置に置き換える処理を繰り返すことで、拡大画像を得る方法を提案していが、この方式では、フラクタルの特徴を生かして、ジャギー発生を抑えてボケの少ない拡大画像を得ることができる。
【００１０】
【発明が解決しようとする課題】
しかしながら、反復変換符号化を利用した拡大手法は、所定の処理を反復することで拡大画像を得るため、処理時間が補間拡大方式に比べて飛躍的に長くなってしまう。たとえばフラクタル拡大手法は、レンジブロック画像の探索による処理時間の増大が生じる。さらにドメインブロック画像への代入処理を１回施すだけでは十分に視認に耐え得る拡大画像を得ることができないので、これらの処理を反復して拡大画像を得るため、視認に耐え得る拡大画像を得るまでの処理時間が長くなる。また、文書画像やステップエッジ部分に対しては、ブロック歪やノイズ状のゴミやササクレ状の画素値の染み出しが発生するという新たな画質劣化の問題が生じる。また従来のフラクタル拡大手法は、ビジー部の再現性の悪さ（ボケやノイズ）がある。
【００１１】
フラクタル拡大手法のもつ画質に関わる問題を解決する試みとして、たとえばＵＳＰ−Ｎｏ．６１４１０１７号特許、特開平１１−３３１５９５号、特開平１１−８７５８号などが提案されている。
【００１２】
ＵＳＰ−Ｎｏ．６１４１０１７号特許は、ドメインブロック画像を重複させて作成し、レンジブロック画像を代入する際にはレンジブロック画像の内側の部分のみをドメインブロック画像の対応する内側部分に代入することで、ブロック画像境界に発生する不連続性を抑える手法や、画素値変換係数を求める際に必要となるブロック画像中の画素値の分散から、ブロック画像をエッジ部／平坦部に分け、平坦部に対しては他の手法を用いることで、平坦部が絵画調になるのを抑えながら、フラクタル拡大によるエッジ再現の良好な拡大処理をする手法を提案している。しかしながら、この方式では、ステップエッジ部でのノイズ状のゴミやササクレ状の画素値の染み出しによる劣化が依然として解決できていない。
【００１３】
また特開平１１−３３１５９５号は、画像に対してフラクタル拡大と線形補間法による拡大の両方を併用し、その差が小さければフラクタル拡大による結果を、差が大きければ線形補間法による結果を採用する、または差の大小に応じて結果をブレンドすることで、ブロック画像境界での不連続性を抑える手法を提案している。しかしこの方式は、線形補間とフラクタル拡大との差が大きくなるエッジ部分で線形補間法が選択される傾向があるため、フラクタルの特徴である明瞭なエッジ再現ができずにボケてしまうという欠点を持つ。
【００１４】
また特開平１１−８７５８号は、レンジブロック画像の使用頻度を記憶するヒストグラム手段を持ち、使用頻度の低いレンジブロック画像を探索に用いないようにして探索を高速化する手法を提案している。しかしこの方式における使用頻度に基づいたレンジブロック画像探索範囲の絞り込みは画質上の根拠がなく、画質劣化に繋がるという欠点がある。
【００１５】
このように、フラクタル拡大手法を改善する従来の方法は、拡大画像を得る際に生じ得るボケ、ジャギー、ブロック歪などの画質上の問題や処理時間の問題について個別に改善策を提示しているが、これらの問題は依然として総合的には解決されていない。
【００１６】
本発明は、上記事情に鑑みてなされたもので、処理時間とのバランスを採りつつボケ、ジャギー、ブロック歪などによる画質劣化が生じるのを防止しながら、画像を拡大することのできる画像処理装置およびプログラムを提供することを目的とする。
【００１７】
【課題を解決するための手段】
すなわち、本発明に係る画像処理装置は、多数の画素で表現された元画像を拡大処理して拡大画像を得る画像処理装置であって、元画像を第１のブロック単位で分割することにより複数のドメインブロック画像を抽出するドメインブロック抽出部と、第１のブロック単位よりも大きくかつ予め設定された拡大率で第１のブロック単位を拡大して得られる拡大ブロック単位よりも小さな第２のブロック単位でレンジブロック画像を抽出するレンジブロック抽出部とを備えた。また画像処理装置は、ドメインブロック抽出部により抽出された前記ドメインブロック画像の近傍においてレンジブロック抽出部により抽出される注目するレンジブロック画像に対して、予め設定された拡大率となるように拡大して拡大レンジブロック画像を作成する拡大レンジブロック作成部と、拡大レンジブロック作成部により作成された個々の拡大レンジブロック画像を用いて、設定された拡大率で元画像を拡大した拡大画像を得る拡大画像取得部とを備えた。
【００１８】
また従属項に記載された発明は、本発明に係る画像処理装置のさらなる有利な具体例を規定する。さらに、本発明に係るプログラムは、本発明に係る画像処理装置を、電子計算機（コンピュータ）を用いてソフトウェアで実現するために好適なものである。なお、プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介して配信されてもよい。
【００１９】
【作用】
上記構成の画像処理装置において、レンジブロック抽出部は、第１のブロック単位よりも大きくかつ予め設定された拡大率で第１のブロック単位を拡大して得られる拡大ブロック単位よりも小さな第２のブロック単位でレンジブロック画像を抽出する。つまりドメインブロックよりも大きく所望の拡大サイズよりも小さな適度の大きさのレンジブロックを設定する。
【００２０】
拡大レンジブロック作成部は、抽出されたレンジブロック画像を拡大ブロック単位に拡大し、ドメインブロック画像とレンジブロック画像との関係（たとえば類似関係など）に基づいて、拡大ブロック単位に拡大した画像の個々の画素値を変換することにより拡大レンジブロック画像を作成する。つまり、設定されたレンジブロックを所望のサイズに拡大し（このときには当然に所定の画素値変換が必要になる）、ドメインブロック画像（元画像）とレンジブロック画像との関係に基づいて新しい画素値を求める（画素値を再変換する）。なお、ドメインブロックとレンジブロックを設定し拡大画像を得るという点で、従来のフラクタルの概念の特徴を生かして、拡大画像を得ることができる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００２２】
図１は、本発明に係る画像処理装置を備えた画像処理システム（以下単にシステムという）１を示すブロック図である。システム１は、画像入力端末３、画像処理装置５、および画像出力端末７を備える。
【００２３】
画像入力端末３は、デジタルドキュメント（以下単にドキュメントという）ＤＯＣを作成したり編集などの処理する、たとえばパソコン（パーソナルコンピュータ）３１、カラースキャナ３２、デジタルカメラ３３、またはハードディスクなどの記憶媒体３４など、任意数の画像ソースを含み得る。たとえば、図示しない通信網を介して画像を取得する通信機能を備えた端末装置であってもよい。これらの各端末装置には、ドキュメントＤＯＣ作成用のアプリケーションプログラムなどが組み込まれる。ドキュメントＤＯＣを表す画像データは、画像処理装置５で処理可能な画像フォーマット（たとえば、ＪＰＥＧ、ＢＭＰ、ＰＮＧなど）で記述される。画像入力端末３は、キュメントＤＯＣを、システム１の一部を構成する画像処理装置５に入力する。
【００２４】
画像処理装置５は、ドキュメントＤＯＣを表すデジタル画像データを取得する画像データ取得部５２と、画像データを一時的に記憶する画像データ格納部５４と、画像データ取得部５２が取得した画像が圧縮画像であるときにはその画像を伸張する伸張処理部５５と、画像を設定された任意の解像度に拡大処理する画像拡大処理部５６と、拡大処理された画像を表す拡大画像データＤ１０を画像出力端末７に入力する画像データ出力部５９とを備える。
【００２５】
画像データ格納部５４は、画像データ取得部５２が取得した入力画像、画像拡大処理部５６により拡大処理された拡大画像データ、あるいは画像拡大処理部５６における拡大処理に用いられる各種の途中演算結果や処理パラメータなどを保持する。
【００２６】
画像出力端末７は、画像処理装置５の各種機能とともに動作可能であって、システム１をデジタル印刷システムとして稼働させるためのラスタ出力スキャン（ＲＯＳ）ベースのプリントエンジン７０や、画像表示システムとして稼働させるためのディスプレイ装置８０などを備える。
【００２７】
プリントエンジン７０は、画像処理装置５から出力された拡大画像データＤ１０に対してプリント出力用の所定の処理をするプリント出力処理部７２と、光ビームを発するレーザ光源７４と、プリント出力処理部７２から出力されたデータに従ってレーザ光源７４を制御すなわち変調するレーザ駆動部７６と、レーザ光源７４から発せられた光ビームを感光性部材７９に向けて反射させるポリゴンミラー（回転多面鏡）７８とを有する。プリント出力処理部７２は、拡大画像を表す拡大画像データＤ１０に対して、周知技術に従って、複数好ましくは最低３つの分解色を表すデータを生成しレンダリング（ラスタデータに展開）する。たとえば伸長色補正デジタルデータＤ１０が表すＹＣｒＣｂ表色系から最低３つ（好ましくは４つ）、たとえばＣＭＹ表色系あるいはＣＭＹＫ表色系へのマッピングをしプリント出力用に色分解されたラスタデータを生成する。またプリント出力処理部７２は、このようなラスタデータ化の処理に際して、カラー画像のＣＭＹ成分を減色するアンダーカラー除去（ＵＣＲ）、あるいは減色されたＣＭＹ成分を部分的にＫ成分と交換するグレー成分交換（ＧＣＲ）をする。さらにプリント出力処理部７２は、出力データ（ＣＭＹＫなど）に応答して作成される出力画像のトナー像を調整するために、色分解の直線化または同様の処理をすることもある。
【００２８】
この構成により、プリントエンジン７０は、レーザ光源７４が発生する光ビームをポリゴンミラー７８上の複数の面で反射させて感光性部材７９を露光し、スキャン走査によって感光性部材７９上に潜像を形成する。潜像が形成されると、当該技術分野で公知の多数の方法のうち任意の方法に従って像を現像し、画像処理装置５にて拡大処理されたカラー画像を可視像として出力する。勿論、拡大処理されていないカラー画像を可視像として出力することもできる。なお、カラー画像を可視像として出力する際には、画像を表すデータは最低３つ（好ましくは４つ）の色分解データ（たとえばＣ，Ｍ，Ｙｅｌ，Ｋなど）を含み、各色は別個の画像面として、または輝度−クロミナンス形式で処理される。
【００２９】
ディスプレイ装置８０は、画像処理装置５から出力された拡大画像データＤ１０に従って所定の出力処理をする表示出力処理部８２と、表示出力処理部８２から出力されたデータに基づいて可視像を表示出力するＣＲＴや液晶（ＬＣＤ）あるいは有機ＥＬなどのディスプレイ部８４とを備える。表示出力処理部８２は、たとえばディスプレイ部８４とともに使用されるパソコン本体８６の内部にソフトウェアあるいはハードウェアで組み込むとよい。表示出力処理部８２は、画像処理装置５から入力された拡大画像データＤ１０に対して、周知技術に従って、複数、好ましくは最低３つの分解色を表すデータを生成しレンダリング（ラスタデータに展開）する。たとえば拡大画像データＤ１０が表すＹＣｒＣｂ表色系から、たとえばＲＧＢ表色系へのマッピングをし表示出力用に色分解されたラスタデータを生成する。また表示出力処理部８２は、このようなラスタデータ化の処理に際して、オペレータの好みに応じた色補正処理をしてもよい。この構成により、ディスプレイ装置８０は、画像処理装置５にて拡大処理されたカラー画像を可視像として出力する。勿論、拡大処理されていないカラー画像を可視像として出力することもできる。
【００３０】
なお、プリント出力処理部７２や表示出力処理部８２としては、たとえばパソコン（パーソナルコンピュータ；ＰＣ）などを利用することもできる。また、ディスプレイ装置８０は、画像入力端末３側のパソコンと兼用してもよい。
【００３１】
図２は、画像処理装置５の画像拡大処理部５６の第１実施形態の詳細を示すブロック図である。画像拡大処理部５６は、元画像から第１のブロック単位であるサイズＤ（主走査方向×副走査方向＝ＭＤ×ＮＤ画素；ＭＤ＝ＮＤも可）のドメインブロック画像を抽出するドメインブロック抽出部５６２と、元画像の前記ドメインブロック画像の近傍において、第２のブロック単位であるサイズＲ（主走査方向×副走査方向＝ＭＲ×ＮＲ画素；ＭＲ＝ＮＲも可）のレンジブロック画像を複数抽出するレンジブロック抽出部５６４と、レンジブロック抽出部５６４が抽出した複数のレンジブロック画像をそれぞれ前記ドメインブロック画像と同一サイズに縮小して複数の縮小レンジブロック画像を生成する縮小レンジブロック作成部５６６とを備える。第２のブロック単位であるサイズＲは、第１のブロック単位であるサイズＤよりも大きくかつ予め設定された拡大率でサイズＤ（第１のブロック単位）を拡大して得られる拡大ブロック単位よりも小さいものとする。
【００３２】
また画像拡大処理部５６は、縮小レンジブロック作成部５６６により生成された複数の縮小レンジブロック画像のそれぞれを用いて、個々のレンジブロック画像とドメインブロック抽出部５６２が抽出したドメインブロック画像との類似度を判定する類似度判定部５６８と、複数のレンジブロック画像のうち類似度判定部５６８によりドメインブロック画像と類似度がより高い（本例では「最も類似度が高い」とする）と判定されたレンジブロック画像を拡大処理して、ドメインブロック画像に対して指定された拡大率ｒの拡大ドメインブロック画像（サイズｒ＊Ｄ）と同一サイズの拡大レンジブロック画像を生成する拡大レンジブロック作成部５７０とを備える。また画像拡大処理部５６は、拡大レンジブロック作成部５７０により生成された個々の拡大レンジブロック画像を用いて、設定された拡大率で元画像を拡大した拡大画像を得る拡大画像取得部５７６を備える。
【００３３】
さらに画像拡大処理部５６は、レンジブロック画像の複雑度を判定する複雑度判定部５６９を備える。複雑度判定部５６９は、たとえばレンジブロック画像内に山や谷が多く含まれるか否か、換言すればレンジブロック画像が高周波成分を多く含んでいるか否かを判定する。この複雑度判定部５６９は、後述するブロック画像解析部５６３と同様の機能を有するものであってもよい。類似度判定部５６８は、複雑度判定部５６９により判定されたレンジブロック画像の複雑度を参照して類似度を判定する。また拡大レンジブロック作成部５７０は、複雑度判定部５６９により判定されたレンジブロック画像の複雑度を参照して拡大レンジブロック画像の画素値を決定する。
【００３４】
拡大画像取得部５７６は、拡大変換部５７０により拡大処理された個々の拡大レンジブロック画像を取得し、この取得した拡大レンジブロック画像を合成して元画像に対して設定された拡大率で拡大した拡大画像を生成するブロック画像合成部５７８と、オーバーラップ処理に伴う重複して処理されたオーバーラップ部分（重複部）の画素の画素値値を、当該オーバーラップ部分の各々の画素の画素値に基づいて求めるオーバーラップ処理部５８６を有する。ブロック画像合成部５７８は、たとえ取得した個々の拡大レンジブロック画像を画像データ格納部５４の所定エリアに格納にさせることで拡大画像を生成する。オーバーラップ処理部５８６は、たとえば、オーバーラップ部分の画素値の平均値やメジアン値を求め、求めた値をその画素の値とする。
【００３５】
ドメインブロック抽出部５６２は、元画像をＭＤ×ＮＤサイズのドメインブロック画像に分割し、その中から任意の１つを選び注目ブロック画像とする。レンジブロック抽出部５６４は、元画像の中から、注目ブロック画像ごとに、ドメインブロック抽出部５６２により抽出されたドメインブロック画像を含んだ周囲Ｇ×Ｇサイズのブロック画像の中から全てのＭＲ×ＮＲサイズのレンジブロック画像を選択する。縮小レンジブロック作成部５６６は、たとえば線型補間法や投影法などの公知の手法を用いて、レンジブロック抽出部５６４が生成した全てのＭＲ×ＮＲサイズのレンジブロック画像を、それぞれレンジブロック画像と同一サイズのＭＤ×ＮＤサイズの縮小レンジブロック画像に縮小する。類似度判定部５６８は、縮小レンジブロック作成部５６６が生成した縮小レンジブロック画像の中から、ドメインブロック抽出部５６２が抽出したドメインブロック画像と最も類似した縮小レンジブロック画像、たとえば全体として最も類似した画素値およびパターンを持つ縮小レンジブロック画像を選び出し、これを最類似レンジブロック画像（最適なレンジブロック画像）とする。
【００３６】
拡大レンジブロック作成部５７０は、たとえば線型補間法や投影法などの公知の手法を用いて、ドメインブロック抽出部５６２により抽出されたドメインブロック画像であって、類似度判定部５６８により選択された最類似レンジブロック画像をサイズｒＤ（拡大ブロック単位）に拡大し、さらにドメインブロック画像とレンジブロック画像との関係（本例では類似関係）に基づいて画素値を再変換することにより、拡大レンジブロック画像を作成し、これをドメインブロック画像に対する拡大ブロック画像として割り当てる。つまり、画像拡大処理部５６は、拡大率ｒに対してｒＤ＞Ｒ＞Ｄの関係を持ちながら、それぞれのドメインブロック画像とその近傍に存在するレンジブロック画像との関係を利用してレンジブロック画像を拡大させた拡大レンジブロック画像を求め、この拡大レンジブロック画像を拡大ドメインブロック画像に置き換えることにより、ブロック画像の拡大処理をする。
【００３７】
最初に本実施形態の第１例として、ドメインブロック抽出部５６２は、１回の処理ごとにＭＤ×ＮＤ＝２×２（ドメインサイズＤ＝２）のドメインブロック画像を抽出するとともにオーバーラップ処理の都度ドメインブロック画像を主走査あるいは副走査方向にそれぞれ１画素分シフトさせ、またレンジブロック抽出部５６４は、抽出されたドメインブロック画像に対し拡大率ｒ＝２の拡大ドメインブロック画像（ＭＤ２×ＮＤ２＝４×４）よりも小さなＭＲ×ＮＲ＝３×３（レンジサイズＲ＝３）のレンジブロック画像を生成する例、すなわち２×２サイズ（ドメインサイズＤ＝２）のドメインブロック画像を４×４サイズのブロック画像に拡大し、２倍拡大画像の対応位置に割り当てる処理を全オーバーラップ分の４回実施する例で説明する。なお、後述する第１〜第５実施形態は、特にグレー画像に関しての拡大手法として好適であるが、同様の処理をカラー画像に対して施してもよい。この場合、カラー画像を表すそれぞれの色データ（たとえばＲ，Ｇ，Ｂ）について、たとえば２５６階調のグレー画像に相当する色画像を作成し、それぞれを拡大して最後に合版するという手法を採るとよい。
【００３８】
図３は、縮小レンジブロック作成部５６６における処理の一例（投影法を用いた場合）を説明する図である。縮小レンジブロック作成部５６６は、レンジブロック抽出部５６４が生成した全ての３×３サイズのレンジブロック画像を、縮小レンジブロック作成部５６６によりそれぞれドメインブロック画像と同一サイズの２×２サイズの縮小レンジブロック画像に投影法縮小する。たとえば図示するように、３×３サイズを２×２に投影した際の面積比率に基づいて画素値を加重加算することで、投影法縮小をする。３×３サイズの画素値が、Ｐ１１，Ｐ２１，Ｐ３１，Ｐ１２，Ｐ２２，Ｐ３２，Ｐ１３，Ｐ２３，Ｐ３３、縮小後の２×２サイズの画素値をＱ１１，Ｑ２１，Ｑ１２，Ｑ２２とした場合、Ｑ１１，Ｑ２１，Ｑ１２，Ｑ２２は、式（１）で与えられる。なお、３×３から２×２への縮小の場合は、投影法でも線形補間法でも結果は同じ値となる。
【数１】
【００３９】
図４は、拡大レンジブロック作成部５７０における処理の一例（投影法を用いた場合）を説明する図である。拡大レンジブロック作成部５７０は、類似度判定部５６８により選択された３×３サイズの最類似レンジブロック画像をサイズｒＤ＝４×４サイズに投影したときの面積比率を用いて、たとえば図示するように、３×３サイズを４×４に投影した際の面積比率に基づいて画素値を加重加算することで、投影法拡大の計算をする。３×３サイズの画素値が、Ｐ１１，Ｐ２１，Ｐ３１，Ｐ１２，Ｐ２２，Ｐ３２，Ｐ１３，Ｐ２３，Ｐ３３、拡大後の４×４サイズの画素値をＱ１１，Ｑ２１，Ｑ３１，Ｑ４１，Ｑ１２，Ｑ２２，Ｑ３２，Ｑ４２，Ｑ１３，Ｑ２３，Ｑ３３，Ｑ４３，Ｑ１４，Ｑ２４，Ｑ３４，Ｑ４４とした場合、拡大後画素値はは、式（２）で与えられる。
【数２】
【００４０】
図５は、オーバーラップ処理をする場合における拡大後の画素値の重複量の一例を示す図である。ここでは、ドメインブロック画像を主走査あるいは副走査方向にそれぞれ１画素分シフトさせるオーバーラップ処理をする場合を示す。本例のオーバーラップ処理によれば、ドメインブロック画像を抽出して後述する手順を全てのドメインブロック画像に対して施すと、元画像におけるドメインブロック画像の重複量は図５に与えるような値となる。オーバーラップ処理部５８６は、この値を拡大画像における対応位置に射影し、この値で画像データ格納部５４の拡大画像用メモリ領域に入っている値を除算した結果得られる画像を最終的な拡大画像として画像データ出力部５９に出力する。
【００４１】
図６は、上記第１実施形態の画像処理装置５における処理手順、特に画像拡大処理部５６における画像拡大処理に着目した処理手順を説明する図であって、ドメインブロック画像、レンジブロック画像、縮小レンジブロック画像、および拡大レンジブロック画像の一例を示す図（Ａ）、および処理手順の第１例を示したフローチャート（Ｂ）である。
【００４２】
まず、拡大処理開始の前提として、すでに画像データ取得部５２が取得した拡大処理される対象画像データが画像データ格納部５４に格納されているものとする。その上で画像拡大処理部５６は先ず、拡大処理の準備として、画像データ格納部５４にｒ倍（本例では２倍）拡大画像用のメモリ領域を確保し、その領域を“０”で初期化する（Ｓ１００）。
【００４３】
また画像拡大処理部５６は、初期パラメータを設定する。初期パラメータとしては、たとえば拡大率、画像読出しのブロック画像サイズ、オーバーラップ処理をするための演算処理回数と処理ごとの画像読出し開始オフセットなどがある。本実施形態では、拡大率＝２倍、ドメインブロック画像サイズ＝２×２画素、レンジブロック画像サイズ＝３×３画素、画像読出し開始の水平方向オフセット＝１画素、画像読出し開始の垂直方向オフセット＝１画素、オーバーラップ演算処理回数＝主／副各２回、を設定する。
【００４４】
次にドメインブロック抽出部５６２は、元画像の中から全ての２×２サイズのドメインブロック画像を抽出し（Ｓ１２０）、その中から任意のブロック画像１つを選び注目ブロック画像とする（Ｓ１４０）。
【００４５】
次にレンジブロック抽出部５６４は、注目ブロック画像について、注目ブロック画像（すなわちドメインブロック画像の１つ）近辺から３×３サイズのレンジブロック画像を抽出する（Ｓ１６０）。この際、レンジブロック抽出部５６４は、レンジブロック画像に含まれる複数の画素のうちの少なくとも１つの画素がドメインブロック画像に含まれるように、つまりドメインブロック画像とレンジブロック画像とがオーバーラップするように、レンジブロック画像を抽出する。具体的には図６（Ａ）に示すように、ドメインブロック画像（注目ブロック画像）を囲むたとえば周囲６×６サイズのブロック画像の中から、注目ブロック画像内の少なくとも１つの画素を含んだ全ての３×３サイズのレンジブロック画像（本例では総数１６個）を選択する。
【００４６】
次に縮小レンジブロック作成部５６６は、投影法や線形補間法を用いて、レンジブロック抽出部５６４が選択した全ての３×３サイズのレンジブロック画像を、それぞれ２×２サイズの縮小レンジブロック画像を生成する（Ｓ１８０）。
【００４７】
次に類似度判定部５６８は、個々の縮小レンジブロック画像ごとに、ドメインブロック画像と比較して類似度を判定する。たとえば縮小レンジブロック作成部５６６が生成した縮小レンジブロック画像に対して画素値変換をしてドメインブロック画像と最も類似した画素値およびパターンを持つ縮小レンジブロック画像を選び出し、これと対応するレンジブロック画像、つまり選ばれた縮小レンジブロック画像の元となったレンジブロック画像を最類似レンジブロック画像とする（Ｓ２００）。たとえば、ドメインブロック画像の画素値ｄ１１，ｄ２１，ｄ１２，ｄ２２について、画素平均値Ｄｖ＝（ｄ１１＋ｄ２１＋ｄ１２＋ｄ２２）／４、並びに画素標準偏差ＶＤｖ＝Σ（ｄｉｊ−Ｄｖ）＾２（“＾”はべき乗、ｉ，ｊは画素位置を示す）を求める。次に全ての縮小レンジブロック画像の画素値ｒ１１ｋ，ｒ２１ｋ，ｒ１２ｋ，ｒ２２ｋ（ｋは縮小レンジブロック画像を示す；ｋ＝１，…，１６）について、それぞれ画素平均値Ｒｖｋ＝（ｒ１１ｋ＋ｒ２１ｋ＋ｒ１２ｋ＋ｒ２２ｋ）／４、並びに画素標準偏差ＶＲｖｋ＝Σ（ｒｉｊｋ−Ｒｖｋ）＾２を求める。
【００４８】
次に、縮小レンジブロック画像の画素値をそれぞれ１次変換ａｚ＋ｂで対応するドメインブロック画像の画素値に最小２乗近似した際の変換係数ａｋ，ｂｋ並びに変換誤差Ｅｋ＝Σ（ｄｉｊ−ａｋ＊ｒｉｊｋ−ｂｋ）＾２を求める。最小２乗法において、ａｋ，ｂｋ，Ｅｋは、以下の計算式（３）で直接求めることができる。
【数３】
【００４９】
ここで、ａｋの値は、３×３サイズのレンジブロック画像内の画像の複雑度合いに拘わらず、一律に、一定の範囲を採用してもよい。あるいは、複雑度判定部５６９により判定されたレンジブロック画像の複雑度を参照して類似度を判定してもよい。たとえばレンジブロック画像内の画像の複雑度に応じて、許容するａｋの値に制限を設けてもよい。これは、レンジブロック画像内の画像が複雑で高周波成分を多く含んでいるときには、レンジブロック画像として採用すると拡大画像に偽成分を発生するため、画像が複雑であるほど、その参照度合いを少なくした方が好ましいからである。したがって、制限を設ける場合には、たとえば以下のような制限を設けるとよい。すなわち先ず３×３画素を（ｑ１１，ｑ１２，ｑ１３，ｑ２１，ｑ２２，ｑ２３，ｑ３１，ｑ３２，ｑ３３）で表したときに、各ｍ＝１，２，３、およびｑｍ１，ｑｍ２，ｑｍ３に対して、式（４−１）となったら、その都度カウンタＣに“１”を加える。同じように、ｑ１ｍ，ｑ２ｍ，ｑ３ｍに対して、式（４−２）となったときにも、その都度カウンタＣに１を加える。この手法は、３×３内にある山や谷が多いか少ないかを調べる手法の１つであるが、その他の類似手法を用いることもできる。
【数４】
【００５０】
ここで、得られたＣ値を用いて、先に計算したａｋが許容範囲にあるかどうかを判定する。本例では、その一例として、以下の条件式（５）を用いる。
【数５】
【００５１】
ここで類似度判定部５６８は、レンジブロック画像が高周波成分をより多く含んでいる程、類似度判定におけるそのレンジブロック画像の寄与度度合いを小さくする。たとえば、Ｃとａｋが条件式（５）を満たさなかった場合には、そのレンジブロック画像は最小２乗誤差を比較する対象から除外する。またここでＣ＝４，５，６の場合には、実質上、どのようなａの値も許容されないため、このようなブロック画像はａｋを計算することなく初めから除外してもよい。
【００５２】
次に類似度判定部５６８は、各ａｋ（ｋ＝１，…，１６）に対して、対応するレンジブロック画像のＣ値を計算し、ａｋが許容される範囲に含まれるかどうかをチェックし、含まれるもののみを集めて集合Ｇとする。そして、Ｅ＝ｍｉｎ｛Ｅｋ｜ｋ∈Ｇ｝とおき、Ｅ＝Ｅｋなるｋに対して、ａ＝ａｋ，ｂ＝ｂｋとおく。このｋが指し示すレンジブロック画像が最もドメインブロック画像と類似したものとなる。
【００５３】
なお、実際にはｂｋはＥｋの決定に必要ないので、Ｅｋが最小となるｋが求まり、最終的にａｋが決まった後にｂｋを計算すればよい。また、ｂｋ値としては式（３）に示した定数値を用いる代わりに、縮小レンジブロック画像内の各画素ごとにドメインブロック画像との誤差分を補正（本例では重畳）する効果を持つ以下の式（６）で与えられる値を用いることもできる。ここで、ドメインブロック画像の対応画素の画素値ｄｉｊ、縮小レンジブロック画像の対応画素の画素値ｒｉｊｋである。この式（６）によってｂｋを計算しておくと、細かい画素ごとの誤差を押さえることができ、拡大画像における元画像の再現性をさらに向上させることができる。なおｂｉｊｋと書いたのは、ドメインブロック画像内の各画素ごとに値が異なるためである。
【数６】
【００５４】
ドメインブロック画像と縮小レンジブロック画像を単純比較する場合、必ずしも元のレンジブロック画像の情報は加味されない。そのため、採用されたレンジブロック画像内に拡大に不適切な高周波の凹凸があった場合に、画素値変換によってそのノイズが助長され、ノイズが増えてしまうことがある。一方、上述のようにして、レンジブロック画像の複雑度に応じて、許容するａｋの値に制限を設けると、その発生を防ぐことができるようになる。
【００５５】
次に、拡大レンジブロック作成部５７０は、類似度判定部５６８において選択された３×３サイズの最類似レンジブロック画像を、たとえば線型補間法や投影法など公知の手法を用いて拡大ドメインサイズつまり４×４サイズに拡大する（Ｓ２２０）。次に、ドメインブロック画像とレンジブロック画像との関係に基づいて、４×４サイズに拡大した画像の画素値を再変換して、拡大レンジブロック画像を作成し、その結果を２×２サイズのドメインブロック画像をｒ倍（本例では２倍）に拡大した４×４サイズのブロック画像（拡大ドメインブロック画像）とする。たとえば、４×４サイズの拡大画像の全画素ｚに対して、類似度判定部５６８において求められた変換係数ａ，ｂによって画素値変換ａｚ＋ｂを施し、その結果を拡大ドメインブロック画像（＝拡大レンジブロック画像）とする。このとき拡大レンジブロック作成部５７０は、複雑度判定部５６９により判定されたレンジブロック画像の複雑度を参照して、拡大レンジブロック画像の画素値を決定するとよい。たとえば、画素値変換に用いられる係数ａの値の範囲に制限を設けるなど、レンジブロック画像が高周波成分をより多く含んでいる程、画素値変換におけるそのレンジブロック画像の寄与度度合いを小さくすればよい。
【００５６】
この後拡大レンジブロック作成部５７０は、この４×４サイズの拡大ドメインブロック画像の全画素値を、画像データ格納部５４中の拡大画像用メモリ領域のドメインブロック画像対応位置に加える。なお、類似度判定部５６８における類似度判定処理において、ｂｋ値に誤差分を重畳した場合には、この拡大過程において、ドメインブロック画像の各ドット位置に割り振られたｂｋを射影し、ドットごとに切り替えるようにする。
【００５７】
次に画像拡大処理部５６は、全てのドメインブロック画像に対して上記処理がなされたか否かを判定する（Ｓ２４０）。そして、まだ終了していないドメインブロック画像があるときには、ステップＳ１４０に戻って、注目ブロック画像を他のドメインブロック画像に設定し、ステップＳ１６０〜Ｓ２２０の処理を繰り返す（Ｓ２４０−ＮＯ）。一方、全てのドメインブロック画像に対して上記処理が完了していれば（Ｓ２４０−ＹＥＳ）、元画像に対応した拡大画像が拡大画像データ格納部５８に格納される。
【００５８】
画像拡大処理部５６は、上記の処理が全てのブロック画像に対して一通り終了したなら（Ｓ２４０−ＹＥＳ）、オーバーラップ処理の演算回数をチェックする（Ｓ３００）。そして、設定された演算回数に満たなければ、画像の先頭アドレスに画像読出し開始オフセットを加算した位置より、再びステップＳ１２０からの処理を開始する（Ｓ３００−ＮＯ）。すなわち、ドメインブロック抽出部５６２は、ステップＳ１２０に戻る都度、画像読出し開始オフセットを順次加算し、画像データ格納部５４に格納されている画像の先頭アドレスにオフセットを加算した位置から、設定されたドメインブロック画像サイズでドメインブロック画像を読み出し、そのうちの何れかを注目ブロック画像に設定する。以下、その他の各部は上記と同様の処理を繰り返す。
【００５９】
一方、オーバーラップ処理の演算回数が２以上に設定されていて、前述の一連の処理の回数数が設定されたオーバーラップ演算回数に達していたなら（Ｓ３００−ＹＥＳ）、オーバーラップ処理部５８６は、図５に示した各画素の重付けを参照して、オーバーラップ処理に伴う重複して処理された画像（重複部）の平均値を求め、求めた値をその画素の値とする平均化処理をする（Ｓ３２０）。
【００６０】
なお、オーバーラップ処理の演算回数として“１”すなわちオーバーラップ処理をしないように設定されているときには、前記平均化処理は不要であり、拡大画像データ格納部５８から読み出した１枚分の拡大画像をそのまま出力する。つまり、画像拡大処理部５６は、オーバーラップ処理をするように設定されているときに限って、元画像に対してブロック画像の読出し開始位置を任意の値でずらして複数回の拡大処理をし、重複する画素に対しては平均値を画素データとすることで最終的な拡大画像を得る。これにより、ブロック画像歪を削減することができる。
【００６１】
上記例ではオーバーラップ処理の都度ステップＳ１２０からの処理を繰り返していたが、たとえば、再びステップＳ１００からの処理を繰り返してもよい。この場合、オーバーラップ処理それぞれに対応して画像データ格納部５４に拡大画像用メモリ領域を確保する。そして、各拡大画像が得られたら、平均化処理の際には、拡大画像データ格納部５８からそれぞれの拡大画像を読み出し、図５に示した各画素の重付けを参照して、オーバーラップ処理に伴う重複して処理された画像（重複部）の平均値を求め、求めた値をその画素の値とするとよい。
【００６２】
図７は、上記第１実施形態の処理の一実施例を示す図であって、オーバーラップ処理の前段階であるステップＳ２４０の終了までを示す。ドメインブロック画像サイズ２×２画素（ドメインサイズＤ＝２）、レンジブロック画像サイズ３×３画素（レンジサイズＲ＝３）での２倍拡大で、ｒ＊Ｄ＝２＊２＝４、Ｒ＝３、Ｄ＝２であり、ｒ＊Ｄ＞Ｒ＞Ｄという関係を満たしている。
【００６３】
上記第１実施形態の画像処理装置５によれば、得られた拡大画像は、フラクタル手法によるエッジの急峻さと、拡大画像の画素値を求める際の補間演算（上記例では線形補間法）などにおける滑らかさを併せ持ち、高画質な拡大画像を生成することができる。つまり従来の補間拡大の手法では、たとえば２×２画素サイズの注目ブロック画像を４×４画素サイズに一気に拡大するが、第１実施形態では２×２画素サイズの注目ブロック画像近傍の３×３画素サイズのレンジブロック画像を４×４画素サイズに拡大して注目ブロック画像の拡大画像として利用するので、実際の拡大処理における倍率が小さくなり、従来の補間拡大手法に比べてボケが少なくなる。また、ドメインブロックとレンジブロックを利用するという点では従来のフラクタル拡大手法に似た処理となっており、このためフラクタルの概念の特徴を生かしてジャギーやブロック歪の発生を抑えてボケの少ない拡大画像を得ることができる。加えて、３×３画素サイズのレンジブロック画像を４×４画素サイズに拡大することで若干のボケ効果を利用することができ、従来のフラクタル拡大手法において生じていた、ステップエッジ部でのノイズ状のゴミやササクレ状の画素値の染み出しが発生するのを防止することができる。
【００６４】
また、２×２サイズに対して３×３で類似度判定をするなど、Ｄ＜Ｒ＜ｒＤという関係を維持した処理をしているので、ビジー部の再現性が、従来のフラクタル拡大処理よりも向上する。これは、たとえばＤ＝２に対し、Ｒ＝４よりもＲ＝３の方がよりＤに近いパターンを探せるということに基づく。このことはビジー部に限るものではないが、特にビジー部のようなテクスチュアが込み入った部分では効果が大きい。
【００６５】
また第１実施形態では、注目ブロック画像近傍の３×３画素サイズのレンジブロック画像を４×４画素サイズに拡大し、ドメインブロックとレンジブロックとの関係に基づいて画素値変換して最終的な拡大レンジブロック画像の画素値を求めているので、拡大画像の画素値算出処理を１回するだけで十分に視認に耐え得る拡大画像を得ることができる。加えて、ドメインブロックの近傍をレンジブロックの探索範囲としている、つまりレンジブロックの探索範囲が狭いので、処理速度が一層短くなる。つまり、フラクタル符号化方式を利用した拡大手法は、反復処理をして拡大画像を得るため非常に長い処理時間を要するのに対して、第１実施形態の画像拡大処理部５６によれば、拡大画像を得るまでの処理時間をフラクタル符号化方式よりも飛躍的に短縮することができる。
【００６６】
またレンジブロック画像探索範囲の絞り込みをドメインブロック近傍に限ることでレンジブロックの探索処理時間の削減を図っている点で特開平１１−８７５８号の手法と大きく異なる。つまり、上記第１実施形態におけるレンジブロックの設定範囲は、ドメインブロック画像と類似のレンジブロック画像は、ドメインブロックのごく近辺に同じ向きに存在するという画像連続性の仮定に基づいており、レンジブロック画像探索範囲の絞り込みに画質上の根拠があるので、画質劣化を招く虞れは格段に低下する。
【００６７】
以上説明したように第１実施形態の画像処理装置５によれば、視認に耐え得る拡大画像を得るまでの処理時間をさほど長くすることなく、ジャギー発生を抑えてボケの少ない拡大画像を得ると同時に、レンジブロック画像に対する拡大処理を用いることによって、文書画像のような２値的な画像に対するノイズ状のゴミやササクレ状の画素値の染み出しが発生するのを防止することができる。つまり、処理時間とのバランスを採り、かつボケやノイズ状のゴミ、あるいはササクレ状の画素値の染み出しが発生するのを防止するなど視覚的な画質劣化が生じるのを防止しつつ、画像を拡大することができる。
【００６８】
図８は、画像処理装置５の画像拡大処理部５６の第２実施形態の詳細を示すブロック図である。この第２実施形態は、指定された拡大率を分割して（分割された各拡大率は“１”以上）拡大率の組合せを生成し、分割した各々の拡大率を順次適用する拡大繰返し処理をする。またこの拡大繰返し処理の際、ドメインブロック画像およびレンジブロック画像のうちの少なくとも一方のサイズを各拡大率に応じて変更し、それぞれの拡大率の元に上述の拡大処理をする。このため第２実施形態の画像拡大処理部５６は、指定された拡大率をより小さな拡大率の組み合せに分割する拡大率分割部５６１を備える。画像拡大処理部５６は、指定された拡大率がより小さな拡大率の組合せに分割された際には、分割された拡大率ごとに、後述する所定の画像処理方法を順次適用する拡大繰返し処理を実行する。
【００６９】
図９は、拡大率分割部５６１による、拡大率の分割における拡大率の組合せの一例を示す図である。図示した例では、指定された拡大率のうち、２つの値の積で表すことのできるもの（たとえば指定された拡大率が６，８，９など）については、２つの拡大率に分割している。拡大率分割部５６１は、この拡大率の組合せをテーブルデータとして予め用意して利用してもよいし、その都度計算により求めてもよい。また、図示した例では、指定された拡大率を２つの拡大率に分割していたが、３以上に分割してもよい。たとえば、指定された拡大率が“１２”のときには、“３”，“４”の２つに分割するのではなく、“２”，“２”，“３”の３つに分割してもよい。また本実施形態では基本的には２倍拡大のときに最も効果を発揮できるので、２＾ｎ倍（＾はべき乗を示す）拡大のときには、２倍をｎ回繰り返す処理とするのが最良である。なお図９における“最も画質のよい倍率の組合せ”についての詳細は、第５実施形態で説明する。このように、ユーザなどから指定された拡大率Ｋが大きい場合には、指定された拡大率Ｋをより小さな拡大率の組み合せに分割し、この分割した各々の拡大率を順次適用する拡大繰返し処理をすれば、倍率が大きい場合に生じ得るモザイク状（ブロック画像状）の画質劣化を軽減することができる。
【００７０】
図１０は、第２実施形態の画像処理装置５における処理手順を示したフローチャートである。画像拡大処理部５６は先ず、指定された拡大率ｒ倍を分割して、拡大率の組合せを生成し（Ｓ１０２）、最初の拡大率を設定して上記第１例と同様の処理をする（Ｓ１０４）。たとえば、指定された拡大率のうち、２つの値の積で表すことのできるもの（たとえば指定された拡大率が６，８，９など）については、２つの拡大率に分割する。
【００７１】
以下上記第１実施形態の手法により２倍拡大画像を作成した後に、再び２倍拡大して、元画像の４倍拡大画像を得る例、つまり、４倍拡大画像を得るために、２倍拡大を２回実行する例で説明する。またドメインサイズおよびレンジサイズの両方を各拡大率に応じて変更する例で説明する。
【００７２】
画像拡大処理部５６は、オーバーラップ処理に伴う平均化処理をした後（Ｓ３２０）、拡大率の全ての組合せ要素による拡大処理が終了したかどうかをチェックし（Ｓ３６０）、終了していなければ次の拡大率を設定する（Ｓ３６０−ＹＥＳ，Ｓ３８０）。画像拡大処理部５６は、１回目の拡大処理により得られた画像および設定された次の拡大率を用い、第１実施形態と略同様の拡大処理をする。このとき、ドメインブロック画像およびレンジブロック画像の両方についてそのサイズをより大きくする。たとえば、ドメインブロック画像のサイズを３×３画素（ドメインサイズＤ２＝３；サフィックスの２は２回目を示す）、レンジブロック画像のサイズを４×４画素（レンジサイズＲ２＝４）としてステップＳ１２０に戻る（Ｓ３９０）。なお、それぞれの処理においては、この各ブロック画像サイズの変更に伴って、対応する線形変換のテーブルを用意する。また、レンジブロック画像の複雑度に応じた画素値変換パラメータの制限は２回目の処理では実行しないこととし、一律に、“−１．８≦ａ≦２．２”の範囲を採用する。もちろん、第１実施形態（つまり１回目の処理）と同様に、パラメータの制限を加えてもよい。
【００７３】
このように２回目の処理においてドメインブロック画像のサイズを３×３画素にする理由は、初めの２倍拡大で得られた画像には、２×２画素以下の高周波成分が殆ど乗っておらず、また乗っていたとしても、それは２倍拡大の際に発生したノイズであると仮定しているためである。また３×３のドメインブロック画像を用いると、３×３サイズ以下の高周波ブロック画像は、拡大後にぼける傾向があり、これがノイズを軽減する効果を発揮する。
【００７４】
一方、全ての組合せ要素による拡大処理が終了したなら、画像拡大処理部５６による拡大処理は終了である（Ｓ３６０−ＮＯ）。拡大画像データ格納部５８に格納された拡大画像は、画像データ出力部５９を介して、プリントエンジン７０やディスプレイ装置８０などにファイル出力される。
【００７５】
上記第２実施形態の画像拡大手法によれば、拡大率が大きい場合にも平坦部を中心に画像が絵画調に不自然になる、細かいエッジが集中しているビジーな領域に対して明瞭なエッジとボケたエッジとが混在して不自然になるなどの画質劣化を発生させることなく、画像の高画質拡大処理を行なうことができる。たとえば２回目の２倍拡大を実行し、元画像の４倍拡大画像を作成すると、第１実施形態の処理よりも一層高画質な拡大画像を作成することができる。従来のフラクタル圧縮法に基づいた拡大法の場合、拡大率を大きくした場合には反復回数を増加させて解像度を上げなければならないが、第２例の手法の場合は、分割数分だけ第１例と略同様の拡大処理を繰り返すだけでよく、フラクタル圧縮法のように反復処理を増大させる必要は全くない。つまり拡大率を大きくしたい場合は、第２例のように、指定された拡大率をより小さな拡大率の組み合せに分割して順次拡大することにより、視認に耐え得る拡大画像を得ることができる。
【００７６】
また、この第２例の２回目の２倍拡大においては、ドメインブロック画像サイズ３×３（ドメインサイズＤ２＝３）、レンジブロック画像サイズ４×４（レンジサイズＲ２＝４）の２倍拡大であるから、ｒ＊Ｄ２＝２＊３＝６、Ｒ２＝４、Ｄ２＝３であり、ｒ＊Ｄ２＞Ｒ２＞Ｄ２という関係を満たしている。したがって、この２回目の２倍拡大においても、１回目の２倍拡大と同様に、フラクタル拡大のエッジの尖鋭性と拡大画像の画素値を求める際の補間演算による滑らかさを併せ持ち、高画質な拡大画像を生成することができている。
【００７７】
なお、上記第２実施形態では、２回目の拡大処理におけるレンジサイズを“４（４×４画素）”としていたが、これに限らず、より大きなサイズにしてもよい。たとえば、ドメインブロック画像サイズに３×３を用いた場合には、レンジブロック画像サイズ５×５という組み合せを用いてもよい。
【００７８】
図１１は、画像処理装置５の画像拡大処理部５６の第３実施形態の詳細を示すブロック図である。この第３実施形態は、処理対象となる画像の局所的な特徴に応じて拡大処理の方式を変更することにより、画質をより向上させる手法である。第１例や第２例の方法で拡大した画像は、ドメインサイズＤやレンジサイズＲの選択によっては平坦な部分がより平坦化して絵画調になったり、細かいエッジが集中しているビジーな部分については明瞭なエッジとボケたエッジが混在して不自然になる場合がある。そこで、画像の特徴に応じて拡大手法を切り替える、または結果をブレンドさせることで、より自然な画像を得るようにする。
【００７９】
このため第３実施形態の画像拡大処理部５６は、ドメインブロック抽出部５６２、レンジブロック抽出部５６４、拡大レンジブロック作成部５７０、および拡大画像取得部５７６を有し、フラクタル拡大手法による拡大変換処理をする第１実施形態と同様の構成による第１拡大変換部５８０と、フラクタル拡大手法とは異なる第２の拡大手法による拡大変換処理をする第２拡大変換部５８２とを備える。また画像拡大処理部５６は、第１拡大変換部５８０のドメインブロック抽出部５６２により抽出および設定された注目ブロック画像内の画像（ブロック画像）が、エッジ特性および当該エッジ特性とは異なる第２の特性のうちの何れであるのかを解析するブロック画像解析部５６３と、ブロック画像解析部５６３による画像解析の結果に基づいて、第１拡大変換部５８０および第２拡大変換部５８２のうちの何れか一方の出力を選択する、つまり拡大処理の手法を選択する拡大処理方法選択部５７４とを備える。拡大処理方法選択部５７４は、たとえば、ブロック画像解析部５６３による画像解析の結果に基づいて、第１拡大変換部５８０によるフラクタル拡大手法および第２拡大変換部５８２による第２の拡大手法のうちの何れか一方の拡大手法を選択し、この選択した方に対応する拡大変換部に拡大処理を実行させるのがよい。こうすることで、予め第１拡大変換部５８０および第２拡大変換部５８２のうちの事実上使用されない方に、個別の拡大処理をさせる無駄を省くことができる。
【００８０】
ブロック画像解析部５６３は、ドメインブロック抽出部５６２により抽出されたドメインブロック画像が、エッジ強度が比較的強いエッジを含むエッジ特性、第２の特性の第１例であるエッジ強度が比較的弱いエッジが集合した部分を含むビジー特性（テクスチャ特性）、および第２の特性の第２例であるエッジを殆ど含まない平坦特性のうちの何れであるのかを解析する。これに対応して、第２拡大変換部５８２は、第２の拡大手法の第１例であるビジー特性に適した手法による拡大変換処理をするビジー特性拡大変換部５８２ａと、第２の拡大手法の第２例である平坦特性に適した手法による拡大変換処理をする平坦特性拡大変換部５８２ｂとを有する。拡大処理方法選択部５７４は、ドメインブロック画像の特徴がビジー特性であることをブロック画像解析部５６３の解析結果が示しているときには、ビジー特性拡大変換部５８２ａの出力を選択し、ブロック画像の特徴が平坦特性であることをブロック画像解析部５６３の解析結果が示しているときには、平坦特性拡大変換部５８２ｂの出力を選択する。ビジー特性拡大変換部５８２ａは、ビジー部に対する拡大処理に適した拡大処理として、たとえば３次畳み込み法などによる拡大処理をする。平坦特性拡大変換部５８２ｂは、平坦部に対する拡大処理に適した拡大処理として、たとえば線形補間法による拡大処理をする。
【００８１】
図１２は、第３実施形態の画像処理装置５における処理手順を示したフローチャートである。ドメインブロック抽出部５６２が注目ブロック画像を設定したら（Ｓ１４０）、ブロック画像解析部５６３は、この注目ブロック画像内の画像の特徴を解析する（Ｓ４００）。そしてたとえば、注目ブロック画像の特性を、エッジ特性、平坦特性、またはビジー特性（テキスチャ特性）の何れかの特性に分類する。たとえば顔の輪郭部分のような比較的ハッキリしたエッジ（高強度のエッジ）が１本あるようないわゆるステップエッジの部分をエッジ特性とする。またたとえば、細かいエッジの密集した部分をテキスチャ特性とする。そして残りの部分を平坦特性とする。なお、このブロック画像の特性を解析する処理の詳細は後述する。
【００８２】
次に拡大処理方法選択部５７４は、ブロック画像解析部５６３による画像解析の結果に基づいて、拡大処理の手法を決定する（Ｓ４１０）。たとえば、ブロック画像の特性がエッジ特性である旨をブロック画像解析部５６３の解析結果が示しているときには、拡大処理方法選択部５７４は、上述の第１または第２の拡大処理を実行するよう第１拡大変換部５８０を制御する（Ｓ４２０）。また平坦特性である旨をブロック画像解析部５６３の解析結果が示しているときには、拡大処理方法選択部５７４は、細かいノイズが目立ち難く処理の軽い線形補間法を用いて拡大処理をするよう平坦特性拡大変換部５８２ｂを制御する（Ｓ４３０）。
【００８３】
さらに、ビジー特性である旨をブロック画像解析部５６３の解析結果が示しているときには、拡大処理方法選択部５７４は、たとえば３次畳み込み法などの方法で拡大処理をするようビジー特性拡大変換部５８２ａを制御する（Ｓ４４０）。各拡大変換部５８０，５８２，５８４は、それぞれの拡大処理により得た拡大画像を画像データ格納部５４に格納する（Ｓ４５０）。以下、全てのドメインブロック画像に対して上記処理がなされるまで、ステップＳ１４０〜Ｓ４５０の処理を繰り返す（Ｓ２４０）。これにより、上記の処理が全てのドメインブロック画像に対して一通り終了したなら、ドメインブロック画像内の画像の特徴に応じた拡大処理が施された拡大画像が拡大画像データ格納部５８に格納される。
【００８４】
図１３は、第３実施形態の処理手順のステップＳ４００における、ブロック画像の特性を解析する処理の詳細を説明する図であって、画像解析に際して用いられるマスク（デジタルフィルタ）の一例を示す図（Ａ）、および処理手順を示したフローチャート（Ｂ）である。
【００８５】
先ずブロック画像解析部５６３は、ドメインブロック抽出部５６２により設定された注目ブロック画像に対して、エッジ抽出処理をする（Ｓ４０２）。エッジ抽出処理は、たとえば、図１３（Ａ）に示すようなエッジ検出用のマスク（エッジ検出フィルタ）を注目ブロック画像を中心とする元画像に対して施すことで、エッジ抽出した画像を得る。なおエッジ抽出用のマスクは、図１３（Ａ）に示した例に限らず、その他のラプラシアン型、Ｓｏｂｅｌ型、Ｋｉｒｓｈ型などのエッジ抽出用マスクを用いてもよい。
【００８６】
次にブロック画像解析部５６３は、エッジ検出した結果からドメインブロック画像内の画素値の絶対値和を求める（Ｓ４０４）。そして、求めた絶対値和が予め設定してある第１の閾値ＴＨ１を超えるか否かを判定する（Ｓ４０６）。そして越えない場合、すなわち第１の閾値ＴＨ１に対して絶対値和が小さい場合にはその注目ブロック画像は平坦部、すなわちブロック画像の特徴は平坦特性であると判定する（Ｓ４０６−ＮＯ，Ｓ４０８）。
【００８７】
またブロック画像解析部５６３は、平坦特性と判断されなかったブロック画像につては、ドメインブロック画像内の画素値の正値／負値の反転回数を求める（Ｓ４０６−ＹＥＳ，Ｓ４１０）。そしてブロック画像解析部５６３は、求めた反転回数と予め設定してある第２の閾値ＴＨ２とを比較し（Ｓ４１２）、第２の閾値ＴＨ２に対して反転回数が小さい場合にはその注目ブロック画像はエッジ部すなわちブロック画像の特徴はエッジ特性であると判断し（Ｓ４１４）、大きい場合にはテキスチャ部すなわちブロック画像の特徴はビジー特性であると判定する（Ｓ４１６）。これにより、顔の輪郭部分のようなエッジが比較的ハッキリした部分と、細かいエッジの密集した部分とを峻別することができる。そしてこのような手法を採ることにより、元画像の特徴に即した自然で高画質な拡大処理を実行することができる。
【００８８】
上記説明から分かるように、ブロック画像解析部５６３は、ブロック画像に含まれるエッジ強度やその複雑さに応じて、そのブロック画像の特徴を峻別しており、この機能は、第１実施形態で説明した複雑度判定部５６９にも利用することができる。たとえば、レンジブロック画像が高周波成分を多く含んでいれば、ブロック画像解析部５６３は、そのレンジブロックをビジー部と判定することができる。
【００８９】
なお上記説明では、エッジ検出フィルタを用いてブロック画像の特徴を判定したが、第１実施形態で説明したように、類似度判定部５６８は、ドメインブロック画像の標準偏差を求めるので、これを利用して第１の閾値（前述のＴＨ１とは異なる）に対して標準偏差が小さい場合には平坦部、大きい場合には隣接画素値との変化方向の逆転回数をカウントし、それが第２の閾値（前述のＴＨ２とは異なる）より小さい場合はエッジ部、大きい場合はビジー部と判定してもよい。ドメインブロック画像が小さい場合にはそのドメインブロック画像を中心とした３×３ブロック画像から中心ブロック画像の特徴を判定することもできる。また、閾値により明確にブロック画像の特徴を峻別するすなわち領域を分離するのではなく、たとえば標準偏差値に応じて平坦部の拡大手法とエッジ部またはビジー部の拡大手法の結果をブレンドするなど、拡大処理の組合せのバリエーションを付加することもできる。このように、各種の手法により画像を平坦部、エッジ部、ビジー部に分離して拡大処理の手法を変えることで、部分的な画質をより向上させることができる。
【００９０】
なおこの第３実施形態の拡大手法は、画像特性に応じて拡大手法を切り替えるあるいはブレンドするという点で、上述の特開平１１−３３１５９５号による手法と似ている。しかしながら、特開平１１−３３１５９５号による手法では、線形補間とフラクタル拡大との差が大きくなるエッジ部分で線形補間法が選択される傾向があるため、フラクタルの特徴である明瞭なエッジ再現ができずにボケてしまうという欠点を持つのに対して、第３実施形態の拡大手法によれば、エッジ部分では確実に第１実施形態と同様の手法による拡大処理を実行できるので、エッジ部でのボケの問題は生じない。
【００９１】
図１４は、画像処理装置５の画像拡大処理部５６の第４実施形態の詳細を示すブロック図である。この第４実施形態は、元画像に含まれるエッジ成分の強度やブロック画像の複雑度合いに応じて、ドメインブロックサイズおよびレンジブロックサイズのうちの少なくとも一方の大きさを変更するようにした態様である。このため第４実施形態の画像拡大処理部５６は、元画像に含まれるエッジ成分の強度やブロック画像の複雑度合いを解析する画像解析部５６５を備える。この画像解析部５６５は、元画像に含まれるエッジ成分の強度を判定するエッジ強度判定部、および元画像を所定サイズのブロック画像に分割し、この分割したブロック画像の複雑度を判定する複雑度判定部の、両機能を備える。そして、ドメインブロック抽出部５６２は、画像解析部５６５により判定されたエッジ成分の強度やブロック画像の複雑度合いを参照して、第１のブロック単位の大きさを設定する。またレンジブロック抽出部５６４は、画像解析部５６５により判定されたエッジ成分の強度やブロック画像の複雑度合いを参照して、第２のブロック単位の大きさを設定する。
【００９２】
画像解析部５６５の複雑度判定部としての機能部分は、元画像を所定サイズのブロック画像に分割し、個々のブロック画像ごとに、ブロック内の画素値の標準偏差を求め、この求めた標準偏差に基づいて、所定サイズのブロック画像が、エッジを含む部分のブロック画像であるのかそれ以外、すなわちエッジを殆ど含まない略平坦部分のブロック画像であるのかを峻別する。また、エッジを含む部分のブロック画像については、所定サイズのブロック画像の局所連続性を求め、この求めた局所連続性に基づいて、さらにエッジ強度が比較的強いエッジを含むステップエッジ部の画像であるのか、エッジ強度が比較的弱いエッジが集合した部分を含むビジー部の画像であるのかを峻別する。
【００９３】
図１５は、画像解析部５６５の作用を説明する図である。画像解析部５６５は先ず、デフォルトのドメインサイズＤおよびレンジサイズＲを、たとえばＤ＝４，Ｒ＝７で設定する。そして、画像解析部５６５（特に複雑度判定部の機能部分）は、ドメインブロックごとにブロック画像の複雑度を測定する。たとえば、ドメインブロック内の画素値の標準偏差がある一定値以上であること（条件Ａ）、すなわちエッジ強度がある程度大きな部分を含むか否かと、ドメインブロックＤｉを含む８×８サイズの周囲ブロックを投影法縮小した４×４サイズの縮小ブロックＤ’ｉと、ドメインブロックとの距離（ブロック間距離；各画素値の差の最大値ｍａｘ｜Ｄｉ−Ｄ’ｉ｜）が一定値以内であること（条件Ｂ）を条件として、ブロック画像の複雑度を測定する。条件Ａによって、全てのエッジ部が切り出され、条件Ｂによって、さらにそれがビジー部なのかステップエッジ部なのかを峻別できる。ここで条件Ｂは、ステップエッジ部は局所連続性が強く、ビジー部は弱いことを利用したものである。局所連続性が強いと、４×４を含む８×８を縮小しても、似たようなパターンになる。
【００９４】
画像拡大処理部５６は、画像解析部５６５による判定結果に基づいて、以下のように処理する。
１）ステップエッジ部（条件Ａ，Ｂを満たす）：Ｄ＝４，Ｒ＝７のままで拡大処理する。
２）ビジー部（条件Ａだけ満たす）：Ｄ＝３，Ｒ＝４（Ｄ＝２，Ｒ＝３でもよい）に各サイズを変更してから拡大処理する。
３）その他、平坦部分（滑らかな部分）（条件Ａを満たさない）：Ｄ＝２，Ｒ＝３に各サイズを変更してから拡大処理する。
【００９５】
このような処理をすると、局所連続性の強いステップエッジ部などより大きなブロックサイズで処理した方が好ましいときには、大きめのブロック画像で拡大処理することができ、たとえば、ボケや、エッジ近傍でのリンギング、ジャギー、ブロック境界でのブロック歪などの視覚的な画質劣化をなるべく生じさせることなく、高画質に拡大処理をすることができる。つまり、元画像の特徴に即した自然で高画質な拡大処理を実行することができる。
【００９６】
なおこのように、ステップエッジ部／ビジー部／その他の部分に切り分け（ブロック画像の特徴を３つに切り分け）、ドメインサイズＤやレンジサイズＲを切り替えて処理してもよいが、たとえばＤ＝４，Ｒ＝７による拡大画像と、Ｄ＝２，Ｒ＝３による拡大画像を作成しておき、条件Ａと条件Ｂの数値の関数でもってブレンドするという方法を採用してもよい。また条件Ａにおいてドメインブロックの標準偏差を計算するが、これは第１実施形態でも説明したように、類似度判定部５６８でも行なう処理であるので、その値を利用することがでる。実用上は、この標準偏差を予めメモリを確保しておいて、ドメインブロックを抽出した際に計算しておくのがよい。
【００９７】
このようにすると、ステップエッジ部では Ｄ＜Ｒ＜ｒＤ（ｒ＝２倍）の関係式で、拡大レンジブロック作成部５７０におけるＲ→ｒＤ拡大を考えると７→８となるので、線形拡大がごくわずかしか入らないためステップエッジがシャープになる。またビジー部はＤ＝４では細かいテクスチュアが再現できない（ぼけてしまう）ので、Ｄ＝２，Ｒ＝３に変更することでビジー部の再現性をあげることができる。その他の部分は何でもよいが、ここでは処理速度の速いＤ＝２，Ｒ＝３に変更している。
【００９８】
なお、条件Ａおよび条件Ｂの強度値に関して、Ａの値が高く、Ｂの値が低いほどエッジ強度が強いことになるので、この場合において、エッジ強度が強い場合には、Ｄ＝４，Ｒ＝７で拡大処理とし、それほどでない場合にはＤ＝４，Ｒ＝６で拡大処理するということもできる。つまり、エッジ強度に応じてドメインサイズＤやレンジサイズＲを切り替えて拡大処理してもよい。
【００９９】
たとえばブロック画像の複雑度合いとエッジ強度とに基づいて、エッジ強度の強い部分、エッジ強度の弱い部分（つまりエッジ強度の異なる部分を区別して）、ビジー部、およびその他の部分に応じて、ドメインサイズＤやレンジサイズＲを切り替えてもよい。このような処理をすると、複雑であってエッジ強度が高くより大きなブロックサイズで処理した方が好ましいときには、ブロック画像をより大きなブロックに分割し拡大処理することができ、たとえば、ボケや、エッジ近傍でのリンギング、ジャギー、ブロック境界でのブロック歪などの視覚的な画質劣化をなるべく生じさせることなく、高画質に拡大処理をすることができる。つまり元画像の特徴に即した自然で高画質な拡大処理を実行することができる。一方、複雑さがなくエッジ強度も弱く拡大処理に伴う画質劣化が問題とならないブロックについては、より小さなブロックサイズで処理することで処理速度を優先させることができる。
【０１００】
なお第４実施形態で述べた、ステップエッジ部、ビジー部、その他（平坦部）の部分の峻別手法は、前述の第３実施形態にも、同様に適用することができる。第４実施形態で述べた条件Ａは、第３実施形態で述べたことと略同じである。
【０１０１】
また第４実施形態の説明では、条件Ａおよび条件Ｂの強度値に基づいてエッジ成分の強度を判定していたが、エッジ成分の強度判定の手法は、これに限らず、その他の公知の手法を用いてもよい。
【０１０２】
図１６は、画像処理装置５の画像拡大処理部５６の第５実施形態の詳細を示すブロック図である。この第５実施形態は、上述の第１〜第４実施形態の方法で拡大した画像を縮小することによって、拡大画像に発生したノイズを除去するものである。このため、第５実施形態の画像拡大処理部５６は、予め指定された拡大率をより大きな拡大率に変更し、この変更した拡大率を設定された拡大率とする拡大率変更部５８７と、ドメインブロック抽出部５６２、レンジブロック抽出部５６４、拡大レンジブロック作成部５７０、および拡大画像取得部５７６を有し、フラクタル拡大手法による拡大変換処理をする第２実施形態と同様の構成による第１拡大変換部５８０と、第１拡大変換部５８０から出力された拡大画像を縮小することにより、指定された拡大率の拡大画像を生成する画像縮小部５８８とを備える。図１６では、第２実施形態の画像拡大処理部５６における拡大画像取得部５７６に画像縮小処理部５８８を設けた例で示しているが、第１、第３、あるいは第４実施形態にも同様に適用することができる。画像拡大処理部５６は、画像縮小処理部５８８の出力を最終的な拡大画像として画像データ出力部５９に入力する。
【０１０３】
画像縮小処理部５８８は、たとえば線型補間法で画像を縮小する。線型補間法での縮小は図３に述べた方法と同じである。特にこの縮小の際に、拡大前の元画像のサイズに縮小するようにすると、実質上、元画像にアンチエイリアシングを加える効果を出すことができる。また、第２実施形態の方法により４倍拡大した画像を１／２に縮小することによって、第１実施形態で得られた２倍拡大画像のノイズを除去し、より高画質にすることができる。つまり、所望サイズよりも一時的に大きく拡大してから、所望サイズに縮小することにより、エッジ部にアンチエイリアス処理を施すことができる。
【０１０４】
また、たとえばＪＰＥＧ画像などのように、元々の画像中にノイズ（ブロック画像歪やモスキートノイズなど）がある画像の場合には、この拡大・縮小処理をペアで繰返し施すことによって、このノイズを軽減することもできる。一般に、ＪＰＥＧ画像を拡大すると、こうしたノイズが目立ってきてしまうが、この第５実施形態の方法により、ノイズ除去をしながら画像を拡大することによって、高画質な画像を得ることができる。
【０１０５】
またたとえば、図９における“拡大率の組合せ”に示したように、５倍，７倍などの素数倍率がユーザから指定された場合、この値はこれ以上細かく分割できないので、拡大率を分割して処理することで画質を改善するという第２実施形態の態様を適用することができない。これに対して、第５実施形態によれば、たとえば一旦２倍拡大を３回繰り返して８倍に拡大してから所望サイズに縮小することができ、これにより、処理速度は犠牲になるものの、その代わり高画質の点では従来の拡大手法を大きく上回る。このことは、素数倍率に限らず２＾ｎ倍以外の倍率（たとえば６倍など）でも同様である。できるだけ２倍拡大を繰り返し、所望サイズよりも大きくなったら所望サイズとなるように縮小するという構成が、画質の点では最も望ましいということである。
【０１０６】
つまり、図９における“最も画質のよい倍率の組合せ”に示すように、第２および第５実施形態を組み合せて、ユーザから指定された拡大率Ｋを先ず最近傍の２＾ｎ倍（Ｋ≦２＾ｎ）に変更して２倍拡大をｎ回繰り返し、Ｋ＜２＾ｎについては、さらに指定された倍率ＫとなるようにＫ／２＾ｎに縮小するのがよい。なお第２および第５実施形態を組み合せた場合、処理時間と画質とはトレードオフの関係にあるので、処理時間と画質の何れを優先させるのかに応じて、倍率を適宜組み合わせてもよい。たとえば、９〜１５倍については、１回の処理で４倍に拡大する処理を２回繰り返して１６倍にしてから所定サイズに縮小してもよい。
【０１０７】
図１７は、画像処理装置５の画像拡大処理部５６の第６実施形態の詳細を示すブロック図である。この第６実施形態は、カラー画像に対して、特に好適な方式である。すなわち第６実施形態の画像拡大処理部５６は、複数の色成分により表されるカラー画像の個々の色成分に対応する色画像に基づいて当該カラー画像に対応する対応画像を得る対応画像生成部の一例である疑似グレー画像生成部５９０を備える。また拡大画像取得部５７６は、各色ごとに拡大された拡大画像を合成（合版）してカラーの拡大画像を得るカラー拡大画像生成部５９２を有する。なお図１７では、第１実施形態の画像拡大処理部５６に疑似グレー画像生成部５９０を設けた例で示しているが、第２〜第５実施形態にも同様に適用することができる。
【０１０８】
疑似グレー画像生成部５９０は、たとえばカラー画像を表すそれぞれの色データ（たとえばＲ，Ｇ，Ｂ）を、適当な加算比率で加算処理することで、カラー画像に対応する対応画像の一例である疑似グレー画像Ｙを得る。たとえばＲ，Ｇ，Ｂの各データを同じ比率で加算し、疑似グレー画像Ｙ（＝Ｒ＋Ｇ＋Ｂ）を得る。なお疑似グレー画像Ｙは、同一の加算比率に限らず、輝度成分に略等しくなるように、０．３Ｒ＋０．６Ｇ＋０．１Ｂを用いてもよい。
【０１０９】
ドメインブロック抽出部５６２は、色成分に対応する個々の色画像ごとに、ドメインブロック画像を抽出する。レンジブロック抽出部５６４は、疑似グレー画像生成部５９０により生成された疑似グレー画像Ｙにおける、ドメインブロック抽出部５６２により抽出された個々の色画像ごとのドメインブロック画像に対応する部分の近傍からレンジブロックに対応するレンジブロックサイズの対応レンジブロック画像を抽出し、この抽出した対応レンジブロック画像の位置を個々の色画像における対応する位置に割り当てることにより、個々の色画像ごとにレンジブロック画像を抽出する。
【０１１０】
図１８は、第６実施形態の画像処理装置５における処理手順を示したフローチャートである。図中、第１実施形態と同様の処理であって、各色データのそれぞれに対する処理については、第１実施形態と同じステップ番号の末尾にサフィックス“ａ”を付けて示し、疑似グレー画像に対する処理については、第１実施形態と同じステップ番号の末尾にサフィックス“ｙ”を付けて示す。
【０１１１】
拡大画像用のメモリ領域の確保および初期化が完了したら（Ｓ１００ａ）、疑似グレー画像生成部５９０は、カラー画像を表す色データＲ，Ｇ，Ｂを、適当な加算比率で加算処理して疑似グレー画像Ｙを生成する（Ｓ１１０ｙ）。なおこの疑似グレー画像Ｙの生成は、ステップ１６０の直前でもかまわない。
【０１１２】
画像拡大処理部５６は、第１実施形態のステップＳ１２０〜Ｓ２００と同様に、疑似グレー画像Ｙに対し、各ドメインブロック画像に対する３×３サイズの最類似対応レンジブロック画像（最もドメインブロック画像と類似した対応レンジブロック画像）の位置を計算する（Ｓ１２０ａ〜Ｓ２００ｙ）。レンジブロック抽出部５６４は、類似度判定部５６８により確定された最類似対応レンジブロック画像の位置を、Ｒ，Ｇ，Ｂの各画像における対応する位置に設定することにより、個々の色画像ごとに最類似レンジブロック画像を設定する（Ｓ２１０ａ）。
【０１１３】
次に拡大レンジブロック作成部５７０は、Ｒ，Ｇ，Ｂの各色画像ごとに、疑似グレー画像Ｙを用いて選択された３×３サイズの最類似レンジブロック画像を、たとえば線型補間法や投影法など公知の手法を用いて４×４サイズに拡大する（Ｓ２２０ａ）。以下第１実施形態と同様にして、オーバーラップ処理に伴う平均化処理をして、各色成分ごとに拡大画像を得る（Ｓ２４０ｙ〜Ｓ３２０ａ）。そして最後にカラー拡大画像生成部５９２は、各色ごとに拡大された拡大画像を合成（合版）してカラーの拡大画像を生成する（Ｓ３３０）。
【０１１４】
先にも述べたように、第１〜第５実施形態は、特にグレー画像に関しての拡大手法として好適であるが、カラー画像を表すそれぞれの色データ（たとえばＲ，Ｇ，Ｂ）について、たとえば２５６階調のグレー画像に相当する各色画像を作成し、それぞれを第１〜第５実施形態の拡大処理して拡大画像を生成し、最後に合版することで、カラー画像の拡大画像を得ることができる。しかしながら、この方法を用いた場合、エッジ部などにおいて、微妙にＲＧＢのエッジ位置がずれる場合があり、Ｒ，Ｇ，Ｂまたはこれらの混合色のノイズが発生する場合がある。この問題は、ドメインブロック画像のＲＧＢ面それぞれにおいて、同じレンジブロック画像位置を採用することで緩和することができる。
【０１１５】
そのため、第６実施形態では、たとえばＲＧＢ信号の和を取った、Ｒ＋Ｇ＋Ｂ信号に対して、第１実施形態と同様にして各ドメインブロック画像に対する最適なレンジブロック画像（最類似対応レンジブロック画像）の位置を計算し、その後、Ｒ，Ｇ，Ｂそれぞれにおいて、ドメインブロック画像と最類似対応レンジブロック画像と同じ位置にあるＲ，Ｇ，Ｂの各レンジブロック画像との間で、たとえば第１実施形態と同様に、最小２乗係数ａ，ｂを計算し、各色の最適化近似をして拡大画像を得る。つまり、疑似グレー画像を共通に利用して、Ｒ，Ｇ，Ｂそれぞれについてのレンジブロック画像の位置を割り出してから、各色成分ごとに拡大処理をする。
【０１１６】
このような第６実施形態で示した手法を用いると、前記の最適レンジブロック画像の位置を各色ごとに求めた場合に生じるノイズが殆ど現れず、またレンジブロック画像の位置をＲ，Ｇ，Ｂで同じにしてはいるが、それぞれＲ，Ｇ，Ｂのレンジブロック画像に対して最適な最小２乗係数で画素値変換するので、元画像を忠実に保つことができる。また、この第６実施形態の拡大手法を用いる場合には、ブロック画像探索に費やす時間も１／３で済むので、処理時間の高速化を図ることもできる。
【０１１７】
なお上記説明では、カラー画像を表す各色データを適当な加算比率で加算処理して得た疑似グレー画像Ｙを用いたが、これは注目ブロック画像に極めて近い近傍ののみを探索範囲とし、その探索範囲には大きな色変化がないと考えることができることを前提とするものであり、探索範囲を広めに取る場合には、色変化が生じてしまうので、拡大画像に偽信号が生じる虞れがある。この場合、色空間上での距離をもとに類似度を判定し、その結果に基づいて、疑似グレー画像Ｙを修正すれば、探索範囲を広めに取る場合であっても、拡大画像に偽信号が生じる虞れはなくなる。
【０１１８】
以上説明したように、上記各実施形態による拡大処理は、ドメインブロック画像と類似のレンジブロック画像は、そのごく近辺に同じ向きに存在するという、画像連続性の仮定に基づいており、画像が大域的に自己相似的であるとの立場に立つ従来のフラクタル圧縮法とは技術思想が異なる。また類似度判定部５６８における、山や谷などを含むレンジブロック画像を、ドメインブロック画像との対応付けから除外するという処理は、画像を拡大した際に、元画像に含まれない細かい山や谷を復元しないということを意味しており、この点でも無限に細かいディテールを持つというフラクタルの思想と異なっている。
【０１１９】
また、従来のフラクタル圧縮法に基づく拡大処理の場合、縮小写像の不動点定理に基づいて反復写像してゆき収束させるため、画素値変換の変換係数ａ（縮小率に相当する）は、基本的には−１＜ａ＜１でなければならない。これに対して、上記実施形態の拡大処理では反復収束過程を用いないので、この条件は必要なく、類似度判定部５６８における類似度判定で述べたように、より広い条件で画素値変換パラメータを許容でき、その結果画質を大きく向上することができる。
【０１２０】
したがって、上記各実施形態の拡大処理の方法は、フラクタルの概念を利用してはいるものの、得られる拡大画像は、理論上はフラクタルのアトラクターの定義には入っておらず、従来のフラクタル拡大手法とは意味が異なってくる。このように、上記実施形態の拡大処理の手法は、従来のフラクタル拡大手法の概念と異なる部分を有しているが、それにも関わらず、本手法においてフラクタルの概念は重要な要素を発揮しており、特にエッジの尖鋭性の再現に大きく寄与しているといえる。
【０１２１】
図１９は、ＣＰＵやメモリを利用して、ソフトウェア的に画像処理装置５を構成する、すなわち電子計算機（コンピュータ）を用いて構成する場合のハードウェア構成の一例を示した図である。
【０１２２】
この画像処理装置５は、ＣＰＵ９０２、ＲＯＭ（Read Only Memory）９０４、ＲＡＭ９０６、および通信Ｉ／Ｆ（インターフェース）９０８を備える。また、たとえばハードディスク装置９１４、フレキシブルディスク（ＦＤ）ドライブ９１６、あるいはＣＤ−ＲＯＭ（Compact Disk ROM）ドライブ９１８などの、記憶媒体からデータを読み出したり記録するための記録・読取装置を備えてもよい。ハードディスク装置９１４、ＦＤドライブ９１６、あるいはＣＤ−ＲＯＭドライブ９１８は、たとえば、ＣＰＵ９０２にソフトウェア処理をさせるためのプログラムデータを登録するなどのために利用される。通信Ｉ／Ｆ９０８は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。
【０１２３】
このような構成の画像処理装置５は、上記実施形態に示した基本的な構成および動作と同様とすることができる。また、上述した処理をコンピュータに実行させるプログラムは、ＣＤ−ＲＯＭ９２２などの記録媒体を通じて配布される。あるいは、前記プログラムは、ＣＤ−ＲＯＭ９２２ではなくＦＤ９２０に格納されてもよい。また、ＭＯドライブを設け、ＭＯに前記プログラムを格納してもよく、またフラッシュメモリなどの不揮発性の半導体メモリカード９２４などのその他の記録媒体に前記プログラムを格納してもよい。さらに、他のサーバなどからインターネットなどの通信網を経由して前記プログラムをダウンロードして取得したり、あるいは更新してもよい。なお、記録媒体としては、ＦＤ９２０やＣＤ−ＲＯＭ９２２などの他にも、ＤＶＤなどの光学記録媒体、ＭＤなどの磁気記録媒体、ＰＤなどの光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリーを用いることができる。
【０１２４】
記録媒体の一例としてのＦＤ９２０やＣＤ−ＲＯＭ９２２などには、上記実施形態で説明した画像処理装置５における処理の一部または全ての機能を格納することができる。したがって、以下のプログラムや当該プログラムを格納した記憶媒体を提供することができる。たとえば、画像処理装置５用のプログラム、すなわちＲＡＭ９０６などにインストールされるソフトウェアは、上記各実施形態に示された画像処理装置５と同様に、拡大率分割部５６１、ドメインブロック抽出部５６２、ブロック画像解析部５６３、レンジブロック抽出部５６４、画像解析部５６５、縮小レンジブロック作成部５６６、類似度判定部５６８、拡大レンジブロック作成部５７０、拡大画像取得部５７６、ブロック画像合成部５７８、あるいはオーバーラップ処理部５８６などの各機能部をソフトウェアとして備える。このソフトウェアは、たとえばプリンタドライバやディスプレイドライバなどとして、ＣＤ−ＲＯＭやＦＤなどの可搬型の記憶媒体に格納され、あるいはネットワークを介して配布されてもよい。
【０１２５】
そしてたとえば画像処理装置５をコンピュータにより構成する場合、ＣＤ−ＲＯＭドライブ９１８は、ＣＤ−ＲＯＭ９２２からデータまたはプログラムを読み取ってＣＰＵ９０２に渡す。そしてソフトウエアはＣＤ−ＲＯＭ９２２からハードディスク装置９１４にインストールされる。ハードディスク装置９１４は、ＦＤドライブ９１６またはＣＤ−ＲＯＭドライブ９１８によって読み出されたデータまたはプログラムや、ＣＰＵ９０２がプログラムを実行することにより作成されたデータを記憶するとともに、記憶したデータまたはプログラムを読み取ってＣＰＵ９０２に渡す。ハードディスク装置９１４に格納されたソフトウエアは、ＲＡＭ９０６に読み出された後にＣＰＵ９０２により実行される。たとえばＣＰＵ９０２は、記録媒体の一例であるＲＯＭ９０４およびＲＡＭ９０６に格納されたプログラムに基づいて上記の処理を実行することにより、上記処理における画像拡大処理のための機能をソフトウェア的に実現することができる。
【０１２６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。また、上記の実施形態は、クレームにかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。
【０１２７】
たとえば、第１〜第５実施形態において、画像を処理する際に充分なメモリ容量がある場合には、縮小レンジブロック画像、および縮小レンジブロック画像の平均値計算、標準偏差計算、レンジブロック画像のＣ値計算などを予め行なっておき、その結果をテーブルに格納しておくことにより、レンジブロック画像探索の際に、その都度計算する必要がなくなり、テーブル参照するだけで済むようになるので、計算回数を減らすことができ、処理速度をさらに高速化することができる。
【０１２８】
また類似度判定部５６８は、縮小レンジブロック画像とドメインブロック画像とを比較することで類似度を判定していたが、ドメインブロックをレンジブロックと同サイズに拡大し、これとレンジブロック画像とを比較することで類似度を判定してもよい。
【０１２９】
またドメインブロックの近傍にレンジブロックを設定する際、予めドメインブロックの近傍に複数のレンジブロックを抽出し、その中からドメインブロックとの類似度が高いレンジブロックを選択するようにしていたが、その他の手法を用いてドメインブロックの近傍にレンジブロックを設定するようにしてもよい。たとえば、予め画像の特徴を解析しておき、その画像特性から設定すべきレンジブロックの方向を個々のドメインブロックごとに求めておいてもよい。
【０１３０】
また第２実施形態では、２回目以降の拡大処理時にはドメインブロックやレンジブロックの大きさを変更（より大きく）していたが、各ブロックサイズは、毎回同サイズであってもよい。
【０１３１】
また第３実施形態では、ドメインブロック画像の特徴を、エッジ特性、ビジー特性、平坦特性の３つのタイプに切り分け、各特性に応じた拡大処理をするようにしていたが、エッジ特性とそれ以外の２つのタイプに切り分けて拡大処理をするようにしてもよい。つまり、ビジー特性や平坦特性の場合には、同一の拡大処理をしてもよい。これは、ビジー特性（テキスチャ特性）部分ではリンギング雑音が発生するものの弱くてテキスチャ特性の中に隠れて目立たない一方、たとえば３次畳み込み法などによるビジー部に対する拡大処理に適した拡大処理をするとその分だけ処理が遅くなる要素の方が強く画質の向上に対する寄与が少ないからである。
【０１３２】
また上記各実施形態では、拡大画像データを用いて印刷処理したり表示する構成について説明したが、これに限らず、画像を取り扱う種々の機器やシステムに適用することができる。たとえば、カラースキャナ３２、画像処理装置５、およびプリントエンジン７０を一体化させた複写装置に適用することもできる。
【０１３３】
【発明の効果】
以上説明したように本発明の画像処理装置によれば、レンジブロック画像を拡大ブロック単位に拡大して拡大画像を作成するようにしたので、フラクタルの概念の特徴を生かして、ジャギーやブロック歪の発生を抑えてボケの少ない拡大画像を得ることができる。また ドメインサイズよりも大きくかつ所望の拡大サイズよりも小さなレンジサイズでレンジブロック画像を抽出し、このレンジブロック画像に対して拡大処理をするので、ステップエッジ部におけるノイズ状のゴミやササクレ状の画素値の染み出しが発生するのを防止することができる。
【０１３４】
さらにレンジブロック画像を拡大した後、ドメインブロック画像とレンジブロック画像との関係に基づいて拡大後の画素値を再変換するので、視認に耐え得る拡大画像を１回の処理にて（高速に）生成することができる。
【０１３５】
このように本発明の画像処理装置によれば、処理時間とのバランスを採りつつ、フラクタルの概念を利用して、ボケ、ジャギー、ブロック歪などの画質劣化が生じるのを防止しながら、高画質な画像拡大処理を実現することができる。
【図面の簡単な説明】
【図１】 本発明に係る画像処理装置を備えた画像処理システムを示すブロック図である。
【図２】 画像処理装置内の画像拡大処理部の第１実施形態の詳細を示すブロック図である。
【図３】 縮小レンジブロック作成部における投影法を用いた場合の処理を説明する図である。
【図４】 拡大レンジブロック作成部における投影法を用いた処理のを説明する図である。
【図５】 オーバーラップ処理をする場合における、拡大後の画素値の重複量の一例を示す図である。
【図６】 第１実施形態の画像処理装置における画像拡大処理に着目した処理手順を説明する図である。
【図７】 第１実施形態の処理の一実施例を示す図であって、オーバーラップ処理の前段階までを示す。
【図８】 画像拡大処理部の第２実施形態を示すブロック図である。
【図９】 拡大率分割部による、拡大率の分割における拡大率の組合せの一例を示す図である。
【図１０】 第２実施形態の画像処理装置における処理手順を示したフローチャートである。
【図１１】 画像拡大処理部の第３実施形態を示すブロック図である。
【図１２】 第３実施形態の画像処理装置における処理手順を示したフローチャートである。
【図１３】 第３実施形態の処理手順における、ブロック画像の特性を解析する処理の詳細を説明する図である。
【図１４】 画像拡大処理部の第４実施形態を示すブロック図である。
【図１５】 第４実施形態における画像解析部の作用を説明する図である。
【図１６】 画像拡大処理部の第５実施形態を示すブロック図である。
【図１７】 画像拡大処理部の第６実施形態を示すブロック図である。
【図１８】 第６実施形態の画像処理装置における処理手順を示したフローチャートである。
【図１９】 電子計算機を用いて画像処理装置を構成する場合のハードウェア構成の一例を示した図である。
【符号の説明】
１…画像処理システム、３…画像入力端末、５…画像処理装置、７…画像出力端末、５２…画像データ取得部、５４…画像データ格納部、５６…画像拡大処理部、５９…画像データ出力部、７０…プリントエンジン、８０…ディスプレイ装置、５６１…拡大率分割部、５６２…ドメインブロック抽出部、５６３…ブロック画像解析部、５６４…レンジブロック抽出部、５６５…画像解析部、５６６…縮小レンジブロック作成部、５６８…類似度判定部、５６９…複雑度判定部、５７０…拡大レンジブロック作成部、５７４…拡大処理方法選択部、５７６…拡大画像取得部、５７８…ブロック画像合成部、５８０…第１拡大変換部、５８２…第２拡大変換部、５８２ａ…ビジー特性拡大変換部、５８２ｂ…平坦特性拡大変換部、５８６…オーバーラップ処理部、５８７…拡大率変更部、５８８…画像縮小処理部、５８８…画像縮小部、５９０…疑似グレー画像生成部、５９２…カラー拡大画像生成部
【発明の属する技術分野】
本発明は、多階調で表現された画像を拡大処理する画像処理装置およびコンピュータを利用して前記拡大処理をするためのプログラムに関する。
【０００２】
【従来の技術】
デジタル画像に対する信号処理の１つとして、拡大処理がある。たとえば、データベースや高精細カラー印刷などの分野では種々の高品質な画像処理機能が求められているが、その１つに画像拡大が求められている。この画像の拡大処理は、画像の編集やファイリング、表示、印刷などをするシステムにとって基本的な処理の１つである。たとえば、外部などから入力されたデジタル画像を解像度の異なるプリンタに印刷出力したり、またはディスプレイ上で拡大表示するなどの場合には、画像の拡大処理が必要となる。たとえば、７２０（水平方向）×４８０（垂直方向）画素である規格の画像データを、８００×６００画素のディスプレイに全画面表示する場合などである。またこの拡大処理は、たとえばＨＤＴＶ（高解像度テレビ）、ＮＴＳＣ方式のテレビ、電子スティルカメラ、医用画像システム、印刷用画像システムなどの、解像度の異なるメディアを結ぶために必要な解像度変換の手法としても利用できる極めて重要な機能である。さらに近年では、インターネットのホームページ上の画像やデジタルビデオなどの、たとえば７５ｄｐｉ近辺の比較的低解像度（ディスプレイ解像度）での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷する際に、高画質の出力結果を得るために、高画質の拡大処理に対するニーズも高まっている。
【０００３】
多階調で表現された多値画像を拡大処理する、すなわち拡大後の各画素位置の値を求める手法としては、従来から多くの手法が提案されており、たとえば、最近傍法（ニアレストネイバー；nearest neighbor）、線形補間法（バイリニア；bilinear）、あるいはキュービック・コンボリューション法（cubic convolution） などの補間を基本とした拡大方式（以下補間拡大方式ともいう）がよく知られている。
【０００４】
最近傍法は、拡大後の各画素値として、その画素を元画像上に逆写像した際に最も距離が近い画素の画素値を使うという方法であり、たとえばｘ方向の拡大率をａ、ｙ方向の拡大率をｂとすると、拡大後の各座標点（Ｘ，Ｙ）をそれぞれ１／ａ，１／ｂした元画像上の逆写像点を計算し、それに最も近い元画像上の画素値を（Ｘ，Ｙ）の画素値とする。
【０００５】
線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍の画素（たとえば４近傍画素）を参照し、ｘ方向、ｙ方向それぞれにその画素点（４近傍画素では４点）で囲まれる領域を線形近似（線形補間）して逆写像点での画素値を求めるというものである。この線形補間法は、最近傍法よりも処理負荷が重いものの演算量は比較的少なく、また線形補間そのものに平滑化効果があるため最近傍法に比べてジャギーが目立ち難い。
【０００６】
キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数｛ｓｉｎｃ（ｘ）＝ｓｉｎ（ｘ）／ｘ｝を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍画素（たとえばＸ、Ｙ方向それぞれ４画素の１６画素）と前記の近似補間関数との畳み込みにより、拡大後の画素値を求める方法である。これはｓｉｎｃ関数の周波数特性がナイキスト周波数内で“１”、その外側で“０”となる理想的な特性であることを利用して再標本化による折返し歪を抑えるという考え方に基づいている。この方法は、シャープな画像が得られるので前記２つの手法に比べて画質は比較的よい。
【０００７】
しかしながら、これらの補間拡大方式は、本質的にボケが発生してしまう傾向がある。また最近傍法は、処理が簡単で演算量が少ないため高速に処理できるが、元画像の１画素がそのまま矩形形状に拡大されるため、元画像に斜線または境界線が存在している場合には、拡大画像中のエッジ部や斜線部にジャギーと言われるギザギザの劣化が発生したり、倍率が大きい場合には画像がモザイク状（ブロック画像状）になるなど、視覚的な画質劣化の程度は大きい。線形補間法は、平滑化（ローパスフィルタ；ＬＰＦ）効果が強いために、たとえば直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、ＬＰＦ的な作用を受けてスムージングされた画像になり画像が全体的にボケた感じになる。キュービック・コンボリューション法は、参照範囲が大きく前記２つの方式と比較して演算量が多くなるので高速化処理が求められるときには適さない。また、ｓｉｎｃ関数は無限に続く関数であるため、それを所定範囲（１６画素の例では−２〜２）の範囲で打ち切って近似した関数を用いたことによる高域強調気味の特性があり、最近傍法ほどではないもののエッジ部分で軽いジャギーが発生したりノイズ成分が強調されてしまう。
【０００８】
これに対し最近では、前記補間拡大方式とは全く異なるアプローチとして、反復変換符号化を利用することで、ボケ、ジャギー、あるいはブロック歪の発生を防止する拡大手法が提案されている。この反復変換符号化の中には、たとえばフラクタルの概念を利用したものもある（たとえば特許第２９６８５８２号など）。またフラクタルの概念を利用するために通常ＩＦＳ（反復関数系；Iterated Function Systems ）が用いられる。以下フラクタルの概念を利用した反復変換符号化による拡大方式をフラクタル拡大手法という。
【０００９】
フラクタルの概念は、画像全体の中で、その画像の一部分を取り出した場合に、その取り出された画像と良く似た別の画像が、その画像の中に異なるサイズの形で存在するという前提で、画像の自己相似性を利用したものである。そしてフラクタル拡大手法は、ブロック画像歪みが目立つことがなく、しかも画像内の異なるサイズのブロック画像間の自己相似性を利用していることから、復号時には解像度に依存しないという利点があり、比較的大きな拡大率に対しても高画質な出力の得られる拡大手法である。たとえば第２９６８５８２号特許は、拡大したサイズの初期画像に対して、初期画像が拡大されたことにより同じ比率で拡大されたレンジブロック画像に対して座標変換および画素値変換をした結果を求め、同じく拡大されたドメインブロック画像位置に置き換える処理を繰り返すことで、拡大画像を得る方法を提案していが、この方式では、フラクタルの特徴を生かして、ジャギー発生を抑えてボケの少ない拡大画像を得ることができる。
【００１０】
【発明が解決しようとする課題】
しかしながら、反復変換符号化を利用した拡大手法は、所定の処理を反復することで拡大画像を得るため、処理時間が補間拡大方式に比べて飛躍的に長くなってしまう。たとえばフラクタル拡大手法は、レンジブロック画像の探索による処理時間の増大が生じる。さらにドメインブロック画像への代入処理を１回施すだけでは十分に視認に耐え得る拡大画像を得ることができないので、これらの処理を反復して拡大画像を得るため、視認に耐え得る拡大画像を得るまでの処理時間が長くなる。また、文書画像やステップエッジ部分に対しては、ブロック歪やノイズ状のゴミやササクレ状の画素値の染み出しが発生するという新たな画質劣化の問題が生じる。また従来のフラクタル拡大手法は、ビジー部の再現性の悪さ（ボケやノイズ）がある。
【００１１】
フラクタル拡大手法のもつ画質に関わる問題を解決する試みとして、たとえばＵＳＰ−Ｎｏ．６１４１０１７号特許、特開平１１−３３１５９５号、特開平１１−８７５８号などが提案されている。
【００１２】
ＵＳＰ−Ｎｏ．６１４１０１７号特許は、ドメインブロック画像を重複させて作成し、レンジブロック画像を代入する際にはレンジブロック画像の内側の部分のみをドメインブロック画像の対応する内側部分に代入することで、ブロック画像境界に発生する不連続性を抑える手法や、画素値変換係数を求める際に必要となるブロック画像中の画素値の分散から、ブロック画像をエッジ部／平坦部に分け、平坦部に対しては他の手法を用いることで、平坦部が絵画調になるのを抑えながら、フラクタル拡大によるエッジ再現の良好な拡大処理をする手法を提案している。しかしながら、この方式では、ステップエッジ部でのノイズ状のゴミやササクレ状の画素値の染み出しによる劣化が依然として解決できていない。
【００１３】
また特開平１１−３３１５９５号は、画像に対してフラクタル拡大と線形補間法による拡大の両方を併用し、その差が小さければフラクタル拡大による結果を、差が大きければ線形補間法による結果を採用する、または差の大小に応じて結果をブレンドすることで、ブロック画像境界での不連続性を抑える手法を提案している。しかしこの方式は、線形補間とフラクタル拡大との差が大きくなるエッジ部分で線形補間法が選択される傾向があるため、フラクタルの特徴である明瞭なエッジ再現ができずにボケてしまうという欠点を持つ。
【００１４】
また特開平１１−８７５８号は、レンジブロック画像の使用頻度を記憶するヒストグラム手段を持ち、使用頻度の低いレンジブロック画像を探索に用いないようにして探索を高速化する手法を提案している。しかしこの方式における使用頻度に基づいたレンジブロック画像探索範囲の絞り込みは画質上の根拠がなく、画質劣化に繋がるという欠点がある。
【００１５】
このように、フラクタル拡大手法を改善する従来の方法は、拡大画像を得る際に生じ得るボケ、ジャギー、ブロック歪などの画質上の問題や処理時間の問題について個別に改善策を提示しているが、これらの問題は依然として総合的には解決されていない。
【００１６】
本発明は、上記事情に鑑みてなされたもので、処理時間とのバランスを採りつつボケ、ジャギー、ブロック歪などによる画質劣化が生じるのを防止しながら、画像を拡大することのできる画像処理装置およびプログラムを提供することを目的とする。
【００１７】
【課題を解決するための手段】
すなわち、本発明に係る画像処理装置は、多数の画素で表現された元画像を拡大処理して拡大画像を得る画像処理装置であって、元画像を第１のブロック単位で分割することにより複数のドメインブロック画像を抽出するドメインブロック抽出部と、第１のブロック単位よりも大きくかつ予め設定された拡大率で第１のブロック単位を拡大して得られる拡大ブロック単位よりも小さな第２のブロック単位でレンジブロック画像を抽出するレンジブロック抽出部とを備えた。また画像処理装置は、ドメインブロック抽出部により抽出された前記ドメインブロック画像の近傍においてレンジブロック抽出部により抽出される注目するレンジブロック画像に対して、予め設定された拡大率となるように拡大して拡大レンジブロック画像を作成する拡大レンジブロック作成部と、拡大レンジブロック作成部により作成された個々の拡大レンジブロック画像を用いて、設定された拡大率で元画像を拡大した拡大画像を得る拡大画像取得部とを備えた。
【００１８】
また従属項に記載された発明は、本発明に係る画像処理装置のさらなる有利な具体例を規定する。さらに、本発明に係るプログラムは、本発明に係る画像処理装置を、電子計算機（コンピュータ）を用いてソフトウェアで実現するために好適なものである。なお、プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介して配信されてもよい。
【００１９】
【作用】
上記構成の画像処理装置において、レンジブロック抽出部は、第１のブロック単位よりも大きくかつ予め設定された拡大率で第１のブロック単位を拡大して得られる拡大ブロック単位よりも小さな第２のブロック単位でレンジブロック画像を抽出する。つまりドメインブロックよりも大きく所望の拡大サイズよりも小さな適度の大きさのレンジブロックを設定する。
【００２０】
拡大レンジブロック作成部は、抽出されたレンジブロック画像を拡大ブロック単位に拡大し、ドメインブロック画像とレンジブロック画像との関係（たとえば類似関係など）に基づいて、拡大ブロック単位に拡大した画像の個々の画素値を変換することにより拡大レンジブロック画像を作成する。つまり、設定されたレンジブロックを所望のサイズに拡大し（このときには当然に所定の画素値変換が必要になる）、ドメインブロック画像（元画像）とレンジブロック画像との関係に基づいて新しい画素値を求める（画素値を再変換する）。なお、ドメインブロックとレンジブロックを設定し拡大画像を得るという点で、従来のフラクタルの概念の特徴を生かして、拡大画像を得ることができる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００２２】
図１は、本発明に係る画像処理装置を備えた画像処理システム（以下単にシステムという）１を示すブロック図である。システム１は、画像入力端末３、画像処理装置５、および画像出力端末７を備える。
【００２３】
画像入力端末３は、デジタルドキュメント（以下単にドキュメントという）ＤＯＣを作成したり編集などの処理する、たとえばパソコン（パーソナルコンピュータ）３１、カラースキャナ３２、デジタルカメラ３３、またはハードディスクなどの記憶媒体３４など、任意数の画像ソースを含み得る。たとえば、図示しない通信網を介して画像を取得する通信機能を備えた端末装置であってもよい。これらの各端末装置には、ドキュメントＤＯＣ作成用のアプリケーションプログラムなどが組み込まれる。ドキュメントＤＯＣを表す画像データは、画像処理装置５で処理可能な画像フォーマット（たとえば、ＪＰＥＧ、ＢＭＰ、ＰＮＧなど）で記述される。画像入力端末３は、キュメントＤＯＣを、システム１の一部を構成する画像処理装置５に入力する。
【００２４】
画像処理装置５は、ドキュメントＤＯＣを表すデジタル画像データを取得する画像データ取得部５２と、画像データを一時的に記憶する画像データ格納部５４と、画像データ取得部５２が取得した画像が圧縮画像であるときにはその画像を伸張する伸張処理部５５と、画像を設定された任意の解像度に拡大処理する画像拡大処理部５６と、拡大処理された画像を表す拡大画像データＤ１０を画像出力端末７に入力する画像データ出力部５９とを備える。
【００２５】
画像データ格納部５４は、画像データ取得部５２が取得した入力画像、画像拡大処理部５６により拡大処理された拡大画像データ、あるいは画像拡大処理部５６における拡大処理に用いられる各種の途中演算結果や処理パラメータなどを保持する。
【００２６】
画像出力端末７は、画像処理装置５の各種機能とともに動作可能であって、システム１をデジタル印刷システムとして稼働させるためのラスタ出力スキャン（ＲＯＳ）ベースのプリントエンジン７０や、画像表示システムとして稼働させるためのディスプレイ装置８０などを備える。
【００２７】
プリントエンジン７０は、画像処理装置５から出力された拡大画像データＤ１０に対してプリント出力用の所定の処理をするプリント出力処理部７２と、光ビームを発するレーザ光源７４と、プリント出力処理部７２から出力されたデータに従ってレーザ光源７４を制御すなわち変調するレーザ駆動部７６と、レーザ光源７４から発せられた光ビームを感光性部材７９に向けて反射させるポリゴンミラー（回転多面鏡）７８とを有する。プリント出力処理部７２は、拡大画像を表す拡大画像データＤ１０に対して、周知技術に従って、複数好ましくは最低３つの分解色を表すデータを生成しレンダリング（ラスタデータに展開）する。たとえば伸長色補正デジタルデータＤ１０が表すＹＣｒＣｂ表色系から最低３つ（好ましくは４つ）、たとえばＣＭＹ表色系あるいはＣＭＹＫ表色系へのマッピングをしプリント出力用に色分解されたラスタデータを生成する。またプリント出力処理部７２は、このようなラスタデータ化の処理に際して、カラー画像のＣＭＹ成分を減色するアンダーカラー除去（ＵＣＲ）、あるいは減色されたＣＭＹ成分を部分的にＫ成分と交換するグレー成分交換（ＧＣＲ）をする。さらにプリント出力処理部７２は、出力データ（ＣＭＹＫなど）に応答して作成される出力画像のトナー像を調整するために、色分解の直線化または同様の処理をすることもある。
【００２８】
この構成により、プリントエンジン７０は、レーザ光源７４が発生する光ビームをポリゴンミラー７８上の複数の面で反射させて感光性部材７９を露光し、スキャン走査によって感光性部材７９上に潜像を形成する。潜像が形成されると、当該技術分野で公知の多数の方法のうち任意の方法に従って像を現像し、画像処理装置５にて拡大処理されたカラー画像を可視像として出力する。勿論、拡大処理されていないカラー画像を可視像として出力することもできる。なお、カラー画像を可視像として出力する際には、画像を表すデータは最低３つ（好ましくは４つ）の色分解データ（たとえばＣ，Ｍ，Ｙｅｌ，Ｋなど）を含み、各色は別個の画像面として、または輝度−クロミナンス形式で処理される。
【００２９】
ディスプレイ装置８０は、画像処理装置５から出力された拡大画像データＤ１０に従って所定の出力処理をする表示出力処理部８２と、表示出力処理部８２から出力されたデータに基づいて可視像を表示出力するＣＲＴや液晶（ＬＣＤ）あるいは有機ＥＬなどのディスプレイ部８４とを備える。表示出力処理部８２は、たとえばディスプレイ部８４とともに使用されるパソコン本体８６の内部にソフトウェアあるいはハードウェアで組み込むとよい。表示出力処理部８２は、画像処理装置５から入力された拡大画像データＤ１０に対して、周知技術に従って、複数、好ましくは最低３つの分解色を表すデータを生成しレンダリング（ラスタデータに展開）する。たとえば拡大画像データＤ１０が表すＹＣｒＣｂ表色系から、たとえばＲＧＢ表色系へのマッピングをし表示出力用に色分解されたラスタデータを生成する。また表示出力処理部８２は、このようなラスタデータ化の処理に際して、オペレータの好みに応じた色補正処理をしてもよい。この構成により、ディスプレイ装置８０は、画像処理装置５にて拡大処理されたカラー画像を可視像として出力する。勿論、拡大処理されていないカラー画像を可視像として出力することもできる。
【００３０】
なお、プリント出力処理部７２や表示出力処理部８２としては、たとえばパソコン（パーソナルコンピュータ；ＰＣ）などを利用することもできる。また、ディスプレイ装置８０は、画像入力端末３側のパソコンと兼用してもよい。
【００３１】
図２は、画像処理装置５の画像拡大処理部５６の第１実施形態の詳細を示すブロック図である。画像拡大処理部５６は、元画像から第１のブロック単位であるサイズＤ（主走査方向×副走査方向＝ＭＤ×ＮＤ画素；ＭＤ＝ＮＤも可）のドメインブロック画像を抽出するドメインブロック抽出部５６２と、元画像の前記ドメインブロック画像の近傍において、第２のブロック単位であるサイズＲ（主走査方向×副走査方向＝ＭＲ×ＮＲ画素；ＭＲ＝ＮＲも可）のレンジブロック画像を複数抽出するレンジブロック抽出部５６４と、レンジブロック抽出部５６４が抽出した複数のレンジブロック画像をそれぞれ前記ドメインブロック画像と同一サイズに縮小して複数の縮小レンジブロック画像を生成する縮小レンジブロック作成部５６６とを備える。第２のブロック単位であるサイズＲは、第１のブロック単位であるサイズＤよりも大きくかつ予め設定された拡大率でサイズＤ（第１のブロック単位）を拡大して得られる拡大ブロック単位よりも小さいものとする。
【００３２】
また画像拡大処理部５６は、縮小レンジブロック作成部５６６により生成された複数の縮小レンジブロック画像のそれぞれを用いて、個々のレンジブロック画像とドメインブロック抽出部５６２が抽出したドメインブロック画像との類似度を判定する類似度判定部５６８と、複数のレンジブロック画像のうち類似度判定部５６８によりドメインブロック画像と類似度がより高い（本例では「最も類似度が高い」とする）と判定されたレンジブロック画像を拡大処理して、ドメインブロック画像に対して指定された拡大率ｒの拡大ドメインブロック画像（サイズｒ＊Ｄ）と同一サイズの拡大レンジブロック画像を生成する拡大レンジブロック作成部５７０とを備える。また画像拡大処理部５６は、拡大レンジブロック作成部５７０により生成された個々の拡大レンジブロック画像を用いて、設定された拡大率で元画像を拡大した拡大画像を得る拡大画像取得部５７６を備える。
【００３３】
さらに画像拡大処理部５６は、レンジブロック画像の複雑度を判定する複雑度判定部５６９を備える。複雑度判定部５６９は、たとえばレンジブロック画像内に山や谷が多く含まれるか否か、換言すればレンジブロック画像が高周波成分を多く含んでいるか否かを判定する。この複雑度判定部５６９は、後述するブロック画像解析部５６３と同様の機能を有するものであってもよい。類似度判定部５６８は、複雑度判定部５６９により判定されたレンジブロック画像の複雑度を参照して類似度を判定する。また拡大レンジブロック作成部５７０は、複雑度判定部５６９により判定されたレンジブロック画像の複雑度を参照して拡大レンジブロック画像の画素値を決定する。
【００３４】
拡大画像取得部５７６は、拡大変換部５７０により拡大処理された個々の拡大レンジブロック画像を取得し、この取得した拡大レンジブロック画像を合成して元画像に対して設定された拡大率で拡大した拡大画像を生成するブロック画像合成部５７８と、オーバーラップ処理に伴う重複して処理されたオーバーラップ部分（重複部）の画素の画素値値を、当該オーバーラップ部分の各々の画素の画素値に基づいて求めるオーバーラップ処理部５８６を有する。ブロック画像合成部５７８は、たとえ取得した個々の拡大レンジブロック画像を画像データ格納部５４の所定エリアに格納にさせることで拡大画像を生成する。オーバーラップ処理部５８６は、たとえば、オーバーラップ部分の画素値の平均値やメジアン値を求め、求めた値をその画素の値とする。
【００３５】
ドメインブロック抽出部５６２は、元画像をＭＤ×ＮＤサイズのドメインブロック画像に分割し、その中から任意の１つを選び注目ブロック画像とする。レンジブロック抽出部５６４は、元画像の中から、注目ブロック画像ごとに、ドメインブロック抽出部５６２により抽出されたドメインブロック画像を含んだ周囲Ｇ×Ｇサイズのブロック画像の中から全てのＭＲ×ＮＲサイズのレンジブロック画像を選択する。縮小レンジブロック作成部５６６は、たとえば線型補間法や投影法などの公知の手法を用いて、レンジブロック抽出部５６４が生成した全てのＭＲ×ＮＲサイズのレンジブロック画像を、それぞれレンジブロック画像と同一サイズのＭＤ×ＮＤサイズの縮小レンジブロック画像に縮小する。類似度判定部５６８は、縮小レンジブロック作成部５６６が生成した縮小レンジブロック画像の中から、ドメインブロック抽出部５６２が抽出したドメインブロック画像と最も類似した縮小レンジブロック画像、たとえば全体として最も類似した画素値およびパターンを持つ縮小レンジブロック画像を選び出し、これを最類似レンジブロック画像（最適なレンジブロック画像）とする。
【００３６】
拡大レンジブロック作成部５７０は、たとえば線型補間法や投影法などの公知の手法を用いて、ドメインブロック抽出部５６２により抽出されたドメインブロック画像であって、類似度判定部５６８により選択された最類似レンジブロック画像をサイズｒＤ（拡大ブロック単位）に拡大し、さらにドメインブロック画像とレンジブロック画像との関係（本例では類似関係）に基づいて画素値を再変換することにより、拡大レンジブロック画像を作成し、これをドメインブロック画像に対する拡大ブロック画像として割り当てる。つまり、画像拡大処理部５６は、拡大率ｒに対してｒＤ＞Ｒ＞Ｄの関係を持ちながら、それぞれのドメインブロック画像とその近傍に存在するレンジブロック画像との関係を利用してレンジブロック画像を拡大させた拡大レンジブロック画像を求め、この拡大レンジブロック画像を拡大ドメインブロック画像に置き換えることにより、ブロック画像の拡大処理をする。
【００３７】
最初に本実施形態の第１例として、ドメインブロック抽出部５６２は、１回の処理ごとにＭＤ×ＮＤ＝２×２（ドメインサイズＤ＝２）のドメインブロック画像を抽出するとともにオーバーラップ処理の都度ドメインブロック画像を主走査あるいは副走査方向にそれぞれ１画素分シフトさせ、またレンジブロック抽出部５６４は、抽出されたドメインブロック画像に対し拡大率ｒ＝２の拡大ドメインブロック画像（ＭＤ２×ＮＤ２＝４×４）よりも小さなＭＲ×ＮＲ＝３×３（レンジサイズＲ＝３）のレンジブロック画像を生成する例、すなわち２×２サイズ（ドメインサイズＤ＝２）のドメインブロック画像を４×４サイズのブロック画像に拡大し、２倍拡大画像の対応位置に割り当てる処理を全オーバーラップ分の４回実施する例で説明する。なお、後述する第１〜第５実施形態は、特にグレー画像に関しての拡大手法として好適であるが、同様の処理をカラー画像に対して施してもよい。この場合、カラー画像を表すそれぞれの色データ（たとえばＲ，Ｇ，Ｂ）について、たとえば２５６階調のグレー画像に相当する色画像を作成し、それぞれを拡大して最後に合版するという手法を採るとよい。
【００３８】
図３は、縮小レンジブロック作成部５６６における処理の一例（投影法を用いた場合）を説明する図である。縮小レンジブロック作成部５６６は、レンジブロック抽出部５６４が生成した全ての３×３サイズのレンジブロック画像を、縮小レンジブロック作成部５６６によりそれぞれドメインブロック画像と同一サイズの２×２サイズの縮小レンジブロック画像に投影法縮小する。たとえば図示するように、３×３サイズを２×２に投影した際の面積比率に基づいて画素値を加重加算することで、投影法縮小をする。３×３サイズの画素値が、Ｐ１１，Ｐ２１，Ｐ３１，Ｐ１２，Ｐ２２，Ｐ３２，Ｐ１３，Ｐ２３，Ｐ３３、縮小後の２×２サイズの画素値をＱ１１，Ｑ２１，Ｑ１２，Ｑ２２とした場合、Ｑ１１，Ｑ２１，Ｑ１２，Ｑ２２は、式（１）で与えられる。なお、３×３から２×２への縮小の場合は、投影法でも線形補間法でも結果は同じ値となる。
【数１】
図４は、拡大レンジブロック作成部５７０における処理の一例（投影法を用いた場合）を説明する図である。拡大レンジブロック作成部５７０は、類似度判定部５６８により選択された３×３サイズの最類似レンジブロック画像をサイズｒＤ＝４×４サイズに投影したときの面積比率を用いて、たとえば図示するように、３×３サイズを４×４に投影した際の面積比率に基づいて画素値を加重加算することで、投影法拡大の計算をする。３×３サイズの画素値が、Ｐ１１，Ｐ２１，Ｐ３１，Ｐ１２，Ｐ２２，Ｐ３２，Ｐ１３，Ｐ２３，Ｐ３３、拡大後の４×４サイズの画素値をＱ１１，Ｑ２１，Ｑ３１，Ｑ４１，Ｑ１２，Ｑ２２，Ｑ３２，Ｑ４２，Ｑ１３，Ｑ２３，Ｑ３３，Ｑ４３，Ｑ１４，Ｑ２４，Ｑ３４，Ｑ４４とした場合、拡大後画素値はは、式（２）で与えられる。
【数２】
図５は、オーバーラップ処理をする場合における拡大後の画素値の重複量の一例を示す図である。ここでは、ドメインブロック画像を主走査あるいは副走査方向にそれぞれ１画素分シフトさせるオーバーラップ処理をする場合を示す。本例のオーバーラップ処理によれば、ドメインブロック画像を抽出して後述する手順を全てのドメインブロック画像に対して施すと、元画像におけるドメインブロック画像の重複量は図５に与えるような値となる。オーバーラップ処理部５８６は、この値を拡大画像における対応位置に射影し、この値で画像データ格納部５４の拡大画像用メモリ領域に入っている値を除算した結果得られる画像を最終的な拡大画像として画像データ出力部５９に出力する。
【００４１】
図６は、上記第１実施形態の画像処理装置５における処理手順、特に画像拡大処理部５６における画像拡大処理に着目した処理手順を説明する図であって、ドメインブロック画像、レンジブロック画像、縮小レンジブロック画像、および拡大レンジブロック画像の一例を示す図（Ａ）、および処理手順の第１例を示したフローチャート（Ｂ）である。
【００４２】
まず、拡大処理開始の前提として、すでに画像データ取得部５２が取得した拡大処理される対象画像データが画像データ格納部５４に格納されているものとする。その上で画像拡大処理部５６は先ず、拡大処理の準備として、画像データ格納部５４にｒ倍（本例では２倍）拡大画像用のメモリ領域を確保し、その領域を“０”で初期化する（Ｓ１００）。
【００４３】
また画像拡大処理部５６は、初期パラメータを設定する。初期パラメータとしては、たとえば拡大率、画像読出しのブロック画像サイズ、オーバーラップ処理をするための演算処理回数と処理ごとの画像読出し開始オフセットなどがある。本実施形態では、拡大率＝２倍、ドメインブロック画像サイズ＝２×２画素、レンジブロック画像サイズ＝３×３画素、画像読出し開始の水平方向オフセット＝１画素、画像読出し開始の垂直方向オフセット＝１画素、オーバーラップ演算処理回数＝主／副各２回、を設定する。
【００４４】
次にドメインブロック抽出部５６２は、元画像の中から全ての２×２サイズのドメインブロック画像を抽出し（Ｓ１２０）、その中から任意のブロック画像１つを選び注目ブロック画像とする（Ｓ１４０）。
【００４５】
次にレンジブロック抽出部５６４は、注目ブロック画像について、注目ブロック画像（すなわちドメインブロック画像の１つ）近辺から３×３サイズのレンジブロック画像を抽出する（Ｓ１６０）。この際、レンジブロック抽出部５６４は、レンジブロック画像に含まれる複数の画素のうちの少なくとも１つの画素がドメインブロック画像に含まれるように、つまりドメインブロック画像とレンジブロック画像とがオーバーラップするように、レンジブロック画像を抽出する。具体的には図６（Ａ）に示すように、ドメインブロック画像（注目ブロック画像）を囲むたとえば周囲６×６サイズのブロック画像の中から、注目ブロック画像内の少なくとも１つの画素を含んだ全ての３×３サイズのレンジブロック画像（本例では総数１６個）を選択する。
【００４６】
次に縮小レンジブロック作成部５６６は、投影法や線形補間法を用いて、レンジブロック抽出部５６４が選択した全ての３×３サイズのレンジブロック画像を、それぞれ２×２サイズの縮小レンジブロック画像を生成する（Ｓ１８０）。
【００４７】
次に類似度判定部５６８は、個々の縮小レンジブロック画像ごとに、ドメインブロック画像と比較して類似度を判定する。たとえば縮小レンジブロック作成部５６６が生成した縮小レンジブロック画像に対して画素値変換をしてドメインブロック画像と最も類似した画素値およびパターンを持つ縮小レンジブロック画像を選び出し、これと対応するレンジブロック画像、つまり選ばれた縮小レンジブロック画像の元となったレンジブロック画像を最類似レンジブロック画像とする（Ｓ２００）。たとえば、ドメインブロック画像の画素値ｄ１１，ｄ２１，ｄ１２，ｄ２２について、画素平均値Ｄｖ＝（ｄ１１＋ｄ２１＋ｄ１２＋ｄ２２）／４、並びに画素標準偏差ＶＤｖ＝Σ（ｄｉｊ−Ｄｖ）＾２（“＾”はべき乗、ｉ，ｊは画素位置を示す）を求める。次に全ての縮小レンジブロック画像の画素値ｒ１１ｋ，ｒ２１ｋ，ｒ１２ｋ，ｒ２２ｋ（ｋは縮小レンジブロック画像を示す；ｋ＝１，…，１６）について、それぞれ画素平均値Ｒｖｋ＝（ｒ１１ｋ＋ｒ２１ｋ＋ｒ１２ｋ＋ｒ２２ｋ）／４、並びに画素標準偏差ＶＲｖｋ＝Σ（ｒｉｊｋ−Ｒｖｋ）＾２を求める。
【００４８】
次に、縮小レンジブロック画像の画素値をそれぞれ１次変換ａｚ＋ｂで対応するドメインブロック画像の画素値に最小２乗近似した際の変換係数ａｋ，ｂｋ並びに変換誤差Ｅｋ＝Σ（ｄｉｊ−ａｋ＊ｒｉｊｋ−ｂｋ）＾２を求める。最小２乗法において、ａｋ，ｂｋ，Ｅｋは、以下の計算式（３）で直接求めることができる。
【数３】
ここで、ａｋの値は、３×３サイズのレンジブロック画像内の画像の複雑度合いに拘わらず、一律に、一定の範囲を採用してもよい。あるいは、複雑度判定部５６９により判定されたレンジブロック画像の複雑度を参照して類似度を判定してもよい。たとえばレンジブロック画像内の画像の複雑度に応じて、許容するａｋの値に制限を設けてもよい。これは、レンジブロック画像内の画像が複雑で高周波成分を多く含んでいるときには、レンジブロック画像として採用すると拡大画像に偽成分を発生するため、画像が複雑であるほど、その参照度合いを少なくした方が好ましいからである。したがって、制限を設ける場合には、たとえば以下のような制限を設けるとよい。すなわち先ず３×３画素を（ｑ１１，ｑ１２，ｑ１３，ｑ２１，ｑ２２，ｑ２３，ｑ３１，ｑ３２，ｑ３３）で表したときに、各ｍ＝１，２，３、およびｑｍ１，ｑｍ２，ｑｍ３に対して、式（４−１）となったら、その都度カウンタＣに“１”を加える。同じように、ｑ１ｍ，ｑ２ｍ，ｑ３ｍに対して、式（４−２）となったときにも、その都度カウンタＣに１を加える。この手法は、３×３内にある山や谷が多いか少ないかを調べる手法の１つであるが、その他の類似手法を用いることもできる。
【数４】
ここで、得られたＣ値を用いて、先に計算したａｋが許容範囲にあるかどうかを判定する。本例では、その一例として、以下の条件式（５）を用いる。
【数５】
ここで類似度判定部５６８は、レンジブロック画像が高周波成分をより多く含んでいる程、類似度判定におけるそのレンジブロック画像の寄与度度合いを小さくする。たとえば、Ｃとａｋが条件式（５）を満たさなかった場合には、そのレンジブロック画像は最小２乗誤差を比較する対象から除外する。またここでＣ＝４，５，６の場合には、実質上、どのようなａの値も許容されないため、このようなブロック画像はａｋを計算することなく初めから除外してもよい。
【００５２】
次に類似度判定部５６８は、各ａｋ（ｋ＝１，…，１６）に対して、対応するレンジブロック画像のＣ値を計算し、ａｋが許容される範囲に含まれるかどうかをチェックし、含まれるもののみを集めて集合Ｇとする。そして、Ｅ＝ｍｉｎ｛Ｅｋ｜ｋ∈Ｇ｝とおき、Ｅ＝Ｅｋなるｋに対して、ａ＝ａｋ，ｂ＝ｂｋとおく。このｋが指し示すレンジブロック画像が最もドメインブロック画像と類似したものとなる。
【００５３】
なお、実際にはｂｋはＥｋの決定に必要ないので、Ｅｋが最小となるｋが求まり、最終的にａｋが決まった後にｂｋを計算すればよい。また、ｂｋ値としては式（３）に示した定数値を用いる代わりに、縮小レンジブロック画像内の各画素ごとにドメインブロック画像との誤差分を補正（本例では重畳）する効果を持つ以下の式（６）で与えられる値を用いることもできる。ここで、ドメインブロック画像の対応画素の画素値ｄｉｊ、縮小レンジブロック画像の対応画素の画素値ｒｉｊｋである。この式（６）によってｂｋを計算しておくと、細かい画素ごとの誤差を押さえることができ、拡大画像における元画像の再現性をさらに向上させることができる。なおｂｉｊｋと書いたのは、ドメインブロック画像内の各画素ごとに値が異なるためである。
【数６】
ドメインブロック画像と縮小レンジブロック画像を単純比較する場合、必ずしも元のレンジブロック画像の情報は加味されない。そのため、採用されたレンジブロック画像内に拡大に不適切な高周波の凹凸があった場合に、画素値変換によってそのノイズが助長され、ノイズが増えてしまうことがある。一方、上述のようにして、レンジブロック画像の複雑度に応じて、許容するａｋの値に制限を設けると、その発生を防ぐことができるようになる。
【００５５】
次に、拡大レンジブロック作成部５７０は、類似度判定部５６８において選択された３×３サイズの最類似レンジブロック画像を、たとえば線型補間法や投影法など公知の手法を用いて拡大ドメインサイズつまり４×４サイズに拡大する（Ｓ２２０）。次に、ドメインブロック画像とレンジブロック画像との関係に基づいて、４×４サイズに拡大した画像の画素値を再変換して、拡大レンジブロック画像を作成し、その結果を２×２サイズのドメインブロック画像をｒ倍（本例では２倍）に拡大した４×４サイズのブロック画像（拡大ドメインブロック画像）とする。たとえば、４×４サイズの拡大画像の全画素ｚに対して、類似度判定部５６８において求められた変換係数ａ，ｂによって画素値変換ａｚ＋ｂを施し、その結果を拡大ドメインブロック画像（＝拡大レンジブロック画像）とする。このとき拡大レンジブロック作成部５７０は、複雑度判定部５６９により判定されたレンジブロック画像の複雑度を参照して、拡大レンジブロック画像の画素値を決定するとよい。たとえば、画素値変換に用いられる係数ａの値の範囲に制限を設けるなど、レンジブロック画像が高周波成分をより多く含んでいる程、画素値変換におけるそのレンジブロック画像の寄与度度合いを小さくすればよい。
【００５６】
この後拡大レンジブロック作成部５７０は、この４×４サイズの拡大ドメインブロック画像の全画素値を、画像データ格納部５４中の拡大画像用メモリ領域のドメインブロック画像対応位置に加える。なお、類似度判定部５６８における類似度判定処理において、ｂｋ値に誤差分を重畳した場合には、この拡大過程において、ドメインブロック画像の各ドット位置に割り振られたｂｋを射影し、ドットごとに切り替えるようにする。
【００５７】
次に画像拡大処理部５６は、全てのドメインブロック画像に対して上記処理がなされたか否かを判定する（Ｓ２４０）。そして、まだ終了していないドメインブロック画像があるときには、ステップＳ１４０に戻って、注目ブロック画像を他のドメインブロック画像に設定し、ステップＳ１６０〜Ｓ２２０の処理を繰り返す（Ｓ２４０−ＮＯ）。一方、全てのドメインブロック画像に対して上記処理が完了していれば（Ｓ２４０−ＹＥＳ）、元画像に対応した拡大画像が拡大画像データ格納部５８に格納される。
【００５８】
画像拡大処理部５６は、上記の処理が全てのブロック画像に対して一通り終了したなら（Ｓ２４０−ＹＥＳ）、オーバーラップ処理の演算回数をチェックする（Ｓ３００）。そして、設定された演算回数に満たなければ、画像の先頭アドレスに画像読出し開始オフセットを加算した位置より、再びステップＳ１２０からの処理を開始する（Ｓ３００−ＮＯ）。すなわち、ドメインブロック抽出部５６２は、ステップＳ１２０に戻る都度、画像読出し開始オフセットを順次加算し、画像データ格納部５４に格納されている画像の先頭アドレスにオフセットを加算した位置から、設定されたドメインブロック画像サイズでドメインブロック画像を読み出し、そのうちの何れかを注目ブロック画像に設定する。以下、その他の各部は上記と同様の処理を繰り返す。
【００５９】
一方、オーバーラップ処理の演算回数が２以上に設定されていて、前述の一連の処理の回数数が設定されたオーバーラップ演算回数に達していたなら（Ｓ３００−ＹＥＳ）、オーバーラップ処理部５８６は、図５に示した各画素の重付けを参照して、オーバーラップ処理に伴う重複して処理された画像（重複部）の平均値を求め、求めた値をその画素の値とする平均化処理をする（Ｓ３２０）。
【００６０】
なお、オーバーラップ処理の演算回数として“１”すなわちオーバーラップ処理をしないように設定されているときには、前記平均化処理は不要であり、拡大画像データ格納部５８から読み出した１枚分の拡大画像をそのまま出力する。つまり、画像拡大処理部５６は、オーバーラップ処理をするように設定されているときに限って、元画像に対してブロック画像の読出し開始位置を任意の値でずらして複数回の拡大処理をし、重複する画素に対しては平均値を画素データとすることで最終的な拡大画像を得る。これにより、ブロック画像歪を削減することができる。
【００６１】
上記例ではオーバーラップ処理の都度ステップＳ１２０からの処理を繰り返していたが、たとえば、再びステップＳ１００からの処理を繰り返してもよい。この場合、オーバーラップ処理それぞれに対応して画像データ格納部５４に拡大画像用メモリ領域を確保する。そして、各拡大画像が得られたら、平均化処理の際には、拡大画像データ格納部５８からそれぞれの拡大画像を読み出し、図５に示した各画素の重付けを参照して、オーバーラップ処理に伴う重複して処理された画像（重複部）の平均値を求め、求めた値をその画素の値とするとよい。
【００６２】
図７は、上記第１実施形態の処理の一実施例を示す図であって、オーバーラップ処理の前段階であるステップＳ２４０の終了までを示す。ドメインブロック画像サイズ２×２画素（ドメインサイズＤ＝２）、レンジブロック画像サイズ３×３画素（レンジサイズＲ＝３）での２倍拡大で、ｒ＊Ｄ＝２＊２＝４、Ｒ＝３、Ｄ＝２であり、ｒ＊Ｄ＞Ｒ＞Ｄという関係を満たしている。
【００６３】
上記第１実施形態の画像処理装置５によれば、得られた拡大画像は、フラクタル手法によるエッジの急峻さと、拡大画像の画素値を求める際の補間演算（上記例では線形補間法）などにおける滑らかさを併せ持ち、高画質な拡大画像を生成することができる。つまり従来の補間拡大の手法では、たとえば２×２画素サイズの注目ブロック画像を４×４画素サイズに一気に拡大するが、第１実施形態では２×２画素サイズの注目ブロック画像近傍の３×３画素サイズのレンジブロック画像を４×４画素サイズに拡大して注目ブロック画像の拡大画像として利用するので、実際の拡大処理における倍率が小さくなり、従来の補間拡大手法に比べてボケが少なくなる。また、ドメインブロックとレンジブロックを利用するという点では従来のフラクタル拡大手法に似た処理となっており、このためフラクタルの概念の特徴を生かしてジャギーやブロック歪の発生を抑えてボケの少ない拡大画像を得ることができる。加えて、３×３画素サイズのレンジブロック画像を４×４画素サイズに拡大することで若干のボケ効果を利用することができ、従来のフラクタル拡大手法において生じていた、ステップエッジ部でのノイズ状のゴミやササクレ状の画素値の染み出しが発生するのを防止することができる。
【００６４】
また、２×２サイズに対して３×３で類似度判定をするなど、Ｄ＜Ｒ＜ｒＤという関係を維持した処理をしているので、ビジー部の再現性が、従来のフラクタル拡大処理よりも向上する。これは、たとえばＤ＝２に対し、Ｒ＝４よりもＲ＝３の方がよりＤに近いパターンを探せるということに基づく。このことはビジー部に限るものではないが、特にビジー部のようなテクスチュアが込み入った部分では効果が大きい。
【００６５】
また第１実施形態では、注目ブロック画像近傍の３×３画素サイズのレンジブロック画像を４×４画素サイズに拡大し、ドメインブロックとレンジブロックとの関係に基づいて画素値変換して最終的な拡大レンジブロック画像の画素値を求めているので、拡大画像の画素値算出処理を１回するだけで十分に視認に耐え得る拡大画像を得ることができる。加えて、ドメインブロックの近傍をレンジブロックの探索範囲としている、つまりレンジブロックの探索範囲が狭いので、処理速度が一層短くなる。つまり、フラクタル符号化方式を利用した拡大手法は、反復処理をして拡大画像を得るため非常に長い処理時間を要するのに対して、第１実施形態の画像拡大処理部５６によれば、拡大画像を得るまでの処理時間をフラクタル符号化方式よりも飛躍的に短縮することができる。
【００６６】
またレンジブロック画像探索範囲の絞り込みをドメインブロック近傍に限ることでレンジブロックの探索処理時間の削減を図っている点で特開平１１−８７５８号の手法と大きく異なる。つまり、上記第１実施形態におけるレンジブロックの設定範囲は、ドメインブロック画像と類似のレンジブロック画像は、ドメインブロックのごく近辺に同じ向きに存在するという画像連続性の仮定に基づいており、レンジブロック画像探索範囲の絞り込みに画質上の根拠があるので、画質劣化を招く虞れは格段に低下する。
【００６７】
以上説明したように第１実施形態の画像処理装置５によれば、視認に耐え得る拡大画像を得るまでの処理時間をさほど長くすることなく、ジャギー発生を抑えてボケの少ない拡大画像を得ると同時に、レンジブロック画像に対する拡大処理を用いることによって、文書画像のような２値的な画像に対するノイズ状のゴミやササクレ状の画素値の染み出しが発生するのを防止することができる。つまり、処理時間とのバランスを採り、かつボケやノイズ状のゴミ、あるいはササクレ状の画素値の染み出しが発生するのを防止するなど視覚的な画質劣化が生じるのを防止しつつ、画像を拡大することができる。
【００６８】
図８は、画像処理装置５の画像拡大処理部５６の第２実施形態の詳細を示すブロック図である。この第２実施形態は、指定された拡大率を分割して（分割された各拡大率は“１”以上）拡大率の組合せを生成し、分割した各々の拡大率を順次適用する拡大繰返し処理をする。またこの拡大繰返し処理の際、ドメインブロック画像およびレンジブロック画像のうちの少なくとも一方のサイズを各拡大率に応じて変更し、それぞれの拡大率の元に上述の拡大処理をする。このため第２実施形態の画像拡大処理部５６は、指定された拡大率をより小さな拡大率の組み合せに分割する拡大率分割部５６１を備える。画像拡大処理部５６は、指定された拡大率がより小さな拡大率の組合せに分割された際には、分割された拡大率ごとに、後述する所定の画像処理方法を順次適用する拡大繰返し処理を実行する。
【００６９】
図９は、拡大率分割部５６１による、拡大率の分割における拡大率の組合せの一例を示す図である。図示した例では、指定された拡大率のうち、２つの値の積で表すことのできるもの（たとえば指定された拡大率が６，８，９など）については、２つの拡大率に分割している。拡大率分割部５６１は、この拡大率の組合せをテーブルデータとして予め用意して利用してもよいし、その都度計算により求めてもよい。また、図示した例では、指定された拡大率を２つの拡大率に分割していたが、３以上に分割してもよい。たとえば、指定された拡大率が“１２”のときには、“３”，“４”の２つに分割するのではなく、“２”，“２”，“３”の３つに分割してもよい。また本実施形態では基本的には２倍拡大のときに最も効果を発揮できるので、２＾ｎ倍（＾はべき乗を示す）拡大のときには、２倍をｎ回繰り返す処理とするのが最良である。なお図９における“最も画質のよい倍率の組合せ”についての詳細は、第５実施形態で説明する。このように、ユーザなどから指定された拡大率Ｋが大きい場合には、指定された拡大率Ｋをより小さな拡大率の組み合せに分割し、この分割した各々の拡大率を順次適用する拡大繰返し処理をすれば、倍率が大きい場合に生じ得るモザイク状（ブロック画像状）の画質劣化を軽減することができる。
【００７０】
図１０は、第２実施形態の画像処理装置５における処理手順を示したフローチャートである。画像拡大処理部５６は先ず、指定された拡大率ｒ倍を分割して、拡大率の組合せを生成し（Ｓ１０２）、最初の拡大率を設定して上記第１例と同様の処理をする（Ｓ１０４）。たとえば、指定された拡大率のうち、２つの値の積で表すことのできるもの（たとえば指定された拡大率が６，８，９など）については、２つの拡大率に分割する。
【００７１】
以下上記第１実施形態の手法により２倍拡大画像を作成した後に、再び２倍拡大して、元画像の４倍拡大画像を得る例、つまり、４倍拡大画像を得るために、２倍拡大を２回実行する例で説明する。またドメインサイズおよびレンジサイズの両方を各拡大率に応じて変更する例で説明する。
【００７２】
画像拡大処理部５６は、オーバーラップ処理に伴う平均化処理をした後（Ｓ３２０）、拡大率の全ての組合せ要素による拡大処理が終了したかどうかをチェックし（Ｓ３６０）、終了していなければ次の拡大率を設定する（Ｓ３６０−ＹＥＳ，Ｓ３８０）。画像拡大処理部５６は、１回目の拡大処理により得られた画像および設定された次の拡大率を用い、第１実施形態と略同様の拡大処理をする。このとき、ドメインブロック画像およびレンジブロック画像の両方についてそのサイズをより大きくする。たとえば、ドメインブロック画像のサイズを３×３画素（ドメインサイズＤ２＝３；サフィックスの２は２回目を示す）、レンジブロック画像のサイズを４×４画素（レンジサイズＲ２＝４）としてステップＳ１２０に戻る（Ｓ３９０）。なお、それぞれの処理においては、この各ブロック画像サイズの変更に伴って、対応する線形変換のテーブルを用意する。また、レンジブロック画像の複雑度に応じた画素値変換パラメータの制限は２回目の処理では実行しないこととし、一律に、“−１．８≦ａ≦２．２”の範囲を採用する。もちろん、第１実施形態（つまり１回目の処理）と同様に、パラメータの制限を加えてもよい。
【００７３】
このように２回目の処理においてドメインブロック画像のサイズを３×３画素にする理由は、初めの２倍拡大で得られた画像には、２×２画素以下の高周波成分が殆ど乗っておらず、また乗っていたとしても、それは２倍拡大の際に発生したノイズであると仮定しているためである。また３×３のドメインブロック画像を用いると、３×３サイズ以下の高周波ブロック画像は、拡大後にぼける傾向があり、これがノイズを軽減する効果を発揮する。
【００７４】
一方、全ての組合せ要素による拡大処理が終了したなら、画像拡大処理部５６による拡大処理は終了である（Ｓ３６０−ＮＯ）。拡大画像データ格納部５８に格納された拡大画像は、画像データ出力部５９を介して、プリントエンジン７０やディスプレイ装置８０などにファイル出力される。
【００７５】
上記第２実施形態の画像拡大手法によれば、拡大率が大きい場合にも平坦部を中心に画像が絵画調に不自然になる、細かいエッジが集中しているビジーな領域に対して明瞭なエッジとボケたエッジとが混在して不自然になるなどの画質劣化を発生させることなく、画像の高画質拡大処理を行なうことができる。たとえば２回目の２倍拡大を実行し、元画像の４倍拡大画像を作成すると、第１実施形態の処理よりも一層高画質な拡大画像を作成することができる。従来のフラクタル圧縮法に基づいた拡大法の場合、拡大率を大きくした場合には反復回数を増加させて解像度を上げなければならないが、第２例の手法の場合は、分割数分だけ第１例と略同様の拡大処理を繰り返すだけでよく、フラクタル圧縮法のように反復処理を増大させる必要は全くない。つまり拡大率を大きくしたい場合は、第２例のように、指定された拡大率をより小さな拡大率の組み合せに分割して順次拡大することにより、視認に耐え得る拡大画像を得ることができる。
【００７６】
また、この第２例の２回目の２倍拡大においては、ドメインブロック画像サイズ３×３（ドメインサイズＤ２＝３）、レンジブロック画像サイズ４×４（レンジサイズＲ２＝４）の２倍拡大であるから、ｒ＊Ｄ２＝２＊３＝６、Ｒ２＝４、Ｄ２＝３であり、ｒ＊Ｄ２＞Ｒ２＞Ｄ２という関係を満たしている。したがって、この２回目の２倍拡大においても、１回目の２倍拡大と同様に、フラクタル拡大のエッジの尖鋭性と拡大画像の画素値を求める際の補間演算による滑らかさを併せ持ち、高画質な拡大画像を生成することができている。
【００７７】
なお、上記第２実施形態では、２回目の拡大処理におけるレンジサイズを“４（４×４画素）”としていたが、これに限らず、より大きなサイズにしてもよい。たとえば、ドメインブロック画像サイズに３×３を用いた場合には、レンジブロック画像サイズ５×５という組み合せを用いてもよい。
【００７８】
図１１は、画像処理装置５の画像拡大処理部５６の第３実施形態の詳細を示すブロック図である。この第３実施形態は、処理対象となる画像の局所的な特徴に応じて拡大処理の方式を変更することにより、画質をより向上させる手法である。第１例や第２例の方法で拡大した画像は、ドメインサイズＤやレンジサイズＲの選択によっては平坦な部分がより平坦化して絵画調になったり、細かいエッジが集中しているビジーな部分については明瞭なエッジとボケたエッジが混在して不自然になる場合がある。そこで、画像の特徴に応じて拡大手法を切り替える、または結果をブレンドさせることで、より自然な画像を得るようにする。
【００７９】
このため第３実施形態の画像拡大処理部５６は、ドメインブロック抽出部５６２、レンジブロック抽出部５６４、拡大レンジブロック作成部５７０、および拡大画像取得部５７６を有し、フラクタル拡大手法による拡大変換処理をする第１実施形態と同様の構成による第１拡大変換部５８０と、フラクタル拡大手法とは異なる第２の拡大手法による拡大変換処理をする第２拡大変換部５８２とを備える。また画像拡大処理部５６は、第１拡大変換部５８０のドメインブロック抽出部５６２により抽出および設定された注目ブロック画像内の画像（ブロック画像）が、エッジ特性および当該エッジ特性とは異なる第２の特性のうちの何れであるのかを解析するブロック画像解析部５６３と、ブロック画像解析部５６３による画像解析の結果に基づいて、第１拡大変換部５８０および第２拡大変換部５８２のうちの何れか一方の出力を選択する、つまり拡大処理の手法を選択する拡大処理方法選択部５７４とを備える。拡大処理方法選択部５７４は、たとえば、ブロック画像解析部５６３による画像解析の結果に基づいて、第１拡大変換部５８０によるフラクタル拡大手法および第２拡大変換部５８２による第２の拡大手法のうちの何れか一方の拡大手法を選択し、この選択した方に対応する拡大変換部に拡大処理を実行させるのがよい。こうすることで、予め第１拡大変換部５８０および第２拡大変換部５８２のうちの事実上使用されない方に、個別の拡大処理をさせる無駄を省くことができる。
【００８０】
ブロック画像解析部５６３は、ドメインブロック抽出部５６２により抽出されたドメインブロック画像が、エッジ強度が比較的強いエッジを含むエッジ特性、第２の特性の第１例であるエッジ強度が比較的弱いエッジが集合した部分を含むビジー特性（テクスチャ特性）、および第２の特性の第２例であるエッジを殆ど含まない平坦特性のうちの何れであるのかを解析する。これに対応して、第２拡大変換部５８２は、第２の拡大手法の第１例であるビジー特性に適した手法による拡大変換処理をするビジー特性拡大変換部５８２ａと、第２の拡大手法の第２例である平坦特性に適した手法による拡大変換処理をする平坦特性拡大変換部５８２ｂとを有する。拡大処理方法選択部５７４は、ドメインブロック画像の特徴がビジー特性であることをブロック画像解析部５６３の解析結果が示しているときには、ビジー特性拡大変換部５８２ａの出力を選択し、ブロック画像の特徴が平坦特性であることをブロック画像解析部５６３の解析結果が示しているときには、平坦特性拡大変換部５８２ｂの出力を選択する。ビジー特性拡大変換部５８２ａは、ビジー部に対する拡大処理に適した拡大処理として、たとえば３次畳み込み法などによる拡大処理をする。平坦特性拡大変換部５８２ｂは、平坦部に対する拡大処理に適した拡大処理として、たとえば線形補間法による拡大処理をする。
【００８１】
図１２は、第３実施形態の画像処理装置５における処理手順を示したフローチャートである。ドメインブロック抽出部５６２が注目ブロック画像を設定したら（Ｓ１４０）、ブロック画像解析部５６３は、この注目ブロック画像内の画像の特徴を解析する（Ｓ４００）。そしてたとえば、注目ブロック画像の特性を、エッジ特性、平坦特性、またはビジー特性（テキスチャ特性）の何れかの特性に分類する。たとえば顔の輪郭部分のような比較的ハッキリしたエッジ（高強度のエッジ）が１本あるようないわゆるステップエッジの部分をエッジ特性とする。またたとえば、細かいエッジの密集した部分をテキスチャ特性とする。そして残りの部分を平坦特性とする。なお、このブロック画像の特性を解析する処理の詳細は後述する。
【００８２】
次に拡大処理方法選択部５７４は、ブロック画像解析部５６３による画像解析の結果に基づいて、拡大処理の手法を決定する（Ｓ４１０）。たとえば、ブロック画像の特性がエッジ特性である旨をブロック画像解析部５６３の解析結果が示しているときには、拡大処理方法選択部５７４は、上述の第１または第２の拡大処理を実行するよう第１拡大変換部５８０を制御する（Ｓ４２０）。また平坦特性である旨をブロック画像解析部５６３の解析結果が示しているときには、拡大処理方法選択部５７４は、細かいノイズが目立ち難く処理の軽い線形補間法を用いて拡大処理をするよう平坦特性拡大変換部５８２ｂを制御する（Ｓ４３０）。
【００８３】
さらに、ビジー特性である旨をブロック画像解析部５６３の解析結果が示しているときには、拡大処理方法選択部５７４は、たとえば３次畳み込み法などの方法で拡大処理をするようビジー特性拡大変換部５８２ａを制御する（Ｓ４４０）。各拡大変換部５８０，５８２，５８４は、それぞれの拡大処理により得た拡大画像を画像データ格納部５４に格納する（Ｓ４５０）。以下、全てのドメインブロック画像に対して上記処理がなされるまで、ステップＳ１４０〜Ｓ４５０の処理を繰り返す（Ｓ２４０）。これにより、上記の処理が全てのドメインブロック画像に対して一通り終了したなら、ドメインブロック画像内の画像の特徴に応じた拡大処理が施された拡大画像が拡大画像データ格納部５８に格納される。
【００８４】
図１３は、第３実施形態の処理手順のステップＳ４００における、ブロック画像の特性を解析する処理の詳細を説明する図であって、画像解析に際して用いられるマスク（デジタルフィルタ）の一例を示す図（Ａ）、および処理手順を示したフローチャート（Ｂ）である。
【００８５】
先ずブロック画像解析部５６３は、ドメインブロック抽出部５６２により設定された注目ブロック画像に対して、エッジ抽出処理をする（Ｓ４０２）。エッジ抽出処理は、たとえば、図１３（Ａ）に示すようなエッジ検出用のマスク（エッジ検出フィルタ）を注目ブロック画像を中心とする元画像に対して施すことで、エッジ抽出した画像を得る。なおエッジ抽出用のマスクは、図１３（Ａ）に示した例に限らず、その他のラプラシアン型、Ｓｏｂｅｌ型、Ｋｉｒｓｈ型などのエッジ抽出用マスクを用いてもよい。
【００８６】
次にブロック画像解析部５６３は、エッジ検出した結果からドメインブロック画像内の画素値の絶対値和を求める（Ｓ４０４）。そして、求めた絶対値和が予め設定してある第１の閾値ＴＨ１を超えるか否かを判定する（Ｓ４０６）。そして越えない場合、すなわち第１の閾値ＴＨ１に対して絶対値和が小さい場合にはその注目ブロック画像は平坦部、すなわちブロック画像の特徴は平坦特性であると判定する（Ｓ４０６−ＮＯ，Ｓ４０８）。
【００８７】
またブロック画像解析部５６３は、平坦特性と判断されなかったブロック画像につては、ドメインブロック画像内の画素値の正値／負値の反転回数を求める（Ｓ４０６−ＹＥＳ，Ｓ４１０）。そしてブロック画像解析部５６３は、求めた反転回数と予め設定してある第２の閾値ＴＨ２とを比較し（Ｓ４１２）、第２の閾値ＴＨ２に対して反転回数が小さい場合にはその注目ブロック画像はエッジ部すなわちブロック画像の特徴はエッジ特性であると判断し（Ｓ４１４）、大きい場合にはテキスチャ部すなわちブロック画像の特徴はビジー特性であると判定する（Ｓ４１６）。これにより、顔の輪郭部分のようなエッジが比較的ハッキリした部分と、細かいエッジの密集した部分とを峻別することができる。そしてこのような手法を採ることにより、元画像の特徴に即した自然で高画質な拡大処理を実行することができる。
【００８８】
上記説明から分かるように、ブロック画像解析部５６３は、ブロック画像に含まれるエッジ強度やその複雑さに応じて、そのブロック画像の特徴を峻別しており、この機能は、第１実施形態で説明した複雑度判定部５６９にも利用することができる。たとえば、レンジブロック画像が高周波成分を多く含んでいれば、ブロック画像解析部５６３は、そのレンジブロックをビジー部と判定することができる。
【００８９】
なお上記説明では、エッジ検出フィルタを用いてブロック画像の特徴を判定したが、第１実施形態で説明したように、類似度判定部５６８は、ドメインブロック画像の標準偏差を求めるので、これを利用して第１の閾値（前述のＴＨ１とは異なる）に対して標準偏差が小さい場合には平坦部、大きい場合には隣接画素値との変化方向の逆転回数をカウントし、それが第２の閾値（前述のＴＨ２とは異なる）より小さい場合はエッジ部、大きい場合はビジー部と判定してもよい。ドメインブロック画像が小さい場合にはそのドメインブロック画像を中心とした３×３ブロック画像から中心ブロック画像の特徴を判定することもできる。また、閾値により明確にブロック画像の特徴を峻別するすなわち領域を分離するのではなく、たとえば標準偏差値に応じて平坦部の拡大手法とエッジ部またはビジー部の拡大手法の結果をブレンドするなど、拡大処理の組合せのバリエーションを付加することもできる。このように、各種の手法により画像を平坦部、エッジ部、ビジー部に分離して拡大処理の手法を変えることで、部分的な画質をより向上させることができる。
【００９０】
なおこの第３実施形態の拡大手法は、画像特性に応じて拡大手法を切り替えるあるいはブレンドするという点で、上述の特開平１１−３３１５９５号による手法と似ている。しかしながら、特開平１１−３３１５９５号による手法では、線形補間とフラクタル拡大との差が大きくなるエッジ部分で線形補間法が選択される傾向があるため、フラクタルの特徴である明瞭なエッジ再現ができずにボケてしまうという欠点を持つのに対して、第３実施形態の拡大手法によれば、エッジ部分では確実に第１実施形態と同様の手法による拡大処理を実行できるので、エッジ部でのボケの問題は生じない。
【００９１】
図１４は、画像処理装置５の画像拡大処理部５６の第４実施形態の詳細を示すブロック図である。この第４実施形態は、元画像に含まれるエッジ成分の強度やブロック画像の複雑度合いに応じて、ドメインブロックサイズおよびレンジブロックサイズのうちの少なくとも一方の大きさを変更するようにした態様である。このため第４実施形態の画像拡大処理部５６は、元画像に含まれるエッジ成分の強度やブロック画像の複雑度合いを解析する画像解析部５６５を備える。この画像解析部５６５は、元画像に含まれるエッジ成分の強度を判定するエッジ強度判定部、および元画像を所定サイズのブロック画像に分割し、この分割したブロック画像の複雑度を判定する複雑度判定部の、両機能を備える。そして、ドメインブロック抽出部５６２は、画像解析部５６５により判定されたエッジ成分の強度やブロック画像の複雑度合いを参照して、第１のブロック単位の大きさを設定する。またレンジブロック抽出部５６４は、画像解析部５６５により判定されたエッジ成分の強度やブロック画像の複雑度合いを参照して、第２のブロック単位の大きさを設定する。
【００９２】
画像解析部５６５の複雑度判定部としての機能部分は、元画像を所定サイズのブロック画像に分割し、個々のブロック画像ごとに、ブロック内の画素値の標準偏差を求め、この求めた標準偏差に基づいて、所定サイズのブロック画像が、エッジを含む部分のブロック画像であるのかそれ以外、すなわちエッジを殆ど含まない略平坦部分のブロック画像であるのかを峻別する。また、エッジを含む部分のブロック画像については、所定サイズのブロック画像の局所連続性を求め、この求めた局所連続性に基づいて、さらにエッジ強度が比較的強いエッジを含むステップエッジ部の画像であるのか、エッジ強度が比較的弱いエッジが集合した部分を含むビジー部の画像であるのかを峻別する。
【００９３】
図１５は、画像解析部５６５の作用を説明する図である。画像解析部５６５は先ず、デフォルトのドメインサイズＤおよびレンジサイズＲを、たとえばＤ＝４，Ｒ＝７で設定する。そして、画像解析部５６５（特に複雑度判定部の機能部分）は、ドメインブロックごとにブロック画像の複雑度を測定する。たとえば、ドメインブロック内の画素値の標準偏差がある一定値以上であること（条件Ａ）、すなわちエッジ強度がある程度大きな部分を含むか否かと、ドメインブロックＤｉを含む８×８サイズの周囲ブロックを投影法縮小した４×４サイズの縮小ブロックＤ’ｉと、ドメインブロックとの距離（ブロック間距離；各画素値の差の最大値ｍａｘ｜Ｄｉ−Ｄ’ｉ｜）が一定値以内であること（条件Ｂ）を条件として、ブロック画像の複雑度を測定する。条件Ａによって、全てのエッジ部が切り出され、条件Ｂによって、さらにそれがビジー部なのかステップエッジ部なのかを峻別できる。ここで条件Ｂは、ステップエッジ部は局所連続性が強く、ビジー部は弱いことを利用したものである。局所連続性が強いと、４×４を含む８×８を縮小しても、似たようなパターンになる。
【００９４】
画像拡大処理部５６は、画像解析部５６５による判定結果に基づいて、以下のように処理する。
１）ステップエッジ部（条件Ａ，Ｂを満たす）：Ｄ＝４，Ｒ＝７のままで拡大処理する。
２）ビジー部（条件Ａだけ満たす）：Ｄ＝３，Ｒ＝４（Ｄ＝２，Ｒ＝３でもよい）に各サイズを変更してから拡大処理する。
３）その他、平坦部分（滑らかな部分）（条件Ａを満たさない）：Ｄ＝２，Ｒ＝３に各サイズを変更してから拡大処理する。
【００９５】
このような処理をすると、局所連続性の強いステップエッジ部などより大きなブロックサイズで処理した方が好ましいときには、大きめのブロック画像で拡大処理することができ、たとえば、ボケや、エッジ近傍でのリンギング、ジャギー、ブロック境界でのブロック歪などの視覚的な画質劣化をなるべく生じさせることなく、高画質に拡大処理をすることができる。つまり、元画像の特徴に即した自然で高画質な拡大処理を実行することができる。
【００９６】
なおこのように、ステップエッジ部／ビジー部／その他の部分に切り分け（ブロック画像の特徴を３つに切り分け）、ドメインサイズＤやレンジサイズＲを切り替えて処理してもよいが、たとえばＤ＝４，Ｒ＝７による拡大画像と、Ｄ＝２，Ｒ＝３による拡大画像を作成しておき、条件Ａと条件Ｂの数値の関数でもってブレンドするという方法を採用してもよい。また条件Ａにおいてドメインブロックの標準偏差を計算するが、これは第１実施形態でも説明したように、類似度判定部５６８でも行なう処理であるので、その値を利用することがでる。実用上は、この標準偏差を予めメモリを確保しておいて、ドメインブロックを抽出した際に計算しておくのがよい。
【００９７】
このようにすると、ステップエッジ部では Ｄ＜Ｒ＜ｒＤ（ｒ＝２倍）の関係式で、拡大レンジブロック作成部５７０におけるＲ→ｒＤ拡大を考えると７→８となるので、線形拡大がごくわずかしか入らないためステップエッジがシャープになる。またビジー部はＤ＝４では細かいテクスチュアが再現できない（ぼけてしまう）ので、Ｄ＝２，Ｒ＝３に変更することでビジー部の再現性をあげることができる。その他の部分は何でもよいが、ここでは処理速度の速いＤ＝２，Ｒ＝３に変更している。
【００９８】
なお、条件Ａおよび条件Ｂの強度値に関して、Ａの値が高く、Ｂの値が低いほどエッジ強度が強いことになるので、この場合において、エッジ強度が強い場合には、Ｄ＝４，Ｒ＝７で拡大処理とし、それほどでない場合にはＤ＝４，Ｒ＝６で拡大処理するということもできる。つまり、エッジ強度に応じてドメインサイズＤやレンジサイズＲを切り替えて拡大処理してもよい。
【００９９】
たとえばブロック画像の複雑度合いとエッジ強度とに基づいて、エッジ強度の強い部分、エッジ強度の弱い部分（つまりエッジ強度の異なる部分を区別して）、ビジー部、およびその他の部分に応じて、ドメインサイズＤやレンジサイズＲを切り替えてもよい。このような処理をすると、複雑であってエッジ強度が高くより大きなブロックサイズで処理した方が好ましいときには、ブロック画像をより大きなブロックに分割し拡大処理することができ、たとえば、ボケや、エッジ近傍でのリンギング、ジャギー、ブロック境界でのブロック歪などの視覚的な画質劣化をなるべく生じさせることなく、高画質に拡大処理をすることができる。つまり元画像の特徴に即した自然で高画質な拡大処理を実行することができる。一方、複雑さがなくエッジ強度も弱く拡大処理に伴う画質劣化が問題とならないブロックについては、より小さなブロックサイズで処理することで処理速度を優先させることができる。
【０１００】
なお第４実施形態で述べた、ステップエッジ部、ビジー部、その他（平坦部）の部分の峻別手法は、前述の第３実施形態にも、同様に適用することができる。第４実施形態で述べた条件Ａは、第３実施形態で述べたことと略同じである。
【０１０１】
また第４実施形態の説明では、条件Ａおよび条件Ｂの強度値に基づいてエッジ成分の強度を判定していたが、エッジ成分の強度判定の手法は、これに限らず、その他の公知の手法を用いてもよい。
【０１０２】
図１６は、画像処理装置５の画像拡大処理部５６の第５実施形態の詳細を示すブロック図である。この第５実施形態は、上述の第１〜第４実施形態の方法で拡大した画像を縮小することによって、拡大画像に発生したノイズを除去するものである。このため、第５実施形態の画像拡大処理部５６は、予め指定された拡大率をより大きな拡大率に変更し、この変更した拡大率を設定された拡大率とする拡大率変更部５８７と、ドメインブロック抽出部５６２、レンジブロック抽出部５６４、拡大レンジブロック作成部５７０、および拡大画像取得部５７６を有し、フラクタル拡大手法による拡大変換処理をする第２実施形態と同様の構成による第１拡大変換部５８０と、第１拡大変換部５８０から出力された拡大画像を縮小することにより、指定された拡大率の拡大画像を生成する画像縮小部５８８とを備える。図１６では、第２実施形態の画像拡大処理部５６における拡大画像取得部５７６に画像縮小処理部５８８を設けた例で示しているが、第１、第３、あるいは第４実施形態にも同様に適用することができる。画像拡大処理部５６は、画像縮小処理部５８８の出力を最終的な拡大画像として画像データ出力部５９に入力する。
【０１０３】
画像縮小処理部５８８は、たとえば線型補間法で画像を縮小する。線型補間法での縮小は図３に述べた方法と同じである。特にこの縮小の際に、拡大前の元画像のサイズに縮小するようにすると、実質上、元画像にアンチエイリアシングを加える効果を出すことができる。また、第２実施形態の方法により４倍拡大した画像を１／２に縮小することによって、第１実施形態で得られた２倍拡大画像のノイズを除去し、より高画質にすることができる。つまり、所望サイズよりも一時的に大きく拡大してから、所望サイズに縮小することにより、エッジ部にアンチエイリアス処理を施すことができる。
【０１０４】
また、たとえばＪＰＥＧ画像などのように、元々の画像中にノイズ（ブロック画像歪やモスキートノイズなど）がある画像の場合には、この拡大・縮小処理をペアで繰返し施すことによって、このノイズを軽減することもできる。一般に、ＪＰＥＧ画像を拡大すると、こうしたノイズが目立ってきてしまうが、この第５実施形態の方法により、ノイズ除去をしながら画像を拡大することによって、高画質な画像を得ることができる。
【０１０５】
またたとえば、図９における“拡大率の組合せ”に示したように、５倍，７倍などの素数倍率がユーザから指定された場合、この値はこれ以上細かく分割できないので、拡大率を分割して処理することで画質を改善するという第２実施形態の態様を適用することができない。これに対して、第５実施形態によれば、たとえば一旦２倍拡大を３回繰り返して８倍に拡大してから所望サイズに縮小することができ、これにより、処理速度は犠牲になるものの、その代わり高画質の点では従来の拡大手法を大きく上回る。このことは、素数倍率に限らず２＾ｎ倍以外の倍率（たとえば６倍など）でも同様である。できるだけ２倍拡大を繰り返し、所望サイズよりも大きくなったら所望サイズとなるように縮小するという構成が、画質の点では最も望ましいということである。
【０１０６】
つまり、図９における“最も画質のよい倍率の組合せ”に示すように、第２および第５実施形態を組み合せて、ユーザから指定された拡大率Ｋを先ず最近傍の２＾ｎ倍（Ｋ≦２＾ｎ）に変更して２倍拡大をｎ回繰り返し、Ｋ＜２＾ｎについては、さらに指定された倍率ＫとなるようにＫ／２＾ｎに縮小するのがよい。なお第２および第５実施形態を組み合せた場合、処理時間と画質とはトレードオフの関係にあるので、処理時間と画質の何れを優先させるのかに応じて、倍率を適宜組み合わせてもよい。たとえば、９〜１５倍については、１回の処理で４倍に拡大する処理を２回繰り返して１６倍にしてから所定サイズに縮小してもよい。
【０１０７】
図１７は、画像処理装置５の画像拡大処理部５６の第６実施形態の詳細を示すブロック図である。この第６実施形態は、カラー画像に対して、特に好適な方式である。すなわち第６実施形態の画像拡大処理部５６は、複数の色成分により表されるカラー画像の個々の色成分に対応する色画像に基づいて当該カラー画像に対応する対応画像を得る対応画像生成部の一例である疑似グレー画像生成部５９０を備える。また拡大画像取得部５７６は、各色ごとに拡大された拡大画像を合成（合版）してカラーの拡大画像を得るカラー拡大画像生成部５９２を有する。なお図１７では、第１実施形態の画像拡大処理部５６に疑似グレー画像生成部５９０を設けた例で示しているが、第２〜第５実施形態にも同様に適用することができる。
【０１０８】
疑似グレー画像生成部５９０は、たとえばカラー画像を表すそれぞれの色データ（たとえばＲ，Ｇ，Ｂ）を、適当な加算比率で加算処理することで、カラー画像に対応する対応画像の一例である疑似グレー画像Ｙを得る。たとえばＲ，Ｇ，Ｂの各データを同じ比率で加算し、疑似グレー画像Ｙ（＝Ｒ＋Ｇ＋Ｂ）を得る。なお疑似グレー画像Ｙは、同一の加算比率に限らず、輝度成分に略等しくなるように、０．３Ｒ＋０．６Ｇ＋０．１Ｂを用いてもよい。
【０１０９】
ドメインブロック抽出部５６２は、色成分に対応する個々の色画像ごとに、ドメインブロック画像を抽出する。レンジブロック抽出部５６４は、疑似グレー画像生成部５９０により生成された疑似グレー画像Ｙにおける、ドメインブロック抽出部５６２により抽出された個々の色画像ごとのドメインブロック画像に対応する部分の近傍からレンジブロックに対応するレンジブロックサイズの対応レンジブロック画像を抽出し、この抽出した対応レンジブロック画像の位置を個々の色画像における対応する位置に割り当てることにより、個々の色画像ごとにレンジブロック画像を抽出する。
【０１１０】
図１８は、第６実施形態の画像処理装置５における処理手順を示したフローチャートである。図中、第１実施形態と同様の処理であって、各色データのそれぞれに対する処理については、第１実施形態と同じステップ番号の末尾にサフィックス“ａ”を付けて示し、疑似グレー画像に対する処理については、第１実施形態と同じステップ番号の末尾にサフィックス“ｙ”を付けて示す。
【０１１１】
拡大画像用のメモリ領域の確保および初期化が完了したら（Ｓ１００ａ）、疑似グレー画像生成部５９０は、カラー画像を表す色データＲ，Ｇ，Ｂを、適当な加算比率で加算処理して疑似グレー画像Ｙを生成する（Ｓ１１０ｙ）。なおこの疑似グレー画像Ｙの生成は、ステップ１６０の直前でもかまわない。
【０１１２】
画像拡大処理部５６は、第１実施形態のステップＳ１２０〜Ｓ２００と同様に、疑似グレー画像Ｙに対し、各ドメインブロック画像に対する３×３サイズの最類似対応レンジブロック画像（最もドメインブロック画像と類似した対応レンジブロック画像）の位置を計算する（Ｓ１２０ａ〜Ｓ２００ｙ）。レンジブロック抽出部５６４は、類似度判定部５６８により確定された最類似対応レンジブロック画像の位置を、Ｒ，Ｇ，Ｂの各画像における対応する位置に設定することにより、個々の色画像ごとに最類似レンジブロック画像を設定する（Ｓ２１０ａ）。
【０１１３】
次に拡大レンジブロック作成部５７０は、Ｒ，Ｇ，Ｂの各色画像ごとに、疑似グレー画像Ｙを用いて選択された３×３サイズの最類似レンジブロック画像を、たとえば線型補間法や投影法など公知の手法を用いて４×４サイズに拡大する（Ｓ２２０ａ）。以下第１実施形態と同様にして、オーバーラップ処理に伴う平均化処理をして、各色成分ごとに拡大画像を得る（Ｓ２４０ｙ〜Ｓ３２０ａ）。そして最後にカラー拡大画像生成部５９２は、各色ごとに拡大された拡大画像を合成（合版）してカラーの拡大画像を生成する（Ｓ３３０）。
【０１１４】
先にも述べたように、第１〜第５実施形態は、特にグレー画像に関しての拡大手法として好適であるが、カラー画像を表すそれぞれの色データ（たとえばＲ，Ｇ，Ｂ）について、たとえば２５６階調のグレー画像に相当する各色画像を作成し、それぞれを第１〜第５実施形態の拡大処理して拡大画像を生成し、最後に合版することで、カラー画像の拡大画像を得ることができる。しかしながら、この方法を用いた場合、エッジ部などにおいて、微妙にＲＧＢのエッジ位置がずれる場合があり、Ｒ，Ｇ，Ｂまたはこれらの混合色のノイズが発生する場合がある。この問題は、ドメインブロック画像のＲＧＢ面それぞれにおいて、同じレンジブロック画像位置を採用することで緩和することができる。
【０１１５】
そのため、第６実施形態では、たとえばＲＧＢ信号の和を取った、Ｒ＋Ｇ＋Ｂ信号に対して、第１実施形態と同様にして各ドメインブロック画像に対する最適なレンジブロック画像（最類似対応レンジブロック画像）の位置を計算し、その後、Ｒ，Ｇ，Ｂそれぞれにおいて、ドメインブロック画像と最類似対応レンジブロック画像と同じ位置にあるＲ，Ｇ，Ｂの各レンジブロック画像との間で、たとえば第１実施形態と同様に、最小２乗係数ａ，ｂを計算し、各色の最適化近似をして拡大画像を得る。つまり、疑似グレー画像を共通に利用して、Ｒ，Ｇ，Ｂそれぞれについてのレンジブロック画像の位置を割り出してから、各色成分ごとに拡大処理をする。
【０１１６】
このような第６実施形態で示した手法を用いると、前記の最適レンジブロック画像の位置を各色ごとに求めた場合に生じるノイズが殆ど現れず、またレンジブロック画像の位置をＲ，Ｇ，Ｂで同じにしてはいるが、それぞれＲ，Ｇ，Ｂのレンジブロック画像に対して最適な最小２乗係数で画素値変換するので、元画像を忠実に保つことができる。また、この第６実施形態の拡大手法を用いる場合には、ブロック画像探索に費やす時間も１／３で済むので、処理時間の高速化を図ることもできる。
【０１１７】
なお上記説明では、カラー画像を表す各色データを適当な加算比率で加算処理して得た疑似グレー画像Ｙを用いたが、これは注目ブロック画像に極めて近い近傍ののみを探索範囲とし、その探索範囲には大きな色変化がないと考えることができることを前提とするものであり、探索範囲を広めに取る場合には、色変化が生じてしまうので、拡大画像に偽信号が生じる虞れがある。この場合、色空間上での距離をもとに類似度を判定し、その結果に基づいて、疑似グレー画像Ｙを修正すれば、探索範囲を広めに取る場合であっても、拡大画像に偽信号が生じる虞れはなくなる。
【０１１８】
以上説明したように、上記各実施形態による拡大処理は、ドメインブロック画像と類似のレンジブロック画像は、そのごく近辺に同じ向きに存在するという、画像連続性の仮定に基づいており、画像が大域的に自己相似的であるとの立場に立つ従来のフラクタル圧縮法とは技術思想が異なる。また類似度判定部５６８における、山や谷などを含むレンジブロック画像を、ドメインブロック画像との対応付けから除外するという処理は、画像を拡大した際に、元画像に含まれない細かい山や谷を復元しないということを意味しており、この点でも無限に細かいディテールを持つというフラクタルの思想と異なっている。
【０１１９】
また、従来のフラクタル圧縮法に基づく拡大処理の場合、縮小写像の不動点定理に基づいて反復写像してゆき収束させるため、画素値変換の変換係数ａ（縮小率に相当する）は、基本的には−１＜ａ＜１でなければならない。これに対して、上記実施形態の拡大処理では反復収束過程を用いないので、この条件は必要なく、類似度判定部５６８における類似度判定で述べたように、より広い条件で画素値変換パラメータを許容でき、その結果画質を大きく向上することができる。
【０１２０】
したがって、上記各実施形態の拡大処理の方法は、フラクタルの概念を利用してはいるものの、得られる拡大画像は、理論上はフラクタルのアトラクターの定義には入っておらず、従来のフラクタル拡大手法とは意味が異なってくる。このように、上記実施形態の拡大処理の手法は、従来のフラクタル拡大手法の概念と異なる部分を有しているが、それにも関わらず、本手法においてフラクタルの概念は重要な要素を発揮しており、特にエッジの尖鋭性の再現に大きく寄与しているといえる。
【０１２１】
図１９は、ＣＰＵやメモリを利用して、ソフトウェア的に画像処理装置５を構成する、すなわち電子計算機（コンピュータ）を用いて構成する場合のハードウェア構成の一例を示した図である。
【０１２２】
この画像処理装置５は、ＣＰＵ９０２、ＲＯＭ（Read Only Memory）９０４、ＲＡＭ９０６、および通信Ｉ／Ｆ（インターフェース）９０８を備える。また、たとえばハードディスク装置９１４、フレキシブルディスク（ＦＤ）ドライブ９１６、あるいはＣＤ−ＲＯＭ（Compact Disk ROM）ドライブ９１８などの、記憶媒体からデータを読み出したり記録するための記録・読取装置を備えてもよい。ハードディスク装置９１４、ＦＤドライブ９１６、あるいはＣＤ−ＲＯＭドライブ９１８は、たとえば、ＣＰＵ９０２にソフトウェア処理をさせるためのプログラムデータを登録するなどのために利用される。通信Ｉ／Ｆ９０８は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。
【０１２３】
このような構成の画像処理装置５は、上記実施形態に示した基本的な構成および動作と同様とすることができる。また、上述した処理をコンピュータに実行させるプログラムは、ＣＤ−ＲＯＭ９２２などの記録媒体を通じて配布される。あるいは、前記プログラムは、ＣＤ−ＲＯＭ９２２ではなくＦＤ９２０に格納されてもよい。また、ＭＯドライブを設け、ＭＯに前記プログラムを格納してもよく、またフラッシュメモリなどの不揮発性の半導体メモリカード９２４などのその他の記録媒体に前記プログラムを格納してもよい。さらに、他のサーバなどからインターネットなどの通信網を経由して前記プログラムをダウンロードして取得したり、あるいは更新してもよい。なお、記録媒体としては、ＦＤ９２０やＣＤ−ＲＯＭ９２２などの他にも、ＤＶＤなどの光学記録媒体、ＭＤなどの磁気記録媒体、ＰＤなどの光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリーを用いることができる。
【０１２４】
記録媒体の一例としてのＦＤ９２０やＣＤ−ＲＯＭ９２２などには、上記実施形態で説明した画像処理装置５における処理の一部または全ての機能を格納することができる。したがって、以下のプログラムや当該プログラムを格納した記憶媒体を提供することができる。たとえば、画像処理装置５用のプログラム、すなわちＲＡＭ９０６などにインストールされるソフトウェアは、上記各実施形態に示された画像処理装置５と同様に、拡大率分割部５６１、ドメインブロック抽出部５６２、ブロック画像解析部５６３、レンジブロック抽出部５６４、画像解析部５６５、縮小レンジブロック作成部５６６、類似度判定部５６８、拡大レンジブロック作成部５７０、拡大画像取得部５７６、ブロック画像合成部５７８、あるいはオーバーラップ処理部５８６などの各機能部をソフトウェアとして備える。このソフトウェアは、たとえばプリンタドライバやディスプレイドライバなどとして、ＣＤ−ＲＯＭやＦＤなどの可搬型の記憶媒体に格納され、あるいはネットワークを介して配布されてもよい。
【０１２５】
そしてたとえば画像処理装置５をコンピュータにより構成する場合、ＣＤ−ＲＯＭドライブ９１８は、ＣＤ−ＲＯＭ９２２からデータまたはプログラムを読み取ってＣＰＵ９０２に渡す。そしてソフトウエアはＣＤ−ＲＯＭ９２２からハードディスク装置９１４にインストールされる。ハードディスク装置９１４は、ＦＤドライブ９１６またはＣＤ−ＲＯＭドライブ９１８によって読み出されたデータまたはプログラムや、ＣＰＵ９０２がプログラムを実行することにより作成されたデータを記憶するとともに、記憶したデータまたはプログラムを読み取ってＣＰＵ９０２に渡す。ハードディスク装置９１４に格納されたソフトウエアは、ＲＡＭ９０６に読み出された後にＣＰＵ９０２により実行される。たとえばＣＰＵ９０２は、記録媒体の一例であるＲＯＭ９０４およびＲＡＭ９０６に格納されたプログラムに基づいて上記の処理を実行することにより、上記処理における画像拡大処理のための機能をソフトウェア的に実現することができる。
【０１２６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。また、上記の実施形態は、クレームにかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。
【０１２７】
たとえば、第１〜第５実施形態において、画像を処理する際に充分なメモリ容量がある場合には、縮小レンジブロック画像、および縮小レンジブロック画像の平均値計算、標準偏差計算、レンジブロック画像のＣ値計算などを予め行なっておき、その結果をテーブルに格納しておくことにより、レンジブロック画像探索の際に、その都度計算する必要がなくなり、テーブル参照するだけで済むようになるので、計算回数を減らすことができ、処理速度をさらに高速化することができる。
【０１２８】
また類似度判定部５６８は、縮小レンジブロック画像とドメインブロック画像とを比較することで類似度を判定していたが、ドメインブロックをレンジブロックと同サイズに拡大し、これとレンジブロック画像とを比較することで類似度を判定してもよい。
【０１２９】
またドメインブロックの近傍にレンジブロックを設定する際、予めドメインブロックの近傍に複数のレンジブロックを抽出し、その中からドメインブロックとの類似度が高いレンジブロックを選択するようにしていたが、その他の手法を用いてドメインブロックの近傍にレンジブロックを設定するようにしてもよい。たとえば、予め画像の特徴を解析しておき、その画像特性から設定すべきレンジブロックの方向を個々のドメインブロックごとに求めておいてもよい。
【０１３０】
また第２実施形態では、２回目以降の拡大処理時にはドメインブロックやレンジブロックの大きさを変更（より大きく）していたが、各ブロックサイズは、毎回同サイズであってもよい。
【０１３１】
また第３実施形態では、ドメインブロック画像の特徴を、エッジ特性、ビジー特性、平坦特性の３つのタイプに切り分け、各特性に応じた拡大処理をするようにしていたが、エッジ特性とそれ以外の２つのタイプに切り分けて拡大処理をするようにしてもよい。つまり、ビジー特性や平坦特性の場合には、同一の拡大処理をしてもよい。これは、ビジー特性（テキスチャ特性）部分ではリンギング雑音が発生するものの弱くてテキスチャ特性の中に隠れて目立たない一方、たとえば３次畳み込み法などによるビジー部に対する拡大処理に適した拡大処理をするとその分だけ処理が遅くなる要素の方が強く画質の向上に対する寄与が少ないからである。
【０１３２】
また上記各実施形態では、拡大画像データを用いて印刷処理したり表示する構成について説明したが、これに限らず、画像を取り扱う種々の機器やシステムに適用することができる。たとえば、カラースキャナ３２、画像処理装置５、およびプリントエンジン７０を一体化させた複写装置に適用することもできる。
【０１３３】
【発明の効果】
以上説明したように本発明の画像処理装置によれば、レンジブロック画像を拡大ブロック単位に拡大して拡大画像を作成するようにしたので、フラクタルの概念の特徴を生かして、ジャギーやブロック歪の発生を抑えてボケの少ない拡大画像を得ることができる。また ドメインサイズよりも大きくかつ所望の拡大サイズよりも小さなレンジサイズでレンジブロック画像を抽出し、このレンジブロック画像に対して拡大処理をするので、ステップエッジ部におけるノイズ状のゴミやササクレ状の画素値の染み出しが発生するのを防止することができる。
【０１３４】
さらにレンジブロック画像を拡大した後、ドメインブロック画像とレンジブロック画像との関係に基づいて拡大後の画素値を再変換するので、視認に耐え得る拡大画像を１回の処理にて（高速に）生成することができる。
【０１３５】
このように本発明の画像処理装置によれば、処理時間とのバランスを採りつつ、フラクタルの概念を利用して、ボケ、ジャギー、ブロック歪などの画質劣化が生じるのを防止しながら、高画質な画像拡大処理を実現することができる。
【図面の簡単な説明】
【図１】 本発明に係る画像処理装置を備えた画像処理システムを示すブロック図である。
【図２】 画像処理装置内の画像拡大処理部の第１実施形態の詳細を示すブロック図である。
【図３】 縮小レンジブロック作成部における投影法を用いた場合の処理を説明する図である。
【図４】 拡大レンジブロック作成部における投影法を用いた処理のを説明する図である。
【図５】 オーバーラップ処理をする場合における、拡大後の画素値の重複量の一例を示す図である。
【図６】 第１実施形態の画像処理装置における画像拡大処理に着目した処理手順を説明する図である。
【図７】 第１実施形態の処理の一実施例を示す図であって、オーバーラップ処理の前段階までを示す。
【図８】 画像拡大処理部の第２実施形態を示すブロック図である。
【図９】 拡大率分割部による、拡大率の分割における拡大率の組合せの一例を示す図である。
【図１０】 第２実施形態の画像処理装置における処理手順を示したフローチャートである。
【図１１】 画像拡大処理部の第３実施形態を示すブロック図である。
【図１２】 第３実施形態の画像処理装置における処理手順を示したフローチャートである。
【図１３】 第３実施形態の処理手順における、ブロック画像の特性を解析する処理の詳細を説明する図である。
【図１４】 画像拡大処理部の第４実施形態を示すブロック図である。
【図１５】 第４実施形態における画像解析部の作用を説明する図である。
【図１６】 画像拡大処理部の第５実施形態を示すブロック図である。
【図１７】 画像拡大処理部の第６実施形態を示すブロック図である。
【図１８】 第６実施形態の画像処理装置における処理手順を示したフローチャートである。
【図１９】 電子計算機を用いて画像処理装置を構成する場合のハードウェア構成の一例を示した図である。
【符号の説明】
１…画像処理システム、３…画像入力端末、５…画像処理装置、７…画像出力端末、５２…画像データ取得部、５４…画像データ格納部、５６…画像拡大処理部、５９…画像データ出力部、７０…プリントエンジン、８０…ディスプレイ装置、５６１…拡大率分割部、５６２…ドメインブロック抽出部、５６３…ブロック画像解析部、５６４…レンジブロック抽出部、５６５…画像解析部、５６６…縮小レンジブロック作成部、５６８…類似度判定部、５６９…複雑度判定部、５７０…拡大レンジブロック作成部、５７４…拡大処理方法選択部、５７６…拡大画像取得部、５７８…ブロック画像合成部、５８０…第１拡大変換部、５８２…第２拡大変換部、５８２ａ…ビジー特性拡大変換部、５８２ｂ…平坦特性拡大変換部、５８６…オーバーラップ処理部、５８７…拡大率変更部、５８８…画像縮小処理部、５８８…画像縮小部、５９０…疑似グレー画像生成部、５９２…カラー拡大画像生成部
Claims (26)
- 多数の画素で表現された元画像を拡大処理して拡大画像を得る画像処理装置であって、
前記元画像を第１のブロック単位で分割することにより複数のドメインブロック画像を抽出するドメインブロック抽出部と、
前記第１のブロック単位よりも大きくかつ予め設定された拡大率で当該第１のブロック単位を拡大して得られる拡大ブロック単位よりも小さな第２のブロック単位でレンジブロック画像を抽出するレンジブロック抽出部と、
前記ドメインブロック抽出部により抽出された前記ドメインブロック画像の近傍において前記レンジブロック抽出部により抽出される注目する前記レンジブロック画像に対して、前記予め設定された拡大率となるように拡大して拡大レンジブロック画像を作成する拡大レンジブロック作成部と、
前記拡大レンジブロック作成部により作成された個々の前記拡大レンジブロック画像を用いて、前記設定された拡大率で前記元画像を拡大した拡大画像を得る拡大画像取得部と
を備えたことを特徴とする画像処理装置。 - 前記レンジブロック抽出部は、前記元画像のうちの前記ドメインブロック抽出部により抽出された前記ドメインブロック画像の近傍から前記レンジブロック画像を抽出することを特徴とする請求項１に記載の画像処理装置。
- 前記レンジブロック抽出部は、前記レンジブロック画像に含まれる複数の画素のうちの少なくとも１つの画素が前記ドメインブロック画像に含まれるように前記レンジブロック画像を抽出することを特徴とする請求項２に記載の画像処理装置。
- 前記レンジブロック抽出部は、前記ドメインブロック抽出部により抽出された前記ドメインブロック画像の近傍を分割することにより複数の前記レンジブロック画像を抽出するものであり、
前記レンジブロック抽出部により抽出された前記複数のレンジブロック画像の各々について、当該レンジブロック画像と前記ドメインブロック抽出部により抽出された前記ドメインブロック画像との類似度を判定する類似度判定部をさらに備え、
前記拡大レンジブロック作成部は、前記複数のレンジブロック画像のうち、前記類似度判定部により前記ドメインブロック画像との類似度がより高いと判定された前記レンジブロック画像を前記拡大ブロック単位に拡大して前記拡大レンジブロック画像を作成することを特徴とする請求項１から３のうちの何れか１項に記載の画像処理装置。 - 前記レンジブロック抽出部により抽出された前記複数のレンジブロック画像を前記第１のブロック単位に縮小して複数の縮小レンジブロック画像を作成する縮小レンジブロック作成部をさらに備え、
前記類似度判定部は、前記縮小レンジブロック作成部により作成された前記複数の縮小レンジブロック画像を用いて、前記類似度を判定することを特徴とする請求項４に記載の画像処理装置。 - 前記類似度判定部は、前記縮小レンジブロック作成部により作成された前記複数の縮小レンジブロック画像の個々の画素値ｚに対して、ａ，ｂを係数とする１次変換式ａｚ＋ｂに基づいて画素値変換をし、この画素値変換した複数の縮小レンジブロック画像の中から前記ドメインブロック画像と最も類似した縮小レンジブロック画像を選び出し、
前記拡大レンジブロック作成部は、前記類似度判定部により選ばれた前記縮小レンジブロック画像の元となった前記レンジブロック画像を前記拡大ブロック単位に拡大し、この拡大した画像の個々の画素値に対して前記１次変換式ａｚ＋ｂに基づいて画素値変換をして前記拡大レンジブロック画像を作成することを特徴とする請求項５に記載の画像処理装置。 - 前記類似度判定部は、画素位置ｐについての前記１次変換式における係数ｂｐの値として、前記ドメインブロック画像の対応画素の画素値ｄｐ、前記縮小レンジブロック画像の対応画素の画素値ｒｐとしたとき、ｂｐ＝ｄｐ−ａ＊ｒｐを用いることを特徴とする請求項６に記載の画像処理装置。
- 前記拡大レンジブロック作成部は、画素位置ｐについての前記１次変換式における係数ｂｐの値として、前記ドメインブロック画像の対応画素の画素値ｄｐ、前記縮小レンジブロック画像の対応画素の画素値ｒｐとしたとき、ｂｐ＝ｄｐ−ａ＊ｒｐを用いることを特徴とする請求項６または７に記載の画像処理装置。
- 前記レンジブロック画像の複雑度を判定する複雑度判定部をさらに備え、
前記類似度判定部は、前記複雑度判定部により判定された前記レンジブロック画像の複雑度を参照して、前記類似度を判定することを特徴とする請求項４から８のうちの何れか１項に記載の画像処理装置。 - 前記レンジブロック画像の複雑度を判定する複雑度判定部をさらに備え、
前記拡大レンジブロック作成部は、前記複雑度判定部により判定された前記レンジブロック画像の複雑度を参照して、前記拡大レンジブロック画像の画素値を決定することを特徴とする請求項４から９のうちの何れか１項に記載の画像処理装置。 - 前記ドメインブロック抽出部は、画像読出し開始位置を順次切替えて、前記元画像を第１のブロック単位で分割することにより前記ドメインブロック画像を抽出するものであり、
前記拡大画像取得部は、前記画像読出し開始位置が順次切替えて処理されることで求められた、前記元画像に対応する各々の拡大画像のうち、前記順次切替えて処理されることで生じ得るオーバーラップ部分の画素値を、当該オーバーラップ部分の各々の画素の画素値に基づいて求めるオーバーラップ処理部を有する
ことを特徴とする請求項１から１０のうちの何れか１項に記載の画像処理装置。 - 前記予め指定された拡大率をより小さな拡大率の組み合せに分割し、この分割した各々の拡大率を前記設定された拡大率とする拡大率分割部を備え、
前記拡大率分割部により分割された各々の拡大率を順次適用する拡大繰返し処理をすることを特徴とする請求項１から１１のうちの何れか１項に記載の画像処理装置。 - 前記ドメインブロック抽出部は、前記拡大率分割部により分割された各々の拡大率を順次適用する都度、前記第１のブロック単位の大きさを変更することを特徴とする請求項１２に記載の画像処理装置。
- 前記レンジブロック抽出部は、前記拡大率分割部により分割された各々の拡大率を順次適用する都度、前記第２のブロック単位の大きさを変更することを特徴とする請求項１２または１３に記載の画像処理装置。
- 前記元画像は複数の色成分により表されるカラー画像であって、当該カラー画像を表すそれぞれの色成分に対応する色画像に基づいて当該カラー画像に対応する対応画像を得る対応画像生成部をさらに備え、
前記ドメインブロック抽出部は、前記色成分に対応する個々の色画像ごとに、前記ドメインブロック画像を抽出し、
前記レンジブロック抽出部は、前記対応画像生成部により生成された前記対応画像における、前記ドメインブロック抽出部により抽出された前記個々の色画像ごとのドメインブロック画像に対応する部分の近傍から前記レンジブロックに対応する前記第２のブロック単位の対応レンジブロック画像を抽出し、この抽出した対応レンジブロック画像の位置を前記色成分に対応する個々の色画像における対応する位置に割り当てることにより、前記個々の色画像ごとに前記レンジブロック画像を抽出することを特徴とする請求項１から１４のうちの何れか１項に記載の画像処理装置。 - 前記ドメインブロック抽出部、前記レンジブロック抽出部、前記拡大レンジブロック作成部、および前記拡大画像取得部を有し、第１の拡大手法による拡大変換処理をする第１の拡大変換部と、
前記第１の拡大手法とは異なる第２の拡大手法による拡大変換処理をする第２の拡大変換部と、
前記ドメインブロック抽出部により抽出された前記ドメインブロック画像の特徴を解析するブロック画像解析部と、
前記ブロック画像解析部による画像解析の結果に基づいて、前記第１の拡大変換部および前記第２の拡大変換部のうちの何れか一方の出力を選択する拡大処理方法選択部と
をさらに備えたことを特徴とする請求項１から１５のうちの何れか１項に記載の画像処理装置。 - 前記ブロック画像解析部は、前記ドメインブロック画像の特徴として、前記ドメインブロック抽出部により抽出された前記ドメインブロック画像が、エッジ特性および当該エッジ特性とは異なる第２の特性のうちの何れであるのかを解析し、
前記拡大処理方法選択部は、前記ドメインブロック画像の特徴が前記エッジ特性であることを前記ブロック画像解析部の解析結果が示しているときには、前記第１の拡大変換部の出力を選択し、前記ブロック画像の特徴が前記第２の特性であることを前記ブロック画像解析部の解析結果が示しているときには、前記第２の拡大変換部の出力を選択する
ことを特徴とする請求項１６に記載の画像処理装置。 - 前記ブロック画像解析部は、前記ドメインブロック抽出部により抽出された前記ドメインブロック画像が、エッジ強度が比較的強いエッジを含む前記エッジ特性、前記第２の特性の第１例であるエッジ強度が比較的弱いエッジが集合した部分を含むビジー特性、および前記第２の特性の第２例であるエッジを殆ど含まない平坦特性のうちの何れであるのかを解析するものであり、
前記第２の拡大変換部は、前記第２の拡大手法の第１例である前記ビジー特性に適した手法による拡大変換処理をするビジー特性拡大変換部と、前記第２の拡大手法の第２例である前記平坦特性に適した手法による拡大変換処理をする平坦特性拡大変換部とを有するものであり、
前記拡大処理方法選択部は、前記ドメインブロック画像の特徴が前記ビジー特性であることを前記ブロック画像解析部の解析結果が示しているときには、前記ビジー特性拡大変換部の出力を選択し、前記ブロック画像の特徴が前記平坦特性であることを前記ブロック画像解析部の解析結果が示しているときには、前記平坦特性拡大変換部の出力を選択する
ことを特徴とする請求項１７に記載の画像処理装置。 - 前記元画像に含まれるエッジ成分の強度を判定するエッジ強度判定部を備え、
前記ドメインブロック抽出部は、前記エッジ強度判定部により判定された前記エッジ成分の強度を参照して、前記第１のブロック単位の大きさを設定することを特徴とする請求項１から１８のうちの何れか１項に記載の画像処理装置。 - 前記元画像に含まれるエッジ成分の強度を判定するエッジ強度判定部を備え、
前記レンジブロック抽出部は、前記エッジ強度判定部により判定された前記エッジ成分の強度を参照して、前記第２のブロック単位の大きさを設定することを特徴とする請求項１から１９のうちの何れか１項に記載の画像処理装置。 - 前記元画像を所定サイズのブロック画像に分割し、この分割したブロック画像の複雑度を判定する複雑度判定部を備え、
前記ドメインブロック抽出部は、前記複雑度判定部により判定された前記複雑度を参照して、前記第１のブロック単位の大きさを設定することを特徴とする請求項１から２０のうちの何れか１項に記載の画像処理装置。 - 前記元画像を所定サイズのブロック画像に分割し、この分割したブロック画像の複雑度を判定する複雑度判定部を備え、
前記レンジブロック抽出部は、前記複雑度判定部により判定された前記複雑度を参照して、前記第２のブロック単位の大きさを設定することを特徴とする請求項１から２１のうちの何れか１項に記載の画像処理装置。 - 前記複雑度判定部は、前記所定サイズのブロック画像の画素値の標準偏差を求め、この求めた標準偏差に基づいて、前記所定サイズのブロック画像が、エッジを含む部分のブロック画像であるのかエッジを殆ど含まない部分のブロック画像であるのかを峻別することを特徴とする請求項２１または２２に記載の画像処理装置。
- 前記複雑度判定部は、前記所定サイズのブロック画像の局所連続性を求め、この求めた局所連続性に基づいて、前記エッジを含む部分のブロック画像について、さらにエッジ強度が比較的強いエッジを含むステップエッジ部の画像であるのか、エッジ強度が比較的弱いエッジが集合した部分を含むビジー部の画像であるのかを峻別することを特徴とする請求項２３に記載の画像処理装置。
- 前記予め指定された拡大率をより大きな拡大率に変更し、この変更した拡大率を前記設定された拡大率とする拡大率変更部と、
前記ドメインブロック抽出部、前記レンジブロック抽出部、前記拡大レンジブロック作成部、および前記拡大画像取得部を有し、フラクタル拡大手法による拡大変換処理をする拡大変換部と、
前記拡大変換部から出力された拡大画像を縮小することにより、前記指定された拡大率の拡大画像を生成する画像縮小部と
を備えたことを特徴とする請求項１から２４のうちの何れか１項に記載の画像処理装置。 - 多数の画素で表現された元画像を拡大処理して拡大画像を得るためのプログラムであって、
コンピュータを、
前記元画像を第１のブロック単位で分割することにより複数のドメインブロック画像を抽出するドメインブロック抽出部と、
前記第１のブロック単位よりも大きくかつ予め設定された拡大率で当該第１のブロック単位を拡大して得られる拡大ブロック単位よりも小さな第２のブロック単位でレンジブロック画像を抽出するレンジブロック抽出部と、
前記ドメインブロック抽出部により抽出された前記ドメインブロック画像の近傍において前記レンジブロック抽出部により抽出される注目する前記レンジブロック画像に対して、前記予め設定された拡大率となるように拡大して拡大レンジブロック画像を作成する拡大レンジブロック作成部と、
前記拡大レンジブロック作成部により作成された個々の前記拡大レンジブロック画像を用いて、前記設定された拡大率で前記元画像を拡大した拡大画像を得る拡大画像取得部と
して機能させることを特徴とするプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001341432A JP3882585B2 (ja) | 2001-11-07 | 2001-11-07 | 画像処理装置およびプログラム |
| US10/288,427 US7046862B2 (en) | 2001-11-07 | 2002-11-06 | Image processing apparatus and program |
| EP02024983A EP1310911B1 (en) | 2001-11-07 | 2002-11-07 | Image processing apparatus and program |
| DE60228921T DE60228921D1 (de) | 2001-11-07 | 2002-11-07 | Bildverarbeitungvorrichtung und Program |
| CNB021493278A CN1280772C (zh) | 2001-11-07 | 2002-11-07 | 图像处理设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001341432A JP3882585B2 (ja) | 2001-11-07 | 2001-11-07 | 画像処理装置およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003143399A JP2003143399A (ja) | 2003-05-16 |
| JP3882585B2 true JP3882585B2 (ja) | 2007-02-21 |
Family
ID=19155457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001341432A Expired - Fee Related JP3882585B2 (ja) | 2001-11-07 | 2001-11-07 | 画像処理装置およびプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7046862B2 (ja) |
| EP (1) | EP1310911B1 (ja) |
| JP (1) | JP3882585B2 (ja) |
| CN (1) | CN1280772C (ja) |
| DE (1) | DE60228921D1 (ja) |
Families Citing this family (83)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003264775A (ja) * | 2002-03-08 | 2003-09-19 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP4123356B2 (ja) * | 2002-11-13 | 2008-07-23 | 富士ゼロックス株式会社 | 画像処理装置、画像処理プログラム、記憶媒体 |
| JP2004348706A (ja) * | 2003-04-30 | 2004-12-09 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
| JP4506954B2 (ja) * | 2003-06-23 | 2010-07-21 | 富士ゼロックス株式会社 | 画像処理装置および画像処理方法、画像処理プログラム、記憶媒体 |
| KR100540659B1 (ko) * | 2003-07-02 | 2006-01-10 | 삼성전자주식회사 | 이미지 확대 인쇄 방법과 장치 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체 |
| DE10345278B4 (de) * | 2003-09-30 | 2007-03-15 | Thoms, Michael, Dr. | Verfahren und Einrichtung zur Bildbearbeitung |
| JP4002599B2 (ja) * | 2003-12-01 | 2007-11-07 | 学校法人日本工業大学 | 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置 |
| JP4069899B2 (ja) * | 2004-05-10 | 2008-04-02 | 船井電機株式会社 | デジタル複合画像形成装置 |
| US20070248270A1 (en) * | 2004-08-13 | 2007-10-25 | Koninklijke Philips Electronics, N.V. | System and Method for Compression of Mixed Graphic and Video Sources |
| US7689053B2 (en) * | 2005-01-26 | 2010-03-30 | Panasonic Corporation | Image processing method |
| JP2006236317A (ja) * | 2005-01-26 | 2006-09-07 | Matsushita Electric Ind Co Ltd | 画像処理方法 |
| US7627109B2 (en) * | 2005-02-04 | 2009-12-01 | At&T Intellectual Property I, Lp | Call center system for multiple transaction selections |
| CN100366050C (zh) * | 2005-03-11 | 2008-01-30 | 华亚微电子（上海）有限公司 | 一种图像缩放方法及图像缩放器系统 |
| JP4533273B2 (ja) * | 2005-08-09 | 2010-09-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム |
| JP2007067625A (ja) * | 2005-08-30 | 2007-03-15 | Matsushita Electric Ind Co Ltd | カメラシステムにおけるフィルタ補正回路 |
| FR2893810B1 (fr) * | 2005-11-23 | 2008-02-01 | Ercom Engineering Reseaux Comm | Procede de test de reseau de communication par l'intermediaire d'un terminal |
| US8094959B2 (en) * | 2005-12-09 | 2012-01-10 | Seiko Epson Corporation | Efficient detection of camera shake |
| JP4977368B2 (ja) * | 2005-12-28 | 2012-07-18 | 富士通株式会社 | 媒体処理装置，媒体処理方法，媒体処理システム，及び媒体処理プログラムを記録したコンピュータ読取可能な記録媒体 |
| WO2007076683A1 (fr) * | 2005-12-30 | 2007-07-12 | Ning Wu | Procede de selection et de modification en temps reel d'un motif d'ornement d'ongle |
| JP4784322B2 (ja) | 2006-01-31 | 2011-10-05 | ソニー株式会社 | 画像処理装置 |
| CN101496387B (zh) | 2006-03-06 | 2012-09-05 | 思科技术公司 | 用于移动无线网络中的接入认证的系统和方法 |
| US7929774B2 (en) * | 2006-06-28 | 2011-04-19 | Intel Corporation | Method of inferential analysis of low resolution images |
| JP4947351B2 (ja) * | 2006-07-28 | 2012-06-06 | 富士ゼロックス株式会社 | 画像処理装置、及び、プログラム |
| JP4762115B2 (ja) * | 2006-11-10 | 2011-08-31 | シャープ株式会社 | 映像処理装置 |
| US7783134B2 (en) * | 2007-01-04 | 2010-08-24 | Himax Technologies Limited | Edge-oriented interpolation method and system for a digital image |
| US8483283B2 (en) * | 2007-03-26 | 2013-07-09 | Cisco Technology, Inc. | Real-time face detection |
| JP5152559B2 (ja) * | 2007-07-19 | 2013-02-27 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP5023937B2 (ja) * | 2007-09-28 | 2012-09-12 | 富士ゼロックス株式会社 | 画像処理装置、画像処理システム及びプログラム |
| US8797377B2 (en) | 2008-02-14 | 2014-08-05 | Cisco Technology, Inc. | Method and system for videoconference configuration |
| US8319819B2 (en) * | 2008-03-26 | 2012-11-27 | Cisco Technology, Inc. | Virtual round-table videoconference |
| US8390667B2 (en) | 2008-04-15 | 2013-03-05 | Cisco Technology, Inc. | Pop-up PIP for people not in picture |
| JP2010003251A (ja) * | 2008-06-23 | 2010-01-07 | Panasonic Corp | 画像リサイズ処理装置及び画像リサイズ処理方法 |
| JP4569680B2 (ja) * | 2008-07-14 | 2010-10-27 | コニカミノルタビジネステクノロジーズ株式会社 | 解像度変換方法 |
| US8694658B2 (en) | 2008-09-19 | 2014-04-08 | Cisco Technology, Inc. | System and method for enabling communication sessions in a network environment |
| US8659637B2 (en) | 2009-03-09 | 2014-02-25 | Cisco Technology, Inc. | System and method for providing three dimensional video conferencing in a network environment |
| US8659639B2 (en) * | 2009-05-29 | 2014-02-25 | Cisco Technology, Inc. | System and method for extending communications between participants in a conferencing environment |
| US9082297B2 (en) | 2009-08-11 | 2015-07-14 | Cisco Technology, Inc. | System and method for verifying parameters in an audiovisual environment |
| WO2011036777A1 (ja) * | 2009-09-25 | 2011-03-31 | 株式会社 東芝 | 画像処理装置 |
| JP4844664B2 (ja) * | 2009-09-30 | 2011-12-28 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US8757171B2 (en) * | 2009-10-06 | 2014-06-24 | Mattel, Inc. | Finger positioning device for a printer |
| US9225916B2 (en) | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
| US9313452B2 (en) | 2010-05-17 | 2016-04-12 | Cisco Technology, Inc. | System and method for providing retracting optics in a video conferencing environment |
| US8896655B2 (en) | 2010-08-31 | 2014-11-25 | Cisco Technology, Inc. | System and method for providing depth adaptive video conferencing |
| US8599934B2 (en) | 2010-09-08 | 2013-12-03 | Cisco Technology, Inc. | System and method for skip coding during video conferencing in a network environment |
| JP5720154B2 (ja) * | 2010-09-09 | 2015-05-20 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| US8599865B2 (en) | 2010-10-26 | 2013-12-03 | Cisco Technology, Inc. | System and method for provisioning flows in a mobile network environment |
| US8699457B2 (en) | 2010-11-03 | 2014-04-15 | Cisco Technology, Inc. | System and method for managing flows in a mobile network environment |
| US9143725B2 (en) | 2010-11-15 | 2015-09-22 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
| US8730297B2 (en) | 2010-11-15 | 2014-05-20 | Cisco Technology, Inc. | System and method for providing camera functions in a video environment |
| US8902244B2 (en) | 2010-11-15 | 2014-12-02 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
| US9338394B2 (en) | 2010-11-15 | 2016-05-10 | Cisco Technology, Inc. | System and method for providing enhanced audio in a video environment |
| US8542264B2 (en) | 2010-11-18 | 2013-09-24 | Cisco Technology, Inc. | System and method for managing optics in a video environment |
| US8723914B2 (en) | 2010-11-19 | 2014-05-13 | Cisco Technology, Inc. | System and method for providing enhanced video processing in a network environment |
| US9111138B2 (en) | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
| USD682854S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen for graphical user interface |
| US8639053B2 (en) * | 2011-01-18 | 2014-01-28 | Dimension, Inc. | Methods and systems for up-scaling a standard definition (SD) video to high definition (HD) quality |
| US8692862B2 (en) | 2011-02-28 | 2014-04-08 | Cisco Technology, Inc. | System and method for selection of video data in a video conference environment |
| US9286643B2 (en) | 2011-03-01 | 2016-03-15 | Applaud, Llc | Personalized memory compilation for members of a group and collaborative method to build a memory compilation |
| JP2012191465A (ja) * | 2011-03-11 | 2012-10-04 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| JP2011192285A (ja) * | 2011-03-31 | 2011-09-29 | Casio Computer Co Ltd | 画像表示装置及びプログラム |
| US8670019B2 (en) | 2011-04-28 | 2014-03-11 | Cisco Technology, Inc. | System and method for providing enhanced eye gaze in a video conferencing environment |
| US8786631B1 (en) | 2011-04-30 | 2014-07-22 | Cisco Technology, Inc. | System and method for transferring transparency information in a video environment |
| US8934026B2 (en) | 2011-05-12 | 2015-01-13 | Cisco Technology, Inc. | System and method for video coding in a dynamic environment |
| JP5777398B2 (ja) * | 2011-05-13 | 2015-09-09 | キヤノン株式会社 | 画像処理装置、画像処理装置の画像処理方法及びプログラム |
| US8947493B2 (en) | 2011-11-16 | 2015-02-03 | Cisco Technology, Inc. | System and method for alerting a participant in a video conference |
| US8682087B2 (en) | 2011-12-19 | 2014-03-25 | Cisco Technology, Inc. | System and method for depth-guided image filtering in a video conference environment |
| EP2805521B1 (en) * | 2012-01-19 | 2018-12-26 | Hewlett-Packard Development Company, L.P. | Right sizing enhanced content to generate optimized source content |
| JP5705173B2 (ja) * | 2012-06-25 | 2015-04-22 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置および画像形成装置 |
| US9681154B2 (en) | 2012-12-06 | 2017-06-13 | Patent Capital Group | System and method for depth-guided filtering in a video conference environment |
| US9843621B2 (en) | 2013-05-17 | 2017-12-12 | Cisco Technology, Inc. | Calendaring activities based on communication processing |
| CN103268596B (zh) * | 2013-05-30 | 2017-04-05 | 华南理工大学 | 一种降低图像噪声和使颜色接近标准的方法 |
| TWI572238B (zh) * | 2014-11-17 | 2017-02-21 | 財團法人資訊工業策進會 | 依應用程式之資訊特徵識別行動裝置的方法及其系統 |
| JP6719104B2 (ja) * | 2015-08-28 | 2020-07-08 | パナソニックＩｐマネジメント株式会社 | 画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体 |
| JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
| EP3405907B1 (en) * | 2016-01-18 | 2022-05-04 | Advanced Micro Devices, Inc. | Performing anti-aliasing operations in a computing system |
| CN105678714B (zh) * | 2016-02-05 | 2020-12-29 | 网易传媒科技（北京）有限公司 | 一种图像处理方法和装置 |
| JP6948787B2 (ja) * | 2016-12-09 | 2021-10-13 | キヤノン株式会社 | 情報処理装置、方法およびプログラム |
| CN109658455B (zh) | 2017-10-11 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 图像处理方法和处理设备 |
| JP2020009185A (ja) * | 2018-07-09 | 2020-01-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP7154877B2 (ja) * | 2018-08-22 | 2022-10-18 | キヤノン株式会社 | 画像投射装置、画像投射装置の制御方法、および、プログラム |
| CN109859053B (zh) * | 2018-11-08 | 2023-08-29 | 平安科技（深圳）有限公司 | 图像查重的方法、装置、计算机设备及存储介质 |
| JP7314505B2 (ja) * | 2018-12-18 | 2023-07-26 | カシオ計算機株式会社 | プログラム、印刷データ生成装置、及び、印刷データ生成方法 |
| JP2022002376A (ja) | 2020-06-22 | 2022-01-06 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4941193A (en) | 1987-10-02 | 1990-07-10 | Iterated Systems, Inc. | Methods and apparatus for image compression by iterated function system |
| US5065447A (en) | 1989-07-05 | 1991-11-12 | Iterated Systems, Inc. | Method and apparatus for processing digital data |
| JPH06237386A (ja) * | 1993-02-10 | 1994-08-23 | Ricoh Co Ltd | 画像処理装置 |
| JP3661964B2 (ja) | 1997-06-17 | 2005-06-22 | 日本放送協会 | 画像拡大処理装置および方法並びに画像拡大処理制御プログラムを記録した記録媒体 |
| US6141017A (en) * | 1998-01-23 | 2000-10-31 | Iterated Systems, Inc. | Method and apparatus for scaling an array of digital data using fractal transform |
| JP3583924B2 (ja) * | 1998-05-11 | 2004-11-04 | 株式会社沖データ | 解像度変換方法及び変換装置 |
-
2001
- 2001-11-07 JP JP2001341432A patent/JP3882585B2/ja not_active Expired - Fee Related
-
2002
- 2002-11-06 US US10/288,427 patent/US7046862B2/en active Active
- 2002-11-07 EP EP02024983A patent/EP1310911B1/en not_active Expired - Lifetime
- 2002-11-07 DE DE60228921T patent/DE60228921D1/de not_active Expired - Lifetime
- 2002-11-07 CN CNB021493278A patent/CN1280772C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1310911A3 (en) | 2006-11-15 |
| US20030095723A1 (en) | 2003-05-22 |
| EP1310911B1 (en) | 2008-09-17 |
| CN1280772C (zh) | 2006-10-18 |
| CN1417745A (zh) | 2003-05-14 |
| US7046862B2 (en) | 2006-05-16 |
| EP1310911A2 (en) | 2003-05-14 |
| DE60228921D1 (de) | 2008-10-30 |
| JP2003143399A (ja) | 2003-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3882585B2 (ja) | 画像処理装置およびプログラム | |
| JP3882651B2 (ja) | 画像処理装置およびプログラム | |
| US6075926A (en) | Computerized method for improving data resolution | |
| WO2002027657A2 (en) | Image sharpening by variable contrast stretching | |
| JP2004166007A (ja) | 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体 | |
| JPH11195113A (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP3625144B2 (ja) | 画像処理方法 | |
| KR101556625B1 (ko) | 영상 확대 보간 방법 | |
| JP3601448B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2003125197A (ja) | 画像処理装置およびプログラム | |
| JP3173496B2 (ja) | 画像データ補間装置、画像データ補間処理用コンピュータ、画像データ補間方法および画像データ補間プログラムを記録した媒体 | |
| JP3491830B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3624153B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3750164B2 (ja) | 画像処理方法および画像処理装置 | |
| JPH0846778A (ja) | 画像拡大方法 | |
| JP3201338B2 (ja) | 画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体 | |
| JP2002077622A (ja) | 画像処理装置および記録媒体 | |
| JP2001268349A (ja) | オブジェクト画素判断装置、オブジェクト画素判断方法、オブジェクト画素判断プログラムを記録した媒体、オブジェクト画素判断プログラム、オブジェクト画素抽出装置、オブジェクト画素抽出方法、オブジェクト画素抽出プログラムを記録した媒体およびオブジェクト画素抽出プログラム | |
| JP2008306733A (ja) | 画像データ補間装置、画像データ印刷装置、画像データ補間方法および画像データ補間プログラムを記録した媒体 | |
| JP4590973B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3054299B2 (ja) | 画像処理装置及びその方法 | |
| JP2004096715A (ja) | 画像データ補間装置、画像データ補間処理用コンピュータ、画像データ補間方法および画像データ補間プログラムを記録した媒体 | |
| JP3544566B2 (ja) | 画像拡大方法 | |
| JP5013243B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及びこれを記録した記録媒体 | |
| JPH07262361A (ja) | 画像処理方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040915 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061106 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131124 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |