JP4590973B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、例えば低品質の画像を補間して高品質の画像に変換可能な画像処理装置及び画像処理方法に関する。

例えば、低品質のデジタル画像を高品質の画像に変換したり、低解像度の画像を高解像度に変換したり、画像を拡大したりする場合には、オリジナルの画素と画素との間に新たな画素を挿入する等の画像補間が行われる。デジタル画像の補間方法としては、例えば、最近傍補間法（最近隣接補間法、零次ホールド法、Nearest-Neighbor法とも呼ばれる）、線形補間法（直線補間法、共一次補間法、Bi-Linear法とも呼ばれる）、３次たたみ込み補間法（立体コンボリューション法、Bi-Cubic法、Cubic Convolution法と呼ばれる）が知られている。

上述した各補間法は、サンプリング定理に基づくsinc関数による補間を基本概念としているため、原画像がナイキスト周波数の半分以下の周波数成分から構成されている場合にのみ、理論的に正しい。しかし、実際の原画像に含まれる周波数成分は無限に大きいため、前記各補間法では、原画像中に含まれる高周波成分を復元することができない。

そこで、このようなサンプリングの過程で失われた高周波成分を補間するための手法として、周波数変換法が提案されている。周波数変換法としては、周波数領域において帯域制限された周波数成分を実空間に射影し、全実空間成分のうちの制限範囲のみを周波数空間に射影し、全周波数成分のうちの帯域制限された部分を既知である元周波数成分に置き換えた上で、再び実空間に射影するという操作を無限に繰り返すゲルヒベルグ−パポリスの反復法（ＧＰ法）がよく知られている。一般的には、周波数変換にＤＣＴ演算を用いることで演算上の負担を軽減している（ＩＭ−ＧＰＤＣＴ法）。

しかし、適当な高周波成分が得られるまで、ＤＣＴ演算や逆ＤＣＴ演算を繰り返す必要があるため、処理時間が長くなる。また、ノイズが強調されたり、リンギングが発生したりして、画質が低下するおそれもある。

本発明は、上記のような課題に鑑みなされたもので、その目的は、高品質の画像をより高速に得ることができる画像処理装置及び画像処理方法を提供することにある。

上記目的達成のため、本発明では、例えば、フラクタル相似性の度合に応じて画像ブロックの取得サイズを設定し、近接するブロック同士が重なり合うようにして各画像ブロックを取得すると共に、該各画像ブロックに相似する画像を検出し、置換する。

本発明に係る画像処理装置では、相似性判定手段により、原画像の所定の画素毎に、該画素周辺の画像の相似性の度合を判定させる。ブロックサイズ設定手段は、判定された相似性の度合に応じて、原画像から取得すべき画像ブロックのサイズを設定する。画像ブロック取得手段は、ブロックサイズ設定手段により設定されたサイズの画像ブロックを、近接する各画像ブロックが所定量だけ重なり合うようにして、原画像からそれぞれ取得する。相似画像検出手段は、取得された各画像ブロックのそれぞれについて、所定の探索領域内から該各画像ブロックに相似する相似画像ブロックを検出する。画像置換手段は、検出された各相似画像ブロックを、対応する前記各画像ブロックにそれぞれ置換させる。画像加算手段が前記置換された各相似画像ブロックを重ね合わせると、画像調整手段は、加算されたブロックの重複部分の画像を調整する。

原画像のディジタルデータは、例えば、メモリ等の原画像保持手段により保持されている。画像ブロック取得手段は、保持された原画像から所定サイズ（ｎ×ｍ画素、ｎ＝ｍでもよい）の画像ブロックを取得する。

ここで、ある画素に係る画像ブロックの取得サイズは、該画素周辺の画像が有する相似性の度合に基づいて設定される。例えば、注目する画素を略中心とする所定サイズ（ｘ×ｙ）の画像が有するエッジ強度を、相似性の度合として使用することができる。フラクタル自己相似性の度合が高いほど、エッジ強度も高くなる性質を有する。フラクタル自己相似性の度合が高い場合は、画像ブロックのサイズを小さくすることができる。画像ブロックのサイズを小さくするほど、相似画像ブロックとの相似性判定等に要する処理時間を短縮できる。

近接する画像ブロックがそれぞれ所定量ずつ重なり合うようにして、相似性の度合に応じて定まる所定サイズの各画像ブロックが取得される。例えば、原画像の一画素毎に当該画素を略中心とする所定サイズの画像ブロックを取得することにより、隣接する各画像ブロックは、所定量ずつ重なり合うことになる。

相似画像検出手段は、所定の探索領域内から各画像ブロックに相似する相似画像ブロックを検出する。画像のある一部は、周囲のより大きな画像の縮小形となっている性質、即ち、フラクタル相似性を利用して、原画像の中から画像ブロックに相似する相似画像ブロックを検出することができる。

具体的には、例えば、相似画像検出手段は、探索領域内の画像を、平行移動、拡大、縮小及び回転させる等のアフィン変換を行うことにより、取得された画像ブロックに相似する複数の候補画像ブロックを検出することができる。これら各候補画像ブロックと元の画像ブロックとの距離（相似性）を算出することにより、画像ブロックに最も相似する相似画像ブロックを得ることができる。

相似画像検出手段は、相似性の度合が高くなるほど探索領域が小さくなるように設定することができる。なお、探索領域は、最大でも原画像よりも小さく設定するのが好ましい。相似性の度合が高いほど、画像ブロックに相似する画像は、該画像ブロックの周辺に存在する可能性が高い。相似性の度合に応じて探索領域を可変に設定することにより、相似画像ブロックを検出する時間を短縮することができる。相似性の度合に応じて、画像ブロックの取得サイズ及び相似画像ブロックの探索領域を設定することにより、処理時間を短縮することができる。

ここで、相似性の度合が所定の基準値を上回る各画像ブロックについてのみ相似画像ブロックをそれぞれ検出し、前記基準値以下の各画像ブロックについては、相似画像ブロックの検出は行わないようにすることもできる。

検出された各相似画像ブロックは、画像置換手段によって、それぞれ対応する画像ブロックに置き換えられる。置換された各相似画像ブロックは、所定量ずつ重なり合って加算される。近接する各画像ブロックは互いに所定量ずつ重なり合うようにして取得されているので、加算される各ブロックも近接するブロック同士が所定量ずつ重なり合う。そこで、画像調整手段は、ブロックの重なり合った部分の値を調整する。例えば、重なり合った画素の値を加算して平均化することにより画像を調整することができる。これに限らず、例えば、重み付けをして平均をとってもよい。

相似性の度合が所定の基準値以下の各画像ブロックは、そのまま使用することができる。この場合、大別するなら、相似画像ブロック同士が重なり合う箇所、相似画像ブロックと画像ブロックとが重なり合う箇所、画像ブロック同士が重なり合う箇所の３種類の重なりを生じうる。

相似画像検出手段は、画像ブロックのサイズよりも大きいサイズで相似画像ブロックを検出し、該相似画像ブロックのサイズを前記画像ブロックのサイズと等しくなるように縮小させるものであってもよい。

例えば、画像ブロックのサイズをｎ×ｍ、相似画像ブロックのサイズを（ｋ・ｎ）×（ｋ・ｍ）とすれば、相似画像ブロックをｋ分の一に縮小することにより、画像ブロックと相似画像ブロックのサイズを一致させることができる。

または、相似画像検出手段は、画像ブロックのサイズよりも大きいサイズで原画像中に設定される所定領域の中から、画素を間引きすることにより、前記画像ブロックと同一サイズの相似画像ブロックを検出するものであってもよい。

前記の例で言えば、（ｋ・ｎ）×（ｋ・ｍ）の画素を有する相似画像ブロックから１／ｋ²の画素を抽出し、残りの画素を捨てることにより、ｎ×ｍ個の画素を有する画像ブロックと同一サイズの相似画像ブロックを得ることができる。

原画像がカラー画像の場合は、原画像の各表色系成分のうち画像の明るさに関連する表色系成分とそれ以外の表色系成分とのいずれか一方を指定させることにより、この指定された表色系成分についてのみ本発明に係る画像処理を適用してもよい。即ち、指定された表色系成分についてのみ、各画像ブロックを相似画像ブロック置換して重複部分を調整することができる。

例えば、ＲＧＢ表色系を例に挙げると、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のうち、Ｇ成分は画像の明るさに最も大きく関与し、Ｒ成分及びＢ成分は色味に関与する。また、例えば、ＹＵＶ表色系、ＹＩＱ表色系、ＹＣｂＣｒ表色系及びＬａｂ表色系では、Ｙ成分又はＬ成分が画像の明るさに最も関与する成分であり、その他の成分（Ｕ，Ｖ，Ｉ，Ｑ等）は、色味に関与する。そこで、例えば、画像処理装置が適用される製品の種類（ディジタルカメラ、プリンタ、スキャナ等々）や原画像の特性（自然画像か否か）、ユーザーの好み等に応じて、明るさに関連する表色系成分とそれ以外の表色系成分とのいずれに、本画像処理を適用するかを選択可能とする。

本発明は、コンピュータプログラムを記録した記録媒体として把握することもできる。プログラムは、例えば、ハードディスクやフロッピーディスク、メモリ等の種々の有形的な記録媒体に固定することができる。また、これに限らず、例えば、ネットワーク上のサーバから所定のプログラムをダウンロードする等のように、通信媒体を用いることもできる。

以上説明した通り、本発明に係る画像処理装置及び画像処理方法によれば、低品質の画像を高品質の画像に比較的短時間で変換することが可能となる。

以下、図１〜図１２に基づき、本発明の実施の形態を説明する。

図１〜図７は本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。

本画像処理装置１は、原画像保持部２から入力される原画像に所定の画像処理を加えて、出力画像保持部１３に処理済みの画像を出力するものである。原画像保持部２及び出力画像保持部１３は、メモリ等から構成される。原画像保持部２及び出力画像保持部１３は、画像処理装置１の構成として取り込んでも良いし、画像処理装置１とはそれぞれ別体の構成としてもよい。例えば、原画像が記録されたＰＣカードから原画像データを読み出し、処理済みの画像を当該ＰＣカードの空き領域に書き戻す場合は、ＰＣカードが原画像保持部２及び出力画像保持部１３となる。

「画像ブロック取得手段」としての局所領域画像取得部３は、原画像の各画素毎に所定サイズの局所領域画像をそれぞれ取得するものである。局所領域画像が「画像ブロック」に該当する。図２と共に後述するように、各画素毎にそれぞれ局所領域画像を取得するため、近接する各局所領域画像は所定量ずつ重なり合うことになる。局所領域画像取得部３は、パラメータ設定部４から設定される局所領域画像取得用のパラメータに基づいて、エッジ強度に応じた所定サイズの局所領域画像を取得する。即ち、パラメータ設定部４は、エッジ強度判定部１４から入力されたエッジ強度に基づいてブロックサイズ管理テーブル１５を参照し、注目画素周辺の画像のエッジ強度に応じたブロックサイズを局所領域画像取得部３に設定する。ブロックサイズ管理テーブル１５には、例えば、「低」、「中」及び「高」の各エッジ強度の段階毎に、局所領域画像の取得サイズがそれぞれ対応付けられている。

アフィン変換画像取得部６は、局所領域画像取得部３により取得された各局所領域画像に相似する画像を、原画像中から検出して取得するものである。アフィン変換画像取得部６は、アフィン変換パラメータ設定部７で設定されたアフィン変換用パラメータに基づいて、局所領域画像の周辺に存在する画像を操作し、局所領域画像に相似するアフィン変換画像を検出するようになっている。局所領域画像に相似するアフィン変換画像が「相似画像ブロック」に該当する。

ここで、アフィン変換画像取得部６は、エッジ強度判定部１４からの判定結果に基づいて、注目画素周辺の画像のエッジ強度が所定の基準値を上回る場合にのみ、該注目画素に係る局所領域画像と相似するアフィン変換画像を検出するようになっている。

アフィン変換画像取得部６は、局所領域画像よりも大きいサイズ、例えば縦横２倍のサイズのアフィン変換画像を取得する。この取得されたアフィン変換画像は、縮小部８により局所領域画像と同サイズになるように縮小される。相似性算出部９は、局所領域画像取得部３が取得した局所領域画像とアフィン変換画像取得部６により取得され縮小部８により縮小されたアフィン変換画像との距離を算出し、両者の相似性、類似度を算出するものである。距離計算は、固有ベクトル距離を計算してもよいし、簡易的に二乗平均を取ってもよい。ここで、アフィン変換画像取得部６，縮小部８及び相似性算出部９が「相似画像検出手段」に該当する。

そして、相似性算出部９によって最も相似すると判定されたアフィン変換画像は、「画像置換手段」としての置換部１０によって、対応する局所領域画像と置き換えられる。

「画像加算手段」としての加算部１１は、置換されたアフィン変換画像と置換されなかった局所領域画像とを加算する。即ち、原画像から取得された全局所領域画像は、自己に相似するアフィン変換画像に置換されて加算されるか、又は、元の局所領域画像のままで加算される。近接する局所領域画像同士が重なり合うようにして局所領域画像が取得されるため、置換されたアフィン変換画像及び元の局所領域画像は、近接する画像同士が所定量ずつ重なり合うようにして、加算部１１により加算される。「画像調整手段」としての平均化処理部１２は、各画像が重なり合った部分の値を平均化することにより調整する。重なり合った部分の画像調整方法としては、単純平均をとってもよいし、または、重み付けして平均をとってもよい。このようにして調整された画像は、出力画像保持部１３に保持される。なお、画像調整後に、拡大処理、縮小処理、回転処理、色変換処理等を行っても良い。

注目画素ポインタ５は、現在処理中の画素（注目画素）の位置を検出する。

「相似性判定手段」としてのエッジ強度判定部１４は、注目画素周辺の画像が有するフラクタル性の度合を判定するものである。フラクタル性の度合として、本実施の形態では「エッジ強度」を用いる。エッジ強度については、図５と共に後述する。判定されたエッジ強度は、パラメータ設定部４に入力される。

図２は、画像処理装置による画像処理方法の大略を示す説明図である。図２（ａ）に示すように、原画像の各画素毎に所定サイズの局所領域画像が設定され、各局所領域画像毎にアフィン変換画像がそれぞれ取得される。

現在の処理に係る注目画像を略中心に、所定のブロックサイズとして、例えば、ｎ×ｎサイズの局所領域画像が取得される。図中では、ｎ＝４の場合を例示している。アフィン変換画像は、局所領域画像サイズよりも大きくなるように、具体的には例えば縦横２倍の大きさで取得される（２ｎ×２ｎ）。実施の形態では、特に明示しない限り、局所領域画像及びアフィン変換画像を正方形として説明するが、本発明はこれに限定されない。各画像は長方形、平行四辺形等の他の多角形に設定することも可能である。

ここで、局所領域画像に相似するアフィン変換画像は、原画像の全体から探索することも可能である。しかし、探索領域を広げるほど処理時間が長くなる。また、画像ブロック（局所領域画像）のサイズや原画像の特性等にもよるが、相似画像ブロック（アフィン変換画像）は画像ブロックの周辺で発見される可能性が高い場合がある。特に、本発明は、原画像全体を互いに重複しない複数の画像ブロックに分割して、各画像ブロックに相似する画像ブロックを求めるものではなく、隣接する各画像ブロックの一部が重複するように設定するため、画像ブロック数が多くなり、相似画像ブロックを検出する回数が増大する。従って、相似画像ブロックの探索領域（探索範囲）を原画像全体に広げると、処理時間がより長くなる可能性がある。

そこで、本実施の形態では、原画像の全体を探索するのではなく、原画像の一部に設定される探索領域内で、相似画像ブロックを探索するようにしている。探索領域のサイズは、原画像の性質等に応じて動的に変更することができる。画像ブロックのサイズをｎ×ｍ、原画像のサイズをＸmax，Ｙmax、探索領域のサイズをαｎ×βｍとした場合、下記の関係が成立する。

１＜α＜Ｘmax／ｎ・・・（数式１）
１＜β＜Ｙmax／ｍ・・・（数式２）

探索領域のサイズを決定する係数α，βの値は、上記数式１，２を満たす範囲で任意に設定することができる。但し、本発明はこれに限らず、原画像全体を探索してもよい。

図２（ｂ）に示すように、局所領域画像よりも縦横２倍サイズで取得されたアフィン変換画像（「候補画像ブロック」）は、局所領域画像と同一サイズになるように縮小される。そして、縮小されたアフィン変換画像と局所領域画像との距離が算出され、相似性、類似度が判定される。ある局所領域画像について複数個取得されたアフィン変換画像の中から最も相似性の高いアフィン変換画像が、当該局所領域画像と置換される。

図２（ｃ）に示すように、近接する画像同士が互いに重複するようにして局所領域画像が取得されているため、該各局所領域画像に置換されるアフィン変換画像もそれぞれ隣接する画像同士が重複する。図中に示すように、４画素×４画素の局所領域画像を一画素ずつずらして取得する場合、ｘ方向だけに着目すると、最大４枚の画像が重複することになる。ｙ方向でも同様に最大で４枚の局所領域画像が重複する。そこで、重複した部分は、各画素の値の単純平均を取ることで調整する。

なお、本実施の形態では、全局所領域画像についてアフィン変換画像を取得するのではなく、エッジ強度（フラクタル性）が所定の基準値を上回る局所領域画像についてのみアフィン変換画像を取得している。従って、図２（ｃ）に示す４枚の画像が全てアフィン変換画像になるとは限らない。アフィン変換画像同士、元の局所領域画像同士、アフィン変換画像と局所領域画像とが重なり合う場合がある。

図３は、アフィン変換画像を取得する際の画像操作方法及びパラメータを示す説明図である。図３（ａ）に示すように、画像をＳｘ，Ｓｙだけ平行移動させることができる。また、図３（ｂ）に示すように、画像を角度θだけ回転させることもできる。さらに、図３（ｃ），（ｄ）に示すように、画像をｘ方向にＥｘ倍拡大又は縮小したり、ｙ方向にＥｙ倍拡大又は縮小することもできる。

次に、図４〜図６に基づいて本実施の形態の作用を説明する。以下、ステップを「Ｓ」と略記する。

まず、図４は、画像処理の全体の流れを示すフローチャートである。Ｓ１では、注目画素の座標（ｘ，ｙ）に（０，０）をセットし、原画像の最初の画素から変換を開始させる。次に、注目画素の周辺の画像についてエッジ強度を計算する（Ｓ２）。Ｓ２では、局所領域画像の取得サイズを決定すべく、注目画素周辺の画像が有するエッジ強度を算出する。

図５に示すように、注目画素Ｐｘ５を中心とする３画素×３画素の画像を例に挙げると、注目画素の上下に位置する列のレベル差（｜Ｐｘ１＋Ｐｘ２＋Ｐｘ３｜−｜Ｐｘ７＋Ｐｘ８＋Ｐｘ９｜）と、注目画素の左右に位置する列のレベル差（｜Ｐｘ１＋Ｐｘ４＋Ｐｘ７｜−｜Ｐｘ３＋Ｐｘ６＋Ｐｘ９｜）とを検出し、これによりエッジ強度を算出する（Ｓ２）。即ち、注目画素周辺のエッジ強度をもってフラクタル性の度合の強さを判定している。

なお、エッジ強度判定のための画像領域のサイズと局所領域画像のサイズとは必ずしも一致しない。局所領域画像のサイズは、エッジ強度に応じて変化するからである。なお、図５に示す例は一例に過ぎず、４画素×４画素や５画素×５画素の大きさでエッジ強度を算出してもよい。

次に、算出されたエッジ強度がいずれの段階に相当するかランク分けを行う（Ｓ３，Ｓ６，Ｓ８）。即ち、エッジ強度が「所定の基準値」としてのレベルｔｈ１以下であるか否か（Ｓ３）、エッジ強度がレベルｔｈ１を上回るが次のレベルｔｈ２以下であるか否か（Ｓ６）、エッジ強度がレベルｔｈ２を上回るが最高レベルｔｈ３以下であるか否か（Ｓ８）をそれぞれ判定する。

そして、図６に示すように、検出されたエッジ強度の強さに応じて、局所領域画像のブロックサイズ及びアフィン変換画像を取得するか否かを決定する。

（１）エッジ強度≦ｔｈ１の場合
エッジ強度がレベルｔｈ１以下の場合は（S3:NO）、図６（ａ）に示すように、予め設定された初期ブロックサイズｎｓで局所領域画像が取得され（Ｓ４）、この取得された局所領域画像がそのまま加算される（Ｓ５）。

（２）ｔｈ１＜エッジ強度≦ｔｈ２の場合
エッジ強度がレベルｔｈ１を上回り、かつレベルｔｈ２（ｔｈ２＞ｔｈ１）以下である場合は（S6:NO）、図６（ｂ）に示すように、「低」エッジ強度用の第１のブロックサイズｎ１で局所領域画像が取得される（Ｓ７）。なお、図６中、初期ブロックサイズｎｓ及び第１のブロックサイズｎ１は、ともに４画素の値に設定されているが、両サイズが一致する必要はない。初期ブロックサイズｎｓを第１のブロックサイズｎ１よりも大きく設定してもよい。

（３）ｔｈ２＜エッジ強度≦ｔｈ３
エッジ強度がｔｈ２を上回り、かつレベルｔｈ３（ｔｈ３＞ｔｈ２）以下である場合は（S8:NO）、図６（ｃ）に示すように、「中」エッジ強度用の第２のブロックサイズｎ２で局所領域画像が取得される（Ｓ９）。

（４）ｔｈ３＜エッジ強度
算出されたエッジ強度がレベルｔｈ３を上回る場合は（S8:YES）、図６（ｄ）に示すように、「高」エッジ強度用の第３のブロックサイズｎ３で局所領域画像が取得される（Ｓ１０）。

以上のように、エッジ強度に応じたブロックサイズがセットされると、このブロックサイズで局所領域画像が取得され、取得された局所領域画像についてフラクタル補間が行われる（Ｓ１１）。フラクタル補間については、図７と共に後述する。

そして、注目する画素を次の画素に移し（Ｓ１２）、原画像の全画素について、アフィン変換画像又は局所領域画像のいずれかを取得したか否かを判定する（Ｓ１３）。原画像全体の処理が終了していない場合は、再びＳ２に戻って上述の各処理を繰り返す。

原画像の全画素について、それぞれに対応する局所領域画像又は局所領域画像に相似するアフィン変換画像を取得して加算した場合は（S13:YES）、各画像の重複部分について平均化し、出力画像とする（Ｓ１４）。なお、このようにして変換された画像を拡大等する場合は、さらに、線形補間等の従来の補間処理を行うことができる。

次に、図７は、図４中にＳ１１として示されるフラクタル補間処理の流れを示すフローチャートである。

まず、局所領域画像とアフィン変換画像との相似性を判定するための「最小距離」に最大値をセットする（Ｓ２１）。そして、先にセットされたブロックサイズにより、注目画素を略中心とする局所領域画像を取得し（Ｓ２２）、アフィン変換用の各パラメータ（Sx,Sy,Ex,Ey,θ）にそれぞれ初期値（下限値）をセットする（Ｓ２３）。なお、後述する他のステップでも同様だが、処理に影響がない限り、ステップの処理順序を変更可能である。即ち、Ｓ２１〜Ｓ２３の処理順序は問わない。

設定されたパラメータに基づいてアフィン変換画像を取得すると（Ｓ２４）、この取得したアフィン変換画像が局所領域画像と同一サイズになるように縮小する（Ｓ２５）。そして、局所領域画像と該局所領域画像に対応する同一サイズのアフィン変換画像との距離を算出し（Ｓ２６）、この算出された距離が相似性判定のパラメータ「最小距離」に設定された値よりも小さいか否か、即ち、より相似しているかを判定する（Ｓ２７）。もしも、最新の距離の算出結果が「最小距離」よりも小さい場合は、この最新のアフィン変換パラメータ及び距離の値を保持しておく（Ｓ２８）。最新の距離が「最小距離」よりも小さくない場合は、取得されたアフィン変換画像が局所領域画像に似ていない場合のため、各パラメータ及び距離の値を保持しない。

そして、各パラメータを所定量だけ変化させ（Ｓ２９）、各パラメータの可変範囲を超えたか否かを判定する（Ｓ３０）。つまり、各パラメータを初期値から上限値まで変化させながらアフィン変換画像をそれぞれ取得し、局所領域画像との距離を算出する（Ｓ２４〜Ｓ３０）。従って、Ｓ２８では、各パラメータの可変範囲内で得られるアフィン変換画像のうち、現在の注目画素に係る局所領域画像と最も相似するアフィン変換画像のアフィン変換パラメータ及びその距離が保持されることになる。

各パラメータを上限まで変化させた場合には、Ｓ２８で保持された各パラメータに基づいて、局所領域画像に最も相似するアフィン変換画像を取得する（Ｓ３１）。そして、取得したアフィン変換画像を局所領域画像と同一サイズまで縮小し（Ｓ３２）、先に取得されたアフィン変換画像に加算する（Ｓ３３）。加算とは、メモリ領域の所定位置にアフィン変換画像のディジタルデータを格納することである。

これにより、原画像から取得される全局所領域画像のうち、フラクタル相似性の度合が基準値ｔｈ１より高い局所領域画像については、該局所領域画像に相似するアフィン変換画像が原画像中の所定の探索領域内から検出されて置換され、加算される。一方、フラクタル相似性の度合が基準値ｔｈ１以下の局所領域画像については、アフィン変換画像の取得は行われず、元の局所領域画像がそのまま加算される。

このように構成される本実施の形態では、以下の効果を奏する。

第１に、近接する画像同士が所定量ずつ重なり合うようにして局所領域画像を取得し、フラクタル相似性が所定の基準値ｔｈ１よりも高い各局所領域画像については、該各局所領域画像に相似するアフィン変換画像を原画像中から検出して置換するため、低品質の画像を高品質の画像に変換可能となる。

第２に、エッジ強度に応じて局所領域画像のブロックサイズを設定するため、相似性判定等に要する時間を短縮することができる。即ち、エッジ強度が高いほど局所領域画像のサイズが小さくなり、画素数を減らして演算量を少なくすることができる。特に、局所領域画像同士が所定量ずつ重なり合うようにして取得する本発明では、原画像を単純に分割して相似画像と置換させる場合に比べて、多数の局所領域画像が取得されるが、エッジ強度に応じて局所領域画像のブロックサイズを可変に設定することにより、処理時間を短縮することができる。

第３に、フラクタル性の度合が所定の基準値ｔｈ１よりも高い場合にのみアフィン変換画像を取得するため、全ての局所領域画像についてアフィン変換画像を取得する場合に比較して、処理時間を短縮することができる。従って、前記局所領域画像のブロックサイズを可変に設定する構成と結合して、より一層の高速処理を実現できる。

第４に、各画像を所定量ずつ重複せしめ、重なり合った部分を平均化等により処理するため、画像を重複させない場合に比べて、画像間のつなぎ目に違和感が生じるのを防止できる。従って、例えば、原画像が自然画像の場合等に、自然な階調変化を保ちつつ品質を高めることができる。

第５に、アフィン変換画像と局所領域画像との相似性を判断しながら、局所領域画像に最も相似するアフィン変換パラメータを保持し、探索領域の探索が終了した後で、保持したアフィン変換パラメータによりアフィン変換画像を取得するため、少ないメモリ資源で局所領域画像に相似するアフィン変換画像を得ることができる。

次に、図８に基づき、本発明の第２の実施の形態を説明する。なお、以下の各実施の形態では、上述した構成要素と同一の構成要素に同一の符号を付し、その説明を省略するものとする。本実施の形態の特徴は、画素を間引きしてアフィン変換画像を取得することにより、局所領域画像と同一サイズのアフィン変換画像を得るようにした点にある。

図８（ａ）に示すように、所定の探索領域内から２ｎ×２ｎのサイズでアフィン変換画像を取得し、この取得したアフィン変換画像を縦横１／２に縮小することにより、ｎ×ｎサイズの局所領域画像と同一サイズのアフィン変換画像を得ることができる。逆に言えば、局所領域画像のブロックサイズの２倍のサイズでアフィン変換画像を取得し、このアフィン変換画像を縦横１／２に縮小することにより、元の局所領域画像と同一サイズのアフィン変換画像を得られる。

これに対し、図８（ｂ）に示すように、２ｎ×２ｎのサイズでアフィン変換画像を取得するものの、該サイズ中の全画素を取得するのではなく、１個置きに画素を間引いて取得することにより、縮小処理を行わずに局所領域画像と同一サイズのアフィン変換画像を得ることができる。

次に、図９〜図１１に基づいて、本発明の第３の実施の形態を説明する。本実施の形態の特徴は、エッジ強度に応じて、局所領域画像のブロックサイズ及びアフィン変換画像の探索領域を設定する点にある。

図９に示すように、本実施の形態による画像処理装置１は、パラメータ管理テーブル１６をさらに備えている。パラメータ管理テーブル１６は、アフィン変換パラメータ７と共に「探索領域設定手段」として表現可能である。パラメータ管理テーブル１６は、各エッジ強度毎にアフィン変換用のパラメータ群を対応付けて管理している。パラメータ管理テーブル１６には、図３と共に上述した各種パラメータＳｘ，ＳＹ，θ，Ｅｘ，Ｅｙの上限値及び下限値が一群のものとして登録されている。即ち、各パラメータ群は、Ｓｘmax，Ｓｘmin，ＳＹmax，Ｓｙmin，θmax，θmin，Ｅｘmax，Ｅｘmin，Ｅｙmax，Ｅｙminから構成されている。

図１０は、本実施の形態による処理の流れを示すフローチャートである。本画像処理では、Ｓ７，Ｓ９及びＳ１０の次にそれぞれ新規なステップが追加されている。即ち、エッジ強度に応じて局所領域画像のブロックサイズが設定された後（Ｓ７，Ｓ９，Ｓ１０）、エッジ強度に応じてアフィン変換用のパラメータがそれぞれ設定される。

従って、図１１（ａ）に示すように、注目画素周辺の画像のエッジ強度がｔｈ１以下の場合は、初期ブロックサイズｎｓで局所領域画像が取得され、この取得された局所領域画像がそのまま加算される。ｔｈ１＜エッジ強度≦ｔｈ２の場合は、ブロックサイズｎ１で局所領域画像が取得され、この取得された局所領域画像に相似するアフィン変換画像が比較的広い探索領域内から検出される。また、ｔｈ２＜エッジ強度≦ｔｈ３の場合は、ブロックサイズｎ２で局所領域画像が取得され、中程度の探索領域内からこの局所領域画像に相似するアフィン変換画像が検出される。同様に、ｔｈ３＜エッジ強度の場合は、ブロックサイズｎ３で局所領域画像が取得され、アフィン変換画像は比較的小さい探索領域内から検出される。図１１に示すように、エッジ強度が強くなるほど、取得される局所領域画像のブロックサイズ及びアフィン変換画像の探索領域が小さくなる。

本実施の形態によれば、局所領域画像のブロックサイズのみならず、アフィン変換画像の探索領域をもエッジ強度に応じて可変に設定するため、演算処理の時間を短縮することができる。

次に、図１２に基づいて本発明の第４の実施の形態を説明する。本実施の形態の特徴は、原画像の特性等に基づいて、局所領域画像のブロックサイズ及びアフィン変換パラメータの値を各色成分毎に設定可能とした点にある。

まず、ユーザーは、画像処理装置による画像改質を行うに際し、色にじみ防止モードかシャープモードかを排他的に選択することができる（Ｓ５１）。色にじみ防止モードでは、色のにじみを抑えるべく、ＲＧＢ表色系で表現された原画像のうちＲ成分及びＢ成分に本発明によるフラクタル補間を適用する。一方、シャープモードでは、画像の輪郭等を鮮明にするべく、Ｇ成分のみフラクタル補間を適用する。例えば、各１個ずつのＲ成分用画素及びＢ成分用画素と２個のＧ成分用画素とで一つの単位を形成しているようなディジタルカメラ等において、色にじみ防止モードは自然画像に、シャープモードは文字や線図等の画像に、それぞれ好適に用いられる。

色にじみ防止モードが選択された場合は、フラクタル補間対象となる色プレーンにＲプレーン及びＢプレーンをセットする（Ｓ５２）。一方、シャープモードが選択された場合は、フラクタル補間対象プレーンとしてＧプレーンをセットする（Ｓ５３）。

そして、前記同様に、注目画素の初期値をセットした後（Ｓ５４）、注目画素周辺の画像のエッジ強度を算出する（Ｓ５５，Ｓ５６）。算出されたエッジ強度が所定の基準値ｔｈ１を上回る場合は（S56:YES）、エッジ強度に応じて、局所領域画像のブロックサイズ及びアフィン変換パラメータをセットし、フラクタル補間を行う（Ｓ５７，Ｓ５８）。エッジ強度が基準値ｔｈ１以下の場合は（S56:NO）、取得した局所領域画像をそのまま加算する（Ｓ５９，Ｓ６０）。原画像の全画素について処理を終了するまで上記各処理を繰り返す（Ｓ６１，Ｓ６２）。

原画像の全画素についてアフィン変換画像又は局所領域画像を取得した場合は（S62:YES）、各画像を加算して平均化する（Ｓ６３）。これにより、一枚のプレーンの処理が終了する。そこで、次に処理すべきプレーンがあるか否かを判定し（Ｓ６４）、処理すべきプレーンが残っている場合は、該プレーンに切り替えて上述の各処理を行わせる（Ｓ６５）。フラクタル補間の実行を指定された全プレーンについて処理を終了した場合は、他のプレーンと合成し、出力画像を得る（Ｓ６６）。

即ち、色にじみ防止モードの場合は、Ｒプレーン及びＢプレーンの画像データについて本発明によるフラクタル補間が行われ、Ｇプレーンと合成されて出力画像が得られる。この場合、Ｇプレーンについては、線形補間等の他の補間処理を行ってから合成してもよいし、補間処理を行わずに合成してもよい。同様に、シャープモードの場合は、Ｇプレーンの画像データについてのみ本発明によるフラクタル補間が行われ、Ｒプレーン及びＢプレーンと合成される。

これにより、原画像の特性やユーザーの希望等に応じて、画像処理を行うことができる。

なお、当業者であれば、前記各実施の形態に記載された本発明の要旨の範囲内で種々の追加、変更、組合せ等が可能である。例えば、前記各実施の形態では、原画像の各画素毎に局所領域画像を取得する場合を例示したが、これに限らず、例えば、１画素おき、２画素おき等のように、近接する局所領域画像が所定量ずつ重なり合う範囲内において、所定間隔で画素を選定してもよい。

本発明の第１の実施の形態に係る画像処理装置のブロック図である。 画像処理の概要を示す説明図である。 アフィン変換の概要を示す説明図である。 画像処理方法を示すフローチャートである。 エッジ強度の算出方法を示す説明図である。 エッジ強度のレベルに応じて局所領域画像のブロックサイズが変化する様子を示す説明図である。 図４中に示されるフラクタル補間の具体的処理の流れを示すフローチャートである。 本発明の第２の実施の形態に係る画像処理方法の説明図である。 本発明の第３の実施の形態に係る画像処理装置のブロック図である。 画像処理方法を示すフローチャートである。 エッジ強度に応じて局所領域画像のブロックサイズ及びアフィン変換画像の探索領域サイズが変化する様子を示す説明図である。 本発明の第４の実施の形態に係る画像処理方法のフローチャートである。

符号の説明

１ 画像処理装置
２ 原画像保持部
３ 局所領域画像取得部
４ パラメータ設定部
５ 画素ポインタ
６ アフィン変換画像取得部
７ アフィン変換パラメータ設定部
８ 縮小部
９ 相似性算出部
１０ 置換部
１１ 加算部
１２ 平均化処理部
１３ 出力画像保持部
１４ エッジ強度判定部
１５ ブロックサイズ管理テーブル
１６ パラメータ管理テーブル

Claims (11)

1. 原画像を保持するための原画像保持手段と、
   所定の画素毎に、該画素周辺の画像の相似性の度合を判定する相似性判定手段と、
   前記判定された相似性の度合に応じて、前記原画像から取得すべき画像ブロックのサイズを設定するブロックサイズ設定手段と、
   前記ブロックサイズ設定手段により設定されたサイズの画像ブロックを前記保持された原画像からそれぞれ取得する画像ブロック取得手段と、
   前記画像ブロックのそれぞれについて、所定の探索領域内から該各画像ブロックに相似する相似画像ブロックを当該画像ブロックのサイズよりも大きいサイズで検出し、この検出された相似画像ブロックのサイズを前記画像ブロックのサイズと等しくなるように縮小させる相似画像検出手段と、
   前記縮小された各相似画像ブロックを、対応する前記各画像ブロックにそれぞれ置換する画像置換手段と、
   前記置換された各相似画像ブロックを重ね合わせる画像加算手段と、
   前記画像加算手段により加算されたブロックの重複部分の画像を調整する画像調整手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記ブロックサイズ設定手段は、前記相似性の度合が高くなるほど、取得すべき画像ブロックのサイズが小さくなるように設定するものである請求項１に記載の画像処理装置。
3. 前記相似画像検出手段は、前記各画像ブロックのうち、前記相似性判定手段により相似性の度合が所定の基準値を上回ると判定された画素に係る画像ブロックについてのみ前記相似画像ブロックを検出するものであり、
   前記画像加算手段は、前記画像置換手段により置換された相似画像ブロックと前記相似性の度合が前記所定の基準値以下であると判定された画素に係る画像ブロックとを重ね合わせるものである、請求項１又は請求項２のいずれかに記載の画像処理装置。
4. 前記相似画像検出手段は、前記相似性の度合が高くなるほど、前記探索領域を小さく設定する請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 前記相似性の度合として、前記画像ブロックのエッジの強度を用いる請求項１〜請求項４のいずれかに記載の画像処理装置。
6. 前記画像調整手段は、前記重複部分の画像を平均化するものである請求項１〜請求項５のいずれかに記載の画像処理装置。
7. 前記画像ブロック取得手段は、前記原画像の１画素毎に、当該画素を略中心とする所定サイズの画像ブロックを取得するものである請求項１〜請求項６のいずれかに記載の画像処理装置。
8. 前記相似画像検出手段は、前記画像ブロックのサイズよりも大きいサイズで前記原画像中に設定される所定領域の中から、画素を間引きすることにより、前記画像ブロックと同一サイズの相似画像ブロックを検出するものである請求項１〜請求項７のいずれかに記載の画像処理装置。
9. カラー原画像を保持するための原画像保持手段と、
   前記原画像の各表色系成分のうち画像の明るさに関連する表色系成分とそれ以外の表色系成分とのいずれか一方を指定する指定手段と、
   前記指定された表色系成分の所定の画素毎に、該画素周辺の画像の相似性の度合を判定する相似性判定手段と、
   前記判定された相似性の度合に応じて、前記原画像から取得すべき画像ブロックのサイズを設定するブロックサイズ設定手段と、
   前記ブロックサイズ設定手段により設定されたサイズの画像ブロックを、近接する各画像ブロックが所定量だけ重なり合うようにして、前記保持された原画像からそれぞれ取得する画像ブロック取得手段と、
   前記各画像ブロックのそれぞれについて、所定の探索領域内から該各画像ブロックに相似する相似画像ブロックを検出する相似画像検出手段と、
   前記検出された各相似画像ブロックを、対応する前記各画像ブロックにそれぞれ置換する画像置換手段と、
   前記置換された各相似画像ブロックを重ね合わせる画像加算手段と、
   前記画像加算手段により加算されたブロックの重複部分の画像を調整する画像調整手段と、
   前記指定手段により指定された表色系成分以外の原画像と前記調整手段により調整された画像とを合成する合成手段と、
   を備えたことを特徴とする画像処理装置。
10. 原画像の所定画素毎に、該画素周辺の画像が有する相似性の度合に基づいて、取得すべき画像ブロックのサイズをそれぞれ設定し、
    近接する画像ブロック同士が所定量だけ重なり合うようにして、前記設定されたサイズで原画像から各画像ブロックを順次取得し、
    前記原画像から前記各取得された画像ブロックに相似する相似画像ブロックをそれぞれ検出し、
    前記各検出された相似画像ブロックを対応する前記各画像ブロックにそれぞれ置換せしめ、
    前記置換された各相似画像ブロックを重ね合わせ、
    前記加算されたブロックの重複部分の画像を調整して出力させる、
    ことを特徴とする画像処理方法。
11. コンピュータに画像処理を実行させるための画像処理プログラムを記録した記録媒体であって、
    保持された原画像の所定の画素毎に、該画素周辺の画像の相似性の度合を判定させる機能と、
    前記判定された相似性の度合に応じて、前記原画像から取得すべき画像ブロックのサイズを設定させる機能と、
    前記設定されたサイズの画像ブロックを、近接する各画像ブロックが所定量だけ重なり合うようにして、前記原画像からそれぞれ取得させる機能と、
    前記各画像ブロックのそれぞれについて、所定の探索領域内から該各画像ブロックに相似する相似画像ブロックを検出する相似画像検出機能と、
    前記検出された各相似画像ブロックを、対応する前記各画像ブロックにそれぞれ置換する画像置換機能と、
    前記置換された各相似画像ブロックを重ね合わせる画像加算機能と、
    前記画像加算手段により加算されたブロックの重複部分の画像を調整する画像調整機能と、
    をコンピュータに実行させることを特徴とする画像処理プログラムを記録した記録媒体。

Images