JP3583924B2 - 解像度変換方法及び変換装置 - Google Patents
解像度変換方法及び変換装置 Download PDFInfo
- Publication number
- JP3583924B2 JP3583924B2 JP14503698A JP14503698A JP3583924B2 JP 3583924 B2 JP3583924 B2 JP 3583924B2 JP 14503698 A JP14503698 A JP 14503698A JP 14503698 A JP14503698 A JP 14503698A JP 3583924 B2 JP3583924 B2 JP 3583924B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- fractal
- domain
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 117
- 238000000034 method Methods 0.000 title claims description 61
- 238000012545 processing Methods 0.000 claims description 77
- 230000008569 process Effects 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 6
- 239000000872 buffer Substances 0.000 description 46
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力画像をその画像よりも画素数の多い、高解像度の画像に変換をするための解像度変換方法及び変換装置に関する。
【０００２】
【従来の技術】
例えば、画像データを拡大して印刷したり、表示をするために、解像度の変換処理が行われる。この変換処理では、隣り合う画素の間に新たな画素を配置し、その画素値は両隣の画素値の平均値を採用するといった処理が行われる。これを補間処理という。一方、より高精度の解像度変換ができる方法も紹介されている。
（文献 ： Ｍ．Ｆ．Ｂａｒｎｓｌｅｙ ： “Ｆｒａｃｔａｌ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ”， ＡＫ Ｐｅｔｅｒｓ Ｌｔｄ．）この文献には、フラクタル自己相似性に基づく画像データの圧縮方法に関する技術が記載されている。この文献は、データの格納や転送のためのデータ圧縮方法を説明しているが、そのまま解像度変換にも利用できる。その内容は次のとおりである。
【０００３】
まず、１つのＭ×Ｎ（１＜Ｍ、ｎ）の入力画像（１画素はｋ（１＜ｋ）ｂｉｔ階調）を、ｉ×ｉ（１＜ｉ＜Ｍ，Ｎ）の正方形ブロック（ドメインブロック）に分割する。そして各ドメインブロックに対して、ｊ×ｊ（ｉ＜ｊ）の正方ブロック（レンジブロック）を定義する。入力画像中でレンジブロックに相当するウインドウをスキャンし、最も自己相似性が高いブロックを画像の中から探索する。ここで自己相似性とは、レンジブロックをドメインブロックの大きさに縮小した場合の縮小画像ブロックと、ドメイン画像ブロックとの画像の類似性をいい、所定の相似性尺度によって測られる。各ドメインブロックと自己相似性の高いレンジブロックを入力画像中から求めて、全てのドメインブロックをレンジブロックに置き換えると、ｊ／ｉ倍に解像度を高めることができる。
【０００４】
【発明が解決しようとする課題】
ところで、上記のような従来の技術には、次のような解決すべき課題があった。
上記の方法でドメインブロックをフラクタルブロックに置き換えていくと、このフラクタルブロックの範囲内では、忠実度の高い解像度変換が行える。ところが、各フラクタルブロックは、入力画像中の任意の場所から抽出されるから、互いにその境界部分での連続性は無い。このため、全てのドメインブロックをフラクタルブロックに順番に置き換えていくと、各フラクタルブロックの境界部分で画像の連続性が悪いところが生じ、その部分で出力画像の画像品質を劣化させる。
【０００５】
【課題を解決するための手段】
本発明は以上の点を解決するため次の構成を採用する。
〈構成１〉
画素値の補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得るとともに、入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを上記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、上記入力画像中に、上記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得て、上記補間変換画像と上記フラクタル変換画像を比較し、この比較結果に依存した差分情報を上記一方の画像から他方の画像に付加して出力画像を得ること特徴とする解像度変換方法。
【０００６】
〈構成２〉
画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得るとともに、入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを上記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、上記入力画像中に、上記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得て、上記補間変換画像と上記フラクタル変換画像に含まれる各画素値を比較して、対応する画素の画素値の差が著しい場合には、補間変換画像に含まれる画素値を採用し、それ以外の場合には、フラクタル変換画像中に含まれる画素値を採用して、出力画像を得ること特徴とする解像度変換方法。
【０００７】
〈構成３〉
画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得るとともに、入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを上記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、上記入力画像中に、上記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得て、フラクタル変換画像中の画素値と、補間変換画像中の対応する画素の画素値との差を求め、この画素値の差に対応する重み付け係数を定め、補間変換画像に含まれる画素値に対して、上記対応する画素の画素値の差と上記重み付け係数の積を加算した画素値を求めて、出力画像を得ることを特徴とする解像度変換方法。
【０００８】
〈構成４〉
構成１に記載の解像度変換方法において、カラー画像の場合には、元信号を、より人間の知覚し易い色空間における色成分毎に分解した画像を入力画像とすることを特徴とする解像度変換方法。
〈構成５〉
構成１に記載の解像度変換方法において、入力画像中でドメインブロックと相似性の高い複数のレンジブロックを選択して、それらのレンジブロックの、各対応する画素の画素値の平均値に相当する画素を配列したレンジブロックを上記ドメインブロックと置き換えることを特徴とする解像度変換方法。
【０００９】
〈構成６〉
構成１に記載の解像度変換方法において、ドメインブロックとレンジブロックの相似度を求め、この相違度が閾値を越えるほど両者の差が著しいときは、該当するレンジブロックに相当する部分の画像は、補間変換画像と上記フラクタル変換画像に含まれる各画素を比較する処理を省略して、補間変換画像の該当部分を採用することを特徴とする解像度変換方法。
【００１０】
〈構成７〉
画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得る補間処理部と、入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを上記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、上記入力画像中に、上記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得るフラクタル変換処理部と、上記補間変換画像と上記フラクタル変換画像に含まれる各画素値を比較して、対応する画素の画素値の差が著しい場合には、補間変換画像に含まれる画素値を採用し、それ以外の場合には、フラクタル変換画像中に含まれる画素値を採用して出力画像を得るフラクタル変換処理部を備えたことを特徴とする解像度変換方法。
【００１１】
〈構成８〉
画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得る補間処理部と、入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを上記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、上記入力画像中に、上記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得るフラクタル変換処理部と、上記補間変換画像と上記フラクタル変換画像に含まれる各画素値を比較して、対応する画素の画素値の差が著しい場合には、補間変換画像に含まれる画素値を採用し、それ以外の場合には、フラクタル変換画像中に含まれる画素値を採用して、出力画像を得るフラクタルフィルタ処理部とを備えたことを特徴とする解像度変換装置。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を具体例を用いて説明する。
この発明では、先ず、画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得る。
【００１３】
一方、入力画像を所定サイズの複数のドメインブロックに分割する。次に、従来と同様の方法により、フラクタル自己相似性に基づく相似性の高いレンジブロックを探索する。レンジブロックのサイズは、ドメインブロックを上記解像度変換倍率で拡大したサイズとする。そして入力画像の各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えて、フラクタル変換画像を得る。
【００１４】
こうして、それぞれ同一のサイズの補間変換画像とフラクタル変換画像とを準備する。その後、補間変換画像とフラクタル変換画像とをフラクタルフィルタで処理する。
【００１５】
これにより、補間変換画像の出力を利用して、画像全体の連続性を保証しつつ、フラクタル変換画像の画素値を適当に採用して画像の細部の忠実性を確保する。こうして、忠実性の高い高画質の解像度変換を実現する。
以下、その具体的な方法を説明する。
【００１６】
〈具体例１〉
図１は、具体例１の解像度変換装置のブロック図である。
図の装置は、画像バッファ１、フラクタル変換処理部２、補間処理部３、フラクタルフィルタ処理部４により構成される。
補間処理部３は補完変換画像を生成して出力する部分である。フラクタル変換処理部はフラクタル変換画像を生成して出力する部分である。
【００１７】
画像バッファ１の入力側には、入力画像１０を受け入れるための図示しない信号線が接続されている。画像バッファ１の出力側には、フラクタル変換処理部２と、補間処理部３が接続されている。フラクタル変換処理部２の出力と、補間処理部３の出力とはそれぞれ、フラクタルフィルタ処理部４の別々のバッファ４−１、４−２に入力するようにされている。フラクタルフィルタ処理部４からは解像度変換後の出力画像Ｉ（ｘ，ｙ）が取り出される。
【００１８】
フラクタル変換処理部２は、ドメインバッファ２−１、レンジバッファ２−２、縮小処理部２−３、相似度算出部２−４、ポインタバッファ２−５から成る。画像バッファ１の出力は、フラクタル変換処理部２のドメインバッファ２−１、レンジバッファ２−２に接続されている。ドメインバッファ２−１の出力は、相似度算出部２−４の入力に接続されている。レンジバッファ２−２の出力は縮小処理部２−３とフラクタルフィルタ処理部４のバッファ４−２に入力するように接続されている。縮小処理部２−３の出力は、相似度算出部２−４の入力側に接続されている。相似度算出部２−４の出力は、ポインタバッファ２−５の入力側に接続されている。
【００１９】
制御部５は、このフラクタル変換処理部２を含む装置各部の制御を行うプロセッサ等により構成される。
フラクタルフィルタ処理部４は、バッファ４−１、バッファ４−２、減算器４−３、重みテーブル４−４、乗算器４−５、加算器４−６から成る。バッファ４−１の入力側には、補間処理部３の出力が接続されている。このバッファ４−１は、補間処理部３の出力する補間変換画像を受け入れる。バッファ４−２の入力側にはフラクタル変換処理部２の出力が接続されている。バッファ４−１の出力が減算器４−３と加算器４−６の入力側に接続されている。
【００２０】
バッファ４−２の出力は減算器４−３の入力側に接続されている。減算器４−３の出力は、重みテーブル４−４と乗算器４−５の入力側に接続されている。重みテーブル４−４の出力も、乗算器４−５の入力側に接続されている。乗算器４−５の出力は加算器４−６の入力側に接続されている。加算器４−６の出力は解像度変換された出力画像である。
【００２１】
次にフラクタル変換処理部の動作を説明する。
図２には、フラクタル変換処理の基本動作説明図を示す。
図（ａ）において、入力画像１０は、例えばＭ×Ｎ画素の画像であるとする。これを、（ｉ×ｉ）画素構成の複数のドメインブロック２０に分割する。図の例では、入力画像１０が横８×縦５で合計４０個のドメインブロック２０に分割されている。なお、ここでいう解像度変換は画素数を増加させる変換であるから、レンジブロック３０を（ｊ×ｊ）画素構成とすると、（ｉ＜ｊ）という関係がある。
【００２２】
ここで、この入力画像を縦２倍、横２倍、面積が４倍になるように解像度変換することを考える。このとき、このドメインブロック２０の縦横を２倍（２ｉ＝ｊ）にしたレンジブロックを設定する。この倍率は解像度変換倍率と一致させる。そして、図（ｂ）に示すように、入力画像１０中でレンジブロック３０をスキャンさせて、ドメインブロック２０と相似するものを見つける。相似するレンジブロック３０が見つかると、図（ａ）のドメインブロック２０を一つずつレンジブロック３０に置き換える。こうして、図（ｃ）に示すように、レンジブロック３０をドメインブロックと対応するように配列したフラクタル変換画像４０が得られる。図１に示すフラクタル変換処理部はこうした処理を行う。
【００２３】
図１に示す画像バッファ１には、入力画像１０を保持し、ドメインバッファ２−１にはドメインブロック２０を、レンジバッファ２−２には、レンジブロック３０を格納する。これらのバッファはそれぞれ必要な容量に設定される。
【００２４】
縮小処理部２−３では、レンジバッファ２−２内のレンジブロックをドメインバッファ２−１内のドメインブロックと同じ大きさになるように縦横１／２ずつに縮小して、これとドメインバッファ２−１内のドメインブロックとを比較したときの相似度を相似度算出部２−４で算出する。相似度算出部２−４には相似度の最大値が得られる度に、直前に得られた相似度を更新していくバッファが含まれている。それまでそのバッファに格納されていた相似度より大きい相似度でバッファの内容が書き換えられたとき、該当するレンジブロックの始点座標値をポインタバッファ２−５に書き込む。ポインタバッファ２−５もこうして次々に更新される。
【００２５】
フラクタル変換処理部２において、１つのドメインブロックに対する処理が終了すると、最終的にポインタバッファ２−５に残った始点座標値で特定されるレンジブロックが、当該ドメインブロックと最も相似しているレンジブロックと判定できる。制御部５は、そのレンジブロックを画像バッファ１から読み出して、フラクタルフィルタ処理部４のバッファ４−２に転送する。バッファ４−２は順番に転送されるレンジブロックを図２に示したように対応するドメインブロックの位置に配列して保持する。
【００２６】
補間処理部３は、入力画像中の近接する４画素の間を補間処理をする機能を持つ。
図３は、補間処理部の動作説明図である。
補間処理部は、例えば図に示すように、近接配置された４個の画素の間に、解像度変換のために必要な任意の数の画素を設定し、その画素値の計算を行う。この計算方法は従来からよく知られており、ここでは一つの例示のみに留める。
【００２７】
図の例では、４個の画素の画素値と位置座標を、それぞれＰ１（Ｕ＝０，Ｖ＝０），Ｐ２（Ｕ＝１，Ｖ＝０），Ｐ３（Ｕ＝１，Ｖ＝１），Ｐ４（Ｕ＝０，Ｖ＝１）とした。このとき、その中間にある（Ｕ，Ｖ）の点の画素値Ｘは、図の下側に示した式により求められる。既に説明をしたように、２個の画素間にある画素の画素値は、一方から他方に向かってなめらかに変化する直線上にあるという思想に基づいて計算される。入力画像１０の全ての画素についてこのような計算をした結果を補間変換画像として、フラクタルフィルタ処理部４のバッファ４−１に格納する。
【００２８】
フラクタルフィルタ処理部４では、次の式により補間変換画像とフラクタル変換画像とを処理して、目的とする密度変換画像を得る。
Ｄ′（ｘ，ｙ）＝Ｄｈ（ｘ，ｙ）＋ｗ（ｘ，ｙ）＊（Ｄｆ（ｘ，ｙ）−Ｄｈ（ｘ，ｙ）） …（１）
この式において、Ｄｆ（（ｘ，ｙ）−Ｄｈ（ｘ，ｙ）） の項は、フラクタル変換画像Ｄｆ中の座標（ｘ，ｙ）にある画素の画素値と、補間変換画像Ｄｈ中の座標（ｘ，ｙ）にある画素の画素値との差を求める演算式である。
【００２９】
補間変換画像は、線型補間処理により画素値を補間したものである。補間演算は、画素値を補間する場合に、その付近の画素値には急激な変化は無いという前提で、補間される新たな画素の画素値を求める。これにより、入力画像をアナログ画像データで表現したとき、その画像データをフーリエ変換した場合の低周波成分を忠実に再現するようにしている。
【００３０】
一方、フラクタル変換画像は、入力画像中の対応するレンジブロックを精密に再現する画像であり、フーリエ変換した場合の低周波成分も高周波成分も含んでいる。従って、（Ｄｆ（ｘ，ｙ）−Ｄｈ（ｘ，ｙ））の演算によって、フラクタル変換画像の低周波成分が差し引かれて高周波成分のみが抽出される。
ｗ（ｘ，ｙ）＊（Ｄｆ（ｘ，ｙ）−Ｄｈ（ｘ，ｙ））の項は、上記高周波成分と重み付け係数との積を求める演算式である。
【００３１】
ここで、例えば上記高周波成分が一定レベル以上のときには、フラクタル変換画像中の該当する座標の画素値は、平均的な値との差が著しいから異常値であると判断する。従って、補間変換画像の画素値を採用する。一方、高周波成分が比較的小さい場合には、入力画像を忠実に再現しているであろうと判断して、その値を採用する。
具体的には、上記（１）式のように、補間変換画像の画素値Ｄ（ｘ，ｙ）に対して、高周波成分と重み付け係数の積を求めたものを上積みする。
【００３２】
図４は、重み付け係数の説明図である。
重み付け係数は、例えばこの図に示すように、上記高周波成分が８０／２５６以上の濃度を示す場合には“０”となり、２０／２５６から５０／２５６の範囲では、“１”となるように設定をしておく。なお、例えば画素値が白黒画像を表現するものとすれば、０／２５６は白、２５６／２５６は黒を表すものとする。また、０／２５６から２０／２５６の範囲、５０／２５６から２５６／２５６の範囲では、重み付け係数がなめらかに変化するようにすると、この演算による歪みを少なくできる。
【００３３】
なお、このような演算処理を行うのは、補間変換画像とフラクタル変換画像に含まれる各画素値を比較して、対応する画素の画素値の差が著しい場合には、補間変換画像に含まれる画素値を採用し、それ以外の場合には、フラクタル変換画像中に含まれる画素値を採用するためである。従って、例えば補間変換画像とフラクタル変換画像とを受け入れて、両者の差を判定していずれか一方を選択して出力するようなセレクタを用いても同様の処理が可能である。ただし、重み付け処理をしたほうが画質が良くなる点は前述のとおりである。また、画像の性質により結果が異なるから、繰り返し実験をした結果を反映させるように重み付け係数を定めると良い。
【００３４】
以上のような装置の動作を、フローチャートを用いて説明する。
図５は、具体例１の装置全体の動作フローチャートである。
ここでは、入力画像をモノクロ画像とし、またｊ／ｉ＝２の場合について説明する。
ｓｔｅｐ１ ：制御部５は、Ｍ×Ｎ画素の入力画像をｉ×ｉ画素構成のドメインブロックに分割する。
ｓｔｅｐ２ ：補間処理部は、Ｍ×Ｎ画素の入力画像を、隣接４画素間の線型補間により、縦横２倍、画素数が４倍に高解像度化する。
ｓｔｅｐ３ ：制御部５は、ｉ×ｉのドメインブロック番号ｈを初期化する。
【００３５】
ｓｔｅｐ４ ：フラクタル変換処理部２は、ドメインブロックｈに対する自己相似性最大のレンジブロックを見出す。まず、レンジブロックの各候補について、２×２画素単位の分割で４画素値の平均化による１画素への縮小を行い、１／２縮小画像とドメインブロックの各画素間の２乗誤差の平均を求める。この値が最小（自己相似性最大）となるレンジブロックを、ドメインブロックｈを置換するためのブロックとして採用する。
【００３６】
ｓｔｅｐ５ ：フラクタルフィルタ処理部４は、フラクタルフィルタによるフィルタリングを既に説明した通りの要領で行う。
ｓｔｅｐ６ ：制御部５は、ドメインブロック番号ｈをインクリメントする。
ｓｔｅｐ７ ：制御部５は、処理していないドメインブロックが残っていたならば、ｓｔｅｐ４に分岐して処理を継続する。残っていなければ全ての処理を終了する。全てのドメインブロックに対応付けられた高解像度化処理画像の集合が、原画像に対する高解像度化画像として出力される。
【００３７】
〈具体例１の効果〉
以上説明した処理方法により、補間による滑らかな低周波成分と、フラクタルフィルタによる解像度の高い高周波成分が合成され、画像品質の高い高解像度化画像が得られる。
【００３８】
なお、上記の処理では、ドメインブロックとレンジブロックの相似度を求めている。このとき、予め、適当な閾値を設定しておき、比較処理をする。相似度がこの閾値を越えるほどドメインブロックとレンジブロックの差が著しいときは、該当するレンジブロックに相当する部分の画像は、補間変換画像と前記フラクタル変換画像に含まれる各画素を比較する処理を省略して、補間変換画像の該当部分を採用するとよい。この場合には、フラクタルフィルタの処理を省略できるから、全体として処理が高速化される。
【００３９】
〈具体例２〉
次に、入力画像がカラー画像の場合の処理を説明する。
この具体例では、特に入力画像がカラー画像である場合に、より画質の良い解像度変化出力を得ようとするものである。
【００４０】
図６には具体例２の解像度変換装置のブロック図を示す。
図の装置は、図１に示した具体例１の装置に対して、入力画像１０を予備処理するための色空間変換部７を追加したものである。
この色空間変換部７は、（Ｒ，Ｇ，Ｂ）色空間から（Ｌ，ａ，ｂ）色空間への変換処理をしている。このような変換を行うのは、元信号を、より人間の知覚し易い色空間における色成分を用いた画像を入力画像とすることで、フラクタルフィルタの出力の品質を向上させるためである。これは例えば補間処理により得られた新たな画素の画素値にも影響する。色空間が異なれば、補間された画素の画素値はそれぞれ微妙に異なってくるからである。また、フラクタル変換処理の結果にも影響することがある。なお、この他にも、別の色成分で表現した色空間が考えられるが、画像の性質や実験の結果より最適なものに変換をして、入力画像とするとよい。
【００４１】
その後、入力画像を処理する動作は、具体例１と同様であるから、重複する説明を省略する。カラー画像であるから、各色成分について処理が行われる。（Ｌ，ａ，ｂ）色空間ならば、３回の処理が行われる。
【００４２】
図７は、具体例２の装置の動作フローチャートである。
このフローチャートは，図５のフローチャートにステップＳ１と、ステップＳ４とステップＳ１０、ステップＳ１１に示した内容の処理を追加したものである。なお、同一の表現をしたその他の処理は、図５と同一の内容の処理であるが、追加したステップにより、各ステップの番号は、図５と図６ではシフトしている。
ステップＳ１は、色空間の変換処理である。また、ステップＳ４とステップＳ１１は、３枚の色プレーンについて、順番に処理を実行していくための繰り返し処理制御用のものである。Ｐは繰り返し処理のためのパラメータで、最大値が３である。ステップＳ１０はこのパラメータＰをインクリメントする処理である。
【００４３】
〈具体例２の効果〉
入力画像がカラー画像である場合に、より人間の知覚し易い色空間における色成分毎に、分解した画像を入力画像とする人間の知覚し易い色空間における画素値に変換して得た画像を入力画像としたので、より高画質の解像度変換が可能になる。
【００４４】
〈具体例３〉
具体例１では、ドメインブロックと最も相似性の高いラスタブロックを検出して、フラクタル変換画像を得た。ところが、最も類似するとして検出されたレンジブロックもドメインブロックと十分に類似していないことがあり得る。そこで、この具体例では、一つのドメインブロックと相似性の高い複数のレンジブロックを候補ブロックにする。そして、類似性の高いいくつかのレンジブロックの画素値の平均値をとって、相似性の高い新たなレンジブロックに相当するデータを得る。複数の候補を選ぶ方法は、例えば相似性の高いものからベストエイト（８）を選ぶといった方法による。平均値をとったのは、部分的な異常値が含まれる率を減少させるためである。
【００４５】
図８は、具体例３の解像度変換装置のフラクタル変換処理部ブロック図である。
このフラクタル変換処理部２には、図１に示した構成のブロックの他に、セレクタ２−６、第１バッファ２−７、第２バッファ２−８、加算器２−９、除算器２−１０、除数レジスタ２−１１が設けられている。
【００４６】
その他の回路ブロックは図１で説明したものと同一の機能を持つ。なお、この例では、例えば２つのレンジブロックを候補にして、その画素値を平均化する。ポインタバッファ２−５には、最も相似度の高いレンジブロックと２番目に相似度の高いレンジブロックの始点座標値を保持する。そして、２つのレンジブロックの候補が決定すると、これらが、第１バッファ２−７と第２バッファ２−８に保持される。セレクタ２−６は、どちらのバッファにレンジブロックを格納するかを指定するための回路である。
【００４７】
第１バッファ２−７と第２バッファ２−８からは、各レンジブロックの対応する場所からそれぞれ画素値が取り出され、加算器２−９に供給されて、加算される。次に、その結果が除算器２−１０に入力する。除算器２−１０には、予め除数Ｌ（ここではＬ＝２）が入力するようにされており、除算結果が出力される。これにより、２つの画素値の平均値が得られる。この処理をレンジブロックの全ての画素について実行すると、相似性の高い新たなレンジブロックに相当するデータを得る。
【００４８】
図９は、具体例３の装置の動作フローチャートである。
具体例３の処理は以下のとおりである。
ｓｔｅｐ１ ：制御部５は、入力画像をドメインブロックに分割する。
ｓｔｅｐ２ ：補間処理部は、入力画像を、線型補間により、高解像度化する。
ｓｔｅｐ３ ：制御部５は、ドメインブロック番号ｈを初期化する。
【００４９】
ｓｔｅｐ４ ：フラクタル変換処理部２は、ドメインブロックｈに対する自己相似性の高い例えば８個のレンジブロックを見出す。次に、上記の処理により平均値レンジブロックを得る。
【００５０】
ｓｔｅｐ５ ：フラクタルフィルタ処理部４は、フラクタルフィルタによるフィルタリングを既に説明した通りの要領で行う。
ｓｔｅｐ６ ：制御部５は、ドメインブロック番号ｈをインクリメントする。
ｓｔｅｐ７ ：制御部５は、処理していないドメインブロックが残っていたならば、ｓｔｅｐ４に分岐して処理を継続する。残っていなければ全ての処理を終了する。なおここではドメインブロックの総数をＫ個とした。
【００５１】
〈具体例３の効果〉
以上のように、入力画像中でドメインブロックと相似性の高い複数のレンジブロックを選択して、それらのレンジブロックの、各対応する画素の画素値の平均値に相当する画素を配列したレンジブロックを前記ドメインブロックと置き換えるようにしたので、より類似性の高い、高画質の解像度変換が可能になる。
【図面の簡単な説明】
【図１】具体例１の解像度変換装置のブロック図である。
【図２】フラクタル変換動作説明図である。
【図３】補間処理部の動作説明図である。
【図４】重み付け係数の説明図である。
【図５】具体例１の装置全体の動作フローチャートである。
【図６】具体例２の解像度変換装置のブロック図である。
【図７】具体例２の装置の動作フローチャートである。
【図８】具体例３の解像度変換装置のフラクタル変換処理部ブロック図である。
【図９】具体例３の装置の動作フローチャートである。
【符号の説明】
１ 画像バッファ
２ フラクタル変換処理部
３ 補間処理部
４ フラクタルフィルタ処理部
【発明の属する技術分野】
本発明は、入力画像をその画像よりも画素数の多い、高解像度の画像に変換をするための解像度変換方法及び変換装置に関する。
【０００２】
【従来の技術】
例えば、画像データを拡大して印刷したり、表示をするために、解像度の変換処理が行われる。この変換処理では、隣り合う画素の間に新たな画素を配置し、その画素値は両隣の画素値の平均値を採用するといった処理が行われる。これを補間処理という。一方、より高精度の解像度変換ができる方法も紹介されている。
（文献 ： Ｍ．Ｆ．Ｂａｒｎｓｌｅｙ ： “Ｆｒａｃｔａｌ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ”， ＡＫ Ｐｅｔｅｒｓ Ｌｔｄ．）この文献には、フラクタル自己相似性に基づく画像データの圧縮方法に関する技術が記載されている。この文献は、データの格納や転送のためのデータ圧縮方法を説明しているが、そのまま解像度変換にも利用できる。その内容は次のとおりである。
【０００３】
まず、１つのＭ×Ｎ（１＜Ｍ、ｎ）の入力画像（１画素はｋ（１＜ｋ）ｂｉｔ階調）を、ｉ×ｉ（１＜ｉ＜Ｍ，Ｎ）の正方形ブロック（ドメインブロック）に分割する。そして各ドメインブロックに対して、ｊ×ｊ（ｉ＜ｊ）の正方ブロック（レンジブロック）を定義する。入力画像中でレンジブロックに相当するウインドウをスキャンし、最も自己相似性が高いブロックを画像の中から探索する。ここで自己相似性とは、レンジブロックをドメインブロックの大きさに縮小した場合の縮小画像ブロックと、ドメイン画像ブロックとの画像の類似性をいい、所定の相似性尺度によって測られる。各ドメインブロックと自己相似性の高いレンジブロックを入力画像中から求めて、全てのドメインブロックをレンジブロックに置き換えると、ｊ／ｉ倍に解像度を高めることができる。
【０００４】
【発明が解決しようとする課題】
ところで、上記のような従来の技術には、次のような解決すべき課題があった。
上記の方法でドメインブロックをフラクタルブロックに置き換えていくと、このフラクタルブロックの範囲内では、忠実度の高い解像度変換が行える。ところが、各フラクタルブロックは、入力画像中の任意の場所から抽出されるから、互いにその境界部分での連続性は無い。このため、全てのドメインブロックをフラクタルブロックに順番に置き換えていくと、各フラクタルブロックの境界部分で画像の連続性が悪いところが生じ、その部分で出力画像の画像品質を劣化させる。
【０００５】
【課題を解決するための手段】
本発明は以上の点を解決するため次の構成を採用する。
〈構成１〉
画素値の補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得るとともに、入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを上記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、上記入力画像中に、上記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得て、上記補間変換画像と上記フラクタル変換画像を比較し、この比較結果に依存した差分情報を上記一方の画像から他方の画像に付加して出力画像を得ること特徴とする解像度変換方法。
【０００６】
〈構成２〉
画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得るとともに、入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを上記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、上記入力画像中に、上記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得て、上記補間変換画像と上記フラクタル変換画像に含まれる各画素値を比較して、対応する画素の画素値の差が著しい場合には、補間変換画像に含まれる画素値を採用し、それ以外の場合には、フラクタル変換画像中に含まれる画素値を採用して、出力画像を得ること特徴とする解像度変換方法。
【０００７】
〈構成３〉
画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得るとともに、入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを上記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、上記入力画像中に、上記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得て、フラクタル変換画像中の画素値と、補間変換画像中の対応する画素の画素値との差を求め、この画素値の差に対応する重み付け係数を定め、補間変換画像に含まれる画素値に対して、上記対応する画素の画素値の差と上記重み付け係数の積を加算した画素値を求めて、出力画像を得ることを特徴とする解像度変換方法。
【０００８】
〈構成４〉
構成１に記載の解像度変換方法において、カラー画像の場合には、元信号を、より人間の知覚し易い色空間における色成分毎に分解した画像を入力画像とすることを特徴とする解像度変換方法。
〈構成５〉
構成１に記載の解像度変換方法において、入力画像中でドメインブロックと相似性の高い複数のレンジブロックを選択して、それらのレンジブロックの、各対応する画素の画素値の平均値に相当する画素を配列したレンジブロックを上記ドメインブロックと置き換えることを特徴とする解像度変換方法。
【０００９】
〈構成６〉
構成１に記載の解像度変換方法において、ドメインブロックとレンジブロックの相似度を求め、この相違度が閾値を越えるほど両者の差が著しいときは、該当するレンジブロックに相当する部分の画像は、補間変換画像と上記フラクタル変換画像に含まれる各画素を比較する処理を省略して、補間変換画像の該当部分を採用することを特徴とする解像度変換方法。
【００１０】
〈構成７〉
画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得る補間処理部と、入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを上記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、上記入力画像中に、上記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得るフラクタル変換処理部と、上記補間変換画像と上記フラクタル変換画像に含まれる各画素値を比較して、対応する画素の画素値の差が著しい場合には、補間変換画像に含まれる画素値を採用し、それ以外の場合には、フラクタル変換画像中に含まれる画素値を採用して出力画像を得るフラクタル変換処理部を備えたことを特徴とする解像度変換方法。
【００１１】
〈構成８〉
画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得る補間処理部と、入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを上記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、上記入力画像中に、上記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得るフラクタル変換処理部と、上記補間変換画像と上記フラクタル変換画像に含まれる各画素値を比較して、対応する画素の画素値の差が著しい場合には、補間変換画像に含まれる画素値を採用し、それ以外の場合には、フラクタル変換画像中に含まれる画素値を採用して、出力画像を得るフラクタルフィルタ処理部とを備えたことを特徴とする解像度変換装置。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を具体例を用いて説明する。
この発明では、先ず、画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得る。
【００１３】
一方、入力画像を所定サイズの複数のドメインブロックに分割する。次に、従来と同様の方法により、フラクタル自己相似性に基づく相似性の高いレンジブロックを探索する。レンジブロックのサイズは、ドメインブロックを上記解像度変換倍率で拡大したサイズとする。そして入力画像の各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えて、フラクタル変換画像を得る。
【００１４】
こうして、それぞれ同一のサイズの補間変換画像とフラクタル変換画像とを準備する。その後、補間変換画像とフラクタル変換画像とをフラクタルフィルタで処理する。
【００１５】
これにより、補間変換画像の出力を利用して、画像全体の連続性を保証しつつ、フラクタル変換画像の画素値を適当に採用して画像の細部の忠実性を確保する。こうして、忠実性の高い高画質の解像度変換を実現する。
以下、その具体的な方法を説明する。
【００１６】
〈具体例１〉
図１は、具体例１の解像度変換装置のブロック図である。
図の装置は、画像バッファ１、フラクタル変換処理部２、補間処理部３、フラクタルフィルタ処理部４により構成される。
補間処理部３は補完変換画像を生成して出力する部分である。フラクタル変換処理部はフラクタル変換画像を生成して出力する部分である。
【００１７】
画像バッファ１の入力側には、入力画像１０を受け入れるための図示しない信号線が接続されている。画像バッファ１の出力側には、フラクタル変換処理部２と、補間処理部３が接続されている。フラクタル変換処理部２の出力と、補間処理部３の出力とはそれぞれ、フラクタルフィルタ処理部４の別々のバッファ４−１、４−２に入力するようにされている。フラクタルフィルタ処理部４からは解像度変換後の出力画像Ｉ（ｘ，ｙ）が取り出される。
【００１８】
フラクタル変換処理部２は、ドメインバッファ２−１、レンジバッファ２−２、縮小処理部２−３、相似度算出部２−４、ポインタバッファ２−５から成る。画像バッファ１の出力は、フラクタル変換処理部２のドメインバッファ２−１、レンジバッファ２−２に接続されている。ドメインバッファ２−１の出力は、相似度算出部２−４の入力に接続されている。レンジバッファ２−２の出力は縮小処理部２−３とフラクタルフィルタ処理部４のバッファ４−２に入力するように接続されている。縮小処理部２−３の出力は、相似度算出部２−４の入力側に接続されている。相似度算出部２−４の出力は、ポインタバッファ２−５の入力側に接続されている。
【００１９】
制御部５は、このフラクタル変換処理部２を含む装置各部の制御を行うプロセッサ等により構成される。
フラクタルフィルタ処理部４は、バッファ４−１、バッファ４−２、減算器４−３、重みテーブル４−４、乗算器４−５、加算器４−６から成る。バッファ４−１の入力側には、補間処理部３の出力が接続されている。このバッファ４−１は、補間処理部３の出力する補間変換画像を受け入れる。バッファ４−２の入力側にはフラクタル変換処理部２の出力が接続されている。バッファ４−１の出力が減算器４−３と加算器４−６の入力側に接続されている。
【００２０】
バッファ４−２の出力は減算器４−３の入力側に接続されている。減算器４−３の出力は、重みテーブル４−４と乗算器４−５の入力側に接続されている。重みテーブル４−４の出力も、乗算器４−５の入力側に接続されている。乗算器４−５の出力は加算器４−６の入力側に接続されている。加算器４−６の出力は解像度変換された出力画像である。
【００２１】
次にフラクタル変換処理部の動作を説明する。
図２には、フラクタル変換処理の基本動作説明図を示す。
図（ａ）において、入力画像１０は、例えばＭ×Ｎ画素の画像であるとする。これを、（ｉ×ｉ）画素構成の複数のドメインブロック２０に分割する。図の例では、入力画像１０が横８×縦５で合計４０個のドメインブロック２０に分割されている。なお、ここでいう解像度変換は画素数を増加させる変換であるから、レンジブロック３０を（ｊ×ｊ）画素構成とすると、（ｉ＜ｊ）という関係がある。
【００２２】
ここで、この入力画像を縦２倍、横２倍、面積が４倍になるように解像度変換することを考える。このとき、このドメインブロック２０の縦横を２倍（２ｉ＝ｊ）にしたレンジブロックを設定する。この倍率は解像度変換倍率と一致させる。そして、図（ｂ）に示すように、入力画像１０中でレンジブロック３０をスキャンさせて、ドメインブロック２０と相似するものを見つける。相似するレンジブロック３０が見つかると、図（ａ）のドメインブロック２０を一つずつレンジブロック３０に置き換える。こうして、図（ｃ）に示すように、レンジブロック３０をドメインブロックと対応するように配列したフラクタル変換画像４０が得られる。図１に示すフラクタル変換処理部はこうした処理を行う。
【００２３】
図１に示す画像バッファ１には、入力画像１０を保持し、ドメインバッファ２−１にはドメインブロック２０を、レンジバッファ２−２には、レンジブロック３０を格納する。これらのバッファはそれぞれ必要な容量に設定される。
【００２４】
縮小処理部２−３では、レンジバッファ２−２内のレンジブロックをドメインバッファ２−１内のドメインブロックと同じ大きさになるように縦横１／２ずつに縮小して、これとドメインバッファ２−１内のドメインブロックとを比較したときの相似度を相似度算出部２−４で算出する。相似度算出部２−４には相似度の最大値が得られる度に、直前に得られた相似度を更新していくバッファが含まれている。それまでそのバッファに格納されていた相似度より大きい相似度でバッファの内容が書き換えられたとき、該当するレンジブロックの始点座標値をポインタバッファ２−５に書き込む。ポインタバッファ２−５もこうして次々に更新される。
【００２５】
フラクタル変換処理部２において、１つのドメインブロックに対する処理が終了すると、最終的にポインタバッファ２−５に残った始点座標値で特定されるレンジブロックが、当該ドメインブロックと最も相似しているレンジブロックと判定できる。制御部５は、そのレンジブロックを画像バッファ１から読み出して、フラクタルフィルタ処理部４のバッファ４−２に転送する。バッファ４−２は順番に転送されるレンジブロックを図２に示したように対応するドメインブロックの位置に配列して保持する。
【００２６】
補間処理部３は、入力画像中の近接する４画素の間を補間処理をする機能を持つ。
図３は、補間処理部の動作説明図である。
補間処理部は、例えば図に示すように、近接配置された４個の画素の間に、解像度変換のために必要な任意の数の画素を設定し、その画素値の計算を行う。この計算方法は従来からよく知られており、ここでは一つの例示のみに留める。
【００２７】
図の例では、４個の画素の画素値と位置座標を、それぞれＰ１（Ｕ＝０，Ｖ＝０），Ｐ２（Ｕ＝１，Ｖ＝０），Ｐ３（Ｕ＝１，Ｖ＝１），Ｐ４（Ｕ＝０，Ｖ＝１）とした。このとき、その中間にある（Ｕ，Ｖ）の点の画素値Ｘは、図の下側に示した式により求められる。既に説明をしたように、２個の画素間にある画素の画素値は、一方から他方に向かってなめらかに変化する直線上にあるという思想に基づいて計算される。入力画像１０の全ての画素についてこのような計算をした結果を補間変換画像として、フラクタルフィルタ処理部４のバッファ４−１に格納する。
【００２８】
フラクタルフィルタ処理部４では、次の式により補間変換画像とフラクタル変換画像とを処理して、目的とする密度変換画像を得る。
Ｄ′（ｘ，ｙ）＝Ｄｈ（ｘ，ｙ）＋ｗ（ｘ，ｙ）＊（Ｄｆ（ｘ，ｙ）−Ｄｈ（ｘ，ｙ）） …（１）
この式において、Ｄｆ（（ｘ，ｙ）−Ｄｈ（ｘ，ｙ）） の項は、フラクタル変換画像Ｄｆ中の座標（ｘ，ｙ）にある画素の画素値と、補間変換画像Ｄｈ中の座標（ｘ，ｙ）にある画素の画素値との差を求める演算式である。
【００２９】
補間変換画像は、線型補間処理により画素値を補間したものである。補間演算は、画素値を補間する場合に、その付近の画素値には急激な変化は無いという前提で、補間される新たな画素の画素値を求める。これにより、入力画像をアナログ画像データで表現したとき、その画像データをフーリエ変換した場合の低周波成分を忠実に再現するようにしている。
【００３０】
一方、フラクタル変換画像は、入力画像中の対応するレンジブロックを精密に再現する画像であり、フーリエ変換した場合の低周波成分も高周波成分も含んでいる。従って、（Ｄｆ（ｘ，ｙ）−Ｄｈ（ｘ，ｙ））の演算によって、フラクタル変換画像の低周波成分が差し引かれて高周波成分のみが抽出される。
ｗ（ｘ，ｙ）＊（Ｄｆ（ｘ，ｙ）−Ｄｈ（ｘ，ｙ））の項は、上記高周波成分と重み付け係数との積を求める演算式である。
【００３１】
ここで、例えば上記高周波成分が一定レベル以上のときには、フラクタル変換画像中の該当する座標の画素値は、平均的な値との差が著しいから異常値であると判断する。従って、補間変換画像の画素値を採用する。一方、高周波成分が比較的小さい場合には、入力画像を忠実に再現しているであろうと判断して、その値を採用する。
具体的には、上記（１）式のように、補間変換画像の画素値Ｄ（ｘ，ｙ）に対して、高周波成分と重み付け係数の積を求めたものを上積みする。
【００３２】
図４は、重み付け係数の説明図である。
重み付け係数は、例えばこの図に示すように、上記高周波成分が８０／２５６以上の濃度を示す場合には“０”となり、２０／２５６から５０／２５６の範囲では、“１”となるように設定をしておく。なお、例えば画素値が白黒画像を表現するものとすれば、０／２５６は白、２５６／２５６は黒を表すものとする。また、０／２５６から２０／２５６の範囲、５０／２５６から２５６／２５６の範囲では、重み付け係数がなめらかに変化するようにすると、この演算による歪みを少なくできる。
【００３３】
なお、このような演算処理を行うのは、補間変換画像とフラクタル変換画像に含まれる各画素値を比較して、対応する画素の画素値の差が著しい場合には、補間変換画像に含まれる画素値を採用し、それ以外の場合には、フラクタル変換画像中に含まれる画素値を採用するためである。従って、例えば補間変換画像とフラクタル変換画像とを受け入れて、両者の差を判定していずれか一方を選択して出力するようなセレクタを用いても同様の処理が可能である。ただし、重み付け処理をしたほうが画質が良くなる点は前述のとおりである。また、画像の性質により結果が異なるから、繰り返し実験をした結果を反映させるように重み付け係数を定めると良い。
【００３４】
以上のような装置の動作を、フローチャートを用いて説明する。
図５は、具体例１の装置全体の動作フローチャートである。
ここでは、入力画像をモノクロ画像とし、またｊ／ｉ＝２の場合について説明する。
ｓｔｅｐ１ ：制御部５は、Ｍ×Ｎ画素の入力画像をｉ×ｉ画素構成のドメインブロックに分割する。
ｓｔｅｐ２ ：補間処理部は、Ｍ×Ｎ画素の入力画像を、隣接４画素間の線型補間により、縦横２倍、画素数が４倍に高解像度化する。
ｓｔｅｐ３ ：制御部５は、ｉ×ｉのドメインブロック番号ｈを初期化する。
【００３５】
ｓｔｅｐ４ ：フラクタル変換処理部２は、ドメインブロックｈに対する自己相似性最大のレンジブロックを見出す。まず、レンジブロックの各候補について、２×２画素単位の分割で４画素値の平均化による１画素への縮小を行い、１／２縮小画像とドメインブロックの各画素間の２乗誤差の平均を求める。この値が最小（自己相似性最大）となるレンジブロックを、ドメインブロックｈを置換するためのブロックとして採用する。
【００３６】
ｓｔｅｐ５ ：フラクタルフィルタ処理部４は、フラクタルフィルタによるフィルタリングを既に説明した通りの要領で行う。
ｓｔｅｐ６ ：制御部５は、ドメインブロック番号ｈをインクリメントする。
ｓｔｅｐ７ ：制御部５は、処理していないドメインブロックが残っていたならば、ｓｔｅｐ４に分岐して処理を継続する。残っていなければ全ての処理を終了する。全てのドメインブロックに対応付けられた高解像度化処理画像の集合が、原画像に対する高解像度化画像として出力される。
【００３７】
〈具体例１の効果〉
以上説明した処理方法により、補間による滑らかな低周波成分と、フラクタルフィルタによる解像度の高い高周波成分が合成され、画像品質の高い高解像度化画像が得られる。
【００３８】
なお、上記の処理では、ドメインブロックとレンジブロックの相似度を求めている。このとき、予め、適当な閾値を設定しておき、比較処理をする。相似度がこの閾値を越えるほどドメインブロックとレンジブロックの差が著しいときは、該当するレンジブロックに相当する部分の画像は、補間変換画像と前記フラクタル変換画像に含まれる各画素を比較する処理を省略して、補間変換画像の該当部分を採用するとよい。この場合には、フラクタルフィルタの処理を省略できるから、全体として処理が高速化される。
【００３９】
〈具体例２〉
次に、入力画像がカラー画像の場合の処理を説明する。
この具体例では、特に入力画像がカラー画像である場合に、より画質の良い解像度変化出力を得ようとするものである。
【００４０】
図６には具体例２の解像度変換装置のブロック図を示す。
図の装置は、図１に示した具体例１の装置に対して、入力画像１０を予備処理するための色空間変換部７を追加したものである。
この色空間変換部７は、（Ｒ，Ｇ，Ｂ）色空間から（Ｌ，ａ，ｂ）色空間への変換処理をしている。このような変換を行うのは、元信号を、より人間の知覚し易い色空間における色成分を用いた画像を入力画像とすることで、フラクタルフィルタの出力の品質を向上させるためである。これは例えば補間処理により得られた新たな画素の画素値にも影響する。色空間が異なれば、補間された画素の画素値はそれぞれ微妙に異なってくるからである。また、フラクタル変換処理の結果にも影響することがある。なお、この他にも、別の色成分で表現した色空間が考えられるが、画像の性質や実験の結果より最適なものに変換をして、入力画像とするとよい。
【００４１】
その後、入力画像を処理する動作は、具体例１と同様であるから、重複する説明を省略する。カラー画像であるから、各色成分について処理が行われる。（Ｌ，ａ，ｂ）色空間ならば、３回の処理が行われる。
【００４２】
図７は、具体例２の装置の動作フローチャートである。
このフローチャートは，図５のフローチャートにステップＳ１と、ステップＳ４とステップＳ１０、ステップＳ１１に示した内容の処理を追加したものである。なお、同一の表現をしたその他の処理は、図５と同一の内容の処理であるが、追加したステップにより、各ステップの番号は、図５と図６ではシフトしている。
ステップＳ１は、色空間の変換処理である。また、ステップＳ４とステップＳ１１は、３枚の色プレーンについて、順番に処理を実行していくための繰り返し処理制御用のものである。Ｐは繰り返し処理のためのパラメータで、最大値が３である。ステップＳ１０はこのパラメータＰをインクリメントする処理である。
【００４３】
〈具体例２の効果〉
入力画像がカラー画像である場合に、より人間の知覚し易い色空間における色成分毎に、分解した画像を入力画像とする人間の知覚し易い色空間における画素値に変換して得た画像を入力画像としたので、より高画質の解像度変換が可能になる。
【００４４】
〈具体例３〉
具体例１では、ドメインブロックと最も相似性の高いラスタブロックを検出して、フラクタル変換画像を得た。ところが、最も類似するとして検出されたレンジブロックもドメインブロックと十分に類似していないことがあり得る。そこで、この具体例では、一つのドメインブロックと相似性の高い複数のレンジブロックを候補ブロックにする。そして、類似性の高いいくつかのレンジブロックの画素値の平均値をとって、相似性の高い新たなレンジブロックに相当するデータを得る。複数の候補を選ぶ方法は、例えば相似性の高いものからベストエイト（８）を選ぶといった方法による。平均値をとったのは、部分的な異常値が含まれる率を減少させるためである。
【００４５】
図８は、具体例３の解像度変換装置のフラクタル変換処理部ブロック図である。
このフラクタル変換処理部２には、図１に示した構成のブロックの他に、セレクタ２−６、第１バッファ２−７、第２バッファ２−８、加算器２−９、除算器２−１０、除数レジスタ２−１１が設けられている。
【００４６】
その他の回路ブロックは図１で説明したものと同一の機能を持つ。なお、この例では、例えば２つのレンジブロックを候補にして、その画素値を平均化する。ポインタバッファ２−５には、最も相似度の高いレンジブロックと２番目に相似度の高いレンジブロックの始点座標値を保持する。そして、２つのレンジブロックの候補が決定すると、これらが、第１バッファ２−７と第２バッファ２−８に保持される。セレクタ２−６は、どちらのバッファにレンジブロックを格納するかを指定するための回路である。
【００４７】
第１バッファ２−７と第２バッファ２−８からは、各レンジブロックの対応する場所からそれぞれ画素値が取り出され、加算器２−９に供給されて、加算される。次に、その結果が除算器２−１０に入力する。除算器２−１０には、予め除数Ｌ（ここではＬ＝２）が入力するようにされており、除算結果が出力される。これにより、２つの画素値の平均値が得られる。この処理をレンジブロックの全ての画素について実行すると、相似性の高い新たなレンジブロックに相当するデータを得る。
【００４８】
図９は、具体例３の装置の動作フローチャートである。
具体例３の処理は以下のとおりである。
ｓｔｅｐ１ ：制御部５は、入力画像をドメインブロックに分割する。
ｓｔｅｐ２ ：補間処理部は、入力画像を、線型補間により、高解像度化する。
ｓｔｅｐ３ ：制御部５は、ドメインブロック番号ｈを初期化する。
【００４９】
ｓｔｅｐ４ ：フラクタル変換処理部２は、ドメインブロックｈに対する自己相似性の高い例えば８個のレンジブロックを見出す。次に、上記の処理により平均値レンジブロックを得る。
【００５０】
ｓｔｅｐ５ ：フラクタルフィルタ処理部４は、フラクタルフィルタによるフィルタリングを既に説明した通りの要領で行う。
ｓｔｅｐ６ ：制御部５は、ドメインブロック番号ｈをインクリメントする。
ｓｔｅｐ７ ：制御部５は、処理していないドメインブロックが残っていたならば、ｓｔｅｐ４に分岐して処理を継続する。残っていなければ全ての処理を終了する。なおここではドメインブロックの総数をＫ個とした。
【００５１】
〈具体例３の効果〉
以上のように、入力画像中でドメインブロックと相似性の高い複数のレンジブロックを選択して、それらのレンジブロックの、各対応する画素の画素値の平均値に相当する画素を配列したレンジブロックを前記ドメインブロックと置き換えるようにしたので、より類似性の高い、高画質の解像度変換が可能になる。
【図面の簡単な説明】
【図１】具体例１の解像度変換装置のブロック図である。
【図２】フラクタル変換動作説明図である。
【図３】補間処理部の動作説明図である。
【図４】重み付け係数の説明図である。
【図５】具体例１の装置全体の動作フローチャートである。
【図６】具体例２の解像度変換装置のブロック図である。
【図７】具体例２の装置の動作フローチャートである。
【図８】具体例３の解像度変換装置のフラクタル変換処理部ブロック図である。
【図９】具体例３の装置の動作フローチャートである。
【符号の説明】
１ 画像バッファ
２ フラクタル変換処理部
３ 補間処理部
４ フラクタルフィルタ処理部
Claims (8)
- 画素値の補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得るとともに、
入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを前記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、前記入力画像中に、前記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得て、
前記補間変換画像と前記フラクタル変換画像を比較し、この比較結果に依存した差分情報を前記一方の画像から他方の画像に付加して出力画像を得ること特徴とする解像度変換方法。 - 画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得るとともに、
入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを前記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、前記入力画像中に、前記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得て、
前記補間変換画像と前記フラクタル変換画像に含まれる各画素値を比較して、対応する画素の画素値の差が著しい場合には、補間変換画像に含まれる画素値を採用し、それ以外の場合には、フラクタル変換画像中に含まれる画素値を採用して、出力画像を得ること特徴とする解像度変換方法。 - 画素値の線形補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得るとともに、
入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを前記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、前記入力画像中に、前記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得て、
フラクタル変換画像中の画素値と、補間変換画像中の対応する画素の画素値との差を求め、
この画素値の差に対応する重み付け係数を定め、補間変換画像に含まれる画素値に対して、前記対応する画素の画素値の差と前記重み付け係数の積を加算した画素値を求めて、出力画像を得ることを特徴とする解像度変換方法。 - 請求項１に記載の解像度変換方法において、
カラー画像の場合には、元信号を、より人間の知覚し易い色空間における色成分毎に分解した画像を入力画像とすることを特徴とする解像度変換方法。 - 請求項１に記載の解像度変換方法において、
入力画像中でドメインブロックと相似性の高い複数のレンジブロックを選択して、それらのレンジブロックの、各対応する画素の画素値の平均値に相当する画素を配列したレンジブロックを前記ドメインブロックと置き換えることを特徴とする解像度変換方法。 - 請求項１に記載の解像度変換方法において、
ドメインブロックとレンジブロックの相似度を求め、この相違度が閾値を越えるほど両者の差が著しいときは、該当するレンジブロックに相当する部分の画像は、補間変換画像と前記フラクタル変換画像に含まれる各画素を比較する処理を省略して、補間変換画像の該当部分を採用することを特徴とする解像度変換方法。 - 画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得る補間処理部と、
入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを前記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、前記入力画像中に、前記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得るフラクタル変換処理部と、
前記補間変換画像と前記フラクタル変換画像に含まれる各画素値を比較して、対応する画素の画素値の差が著しい場合には、補間変換画像に含まれる画素値を採用し、それ以外の場合には、フラクタル変換画像中に含まれる画素値を採用して出力画像を得るフラクタル変換処理部を備えたことを特徴とする解像度変換方法。 - 画素値の線型補間処理をしながら、入力画像を要求される倍率に解像度変換して、補間変換画像を得る補間処理部と、
入力画像を所定サイズの複数のドメインブロックに分割し、このドメインブロックを前記解像度変換の倍率で拡大したサイズを持つレンジブロックを設定し、前記入力画像中に、前記ドメインブロックと相似性の高いレンジブロックを探索する処理を繰り返し、各ドメインブロックをそのドメインブロックと相似性の高いレンジブロックに置き換えながら、フラクタル変換画像を得るフラクタル変換処理部と、
前記補間変換画像と前記フラクタル変換画像に含まれる各画素値を比較して、対応する画素の画素値の差が著しい場合には、補間変換画像に含まれる画素値を採用し、それ以外の場合には、フラクタル変換画像中に含まれる画素値を採用して、出力画像を得るフラクタルフィルタ処理部とを備えたことを特徴とする解像度変換装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14503698A JP3583924B2 (ja) | 1998-05-11 | 1998-05-11 | 解像度変換方法及び変換装置 |
| US09/310,024 US6928397B1 (en) | 1998-05-11 | 1999-05-11 | Method and device of image transform |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14503698A JP3583924B2 (ja) | 1998-05-11 | 1998-05-11 | 解像度変換方法及び変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11331595A JPH11331595A (ja) | 1999-11-30 |
| JP3583924B2 true JP3583924B2 (ja) | 2004-11-04 |
Family
ID=15375927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14503698A Expired - Fee Related JP3583924B2 (ja) | 1998-05-11 | 1998-05-11 | 解像度変換方法及び変換装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6928397B1 (ja) |
| JP (1) | JP3583924B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7900157B2 (en) | 2006-10-13 | 2011-03-01 | Kabushiki Kaisha Toshiba | Scroll position estimation apparatus and method |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3882585B2 (ja) | 2001-11-07 | 2007-02-21 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
| JP3882651B2 (ja) | 2002-03-20 | 2007-02-21 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
| KR100540659B1 (ko) * | 2003-07-02 | 2006-01-10 | 삼성전자주식회사 | 이미지 확대 인쇄 방법과 장치 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체 |
| JP2006011967A (ja) * | 2004-06-28 | 2006-01-12 | Fuji Xerox Co Ltd | 文字認識装置、文字認識プログラム |
| JP4590973B2 (ja) * | 2004-08-04 | 2010-12-01 | セイコーエプソン株式会社 | 画像処理装置及び画像処理方法 |
| JP4784322B2 (ja) * | 2006-01-31 | 2011-10-05 | ソニー株式会社 | 画像処理装置 |
| EP1912160B1 (en) * | 2006-10-11 | 2012-05-16 | Mitsubishi Electric R&D Centre Europe B.V. | Image descriptor for image recognition |
| US9286643B2 (en) | 2011-03-01 | 2016-03-15 | Applaud, Llc | Personalized memory compilation for members of a group and collaborative method to build a memory compilation |
| JP2013238948A (ja) | 2012-05-14 | 2013-11-28 | Sony Corp | 画像処理装置および方法、並びに、プログラム |
| CN104217395A (zh) * | 2013-05-30 | 2014-12-17 | 中兴通讯股份有限公司 | 图像分辨率转换方法、装置及终端 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5065447A (en) * | 1989-07-05 | 1991-11-12 | Iterated Systems, Inc. | Method and apparatus for processing digital data |
| US5148497A (en) * | 1990-02-14 | 1992-09-15 | Massachusetts Institute Of Technology | Fractal-based image compression and interpolation |
| AUPM661594A0 (en) * | 1994-07-01 | 1994-07-28 | Commonwealth Scientific And Industrial Research Organisation | Fractal representation of data |
-
1998
- 1998-05-11 JP JP14503698A patent/JP3583924B2/ja not_active Expired - Fee Related
-
1999
- 1999-05-11 US US09/310,024 patent/US6928397B1/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7900157B2 (en) | 2006-10-13 | 2011-03-01 | Kabushiki Kaisha Toshiba | Scroll position estimation apparatus and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11331595A (ja) | 1999-11-30 |
| US6928397B1 (en) | 2005-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8218908B2 (en) | Mixed content image compression with two edge data representations | |
| JP4209599B2 (ja) | ２次元非線形補間システム及び補間方法、並びに２次元混合補間システム及び混合補間方法 | |
| US5917963A (en) | Image processing apparatus and image processing method | |
| JP4556276B2 (ja) | 画像処理回路及び画像処理方法 | |
| EP1347411B1 (en) | Fractal image enlargement | |
| JP3583924B2 (ja) | 解像度変換方法及び変換装置 | |
| JPH09284798A (ja) | 信号処理装置 | |
| Bala et al. | Efficient color transformation implementation | |
| JPH08294001A (ja) | 画像処理方法および画像処理装置 | |
| JP3730538B2 (ja) | ディザ処理装置 | |
| WO1996036939A1 (en) | A system and method for sample rate conversion of an image using discrete cosine transforms | |
| Chung et al. | Image enlargement using fractal | |
| JPH07307942A (ja) | 画像雑音除去装置 | |
| US6567568B1 (en) | Pixel interpolating device capable of preventing noise generation | |
| JP3835059B2 (ja) | カラー画像処理方法およびその装置 | |
| KR20070119482A (ko) | 이미지 리샘플링 방법 | |
| JPH11345331A (ja) | 画像処理方法および画像処理装置 | |
| JP3722169B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3054299B2 (ja) | 画像処理装置及びその方法 | |
| JP2809552B2 (ja) | 画像符号化処理方法および画像復号化処理方法 | |
| JPH11252356A (ja) | 画像変倍方法および画像変倍装置 | |
| JP3852124B2 (ja) | 信号変換装置および方法 | |
| JP2001085999A (ja) | 画像圧縮および伸張装置 | |
| JPH0744699A (ja) | 画像拡大縮小装置 | |
| JP4253910B2 (ja) | 画像情報変換装置および変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040720 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040730 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070806 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100806 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100806 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110806 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120806 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |