JP3654420B2

JP3654420B2 - 画像変換方法、画像処理装置、および画像表示装置

Info

Publication number: JP3654420B2
Application number: JP2000050049A
Authority: JP
Inventors: 淳也清水; 一雄関家
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2000-02-25
Filing date: 2000-02-25
Publication date: 2005-06-02
Anticipated expiration: 2020-02-25
Also published as: US6816166B2; US20010020950A1; JP2001251500A

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタル値で表現された画素の集合からなる画像の解像度を変換する方法及び装置に関する。
【０００２】
【従来の技術】
従来では、実世界を写真にとってディジタル化したような画像が解像度変換の対象であり、変化は連続的、かつ連続的でない境界は充分な大きさを持つ、ということを仮定していた。また、画像を拡大する技術においては、その殆どが風景などの自然画像を対象とするものであり、画像中に細線などのステップエッジがほとんど無いものであった。これは撮像装置自体のローパス効果により、かかるステップエッジがシグモイド関数(ｆ(ｘ)＝１/(１＋ｅ^-x)で表される微分可能な連続関数)のような形に変形されて情報が記録されてしまうことに大きな要因がある。そのために、従来では、ローパスフィルタがかかったものをサンプリングした元画像を前提とし、必要以上にぼやけてしまう輪郭をいかに自然に見せるか、という方向で改良がなされてきた。
【０００３】
ここで、まず、従来の解像度変換手法の中で演算量が最も少なく実現が容易な解像度変換手法として、レプリカ法と最近傍法が挙げられる。レプリカ法は、(ｎ＋１)/ｎ倍にするためにｎ番目ごとに同じ画素をコピーして繰り返す最も簡単な方式である。一方、最近傍法は、解像度変換後の座標値に最も近い元画像の画素をコピーして拡大する方式である。レプリカ法も最近傍法も殆ど同様な結果となり、画素間で色の混合が起こることは無く、色調変化は完全に保持される。
【０００４】
また、解像度変換の確立した手法として、バイリニア(共１次)補間とバイキュービック(３次たたみ込み)補間の２方式がよく知られている。バイリニア補間は、結果画像の画素点座標を元画像の座標に逆写像して、その近傍の元画像の画素(周囲４点、または両側２点、または同座標点１点のみ)を距離で加重平均して結果画像の色とする方法である。
一方、バイキュービック補間は、バイリニア補間と同様の考え方で近傍２周分(１６点)にまで広げたものである。元画像に対して１階微分連続や、値変化(傾斜)が充分に緩慢であることなどを仮定している。パラメータの重みによって色が強調され、バイリニア法よりくっきり見える利点がある。
【０００５】
また、上記の補間法を一般化した、より多くの演算量を要する手法は、マルチレート・システムとして区分できる。一般に、マルチレート・システムを実現するためには、デジタル・シグナル・プロセッサ(ＤＳＰ)を必要とする。このマルチレート・システムの基本的枠組みとしては、ゼロ値補間によるアップサンプリングの後、ローパスフィルタリングを行い、間引きによるダウンサンプリングを施して所望の拡大率にするものである。これは、システム内で用いられるローパスフィルタの周波数特性によってバイリニア補間やバイキュービック補間を理論的に包含できる枠組みである。実際には、演算効率を上げるためにポリフェーズ構成やフィルタバンク構成と呼ばれる実装が行われることが多い。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述のレプリカ法と最近傍法では、単純な元画像の画素を新たな空間サンプリング点へホールドするだけであり、座標位置によって拡大線幅が異なる。これらの方式では、目の周波数特性が単位角度あたりの低周波数に対して感度が高いため、線幅の可読性に重大な問題が生じてしまう。
また、上述のバイリニア補間では、１ドット幅の線の両側等距離に逆写像座標が落ちた場合、結果画像では半分の色である２本幅の線になってしまうことが避けられない。そのために、色ムラや、文字骨格の可読性、色の忠実性等に問題がある。写真等では綺麗に見えるが、全体にぼやっとした結果になってしまう。
更に、上述のバイキュービック補間でも、バイリニア補間と同様に、１本線が半分の色の２本線になってしまう問題が発生する場合があり、パーソナルコンピュータ(以下、ＰＣと略す)の画面における色の忠実性の点で問題が残る。また、中間調同士の色の急峻な境界では若干リンギングが発生する問題もある。
【０００７】
また、上述のマルチレート・システムにて、任意のローパスフィルタを用いると、結果画像にチェス盤歪みが生じることがあり、フィルタ設計の際に制約が生じてしまう。すなわち、フィルタの通過域や阻止域特性は平坦でなければならない条件やダウンサンプリング用のフィルタを分離して平均操作を導入するなど、処理対象とする画像や必要とするフィルタ条件に依存してフィルタ設計に制約が課される。画像の場合、線形位相を保つために有限インパルス応答(ＦＩＲ：Finite Impulse Response)フィルタを用いることが望ましいが、バイリニア補間やバイキュービック補間以上の画質を得るためには、一般に高い次数のフィルタが必要となり、専用のＤＳＰが必要になると思われる。また、高次のフィルタを用いる場合の問題として、フォントなどの細線構造を持つものが必要以上に太く拡大されて出現するものが挙げられる。
【０００８】
実際にマルチレート・システムを用いて、米国特許第５,５９４,６７６号公報では、画像の位置によって補間に用いるピクセル数を変えるようにして、３×３から最大６５×６５（ただし、係数の半分はミラーリング）のフィルタリングを行う拡大・縮小方法が提案されている。しかしながら、本発明が主に対象とするようなＰＣ画面では、１画素幅のステップエッジの変化が多いため、上記の従来手法では適切な解像度変換を行うことができない。以下、マルチレート・システムの観点からその理由を考察する。
【０００９】
図１３は、Ｕ／Ｄ倍にサンプリングレート変換を行うマルチレート・システムを表現したものである。ｎ箇のサンプル点からなる入力ｘ[ｎ]を、まずアップサンプリング(↑Ｕ)２０１によってｎ・Ｕ箇のデータ列に変換し、ローパスフイルタ(Ｈ(ｚ))２０２を通した後、ダウンサンプリング(↓Ｄ)２０３によって、ｍ＝ｎ・Ｕ/Ｄ箇の結果データ列ｙ[ｍ]を得る。アップサンプリングではｘ[ｎ]のデータ１箇に付きＵ−ｌ箇の値０を補っている。
【００１０】
図１４は、アップサンプリングとしてＵ＝３とした１次元信号の例を示している。左上図が入力列ｘ[ｎ]、右上図は０値補間で３倍に増えたデータ列の最初の２０箇である。これらの横軸は離散的にサンプリングしたときの個数、縦軸は振幅(レベル)を示している。また、左下図はｘ[ｎ]をＦＦＴ(高速フーリエ変換)にかけた結果、右下図はアップサンプリングされた３・ｎ箇のデータ列のＦＦＴ結果である。これらの横軸は規格化した周波数(Ｈｚ)、縦軸は絶対値の２乗で表わしたスペクトルの振幅を示している。どちらも周波数を［０，１］に正規化してあり、０が低周波側である。右下図で理解できるように、元画像の周波数成分はＵ分の一に縮まると同時に、高周波域にイメージング成分が現れる。
【００１１】
図１５は、ダウンサンプリングとしてＤ＝３とした１次元の例を示しており、その横軸および縦軸は、図１４に示したものと同様である。ダウンサンプリングではｎ・Ｕ箇のデータ列からＤ箇毎に１箇を出力として取り出す間引きを行う。このダウンサンプリングの例では、左上図の入力列はアップサンプリングした結果ではなく、任意の入力列を使っている。右上図は入力列を３箇目ごとに拾って３分の一に間引いたデータ列で、左上図に示されている点の３倍の列から生成されている。左下図と右下図はそれぞれのＦＦＴ結果を正規化したものである。Ｄ分の一の間引きを行うと、周波数成分がＤ倍に広がってゲインがＤ分の一になっていることが分かる。しかしながら、このダウンサンプリングへの入力列が１/Ｄよりも高い周波数成分を持っていると、広がった周波数成分は１を越えるため、結果スペクトルにエイリアシング成分を生じることになる。
したがって、イメージング成分やエイリアシング成分の影響を受けずに元画像の周波数成分を保存してＵ／Ｄ倍のサンプリングレート変換を行うためには、アップサンプリングとダウンサンプリングの間に通過域が[０，min(ｆ_s ^x/Ｕ,ｆ_s ^x/Ｄ)]なるローバスフィルタ(Ｈ(ｚ))２０２を置かなければならない。ここで、解像度ｘで表示される画像のサンプリング周波数の半分をｆ_s ^xとした。
【００１２】
画像のサンプリング周波数成分が、ｆ_s ^xにおいても他の成分に比べて劣化することなく存在するということは、情報ディスプレイ画面で用いられるフォントなどの変化が急峻な信号を、与えられた解像度の下で最も理想に近い形で表現できることを意味する。すなわち、ｆ_s ^x成分およびその周辺の周波数成分が減衰した場合、表示画面はぼやけを伴うものとなる。いま、元画像の周波数成分が０からｆ_s ^xまで存在したとすれば、マルチレート処理によってレート変換後の画像(解像度ｙ)が持つスペクトル成分は、元のスペクトル概形を保ったまま０からＤｆ_s ^y/Ｕまで存在する。ここでは画像の拡大を考えているので、Ｄ/Ｕ＜１であり、結果としてＤｆ_s ^y/Ｕからｆ_s ^yまでの周波数成分はゼロになる。バイリニア補間やバイキュービック補間などの従来手法は、全てこのマルチレート処理の枠組みで捉えることができ、ローパスフィルタの周波数特性の違いに議論を帰着させることができるが、マルチレート処理の枠組みである限り、Ｄｆ_s ^y/Ｕ以上の周波数成分を生成することはできず、元画像がコンピュータ画面などの急峻な変化を伴う画像に対して、その拡大をステップエッジを保存して行うことは難しい。特にＰＣ画面では、本質的に解像度に依存せずにｆ_s ^yまでの周波数成分を充分に持つ画像である。したがって、この部分の欠落があれば、ぼやけた印象を与えることになり、この点が自然画の拡大よりも難しい問題と言える。
【００１３】
以上をまとめると、マルチレート・システムの枠組みにおける拡大処理結果には、ローパスフィルタの存在から解かるように、拡大後の解像度で表現可能なサンプリング周波数よりも低い周波数成分しか存在しない。したがって、ステップエッジを保存することは難しく、エッジがぼやけてシグモイド状になり、全体としてぼやけた印象の画像が得られる、ということが言える。
上記の問題に対処するため、高周波数成分を操作することで、バイリニア補間やバイキュービック補間においてぼやけてしまう輪郭を改善する手法がいくつか提案されている。しかし、それぞれ次のような問題がある。
【００１４】
文献(電子情報通信学会1999年総合大会D-11-120 講演予稿)では、元画像上でエッジ検出を施し、そのエッジの傾きに対応した傾きのエッジを結果画像に再構成する手法が提案されている。これは高周波数成分の一部を再加工していると考えられる手法であり、斜め線の拡大において発生するジャギーを結果解像度側の細かい階段に置き直すものである。しかし、この手法では、エッジの検出のために例えば３×３以上のサイズのフィルタを用いることになり、フォントの細かな構造を拡大することはできない。例えば図１６に示すように「ｔ」の字の横棒凸部は丸いふくらみに変換されてしまう。
【００１５】
一方、文献(IEEE Proceedings of International Conference on Image Processing 1997, vol. I, pp. 267-270, Oct. 1997.)では、元画像上でエッジ強調を施してから線形拡大方式を適用する方法が述べられている。これは、結果的に高周波数成分を補強することになるが、その前提となっていることはエッジ検出フィルタで検出可能な境界幅が存在していることであり、エッジ検出フィルタのサイズ以下の構造に対しては効果が薄い。また斜め境界などでは整形を施さないと階段上のジャギーが目立ってしまうことになる。
更に、米国特許第５,７１７,７８９号公報では、元画像をラプラシアン・ピラミッドで表現した時に、ラプラシアン成分のゼロ・クロス位置がサンプリングレートに依存せず一定であることを利用して高域の成分を推定し、画像拡大を行う手法が提案されている。しかしながら、この技術では整数倍の拡大にしか対応できない。
【００１６】
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、高解像度における画像拡大等、解像度変換処理において高速な処理を実現することにある。
また、他の目的は、ＰＣ画面のようにステップエッジが多い画面であっても、解像度変換処理を行った結果、フォントなどの概形を損なうことなく、かつ、くっきりとした拡大・縮小画像を得ることにある。
【００１７】
【課題を解決するための手段】
かかる目的のもと、本発明は、入力された元画像データに対して有理数倍または整数倍に拡縮する解像度変換を施して変換画像データを生成する画像変換方法であって、元画像データの有する縦、横、斜めといった線を構成する画素のうち連続した画素数の小さいほうの値である線幅に対して解像度変換後も例えば同じ階調値を持つ画素の接続関係が維持された第１変換画像データを生成するステップと、元画像データに対して線幅付近の値をとり補間することで元画像データの対象物の概形が保持されるように解像度変換が施された第２変換画像データを生成するステップと、生成された第１変換画像データと生成された第２変換画像データとを任意の割合で混合して画素ごとの重み付け加算を行うステップとを含むことを特徴としている。また、この混合するステップは、元画像データを表示すべき画面の位置によって異なる割合で混合されることを特徴とすることができる。更に、この混合するステップの代わりに、生成された第１変換画像データと生成された第２変換画像データから画像を生成するステップとを含むことを特徴とすることができる。
【００１８】
また、本発明は、入力された元画像データを２倍未満の拡大画像データに変換する画像変換方法であって、この元画像データの有する画素について接続関係を検出して得られた１画素幅の線について、この１画素幅の線に対して２倍未満に拡大した際にも１画素幅とその接続関係が維持された第１拡大画像データを生成し、この元画像データに対して線形補間による拡大処理が施された第２拡大画像データを生成し、生成された第１拡大画像データと生成された第２拡大画像データとを画素ごとに重み付け加算して拡大画像データを生成することを特徴としている。
【００１９】
ここで、第１拡大画像データと第２拡大画像データとの混合は、元画像データの全部あるいは部分スペクトルパワーと第１拡大画像データの全部あるいは部分スペクトルパワーの差分の絶対値を、第２拡大画像データの全部あるいは部分スペクトルパワーと第１拡大画像データの全部あるいは部分スペクトルパワーの差分の絶対値で除した関数であるスペクトルパワーに関する基準関数に基づいて重み付けを決定して、この第１拡大画像データと第２拡大画像データとを混合することを特徴とすれば、画像に応じて重みを自動決定することができる点で好ましい。一方、重みを経験則から一定の値に設定することも可能であり、更に、画像の種類や画像の位置、ユーザの設定等によって、例えば、重みａ＝０.５〜０.９の間で決定すれば、１画素幅の線に対するシャープな拡大画像と、直線や曲線に生じるギザギザであるジャギーを緩和することができる点で優れている。また更に、画質に関するユーザの好みを調整値として入力し、この第１拡大画像データと第２拡大画像データとの混合は、入力された調整値に基づいて第１拡大画像データと第２拡大画像データとを混合することを特徴とすれば、最終的に画質の優劣の判断はユーザの好みに帰着することからも好ましい。
【００２０】
他の観点から把らえると、本発明の画像変換方法は、所定の倍率で拡大すべき元画像データを入力し、入力されたこの元画像データに対し、元画像データに含まれる線幅が倍率を超えない整数以下に拡大される際に、線を構成する各画素の接続関係と色とを保存して拡大画像を形成し、この拡大画像に対して所定のぼかしを加えることで拡大画像の線に形成されるジャギーを緩和し、この拡大画像の線に形成されるジャギーが緩和された拡大画像を出力することを特徴としている。
【００２１】
ここで、ジャギーとは、例えば斜線や曲線などがギクシャクする等の状態を示すものと言える。また、このジャギーの緩和は、元画像データを構成する線の概形を保存する方向での補間処理によってなされることを特徴とすることができる。より具体的には、バイリニア補間やバイキュービック補間等の線形補間によってエッジをぼやかせることが挙げられる。
【００２２】
一方、本発明が適用された画像処理装置は、拡縮処理を施すべき元画像データを入力する入力手段と、入力された元画像データに対し、拡縮処理を施して高周波領域のスペクトル成分が欠如された線形結果画像を生成する線形画像変換手段と、拡縮処理を施して、この線形画像変換手段によって欠如される高周波領域のスペクトル成分が補われた結果画像を生成する非線形画像変換手段と、線形画像変換手段によって生成される線形結果画像と非線形画像変換手段によって生成される結果画像とを画素ごとに重み付け合成して拡縮画像データを生成する合成手段とを備えたことを特徴としている。
【００２３】
この非線形画像変換手段は、元画像データに含まれる縦、横、斜めといった線を構成する画素のうち同じ階調値を持つ連続した画素数の小さいほうの値である線幅が目的の倍率を乗じたときの値を超えない整数線幅に拡大された際にも同じ階調を持つ画素の接続関係と色とが保存された結果画像を生成することを特徴とすれば、高周波領域のスペクトル成分を元画像データとほぼ同じように補うことが可能となる。また、この非線形画像変換手段は、元画像データにおける注目画素の値およびこの注目画素に隣接する隣接画素の値から、注目画素の接続関係を検出する検出部と、この検出部における接続関係の検出に基づいて注目画素が拡幅可能か否かを判断する拡幅検出部と、元画像データにおける画素の座標位置と拡縮画像データにおける結果画素の座標位置との関係からこの関係を分類した複数のタイプを定義すると共に、拡幅検出部からの出力に基づいて、定義される複数のタイプに対して特定のルールを適用するルール適用部とを備えたことを特徴としている。
【００２４】
また、本発明は、入力された低解像度のカラー元画像データを高解像度の拡大カラー画像データに変換する画像処理装置であって、このカラー元画像データにおける注目画素が、周辺の画素から構成される画像データと比較して、細い幅を構成する画素か太い幅を構成する画素かを認識する幅認識手段と、この幅認識手段により注目画素が細い幅を構成する画素と認識された場合にはこの細い幅を維持し、注目画素が太い幅を構成する画素と認識された場合にはこの太い幅を更に太くするように、拡大カラー画像データを構成する結果画素の値を決定する決定手段と、この決定手段により決定された結果画素に対し、所定の割合にてぼかしを施すぼかし手段とを備えたことを特徴としている。
【００２５】
ここで、拡大カラー画像データは、カラー元画像データに対して２倍未満の高解像度に拡大するものであり、幅認識手段は、細い幅を構成する画素が１画素幅の線を構成する画素であるか否かを判断し、決定手段は、拡大カラー画像データにて対応する線においても１画素幅を維持すべく結果画素の値を決定することを特徴とすることができる。このように構成すれば、１ドット幅の線を２倍未満に拡大するときに、１ドット幅と２ドット幅との混在を無くし、ユーザにとって非常に見易い、シャープな画像を提供することが可能となる。
また、元画像データにおける注目画素の色を認識する色認識手段とを更に備え、決定手段は、この色認識手段により認識された色を混合することなく、注目画素の色をそのまま用いて結果画像の値を決定することを特徴としている。例えば、細い線からなるフォントでは、連結すべき画素が同じ階調、色調の色になっていないと文字の形状が認識し難くなるが、このように構成すれば、同じ色で骨格線を確保することができ、可読性を高くすることができる点で好ましい。
【００２６】
一方、本発明は、元画像データに対して有理数倍または整数倍に拡縮する解像度変換を施して変換画像データを生成する画像処理装置であって、元画像データを入力する元画像データ入力部と、入力された元画像データの有する縦、横、斜めといった線を構成する画素のうち連続した画素数の小さいほうの値である線幅に対して解像度変換後もそれらの画素の接続関係が維持された第１変換画像データを生成する非線形処理部と、入力された元画像データに対して線幅付近の値をとり補間することで元画像データの対象物の概形が保持されるように解像度変換が施された第２変換画像データを生成するマルチレート処理部と、この非線形処理部によって生成された第１変換画像データとこのマルチレート処理部によって生成された第２変換画像データとを合成する合成部とを備えたことを特徴としている。
【００２７】
また、この第１変換画像データと第２変換画像データとの混合度合いを決定する重み決定部とを更に備え、合成部は、この重み決定部によって決定された混合度合いに基づいて第１変換画像データと第２変換画像データとを合成することを特徴とすることができる。
更に、重み決定部は、解像度変換された各画素に対して個別に混合度合いが決定されることを特徴とすれば、例えば、画面のうち変化のある部分についてだけ混合比を変えることが可能となり、ＧＵＩでアイコンなどをドラッグする際に跛行して見える現象を緩和することができる点で好ましい。
この重みを画像処理装置が自動設定する場合には、例えば所定ブロック単位でスペクトルパワー(スペクトル平均パワー)を取るように構成すれば、画像位置による局所的な重みを設定することができる。また、例えば画像の対角成分について１次元スペクトルを計算するように構成すれば、２次元スペクトルに比べて計算量を少なくすることができる点で優れている。
【００２８】
また、本発明は、元画像データを２倍未満の拡大画像データに変換する画像処理装置であって、元画像データを入力する入力手段と、入力される元画像データに含まれる線幅が１画素幅の線に対し、対応する線を構成する各画素の接続関係と色とを保存して１画素幅の拡大画像を生成する第１の処理手段と、この１画素幅の拡大画像に対して所定のぼかしを加えることでこの１画素幅の拡大画像に形成されるジャギーを緩和する第２の処理手段とを備えたことを特徴としている。この第２の処理手段は、元画像データを構成する１画素幅線の概形を保存する方向である線形補間処理であることを特徴とすることができる。
【００２９】
一方、本発明は、元画像データに対して有理数倍または整数倍に拡縮して変換画像データをウィンドウ画面に表示する画像表示装置であって、元画像データを入力する元画像データ入力手段と、入力された元画像データに拡縮処理を施して高周波領域のスペクトル成分が欠如された線形結果画像を生成する線形画像変換手段と、拡縮処理を施して、線形画像変換手段によって欠如される高周波領域のスペクトル成分を補う結果画像を生成する非線形画像変換手段と、生成される線形結果画像と生成される結果画像とを画素ごとに重み付け合成して変換画像データを生成する合成手段と、生成されたこの変換画像データをウィンドウ画面に表示する表示手段とを備えたことを特徴としている。また、この元画像データ入力手段は、ウィンドウ画面に対して画像移動を伴う元画像データを入力し、合成手段は、この元画像データ入力手段により画像移動を伴う前記元画像データが入力された場合には、線形画像変換手段によって生成された線形結果画像を選択して変換画像データを生成することを特徴とすることができる。線形変換であれば、細線などの重心点は均等に動いていくので、画像移動の場合に発生する跛行な跳躍を軽減することが可能となる。
【００３０】
【発明の実施の形態】
本実施の形態における画像処理装置は、例えば、液晶表示(ＬＣＤ)モニタとして実現され、接続されたＰＣ等のホスト装置からの元画像データを入力して、解像度変換を施し、液晶表示セル等の表示部にて出力するものである。また、ノート型のＰＣにおいては、ホスト側を含めて実現される。尚、ここでは、液晶表示セルやその液晶表示セルに電圧を供給するＸ,Ｙドライバ等について、更に細かな説明は省略する。
【００３１】
図１は、本実施の形態が適用された画像処理装置の一実施形態を示す構成図であり、例えば、ＬＣＤモニタやノート型ＰＣにあっては、その内部に設けられるＬＣＤコントローラ等で実現される。符号１１は元画像データ入力部であり、各座標における処理の中で元画像データの入力を行う。この元画像データ入力部１１には、ＣＲＴ表示における走査のように、例えば水平走査ラインの連続である１次元ストリーム・データとなって画素値が時系列的に流れ込む。１２はアルゴリズミック非線形処理部であり、例えばルールベース手法によって各画素の接続関係と色を維持する等、画像の拡大・縮小にかかる解像度変換を所定のアルゴリズムに基づく非線形処理にて実行している。１３はマルチレート処理部であり、例えばバイリニア補間やバイキュービック補間等に代表される線形処理による解像度変換を実行している。１４は重み決定部であり、元画像データ入力部１１から入力された元画像、アルゴリズミック非線形処理部１２によって解像度変換されたアルゴリズミック非線形処理画像、マルチレート処理部１３によって解像度変換されたマルチレート処理対象画像をそれぞれ入力し、例えばそれぞれのスペクトルパワーに基づいてアルゴリズミック非線形処理画像およびマルチレート処理対象画像の重み付け(混合比等)を決定している。１５は合成部であり、重み決定部１４による結果に基づいて、アルゴリズミック非線形処理画像とマルチレート処理対象画像とを合成している。また、１６は、この合成部１５からの結果を出力する結果画像出力部である。
尚、この重み決定部１４は、ユーザからの調整値を入力する調整値入力部(図示せず)に接続されるように構成することもできる。この調整値の入力としては、例えばシャープ画像から柔らかな画像まで、所定のレベル毎に画質をユーザに選択させる等で実現でき、ユーザの好みに基づく調整値入力部からの入力値によって重み付けを決定することができる。
【００３２】
次に、アルゴリズミック非線形処理部１２における処理について説明する。ここで行われるアルゴリズムについては、例えば、出願人による先の出願である特願平１１−３６５０１６号にて提案した技術が適用できる。ここでは、以下にその概略構成を説明するが、詳細については上記出願を参照されたい。
【００３３】
図２は、このアルゴリズミック非線形処理部１２の一実施形態を示す構成図である。アルゴリズミック非線形処理部１２は、現在処理すべき画素と隣接８画素の値を格納する画素値用バッファ２２、画素を１次元的に順次処理する接続検出器２３を備えている。また、接続関係結果を格納する接続関係用バッファ２４、画素を１次元的に順次処理して拡幅可能かどうかを判定する拡幅伝播検出器２５、拡幅可能かどうかを判定した結果を格納する拡幅伝播用バッファ２６を備えている。更に、所定のルールを適用して画素値用バッファ２２から決定した座標の画素値を選択するルール適用器２７、選択された画素値の座標を格納するコピー元指標用バッファ２８を備えており、このルール適用器２７からの出力は、合成部１５および結果画像出力部１６に対して出力される。この画素値用バッファ２２、接続関係用バッファ２４、拡幅伝播用バッファ２６、およびコピー元指標用バッファ２８は、ラインバッファまたはフレームバッファで構成される。
【００３４】
この画素値用バッファ２２は、接続検出器２３に対して現在処理すべき画素と隣接８画素の値を与え、拡幅伝播検出器２５に対しては現在処理すべき画素と１画素以上離れた画素の値を与え、ルール適用器２７に対しては現在処理すべき画素と隣接８画素の値を与えるように構成されている。
接続検出器２３は、画素を１次元的に順次処理し、処理対象座標の画素値とその隣接８画素の値が近似色であるかどうかを判定して８ビットの接続関係結果として接続関係用バッファ２４に書き出す。拡幅伝播検出器２５も画素を１次元的に順次処理し、接続関係用バッファ２４に格納された接続関係結果を参照しながら処理対象座標の画素が拡幅可能かどうかを判定して、１ビットのデータとして拡幅伝播用バッファ２６に書き込む。ルール適用器２７は、画素を１次元的に順次処理し、接続関係用バッファ２４、拡幅伝播用バッファ２６、コピー元指標用バッファ２８からのデータにルールを適用して画素値用バッファ２２から決定した座標の画素値を選択する。画素値は１次元ストリーム・データとなって時系列的に解像度変換結果として出力される。また選択された画素値の座標はコピー元指標用バッファ２８に書き込まれ、以降の画素における拡幅の際のルール適用に用いられる。
【００３５】
次に、このアルゴリズミック非線形処理部１２におけるルール・ベース画像変換法のアルゴリズムについて、例えばＬＣＤパネルのＳＸＧＡ(Super Extended Graphics Array)(1280×1024ドット) からＱＸＧＡ(Quad Extended Graphics Array)(2048×1536ドット)の変換といったような、１倍以上２倍未満の有理数倍変換を対象として説明する。
尚、２倍以上の拡大や各倍率における縮小については本方式の応用であるため、以下の考察には入れないが、本方式から容易に導くことが可能である。
【００３６】
図３は、アルゴリズミック非線形処理部１２におけるルール・ベース画像変換法の隣接接続関係を説明するための図である。
元画像の各画素値Ｖ［Ｘ，Ｙ］はＲ(レッド),Ｇ(グリーン),Ｂ(ブルー)の各８ビット(それぞれ値として０〜ＦＦh)で表されているとする。図３に示すように、注目画素５０に対して隣接方向を、Ｔop(直上)５１、Ｂtm(直下)５２、Ｌft(左)５３、Ｒgt(右)５４、Ｄtl(左上)５５、Ｄtr(右上)５６、Ｄbl(左下)５７、Ｄbr(右下)５８、と呼び、本実施の形態では「隣接接続関係」と呼んでいる。元画像の各画素(注目画素５０)についてＲＧＢ値を各隣接８画素と比較し、同じ色ならば８ビットの内の対応するビットを１にし、異なるならば０にする。例えばＴop５１、Ｂtm５２だけが１で他が０ならば、１ドット幅で３ドット以上の長さの縦線であると検出される。尚、同じ色か否かは、ＲＧＢ値の差が所定の値か否かで判断するように構成することができ、必ずしも完全に一致している必要はない。
【００３７】
図４(ａ)、(ｂ)は、隣接接続関係の例を示している。この図４(ａ)、(ｂ)の例は何れも右上から左下に斜め境界を持つ例であり、接続関係を斜線で示している。図４(ａ)ではＤtl５５とＤbr５８の両方向に斜め境界を持ち、図４(ｂ)ではＤbr５８方向に斜め境界を持つ。本実施の形態が従来方式のパターン検出と異なる点は、各画素ごとに接続を検出している点である。例えば、図４(ｂ)の例で、今、注目画素(中心点)５０は、Ｌft５３と接続しているがＤtl５５やＴop５１とは接続していない。しかし、このＬft５３の画素において接続関係を調べた場合、つまり、このＬft５３の画素を中心点(注目画素５０)とした場合には、ここのＤtl５５やＴop５１と接続していることもあり得る。
【００３８】
接続関係の分類は、各画素ごとに決定されたこの８ビットの隣接接続関係をトレースしていくことで行う。つまり特徴がこの周囲１周分だけで分類可能ならばトレースは必要ないが、周囲２周分以上を必要とする場合は、接続関係にある隣の画素の隣接接続関係を参照し、更にまたそれと接続関係にある隣の画素を参照する、というように再帰的に見て行く。
隣接接続関係を各画素ごとに独立して決定していることの最大利点は、例えば、１本の線の中で次第に色が変わっていくようなパターンを呈示されても同じ１本の線であるとして検出できることである。ここで、接続関係の検出は、テキストを抽出する操作ではない。前景・背景に関わらず、意味があるか否かを問わずに、全ての画素について接続関係を検出する。
【００３９】
次に、元画像の画素の位置による分類手法について述べる。位置の分類は、レプリカ法からの類推で考えると分かりやすいことから、レプリカ方式にて説明する。
このレプリカ法にて、３／２倍の場合に、結果画素の値ｖ(ｘ,ｙ)は元画素の値Ｖ[Ｘ,Ｙ]から次のように決定される。
タイプＡ：元座標のＸ，Ｙ共偶数
【数１】

タイプＢ：元座標のＸ奇数，Ｙ偶数
【数２】

タイプＣ：元座標のＸ偶数，Ｙ奇数
【数３】

タイプＤ：元座標のＸ，Ｙ共奇数
【数４】

これらの数式における(３/２)Ｘ、および(３/２)Ｙを囲む記号は、「切り上げ」を示している。
【００４０】
図５は、画素の座標関係を説明するための図である。実線太線は元画像の解像度における画素を示しており、破線細線は拡大した結果画像の解像度における画素を示している。 [０,０]は元画像のＸ，Ｙ共偶数の画素、[１,１]は元画像のＸ，Ｙ共奇数の画素を表している。結果画像の座標は、(０,０)画素の中心が元画像の[０,０]画素の中心と一致するように重ねてある。元画像の[０,０]がタイプＡ、[１,０]がタイプＢ、[０,１]がタイプＣ、[１,１]がタイプＤに相当し、それぞれ結果画像の１画素、２画素、２画素、４画素を支配している。
ここでは、このタイプＡ〜Ｄの分類をそのまま用いている。即ち、元画像を納めたフレームバッファからの読み出しが座標[０,０]のとき、結果画像の画素(０,０)を決定し、[１,０]のときには(１,０)と(２,０)を、[０,１]のときには(０,１)と(０,２)を、[１,１]のときには(１,１)，(２,１)，(１,２)，(２,２)を決定する。つまり、タイプＡの座標は拡大を担当せず、タイプＢ(およびタイプＣとタイプＤ)が２倍の拡大を担当している。
【００４１】
また、ここでは、ルールを単純化するため、[０,０]〜[１,１] → (０,０)〜(２,２)での自由なマッピングは行わず、なるべく固定的なマッピングを施すように構成されている。即ち、
タイプＡ：ｖ(０,０) ← Ｖ[０,０]
タイプＢ：ｖ(２,０) ← Ｖ[１,０]
タイプＣ：ｖ(０,２) ← Ｖ[０,１]
の３箇所は、固定的にマッピングする。タイプＤについては、できる限り、
ｖ(２,２) ← Ｖ[１,１]
を当てはめようとするルールを用いる。その他の画素(１,０)，(０,１)，(１,１)，(２,１)，(１,２)は、タイプＢ〜Ｄに対して定められたルールにより、どの隣接画素の値を持ってくるかを決定する。
【００４２】
次に、上述した接続関係と画素の位置関係とから拡大画像を決定するルールについて説明する。このルールはプログラムで実行されるものであり、全てを文章で記述することは困難である。そのため、ここでは、ルールの構成方針を説明している。
［ルール構成方針］
(１) 元画像のタイプＡ、Ｂ、Ｃの画素については、拡大した時、位置分類で示した結果座標に必ずマップされる。タイプＤについても、Ｄbr５８方向に斜め境界（Ｄbr５８が外側）を持つ場合以外は、この結果座標にマップされる。
(２) 接続している画素は、拡大しても必ず接続する。(２種の線が斜めに交差しているようなパターンでも、どちらの線も必ず接続を保つ。この原則を守る限り、前景・背景を峻別しなくてもルールを構成できるようになる。)
（３) 縦または横に２画素以上の隣接接続があって、「境界(接続する２画素の色が両方とも、同じ側の隣接している画素と接続していない場合、境界と見なす。異なっている方の画素同士は同色である必要はない。)」を構成している場合、拡大してもその境界を保存する。
(４) 縦、横、斜めの「線」は、「境界」を壊さない限り、線の方向に延長してよい。
(５) 斜め方向の「境界」については、３画素以上の境界の長さがあれば、本来の斜め線であると判断し、拡大したときに斜め線となるようにする。２画素の長さしかない場合は、その先の接続関係の分類によって、斜め線として拡大するか階段状に拡大するかを決定する。(「凸」の字における突出部のような端点は、下部が１本の線であるか、それとも下部の先の接続が末広がりに大きく広がっていくかで、「線」であるように延長するか、斜め線であるように拡大するかを決定する。)
（６) 接続関係にある画素集合の構成部分で、１画素幅の「線(２画素以上の長さがあれば線と見なす)」は、拡大してもなるべく１画素幅になるようにする。もしも、どうしても(２画素幅に)拡幅される場合には、それと接続関係にある同方向の画素も全て同じ幅に拡幅する。これを伝播と呼ぶ。
(７) ２画素幅以上の「線」は、３画素に拡幅してよい。この性質は同じ「線」の中における全ての画素に伝播する。同様に、２×２画素以上の面積を持つ構成部分は縦・横とも拡幅してよい。
(８) 縦横に拡大しても良い面積部分で一定以上の大きさを持つ部分を囲碁でいう「地」(Region)と考える。１画素幅における線同士の縞模様のように、局所的には拡幅してよい方の縞が決定できない場合、「地」に接続している方の線を拡幅する。この「伝播」をどれだけ遠方から行うかで、精度とワーキング・バッファ・サイズが定まる。
(９) 周囲を１画素幅の線で囲まれた１画素幅の領域は、もしも囲いの外側が「地」もしくは「地」からの接続であってかつ同色の場合、「飛び地」として拡幅してよい。
(10) 隣接接続が全く無い１画素のみの点は、「境界」等、他の条件に抵触しない限り拡幅してよい。
(11) 希ではあるが、補間しなければならない座標の結果画素がどのような規則でも値を決定できない場合は、対応する座標タイプの元画素の値で埋めるか、隣の元画素と混色して埋めておく。
【００４３】
このような方針によって作成されるルールであれば、画像中の微細な構造を保存することが可能となる。例えば、２倍未満の拡大の場合、１画素幅の線が１画素幅であったり２画素幅になったりすると可読性が非常に悪くなる。そのために、１画素幅のものはなるべく１画素幅のままで残し、幅に変動があっても目立たない２画素幅以上の線や、拡幅しても差し支えない点を選んで拡幅するようにしている。即ち、１画素幅の微細構造は拡大しても１画素幅の微細構造として残される。
また上記の方針は、ある画素が小さなフォントや細かい図形の一部であるのか、もともとある程度の太さを持った線や写真・絵の一部であるのかを、局所的に判断できるようにしている。ここでは、「地」という間接的な推定を行い、基本的に背景・前景を同等に扱っている。前景・背景判断のための大域的な処理をせず、画素ごとに隣接関係で処理をするために、高速な水平論理に適している。
【００４４】
また、ワーキング・バッファのサイズによってどこまで「伝播」を許すかが制限されるが、これがルールによる拡大のエラーの程度を定めることになる。経験的には、隣接関係を覚えておく８ビットメモリのライン数と同程度か、若干多い程度で問題ない。
尚、位置分類で触れた「自由なマッピング」は、条件(１)の固定的なマップ条件を緩めるもので、斜め線の拡大を美しくすることができるが、条件(２)の「接続」や条件(３)の「境界」を定める条件を守るために、かなり複雑なルールを構築しなければならなくなる。
【００４５】
図６(ａ)〜(ｄ)は、上述したルール構成方針に基づいて拡大する例を示した図である。上述したルール(１)とルール(２)は大前提であり、必ず適用されている。
まず、図６(ａ)では、左側の縦線は１ドット幅なので、ルール(６)によって１ドット幅が保たれる。このとき、ルール(４)によって縦に伸ばしているが、ルール(３）で上辺側の境界が保存されることから、下方にのみ伸ばされている。中ほどの白の食い込みは、１ドットの突起に相当しており、ルール(５)によって斜め境界としてではなく、突起として縦に延長されている。また、右側にある黒の２×２の面積部分は、ルール(７)によって３×３の面積に拡幅されているが、ルール(３)で上辺が左の縦線の上辺と一致するようにして境界が保存されている。白は、この場合、バックグラウンドであり、ルール(７)で拡幅されている(図６(ａ)の外にまではみ出している)。
【００４６】
図６(ｂ)は、ルール(５)によって凸型突起と判断された例である。また、図６(ｃ)は、ルール(５)によって斜め境界と判断された例である。
図６(ｄ)は、ルール(５)によって斜め線と判断され、ルール(４)で斜め方向に線が伸ばされ、更にルール(６)によって１ドット幅が保たれている。ここで、斜め線の元座標が上述のタイプＡとタイプＤのみを通っている場合、ルール(１)におけるタイプＤの結果座標にマップされない場合が適用され、図６(ｄ)の右上図に示されるように、綺麗な斜め線にマップされる。一方、斜め線の元座標がタイプＢとタイプＣのみを通っている場合には、ルール(１)の「結果座標に必ずマップされる」が適用され、ルール(２)の接続に関する要請から、図６(ｄ)の右下図に示されるように、ジグザグした斜め線にマップされる。この図６(ｄ)の右上図および右下図は、どちらにしても裏地の白についてもルール(２)が適用されていて、黒の斜め線とクロスして斜め方向の接続が保たれている。
【００４７】
図７は、接続検出器２３における処理の流れを説明するためのフローチャートである。まず、元画像データ入力部１１および画素値用バッファ２２から、元画像Ｖ[Ｘ,Ｙ]である注目画素５０(処理対象画素)とその周辺画素値８個が入力される(ステップ１０１)。次に、元画像Ｖ[Ｘ,Ｙ]である注目画素５０とその周辺画素値(比較画素の値)との差が判定される(ステップ１０２)。この差が予め定められた閾値よりも小さければ、接続関係があるとして、検出パラメータｂを１に設定する(ステップ１０３)。閾値より大きければ、接続関係は無いものとして、検出パラメータｂを０に設定する(ステップ１０４)。このステップ１０３とステップ１０４による出力は、接続関係用バッファ２４へ書き込まれる(ステップ１０５)。但し、この段階では、上方の左方向からスキャンして順に検出されるとすると、各処理対象座標[Ｘ,Ｙ]からみて、直上(Ｔop５１)、左上(Ｄtl５５)、右上(Ｄtr５６)、左(Ｌft５３)の処理は既に終わっている。従って、これらの処理は、結果情報をバッファに残して置くことで効率的に進めることができる。かかる場合には、図７に示すフローチャートとは接続検出の流れが異なってくる。尚、Ｒ,Ｇ,Ｂカラー画像の場合には、ステップ１０２においてＲ,Ｇ,Ｂ各々の値について差を判定し、ＡＮＤ(論理積)をとったものをステップ１０２の結果とすれば良い。
【００４８】
図８は、拡幅伝播検出器２５における処理の流れを示すフローチャートである。まず、画素値用バッファ２２から、元画像Ｖ[Ｘ,Ｙ] である処理対象画素(注目画素５０)及びその周辺画素値８個が入力される(ステップ１１１)。また、接続関係用バッファ２４から接続関係情報が入力される(ステップ１１２)。これらの入力から、まず、処理対象画素が「地」であるかどうかを判定する(ステップ１１３)。「地」であると判定される場合には、拡幅可能と出力し(ステップ１１４)、拡幅伝播用バッファ２６にその情報を書き込む。ステップ１１３にて「地」であると判定されなかった場合には、接続画素が拡幅可能か否かが判定される(ステップ１１５)。拡幅可能であると判定される場合には、拡幅可能と出力する(ステップ１１４)。拡幅可能ではないと判定される場合には、注目画素５０が一本幅線の孤立領域でかつ一個おいた隣の画素が同色であるかどうかが判定される(ステップ１１６)。同色であると判定される場合には、拡幅可能と出力する(ステップ１１４)。同色ではないと判定される場合には、拡幅不可能と出力し(ステップ１１７)、拡幅伝播用バッファ２６にその情報を書き込む。即ち、この拡幅伝播検出器２５では、どれか一つでも当てはまるものがあれば、拡幅可能であるとの情報を拡幅伝播用バッファ２６に書き込む処理が実行される。
【００４９】
図９は、ルール適用器２７における処理の流れを示すフローチャートである。ここでは３／２倍に拡大する例を示している。まず、元座標[Ｘ,Ｙ] データの読み込みが行われる(ステップ１２１)。ここで、ＸとＹともに偶数値を取る座標であるか否かが判断される(ステップ１２２)。ともに偶数値であれば、タイプＡと分類し、結果出力として元画像の値そのまま出力する(ステップ１２３)。その後、次の座標値への更新を行う(ステップ１２４)。ともに偶数値でない場合には、Ｘが奇数でＹが偶数か否かが判断される(ステップ１２５)。これに該当する場合には、タイプＢと分類して、既に説明したタイプＢ用のルールを適用して出力し(ステップ１２６)、次の座標値への更新を行う(ステップ１２４)。また、該当しない場合には、ＸとＹともに奇数であるか否かが判断される(ステップ１２７)。これに該当しない場合は、即ち、Ｘが偶数でＹが奇数の場合であり、この場合にはタイプＣと分類して、既に説明したタイプＣ用のルールを適用して出力し(ステップ１２８)、次の座標値への更新を行う(ステップ１２４)。また、ステップ１２７でＸとＹともに奇数であると判断される場合には、タイプＤと分類して、既に説明したタイプＤ用のルールを適用し(ステップ１２９)、次の座標値への更新を行う(ステップ１２４)。その後、次の座標位置へと再帰し、これらの処理を各座標位置で順に繰り返していく。３／２倍以外の場合も同様に座標位置Ｘ、Ｙで分類するのであるが、この場合は偶数・奇数の判定ではなく、他の規則で、タイプＡ、Ｂ、Ｃ、Ｄを判定していく。
【００５０】
以上、説明したように、本実施の形態におけるアルゴリズミック非線形処理部１２による解像度変換では、元画像において縦横斜めで隣接する２つの画素が似た色の場合、接続していると判断し、その接続関係の分類に対応して拡大画像の画素の色を決定することで、新しい解像度で表現できる最大限の周波数成分まで充分なパワーを持たせることができる。また、その結果として、接続関係と色が保存されるので文字骨格を損なわず、色ムラ問題も発生しない。
しかしながら、その一方で、上記の観点のみで解像度変換を行った場合、元画像のスペクトル概形が保持される保証がなく、ギクシャクした印象の結果画像が得られる場合がある。この問題を改善するためには、接続関係を保持することで高周波数成分を補填した画像に対して、元画像に含まれる対象物の概形を確実に加えることで視覚的に有効な拡大画像が得られると考えられる。そこで、本実施の形態では、上記の考え方で得られたアルゴリズミック非線形処理部１２による解像度変換画像と、元画像のスペクトル概形が保存されるマルチレート処理部１３による線形解像度変換とを相補的に融合して解像度変換を行うように構成されている。
【００５１】
ここで、本実施の形態における図１に示したマルチレート処理部１３にて、線形拡大画像を得る際の指針について述べる。線形拡大画像Ｂ(ｘ,ｙ)を得るには、バイリニア補間が最も計算量が少なく、次にバイキュービック補間が少ない。バイリニア補間は、簡便のため１次元で書くと、元画像の並んだ２画素Ｓ[Ｘ_k]，Ｓ[Ｘ_k+1]の間の実数座標Ｘに対して、補間値Ｂ_k[Ｘ]を距離による加重平均で与える。
【数５】

２次元画像では、この加重平均をＸ・Ｙ両方向に対して行えばよい。
【００５２】
この補間値Ｂ_k[Ｘ]から、やはり簡便のため１次元で記したｍ/ｎ倍拡大の結果画像Ｂ(ｘ)を得る際に、ｘ→Ｘの写像の取り方で何通りかのバリエーションが生じる。
その１（左端画素中心一致）：
【数６】

即ち、逆写像座標は、
【数７】

その２（両端画素中心一致）：
【数８】

即ち、逆写像座標は、
【数９】

その３（画像面積一致）：
【数１０】

即ち、逆写像座標は、
【数１１】

【００５３】
その１は、元画像の左端画素(座標Ｘ＝０)の中心が結果画像の左端画素(座標Ｘ＝０)の中心に一致していると考えた場合である。これは元座標Ｘがｎの倍数のとき(即ち結果座標ｘがｍの倍数のとき）、ｓ＝０となるので補間値に混色が生じない。このような座標を「格子点」と呼んでおく。右端の座標が格子点でない場合、何らかの値を外側に仮定しなければならない。ｓの値は固定的なので幾通りか用意しておけばよく、計算量は少ない。
その２は、元画像の両端の画素(座標Ｘ＝Ｘ_min＝０と座標Ｘ＝Ｘ_max)はそのまま結果画像の両端の画素(座標ｘ＝ｘ_min＝０と座標ｘ＝ｘ_max)として用い、その間の画素のみ補間するという植木算のような計算法である。画素数の比、あるいは補間の比率のどちらかは、ｍ/ｎ倍に一致しなくなる。一般にバイリニア補間というとこれを指す。この利点は両端の外側に補間用の値を仮定する必要がない。欠点としてはｓの値を全逆写像についていちいち計算しなければならず、演算量が多くなる。但し格子点は拡大率により存在する。
その３は、元画像の左端画素(座標Ｘ＝０)における画素矩形の左辺が、結果画像の左端画素(座標ｘ＝０)における画素矩形の左辺に一致している、即ち画素が矩形として面積を持っていると考えた場合である。この場合、両端の画素の外側に補間用の何らかの値(０で可)を仮定する必要が生じる。
【００５４】
バイキュービック補間についても、バイリニア補間と同様に記しておく。
【数１２】

ここでａはパラメータであり、一般にはａ＝１/２を用いる。ａ＝１/２のときは元画像における左右両端の外側の画素として、
Ｓ[Ｘ_-1]＝３・Ｓ[Ｘ₀]−３・Ｓ[Ｘ₁]＋Ｓ[Ｘ₂]、
Ｓ[Ｘ_N+1]＝Ｓ[Ｘ_N-2]−３・Ｓ[Ｘ_N-1]＋３・Ｓ[Ｘ_N]
を外挿できる。
上記式の導出根拠はＢ_k[Ｘ_k]＝Ｓ[Ｘ_k]、Ｂ_k-1[Ｘ_k]＝Ｓ[Ｘ_k]、Ｂ'_k-1[Ｘ_k]＝Ｂ'_k[Ｘ_k]、Ｂ'_k[Ｘ_k+1]＝Ｂ'_k+1[Ｘ_k+1]であり、補間結果が１階の微分連続であることになっている。また、ａ＝１/２の根拠は、元画像Ｓ[Ｘ]がＸ_k+2−Ｘ_k＝２の距離においてもＳ[Ｘ_k]のまわりにおける２次のテイラー級数で近似可能という前提に拠っている。しかしながら、ボカシ画像として用いる場合にはこれに従わなければならない理由はなく、リンギングを嫌うのであれば０≦ａ≦１/２でも構わない。ａ＝０の場合には４点ではなく両隣２点のみからの補間となり、バイリニア補間と似たような結果を与える。
尚、バイキュービック補間においても同様に座標逆写像の格子点の問題があるが、バイリニア補間ほど顕著ではない。
【００５５】
次に、本実施の形態における図１に示した重み決定部１４における処理について説明する。
図１０は、この重み決定部１４における処理の流れを示したフローチャートである。重み決定部１４では、まず、元画像データ入力部１１より元画像データの処理領域を読み込み(ステップ１４１)、スペクトルパワーＰ₀を離散フーリエ変換結果から求める(ステップ１４２)。同様にして、アルゴリズミック非線形処理部１２によって変換されたアルゴリズミック非線形処理画像の対象領域を読み込み(ステップ１４３)、スペクトルパワーＰ_Aを離散フーリエ変換結果から求める(ステップ１４４)。また、マルチレート処理部１３によって変換されたマルチレート処理画像の対象領域を読み込み(ステップ１４５)、スペクトルパワーＰ_Bを離散フーリエ変換結果から求める(ステップ１４６)。この離散フーリエ変換によるスペクトルパワーは、次のようにして求めることができる。すなわち、処理対象画像Ｉ(ｘ,ｙ)の離散フーリエ変換をＦ_I(ｋ₁,ｋ₂)としたとき、スペクトルパワーは次式で計算できる。
【数１３】

ここで、Ｎは、(ｋ₁の総数)×(ｋ₂の総数)である。
しかしながら、上記の計算をする対象としては複数、考えられ、例えば、元画像のＲＧＢ値各々についてスペクトルパワーを求めて３つの値のうち中央値を結果とする、あるいは、ＲＧＢのうち一つを選んでスペクトルパワーを求める、あるいは、ＹＩＱ値に変換して輝度情報であるＹ値についてスペクトルパワーを求める、などが挙げられ、何れを選択しても構わない。
【００５６】
次に、アルゴリズミック非線形処理画像のスペクトルパワーＰ_Aの値とマルチレート処理画像のスペクトルパワーＰ_Bの値とが同じであるか否かを比較し(ステップ１４７)、同じであれば重みを１に決定し(ステップ１４８)、異なっていれば調整可能な荷重パラメータａの値を計算する(ステップ１４９)。このａの値は、
ａ＝ (｜Ｐ_A−Ｐ₀｜) / (｜Ｐ_A−Ｐ_B｜)
で求められる。次に、求められたａの値が１より大きいか否かが判定される(ステップ１５０)。１を超えていれば重みは１に決定し(ステップ１５１)、そうでなければ重みをａに決定する(ステップ１５２)。
【００５７】
このようにして自動設定できるａであるが、上記のアルゴリズムにおいて、画像全体のスペクトル平均パワーを用いれば画像全体で一つの値を求めることができ、スペクトル平均パワーを６４×６４などのブロック単位でとれば画像位置による局所的なａの設定が可能となる。また２次元スペクトルの計算量が問題になる場合は、例えば画像の対角成分について1次元スペクトルを計算することで代用することも考えられる。
また、上記説明では、ａの値をスペクトルパワーによって自動設定するように構成したが、予め定められた値を採用して簡易化を図ることも可能である。例えば、バイリニア補間やバイキュービック補間を用いた場合には、経験的にはａ＝０.６〜０.８で良い結果が得られる。
更に、最終的に画質の優劣の判断はユーザの好みに帰着されるので、重みａの決定をユーザに委ねるように構成することも一方法である。また、例えば、画像がテキストかイメージかによって重みａの値を変えるように構成することも可能である。この場合には、画像の種類や画像の位置、ユーザの好みによってａ＝０.５〜０.９を採用する等である。
【００５８】
次に、本実施の形態における図１に示した合成部１５における処理について説明する。
図１１は、この合成部１５における処理の流れを示したフローチャートである。合成したい座標位置(ｘ,ｙ)のＲＧＢ画素値をそれぞれ読み込み、まず、アルゴリズミック非線形処理部１２によって解像度変換されたアルゴリズミック非線形処理画像Ａ(ｘ,ｙ)を読み込む(ステップ１６１)。また、マルチレート処理部１３によって解像度変換されたマルチレート処理対象画像Ｂ(ｘ,ｙ)を読み込む(ステップ１６２)。重み決定部１４によって算出された調整可能な荷重パラメータである重みａを用いて、まず、アルゴリズミック非線形処理画像Ａ(ｘ,ｙ)に対する重み付け画像Ａ'(ｘ,ｙ)＝(１−ａ)×Ａ(ｘ,ｙ)を算出する(ステップ１６３)。また、同様にして、マルチレート処理対象画像Ｂ(ｘ,ｙ)に対する重み付け画像Ｂ'(ｘ,ｙ)＝ａ×Ｂ(ｘ,ｙ)を算出する(ステップ１６４)。この２種類の画素の和をとる形で、結果画像Ｒa(ｘ,ｙ)＝Ａ'(ｘ,ｙ)＋Ｂ'(ｘ,ｙ)を計算する(ステップ１６５)。ここで求められた結果画像Ｒa(ｘ,ｙ)が結果画像出力部１６に出力される(ステップ１６６)。
【００５９】
尚、高周波数成分補填用の拡大画像と線形拡大画像の混合方法としてａによる加重平均を用いたが、混合の方式はこれに限定されるものではない。混合式は当該業者であれば容易に派生形を導くことができ、その混合式から混合比の最適値を導くことも可能と考えられる。
【００６０】
一方で、ウィンドウ画面に伴う画像移動の場合を考えると、従来法ではフォントが変形しながら跛行したり、細線が飛び跳ねたりする現象が起こり得る。かかる場合は、表示しようとする元画像を直前の表示フレームと比較して、画像の変化途中や変化直後では線形解像度変換による画像を表示するのが好ましい。線形変換であれば細線などの重心点は均等に動いていくので跛行や跳躍は起きなくなるためである。
本実施の形態では、この切り替えをボカシ画像との混合比を変更するだけで実現できる。さらに本実施の形態では各画素について個別に混合することができるので、画面のうち変化のある部分についてだけ混合比を変えることができる。また、混合比を規準関数に基づいて局所的に計算すれば、動きに応じた適切な混合が達成されるものと考えられる。
【００６１】
図１２は、本提案手法により実際に高域成分が補充され、元画像のスペクトルに近い構造を実現できる例を示している。左上図が元画像のＦＦＴ値、右上図が本実施の形態における方式でバイリニア補間とａ＝０.５で混合した３/２倍の拡大結果画像の高速フーリエ変換(ＦＦＴ)値を示している。また、左下図と右下図は、それぞれバイリニア補間とバイキュービック補間による結果画像のＦＦＴ値である。これらの図では、２次元ＦＦＴ変換の結果グラフにおける対角成分を切り出して、そのフーリエ成分の絶対値の２乗を１０log₁₀で表して図示しており、縦軸はデシベル(dB)、横軸は中央部が低周波で両端へ行くに従って高周波となるポジションを示している。即ち、各グラフのほぼ中央が低周波成分、左右両端に行くに従って高周波成分を現わしている。元画像は１画素幅または２画素幅の斜線、直線、円、楕円からなるＰＣグラフィックス図形で、アンチエイリアスはされていない。ただし、元画像が長方形のため、対角成分を短辺に合わせて取ると、左右対称スペクトルにはなっていない。バイリニア補間やバイキュービック補間では左端の高周波成分が失われているのに対し、本提案手法による結果画像では元画像と同じように補われているのが理解できる。
【００６２】
【発明の効果】
以上説明したように、本発明によれば、ＬＣＤパネルやプロジェクタなどの情報ディスプレイが取り扱う、細線などのステップエッジを多く含むグラフィックス画面に対し、フォントなどの概形を損なうことなく、かつ、くっきりとした拡大・縮小画像を得ることができる。
【図面の簡単な説明】
【図１】本発明が適用された画像処理装置の一実施形態を示す構成図である。
【図２】アルゴリズミック非線形処理部１２の一実施形態を示す構成図である。
【図３】アルゴリズミック非線形処理部１２におけるルール・ベース画像変換法の隣接接続関係を説明するための図である。
【図４】 (ａ)、(ｂ)は、隣接接続関係の例を示している。
【図５】画素の座標関係を説明するための図である。
【図６】 (ａ)〜(ｄ)は、ルール構成方針に基づいて拡大する例を示した図である。
【図７】接続検出器２３における処理の流れを説明するためのフローチャートである。
【図８】拡幅伝播検出器２５における処理の流れを示すフローチャートである。
【図９】ルール適用器２７における処理の流れを示すフローチャートである。
【図１０】重み決定部１４における処理の流れを示したフローチャートである。
【図１１】合成部１５における処理の流れを示したフローチャートである。
【図１２】本提案手法により実際に高域成分が補充され、元画像のスペクトルに近い構造を実現できる例を示した図である。
【図１３】Ｕ／Ｄ倍にサンプリングレート変換を行うマルチレート・システムを表現した図である。
【図１４】アップサンプリングとしてＵ＝３とした１次元信号の例を示した図である。
【図１５】ダウンサンプリングとしてＤ＝３とした１次元の例を示した図である。
【図１６】従来の技術による変換を説明するための図である。
【符号の説明】
１１…元画像データ入力部、１２…アルゴリズミック非線形処理部、１３…マルチレート処理部、１４…重み決定部、１５…合成部、１６…結果画像出力部、２２…画素値用バッファ、２３…接続検出器、２４…接続関係用バッファ、２５…拡幅伝播検出器、２６…拡幅伝播用バッファ、２７…ルール適用器、２８…コピー元指標用バッファ、５０…注目画素

Claims

入力された元画像データに対して有理数倍または整数倍に拡縮する解像度変換を施して変換画像データを生成する画像変換方法であって、
前記元画像データの有する縦、横、斜めといった線を構成する画素のうち連続した画素数の小さいほうの値である線幅に対して解像度変換後も画素の接続関係が維持された第１変換画像データを生成するステップと、
前記元画像データに対して前記線幅付近の値をとり補間することで当該元画像データの対象物の概形が保持されるように解像度変換が施された第２変換画像データを生成するステップと、
生成された前記第１変換画像データと生成された前記第２変換画像データとを任意の割合で混合して画素ごとの重み付け加算を行うステップとを含むことを特徴とする画像変換方法。
前記画素ごとの重み付け加算を行うステップは、前記元画像データを表示すべき画面の位置によって異なる割合で混合されることを特徴とする請求項１記載の画像変換方法。
入力された元画像データを２倍未満の拡大画像データに変換する画像変換方法であって、
前記元画像データの有する画素について接続関係を検出して得られた１画素幅の線について、当該１画素幅の線に対して２倍未満に拡大した際にも１画素幅と画素の接続関係が維持された第１拡大画像データを生成し、
前記元画像データに対して線形補間による拡大処理が施された第２拡大画像データを生成し、
生成された前記第１拡大画像データと生成された前記第２拡大画像データとを画素ごとに重み付け加算して前記拡大画像データを生成することを特徴とする画像変換方法。
前記第１拡大画像データと前記第２拡大画像データとの混合は、前記元画像データの全部あるいは部分スペクトルパワーと当該第１拡大画像データの全部あるいは部分スペクトルパワーの差分の絶対値を、当該第２拡大画像データの全部あるいは部分スペクトルパワーと当該第１拡大画像データの全部あるいは部分スペクトルパワーの差分の絶対値で除した関数に基づいて重み付けを決定して、当該第１拡大画像データと当該第２拡大画像データとを混合することを特徴とする請求項３記載の画像変換方法。
画質に関するユーザの好みを調整値として入力し、前記第１拡大画像データと前記第２拡大画像データとの混合は、入力された前記調整値に基づいて当該第１拡大画像データと当該第２拡大画像データとを混合することを特徴とする請求項３記載の画像変換方法。
拡縮処理を施すべき元画像データを入力する入力手段と、
前記入力手段により入力された前記元画像データに対し、拡縮処理を施して高周波領域のスペクトル成分が欠如された線形結果画像を生成する線形画像変換手段と、
前記入力手段により入力された前記元画像データに対して拡縮処理を施して、前記線形画像変換手段によって欠如される前記高周波領域のスペクトル成分が補われた結果画像を生成する非線形画像変換手段と、
前記線形画像変換手段によって生成される前記線形結果画像と前記非線形画像変換手段によって生成される前記結果画像とを画素ごとに重み付け合成して拡縮画像データを生成する合成手段とを備えたことを特徴とする画像処理装置。
前記非線形画像変換手段は、前記元画像データに含まれる縦、横、斜めといった線を構成する画素のうち同じ階調値を持つ連続した画素数の小さいほうの値である線幅が目的の倍率を乗じたときの値を超えない整数線幅に拡大された際にも同じ階調を持つ画素の接続関係と色とが保存された結果画像を生成することを特徴とする請求項６記載の画像処理装置。
元画像データに対して有理数倍または整数倍に拡縮する解像度変換を施して変換画像データを生成する画像処理装置であって、
前記元画像データを入力する元画像データ入力部と、
前記元画像データ入力部により入力された前記元画像データの有する縦、横、斜めといった線を構成する画素のうち連続した画素数の小さいほうの値である線幅に対して解像度変換後もそれらの画素の接続関係が維持された第１変換画像データを生成する非線形処理部と、
前記元画像データ入力部により入力された前記元画像データに対して前記線幅付近の値をとり補間することで当該元画像データの対象物の概形が保持されるように解像度変換が施された第２変換画像データを生成するマルチレート処理部と、
前記非線形処理部によって生成された前記第１変換画像データと前記マルチレート処理部によって生成された前記第２変換画像データとを画素ごとに重み付け合成する合成部とを備えたことを特徴とする画像処理装置。
前記非線形処理部によって生成される前記第１変換画像データと前記マルチレート処理部によって生成される前記第２変換画像データとの混合度合いを決定する重み決定部とを更に備え、
前記合成部は、前記重み決定部によって決定された混合度合いに基づいて前記第１変換画像データと前記第２変換画像データとを合成することを特徴とする請求項８記載の画像処理装置。
前記重み決定部は、解像度変換された各画素に対して個別に混合度合いが決定されることを特徴とする請求項９記載の画像処理装置。
元画像データに対して有理数倍または整数倍に拡縮して変換画像データをウィンドウ画面に表示する画像表示装置であって、
前記元画像データを入力する元画像データ入力手段と、
前記元画像データ入力手段により入力された前記元画像データに拡縮処理を施して高周波領域のスペクトル成分が欠如された線形結果画像を生成する線形画像変換手段と、
拡縮処理を施して、前記線形画像変換手段によって欠如される前記高周波領域のスペクトル成分を補う結果画像を生成する非線形画像変換手段と、
前記線形画像変換手段によって生成される前記線形結果画像と前記非線形画像変換手段によって生成される前記結果画像とを画素ごとに重み付け合成して変換画像データを生成する合成手段と、
前記合成手段によって生成された前記変換画像データを前記ウィンドウ画面に表示する表示手段とを備えたことを特徴とする画像表示装置。
前記元画像データ入力手段は、前記ウィンドウ画面に対して画像移動を伴う元画像データを入力し、
前記合成手段は、前記元画像データ入力手段により画像移動を伴う前記元画像データが入力された場合には、前記線形画像変換手段によって生成された前記線形結果画像を選択して変換画像データを生成することを特徴とする請求項１１記載の画像表示装置。