JP3898864B2 - 画像変換方式、画像処理装置、および画像表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタル値で表現された画素の集合からなる画像の解像度を有理数倍で拡大する変換方法及び装置に関する。
【０００２】
【従来の技術】
従来の画像を拡大する技術においては、その殆どが風景などの自然画像を対象とするものであり、画像中に細線などのステップエッジがほとんど無いものであった。これは撮像装置自体のローパス効果により、かかるステップエッジがシグモイド関数(ｆ(ｘ)＝１/(１＋ｅ^-x)で表される微分可能な連続関数)のような形に変形されて情報が記録されてしまうことに大きな要因がある。そのために、従来では、ローパスフィルタがかかったものをサンプリングした元画像を前提とし、必要以上にぼやけてしまう輪郭をいかに自然に見せるか、という方向で改良がなされてきた。
【０００３】
ここで、まず、従来の画像拡大法で演算量が最も少なく実現が容易な解像度変換手法として、レプリカ法と最近傍法が挙げられる。レプリカ法は、(ｎ＋１)/ｎ倍にするためにｎ番目ごとに同じ画素をコピーして繰り返す最も簡単な方式である。一方、最近傍法は、解像度変換後の座標値に最も近い元画像の画素をコピーして拡大する方式である。レプリカ法も最近傍法も殆ど同様な結果となり、画素間で色の混合が起こることは無く、色調変化は完全に保持される。
また、解像度変換の確立した手法としてバイリニア補間がある。これは、結果画像の画素点座標を元画像の座標に逆写像して、その近傍の元画像の画素(周囲４点、または両側２点、または同座標点１点のみ)を距離で加重平均して結果画像の色とする方法である。
更に、バイキュービック補間も広く知られている方法である。これは、バイリニア法と同様の考え方で近傍２周分(１６点)にまで広げたものである。元画像に対して１階微分連続や、値変化(傾斜)が充分に緩慢であることなどを仮定している。パラメータの重みによって色が強調され、バイリニア法よりくっきり見える利点がある。
【０００４】
また、上記の補間法を一般化した、より多くの演算量を要する手法として、マルチレート・システムが存在する。このマルチレート・システムの基本的枠組みは、ゼロ値補間によるアップ・サンプリングの後、ローパス・フィルタリングを行い、間引きによるダウン・サンプリングを施して所望の拡大率にするものである。これは、ローパス・フィルターの周波数特性によって バイリニアやバイキュービックを理論的に包含できる枠組みである。実際には、演算効率を上げるためにポリフェーズ構成やフィルタバンク構成と呼ばれる実装が行われることが多い。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述のレプリカ法と最近傍法では、単純な元画像の画素を新たな空間サンプリング点へホールドするだけであり、座標位置によって拡大線幅が異なる。これらの方式では、目の周波数特性が単位角度あたりの低周波数に対して感度が高いため、線幅の可読性に重大な問題が生じてしまう。尚、アイ・モデルについての考察は、文献(IEEE Trans. on Image Processing, vol. 4, pp. 1460-1464, 1995.)に示されている。本文献によれば、例えば斜線を拡大したときに、ジャギーの幅が大きくなるような低域歪みは視覚的に知覚されやすく、品質を下げてしまうことが推測できる。
また、上述のバイリニア補間では、１ドット幅の線の両側等距離に逆写像座標が落ちた場合、結果画像では半分の色である２本幅の線になってしまうことが避けられない。そのために、色ムラや、文字骨格の可読性、色の忠実性等に問題がある。写真等では綺麗に見えるが、全体にぼやっとした結果になってしまう。
更に、上述のバイキュービック補間でも、バイリニア補間と同様に、１本線が半分の色の２本線になってしまう問題が発生する場合があり、パーソナルコンピュータ(以下、ＰＣと略す)の画面における色の忠実性の点で問題が残る。また、中間調同士の色の急峻な境界では若干リンギングが発生する問題もある。
【０００６】
また、上述のマルチレート・システムにて、任意のローパスフィルタを用いると、結果画像にチェス盤歪みが生じることがあり、フィルタ設計の際に制約が生じてしまう。すなわち、フィルタの通過域や阻止域特性は、平坦でなければならない条件や、ダウン・サンプリング用のフィルタを分離して平均操作を導入するなど、処理対象とする画像や必要とするフィルタ条件に依存してフィルタ設計に制約が課される。画像の場合、線形位相を保つためにＦＩＲ(Finite Inpulse Response)フィルタを用いることが望ましいが、バイリニアやバイキュービック以上の画質を得るためには、一般に高い次数のフィルタが必要となってしまう。
【０００７】
一方、このバイリニアやバイキュービックにおいて、ぼやけたり階段状になってしまう輪郭を補い繕う改善手法は、従来、多数提案されている。しかしながら、何れも境界がある程度以上のサイズを持っていることを前提としており、１画素単位で構造を持つようなフォントにはうまく対応することができない。
文献(電子情報通信学会1999年総合大会D-11-120 講演予稿)では、斜め輪郭の再形成を用いた解像度変換法として、元画像上でエッジ検出を施し、そのエッジの傾きに対応した傾きのエッジを結果画像に再構成してやることで、斜め線の拡大において発生するジャギーを結果解像度側の細かい階段に置き直す手法が提案されている。しかし、この手法では、エッジの検出のために例えば３×３以上のサイズのフィルタを用いることになり、フォントの細かな構造を拡大することはできない。
また、文献(IEEE Proceedings of International Conference on Image Processing 1997, vol. I, pp. 267-270, Oct. 1997.)では、元画像上でエッジ強調を施してから線形拡大方式を適用する方法が提案されている。しかしながら、この手法もエッジ検出フィルタのサイズ以下の構造に対しては効果が無く、また斜め境界などでは整形を施さないと階段上のジャギーが目立ってしまうことになる。更に、文献(IEEE Transactions on Image Processing, vol. 8, no. 5, pp. 629-639, May 1999.)では、輪郭部で補間に用いる距離加重を変化させる手法が提案されている。この手法は、元画像上で急峻な変化を対象画素周辺４点から検出して、バイリニアやバイキュービックで用いる補間点との距離を変化させるものであるが、自然画像に対して輪郭をはっきりさせる効果はあるものの、ＰＣ画面に対しては、最近傍法とほぼ同等の結果しか得られない。
【０００８】
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、ＬＣＤ(液晶ディスプレイ)パネルやプロジェクタなどの情報ディスプレイが取り扱う、細線などのステップエッジを多く含むグラフィックス画面に対して、フォントや細線をくっきりとした色で表現することにある。
また、他の目的は、画素数が多くてもリアルタイム処理を可能とする、新たな画像解像度変換方式を提供することにある。
【０００９】
【課題を解決するための手段】
かかる目的のもと、本発明は、入力された元画像データを２倍未満の拡大画像データに変換する画像変換方式であって、この元画像データにおける注目画素と、この注目画素と隣接する隣接画素との接続関係を認識し、この隣接画素との接続関係の認識により注目画素が１画素幅の線を構成する画素か否かを判定し、注目画素が１画素幅の線を構成すると判定された場合には、２倍未満に拡大する拡大画像データにおいても１画素幅を維持すべく、拡大画像データにおける結果画素の値を決定することを特徴としている。
【００１０】
この１画素幅の線を構成する画素か否かの判定は、例えば、注目画素に対して接続関係の配列パターンが、縦、横、または斜めの１画素幅の線であれば１画素幅の線を構成する画素であるとすることができる。また、結果画素の値は、例えば、Ｒ(レッド)、Ｇ(グリーン)、Ｂ(ブルー)の各色信号におけるディジタル出力値として与えられる。但し、必ずしもＲ,Ｇ,Ｂの色信号に限定されることはなく、各種表示系の、例えばＸ,Ｙ,ＺやＬ^*ａ^*ｂ^*、Ｙ,Ｍ,Ｃ,Ｋ等の各種の色信号における値として出力することも可能である。
また、認識されたこの隣接画素との接続関係は、拡大画像データにおける結果画素の値を決定する際にも保存されるように画素の値が決定されることを特徴とすれば、例えば、斜めに交差しているようなパターンであっても、交差を構成するどちらの線も接続を保つことが可能となる。
【００１１】
更に、この元画像データは、カラー画像データであり、隣接画素との接続関係の認識は、注目画素との色が一致か近似している場合に接続関係ありと判断し、拡大画像データにおける結果画素の値は、注目画素の色と一致した色となるように決定されることを特徴とすれば、滲み現象による微細な構造のつぶれを防ぐことが可能となり、フォントなどの文字についても、くっきりとした拡大画像を得ることができる点で好ましい。尚、この近似は、例えば、注目画素とほぼ同一とみなして問題のないレベルの差分値を予めメモリに格納し、このメモリの値と比較して差分値内であれば近似していると判断するように構成することが可能である。また、注目画素の色と一致した色となるように構成した結果、例えば、入力された元画像データと拡大画像データとの間で、実質的に色数が増加しないとして、本発明を把握することも可能である。
【００１２】
また、本発明は、入力された元画像データを非整数な有理数倍の拡大画像データに変換する画像変換方式であって、この元画像データにおける注目画素と、この注目画素と隣接する隣接画素との接続関係を検出し、元画像データにおける画素の座標位置と拡大画像データにおける結果画素の座標位置との関係から、この関係を分類した複数のタイプで構成される固定的なマッピングを定義し、検出された隣接画素との接続関係を拡大画像データにおいても維持しながら、定義されたマッピングに基づいて結果画素の値を決定することを特徴とすることができる。
【００１３】
また、この拡大画像データへの変換は２倍未満であり、定義されるマッピングは、拡大しない座標点タイプと、基本的に拡大する座標点タイプとの組み合わせによって定義されることを特徴とすることができる。この座標点タイプとしては、例えば、結果画素の１画素を支配するタイプと、結果画素の上下２画素、左右２画素、および４画素を支配する、全部で４つのタイプを定義し、本発明に用いるルール・ベース拡大方式にこの分類を用いるように構成することができる。また、上述の例で言えば、拡大しない座標点タイプは結果画素の１画素を支配するタイプであり、基本的に拡大する座標点タイプは結果画素の上下２画素、左右２画素、および４画素を支配するタイプであると言うことも可能である。
更に、検出されたこの隣接画素との接続関係から注目画素が１画素幅の線を構成する画素であると判断される場合には、この基本的に拡大する座標点タイプを１画素幅に維持して結果画素の一部に対して注目画素の値を当てはめると共に、この一部の結果画素以外の結果画素については注目画素における周囲の画素の値を当てはめることを特徴とすることもできる。
【００１４】
また、本発明は、入力された元画像データを２倍未満に拡大した拡大画像データに変換する画像処理装置であって、この元画像データにおける注目画素と、この注目画素の周辺に存在する周辺画素との接続関係から、この注目画素が１画素幅の線を構成する画素か否かを判断する判断手段と、この元画像データにおける画素の座標位置と拡大画像データにおける結果画素の座標位置との関係から、この関係を分類した複数のタイプを定義すると共に、定義される複数のタイプに対してルールを適用するルール適用手段と、判断手段により注目画素が１画素幅の線を構成する画素と判断された場合には、この拡大画像データにおける１画素幅が維持されるように、ルール適用手段から特定のルールを適用して拡大画像データを構成する結果画素の値を出力する出力手段とを備えたことを特徴としている。この判断手段や、ルール適用手段および出力手段は、アルゴリズムをソフトウェアとして組み込んで、構成することもでき、また、回路を組み込んだハードウェアの中で処理するように構成することも可能である。
【００１５】
また、この判断手段は、周辺画素との接続関係から注目画素が２画素幅以上の領域を構成するか否かを判断し、この出力手段は、この判断手段によって注目画素が２画素幅以上の領域を構成すると判断される場合には、この領域を拡幅するように結果画素の値を出力することを特徴とすることができる。
尚、例えば線同士の縞模様のように、局所的には拡幅してよい方の線が決定できない場合には、これらの線の中で、縦横に拡大してよい面積部分で一定の大きさを持つ部分に接続している線を拡幅するように構成することが可能である。
【００１６】
また、本発明は、入力された低解像度のカラー元画像データを高解像度の拡大カラー画像データに変換する画像処理装置であって、このカラー元画像データにおける注目画素が、周辺の画素から構成される画像データと比較して、細い幅を構成する画素か太い幅を構成する画素かを認識すると共に、この注目画素が斜め線を構成するか否かを判断する幅認識手段と、この幅認識手段により注目画素が斜め線を構成すると判断され細い幅を構成する画素と認識された場合にはこの細い幅を維持し、この注目画素が太い幅を構成する画素と認識された場合にはこの太い幅を更に太くするように、拡大カラー画像データを構成する結果画素の値を決定する決定手段とを備えたことを特徴とすることができる。このように構成すれば、細い幅に対してくっきりとしたシャープな画像を維持することが可能となり、例えばフォント画像等に対する拡大画像でも見易さを各段に向上させることができる点で好ましい。
【００１７】
更に、この拡大カラー画像データは、カラー元画像データに対して２倍未満の高解像度に拡大するものであり、この幅認識手段は、細い幅を構成する画素が１画素幅の線を構成する画素であるか否かを判断し、この決定手段は、拡大カラー画像データにて対応する線においても１画素幅を維持すべく結果画素の値を決定することを特徴とすることができる。
また、この元画像データにおける注目画素の色を認識する色認識手段とを更に備え、決定手段は、この色認識手段により認識された色を混合することなく、注目画素の色をそのまま用いて結果画像の値を決定することを特徴とすれば、色の滲みを押さえたシャープな拡大画像を得ることができる点で優れている。
【００１８】
本発明は、また、入力された元画像データを２倍未満の高解像度の拡大画像データに変換して出力する画像処理装置であって、この元画像データにおける注目画素の値およびこの注目画素に隣接する隣接画素の値から、この注目画素の接続関係を検出する検出部と、この検出部における接続関係の検出に基づいてこの注目画素が拡幅可能か否かを判断する拡幅検出部と、元画像データにおける画素の座標位置と拡大画像データにおける結果画素の座標位置との関係からこの関係を分類した複数のタイプを定義すると共に、この拡幅検出部からの出力に基づいて、定義される複数のタイプに対して特定のルールを適用して前記拡大画像データを構成する結果画素の値を選択するルール適用部とを備えたことを特徴とすることができる。更に、この拡幅検出部は、検出部における検出に基づいて注目画素が縦横に拡幅しても良い領域で一定以上の大きさを持つ部分であるか否かを判断し、この部分であると判断される場合には、拡幅可能と判断することを特徴とすることもできる。このように構成すれば、画素幅だけでは拡幅可能か否かが判断できないような、例えば縞模様のような画像においても、例えば、この部分との連続性等を加味して拡幅するように構成することができる点で好ましい。
【００１９】
また、本発明は、元画像データを２倍未満の拡大画像データに変換する画像処理装置であって、元画像データを入力する入力手段と、この入力手段により入力された元画像データにおける注目画素と、この注目画素と隣接する隣接画素との接続関係を認識する接続関係認識手段と、この接続関係認識手段による隣接画素との接続関係の認識により、注目画素が１画素幅の線を構成する画素か否かを判定する判定手段と、この判定手段により注目画素が１画素幅の線を構成すると判定された場合には、２倍未満に拡大する拡大画像データにおいても１画素幅を維持すべく、拡大画像データにおける結果画素の値を決定する決定手段とを備えたことを特徴としている。
【００２０】
また、この接続関係認識手段により認識された隣接画素との接続関係は、決定手段によって拡大画像データにおける結果画素の値を決定する際にも保存されるように画素の値が決定されることを特徴とすることができる。
更に、入力手段により入力される元画像データは、カラー画像データであり、接続関係認識手段は、隣接画素と注目画素との色が一致か近似している場合に接続関係ありと判断し、決定手段は、注目画素の色と一致した色となるように拡大画像データにおける結果画素の値を決定することを特徴とすることができる。
尚、１画素幅の線を構成する画素か否かの判定や、接続関係の認識、また、近似の解釈等の各要素については、前述と同様に適用することができるので、ここではその詳細を省略する。
【００２１】
また、本発明は、低解像度の元画像データを２倍未満の高解像度の拡大画像データに変換して表示する画像表示装置であって、低解像度からなる元画像データを入力する元画像データ入力部と、この元画像データ入力部により入力された元画像データにおける注目画素とこの注目画素と隣接する隣接画素との接続関係を認識する接続検出部と、この元画像データにおける画素の座標位置と拡大画像データにおける結果画素の座標位置との関係からこの関係を分類した複数のタイプを定義すると共に、定義される複数のタイプに対して特定のルールを適用するルール適用部と、このルール適用部により適用されたルールに従い、結果画素の値を決定して拡大画像データを出力する結果出力部と、この結果出力部からの出力に基づいて高解像度の拡大画像を表示出力する画像表示部とを備え、このルール適用部は、この接続検出部による認識により、注目画素が１画素幅の線を構成する画素と判断された場合には、拡大画像データにおいても１画素幅が維持されるようなルールを適用することを特徴とすることができる。
【００２２】
この画像表示部としては、例えば、ＬＣＤパネル等の各種表示パネルや、プロジェクタ等が該当する。
また、ルール適用部は、接続検出部による認識により注目画素が隣接画素に接続していると判断される場合に、この拡大画像データに対しても接続を維持するようにルールを適用することを特徴とすれば、前景、背景を必ずしも峻別しなくてもルールを構成することが可能となる点で優れている。
【００２３】
【発明の実施の形態】
本実施の形態が適用された画像処理装置の説明に入る前に、理解を容易にする目的から、まず、本実施の形態に用いた変換方式のアルゴリズムについて詳述する。
一般に、画像補間手法は大きく二つに分類できる。すなわち、演算量が少なく実現が容易な第１の手法と、演算量は多いが精度よく未知画素の推定を行う第２の手法である。この第１の手法は、高精細なＬＣＤパネルなどに解像度変換回路として組込み、リアルタイム処理を目的とする場合に多く用いられる。また、この第２の手法は、ＤＳＰ(Digital Signal Processor)など演算リソースが豊富に使える場合、あるいは必ずしもリアルタイム処理が要求されない場合に用いられるものである。
本実施の形態では、ＬＣＤ、ＰＤＰ(Plasma Display Panel)など画素解像度固定のフラット・パネル・ディスプレイのコンピュータ用モニタやプロジェクタに組み込まれる、画像拡大のためのアルゴリズム及びデジタル・ハードウェア回路を第１の対象とする。解像度固定ではないマルチシンク(multisync)タイプのＣＲＴでは容易にアナログ的に解像度変換が可能であるが、ＬＣＤ等のフラット・パネル・ディスプレイでは、ビデオ・クロックの速度で結果を出力できる高速の専用ハードウェアでのディジタル処理を必要とする。
【００２４】
本実施の形態が第１の対象とするシステムは、ＰＣからＳＶＧＡ(Super Video Graphics Array)(800×600ドット)やＸＧＡ(Extended Graphics Array)(1024×768ドット)、ＳＸＧＡ(Super Extended Graphics Array)(1280×1024ドット)等のビデオ出力を受けて、ＳＸＧＡ、ＵＸＧＡ(Ultra Extended Graphics Array)(1600×1200ドット)、ＱＸＧＡ(Quad Extended Graphics Array)(2048×1536ドット)等のモニタ画面に表示するための、入力画像を拡大するディジタル・ハードウェア回路である。ここで、本回路が受け取る画像データは、モニタ表示用の画素の色データであり、値はディジタル化されているものとする。このようなシステムは、ノートＰＣ(一般にＳＶＧＡやＸＧＡ)からの出力を表示するＬＣＤやプロジェクタ(一般にＳＸＧＡ)などで使われたり、ＱＸＧＡやＱＵＸＧＡ(Quad Ultra Extended Graphics Array)(3200×2400ドット)など、ＣＲＴ(一般にＵＸＧＡまで)よりも高解像度なＬＣＤモニタなどで必要になる。これは、ビデオ・カードやアプリケーションは一般にＣＲＴ解像度までしか対応していないためである。
【００２５】
一方、ＰＣ上で画像の拡大・縮小を行うケースが多くなっているが、本実施の形態で述べる方式は、他の既知のアルゴリズムよりもその結果品質が優れているので、そのような画像処理アプリケーションにもソフトウェアツールとして組込んで使用することが可能である。これを第２の対象システムとする。この場合はビデオ・クロックの速度でリアルタイム処理する必要は無くなるので、演算量とのバランスを考慮しつつ派生形を幾つか考えることができる。
【００２６】
本実施の形態では、ＳＸＧＡからＱＸＧＡの変換といった１倍以上２倍未満の有理数倍変換を主な対象としている。２倍未満の非整数倍拡大は、画像の縦横比であるアスペクト比(aspect ratio)を保存する場合、ＰＣの代表的な解像度では、
３／２（ＳＸＧＡ→ＱＸＧＡ）
５／４（ＶＧＡ→ＳＶＧＡ、ＸＧＡ→ＳＸＧＡ、ＱＸＧＡ→ＱＳＸＧＡ）
８／５（ＶＧＡ→ＸＧＡ、ＳＶＧＡ→ＳＸＧＡ、ＵＸＧＡ→ＱＳＸＧＡ）
２５／１６（ＸＧＡ→ＵＸＧＡ、ＱＸＧＡ→ＱＵＸＧＡ）
３２／２５（ＳＶＧＡ→ＸＧＡ、ＵＸＧＡ→ＱＸＧＡ）
７５／６４（ＳＸＧＡ→ＵＸＧＡ、ＱＳＸＧＡ→ＱＵＸＧＡ）
の６通りである。ここで、２倍以上の拡大については本方式の応用であるため考察には入れないが、本方式から容易に導くことが可能である。
これらの場合、ビデオ・クロックはＸＧＡで５０〜６５ＭＨｚ、ＳＸＧＡで８０〜１１５ＭＨｚ、ＵＸＧＡで１２０ＭＨｚ以上（２分割したとして６０ＭＨｚ以上）、ＱＸＧＡで２００ＭＨｚ以上(４分割したとして５０ＭＨｚ以上)、等になる。入力側の画面サイズが何であれ、この速度で画素を生成して出力しなければならない。
本実施の形態では、上記のような高解像度下においてもリアルタイム処理を行い、回路の論理展開による高速化が可能なルール・ベース画像拡大法を提案している。
【００２７】
図６は、本実施の形態における隣接接続関係を説明するための図である。
元画像の各画素値Ｖ［Ｘ，Ｙ］はＲ(レッド),Ｇ(グリーン),Ｂ(ブルー)の各８ビット(それぞれ値として０〜ＦＦh)で表されているとする。元画像の各画素について、八方（上下、左右、斜め）の隣接８画素との接続を示す８ビットのメモリを用意する。図６に示すように、注目画素５０に対して隣接方向を、Ｔop(直上)５１、Ｂtm(直下)５２、Ｌft(左)５３、Ｒgt(右)５４、Ｄtl(左上)５５、Ｄtr(右上)５６、Ｄbl(左下)５７、Ｄbr(右下)５８、と呼び、本実施の形態では「隣接接続関係」と呼んでいる。元画像の各画素(注目画素５０)についてＲＧＢ値を各隣接８画素と比較し、同じ色ならば８ビットの内の対応するビットを１にし、異なるならば０にする。例えばＴop５１、Ｂtm５２だけが１で他が０ならば、１ドット幅で３ドット以上の長さの縦線であると検出される。尚、同じ色か否かは、ＲＧＢ値の差が所定の値か否かで判断するように構成することができ、必ずしも完全に一致している必要はない。
【００２８】
図７(ａ)、(ｂ)は、隣接接続関係の例を示している。この図７(ａ)、(ｂ)の例は何れも右上から左下に斜め境界を持つ例であり、接続関係を斜線で示している。図７(ａ)ではＤtl５５とＤbr５８の両方向に斜め境界を持ち、図７(ｂ)ではＤbr５８方向に斜め境界を持つ。本実施の形態が従来方式のパターン検出と異なる点は、各画素ごとに接続を検出している点である。例えば、図７(ｂ)の例で、今、注目画素(中心点)５０は、Ｌft５３と接続しているがＤtl５５やＴop５１とは接続していない。しかし、このＬft５３の画素において接続関係を調べた場合、つまり、このＬft５３の画素を中心点(注目画素５０)とした場合には、ここのＤtl５５やＴop５１と接続していることもあり得る。
【００２９】
接続関係の分類は、各画素ごとに決定されたこの８ビットの隣接接続関係をトレースしていくことで行う。つまり特徴がこの周囲１周分だけで分類可能ならばトレースは必要ないが、周囲２周分以上を必要とする場合は、接続関係にある隣の画素の隣接接続関係を参照し、更にまたそれと接続関係にある隣の画素を参照する、というように再帰的に見て行く。
隣接接続関係を各画素ごとに独立して決定していることの最大利点は、例えば、１本の線の中で次第に色が変わっていくようなパターンを呈示されても同じ１本の線であるとして検出できることである。ここで、接続関係の検出は、テキストを抽出する操作ではない。前景・背景に関わらず、意味があるか否かを問わずに、全ての画素について接続関係を検出する。
【００３０】
次に、元画像の画素の位置による分類手法について述べる。位置の分類は、従来技術で説明したレプリカ法からの類推で考えると分かりやすいことから、まずレプリカ方式にて説明する。
このレプリカ法にて、３／２倍の場合に、結果画素の値ｖ(ｘ,ｙ)は元画素の値Ｖ[Ｘ,Ｙ]から次のように決定される。
タイプＡ： 元座標のＸ，Ｙ共偶数
【数１】

タイプＢ： 元座標のＸ奇数，Ｙ偶数
【数２】

タイプＣ： 元座標のＸ偶数，Ｙ奇数
【数３】

タイプＤ： 元座標のＸ，Ｙ共奇数
【数４】

これらの数式における(３/２)Ｘ、および(３/２)Ｙを囲む記号は、「切り上げ」を示している。
【００３１】
図８は、画素の座標関係を説明するための図である。実線太線は元画像の解像度における画素を示しており、破線細線は拡大した結果画像の解像度における画素を示している。 [０,０]は元画像のＸ，Ｙ共偶数の画素、[１,１]は元画像のＸ，Ｙ共奇数の画素を表している。結果画像の座標は、(０,０)画素の中心が元画像の[０,０]画素の中心と一致するように重ねてある。元画像の[０,０]がタイプＡ、[１,０]がタイプＢ、[０,１]がタイプＣ、[１,１]がタイプＤに相当し、それぞれ結果画像の１画素、２画素、２画素、４画素を支配している。
本実施の形態では、このタイプＡ〜Ｄの分類をそのまま用いている。即ち、元画像を納めたフレームバッファからの読み出しが座標[０,０]のとき、結果画像の画素(０,０)を決定し、[１,０]のときには(１,０)と(２,０)を、[０,１]のときには(０,１)と(０,２)を、[１,１]のときには(１,１)，(２,１)，(１,２)，(２,２)を決定する。つまり、タイプＡの座標は拡大を担当せず、タイプＢ(およびタイプＣとタイプＤ)が２倍の拡大を担当している。但し、従来技術で説明したレプリカ法では、支配する結果画素に対して固定的に元画素の値を与えていたが、本発明では、ルールによってどの元画素の値を持ってくるかを決定する点が異なっている。
【００３２】
本実施の形態では、ルールを単純化するため、[０,０]〜[１,１] → (０,０)〜(２,２)での自由なマッピングは行わず、なるべく固定的なマッピングを施すように構成されている。即ち、
タイプＡ： ｖ(０,０) ← Ｖ[０,０]
タイプＢ： ｖ(２,０) ← Ｖ[１,０]
タイプＣ： ｖ(０,２) ← Ｖ[０,１]
の３箇所は、固定的にマッピングする。タイプＤについては、できる限り、
ｖ(２,２) ← Ｖ[１,１]
を当てはめようとするルールを用いる。その他の画素(１,０)，(０,１)，(１,１)，(２,１)，(１,２)は、タイプＢ〜Ｄに対して定められたルールにより、どの隣接画素の値を持ってくるかを決定する。
尚、このマッピングの半固定的な制約は限定的なものではなく、ルールを新たに作成することも可能である。すなわち、複雑なルールさえ作れば自由なマッピングをすることが可能となり、この複雑なルールによれば、更に品質の向上を図ることができる。
【００３３】
次に、上述した接続関係と画素の位置関係とから拡大画像を決定するルールについて説明する。このルールはプログラムで実行されるものであり、全てを文章で記述することは困難である。そのため、ここでは、ルールの構成方針を説明している。［ルール構成方針］
(１) 元画像のタイプＡ、Ｂ、Ｃの画素については、拡大した時、位置分類で示した結果座標に必ずマップされる。タイプＤについても、Ｄbr５８方向に斜め境界（Ｄbr５８が外側）を持つ場合以外は、この結果座標にマップされる。
(２) 接続している画素は、拡大しても必ず接続する。(２種の線が斜めに交差しているようなパターンでも、どちらの線も必ず接続を保つ。この原則を守る限り、前景・背景を峻別しなくてもルールを構成できるようになる。)
(３) 縦または横に２画素以上の隣接接続があって、「境界(接続する２画素の色が両方とも、同じ側の隣接している画素と接続していない場合、境界と見なす。異なっている方の画素同士は同色である必要はない。)」を構成している場合、拡大してもその境界を保存する。
(４) 縦、横、斜めの「線」は、「境界」を壊さない限り、線の方向に延長してよい。
(５) 斜め方向の「境界」については、３画素以上の境界の長さがあれば、本来の斜め線であると判断し、拡大したときに斜め線となるようにする。２画素の長さしかない場合は、その先の接続関係の分類によって、斜め線として拡大するか階段状に拡大するかを決定する。(「凸」の字における突出部のような端点は、下部が１本の線であるか、それとも下部の先の接続が末広がりに大きく広がっていくかで、「線」であるように延長するか、斜め線であるように拡大するかを決定する。)
(６) 接続関係にある画素集合の構成部分で、１画素幅の「線(２画素以上の長さがあれば線と見なす)」は、拡大してもなるべく１画素幅になるようにする。もしも、どうしても(２画素幅に)拡幅される場合には、それと接続関係にある同方向の画素も全て同じ幅に拡幅する。これを伝播と呼ぶ。
(７) ２画素幅以上の「線」は、３画素に拡幅してよい。この性質は同じ「線」の中における全ての画素に伝播する。同様に、２×２画素以上の面積を持つ構成部分は縦・横とも拡幅してよい。
(８) 縦横に拡大しても良い面積部分で一定以上の大きさを持つ部分を囲碁でいう「地」(Region)と考える。１画素幅における線同士の縞模様のように、局所的には拡幅してよい方の縞が決定できない場合、「地」に接続している方の線を拡幅する。この「伝播」をどれだけ遠方から行うかで、精度とワーキング・バッファ・サイズが定まる。
(９) 周囲を１画素幅の線で囲まれた１画素幅の領域は、もしも囲いの外側が「地」もしくは「地」からの接続であってかつ同色の場合、「飛び地」として拡幅してよい。
(10) 隣接接続が全く無い１画素のみの点は、「境界」等、他の条件に抵触しない限り拡幅してよい。
(11) 希ではあるが、補間しなければならない座標の結果画素がどのような規則でも値を決定できない場合は、対応する座標タイプの元画素の値で埋めるか、隣の元画素と混色して埋めておく。
【００３４】
このような方針によって作成されるルールであれば、画像中の微細な構造を保存することが可能となる。例えば、２倍未満の拡大の場合、１画素幅の線が１画素幅であったり２画素幅になったりすると可読性が非常に悪くなる。そのために、１画素幅のものはなるべく１画素幅のままで残し、幅に変動があっても目立たない２画素幅以上の線や、拡幅しても差し支えない点を選んで拡幅するようにしている。即ち、１画素幅の微細構造は拡大しても１画素幅の微細構造として残される。
また上記の方針は、ある画素が小さなフォントや細かい図形の一部であるのか、もともとある程度の太さを持った線や写真・絵の一部であるのかを、局所的に判断できるようにしている。このような判断をする場合、一般的な考えではテキスト領域を切り出して背景とフォントの峻別というような操作を必要とするが、本実施の形態では必要としていない。本実施の形態では、「地」という間接的な推定を行うだけであり、基本的に背景・前景を同等に扱っている。前景・背景判断のための大域的な処理をせず、画素ごとに隣接関係で処理をするために、高速な水平論理に適している。
【００３５】
また、ワーキング・バッファのサイズによってどこまで「伝播」を許すかが制限されるが、これがルールによる拡大のエラーの程度を定めることになる。経験的には、隣接関係を覚えておく８ビットメモリのライン数と同程度か、若干多い程度で問題ない。
尚、位置分類で触れた「自由なマッピング」は、条件(１)の固定的なマップ条件を緩めるもので、斜め線の拡大を美しくすることができるが、条件(２)の「接続」や条件(３)の「境界」を定める条件を守るために、かなり複雑なルールを構築しなければならなくなる。
【００３６】
図９(ａ)〜(ｄ)は、上述したルール構成方針に基づいて拡大する例を示した図である。上述したルール(１)とルール(２)は大前提であり、必ず適用されている。
まず、図９(ａ)では、左側の縦線は１ドット幅なので、ルール(６)によって１ドット幅が保たれる。このとき、ルール(４)によって縦に伸ばしているが、ルール(３）で上辺側の境界が保存されることから、下方にのみ伸ばされている。中ほどの白の食い込みは、１ドットの突起に相当しており、ルール(５)によって斜め境界としてではなく、突起として縦に延長されている。また、右側にある黒の２×２の面積部分は、ルール(７)によって３×３の面積に拡幅されているが、ルール(３)で上辺が左の縦線の上辺と一致するようにして境界が保存されている。白は、この場合、バックグラウンドであり、ルール(７)で拡幅されている(図９(ａ)の外にまではみ出している)。
【００３７】
図９(ｂ)は、ルール(５)によって凸型突起と判断された例である。また、図９(ｃ)は、ルール(５)によって斜め境界と判断された例である。
図９(ｄ)は、ルール(５)によって斜め線と判断され、ルール(４)で斜め方向に線が伸ばされ、更にルール(６)によって１ドット幅が保たれている。ここで、斜め線の元座標が上述のタイプＡとタイプＤのみを通っている場合、ルール(１)におけるタイプＤの結果座標にマップされない場合が適用され、図９(ｄ)の右上図に示されるように、綺麗な斜め線にマップされる。一方、斜め線の元座標がタイプＢとタイプＣのみを通っている場合には、ルール(１)の「結果座標に必ずマップされる」が適用され、ルール(２)の接続に関する要請から、図９(ｄ)の右下図に示されるように、ジグザグした斜め線にマップされる。この図９(ｄ)の右上図および右下図は、どちらにしても裏地の白についてもルール(２)が適用されていて、黒の斜め線とクロスして斜め方向の接続が保たれている。
【００３８】
図１０は、８／５倍の拡大法による元座標と結果座標の位置関係を示した図である。上述までの説明では３／２倍の拡大法について示しており、基本的には拡大しない座標点のタイプＡと、基本的に拡大する座標点のタイプＢ（およびタイプＣとタイプＤ）があり、それぞれにルールを用いて拡大することを述べた。２倍以上の場合は、基本的に各画素をｎ倍にするという操作が入る以外は、本方式のルールに適当な修正を施すことで達成できる。２倍未満で３／２倍以外の場合は、このタイプＡとタイプＢ(およびタイプＣとタイプＤ)を均等に散らし、結果座標を元座標に逆写像したとき、固定的にマッピングされる画素座標での差分が最小になるように構成する。
以下簡単のために、１次元でタイプＡとタイプＢのみを使って説明する。但し、２次元については、Ｙ方向のタイプＣがＸ方向のタイプＢに相当し、Ｘ方向がタイプＢでかつＹ方向がタイプＣの座標がタイプＤとなる。
【００３９】
この図１０では、元画像における元座標[０]の画素の中心と、結果画像における結果座標(０)の画素の中心が一致するように合わせてある。元画像と結果画像の間に記載されている分数は、結果座標と最寄りの元座標との距離を示している。
ここでは、８／５倍の拡大なので、２倍への拡大タイプＢが元画素５点の内に３点入っている必要がある。図１０では｛Ａ，Ｂ，−Ｂ，Ａ，−Ｂ｝という配列で散らばしてある。ここで−Ｂとは、タイプＢの固定的にマップされる座標を左右逆転したものである。図中で「基準」と記してある点がそれに相当し、元座標により近い方が選ばれるようにしてある。
この画素中心が一致する型の逆写像を用いる場合、ｍ／ｎ倍拡大（ｎ＜ｍ＜２ｎ）において元座標をタイプＡとタイプＢに分類するアルゴリズムは、結果座標と最寄りの元座標の距離が「負→正」反転する点をタイプＢとし、それ以外はタイプＡとする。そしてタイプＢと判定された結果座標２点の内、最寄り元座標への距離が短いものが右側にあるときは「Ｂ」、左側にあるときは「−Ｂ」とすればよい。
【００４０】
図１１は、図１０と同様に８／５倍の拡大法による元座標と結果座標の位置関係を示した図である。この図１１では、画像面積一致型(元画像における左端画素の矩形の左辺が結果画像の左端画素の矩形の左辺に一致)での８／５倍のときの元座標と結果座標の位置関係を示している。
この場合も、上記アルゴリズムを画像面積一致型の座標逆写像に基づいて計算しても構わない。但し、ここでは、図１０の例の−Ｂを全てＢに置き直したものを用いている。これは、本実施の形態で主な対象としている拡大比率において、このようにして定めたタイプＢの全てで、右側の点の方が最寄り元座標に近くなるからである。−Ｂを使わなければ、ルール構成もそれだけ単純化することが可能となる。
この画像面積が一致する型の逆写像を用いる場合、ｍ／ｎ倍拡大（ｎ＜ｍ＜２ｎ）において、元座標をタイプＡとタイプＢに分類する簡易版のアルゴリズムは、結果座標と最寄りの元座標の画素中心一致型距離が「負→正」に反転する点をタイプＢとし、それ以外はタイプＡとする。
尚、ＬＣＤモニタに組み込む場合には、拡大比率が前記の６通りを考慮して固定的に与えておくことが可能であり、いちいち計算する必要はない。
【００４１】
以上、本実施の形態に用いた解像度変換方式を詳細に説明してきた。次に、本実施の形態が適用された画像処理装置について説明する。本実施の形態における画像処理装置は、例えば、液晶表示(ＬＣＤ)モニタとして実現され、接続されたＰＣ等のホスト装置からの元画像データを入力して、解像度を上げた拡大画像データに変換し、液晶表示セル等の表示部にて出力するものである。また、ノート型のＰＣにおいては、ホスト側を含めて実現される。尚、ここでは、液晶表示セルやその液晶表示セルに電圧を供給するＸ,Ｙドライバ等について、更に細かな説明は省略する。
【００４２】
図１は、本発明が適用された画像処理装置の一実施形態を示す構成図であり、例えば、ＬＣＤモニタやノート型ＰＣにあっては、その内部に設けられるＬＣＤコントローラ等で実現される。各座標における処理の中で元画像データの入力を行うための元画像データ入力部１１、現在処理すべき画素と隣接８画素の値を格納する画素値用バッファ１２、画素を１次元的に順次処理する接続検出器１３を備えている。また、接続関係結果を格納する接続関係用バッファ１４、画素を１次元的に順次処理して拡幅可能かどうかを判定する拡幅伝播検出器１５、拡幅可能かどうかを判定した結果を格納する拡幅伝播用バッファ１６を備えている。更に、所定のルールを適用して画素値用バッファ１２から決定した座標の画素値を選択するルール適用器１７、選択された画素値の座標を格納するコピー元指標用バッファ１８、およびルール適用器１７からの結果を出力する結果出力部１９を備えている。この画素値用バッファ１２、接続関係用バッファ１４、拡幅伝播用バッファ１６、およびコピー元指標用バッファ１８は、ラインバッファまたはフレームバッファで構成される。
【００４３】
この元画像データ入力部１１には、ＣＲＴ表示における走査のように、画素値は水平走査ラインの連続である１次元ストリーム・データとなって時系列的に流れ込んで来ているものとする。画素値用バッファ１２は、接続検出器１３に対して現在処理すべき画素と隣接８画素の値を与え、拡幅伝播検出器１５に対しては現在処理すべき画素と１画素以上離れた画素の値を与え、ルール適用器１７に対しては現在処理すべき画素と隣接８画素の値を与えるように構成されている。
接続検出器１３は、画素を１次元的に順次処理し、処理対象座標の画素値とその隣接８画素の値が近似色であるかどうかを判定して８ビットの接続関係結果として接続関係用バッファ１４に書き出す。拡幅伝播検出器１５も画素を１次元的に順次処理し、接続関係用バッファ１４に格納された接続関係結果を参照しながら処理対象座標の画素が拡幅可能かどうかを判定して、１ビットのデータとして拡幅伝播用バッファ１６に書き込む。
【００４４】
ルール適用器１７は、画素を１次元的に順次処理し、接続関係用バッファ１４、拡幅伝播用バッファ１６、コピー元指標用バッファ１８からのデータにルールを適用して画素値用バッファ１２から決定した座標の画素値を選択する。画素値は１次元ストリーム・データとなって時系列的に解像度変換結果として出力される。また選択された画素値の座標はコピー元指標用バッファ１８に書き込まれ、以降の画素における拡幅の際のルール適用に用いられる。
【００４５】
図２および図３は、接続検出器１３における処理の流れを説明するためのフローチャートである。図２はその処理の流れの概要を示し、図３はその内部処理の流れを示している。図２に示されているように、処理の流れの概要としては、まず、元画像Ｖ[Ｘ,Ｙ]である注目画素５０が読み込まれる(ステップ１０１)。また、[Ｘ,Ｙ]の周辺画素８個が読み込まれ (ステップ１０２)、読み込まれた注目画素５０と隣接８方向との接続検出が８箇所で行なわれる(ステップ１０３〜ステップ１１０)。即ち、Ｔop(直上)５１との接続検出(ステップ１０３)、Ｂtm(直下)５２との接続検出(ステップ１０４)、Ｌft(左)５３との接続検出(ステップ１０５)、Ｒgt(右)５４との接続検出(ステップ１０６)、Ｄtl(左上)５５との接続検出(ステップ１０７)、Ｄtr(右上)５６との接続検出(ステップ１０８)、Ｄbl(左下)５７との接続検出(ステップ１０９)、およびＤbr(右下)５８との接続検出(ステップ１１０)である。その後、次の座標値への更新を行い(ステップ１１１)、次の座標位置へと再帰して同様の処理が実行される。
【００４６】
各方向での接続検出は図３に示されている。まず、元画像データ入力部１１および画素値用バッファ１２から、元画像Ｖ[Ｘ,Ｙ]である注目画素５０(処理対象画素)とその周辺画素値８個が入力される(ステップ１２１)。次に、元画像Ｖ[Ｘ,Ｙ]である注目画素５０とその周辺画素値(比較画素の値)との差が判定される(ステップ１２２)。この差が予め定められた閾値よりも小さければ、接続関係があるとして、検出パラメータｂを１に設定する(ステップ１２３)。閾値より大きければ、接続関係は無いものとして、検出パラメータｂを０に設定する(ステップ１２４)。このステップ１２３とステップ１２４による出力は、接続関係用バッファ１４へ書き込まれる(ステップ１２５)。但し、この段階では、上方の左方向からスキャンして順に検出されるとすると、各処理対象座標[Ｘ,Ｙ]からみて、直上(Ｔop５１)、左上(Ｄtl５５)、右上(Ｄtr５６)、左(Ｌft５３)の処理は既に終わっている。従って、これらの処理は、結果情報をバッファに残して置くことで効率的に進めることができる。かかる場合には、図３に示すフローチャートとは接続検出の流れが異なってくる。尚、Ｒ,Ｇ,Ｂカラー画像の場合には、ステップ１２２においてＲ,Ｇ,Ｂ各々の値について差を判定し、ＡＮＤ(論理積)をとったものをステップ１２２の結果とすれば良い。
【００４７】
図４は、拡幅伝播検出器１５における処理の流れを示すフローチャートである。まず、画素値用バッファ１２から、元画像Ｖ[Ｘ,Ｙ] である処理対象画素(注目画素５０)及びその周辺画素値８個が入力される(ステップ１３１)。また、接続関係用バッファ１４から接続関係情報が入力される(ステップ１３２)。これらの入力から、まず、処理対象画素が「地」であるかどうかを判定する(ステップ１３３)。「地」であると判定される場合には、拡幅可能と出力し(ステップ１３４)、拡幅伝播用バッファ１６にその情報を書き込む。ステップ１３３にて「地」であると判定されなかった場合には、接続画素が拡幅可能か否かが判定される(ステップ１３５)。拡幅可能であると判定される場合には、拡幅可能と出力する(ステップ１３４)。拡幅可能ではないと判定される場合には、注目画素５０が一本幅線の孤立領域でかつ一個おいた隣の画素が同色であるかどうかが判定される(ステップ１３６)。同色であると判定される場合には、拡幅可能と出力する(ステップ１３４)。同色ではないと判定される場合には、拡幅不可能と出力し(ステップ１３７)、拡幅伝播用バッファ１６にその情報を書き込む。即ち、この拡幅伝播検出器１５では、どれか一つでも当てはまるものがあれば、拡幅可能であるとの情報を拡幅伝播用バッファ１６に書き込む処理が実行される。
【００４８】
図５は、ルール適用器１７における処理の流れを示すフローチャートである。ここでは３／２倍に拡大する例を示している。まず、元座標[Ｘ,Ｙ] データの読み込みが行われる(ステップ１４１)。ここで、ＸとＹともに偶数値を取る座標であるか否かが判断される(ステップ１４２)。ともに偶数値であれば、タイプＡと分類し、結果出力として元画像の値そのまま出力する(ステップ１４３)。その後、次の座標値への更新を行う(ステップ１４４)。ともに偶数値でない場合には、Ｘが奇数でＹが偶数か否かが判断される(ステップ１４５)。これに該当する場合には、タイプＢと分類して、既に説明したタイプＢ用のルールを適用して出力し(ステップ１４６)、次の座標値への更新を行う(ステップ１４４)。また、該当しない場合には、ＸとＹともに奇数であるか否かが判断される(ステップ１４７)。これに該当しない場合は、即ち、Ｘが偶数でＹが奇数の場合であり、この場合にはタイプＣと分類して、既に説明したタイプＣ用のルールを適用して出力し(ステップ１４８)、次の座標値への更新を行う(ステップ１４４)。また、ステップ１４７でＸとＹともに奇数であると判断される場合には、タイプＤと分類して、既に説明したタイプＤ用のルールを適用し(ステップ１４９)、次の座標値への更新を行う(ステップ１４４)。その後、次の座標位置へと再帰し、これらの処理を各座標位置で順に繰り返していく。３／２倍以外の場合も同様に座標位置Ｘ、Ｙで分類するのであるが、この場合は偶数・奇数の判定ではなく、前述した規則で、タイプＡ、Ｂ、Ｃ、Ｄを判定していく。
【００４９】
以上、本実施の形態による画像変換方式についてのアルゴリズムと、そのアルゴリズムを搭載した画像処理装置(画像表示装置)について説明してきた。
このように、本実施の形態では、１ドット幅の細線は、拡大されても細線のままに維持することが可能となる。細い線のフォントが拡大されたときに、ある場所では細く、別の場所では太っていたりする場合、特に、１本の線の中に太さの変化があると非常に読みにくくなる。また、１ドット幅の線を２倍未満に拡大するときに、１ドット幅と２ドット幅が混在すると著しく目立ってしまう。一方で、２ドット幅の線が２ドット幅と３ドット幅になるのはさほど目立たない。本実施の形態によれば、これらの特徴を的確に把えて対応することが可能となり、ユーザにとって非常に見易い、シャープな拡大画像を提供することができる。
【００５０】
更に、細い線からなるフォントでは、連結すべき画素が、同じ階調、色調の色になっていないと文字の形状が認識しにくくなる。本実施の形態によれば、同じ色で切れ目なく繋がった骨格線を確保でき、可読性を良くすることが可能となる。
また、ライン・グラフィックス等で描かれた長い線が拡大されたときに、場所によって色調、階調が変化するのは好ましくない。特に拡大された結果線の色が、場所によってまだらになると、本来の図面とは異なったものになってしまう。本実施の形態によれば、同色の背骨を線全体に渡って連結して表示することが可能となり、拡大画像に対する著しい改善を図ることができる。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、ＬＣＤパネルやプロジェクタなどの情報ディスプレイが取り扱う、細線などのステップエッジを多く含むグラフィックス画面に対して、フォントや細線をくっきりとした色で表現することが可能となる。
【図面の簡単な説明】
【図１】 本発明が適用された画像処理装置の一実施形態を示す構成図である。
【図２】 接続検出器１３における処理の流れを説明するためのフローチャートである。
【図３】 接続検出器１３における処理の流れを説明するためのフローチャートである。
【図４】 拡幅伝播検出器１５における処理の流れを示すフローチャートである。
【図５】 ルール適用器１７における処理の流れを示すフローチャートである。
【図６】 本実施の形態における隣接接続関係を説明するための図である。
【図７】 (ａ)、(ｂ)は、隣接接続関係の例を示す図である。
【図８】 画素の座標関係を説明するための図である。
【図９】 図９(ａ)〜(ｄ)は、上述したルール構成方針に基づいて拡大する例を示した図である。
【図１０】 ８／５倍の拡大法による元座標と結果座標の位置関係を示した図である。
【図１１】 ８／５倍の拡大法による元座標と結果座標の位置関係を示した図である。
【符号の説明】
１１…元画像データ入力部、１２…画素値用バッファ、１３…接続検出器、１４…接続関係用バッファ、１５…拡幅伝播検出器、１６…拡幅伝播用バッファ、１７…ルール適用器、１８…コピー元指標用バッファ、１９…結果出力部、５０…注目画素

Claims (12)

1. 表示画面への解像度変換におけるリアルタイム処理に用いられ、入力された元画像データを２倍未満の拡大画像データに変換する画像変換方式であって、
   前記元画像データにおける注目画素と、当該注目画素と隣接する隣接画素との接続関係を認識し、
   前記隣接画素との接続関係の認識により前記注目画素が１画素幅の線を構成する画素か否かを判定し、
   前記注目画素が１画素幅の線を構成すると判定された場合には、２倍未満に拡大する前記拡大画像データにおいても１画素幅を維持すべく、当該拡大画像データにおける結果画素の値を、前記元画像データにおける画素の座標位置と当該拡大画像データにおける結果画素の座標位置との関係から当該関係を分類して定義された複数のタイプと前記接続関係とに基づいて適用されるルールを用いて決定することを特徴とする画像変換方式。
2. 認識された前記隣接画素との接続関係は、前記拡大画像データにおける前記結果画素の値を決定する際にも保存されるように当該画素の値が決定されることを特徴とする請求項１記載の画像変換方式。
3. 前記元画像データは、カラー画像データであり、
   前記隣接画素との接続関係の認識は、前記注目画素との色が一致か近似している場合に接続関係ありと判断し、
   前記拡大画像データにおける前記結果画素の値は、当該注目画素の色と一致した色となるように決定されることを特徴とする請求項１記載の画像変換方式。
4. 表示画面への解像度変換におけるリアルタイム処理に用いられ、入力された元画像データを２倍未満に拡大した拡大画像データに変換する画像処理装置であって、
   前記元画像データにおける注目画素と、当該注目画素の周辺に存在する周辺画素との接続関係から、当該注目画素が１画素幅の線を構成する画素か否かを判断する判断手段と、
   前記元画像データにおける画素の座標位置と前記拡大画像データにおける結果画素の座標位置との関係から、当該関係を分類した複数のタイプを定義すると共に、定義される複数の当該タイプと前記接続関係とに基づいてルールを適用するルール適用手段と、
   前記判断手段により前記注目画素が１画素幅の線を構成する画素と判断された場合には、前記拡大画像データにおける１画素幅が維持されるように前記ルール適用手段から特定のルールを適用して前記拡大画像データを構成する結果画素の値を出力する出力手段とを備えたことを特徴とする画像処理装置。
5. 前記判断手段は、前記周辺画素との接続関係から前記注目画素が２画素幅以上の領域を構成するか否かを判断し、
   前記出力手段は、前記判断手段によって前記注目画素が２画素幅以上の領域を構成すると判断される場合には、当該領域の画素幅を拡幅するように前記結果画素の値を出力することを特徴とする請求項４記載の画像処理装置。
6. 表示画面への解像度変換におけるリアルタイム処理に用いられ、入力された元画像データを２倍未満の高解像度の拡大画像データに変換して出力する画像処理装置であって、
   前記元画像データにおける注目画素の値および当該注目画素に隣接する隣接画素の値から、当該注目画素の接続関係を検出する検出部と、
   前記検出部における接続関係の検出に基づいて前記注目画素が拡幅可能か否かを判断する拡幅検出部と、
   前記元画像データにおける画素の座標位置と前記拡大画像データにおける結果画素の座標位置との関係から当該関係を分類した複数のタイプを定義すると共に、前記拡幅検出部からの出力に基づいて、定義される複数の当該タイプと前記接続関係とに基づいてルールを適用して前記拡大画像データを構成する結果画素の値を選択するルール適用部とを備えたことを特徴とする画像処理装置。
7. 前記拡幅検出部は、前記検出部における検出に基づいて前記注目画素が縦横に拡幅しても良い領域で一定以上の大きさを持つ部分であるか否かを判断し、当該部分であると判断される場合には、拡幅可能と判断することを特徴とする請求項６記載の画像処理装置。
8. 表示画面への解像度変換におけるリアルタイム処理に用いられ、元画像データを２倍未満の拡大画像データに変換する画像処理装置であって、
   前記元画像データを入力する入力手段と、
   前記入力手段により入力された前記元画像データにおける注目画素と、当該注目画素と隣接する隣接画素との接続関係を認識する接続関係認識手段と、
   前記接続関係認識手段による前記隣接画素との接続関係の認識により、前記注目画素が１画素幅の線を構成する画素か否かを判定する判定手段と、
   前記判定手段により前記注目画素が１画素幅の線を構成すると判定された場合には、２倍未満に拡大する前記拡大画像データにおいても１画素幅を維持すべく、当該拡大画像データにおける結果画素の値を、前記元画像データにおける画素の座標位置と当該拡大画像データにおける結果画素の座標位置との関係から当該関係を分類した複数のタイプを定義し定義される複数の当該タイプと前記接続関係とに基づいて適用されるルールを用いて決定する決定手段とを備えたことを特徴とする画像処理装置。
9. 前記接続関係認識手段により認識された前記隣接画素との接続関係は、前記決定手段によって前記拡大画像データにおける前記結果画素の値を決定する際にも保存されるように当該画素の値が決定されることを特徴とする請求項８記載の画像処理装置。
10. 前記入力手段により入力される前記元画像データは、カラー画像データであり、
    前記接続関係認識手段は、前記隣接画素と前記注目画素との色が一致か近似している場合に接続関係ありと判断し、
    前記決定手段は、当該注目画素の色と一致した色となるように前記拡大画像データにおける前記結果画素の値を決定することを特徴とする請求項８記載の画像処理装置。
11. 表示画面への解像度変換におけるリアルタイム処理に用いられ、低解像度の元画像データを２倍未満の高解像度の拡大画像データに変換して表示する画像表示装置であって、
    低解像度からなる前記元画像データを入力する元画像データ入力部と、
    前記元画像データ入力部により入力された前記元画像データにおける注目画素と、当該注目画素と隣接する隣接画素との接続関係を認識する接続検出部と、
    前記元画像データにおける画素の座標位置と前記拡大画像データにおける結果画素の座標位置との関係から当該関係を分類した複数のタイプを定義すると共に、定義される複数の当該タイプと前記接続関係とに基づいてルールを適用するルール適用部と、
    前記ルール適用部により適用されたルールに従い、前記結果画素の値を決定して前記拡大画像データを出力する結果出力部と、
    前記結果出力部からの出力に基づいて高解像度の拡大画像を表示出力する画像表示部とを備え、
    前記ルール適用部は、前記接続検出部による認識により、前記注目画素が１画素幅の線を構成する画素と判断された場合には、前記拡大画像データにおいても１画素幅が維持されるようなルールを適用することを特徴とする画像表示装置。
12. 前記ルール適用部は、前記接続検出部による認識により前記注目画素が隣接画素に接続していると判断される場合に、前記拡大画像データに対しても接続を維持するようにルールを適用することを特徴とする請求項１１記載の画像表示装置。

Images