JP3092769B2

JP3092769B2 - 画像処理装置

Info

Publication number: JP3092769B2
Application number: JP05244737A
Authority: JP
Inventors: 信孝三宅
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-09-30
Filing date: 1993-09-30
Publication date: 2000-09-25
Anticipated expiration: 2015-09-25
Also published as: JPH07105359A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理装置に関し、例
えば、入力した画像情報を拡大変倍して出力するプリン
タ等の画像出力装置や、解像度の異なる機種間通信で低
解像度情報から高解像度情報に解像度変換する装置に適
した画像処理装置等に関するものである。

【０００２】

【従来の技術】従来、入力した低解像度情報を高解像度
情報に解像度変換する方法として、様々な方法が提案さ
れている。しかし、提案されている従来の方法は、対象
となる画像の種類（例えば、各画素毎に階調情報の持つ
多値画像、疑似中間調により２値化された２値画像、固
定閾値により２値化された２値画像、文字画像等）によ
って、その変換処理方法が異なっている。

【０００３】各画素毎に階調情報を持つ自然画像等の多
値画像に対する従来の解像度変換方法である内挿方法は
図２５に示す様な、内挿点に最も近い観測点と同じ画素
値を配列する最近接内挿法や、図２６に示すような内挿
点を囲む４点（４点の画素値をＡ，Ｂ，Ｃ，Ｄとする）
の距離により、（式１）の演算によって画素値Ｅを決定
する共１次内挿法（線形補間法）等が一般的に用いられ
ている。

【０００４】

【数１】Ｅ＝（１−ｉ）（１−ｊ）Ａ＋ｉ・（１−ｊ）Ｂ＋ｊ・（１−ｉ）Ｃ＋ｉｊＤ …（式１）｛但し、画素間距離を「１」とした場合に、Ａから横方
向にｉ、縦方向にｊの距離があるとする。（ｉ≦１、ｊ
≦１）｝

【０００５】

【発明が解決しようとする課題】しかし、上記従来例に
は、以下に示す欠点がある。すなわち、図２５の方法は
構成が簡単であると言う利点はあるが、対象画像を自然
画像等に用いた場合には拡大するブロック毎に画素値が
決定される為、視覚的にブロックが目立ってしまい画質
的に劣悪である。

【０００６】また、文字、線画像、ＣＧ（コンピュータ
グラフィック）画像等に用いた場合でも、拡大するブロ
ック毎に同一画素値が連続する為、特に、斜線等には、
図２７（ａ），（ｂ）に示す様にジャギーといわれるギ
ザギザの目立った劣悪な画像になってしまう。図２７で
は、縦横ともに２倍の解像度変換の例であるが、倍率が
大きくなればなるほど、劣化は大きくなる（図中の“２
００”、“１０”は画素値である）。

【０００７】図２６の方法は自然画像の拡大には一般的
に良く用いられている方法である。この方法では、平均
化され、スムージングのかかった画質になるが、エッジ
部や、シャープな画質が要求される部分には、ぼけた画
質になってしまう。さらに、地図等をスキャンした画像
や、文字部を含む自然画像の様な場合には、補間による
ぼけの為に、たいせつな情報が受け手に伝わらないこと
もある。

【０００８】図２７（ｃ）は図２６の方法により、図２
７（ａ）の入力画像情報を縦横２倍ずつに補間処理をし
た画像情報を示している。図２７（ｃ）からも明らかな
様に、斜線周辺のみならず、斜線そのものも画素値が均
一にならず、ぼけが生じてしまう。さらに、ホストコン
ピュータ上のアプリケーションソフトの制限等により、
最近接内挿法の処理が施されるなどして、入力した低解
像度情報に、すでにジャギーが発生している場合がある
（図２８参照）。

【０００９】この場合のように、入力情報にすでに発生
しているジャギーを消す手段は、いづれの従来例でも改
善しえなかった。

【００１０】

【課題を解決するための手段】本発明は上述の課題を解
決することを目的としてなされたもので、上述の課題を
解決する一手段として以下の構成を備える。即ち、低解
像度情報を高解像度情報に変換し、入力した画像情報の
画素数を（Ｎ×Ｍ）倍に増加させる画像処理装置であっ
て、低解像度情報１画素分を（Ｎ×Ｍ）画素分に補間す
る補間手段と、低解像度上の注目画素に対応する前記補
間手段での補間後の（Ｎ×Ｍ）画素のブロック内の画像
情報をｎ値（ｎ≧２）に量子化する量子化手段と、前記
補間手段で補間後の（Ｎ×Ｍ）画素単位で前記量子化手
段で量子化した情報と前記補間手段からの補間情報とを
設定した配分比率により加算合成する演算手段とを備え
る。

【００１１】また、低解像度情報を高解像度情報に変換
し、入力した画像情報の画素数を（Ｎ×Ｍ）倍に増加さ
せる画像処理装置であって、低解像度情報を平滑化する
平滑化手段と、前記平滑化手段で平滑化された低解像度
情報１画素分を（Ｎ×Ｍ）画素分に補間する補間手段
と、低解像度上の注目画素に対応する前記補間手段での
補間後の（Ｎ×Ｍ）画素のブロック内をｎ値（ｎ≧２）
に量子化する量子化手段と、前記量子化手段における量
子化後の高解像情報を間引きする間引き手段とを有し、
前記平滑化手段、前記補間手段、前記量子化手段、前記
間引き手段の各処理を複数回繰り返し実行することを特
徴とする。更に、低解像度情報を高解像度情報に変換
し、入力した画像情報の画素数を（Ｎ×Ｍ）倍に増加さ
せる画像処理装置であって、注目画素周辺の画素値をｎ
値（ｎ≧２）に量子化する周辺画素量子化手段と、前記
周辺画素量子化手段による量子化後のパターンにより平
滑化条件を選択する選択手段と、前記選択手段により選
択された平滑化条件を用いて、低解像度情報を平滑化す
る平滑化手段と、前記平滑化手段で平滑化された低解像
度情報１画素分を（Ｎ×Ｍ）画素分に補間する補間手段
と、低解像度上の注目画素に対応する前記補間手段での
補間後の（Ｎ×Ｍ）画素のブロック内をｎ値（ｎ≧２）
に量子化する注目画素量子化手段とを有することを特徴
とする。更にまた、低解像度情報を高解像度情報に変換
し、入力した画像情報の画素数を増加させる画像処理装
置において、低解像度の１画素の情報を複数画素の補間
情報に変換処理する補間手段と、前記補間手段によって
得られた複数画素の補間情報からエッジ情報を作成する
エッジ情報作成手段と、複数画素の低解像度情報から前
記補間情報と前記エッジ情報を合成する際の合成比率を
決定する決定手段と、前記補間手段からの補間情報と前
記エッジ情報作成手段からのエッジ情報とを前記決定手
段で決定された合成比率により合成する合成手段とを有
することを特徴とする。

【００１２】

【作用】以上の構成において、入力した低解像度情報か
ら高解像度情報に変換する際に、自然画像等では特に問
題となっていた補間によるぼけや、文字、全画像等で特
に問題となっていたジャギーのの発生を生じることな
く、画質的に良好な変換処理が実現できる。さらに、画
像作成したアプリケーションソフトの制限等により、す
でにジャギーを発生している画像を入力した場合におい
ても、ジャギーだらけの曲線を滑らかな曲線へと変換す
ることができる。

【００１３】また、量子化することにより補間情報にエ
ッジを作成することができ、又、作成したエッジ情報の
合成比率を適応的に変化させることによって、容易に非
線形性を変化させることに相当し、入力が自然画像の場
合には特に、人工的なエッジ作成による絵画調な画像に
なることを回避することができる。

【００１４】

【実施例】以下、図面を参照して本発明に係る一実施例
を詳細に説明する。（第１の実施例）図１は本発明に係る第１の実施例を表
す要部ブロック図である。本実施例の画像処理装置は、
主としてプリンタ等の画像出力装置内部に具備すること
が効率的であるが、画像出力装置以外の画像処理装置、
ホストコンピュータ内のアプリケーションソフトウエア
として内蔵することも可能である。

【００１５】図１のブロック図に沿って本実施例の動作
手順を説明していく。本実施例では、入力した画像情報
を縦Ｎ倍、横Ｍ倍（Ｎ，Ｍはそれぞれ２以上の整数）の
画素数の情報に変換する例について述べる。図中１００
は入力端子を示し、低解像の画像情報が入力される。こ
の低解像情報は、線形補間手段１０１に送信され、共１
次補間処理（以下、「線形補間処理」という）により、
元のサンプリング間の画素が埋められ、縦Ｎ倍、横Ｍ倍
の補間情報を作成する。線形補間処理については図２６
に示した処理と同じである。１０２は量子化手段を示
し、低解像情報の注目画素（Ｉｘｙとする）を中心とす
るＮ画素×Ｍ画素の補間情報のブロックごとにｎ値（ｎ
≧２）に量子化する手段を示す。補間情報を量子化する
ことにより、低解像度１画素ごとにエッジを作成するこ
とに相当する。このエッジ作成の詳細については後述す
る（以下、量子化後の情報を「エッジ情報」という）。

【００１６】図中１０３は配分比率決定手段を示す。こ
れは、作成した線形補間情報とエッジ情報との合成にお
いて、その配分比率（ａとおく。但し、０≦ａ≦１）を
算出する手段である。この配分比率もＮ画素×Ｍ画素の
ブロック単位で決定される。この配分比率の決定につい
ても詳細は後述する。その後、求めた配分比率ａを用い
て、乗算器１０４においてエッジ情報はａ倍され、乗算
器１０５において線形補間情報は（１−ａ）倍された後
に加算器１０６において合成される。図中１０７は出力
端子を示し、入力された画像情報がＮ×Ｍ倍の情報に変
換されて出力される。

【００１７】図２は、図１に示した量子化手段１０２の
詳細構成を表した図である。本実施例では量子化に２値
化（ｎ＝２）を例にして説明する。破線で囲んだ部分が
量子化手段に相当する。図中１１０は低解像情報の入力
端子であり、１１１に示した情報が入力される。Ａ〜Ｉ
はそれぞれ低解像度情報である。１１１において、Ｅの
画素が注目画素に相当し、一点鎖線で囲んだ部分が注目
画素の近傍画素に対するウインドウである（参照する窓
であり注目画素周辺の参照領域の大きさである）。１１
２は線形補間手段からの入力端子を示し、図３に示した
情報が入力される。ここでは、Ｎ＝Ｍ＝５の例について
示している。

【００１８】図３において、破線は各低解像画素を中心
としたブロック境界を示し、実線で囲まれた部分が、注
目画素Ｅに対するブロック（以下、「注目画素ブロッ
ク」という）となる。また、〇印は低解像情報の画素
（観測画素）を、×印は補間画素を示している。すなわ
ち、低解像画素Ｅが補間により５×５の２５画素分の相
当すると考える。

【００１９】入力端子１１０から入力した低解像情報は
ＭＡＸ・ＭＩＮ検出手段１１３によりウインドウ内の最
大値、最小値を検出される。検出されたＭＡＸ情報、Ｍ
ＩＮ情報は閾値決定手段１１４に送信され、２値に量子
化される閾値が決定される。本実施例では閾値（「Ｔ
Ｈ」とおく）を以下の式により決定している。ＴＨ＝（ＭＡＸ＋ＭＩＮ）／２ …（式３）決定された閾値情報と、ＭＡＸ情報、ＭＩＮ情報は２値
化手段１１５に送信され、入力端子１１２から入力した
線形補間の施された注目画素Ｅを中心とするブロックの
補間情報（注目画素ブロック内）を２値化する。２値化
閾値よりも大きな補間画素にはＭＡＸ値を割り当て、小
さい補間画素にはＭＩＮ値を割り当てる。１１６は出力
端子を示し、１１７に示した様な２値化代表値をＭＡ
Ｘ、ＭＩＮで割り当てたブロックのエッジ情報が出力さ
れる。

【００２０】図４は線形補間、及び、エッジ作成の様子
を示している。説明を簡単にする為に一次元方向で示し
てある。〇印は低解像度上のサンプリング点の画素値を
示し、Ｘ印はその間を内挿する補間点の画素値を示す。
中央に位置する○印の点を注目画素とする。図中、
（ａ）に示す様に、隣接画素からＭＡＸ、ＭＩＮの値を
検出し、前述した式により、閾値ＴＨを算出する。い
ま、注目画素を中心とする拡大した画素ブロックを５画
素分とすると、図中（ｂ）に示すように、４画素は、Ｔ
Ｈ以上である為、ＭＡＸの値をとり、１画素はＴＨ未満
である為、ＭＩＮの値をとる。

【００２１】図５は、エッジ情報を作成した例を示して
いる。今、低解像情報の注目画素が図５の（ａ）に示す
様に中央に配してある“８０”の画素値であったとす
る。この注目画素の１画素分が、図５の（ｂ）に示す様
に縦Ｎ倍、横Ｍ倍に補間され、ウインドウ内のＭＡＸ値
“２００”、ＭＩＮ値“２０”、２値化閾値（２００＋
２０）／２＝１１０において２値化され、エッジを作成
している。

【００２２】以上説明したエッジ作成処理により、低解
像画像においてエッジ部にひっかかっている画素が、拡
大されたブロック内で解像度方向に滑らかなエッジ、す
なわち、高解像情報を作成することが可能になる。図６
は配分比率決定手段を示している。図中、破線で囲んで
いる部分が図１の１０３で示した配分比率決定手段に相
当する。図中、１２１は入力端子を示し、１２２に示し
た低解像情報を入力する。図２で説明したように、Ｅの
画素を注目画素にする。図２のエッジ作成手段と同様
に、ＭＡＸ・ＭＩＮ検出手段１２３により、ウインドウ
内のＭＡＸ値、ＭＩＮ値を検出する。この検出手段はエ
ッジ作成手段の中のものと共有できることは勿論であ
る。

【００２３】１２４は減算器を示し、（ＭＡＸ−ＭＩ
Ｎ）の演算が行なわれる。すなわち、このウィンドウ内
のダイナミックレンジを求めることに相当する。１２５
は重み付け手段を示し、作成したエッジ情報を、より重
要視するか、また、軽視するかを決定する為に設けた手
段である。この重み付けは、システムに最適化する為に
実験的に求めても良いし、対象画像に応じて決定しても
良い。

【００２４】図７に重み付けの例を示す。図７（ａ）〜
（ｄ）は全て、ウインドウ内のダイナミックレンジに基
づき、配分比率ａをいかに算出するかを示している。ダ
イナミックレンジが大きくなるほど、エッジ作成情報の
重み（係数ａ）が増してくるが、線形的なもの（図７
（ａ））、非線形的なもの（図７（ｂ））、クリップし
たもの（図７（ｃ））、階段上に設定したもの（図７
（ｄ））等、様々な重み付けが考えられる。また、これ
らの組み合わせも考えられる。これらは、演算により求
めても良いし、複雑なものはＬＵＴ（ルックアップテー
ブル）により実現しても良い。こうして求められた配分
比率ａは出力端子１２６により出力され、エッジ情報と
線形補間情報との合成の配分を司る。

【００２５】図８は、配分比率によるエッジ情報と、線
形補間情報との合成の効果を示した図である。すなわ
ち、作成したエッジ情報がａ倍され、線形補間情報が
（１−ａ）倍されて合成して、図に示した様な滑らかな
エッジが作成できる。しかも、前述したようにダイナミ
ックレンジ、すなわち、エッジの大きさの度合いを評価
関数にしている為、大きなエッジになる程、作成したエ
ッジ情報が強く依存するような処理ができる（図８の
（ａ）参照）。また、平坦部になる程、線形補間情報が
強く依存するようになる為、作成したエッジが悪影響を
及ぼすことは無い（図８の（ｂ）参照）。

【００２６】以上説明した様に本実施例によれば、入力
した低解像度情報から高解像度情報に変換する際に、自
然画像等では特に問題となっていた補間によるぼけや、
文字、全画像等で特に問題となっていたジャギーのの発
生を生じることなく、画質的に良好な変換処理が実現で
きる。さらに、画像作成したアプリケーションソフトの
制限等により、すでにジャギーを発生している画像を入
力した場合においても、ジャギーだらけの曲線を滑らか
な曲線へと変換することができる。

【００２７】また、作成したエッジ情報の合成比率を適
応的に変化させることによって、容易に非線形性を変化
させることに相当し、入力が自然画像の場合には特に、
人工的なエッジ作成による絵画調な画像になることを回
避することができる。（第２の実施例）次に本発明に係る第２の実施例を詳細
に説明する。第２実施例においては、前述した第１の実
施例とは配分比率決定手段、すなわち配分比率を決定す
る評価関数が異なっている。図９は本発明に係る第２の
実施例を示す要部ブロック図であり、第２実施例におけ
る配分比率決定手段を示している。図９において、図６
と同様に、破線で囲んだ部分が配分比率決定手段を示し
ている。図中、図６と同一部には同一番号を付して説明
を省略する。

【００２８】図９において、１３０は入力端子を示し、
１３１に示した低解像度情報を入力する。１３１におい
て、Ｍの画素を注目画素とし、太線で囲まれた隣接画素
８画素を８近傍と称し、一点鎖線で囲んだ周辺画素を２
４近傍と称することにする。１３２は８近傍のＭＡＸ・
ＭＩＮの検出手段、１３３は２４近傍のＭＡＸ・ＭＩＮ
の検出手段とする。それぞれ検出したＭＡＸ、ＭＩＮを
減算器１３４，１３５において差分を求める。この処理
は８近傍中でのダイナミックレンジと、それを含んだ２
４近傍でのダイナミックレンジを求めることに相当す
る。それぞれ求めたダイナミックレンジを元に、エッジ
角度判定手段１３６において、エッジがどの程度急峻か
を判断する。図１０に判断の様子を示す。

【００２９】図１０において、○印は低解像上のサンプ
リング点の画素値を示し、×印は、その画素間を内挿す
る補間値である。いま、説明を簡単にする為に、一次元
方向で説明する。中央に位置する○印を注目画素とし、
その隣接した両側の画素を８近傍、その外側の画素を２
４近傍の画素とする。図１０の（ａ）は、８近傍のダイ
ナミックレンジと２４近傍のダイナミックレンジの差が
少ない場合、図１０の（ｂ）は差が大きい場合を示して
いる。

【００３０】この２種のダイナミックレンジの情報によ
り、注目画素を囲むエッジの大まかな角度を判断して、
配分比率作成手段１３７に信号を送信する。これは２種
のダイナミックレンジの差分でも良いし、また、比率で
も相対関係が評価され有効である。配分比率作成手段１
３７では、エッジ角度の大きい場合には、作成したエッ
ジ情報の配分比率を多くなるように、また、エッジ角度
の小さい場合には、作成したエッジ情報の配分比率を小
さくなるように、配分比率を決定する。決定した配分比
率は出力端子１２６に出力され、図１に示す上述した第
１の実施例同様、乗算器１０４、１０５に信号が与えら
れる。

【００３１】以上説明したように第２の実施例によれ
ば、作成したエッジ情報の合成比率を適応的に変化させ
ることによって、上述した第１の実施例と同様に容易に
非線形性を変化させることに相当し、入力が自然画像の
場合には特に、人工的なエッジ作成による絵画調な画像
になることを回避することができる。（第３の実施例）図１１は本発明に係る第３の実施例を
示す要部ブロック図である。第３の実施例は、上述した
図１に示す第１の実施例の構成にウインドウ作成手段１
４０が付加されている構成となっている。すなわち、量
子化手段１０２におけるエッジ作成でのＭＡＸ、ＭＩＮ
の算出に用いるウインドウを可変に構成するものであ
る。前述した実施例でも説明した様に、８近傍のウイン
ドウのみではエッジのピークを検出しているとは言えな
い場合がある。

【００３２】そこで第３実施例においては、周辺画素値
の状況により、ウインドウ作成手段１４０がエッジのピ
ークを包括するウインドウを適応的に作成し、そのウイ
ンドウ作成手段１４０で作成したウインドウにおけるＭ
ＡＸ・ＭＩＮを閾値ＴＨの作成に使用する。これによ
り、エッジのピークを包括するウインドウを適応的に作
成でき、確実にエッジのピークを検出することができ
る。

【００３３】また、このウインドウ作成手段１４０で作
成したウインドウにおけるＭＡＸ・ＭＩＮを配分比率決
定手段１０３に供給する様に構成し、配分比率の決定に
も用いるようにすることも可能である。以上に説明した
第１〜第３の実施例において、閾値算出や、配分比率算
出の為のウインドウの大きさは、入力画像の種類によっ
て８近傍の固定、２４近傍の固定など予め設定しても良
い。

【００３４】また、配分比率は入力画像の種類、使用者
の好みによって、変化できる構成であっても良い。ま
た、エッジの作成は前述した閾値による２値化を説明し
たが、他の方法であっても良いことは勿論である。ま
た、量子化には２値化（ｎ＝２）を説明したが、同様
に、周辺画素のウインドウから量子化代表値、閾値を設
定して、補間処理後の注目画素ブロック内を２値以上の
多値に変換してもよい。多値化の操作により、エッジの
急峻さを軽減することも可能である。

【００３５】また、今まで、説明を容易にする為に、２
値化したエッジ画像の作成、線形補間情報の作成、そし
てその２種画像の合成を独立に説明してきたが、実際の
処理では、線形補間後の情報により、閾値ＴＨ以上の画
素には、Ｌｅｖｅｌｏｕｔ＝ａ×ＭＡＸ＋（１−ａ）×Ｌｅｖｅ
ｌｉｎＴＨ未満の画素には、Ｌｅｖｅｌｏｕｔ＝ａ×ＭＩＮ＋（１−ａ）×Ｌｅｖｅ
ｌｉｎ｛但し、Ｌｅｖｅｌｉｎは線形補間後の各画素値、Ｌｅ
ｖｅｌｏｕは同画素位置の出力値、ａは配分比率（０≦
ａ≦１）である。｝として、同時に算出できるのは当然
である。

【００３６】以上説明したように、第１〜第３の実施例
によれば、入力した低解像度情報から、エッジ情報を推
測作成し、その情報を付加するため、視覚的にぼけた感
じの無い、エッジのシャープな高解像度情報を作成する
ことができる。また、作成したエッジ情報の合成比率を
適応的に変化させることによって、容易に非線形性を変
化させることに相当し、入力が自然画像の場合には特
に、人工的なエッジ作成による絵画調な画像になること
を回避することができる。

【００３７】（第４の実施例）図１２は本発明に係る第
４の実施例を示す要部ブロック図である。前述までの第
１〜第３の実施例は、主に自然画像の解像度変換に有効
であったが、第４の実施例は、主にホストコンピュータ
上のＰＤＬ（ページ記述言語）や、様々なアプリケーシ
ョンソフトにより作成した、文字、線画像等に有効であ
る。

【００３８】図１２のブロック図に沿って第４の実施例
の動作手順を説明していく。図中、１００は入力端子を
示し、低解像の画像情報が入力される。入力後の画像情
報は平滑化手段１５０に送信される。図１３に第４の実
施例で使用する平滑化フィルタの一例を示す。当然、他
の平滑化フィルタでも良いことは勿論である。平滑化手
段１５０で平滑化された画像情報は線形補間手段１０１
に送信され、平滑化後の画像情報を縦Ｎ倍、横Ｍ倍の補
間を実行する。

【００３９】補間後の情報は、量子化手段１０２に送信
され、前述の実施例同様、画素数が増加した注目画素ブ
ロック内にエッジの作成を行なう。この操作は、原情報
（低解像度情報）のエッジを崩し、画素数を増加した状
態で新たなエッジ（高解像度情報）を作成するため、原
情報に依存したジャギーの生じたエッジになることはな
い。

【００４０】図１４を参照して第４の実施例の処理を実
際の値を基に説明する。図１４の（ａ）は、ある入力画
像中の一部分である。今、破線で囲んだ画素が注目画
素、一点鎖線で囲んだ部分がウィンドウとする。図１４
の（ｂ）は平滑化後の（ａ）と同じ部分の画素値を示し
ている。破線の注目画素は平滑化の為、“２００”が
“１５０”の値に変換されている。

【００４１】図１４の（ｃ）は注目画素付近の線形補間
後の画素値を示している。今、Ｎ＝Ｍ＝３として、１画
素分が９画素に増加している。図１４の（ｃ）におい
て、破線で囲んだ９画素が注目画素ブロックである。こ
の注目画素ブロック内を２値に量子化する。図１４
（ａ）のウインドウより、ＭＡＸ＝２００、ＭＩＮ＝５
０であるので、２値化閾値は、ＴＨ＝１２５として２値
化し、ＴＨ以上の画素にＭＡＸ値を、ＴＨ未満の画素に
はＭＩＮ値を代入する。その結果を図１４（ｄ）に示
す。図１４（ｅ）は、他の注目画素に対しても同様の処
理をしたあとの最終結果を示している。この例からも明
らかな様に、ジャギーを生じることなく、任意の倍率で
良好な解像度変換が実現できる。

【００４２】（第５の実施例）図１５は本発明に係る第
５の実施例を表す要部ブロック図である。図中、前述の
実施例と同一部には同一番号を付して説明する。図中１
６０はフィルタ選択手段を示し、入力画像から、平滑化
のフィルタとしてどのフィルタを用いるかを適応的に選
択する手段である。これは例えば、図１３に示した平滑
化フィルタにてフィルタ処理してしまうと、複数のエッ
ジの込み言った部分ではエッジがひとまとまりになって
しまったり、細線の部分では、線の途切れ、消滅が発生
したりするという問題点があるが、第５の実施例におい
ては係る問題点を解決するために、入力画像のウィンド
ウ内のパターンによってフィルタを切り換える。

【００４３】図１５において、平滑化手段１５０の前
に、フィルタ選択手段１６０を設け、フィルタ群１６１
の中の、どのフィルタを選択するのかを判断する。フィ
ルタ選択手段１６０の例を図１６に示す。図１６におい
て、１７０は入力手段を示し、１７１に示した注目画素
周辺のウィンドウ内の画素情報が入力される。１７２は
ＭＡＸ・ＭＩＮ検出手段を示し、ウィンドウ内の最大
値、最小値を検出する。１７３は閾値決定手段を示し、
ＭＡＸ、ＭＩＮの値から閾値ＴＨを算出する。１７４は
２値化手段を示し、注目画素のみならず、ウインドウ内
の各画素を２値化する手段である。例えば、１７１のウ
インドウであれば、ウインドウ内の９画素（Ａ〜Ｉ）が
２値化されることになる。２値化された９ビットのウイ
ンドウ情報はＬＵＴ（ルックアップテーブル）１７５に
送信され、最適なフィルタを選択する（１７６は出力端
子）。

【００４４】ＬＵＴ１７５には、あらかじめ、平滑化に
よる弊害を起こすパターンを実験的に求め、図１７のよ
うな注目画素に重み付けしたフィルタを選択するように
設定したり、フィルタをスルーに設定してもよい。図１
８に、図１３のフィルタでは弊害を起こすおそれのある
代表的なパターンを示す。図１８の（ａ），（ｂ）は細
線のパターンであり、平滑化により細線が切れてしまう
可能性がある。図１８の（ｃ），（ｄ）は角部にあたる
パターンであり、平滑化により角が丸まってしまう可能
性がある。第５実施例では、このような様々のパターン
をＬＵＴに設定しておくことで、適応的なフィルタを選
択することができ、前述した弊害を防ぐことができ、ジ
ャギーの生じる可能性のある部分だけを処理することが
可能である。

【００４５】図１６に示したＭＡＸ・ＭＩＮ検出手段、
閾値決定手段、２値化手段等は、図１５に示した量子化
手段（図２の構成）のものと共有できることは当然であ
るし、ＭＡＸ値、ＭＩＮ値や閾値の１度求めた演算結果
を格納しておけば効率的である。また、第５実施例で
は、ウインドウ内の２値パターンによりフィルタの切り
換えを実現したが、注目画素周辺のエッジの複雑性を評
価関数にして、演算によりフィルタの切り換えを司どる
ことも可能である。

【００４６】（第６の実施例）図１９は本発明に係る第
６の実施例を示す要部ブロック図である。本実施例は、
入力した低解像情報の時点で、画像入力のデバイスの制
限や、画像作成したアプリケーションソフトの制限等に
より、すでにジャギーを有している画像情報に特に有効
である。スイッチ１８０は、初めは、端子Ａに接続さ
れ、入力画像情報は平滑化手段１５０に送信される。平
滑化された画像情報は線形補間手段１０１に送信された
後、補間情報を量子化手段１０２により量子化され、拡
大した情報の中でエッジの作成を行なう。

【００４７】作成したエッジ情報は、スイッチ１８１に
おいて、端子Ｂに接続されていて、線形間引き手段１８
２に送信される。線形間引き処理の方法を図２０に示
す。図２０は説明を簡単にする為に、一次元方向で示し
てある。○印はエッジを作成した高解像情報の画素を、
×印は線形間引きのサンプリング画素を示している。図
２０では１／２に間引きする例を示しているが、本実施
例では、図１９の入力端子１００にて入力した画像の解
像度と同一になるまで、この間引き処理を実行する。

【００４８】間引き処理され、解像度が入力画像と同じ
になると、スイッチ１８０では、端子Ｂに接続され、再
び、同様の動作が実行される。スイッチ１８０、１８１
の制御はパスカウンタ１８３が司り、予め設定したパス
数だけ、平滑化、エッジ作成、間引き処理のループが実
行される。設定したパス数だけこの処理を繰り返すと、
スイッチ１８１にて端子Ａに接続され、拡大された画像
情報が出力端子１０７に出力される。この一連の繰り返
し処理により、もともと存在していたジャギーが平滑化
され、新たなエッジを作成していくことを繰り返す為、
ジャギーは滑らかな曲線へと変換することが可能であ
る。しかも、エッジを作成する為、補間処理によるぼけ
た画像にはならない。

【００４９】図２１に第６実施例による処理結果の一例
を示す。これは、例えば、ホストコンピュータ上のアプ
リケーションソフトで画像を作成した線画像を入力した
場合と仮定する。説明を容易にする為、四角で囲んだ単
位格子が１画素とする。入力した低解像度情報からすで
にジャギーが生じている｛図２１の（ａ）｝。

【００５０】図２１の（ｂ）に第６実施例の平滑化、エ
ッジ作成の繰り返し処理による処理結果を示す。単位格
子が（ａ）よりも小さくなっているのは、高解像度に変
換されている為である。以上説明した様に第６実施例に
よれば、繰り返し処理により、原情報から生じているジ
ャギーを滑らかな曲線へと改善していくことができる。

【００５１】（第７の実施例）図２２は本発明に係る第
７の実施例を示す要部ブロック図である。図中、前述の
実施例と同一部には同一番号を付して説明する。第７実
施例においては、図１９に示した第６の実施例に比べ、
ループの繰り返し回数の制御が異なっている。図２２に
おいて、１９０は繰り返し決定手段を示し、入力端子１
００により入力した原画像情報と、エッジを作成して拡
大された補間画像情報の２種の画像情報を入力する。

【００５２】繰り返し決定手段１９０では、原画像情報
の画素値を単純に拡大倍率分だけ繰り返し配置してい
く、いわゆる前値補間の画像情報と、エッジを作成した
画像情報とを比較し、充分にジャギーが取り切れている
かを判断して、スイッチ１８０、１８１の切り替えを制
御する。すなわち、ジャギーの取りきれない間は、スイ
ッチ１８０、１８１は端子Ｂに接続され、繰り返し処理
が施される。

【００５３】ジャギーが取り切れたと判断された場合に
は、スイッチ１８１は端子Ａに接続され、処理画像は出
力端子１０７に出力される。判断の一例として、前述し
た前値補間画像情報と、エッジ作成情報との誤差電力
が、ある設定した閾値以上になっているかを、判断の評
価関数にしても良い。以上説明した様に第７の実施例に
よれば、上述した第６の実施例同様、平滑化、拡大して
エッジ作成、間引きを繰り返すことにより、ジャギーが
軽減され、その代わりに滑らかな曲線が形成され、最終
的には良好な画像が出力される。

【００５４】（第８の実施例）図２３は本発明に係る第
８の実施例を示す要部ブロック図である。図中、上述し
た図１９に示す第６の実施例と同一部には同一番号を付
して説明する。第８の本実施例では第６の実施例と比し
量子化手段２００が一部異なっている。図２４に第６の
実施例の量子化手段の概要を示す。これは、図２に示し
た量子化手段とは、２値化手段２１０における量子化代
表値であるＭＡＸ、ＭＩＮの情報を外部から入力してい
る点が異なっているのみで、その他は同一である（破線
部が量子化手段２００）。すなわち、図１９に示した実
施例では、線形間引き手段により、原画像の濃度が平均
化され、その為、ダイナミックレンジが小さくなり、さ
らに繰り返し処理により、原画像との濃度の差がますま
す大きくなる虞がある。これに対して第８の実施例は、
前述した問題点を改善する為の手段であり、エッジを作
成する閾値を決定する為のＭＡＸ、ＭＩＮは線形間引き
後（１回目は原情報）のウインドウによる情報を用い、
エッジが作成した後の２値化代表値となるＭＡＸ、ＭＩ
Ｎは、原画像の情報（図２４の入力端子２１１）を用い
ることに特徴がある。この処理により、２値化される量
子化代表値は、常に原画像情報の画素値になり、解像度
方向でのジャギーの改善のみで濃度変化の副作用は回避
できる。

【００５５】また、第８の実施例では、繰り返し処理の
中で、毎回、ＭＡＸ、ＭＩＮの値を原画像情報から入力
しているが、以上の例に限定されるものではなく、繰り
返し処理の最終回、例えばＮ回ループの場合では、Ｎ回
目の処理のみ原画像のＭＡＸ、ＭＩＮを用い、（Ｎ−
１）回目までの処理では、図１の実施例同様、線形間引
き後（１回目は原情報）のＭＡＸ、ＭＩＮを用いること
も効果的である。

【００５６】また、今までの実施例の説明で補間手段
は、全て線形補間を例にして説明してきたが、これに限
定するものではない。以上に説明した第４〜第８の実施
例においては、エッジの作成手段は｛（ＭＡＸ＋ＭＩ
Ｎ）／２｝の閾値による２値化を説明したが、他のエッ
ジ作成手段であってもよいことは勿論である。

【００５７】また、入力画像の部分的な特徴を基に適応
的に平滑化フィルタを切り換える実施例を説明したが、
繰り返し処理の回数に応じてフィルタを切り換えること
も有効である。以上説明したように、第４〜第８の各実
施例によれば、入力した低解像度情報から高解像度情報
に変換する際に発生するジャギーや、画像入力のデバイ
スの制限や、画像作成したアプリケーションソフトの制
限等によりすでに発生しているジャギーを滑らかな曲線
へと変換することができる。

【００５８】また、繰り返し回数を制御することによ
り、滑らかさを制限することが可能である。また、適応
的なフィルタ処理により、曲線へと変換する部分をきり
分けることが可能である。このように、上述した第１〜
第８の各実施例によれば、低解像度の画像情報を高解像
度情報へ容易に変換できるため、解像度の異なる機種間
通信や、拡大変倍して、高画質な画像を出力するプリン
タや、複写機に適用することによりそれぞれに高画質な
画像を出力することが可能となる。

【００５９】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器から成る装置に適用し
ても良い。また、本発明は、システム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。

【００６０】

【発明の効果】以上説明したように本発明によれば、入
力した低解像度情報から高解像度情報に変換する際に発
生するジャギーや、画像入力のデバイスの制限や、画像
作成したアプリケーションソフトの制限等によりすでに
発生しているジャギーを滑らかな曲線へと変換すること
ができる。また、繰り返し回数を制御することにより、
滑らかさを制御することが可能であり、適応的なフィル
タ処理により、曲線へと変換する部分をきり分けること
が可能である。

【００６１】更にまた、本発明によれば、入力した低解
像度情報からエッジ情報を推測作成し、その情報を付加
するため、視覚的にぼけた感じの無い、エッジのシャー
プな高解像度情報を作成することができる。また、作成
したエッジ情報の合成比率を適応的に変化させることに
よって、容易に非線形性を変化させることに相当し、入
力が自然画像の場合には特に、人工的なエッジ作成によ
る絵画調な画像になることを回避することができる。

【００６２】このように、本発明によれば低解像度の画
像情報を高解像度情報へ容易に変換できるため、種々の
装置に適用することができ、例えば、解像度の異なる機
種間通信や、拡大変倍して、高画質な画像を出力するプ
リンタや、複写機が提供できる。

【図面の簡単な説明】

【図１】本発明に係る第１の実施例を示す要部ブロック
図である。

【図２】図１の量子化手段を示す要部ブロック図であ
る。

【図３】本実施例の線形補間の説明図である。

【図４】本実施例の線形補間と２値化を説明する為の図
である。

【図５】本実施例の２値化の例である。

【図６】図１の配分比率決定手段の詳細構成を示す図で
ある。

【図７】図６の重み付け手段の例を説明する図である。

【図８】エッジの大きさによる配分比率の違いの説明図
である。

【図９】本発明に係る第２の実施例の配分比率決定手段
の図である。

【図１０】第２の実施例のエッジの角度の違いの説明図
である。

【図１１】本発明に係る第３の実施例を示す要部ブロッ
ク図である。

【図１２】本発明に係る第４の実施例を示す要部ブロッ
ク図である。

【図１３】第４の実施例における平滑化フィルタの一例
である。

【図１４】第４の実施例における処理例である。

【図１５】本発明に係る第５の実施例を示す要部ブロッ
ク図である。

【図１６】図１５におけるフィルタ選択手段の詳細構成
図である。

【図１７】図１５における平滑化フィルタの一例であ
る。

【図１８】図１６における２値化後のウインドウパター
ンの例である。

【図１９】本発明に係る第６の実施例を示す要部ブロッ
ク図である。

【図２０】第６の実施例の線形間引き処理の説明図であ
る。

【図２１】第６実施例の効果を説明する為の図である。

【図２２】本発明に係る第７の実施例を示す要部ブロッ
ク図である。

【図２３】本発明に係る第８実施例を示す要部ブロック
図である。

【図２４】第８実施例の量子化手段の要部ブロック図で
ある。

【図２５】従来例である最近接内挿法を示す図である。

【図２６】従来例である共１次内挿法を示す図である。

【図２７】従来例の処理例を示す図である。

【図２８】入力画像情報の一例を示す図である。

【符号の説明】

１００入力端子（低解像度画像入力）１０１線形補間手段１０２量子化手段１０３配分比率（ａ）決定手段１０４，１０５乗算器１０６加算器１０７出力端子（Ｎ×Ｍ倍画像情報）１１０入力端子１１１低解像度情報１１２入力端子１１３ＭＡＸＭＩＮ検出手段１１４閾値決定手段１１５２値化手段１１６エッジ作成手段の出力１１７エッジ情報１２１入力端子１２２低解像情報１２３ＭＡＸＭＩＮ検出手段１２４減算器１２５重み付け手段１２６出力端子１３０入力端子１３１低解像情報１３２８近傍ＭＡＸＭＩＮ検出手段１３３２４近傍ＭＡＸＭＩＮ検出手段１３４，１３５減算器１３６エッジ角度判定手段１４０ウインドウ作成手段１５０平滑化手段１６０フィルタ選択手段１６０フィルタ群１７０入力端子１７１低解像情報１７２ＭＡＸＭＩＮ検出手段１７３閾値決定手段１７４２値化手段１７５ＬＵＴ（ルックアップテーブル）１７６出力端子１８０，１８０スイッチ１８２線形間引き手段１８３パスカウンタ１９０切り返し決定手段２００量子化手段２１０２値化手段２１１入力端子

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 3/40 G09G 5/36 H04N 1/387 101

Claims

(57)【特許請求の範囲】

【請求項１】低解像度情報を高解像度情報に変換し、
入力した画像情報の画素数を（Ｎ×Ｍ）倍に増加させる
画像処理装置であって、低解像度情報１画素分を（Ｎ×Ｍ）画素分に補間する補
間手段と、低解像度上の注目画素に対応する前記補間手段での補間
後の（Ｎ×Ｍ）画素のブロック内の画像情報をｎ値（ｎ
≧２）に量子化する量子化手段と、前記補間手段で補間後の（Ｎ×Ｍ）画素単位で前記量子
化手段で量子化した情報と前記補間手段からの補間情報
とを設定した配分比率により加算合成する演算手段とを
有することを特徴とする画像処理装置。
【請求項２】前記演算手段における前記量子化手段で
の量子化後の量子化代表値を低解像度注目画素の周辺画
素より算出することを特徴とする請求項１記載の画像処
理装置。
【請求項３】前記量子化が２値化である場合２値化の
量子化代表値に周辺画素群中の最大値、最小値を割り当
てることを特徴とする請求項２記載の画像処理装置。
【請求項４】前記量子化手段における量子化の際の閾
値を低解像度注目画素の周辺画素より算出することを特
徴とする請求項１乃至請求項３のいずれかに記載の画像
処理装置。
【請求項５】前記量子化が２値化である場合、２値化
閾値を前記最大値と前記最小値の平均とすることを特徴
とする請求項４記載の画像処理装置。
【請求項６】前記演算手段における配分比率を低解像
度上の注目画素周辺の画素値幅により決定することを特
徴とする請求項１乃至請求項５のいずれかに記載の画像
処理装置。
【請求項７】前記演算手段における配分比率を低解像
度上の注目画素周辺の画素値幅の変化により決定するこ
とを特徴とする請求項１乃至請求項５のいずれかに記載
の画像処理装置。
【請求項８】前記演算手段における配分比率を決定す
る低解像度上の注目画素周辺の参照領域の大きさを可変
することを特徴とする請求項１乃至請求項５のいずれか
に記載の画像処理装置。
【請求項９】前記演算手段における前記量子化代表値
を決定する低解像度上の注目画素周辺の参照領域の大き
さを可変することを特徴とする請求項１乃至請求項８の
いずれかに記載の画像処理装置。
【請求項１０】前記量子化手段における閾値等の量子
化条件を決定する低解像度上の注目画素周辺の参照領域
の大きさを可変することを特徴とする請求項１乃至請求
項９のいずれかに記載の画像処理装置。
【請求項１１】低解像度情報を高解像度情報に変換
し、入力した画像情報の画素数を（Ｎ×Ｍ）倍に増加さ
せる画像処理装置であって、低解像度情報を平滑化する平滑化手段と、前記平滑化手段で平滑化された低解像度情報１画素分を
（Ｎ×Ｍ）画素分に補間する補間手段と、低解像度上の注目画素に対応する前記補間手段での補間
後の（Ｎ×Ｍ）画素のブロック内をｎ値（ｎ≧２）に量
子化する量子化手段と、前記量子化手段における量子化後の高解像情報を間引き
する間引き手段とを有し、前記平滑化手段、前記補間手段、前記量子化手段、前記
間引き手段の各処理を複数回繰り返し実行することを特
徴とする画像処理装置。
【請求項１２】前記繰り返し回数を、繰り返し処理後
の画像と未処理画像との比較によって制御することを特
徴とする請求項１１記載の画像処理装置。
【請求項１３】前記平滑化手段の平滑化処理を低解像
度上の注目画素周辺の画素値により適応的に切り換える
ことを特徴とする請求項１１又は請求項１２のいずれか
に記載の画像処理装置。
【請求項１４】前記平滑化手段の平滑化処理を、前記
繰り返し回数に応じて切り換えることを特徴とする請求
項１１記載の画像処理装置。
【請求項１５】低解像度情報を高解像度情報に変換
し、入力した画像情報の画素数を（Ｎ×Ｍ）倍に増加さ
せる画像処理装置であって、注目画素周辺の画素値をｎ値（ｎ≧２）に量子化する周
辺画素量子化手段と、前記周辺画素量子化手段による量子化後のパターンによ
り平滑化条件を選択する選択手段と、前記選択手段により選択された平滑化条件を用いて、低
解像度情報を平滑化する平滑化手段と、前記平滑化手段で平滑化された低解像度情報１画素分を
（Ｎ×Ｍ）画素分に補間する補間手段と、低解像度上の注目画素に対応する前記補間手段での補間
後の（Ｎ×Ｍ）画素のブロック内をｎ値（ｎ≧２）に量
子化する注目画素量子化手段とを有することを特徴とす
る画像処理装置。
【請求項１６】前記補間手段は線形補間により補間処
理を行なうことを特徴とする請求項１５に記載の画像処
理装置。
【請求項１７】低解像度情報を高解像度情報に変換
し、入力した画像情報の画素数を増加させる画像処理装
置において、低解像度の１画素の情報を複数画素の補間情報に変換処
理する補間手段と、前記補間手段によって得られた複数画素の補間情報から
エッジ情報を作成するエッジ情報作成手段と、複数画素の低解像度情報から前記補間情報と前記エッジ
情報を合成する際の合成比率を決定する決定手段と、前記補間手段からの補間情報と前記エッジ情報作成手段
からのエッジ情報とを前記決定手段で決定された合成比
率により合成する合成手段とを有することを特徴とする
画像処理装置。
【請求項１８】低解像度情報を高解像度情報に変換
し、入力した画像情報の画素数を増加させる画像処理方
法において、低解像度の１画素の情報を複数画素の補間情報に変換処
理する補間工程と、前記補間工程によって得られた複数画素の補間情報から
エッジ情報を作成するエッジ情報作成工程と、複数画素の低解像度情報から前記補間情報と前記エッジ
情報を合成する際の合成比率を決定する決定工程と、前記補間工程からの補間情報と前記エッジ情報作成工程
からのエッジ情報とを前記決定工程で決定された合成比
率により合成する合成工程とを有することを特徴とする
画像処理方法。