JP3176195B2

JP3176195B2 - 画像処理装置

Info

Publication number: JP3176195B2
Application number: JP27058593A
Authority: JP
Inventors: 信孝三宅
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-10-28
Filing date: 1993-10-28
Publication date: 2001-06-11
Anticipated expiration: 2016-06-11
Also published as: US5760921A; JPH07131634A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力した低解像情報を
高解像情報に解像度変換する画像処理装置に関する。

【０００２】

【従来の技術】従来より、入力装置と出力装置の解像度
が異なる場合や、解像度の異なる装置間で通信を行う場
合等に、低解像情報を高解像情報に変換することが行わ
れている。

【０００３】そして、入力した低解像情報を高解像情報
に解像度変換する方法として、様々な方法が提案されて
いる。提案されている従来方法は、対象となる画像の種
類（例えば、各画素ごとに階調情報の持つ多値画像、疑
似中間調により２値化された２値画像、固定閾値により
２値化された２値画像、文字画像等）によって、その変
換処理方法が異なっている。本発明で対象としている画
像は各画素ごとに階調情報を持つ自然画像等の多値画像
であるが、従来より知られている多値画像に対する変換
方法である内挿方法には図１０に示すような、内挿点に
最も近い同じ画素値を配列する最近接内挿方法、図１１
に示すような内挿点を囲む４点（４点の画素値をＡ、
Ｂ、Ｃ、Ｄとする）の距離により、以下の演算によって
画素値Ｅを決定する共１次内挿法等がある。Ｅ＝（１−ｉ）（１−ｊ）Ａ＋ｉ・（１−ｊ）Ｂ＋ｊ・（１−ｉ）Ｃ＋ｉｊＤ（但し、画素間距離を１とした場合に、Ａから横方向に
ｉ、縦方向にｊの距離があるとする。（ｉ≦１、ｊ≦
１））

【０００４】

【発明が解決しようとする課題】しかし、上記従来例に
は、以下に示す欠点がある。

【０００５】すなわち、図１０の方法は構成が簡単であ
るという利点はあるが、対象画像を自然画像等に用いた
場合には拡大するブロック毎に画素値が決定される為、
視覚的にブロックが目立ってしまい画質的に劣悪である
といった欠点がある。

【０００６】また、文字、線画像、ＣＧ（コンピュータ
グラフィック）画像等に用いた場合でも、拡大するブロ
ック毎に同一画素値が連続する為、特に、斜線等には、
図１２（ａ）、（ｂ）に示す様にジャギーといわれるギ
ザギザの目立った劣悪な画像になってしまう。図１２で
は、縦横ともに２倍の解像度変換の例であるが、倍率が
大きくなればなるほど、劣化は大きくなる（図中の“２
００”、“１０”は画素値である。）。

【０００７】図１１の方法は自然画像の拡大には一般的
に良く用いられている方法である。この方法では、平均
化され、スムージングのかかった画質になるが、エッジ
部や、シャープな画質が要求される部分には、ぼけた画
質になってしまう。さらに、地図等をスキャンした画像
や、文字部を含む自然画像の様な場合には、補間による
ぼけの為に、大切な情報が受け手に伝わらないこともあ
る。

【０００８】図１２（ｃ）は図１１の方法により、図１
２（ａ）の入力画像情報を縦横２倍ずつに補間処理をし
た画像情報を示している。

【０００９】図１２（ｃ）からも明らかな様に、斜線周
辺のみならず、斜線そのものも画素値が均一にならず、
ぼけが生じてしまう。

【００１０】また、解像度変換（画素密度変換）をプリ
ンタ等の画像出力装置内部に持たせた時の応用を想定し
て考えてみる。プリンタでは、ホストコンピュータから
送信されてくる画像情報が、イメージスキャナ等の画像
入力装置から入力した自然画像情報であったり、ホスト
コンピュータ上のアプリケーションソフトにて人工的に
作成した文字、線画情報であったり、また、ＣＧ（コン
ピュータグラフィック）であったりと様々な状況が考え
られる。これらの画像情報の解像度変換をプリンタ内で
行う時に、いかなる性質の画像かという属性が識別信号
として、画像ごとに送信されてくれば良いが、昨今は識
別信号なしで送信されるシステム構成が増えている。

【００１１】この場合、従来は図１１の方法により、全
画像情報の解像度変換が実行されることが多い。つま
り、文字、線画像等の人工的に作成されたものには多
少、犠牲になってもらい（図１２（ｃ））、自然画像を
優先することが行われてきている。プリンタでは、文
字、線画が見ずらいのは致命的である。言い換えると、
１画素当たり多階調が出力可能な高精彩なプリンタ等で
は、そのエンジンの出力解像度に見合う良好な解像度変
換が実現されていなかった。

【００１２】本発明は上述した従来技術の欠点を除去す
るものであり、１画素の画像情報をＮ×Ｍ画素分の画像
情報に変換する際、階調数を検出し、それに応じて補間
により作成した補間情報か最大値及び最小値を配置した
配置情報かを選択することにより、文字、線画像と自然
画像が混在している画像を高解像情報に変換する場合、
いずれの画像も高画質な画像に変換することができる画
像処理装置の提供を目的とする。

【００１３】

【課題を解決するための手段】上述した目的を達成する
ため本発明の画像処理装置は、多階調の画像情報を入力
し、１画素分をＮ×Ｍ画素分（Ｎ、Ｍは２以上の整数）
に拡大し、低解像度の画像を高解像度の画像に解像度変
換する画像処理装置において、注目画素及びその周辺画
素に用いられている階調数を検出する階調数検出手段
と、注目画素及びその周辺画素の画像情報から最大値及
び最小値を検出する最大値、最小値検出手段と、注目画
素の1画素の画像情報をＮ×Ｍ画素の画像情報に補間処
理する補間手段と、前記最大値、最小値検出手段で検出
された最大値及び最小値をＮ×Ｍ画素内に配置する配置
手段と、前記階調数検出手段によって検出された階調数
に応じて、前記補間手段からの補間情報もしくは前記配
置手段からの配置情報のいずれか一方を選択する選択手
段とを有することを特徴とする。

【００１４】

【００１５】

【００１６】

【００１７】

【００１８】

【実施例】（第１の実施例）図１は本発明にかかる第１
の実施例を表す要部ブロック図である。本発明の画像処
理装置は、主としてプリンタ等の画像出力装置内部に具
備することが効率的であるが、画像出力装置以外の画像
処理装置、ホストコンピュータ内のアプリケーションソ
フトとして内蔵することも可能である。

【００１９】図１のブロック図に沿って本実施例の動作
手順を説明していく。本実施例では、入力した画像情報
を縦Ｎ倍、横Ｍ倍（Ｎ、Ｍはそれぞれ２以上の整数）の
画素数の情報に変換する例について述べる。

【００２０】図中１００は入力端子を示し、低解像の画
像情報が入力される。画像情報は１画素当たり多階調の
情報とする。入力した低解像情報は、一時、数ライン分
のラインバッファ１０１に格納される。ウインドウ作成
手段１０２は、ラインバッファ１０１の格納情報より、
注目画素周辺の画素群をレジスタ等に格納する手段を示
す。図２（ａ）にウインドウの一例を示す。これは、３
×３のウインドウであり、注目画素は中心のＥの画素で
ある。ウインドウは、注目画素の処理に伴って、１画素
ごと走査していく。本実施例では、後述する平滑化処理
の為に、図２（ｂ）の３×３のウインドウとそれを含む
５×５のウインドウを作成する。

【００２１】１０３は、階調数検出手段で、ウインドウ
内の階調の数（種類）を検出する手段である。図３を用
いて説明すると、３×３のウインドウ内で、図３（ａ）
では、階調数は１、（ｂ）では階調数は２、（ｃ）では
階調数は６となっている。すなわち、ウインドウ内に幾
種の値が存在するのかを検出している。本実施例では、
このウインドウ内の階調数が、注目画素の解像度変換処
理後の（Ｎ×Ｍ）画素内（以下、注目画素ブロックと称
す）の階調数決定に大きく起因することが大きな特徴で
ある。

【００２２】１０４は、平滑化手段を示し、注目画素の
みならず、ウインドウ内を平滑化する手段である。い
ま、例えば、図４の平滑化フィルタを用いて、図２
（ｂ）のウインドウを処理すると、３×３のウインドウ
内は図５の様に変換される。

【００２３】１０５はスイッチを示し、階調数検出手段
において、階調数が２以下と判断されたか、否かで切り
換える。階調数が２以下（２と１）の場合には、端子Ａ
に、それ以外は端子Ｂに接続される。

【００２４】１０６は補間手段を示し、注目画素１画素
を（Ｎ×Ｍ）の画素に補間する。これは、主に共１次補
間処理（以下、線形補間処理を称す）が用いられるが、
他の公知の補間手段であっても良い。但し、周辺画素と
の連続性が失われるような補間手段は好ましくない。

【００２５】１０７は、最大値、最小値検出手段であ
り、３×３のウインドウ内の画素値の最大値、最小値を
検出する手段である。ウインドウ内の階調数が１種類の
時には最大値と最小値は同じ値となる。

【００２６】１０８は配置手段を示す。配置手段の一例
を図６に示す。

【００２７】図６中、破線で囲んだ部分が配置手段１０
８を示す。２００は閾値算出手段を示し、入力した最大
値、最小値より、２値化閾値を算出する。たとえば、閾
値をＴＨ、最大値をＭＡＸ、最小値をＭＩＮとおくと、ＴＨ＝（ＭＡＸ＋ＭＩＮ）／２として算出する。２０１は２値化手段を示し、入力した
（Ｎ×Ｍ）画素の注目画素ブロック内の補間情報を、算
出した閾値で２値化する。２０２は画素値代入手段を示
し、２値化後のＴＨ以上の画素には最大値を代入し、Ｔ
Ｈ未満の画素には最小値を代入する。代入後の注目画素
ブロック内には、ウインドウ内の最大値、最小値が配置
されたブロックになる。

【００２８】図１、１０９はスイッチを示し、配置手段
で配置されたブロックか、補間手段１０６より直接出力
されるブロックかを選択する。スイッチを司るのは、階
調数検出手段１０３の階調の数であり、スイッチ１０５
と同様、ウインドウ内の階調数が２以下の場合には、端
子Ａに、それ以外の場合には端子Ｂに接続される。

【００２９】１１０は、出力端子を示し、注目画素ブロ
ック内の（Ｎ×Ｍ）画素の情報が出力される。

【００３０】すなわち、本実施例では、ウインドウ内の
階調数が２の場合には、必ず注目画素ブロック内の階調
数も２、もしくは１になり、階調数が１の場合には、最
大値、最小値とも同じ値である為に、注目画素ブロック
内の階調数も１になる。ウインドウ内の階調数が３以上
の場合には、補間手段から直接出力される為、注目画素
ブロックの階調数は不定である。

【００３１】尚、１１０から出力されるデータは多値デ
ータであるため、プリンタが多値記録できるものであれ
ばそのまま多値データを用いて記録を行い、プリンタが
２値記録のものであれば、２値化処理の後記録を行う。

【００３２】続いて本実施例の処理内容を説明する。

【００３３】いま、本処理をプリンタ等の画像出力装置
内の処理と想定して考えてみる。プリンタでは、ホスト
コンピュータから送信されてくる画像情報が、イメージ
スキャナ等の画像入力装置から入力した自然画像情報で
あったり、ホストコンピュータ上のアプリケーションソ
フトにて作成した文字、線画情報であったり、また、Ｃ
Ｇ（コンピュータグラフィック）画像であったりと様々
な状況が考えられる。これらの画像情報の解像度変換を
プリンタ内で行う時に、いかなる性質の画像かという属
性が識別信号として、画像ごとに送信されてくれば良い
が、昨今は識別信号なしで送信されるシステム構成が増
えてきている。

【００３４】そこで、本実施例では、ウインドウ内に階
調数が２の場合には、主に文字、線画像等、ホストコン
ピュータ上のＰＤＬ（ページ記述言語）や、様々なアプ
リケーションソフトにより作成した画像の可能性がある
と判断し、解像度変換する際にジャギー（ギザギザ）が
発生しないような変換処理を実行する。

【００３５】図７に本実施例の処理を実際の値を基に説
明する。

【００３６】図７（ａ）は、ある入力画像中の一部分で
ある。今、破線で囲んだ画素が注目画素、一点鎖線で囲
んだ部分がウインドウとする。図７（ａ）の画像はウイ
ンドウ内の階調数が２なので平滑化を行う。図７（ｂ）
は、平滑化後の（ａ）と同じ部分の画素値を示してい
る。破線の注目画素は平滑化の為、“２００”が“１５
０”の値に変換されている。

【００３７】図７（ｃ）は注目画素付近の線形補間後の
画素値を示している。今、Ｎ＝Ｍ＝３として、１画素分
が９画素に増加している。破線で囲んだ９画素が注目画
素ブロックである。図７（ａ）のウインドウ内の階調数
は２なので配置手段１０８による再配置を行う。まず、
この注目画素ブロック内を２値化する。図７（ａ）のウ
インドウより、ＭＡＸ＝２００、ＭＩＮ＝５０であるの
で、２値化閾値は、ＴＨ＝１２５として２値化する。そ
の結果を図７（ｄ）に示す。図７（ｅ）は、注目画素を
ずらして処理したあとの最終結果を示している。

【００３８】この例からも明らかな様に、ジャギーを生
じることなく、任意の倍率で良好な解像度変換が実現で
きる。また、ウインドウ内と同じく、注目画素ブロック
内でも階調数を２に抑えている為、解像度上昇によるぼ
けもない。

【００３９】ここで、入力画像情報の解像度依存性につ
いて考えてみる。ホストコンピュータ等で作成した文
字、線画像等では、低解像時に生じているエッジは、原
解像度に依存している為、解像度変換には邪魔な周波数
成分が含まれている。その為、邪魔な周波数成分を消し
てから（エッジを崩してから）解像度変換して、新たな
解像度に見合ったエッジ（高周波成分の情報）を作成す
る必要がある。

【００４０】それに対して自然画像では、画像作成時に
ＬＰＦ（ローパスフィルタ）がかかっている為に、低解
像時でも解像度フリーの状態に近い。すなわち、入力状
態からエッジが崩された状態であるために、邪魔になる
周波数成分が少ない。そこで本実施例では、ウインドウ
内に階調数が３以上あると、注目画素は自然画像部に属
する可能性があると判断し、平滑化手段、及び階調数を
２にする配置手段は用いない。

【００４１】（第２の実施例）図８は、本発明第２実施
例を説明する要部ブロック図である。

【００４２】図２中、図１と同一部には同一番号を付し
てその詳細な説明は省略する。本実施例では、注目画素
ブロック内の階調数の決定を、検出した周辺画素の階調
数のみならず、周辺画素のコントラストの大きさも評価
に含めていることに特徴がある。

【００４３】図中、３００はコントラスト算出手段を示
し、最大値、最小値検出手段１０７により検出された最
大値、最小値から、その差分、すなわちコントラストを
算出する手段である。算出されたコントラストは選択手
段３０１に送信される。選択手段３０１では、前述の実
施例同様、階調性検出手段１０３から検出された周辺画
素の階調数の情報も入力する。選択手段３０１は、比較
器を内蔵していて、入力したコントラストと、予め設定
した閾値との比較を行い、閾値よりも大きいか、否かを
判断する。閾値の設定は、実験的に求めても良い。選択
手段３０１では、周辺画素の階調数が２、かつ、コトラ
ストが、閾値以上の時にのみ、この注目画素は、人工的
に作成された画像、すなわた、ホストコンピュータ上の
アプリケーションソフト等により作成された文字、線画
像、また、ＰＤＬ（ページ記述言語）等により展開され
た画像等であると判断する。

【００４４】人工的な画像でない限り、例えば、イメー
ジスキャナ等により入力したままの自然画像では、急峻
なエッジ部だとしてもコントラストの高く、しかも階調
数が２であることはないと仮定する。もし、自然画像中
にそのようなエッジが存在しても、そのエッジは前述し
たように原情報の解像度に依存しているものであるか
ら、ジャギーの発生しない解像度変換が必要である。

【００４５】周辺画素の階調数が１である場合、コント
ラストは０になる。そこで、“階調数が１の場合”、及
び、“階調数が２、かつ、コントラストが大”と判断さ
れた場合には、スイッチ１０５、スイッチ１０９にて端
子Ａに接続し、前述した実施例にて説明したように平滑
化にて解像度依存性を取り除き、補間した後に、最大
値、最小値を配置することによって、良好な解像度変換
が実行される。

【００４６】（第３の実施例）図９は、本発明第３の実
施例を示す要部ブロック図である。図９中、図１、図８
と同一部には同一番号を付してある。本実施例では、選
択手段４００による場合分けが、前述の実施例よりも増
えている。本実施例では、より高精彩な画像出力を期待
するプリンタ等に有効である。

【００４７】選択手段４００の入力は、前述した実施例
同様、周辺画素の階調数と、コントラストであるが、本
実施例では注目画素の属性を５種のカテゴリーに分類す
る。選択手段はスイッチ１０５、及びスイッチ４０１の
接続を司るが、スイッチの切り換えは表１の示した様に
設定する。

【００４８】

【表１】

【００４９】まず、カテゴリーナンバー１として、階調
性が１であった場合を想定する。階調性１の場合は、人
工的な文字、線画像、また、自然画像の一部等、全ての
場合が想定される。周辺画素がひとつの階調により成り
たっているため、この場合には、０次補間手段４０２に
より、注目画素の画素値を（Ｎ×Ｍ）画素分繰り返す。

【００５０】カテゴリーナンバー２として、周辺画素の
階調数が２、かつ、コントラスト大の場合を想定する。
この場合は、前述したように、人工的にものと判断し、
スイッチ１０５、スイッチ４０１ではともにＡに接続し
て、注目画素ブロック内を階調数２以下に抑える。

【００５１】カテゴリーナンバー３として、周辺画素の
階調数が２、かつ、コントラスト小の場合を想定する。
この場合は、カテゴリーナンバー１と同様、人工的なも
の、自然画像ともに考えられる。もともとコントラスト
が小さいため、いかなる処理でも画質的には目立たない
が、本実施例では０次補間手段４０２により出力する。

【００５２】カテゴリーナンバー４として、周辺画素の
階調数が３以上、かつ、コントラスト大の場合を想定す
る。この場合は、自然画像中のエッジ部にかかっている
場合と想定する。その為、線形補間手段４０３のまま出
力するのではなく、線形補間後の注目画素ブロック内を
配置手段１０８にて階調性を２に調整した後の、合成手
段４０４において、ある配分比率によって合成する。配
分比率の設定は、予め実験的に求めても良いし、コント
ラストの大きさに依存させて動的に切り換えることも可
能である。配置手段後の画像は、エッジを急峻にした画
像であり、線形補間情報と合成することで、階調方向に
滑らかなエッジが作成され、補間ぼけの少ない解像度変
換が実現できる。

【００５３】カテゴリーナンバー５として、周辺画素の
階調数が３以上、かつ、コントラスト小の場合を想定す
る。この場合は、自然画像の平坦部と想定され、通常の
線形補間手段により、注目画素ブロック内の情報を作成
する。

【００５４】以上、様々なカテゴリーに対する処理を示
したが、この処理に限定されるものではない。また、カ
テゴリーの種類もこれに限定するものではない。

【００５５】また、ジャギーの発生しない解像度変換を
平滑化手段によって示してきたが、この平滑化フィルタ
をウインドウ内の状態により、適応的に切り換えること
も有効である。

【００５６】また、配置手段を、図６の様な２値化手段
により実現する例について説明したが、他の方式とし
て、補間後の注目画素ブロック内の各画素をソートし
て、最大値、最小値を配置していく方式もある。この場
合、例えば注目画素値をＭとすると、Ｍ＝ａ・ＭＡＸ＋（１−ａ）・ＭＩＮ（０≦ａ≦１）を満足するａの値を求め、注目画素ブロックのソートに
より、画素値の大きい順から（ａ×Ｎ×Ｍ）画素分にＭ
ＡＸ値を配置し、その他の画素にはＭＩＮ値を配置する
方式も有効である。

【００５７】

【発明の効果】以上説明したように本発明によれば、１
画素の画像情報をＮ×Ｍ画素分の画像情報に変換する
際、階調数を検出し、それに応じて補間により作成した
補間情報か最大値及び最小値を配置した配置情報かを選
択することにより、文字、線画像と自然画像が混在して
いる画像を高解像情報に変換する場合、いずれの画像も
高画質な画像に変換することができる。

【００５８】本発明により、低解像度の画像情報を高解
像度情報へ容易に変換できる為、解像度の異なる機種間
通信や、拡大変倍して、高画質な画像を出力するプリン
タや、複写機が提供できる。

【００５９】また、プリンタ内部に本処理の解像度変換
を構成すると、ホストコンピュータからの送信する情報
が少なくて済み、転送時間の短縮、プリンタ内部のメモ
リの削減が実現できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す要部ブロック図。

【図２】ウインドウの例と、本実施例のウインドウの
図。

【図３】ウインドウ内の階調数の説明図。

【図４】平滑化フィルタの例を示した図。

【図５】本実施例のウインドウ内の平滑化の説明図。

【図６】図１の配置手段の詳細構成を示す図。

【図７】本実施例の処理を実際の値を用いて説明した例
を示した図。

【図８】本発明の第２の実施例を示す要部ブロック図。

【図９】本発明の第３の実施例を示す要部ブロック図。

【図１０】従来例である最近接内挿法を示した図。

【図１１】従来例である共１次内挿法を示した図。

【図１２】従来例の処理例を示した図。

【符号の説明】

１００入力端子１０１ラインバッファ１０２ウインドウ作成手段１０３階調数検出手段１０４平滑化手段１０５、１０９スイッチ１０６補間手段１０７最大値、最小値検出手段１０８配置手段

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/38 - 1/393 G06T 3/00 - 3/60 G06T 5/00 - 5/30 H04N 1/40 - 1/409

Claims

(57)【特許請求の範囲】

【請求項１】多階調の画像情報を入力し、１画素分を
Ｎ×Ｍ画素分（Ｎ、Ｍは２以上の整数）に拡大し、低解
像度の画像を高解像度の画像に解像度変換する画像処理
装置において、注目画素及びその周辺画素に用いられている階調数を検
出する階調数検出手段と、注目画素及びその周辺画素の画像情報から最大値及び最
小値を検出する最大値、最小値検出手段と、注目画素の1画素の画像情報をＮ×Ｍ画素の画像情報に
補間処理する補間手段と、前記最大値、最小値検出手段で検出された最大値及び最
小値をＮ×Ｍ画素内に配置する配置手段と、前記階調数検出手段によって検出された階調数に応じ
て、前記補間手段からの補間情報もしくは前記配置手段
からの配置情報のいずれか一方を選択する選択手段とを
有することを特徴とする画像処理装置。
【請求項２】前記選択手段は、前記階調数検出手段が
階調数が２以下であることを検出すると前記配置手段か
らの配置情報を選択し、前記階調数検出手段が階調数が
２より大きいことを検出すると前記補間手段からの補間
情報を選択することを特徴とする請求項１に記載の画像
処理装置。
【請求項３】更に入力した画像情報を平滑化する平滑
化手段を有し、前記補間手段は、前記階調数検出手段が
階調数が２以下であることを検出すると、前記平滑化手
段により平滑化された1画素の画像情報をＮ×Ｍ画素の
画像情報に変換するとともに、変換された情報を用いて
前記配置手段は前記最大値及び最小値を配置することを
特徴とする請求項２に記載の画像処理装置。
【請求項４】更に前記最大値、最小値検出手段で検出
された最大値及び最小値からコントラストを算出するコ
ントラスト算出手段とを有し、前記選択手段は前記階調
数検出手段によって検出された階調数及び前記コントラ
スト算出手段によって算出されたコントラストに応じ
て、前記補間手段からの補間情報若しくは前記配置手段
からの配置情報のいずれか一方を選択することを特徴と
する請求項１に記載の画像処理装置。