JP3597423B2 - 画像変倍装置及び画像変倍方法 - Google Patents

画像変倍装置及び画像変倍方法 Download PDF

Info

Publication number
JP3597423B2
JP3597423B2 JP29212099A JP29212099A JP3597423B2 JP 3597423 B2 JP3597423 B2 JP 3597423B2 JP 29212099 A JP29212099 A JP 29212099A JP 29212099 A JP29212099 A JP 29212099A JP 3597423 B2 JP3597423 B2 JP 3597423B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
image
enlargement
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP29212099A
Other languages
English (en)
Other versions
JP2001111820A (ja
Inventor
文子 輿水
真一 佐藤
義和 内藤
Original Assignee
パナソニック コミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック コミュニケーションズ株式会社 filed Critical パナソニック コミュニケーションズ株式会社
Priority to JP29212099A priority Critical patent/JP3597423B2/ja
Publication of JP2001111820A publication Critical patent/JP2001111820A/ja
Application granted granted Critical
Publication of JP3597423B2 publication Critical patent/JP3597423B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ファクシミリ、スキャナ、ディジタルコピー等のディジタルデータの画像処理装置に関し、特に文字や線画を含む画像を任意の倍率で拡大、縮小する画像変倍処理装置及び画像変倍方法に関する。
【0002】
【従来の技術】
従来の2値化された画像の拡大及び縮小機能を有する画像変倍処理装置において、例えば、特開平6−164896号又は特開平6−253140号に開示されているように、縮小時には縮小率に応じた間隔で間引き処理を行なう一方、拡大時には整数倍拡大を行った後に縮小と同じ処理により拡大率に応じた周期の間引き処理を行なう。これにより、任意倍率の拡大縮小処理を行っている。また、主走査方向及び副走査方向に4倍拡大を行なうとき、スムージング処理により2倍拡大した画像を生成し、一旦出力された2倍拡大の画像を再入力して、同じ回路を通して4倍拡大の画像データを得ている。
【0003】
【発明が解決しようとする課題】
しかし、上述の従来技術の構成では、入力画像を主走査方向及び副走査方向に2倍以上に拡大する場合、2倍拡大された画像を再度拡大して拡大画像を生成していたが、この拡大方式では2倍拡大後の画像を保存するためのメモリが必要となっていた。
【0004】
また、スムージング処理は凹凸を少なくした拡大画像を得られる点で優れた方式であるが、パターンマッチ処理が含まれるために処理するデータ量が多くなる傾向がある。特に拡大率が2倍以上になってスムージング処理による拡大が繰り返されると取り扱うデータ量が増大して処理時間が長くなる問題がある。
【0005】
また、拡大方式としてはスムージング処理の他に簡易拡大方式が知られている。簡易拡大方式は注目画素に隣接する3角の画素だけをみることによりスムージング処理に比べて取り扱うデータ量を減らした方式であるが、画素変化のパターンによってはお互いの変化が干渉しあって本来なだらかにすることが目的であるはずなのに凹凸ができるといった不具合がある。
【0006】
また、拡大処理において1.5倍など2倍以下の処理の場合は、正規出力2×2画素を単純に間引いて(2×1)画素または(1×2)画素を形成して組み合わせていたが、単純間引きでは白黒の境界線の滑らかさが失われて画質が劣化する傾向があった。
【0007】
また、縮小処理において入力画像を単純間引き又はOR間引きしているが、これでは画質が劣化する可能性が高かった。たとえば、孤立点やノッチが残ってしまったり、単純間引きにより細線が途切れたり、OR間引きにより黒画素優先で間引いた場合に黒つぶれを起こしたりしていた。
【0008】
また、縮小処理では間引き処理のために重ね書しているが、重ね書きを行う方向によって主走査方向の縮小処理、副走査方向の縮小処理、主副両方向の縮小処理、の3種類の縮小処理を別々の回路で実行していたために回路規模が大きくなるといった問題があった。
【0009】
また、縮小処理を行う場合、同じ出力アドレスに出力する入力画素は複数となり、夫々の入力画素の像域分離結果が同じになるとは限らない。像域分離の結果は、最終的な画像データを出力するに当たってはとても重要である。これまでは、単純間引きやOR間引きで最終的に有効となった画素の像域分離データをその出力画素の像域分離結果として使っていた。しかし、このような方法では無作為に間引かれたデータを用いているため、文字が多い画像の中でハーフトーン判定結果が残ってしまったり、ハーフトーンが多い画像の中で文字判定結果が残ってしまったりして入力画像に合わない判定結果となっていた。
【0010】
本発明は、かかる点に鑑みてなされたものであり、第1に、入力画像を2倍以上に拡大するにあたりメモリの削減と処理の高速化を実現でき、第2に、画像データを任意の倍率で拡大するにあたり凸凹の少ない滑らかな画像を得ることができ、第3に、画像データを任意の倍率で縮小するにあたり単純間引きやOR間引きに伴う画質の劣化を防止できる画像変倍処理装置及び画像変倍処理方法を提供することを目的とする。
【0011】
【課題を解決するための手段】
本発明は、各拡大回路が所定の拡大倍率を持ち、前段の拡大回路の拡大結果が後段の拡大回路の入力となるように複数の拡大回路が直列配置されると共に各拡大回路の出力を個別に取り出し可能にし、先頭の拡大回路に対して注目画素を入力して拡大し、後段の拡大回路に対して前段の拡大回路の出力する拡大画素のうち1画素を入力して拡大し、所要サイズに拡大された拡大画像の全画素が揃うまで先頭の拡大回路に対して同一の注目画素を繰り返し入力し、且つ、後段の拡大回路では、前段の拡大回路から拡大画素の出力がある度、前回とは副走査方向又は主走査方向へ1画素ずれた画素位置から画素を取り込み、前記拡大画像の各画素が出力される拡大回路を目標拡大倍率に基づいて選択し、この選択した拡大回路が拡大画素を出力する度に、目標拡大倍率及び前記注目画素の入力回数に応じて決定される画素だけを有効画素として取り出すことにより、外部にメモリを持つことなく4倍以上の拡大を実現している。
【0012】
【発明の実施の形態】
本発明の第1の態様は、前段の拡大回路の拡大結果が後段の拡大回路の入力となるように複数の拡大回路が直列配置された画像変倍装置であって、先頭の拡大回路に対して同一画素を主走査方向の倍率に応じた回数だけ繰り返し入力し、最後の拡大回路が出力する拡大結果から最後の拡大回路の拡大率に応じた数の画素を拡大画素として取り出し、同一画素が入力される度に画素の取り出し位置を主走査方向に順次シフトさせることを特徴とする画像変倍装置である。
【0013】
本発明の第2の態様は、前段の拡大回路の拡大結果が後段の拡大回路の入力となるように複数の拡大回路が直列配置された画像変倍装置であって、先頭の拡大回路に対して同一画素を副走査方向の倍率に応じた回数だけ繰り返し入力し、最後の拡大回路が出力する拡大結果から最後の拡大回路の拡大率に応じた数の画素を拡大画素として取り出し、同一画素が入力される度に画素の取り出し位置を副走査方向に順次シフトさせることを特徴とする画像変倍装置である。
【0014】
第1、2の態様の画像変倍装置によれば、前段の拡大回路の拡大結果が後段の拡大回路の入力となるように複数の拡大回路が直列配置して、先頭の拡大回路には同一画素を主走査方向又は副走査方向の倍率に応じた回数だけ繰り返し入力する一方、最後の拡大回路が出力する拡大結果から入力毎に拡大画素を取り出すので、一度拡大した拡大結果を次の拡大のために保存するメモリを持つ必要がなくなった。
【0015】
本発明の第3の態様は、注目画素を含むN×N画素の周辺画素とN×N画素の参照パターンとを比較して入力画像と一致度の高い参照パターンに応じたM×M画素の画素パターンを拡大結果として出力するスムージング拡大処理回路と、注目画素に隣接する角の複数画素が同じデータであればその角に対応する画素を当該角の複数画素と同じデータに置き換え、注目画素を中心とする各角について同様の置き換えを行うことによりM×M画素の画素パターンを生成する簡易拡大処理回路と、注目画素と同じデータを単純に繰り返してM×M画素の画素パターンを生成する単純拡大処理回路とを具備し、前記スムージング拡大処理回路、簡易拡大処理回路及び単純拡大処理回路を切替可能に構成し、倍率が大きくなるほど簡単な拡大処理が行なわれるようにしたことを特徴とする画像変倍装置である。
【0016】
この画像変倍装置によれば、処理が複雑なスムージング拡大処理回路と、処理が簡単な単純拡大処理回路と、処理の複雑さが両者の中間の簡易拡大処理回路とを備えて、倍率が大きくなるほど簡単な拡大処理が行なわれるようにしたので、大きな倍率の時に複雑な拡大処理を行うことによる処理時間の遅れを防止できるとともに、小さな倍率の時には画質の劣化を防止することもできる。
【0017】
本発明の第4の態様は、第3の態様の画像変倍装置において、前記スムージング拡大処理回路、簡易拡大処理回路及び単純拡大処理回路を拡大率に応じて組み合わせて用いるものとした。
【0018】
これにより、画質の劣化を抑えると共に処理時間の遅れを抑制した変倍処理が可能となる。
【0019】
本発明の第5の態様は、注目画素に隣接する角の3画素が同じデータで、且つその角寄りの周辺画素に注目画素と異なる色の画素が少なくとも一つ含まれていれば、その角に対応する画素を当該角の3画素と同じデータに置き換え、注目画素を中心とする各角について同様の置き換えを行うことによりM×M画素の画素パターンを生成する画像変倍装置である。
【0020】
この画像変倍装置によれば、注目画素に隣接する角の3画素に加えて、その角寄りの周辺画素まで参照して出力画素の色を決めるので、従来方式では互いの変化が干渉しあって凸凹していたような場所もなだらかにすることができる。
【0021】
本発明の第6の態様は、注目画素を拡大して得られたN×N画素のブロックをN×1画素又は1×N画素に置き換えるために画素の重ね合わせを行う場合、注目画素の周辺画素を参照して境界線が平滑化されるように白画素又は黒画素を保存して重ね合わせることを特徴とする画像変倍装置である。
【0022】
この画像変倍装置によれば、N×N画素のブロックをN×1画素又は1×N画素に置き換える場合、注目画素の周辺画素を参照して境界線が平滑化されるように白画素又は黒画素を保存して重ね合わせるので、境界線が平滑化された画像を得ることができる。
【0023】
本発明の第7の態様は、入力画像から孤立点又はノッチの少なくとも一方を除去する画像処理回路と、前記画像処理回路で孤立点又はノッチが除去された入力画像に対して縮小処理を施す縮小処理回路とを具備した画像変倍装置である。
【0024】
この画像変倍装置によれば、縮小処理の前に入力画像から孤立点又はノッチを除去するので、縮小画像に孤立点又はノッチが残って画質が劣化することを防止できる。
【0025】
本発明の第8の態様は、注目画素を含む周辺画素と参照パターンとを比較して注目画素が細線か否か判定する細線判定回路と、主走査方向又は副走査方向に画素を重ねる縮小処理を実行する際に前記細線判定回路の細線判定結果を参照して白画素又は黒画素を決定する縮小処理回路とを具備する画像変倍装置である。
【0026】
この画像変倍装置によれば、主走査方向又は副走査方向に画素を重ねる縮小処理を実行する際に細線判定結果を参照して白画素又は黒画素を決定するので、細線が途切れたり黒つぶれすることを防止できる。
【0027】
本発明の第9の態様は、第8の態様の画像変倍装置において、前記細線判定回路は、周辺画素と参照パターンとの比較によって、注目画素が黒細線、白細線、白細線候補、その他のいずれであるかを決定するものとする。
【0028】
この画像変倍装置によれば、細線判定で黒細線、白細線に加えて白細線候補も判定しているので、白細線を有効に保存した縮小画像を得ることができる。
【0029】
本発明の第10の態様は、注目画素を含む周辺画素と参照パターンとを比較して注目画素が細線か否か判定する場合、細線幅と連続性とに基づいて細線を検出する参照パターンを用いることを特徴とする細線判定回路である。
【0030】
この細線判定回路によれば、細線幅と連続性とに基づいて細線を検出するので、参照パターンの数を大幅に削減することができ、処理時間を短縮できる。
【0031】
本発明の第11の態様は、縮小対象の画素群に対して主走査方向に画素を重ねて縮小する主走査方向縮小処理回路と、前記主走査方向縮小処理回路から出力された現ラインの縮小結果と前ラインまでの副走査方向の縮小結果とを重ね合わせる副走査方向縮小処理回路とを具備した画像変倍装置である。
【0032】
この画像変倍装置によれば、主走査方向の縮小処理と副走査方向の縮小処理とを別々に実行するので,主走査方向縮小処理回路と副走査方向縮小処理回路とで対応することが出来,回路規模を縮小することができる。
【0033】
本発明の第12の態様は、像域分離結果を用いて文字画像の処理とハーフトーン画像の処理とを切り替える画像変倍装置であって、出力画素の像域分離結果を判定する機能として以下の(1)〜(6)を具備し、
(1)出力画素の像域分離結果をすべて文字にする
(2)縮小対象になった画素群に1画素でも文字の像域分離結果が含まれていれば出力画素の像域分離結果を文定にする
(3)縮小対象になった画素群に1画素でもハーフトーンの像域分離結果が含まれていれば出力画素の像域分離結果をハーフトーンにする
(4)出力画素の像域分離結果をすべてハーフトーンにする
(5)縮小処理の結果、有効となった画素の像域分離結果を出力画素の像域分離結果とする
(6)縮小対象になった画素それぞれの像域分離結果のうち最も数の多い像域分離結果を出力画素の像域分離結果とする
上記(1)〜(6)のいずれかを選択可能にした画像変倍装置である。
【0034】
この画像変倍装置によれば、オペレータが入力画像に応じて最適の判定モードを選択出来るので画質の向上を図ることができる。
【0035】
本発明の第13の態様は,直列配置された先頭の拡大回路に対して同一画素を主走査方向又は副走査方向の倍率に応じた回数だけ繰り返し入力し、前段の拡大回路の出力を後段の拡大回路に入力し、最後の拡大回路が出力する拡大結果から最後の拡大回路の拡大率に応じた数の画素を拡大画素として取り出し、同一画素が入力される度に画素の取り出し位置を主走査方向又は副走査方向に順次シフトさせることを特徴とする画像変倍方法である。
【0036】
本発明の第14の態様は,スムージング処理によって注目画素を拡大するスムージング拡大処理回路、簡易拡大処理によって注目画素を拡大する簡易拡大処理回路及び単純拡大処理によって注目画素を拡大する単純拡大処理回路を、倍率が大きくなるほど単純な拡大処理となるように切り替えることを特徴とする画像変倍方法である。
【0037】
本発明の第15の態様は,スムージング処理によって注目画素を拡大するスムージング拡大処理回路、簡易拡大処理によって注目画素を拡大する簡易拡大処理回路及び単純拡大処理によって注目画素を拡大する単純拡大処理回路を、拡大率に応じてその組み合わせを変更して拡大処理することを特徴とする画像変倍方法である。
【0038】
本発明の第16の態様は、注目画素に隣接する角の3画素が同じデータで、且つその角寄りの周辺画素に注目画素と異なる色の画素が少なくとも一つ含まれていれば、その角に対応する画素を当該角の3画素と同じデータに置き換え、注目画素を中心とする各角について同様の置き換えを行うことによりM×M画素の画素パターンを生成する画像変倍方法である。
【0039】
本発明の第17の態様は、注目画素を拡大して得られたN×N画素のブロックをN×1画素又は1×N画素に置き換えるために画素の重ね合わせを行う場合、注目画素の周辺画素を参照して境界線が平滑化されるように白画素又は黒画素を保存して重ね合わせることを特徴とする画像変倍方法である。
【0040】
本発明の第18の態様は、入力画像から孤立点又はノッチの少なくとも一方を除去し、その後に入力画像に対して縮小処理を施すことを特徴とする画像変倍方法である。
【0041】
本発明の第19の態様は、注目画素を含む周辺画素と参照パターンとを比較して注目画素が細線か否か判定し、主走査方向又は副走査方向に画素を重ねる縮小処理を実行する際に前記細線判定結果を参照して白画素又は黒画素を決定することを特徴とする画像変倍方法である。
【0042】
本発明の第20の態様は、注目画素を含む周辺画素と参照パターンとを比較して注目画素が細線か否か判定する場合、細線幅と連続性とに基づいて細線を検出する参照パターンを用いることを特徴とする細線判定方法である。
【0043】
本発明の第21の態様は、縮小対象の画素群に対して主走査方向に画素を重ねて主走査方向の縮小処理を実行し、現ラインの縮小結果と前ラインまでの副走査方向の縮小結果とを重ね合わせて副走査方向の縮小処理を実行することを特徴とする画像変倍方法である。
【0044】
本発明の第22の態様は、像域分離結果を用いて文字画像の処理とハーフトーン画像の処理とを切り替える画像変倍方法であって、出力画素の像域分離結果を判定する方式として以下の(1)〜(6)を具備し、
(1)出力画素の像域分離結果をすべて文字にする
(2)縮小対象になった画素群に1画素でも文字の像域分離結果が含まれていれば出力画素の像域分離結果を文定にする
(3)縮小対象になった画素群に1画素でもハーフトーンの像域分離結果が含まれていれば出力画素の像域分離結果をハーフトーンにする
(4)出力画素の像域分離結果をすべてハーフトーンにする
(5)縮小処理の結果、有効となった画素の像域分離結果を出力画素の像域分離結果とする
(6)縮小対象になった画素それぞれの像域分離結果のうち最も数の多い像域分離結果を出力画素の像域分離結果とする
上記(1)〜(6)のいずれかを選択する画像変倍方法である。
【0045】
以下、本発明の実施の形態にかかる画像変倍処理装置について図面を参照して具体的に説明する。
【0046】
図1は本実施の形態にかかる画像変倍装置の機能ブロック図である。入力されたデジタル画像の画素信号(以下、画像データと呼ぶ)は、画像メモリ101に一時的に蓄積される。像域分離回路102、文字変倍回路103及び投影処理回路104は、画像メモリ101から各々の処理に必要な画像データを読出して使用する。
【0047】
像域分離回路102は、注目画素に対して文字又はハーフトーンの判別を行う部分である。文字変倍回路103は文字に適した拡大処理及び縮小処理を実行する部分である。投影処理回路104は、ハーフトーンに適した拡大処理及び縮小処理を実行する部分である。
【0048】
主走査方向の倍率(MX)及び副走査方向の倍率(MY)は倍率カウンタ演算回路105へ与えられる。倍率カウンタ演算回路105は、主走査方向倍率(MX)及び副走査方向倍率(MY)から拡大、縮小処理の処理の組合わせを計算する。例えば、主走査方向及び副走査方向に4倍する場合は、1回の拡大処理で倍率が2×2倍であれば、2×2倍と2×2倍との組み合わせに分解する。3倍する場合であれば、2×2倍と1.5倍の組み合わせに分解する。倍率カウンタ演算回路105から出力される倍率データと出力アドレスを計算するためのデータとが制御回路106に供給される。制御回路106は、出力アドレスを計算して像域分離回路102、文字変倍回路103及び投影処理回路104へ出力する。
【0049】
文字変倍回路103及び投影処理回路104で並列に生成された変倍データは画像信号合成回路107に入力される。画像信号合成回路107は、像域分離回路102からの判別信号が文字判別結果の場合は文字変倍回路103の出力を選択出力し、判別信号がハーフトーン判別結果の場合は投影処理回路104の出力を選択出力する。
【0050】
画像信号合成回路107で選択された変倍画像データは、誤差拡散回路108で誤差拡散処理を施された後、白黒強制回路109へ入力される。白黒強制回路109は、誤差拡散処理前の多値入力値が最小値の場合は0に、また最大値の場合は1に補正する。これにより、混在文字画像の分解能の低下を防ぐことが出来る。
【0051】
文字変倍回路103は、入力画像を拡大する拡大処理部111と入力画像を縮小する縮小処理部112とを備えている。以下、拡大処理部111及び縮小処理部112の処理内容について詳細に説明する。
【0052】
図2は、文字変倍回路103における拡大処理部111の機能ブロック図である。拡大処理部111は、スムージング拡大処理回路201、簡易拡大処理回路202及び単純拡大処理回路203を備えている。3つの拡大回路はそれぞれ2倍の拡大処理を実行して注目画素に対して2×2画素を出力する。
【0053】
スムージング拡大処理回路201は、5×5画素の画素配置パターンと2×2画素の画素配置パターンとを対応させたパターン記憶部を備えている。図3に2×2画素の画素配置パターンを示す。スムージング拡大処理回路201は、注目画素を中心とした5×5画素の画像データを画像メモリ101から読出して、パターン記憶部の5×5画素の画素パターンと順次比較し、5×5画素の画像データに対して一致した画素パターンに対応した2×2画素の画素配置パターンを2倍拡大画素として選択する。
【0054】
簡易拡大処理回路202は、3×3画素の画素パターンと2×2画素の画素配置パターンとを対応させたパターン記憶部を備えている。図6に3×3画素の画素配置パターンと2×2画素の画素パターンとの関係を示す。簡易拡大処理回路202における簡易拡大処理の詳細について後述する。注目画素を中心としたその周辺3×3画素を参照することにより注目画素の2倍拡大結果である2×2画素の画素配置パターンを出力する。
【0055】
単純拡大処理回路203は、注目画素を単純に主走査方向及び副走査方向にそれぞれ2倍して、2×2画素の画素パターンを出力する。
【0056】
スムージング処理部201の出力段は第1の拡大データ作成部204の入力段に接続されると共に簡易拡大処理部202の入力段に接続されている。また、簡易拡大処理部202の出力段は第2の拡大データ作成部205の入力段に接続されると共に単純拡大処理部203の入力段に接続されている。単純拡大処理部203の出力段は第3の拡大データ作成部206の入力段に接続されている。
【0057】
第1〜第3の拡大データ作成部204〜206は、1注目画素の拡大画素が2×1画素又は1×2画素であったりする場合に、これらのデータを作成する部分である。ここでの処理の詳細については後述するが、2倍拡大処理部で得られた2×2画素を主走査方向又は副走査方向に重ね合わせ処理を行い2×1画素又は1×2画素を作っている。
【0058】
出力画像データ選択部207は、制御回路106から与えられる出力アドレスにしたがって出力画像データを選択する部分である。制御回路106から指示された出力アドレスの画像データが選択されて画像信号合成回路107へ出力される。
【0059】
以上のように構成された拡大処理部111では、2倍拡大まではスムージング処理部201を使用し、2倍を超える拡大から4倍拡大は簡易拡大処理部202を使用し、4倍を超える拡大から8倍拡大は単純拡大処理部203を使うものとする。
【0060】
2倍拡大の場合は、スムージング処理部201を使用して注目画素を2×2画素に変換し、第1の拡大データ作成部204をパスして出力画像データ選択部207へ入力する。2倍拡大の場合は、スムージング処理部201の出力データを使うので出力画像データ選択部207は出力アドレスにしたがって拡大データ作成部204をパスして入力する画像データを選択出力する。
【0061】
主走査方向に4倍拡大する場合の概念図を図4に示す。スムージング処理部201が入力画素Aを取り込んで2倍拡大する(1回目の入力)。スムージング処理部201が2×2画素の画像データを出力する場合、簡易拡大処理部202は1回目の入力で(A−1)画素をスムージング処理部201から取り込んで簡易拡大処理により2倍して2×2画素の画像データ(A−11、A−12,A−13,A−14)を出力する。制御回路106は、A−11、A−12が有効画素として出力されるように出力アドレスを制御する。出力ラインが1ラインの場合は他のデータは廃棄される。
【0062】
スムージング処理部201は、再び画素Aを取り込んで2倍拡大する(2回目入力)。スムージング処理部201が2×2画素の画像データを出力する。簡易拡大処理部202は(A−2)画素を簡易拡大する。簡易拡大処理部202は主走査方向の2番目の(A−2)画素を2倍して2×2画素の画像データ(A−21、A−22,A−23,A−24)を出力したとき、制御回路106は、A−21、A−22が有効画素として出力されるように出力アドレスを制御する。出力ラインが1ラインの場合は他のデータは廃棄される。
【0063】
これにより、拡大処理部111からは画素Aを主走査方向に4倍した画素データが有効画素として出力されたことになる。
【0064】
副走査方向が2倍より大きい倍率であった場合、1回目でA−1、A−2を処理し、B−1,B−2と処理され1ライン分が終了した後、再び同じラインを入力してA−1、A−2、B−1、B−2と処理していき出力はA−13、A−14、A−23、A−24…となる。1ライン分処理が終わると再び同じラインを入力してA−3、A−4、B−3、B−4と処理していき、出力はA−31、A−32、A−41,A−42…となる。1ライン分処理が終わると再び同じラインを入力してA−3、A−4、B−3、B−4と処理していき、出力はA−33、A−34、A−43、A−44…となる。
【0065】
これにより、副走査方向の拡大が行われたことになる。
【0066】
他の画素についても順番に同様に処理される。この結果、簡易拡大処理部202から、画像メモリ101から取り込んだ1注目画素を4倍に拡大した4×4の画像データが出力される。簡易拡大処理部202の出力する4倍拡大の画像データは第2の拡大データ作成部205をパスして出力画像データ選択部207へ入力される。4倍拡大の場合は、簡易拡大処理部202の出力データを使うので出力画像データ選択部207は出力アドレスにしたがって第2の拡大データ作成部205をパスして入力する画像データを選択出力する。
【0067】
8倍拡大の場合は、スムージング処理部201で2倍拡大され、簡易拡大処理部202でさらに2倍拡大された4×4画素の画像データを、単純拡大処理部203へ直接入力する。単純拡大処理部203は、簡易拡大処理部202から4倍拡大された4×4画素の画像データを1画素毎に取り込み単純拡大処理によってそれぞれ2倍拡大する。この結果、単純拡大処理部203から、画像メモリ101から取り込んだ1注目画素を8倍に拡大した8×8の画像データが出力される。単純拡大処理部203の出力する8倍拡大の画像データは第3の拡大データ作成部206をパスして出力画像データ選択部207へ入力される。8倍拡大の場合は、単純拡大処理部203の出力データを使うので出力画像データ選択部207は出力アドレスにしたがって第3の拡大データ作成部206をパスして入力する画像データを選択出力する。
【0068】
このように、2倍拡大の拡大回路(スムージング処理部201、簡易拡大処理部202及び単純拡大処理部203)を多段に直列配置し、2倍拡大の場合は初段のスムージング処理部201が入力画素Aを1回入力して2倍拡大して2倍拡大画像を生成し、4倍拡大の場合は簡易拡大処理部202が前段のスムージング処理部201から入力画素Aの2倍画像データを1画素づつ2回(1ライン分)入力して夫々2倍拡大して入力画素Aの4倍拡大画像を生成し、8倍拡大の場合は単純拡大処理部203が前段の簡易拡大処理部202から4倍画像データを1画素づつ4回(1ライン分)入力して夫々2倍拡大して入力画素Aの8倍拡大画像を生成している。
【0069】
これにより、2倍より大きい拡大処理を行う場合に従来行われていた2倍拡大する度に文字変倍回路103から出力して画像メモリに保存し、再び文字変倍回路103に入力し直すといった処理がなくなることから、拡大後の画像データを再び文字変倍回路で使うためのメモリを削減できる。
【0070】
また、上記スムージング処理部201で実行するスムージング処理は、拡大画像の画質向上には優れた効果を奏するが、拡大倍率が大きくなると扱うデータ量が増えて処理時間が長くなる傾向がある。一方、上記単純拡大処理部203で実行する単純拡大処理は、拡大倍率が大きくなっても処理が単純なので処理時間を短縮できる利点があるが、拡大倍率が大きくなると画質の劣化が目立つ傾向にある。上記簡易拡大処理部202で実行する簡易拡大処理は両者の中間に位置する。拡大処理に必要な回路規模は、スムージング処理部201が一番大きく、次に簡易拡大処理部202が大きく、単純拡大処理部203が最も小さい。
【0071】
本実施の形態では、上記3種類の拡大方式の扱いデータ量と回路規模とを考慮して上述の回路配置とすることにより、拡大率が大きくなっても処理速度が遅くならないようにすると共に拡大率が大きくなっても画質の劣化をある程度抑制できるようにしている。すなわち、倍率Mに応じて使用する拡大処理回路を、以下のように決めている。
【0072】
1<M≦2のときは、
スムージング処理
2<M≦4のときは、
スムージング処理(2倍)+簡易拡大処理(2倍以下)
4<M≦8のときは、
スムージング処理(2倍)+簡易拡大処理(2倍)+単純拡大処理(2倍以下)
上記したように、2倍拡大までの拡大率が小さい範囲では、スムージング処理によって高品質の拡大画像を生成する。2倍拡大から4倍拡大までのやや拡大率が大きな範囲では、スムージング処理と簡易拡大処理とを組み合わせることにより、スムージング処理を2回繰り返すよりも処理時間を短くすると共に、簡易拡大処理又は単純拡大処理だけを使うよりも高い画質を得られるようにしている。さらに4倍拡大から8倍拡大までの拡大率の大きな範囲では、4倍まではスムージング処理と簡易拡大処理とを組み合わせて画質の劣化を抑えるが、データ量が多い4倍以降は処理時間を優先させて単純拡大処置を使用している。このように、拡大率が大きくなるのに応じて拡大処理の内容を簡単な処理に切り替えることにより、画質の劣化を抑制するとともに処理時間を短く抑え、回路規模の拡大も抑えている。
【0073】
なお、上記3つの拡大処理部201〜203は、同一の拡大処理を繰り返すことができるように繰り返し用のループが形成されている。処理速度を優先させるモードを選択できるようにしておき、処理速度を優先させるモードが選択された場合には、拡大倍率によらず単純拡大処理部203が画像メモリ101から入力画素を取り込み、拡大率に応じた回数分だけ繰り返し単純拡大処理部203に戻して単純拡大処理を施すようにする。逆に、画質を優先させるモードを選択できるようにしておき、画質を優先させるモードが選択された場合には、拡大率によらずスムージング処理部201が画像メモリ101から入力画素を取り込み、拡大率に応じた回数分だけ繰り返しスムージング処理部201に戻してスムージング拡大処理を施すようにする。さらに、簡易拡大処理部202だけで同様にループさせるモードを選択できるようにしても良い。
【0074】
次に、簡易拡大処理部202におけるパターンマッチについて詳細に説明する。簡易拡大処理部202は、図6(a)〜(e)に示す参照パターンを使用して1画素の注目画素を2×2画素に簡易拡大する。本実施の形態では、注目画素を中心にしてその周辺画素3×3画素を参照している。
【0075】
図6(a)に示すパターンによって、簡易拡大後の2×2画素における左上角の画素を決める。すなわち、注目画素を中心とした3×3画素のうち、左上角の3画素の色が全て同一で、且つ、注目画素と異なる色の場合は、2×2画素の左上角の画素を、左上角の3画素と同一色にする。具体的には、注目画素が黒で左上角の3画素が白の場合は、簡易拡大された2×2画素の左上角の画素が白になる。
【0076】
図6(b)に示すパターンは、簡易拡大後の2×2画素における右上角の画素を決める。すなわち、注目画素を中心とした3×3画素のうち、右上角の3画素の色が全て同一で、且つ、注目画素と異なる色の場合は、2×2画素の右上角の画素を、右上角の3画素と同一色にする。具体的には、注目画素が黒で右上角の3画素が白の場合は、簡易拡大された2×2画素の右上角の画素が白になる。
【0077】
図6(c)に示すパターンは、簡易拡大後の2×2画素における左下角の画素を決める。すなわち、注目画素を中心とした3×3画素のうち、左下角の3画素が全て注目画素とは異なる同一色で、さらに斜線で示す4画素のうち一つでも注目画素とは異なる色が存在すれば、2×2画素の左下角の画素を、左下角の3画素と同一色にする。
【0078】
図6(d)に示すパターンは、簡易拡大後の2×2画素における右下角の画素を決める。すなわち、注目画素を中心とした3×3画素のうち、右下角の3画素が全て注目画素とは異なる同一色で、さらに斜線で示す4画素のうち一つでも注目画素とは異なる色が存在すれば、2×2画素の右下角の画素を、右下角の3画素と同一色にする。
【0079】
図6(e)に示すパターンは、注目画素を中心とした周辺8画素がパターンマッチと無関係の場合に、注目画素と同一色の2×2画素を出力することを示している。注目画素が入力画像の先頭画素の場合等、指定のパターンに当てはまらないときに使用される。
【0080】
図7に、上記参照パターンを使用した本方式による簡易拡大結果(同図(b))と、従来の方式による簡易拡大結果(同図(c))とを対比させた処理結果を示す。従来の簡易拡大方式では、白画素と黒画素との境界線の凹凸が大きく変化しているが、本実施の形態の簡易拡大方式では境界線の凹凸が緩和された画像になっている。
【0081】
本実施の形態は、簡易拡大後の2×2画素を決めるために、従来の簡易拡大のように4角の各3画素のパターンを見るだけではなく、図6(c)(d)に示すように斜線部まで参照エリアを拡張した。これにより、お互いの変化が干渉し合って生じていた凹凸を緩和した画像を得ることができると共に、スムージング処理のパターンマッチに比べて大幅に少ない条件で拡大処理するため処理時間を短縮することもできる。
【0082】
次に、拡大データ作成部204〜206における端数処理について詳細に説明する。なお、各拡大データ作成部204〜206は同様の端数処理を行うので、ここでは拡大データ作成部204を例に説明する。
【0083】
上述したように、拡大処理部111における3つの処理部201〜203は2倍拡大を処理単位としているので、1.5倍、3倍等、2のN乗倍(Nは整数)以外の拡大率となる場合には、2×2画素を1×2画素、2×1画素又は1画素に変換するための端数処理が必要になる。
【0084】
図8には、元画像2×2画素を1.5倍して3×3画素の出力画像を出力する際の概念図が示されている。出力アドレスにより、画素Aは2×2画素、画素Bは2×1画素、画素Cは1×2画素、画素Dは1×1画素にそれぞれ変換され、3×3画素の出力画像を構成する。
【0085】
先ず、スムージング処理部201が画像メモリ101から1ライン目で画素A、Bを、2ライン目で画素C、Dを読込み、画素A、B、C、Dのそれぞれをスムージング処理によって2×2画素に変換する。
【0086】
画素Aは、出力画像において2×2画素であるので、スムージング処理結果であるa00、a01、a10、a11をそのまま出力する。また、画素Dは出力画像において1×1画素であるので、画素Dのスムージング処理によって得られた2×2画素(d00,d01,d10,d11)を黒優先又は白優先で重ねて1画素にして出力する。なお、画素Dについてはそのまま使用すれば処理を減らすことができる。
【0087】
画素Bは、スムージング処理によって得られた2×2画素がb00、b01、b10、b11とすると、b00とb01、b10とb11をそれぞれ重ね合わせて2×1画素に変換して出力する。また、画素Cはc00とc10、c01とc11をそれぞれ重ね合わせて1×2画素に変換して出力する。なお、00、01は上2画素であり、10、11は下2画素である。
【0088】
図9に、スムージング処理によって得られた2×2画素を2×1画素又は1×2画素に変換する際のフローを示す。注目画素が黒画素か白画素かで処理が分岐される。注目画素が黒画素の場合は、スムージング結果の2×2画素に1画素だけ白画素が含まれているか否かで処理が分岐する。1画素だけ白画素が含まれている場合は処理1へ移行する。
【0089】
この処理1では、画素の重ね合わせを行うときに注目画素の周辺画素を参照して白優先の重ね合わせをすべき状態であるか否か判断する。スムージング結果が図10(a)に示すパターン(右上又は左下の1画素だけが白画素=W)であった場合は、図11に斜線で示すように周辺画素3×3画素の左上角と右下角の画素がともに注目画素とは異なる白画素となっているか否かチェックする。チェックの結果、図11に示す状態であれば白優先で重ね合わせ、それ以外であれば黒優先で重ね合わせる。したがって、図8の画素Bに対しては、上記白優先の条件が合致すれば図10(b)に示す2×1画素を出力する。画素Cに対しては、上記白優先の条件が合致すれば図10(c)に示す1×2画素を出力する。
【0090】
また、スムージング結果が図12(a)に示すパターン(左上又は右下の1画素だけが白画素=W)であった場合は、図13に斜線で示すように周辺画素3×3画素の右上角と左下角の画素がともに注目画素とは異なる白画素となっているか否かチェックする。チェックの結果、図13に示す状態であれば白優先で重ね合わせ、それ以外であれば黒優先で重ね合わせる。したがって、図8の画素Bに対しては、上記白優先の条件が合致すれば図12(b)に示す2×1画素を出力する。画素Cに対しては、上記白優先の条件が合致すれば図12(c)に示す1×2画素を出力する。
【0091】
このように、スムージング結果の2×2画素を2×1画素又は1×2画素に変換する際に、スムージング結果の2×2画素に1画素だけ注目画素(黒)と異なる画素(白)が含まれていたら、さらに注目画素を挟んだ対角線の2画素をチェックして双方白ならば白優先で重ね合わせるようにしたので、端数処理によって画像のなだらかさが失われるのを防ぐことができる。
【0092】
図14、図15を参照して処理1の変形例を説明する。本変形例は、スムージング結果の2×2画素に1画素だけ注目画素(黒)と異なる画素(白)が含まれていたら、元画像における注目画素の周辺画素を参照して黒優先か白優先かを決めて重ね合わせを行う。
【0093】
図14は、スムージング結果の2×2画素を2×1画素に変換するためのパターンが示されている。同図(a)に示す場合は、スムージング結果において、左上の画素だけが注目画素と異なる白画素であれば、元画像において注目画素の右及び右下が黒画素で、且つ注目画素の右上が白画素で下及び左下の画素が一つでも白画素であれば白優先で重ね合わせる。同図(b)に示す場合は、スムージング結果において、右上の画素だけが注目画素と異なる白画素であれば、元画像において注目画素の左と左下が黒画素で、且つ注目画素の左上が白画素で下及び右下の画素が一つでも白画素であれば白優先で重ね合わせる。同図(c)に示す場合は、スムージング結果において、左下の画素だけが注目画素と異なる白画素であれば、元画像において注目画素の右及び右上が黒画素で、且つ注目画素の右下が白画素で上及び左上の画素が一つでも白画素であれば白優先で重ね合わせる。同図(d)に示す場合は、スムージング結果において、右下の画素だけが注目画素と異なる白画素であれば、元画像において注目画素の左及び左上が黒画素で、且つ注目画素の左下が白画素で上及び右上の画素が一つでも白画素であれば白優先で重ね合わせる。
【0094】
図15は、スムージング結果の2×2画素を1×2画素に変換するためのパターンが示されている。同図(a)に示す場合は、スムージング結果において、左上の画素だけが注目画素と異なる白画素であれば、元画像において注目画素の下及び右下が黒画素で、且つ注目画素の左下が白画素で右及び右上の画素が一つでも白画素であれば白優先で重ね合わせる。同図(b)に示す場合は、スムージング結果において、右上の画素だけが注目画素と異なる白画素であれば、元画像において注目画素の下及び左下が黒画素で、且つ注目画素の右下が白画素で左及び左上の画素が一つでも白画素であれば白優先で重ね合わせる。同図(c)に示す場合は、スムージング結果において、左下の画素だけが注目画素と異なる白画素であれば、元画像において注目画素の上及び右上が黒画素で、且つ注目画素の左上が白画素で右及び右下の画素が一つでも白画素であれば白優先で重ね合わせる。同図(d)に示す場合は、スムージング結果において、右下の画素だけが注目画素と異なる白画素であれば、元画像において注目画素の上及び左上が黒画素で、且つ注目画素の右上が白画素で左及び左下の画素が一つでも白画素であれば白優先で重ね合わせる。
【0095】
以上のような重ね合わせ条件によっても端数処理によって画像のなだらかさが失われるのを防ぐことができる。
【0096】
一方、図9において注目画素が黒画素の場合であって、スムージング処理の結果、2×2画素全てが黒画素であれば処理2へ移行する。処理2では、スムージング結果の2×2画素を黒優先で重ね合わせて2×1画素又は1×2画素に変換する。
【0097】
注目画素が白画素の場合は、上記黒画素の端数処理とは異なる条件を使ってスムージング結果の2×2画素を黒優先で重ね合わせて2×1画素又は1×2画素に変換する。
【0098】
注目画素が白画素の場合、スムージング結果の2×2画素に1画素だけ黒画素が含まれているか否かで処理が分岐する。1画素だけ黒画素が含まれている場合は処理3へ移行する。
【0099】
この処理3では、画素の重ね合わせを行うときに注目画素の周辺画素を参照して黒優先の重ね合わせをすべき状態であるか否か判断する。このとき、2×1画素と1×2画素とでそれぞれ異なる条件を付加している。
【0100】
スムージング処理の結果、図16(a)のパターンであったならば、図17に示す元画像における注目画素を中心として左上及び右下の画素(左下がり斜線部)が注目画素と異なるか否かチェックする。また、図16(b)のパターンであったならば、図17に示す元画像における注目画素を中心として右上及び左下の画素(右下がり斜線部)が注目画素と異なるか否かチェックする。
【0101】
チェックの結果、対象周辺画素が注目画素と異なる色であれば、出力画像のパターン(変換結果が2×1画素又は1×2画素)に応じて異なる追加条件をチェックする。
【0102】
スムージング結果の2×2画素を2×1画素に変換する場合の追加条件についいて説明する。図18(a)に示すスムージング結果の場合は、元画像における注目画素の左横画素(図19に左下がりの斜線で示す画素)が注目画素と異なる色(黒)であれば、白優先で重ね合わせて2×1画素を出力する。なお、注目画素と同じ色であれば黒優先で重ね合わせる。また、図18(b)に示すスムージング結果の場合は、元画像における注目画素の右横画素(図19に右下がりの斜線で示す画素)が注目画素と異なる色(黒)であれば、黒優先で重ね合わせて2×1画素を出力する。なお、注目画素と同じ色であれば黒優先で重ね合わせる。
【0103】
スムージング結果の2×2画素を1×2画素に変換する場合の追加条件についいて説明する。図20(a)に示すスムージング結果の場合は、元画像における注目画素の真上画素(図21に左下がりの斜線で示す画素)が注目画素と異なる色(黒)であれば、白優先で重ね合わせて1×2画素を出力する。なお、注目画素と同じ色であれば黒優先で重ね合わせる。また、図20(b)に示すスムージング結果の場合は、元画像における注目画素の真下画素(図21に右下がりの斜線で示す画素)が注目画素と異なる色(黒)であれば、黒優先で重ね合わせて1×2画素を出力する。なお、注目画素と同じ色であれば黒優先で重ね合わせる。
【0104】
このような、注目画素が白画素の場合には上記端数処理によって出力画像のなだらかさが失われるのを防止することができる。
【0105】
一方、図9において注目画素が白画素の場合であって、スムージング処理の結果、2×2画素全てが白画素であれば処理4へ移行する。処理4では、スムージング結果の2×2画素を白優先で重ね合わせて2×1画素又は1×2画素に変換する。
【0106】
図22は、文字変倍回路103における縮小処理部112の機能ブロック図である。縮小処理部112は、縮小処理の前に入力画像から孤立点、ノッチを除去する処理を実行している。孤立点ノッチ除去処理部301は、パターンマッチによって孤立点及びノッチを除去している。すなわち、孤立点及びノッチの検出に適した画素パターンをそれぞれ用意しておき、入力画像と画素パターンとを比較する。孤立点又はノッチの画素パターンと一致する注目画素があれば孤立点又はノッチを取り除いた画素に変換して出力画素として出力する。
【0107】
従来は、OR間引きの縮小処理において黒画素優先で黒画素を残して重ね書きしていたので、いつまでも孤立点やノッチが残ってしまい画質が劣化していた。本実施の形態の方式では、縮小処理に先だって孤立点及びノッチを除去するので黒画素優先で黒画素を残して重ね書きしても孤立点やノッチが残らないので高品質の画像を得ることが出来る。
【0108】
縮小処理部112では、入力画像から孤立点及びノッチを除去した後、各注目画素について細線判定を実施している。細線判定部302は、パターンマッチによって注目画素が、黒細線、白細線、白細線候補、細線でないかの判定をする。
【0109】
図23〜図25は、細線判定部302が細線判定に使用する参照パターンの具体例である。図23は注目画素が黒細線か否かを判定するための参照パターンであり、同図に示すパターンと一致すれば注目画素が黒細線であると判断する。図24は注目画素が白細線であるか否かを判定するための参照パターンであり、同図に示すパターンと一致すれば注目画素が白細線であると判断する。図25は注目画素が白細線候補であるか否かを判定するための参照パターンであり、同図に示すパターンと一致すれば注目画素が白細線候補であると判断する。白細線候補を検出するための参照パターンは、白細線を検出するための参照パターンに比べて白細線判定の条件を緩和している。
【0110】
本実施の形態で細線判定に使用する参照パターンは、線自体のパターンを参照パターンとするのではなく、注目画素が線の幅を構成しているか否かということと、注目画素を中心とした上下又は左右に連続性があるか否かということを検出できるパターンにしている。
【0111】
これにより、17パターンという少ない参照パターンで線を認識できるので、パターンマッチのデータ処理量を大幅に減らして処理時間を短縮できる。従来方式である線自体のパターンを参照パターンとしたのでは全ての角度に対応した参照パターンを用意しなければならないので多数の線パターンが必要になり、パターンマッチのデータ処理量も増大する。
【0112】
次に、縮小処理部112では主走査方向の縮小処理と副走査方向の縮小処理とが行われる。この縮小処理で上記細線判定結果を利用して白細線及び黒細線が保存されるように画素を重ね合わせる。
【0113】
主走査方向縮小処理部303は、上記細線判定結果を利用して主走査方向の縮小処理を実行する。主走査方向縮小処理部303が、主走査方向に画素を重ね合わせる際のルールを図26に示す。同図において、「1」は黒細線、「4」は白細線、「5」は白細線候補、「0」は非細線である。図注に斜線で示す領域は組み合わせとしてありえない部分である。
【0114】
図26(a)は細線情報を重ね合わせる際の優先順位を示している。基本優先度は、黒細線>白細線>白細線候補>黒画素>白画素の順になっている。例えば、注目画素が黒細線「1」で重ね合わせの対象となる前画素が白細線「4」の場合は、注目画素の黒細線「1」が残される。また、注目画素が非細線「0」で重ね合わせの対象となる前画素が黒細線「1」の場合は、前画素の黒細線「1」が残される。
【0115】
図26(b)は注目画素が白画素で重ね合わせの対象となる前画素が黒画素の場合に、白を残すか黒を残すかを判定する際の優先順位を示している。例えば、注目画素が白細線「4」で重ね合わせの対象となる前画素が黒画素の非細線「0」の場合は、白優先で重ねられる。また、注目画素が白細線候補「5」で重ね合わせの対象となる前画素が黒画素の非細線「0」の場合は、注2である。注2は縮小対象群の中で主走査方向に最後の画素であり、且つ出力画素の1画素前が黒画素であったときは白画素にする、というものである。
【0116】
図26(c)は注目画素が黒画素で重ね合わせの対象となる前画素が白画素の場合に、白を残すか黒を残すかを判定する際の優先順位を示している。例えば、注目画素が黒細線「1」で重ね合わせの対象となる前画素が白画素の非細線「0」の場合は、黒優先で重ねられる。また、注目画素が黒画素の非細線「0」で重ね合わせの対象となる前画素が白画素の非細線「0」の場合は、基本的には黒優先であるが、注1の場合は白画素にする。注1は縮小対象群の中で主走査方向に3番目又は4番目の画素であったときは白画素にする、というものである。
【0117】
一方、副走査方向縮小処理部304は、上記細線判定結果を利用して副走査方向の縮小処理を実行する。副走査方向縮小処理部304が、副走査方向に画素を重ね合わせる際のルールを図27に示す。副走査方向縮小処理部304は、図27のルールにしたがって副走査方向に画素を重ねる処理を実行する。なお、図中の注1は縮小対象群の中で主走査方向に3番目又は4番目の画素であったときは白画素にすることを意味し、注2は縮小対象群の中で副走査方向に最後の画素であり、且つ出力画素の1ライン前が黒画素であったときは白画素にすることを意味する。
【0118】
このように、細線判定部302で注目画素の細線判定を行い、後段の縮小処理で主走査方向及び副走査方向の重ね合わせ処理の際に、細線判定結果を使用して黒細線>白細線>白細線候補>黒画素>白画素の優先順位で重ね合わせるようにしたので、単純間引きによる細線の途切れや、OR間引きで黒画素優先で間引くことによる黒つぶれを防止でき、画質の向上を図ることができる。
【0119】
また、縮小処理部112では縮小率に応じて複数の入力画素を同じアドレスに出力するが、主走査方向の縮小処理を行った後に副走査方向の縮小処理を行うようにしている。図28に入力画素2×2画素を同じアドレスに出力する場合の概念図を示す。第1ラインで主走査方向の画素AとBを上記優先順位で重ね合わせて画素Mを出力し、第2ラインで主走査方向の画素CとDを上記優先順位で重ね合わせて画素Nを出力する。そして副走査方向の画素Mと画素Nとを上記優先順位で重ね合わせて画素Pを最終的に出力する。
【0120】
図29は1/4倍する場合の概念図であり、図30はそのためのフロー図である。縮小処理部112において1/4倍する場合は、主走査方向縮小処理部303がY0ラインをX0,X1,X2,X3の順に重ね合わせることにより縮小し、Y0ラインの縮小結果XY0をメモリ305に書き込む。
【0121】
次に,Y1ラインをX0,X1,X2,X3の順に重ね合わせることにより縮小する。そして、Y1ラインの縮小結果XY1とY0ラインの縮小結果XY0とを重ね合わせることにより縮小し、Y1ラインまでの縮小結果Y01をメモリ305に書き込む。
【0122】
次に,Y2ラインをX0,X1,X2,X3の順に重ね合わせることにより縮小する。そして、Y2ラインの縮小結果XY2とY1ラインまでの縮小結果Y01とを重ね合わせることにより縮小し、Y2ラインまでの縮小結果Y02をメモリ305に書き込む。
【0123】
さらに、Y3ラインをX0,X1,X2,X3の順に重ね合わせることにより縮小する。そして、Y3ラインの縮小結果XY3とY2ラインまでの縮小結果Y02とを重ね合わせることにより縮小し、Y3ラインまでの縮小結果Y03をメモリ305に書き込む。この縮小結果Y03が最終的な出力画素となる。
【0124】
このように、縮小対象画素群の主走査方向の処理を終えた後に,副走査方向の縮小処理を行うことにより、縮小処理の際の重ね合わせの条件としてそれぞれの方向の画素を対象にすればよいことから、主走査方向と副走査方向の2つの縮小処理を定義すれば良く回路規模を小さくできる利点がある。これに対して従来方式では、主走査方向、副走査方向及び主副両方向の縮小処理の3種類の縮小処理が必要であったため回路規模が大きくなる傾向にあった。
【0125】
次に、像域分離回路102について説明する。ここで、縮小処理を行う場合、同じアドレスに出力する入力画素は複数となり、それぞれの入力画素の像域分離結果が同じであるとは限らない。単純間引きやOR間引きでは最終的に有効となった画素の像域分離データをその出力画素の像域分離結果としていた。しかし、従来方式は無作為に間引かれたデータをもとにしているため、文字が多い画像の中でハーフトーン判定結果が残ってしまったり、ハーフトーンが多い画像の中で文字判定結果が残ってしまったりするので、入力画像に合わない判定結果となる可能性があった。本実施の形態では、縮小時の出力アドレスの像域分離結果を入力画像にあった判定結果がでるように外部から選択できるようにした。
【0126】
図31は、像域分離回路102の機能ブロック図である。同図に示すように,像域分離回路102は、例えば8×8画素の入力画素から注目画素が文字又はハーフト−ンであるかを判定して像域分離結果を出力する像域分離部401と、モードパラメータにしたがって像域分離結果を処理して最終的な像域分離結果を出力する出力判定部402と、出力判定部402の出力を一時的に保存するメモリ403とを備えている。
【0127】
出力判定部402は、コンソールからユーザによって選択入力されるモードパラメータにしたがって処理を切り替えられる。第1モードは、像域分離部401の出力する像域分離結果に関わらず文字の像域分離結果を出力する。第2モードは、像域分離部401の出力する像域分離結果に文字とハーフトーンの双方が含まれている場合は文字の像域分離結果を出力する。第3のモードは、像域分離部401の出力する像域分離結果に文字とハーフトーンの双方が含まれている場合はハーフトーンの像域分離結果を出力する。第4のモードは、像域分離部401の出力する像域分離結果に関わらずハーフトーンの像域分離結果を出力する。第5のモードは、縮小処理部112で入力画像の縮小処理を行い有効となった出力画素の像域分離結果を出力する。この場合は、縮小処理部112で入力画像の縮小処理を行い有効となった出力画素のアドレスを取りこむ。第6のモードは、入力画素それぞれの像域判定結果のうち多いほうの判定結果を出力する。
【0128】
これにより、縮小時の出力アドレスの像域分離判定結果をユーザが外部から選択できるようにしたので、入力画像にあったモード選択が可能となり入力画像に適した像域判定結果を得ることがでる。
【0129】
図32から図35を参照して具体例を説明する。図32に示す入力画像を単純間引きによって1/2に縮小した結果が図33であり、OR間引きした結果が図34である。図35は第2モードで文字優先で判定結果を出力した例である。同図に示すように、文字画像の場合には、第2モードで像域分離結果を出力判定することにより、単純間引き又はOR間引きの像域分離結果に比べて文字判定される可能性が高くなっており、文字画像に適した像域分離結果を出力できることがわかる。
【0130】
【発明の効果】
以上詳記したように本発明によれば、入力画像を2倍以上に拡大するにあたりメモリの削減と処理の高速化を実現できる画像変倍処理装置及び画像変倍処理方法を提供できる。
【0131】
また本発明によれば、画像データを任意の倍率で拡大するにあたり凸凹の少ない滑らかな画像を得ることができる画像変倍処理装置及び画像変倍処理方法を提供できる。
【0132】
また本発明によれば、画像データを任意の倍率で縮小するにあたり単純間引きやOR間引きに伴う画質の劣化を防止できる画像変倍処理装置及び画像変倍処理方法を提供できる。
【図面の簡単な説明】
【図1】一実施の形態にかかる画像変倍処理装置の全体構成図
【図2】上記実施の形態の画像変倍処理装置における拡大処理部の機能ブロック図
【図3】スムージング処理結果のパターンを示す図
【図4】上記実施の形態における主走査方向の4倍拡大の概念図
【図5】上記実施の形態における副走査方向の4倍拡大の概念図
【図6】上記実施の形態における簡易拡大処理部が使用する参照パターンと簡易拡大結果とを示す図
【図7】(a)入力画素のパターンを示す図
(b)従来方式の拡大結果を示す図
(c)本方式による拡大結果を示す図
【図8】上記実施の形態における拡大時の端数処理の概念図
【図9】上記実施の形態における拡大時端数処理を含むフロー図
【図10】(a)スムージング拡大結果を示す図
(b)拡大結果を主走査方向の重ね合わせ結果を示す図
(c)拡大結果を副走査方向の重ね合わせ結果を示す図
【図11】上記実施の形態における拡大時端数処理での参照画素を示す図
【図12】(a)他のスムージング拡大結果を示す図
(b)拡大結果を主走査方向の重ね合わせ結果を示す図
(c)拡大結果を副走査方向の重ね合わせ結果を示す図
【図13】上記実施の形態における拡大時端数処理での参照画素を示す図
【図14】上記実施の形態における拡大時端数処理での幾つかの参照パターンとスムージング結果と変換結果とを示す図
【図15】上記実施の形態における拡大時端数処理での他の幾つかの参照パターンとスムージング結果と変換結果とを示す図
【図16】スムージング結果を示す図
【図17】拡大時端数処理で参照する周辺画素パターンを示す図
【図18】スムージング結果を示す図
【図19】拡大時端数処理で参照する周辺画素パターンを示す図
【図20】スムージング結果を示す図
【図21】拡大時端数処理で参照する周辺画素パターンを示す図
【図22】上記実施の形態の画像変倍処理装置における縮小処理部の機能ブロック図
【図23】上記実施の形態における黒細線判定のための参照パターンを示す図
【図24】上記実施の形態における白細線判定のための参照パターンを示す図
【図25】上記実施の形態における白細線候補判定のための参照パターンを示す図
【図26】主走査方向縮小処理部が主走査方向に画素を重ね合わせる際のルールを示す図
【図27】副走査方向縮小処理部が副走査方向に画素を重ね合わせる際のルールを示す図
【図28】上記実施の形態における2×2画素の縮小処理の処理順位を示す概念図
【図29】上記実施の形態における4×4画素の縮小処理の処理順位を示す概念図
【図30】4×4画素の縮小処理のためのフロー図
【図31】上記実施の形態の画像変倍処理装置における像域分離回路の機能ブロック図
【図32】入力画像を示す図
【図33】入力画像を単純間引きによって1/2に縮小した結果を示す図
【図34】入力画像をOR間引きした結果を示す図
【図35】入力画像を第2モードで文字優先で判定した結果を示す図
【符号の説明】
101 画像メモリ
102 像域分離回路
103 文字変倍回路
104 投影処理回路
105 倍率カウンタ演算回路
106 制御回路
107 画像信号合成回路
108 誤差拡散処理回路
109 白黒強制回路
201 スムージング処理部
202 簡易拡大処理部
203 単純拡大処理部
204〜206 拡大データ作成部
207 出力画像データ選択部
301 孤立点ノッチ除去処理部
302 細線判定部
303 主走査方向縮小処理部
304 副走査方向縮小処理部

Claims (21)

  1. 各拡大回路が所定の拡大倍率を持ち、前段の拡大回路の拡大結果が後段の拡大回路の入力となるように複数の拡大回路が直列配置されると共に各拡大回路の出力を個別に取り出し可能にした画像変倍装置であって、先頭の拡大回路に対して注目画素を入力して拡大し、後段の拡大回路に対して前段の拡大回路の出力する拡大画素のうち1画素を入力して拡大し、所要サイズに拡大された拡大画像の全画素が揃うまで先頭の拡大回路に対して同一の注目画素を繰り返し入力し、且つ、後段の拡大回路では、前段の拡大回路から拡大画素の出力がある度、前回とは副走査方向又は主走査方向へ1画素ずれた画素位置から画素を取り込み、前記拡大画像の各画素が出力される拡大回路を目標拡大倍率に基づいて選択し、この選択した拡大回路が拡大画素を出力する度に、目標拡大倍率及び前記注目画素の入力回数に応じて決定される画素だけを有効画素として取り出すことを特徴とする画像変倍装置。
  2. 前記複数の拡大回路として、対象画素を含むN×N画素の周辺画素とN×N画素の参照パターンとを比較して入力画像と一致度の高い参照パターンに応じたM×M画素の画素パターンを拡大結果として出力するスムージング拡大処理回路と、対象画素に隣接する角の複数画素が同じデータであればその角に対応する画素を当該角の複数画素と同じデータに置き換え、対象画素を中心とする各角について同様の置き換えを行うことによりM×M画素の画素パターンを生成する簡易拡大処理回路と、全画素が対象画素と同じデータからなるM×M画素の画素パターンを生成する単純拡大処理回路とを備え、前記スムージング拡大処理回路、簡易拡大処理回路、単純拡大処理回路の順番に直列配置したことを特徴とする請求項1記載の画像変倍装置。
  3. 前記スムージング拡大処理回路、前記簡易拡大処理回路及び前記単純拡大処理回路を拡大率に応じて組み合わせて用いることを特徴とする請求項2記載の画像変倍装置。
  4. 注目画素を中心に置いた3×3の画素パターンに基づいて前記注目画素を2×2の画素パターンに拡大する画像変倍装置であって、前記3×3の画素パターンのうち1つの角に位置する角画素と当該角画素に隣接する2画素とからなる基本3画素が前記注目画素と同一色であり、且つ、前記角画素に対して注目画素を挟んで対向する角に位置する画素及び前記基本3画素を除いた残りの画素からなる参照4画素が前記注目画素と異なる色の画素を少なくとも一つ含んでいれば、前記2×2の画素パターンのうち当該角画素に対応する画素を前記基本3画素と同一色に置き換え、前記3×3の画素パターンの各角について同様の置き換えを行うことを特徴とする画像変倍装置。
  5. 注目画素を拡大して得られたN×N画素のブロックをN×1画素又は1×N画素に置き換えるために画素の重ね合わせを行う場合、注目画素の周辺画素を参照して境界線が平滑化されるように白画素又は黒画素を保存して重ね合わせることを特徴とする画像変倍装置。
  6. 入力画像から孤立点又はノッチの少なくとも一方を除去する画像処理回路と、前記画像処理回路で孤立点又はノッチが除去された入力画像に対して縮小処理を施す縮小処理回路とを具備した請求項1記載の画像変倍装置。
  7. 注目画素を含む周辺画素と参照パターンとを比較して注目画素が細線の一部を構成する画素か否か判定する細線判定回路と、主走査方向又は副走査方向に画素を重ねる縮小処理を実行する際に前記細線判定回路の細線判定結果を参照して白画素又は黒画素を決定する縮小処理回路とを具備する画像変倍装置。
  8. 前記細線判定回路は、周辺画素と参照パターンとの比較によって、注目画素が黒細線の一部を構成する画素、白細線の一部を構成する画素、白細線の一部を構成する画素候補、その他のいずれかであるかを決定する請求項7記載の画像変倍装置。
  9. 注目画素を含む周辺画素と参照パターンとを比較して注目画素が細線の一部を構成する画素か否か判定する場合、注目画素が細線の幅方向の一部を構成しているか否か及び注目画素を中心とした上下又は左右方向に連続性があるか否かを検出する参照パターンを用いることを特徴とする細線判定回路。
  10. 縮小対象の画素群に対して主走査方向に画素を重ねて縮小する主走査方向縮小処理回路と、前記主走査方向縮小処理回路から出力された現ラインの縮小結果と前ラインまでの副走査方向の縮小結果とを重ね合わせる副走査方向縮小処理回路とを具備した画像変倍装置。
  11. 像域分離結果を用いて文字画像の処理とハーフトーン画像の処理とを切り替える画像変倍装置であって、出力画素の像域分離結果を判定する機能として以下の(1)〜(6)を具備し、
    (1)出力画素の像域分離結果をすべて文字にする
    (2)縮小対象になった画素群に1画素でも文字の像域分離結果が含まれていれば出力画素の像域分離結果を文定にする
    (3)縮小対象になった画素群に1画素でもハーフトーンの像域分離結果が含まれていれば出力画素の像域分離結果をハーフトーンにする
    (4)出力画素の像域分離結果をすべてハーフトーンにする
    (5)縮小処理の結果、有効となった画素の像域分離結果を出力画素の像域分離結果とする
    (6)縮小対象になった画素それぞれの像域分離結果のうち最も数の多い像域分離結果を出力画素の像域分離結果とする
    上記(1)〜(6)のいずれかを選択可能にした画像変倍装置。
  12. 複数段に直列配置された拡大回路の先頭に注目画素を入力し、前段の拡大回路の拡大結果を後段の拡大回路に入力してさらに拡大する画像変倍方法であって、後段の拡大回路に対して前段の拡大回路の出力する拡大画素のうち1画素を入力して拡大し、所要サイズに拡大された拡大画像の全画素が揃うまで先頭の拡大回路に対して同一の注目画素を繰り返し入力し、且つ、後段の拡大回路では、前段の拡大回路から拡大画素の出力がある度、前回とは副走査方向又は主走査方向へ1画素ずれた画素位置から画素を取り込み、前記拡大画像の各画素が出力される拡大回路を目標拡大倍率に基づいて選択し、この選択した拡大回路が拡大画素を出力する度に、目標拡大倍率及び前記注目画素の入力回数に応じて決定される画素を有効画素として取り出すことを特徴とする画像変倍方法。
  13. 目標拡大倍率Yが1<Y≦2の場合、対象画素を含むN×N画素の周辺画素とN×N画素の参照パターンとを比較して入力画像と一致度の高い参照パターンに応じたM×M画素の画素パターンを拡大結果として出力するスムージング拡大処理回路だけを用いて拡大し、目標拡大倍率Yが2<Y≦4の場合、前記スムージング拡大処理回路を前段とし、対象画素に隣接する角の複数画素が同じデータであればその角に対応する画素を当該角の複数画素と同じデータに置き換え、対象画素を中心とする各角について同様の置き換えを行うことによりM×M画素の画素パターンを生成する簡易拡大処理回路を後段として用いて拡大し、目標拡大倍率Yが4<Y≦8の場合、前記スムージング拡大処理回路を先頭とし、前記簡易拡大処理回路を中段とし、全画素が対象画素と同じデータからなるM×M画素の画素パターンを生成する単純拡大処理回路を後段として用いて拡大することを特徴とする請求項12記載の画像変倍方法。
  14. スムージング処理によって注目画素を拡大するスムージング拡大処理回路、簡易拡大処理によって注目画素を拡大する簡易拡大処理回路及び単純拡大処理によって注目画素を拡大する単純拡大処理回路を、拡大率に応じてその組み合わせを変更して拡大処理することを特徴とする画像変倍方法。
  15. 注目画素を中心に置いた3×3の画素パターンに基づいて前記注目画素を2×2の画素パターンに拡大する画像変倍方法であって、前記3×3の画素パターンのうち1つの角に位置する角画素と当該角画素に隣接する2画素とからなる基本3画素が前記注目画素と同一色であり、且つ、前記角画素に対して注目画素を挟んで対向する角に位置する画素及び前記基本3画素を除いた残りの画素からなる参照4画素が前記注目画素と異なる色の画素を少なくとも一つ含んでいれば、前記2×2の画素パターンのうち当該角画素に対応する画素を前記基本3画素と同一色に置き換え、前記3×3の画素パター ンの各角について同様の置き換えを行うことを特徴とする画像変倍方法。
  16. 注目画素を拡大して得られたN×N画素のブロックをN×1画素又は1×N画素に置き換えるために画素の重ね合わせを行う場合、注目画素の周辺画素を参照して境界線が平滑化されるように白画素又は黒画素を保存して重ね合わせることを特徴とする画像変倍方法。
  17. 縮小の場合、入力画像から孤立点又はノッチの少なくとも一方を除去し、その後に入力画像に対して縮小処理を施すことを特徴とする請求項12記載の画像変倍方法。
  18. 注目画素を含む周辺画素と参照パターンとを比較して注目画素が細線の一部を構成する画素か否か判定し、主走査方向又は副走査方向に画素を重ねる縮小処理を実行する際に前記細線判定結果を参照して白画素又は黒画素を決定することを特徴とする画像変倍方法。
  19. 注目画素を含む周辺画素と参照パターンとを比較して注目画素が細線の一部を構成する画素か否か判定する場合、注目画素が細線の幅方向の一部を構成しているか否か及び注目画素を中心とした上下又は左右方向に連続性があるか否かを検出する参照パターンを用いることを特徴とする細線判定方法。
  20. 縮小対象の画素群に対して主走査方向に画素を重ねて主走査方向の縮小処理を実行し、現ラインの縮小結果と前ラインまでの副走査方向の縮小結果とを重ね合わせて副走査方向の縮小処理を実行することを特徴とする画像変倍方法。
  21. 像域分離結果を用いて文字画像の処理とハーフトーン画像の処理とを切り替える画像変倍方法であって、出力画素の像域分離結果を判定する方式として以下の(1)〜(6)を具備し、
    (1)出力画素の像域分離結果をすべて文字にする
    (2)縮小対象になった画素群に1画素でも文字の像域分離結果が含まれていれば出力画素の像域分離結果を文定にする
    (3)縮小対象になった画素群に1画素でもハーフトーンの像域分離結果が含まれていれば出力画素の像域分離結果をハーフトーンにする
    (4)出力画素の像域分離結果をすべてハーフトーンにする
    (5)縮小処理の結果、有効となった画素の像域分離結果を出力画素の像域分離結果とする
    (6)縮小対象になった画素それぞれの像域分離結果のうち最も数の多い像域分離結果を出力画素の像域分離結果とする
    上記(1)〜(6)のいずれかを選択する画像変倍方法。
JP29212099A 1999-10-14 1999-10-14 画像変倍装置及び画像変倍方法 Expired - Fee Related JP3597423B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29212099A JP3597423B2 (ja) 1999-10-14 1999-10-14 画像変倍装置及び画像変倍方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29212099A JP3597423B2 (ja) 1999-10-14 1999-10-14 画像変倍装置及び画像変倍方法

Publications (2)

Publication Number Publication Date
JP2001111820A JP2001111820A (ja) 2001-04-20
JP3597423B2 true JP3597423B2 (ja) 2004-12-08

Family

ID=17777811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29212099A Expired - Fee Related JP3597423B2 (ja) 1999-10-14 1999-10-14 画像変倍装置及び画像変倍方法

Country Status (1)

Country Link
JP (1) JP3597423B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016442A (ja) * 2001-07-03 2003-01-17 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US20050226538A1 (en) * 2002-06-03 2005-10-13 Riccardo Di Federico Video scaling
JP4506854B2 (ja) * 2008-03-04 2010-07-21 富士ゼロックス株式会社 画像処理装置および画像形成装置
US10380464B2 (en) 2017-12-31 2019-08-13 Kyocera Document Solutions Inc. Fast raster image process by detecting constant color lines in perpendicular direction

Also Published As

Publication number Publication date
JP2001111820A (ja) 2001-04-20

Similar Documents

Publication Publication Date Title
JP4209599B2 (ja) 2次元非線形補間システム及び補間方法、並びに2次元混合補間システム及び混合補間方法
EP0650287B1 (en) Image processing method and apparatus
KR100816709B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및기억 매체
JPH05328106A (ja) 画像変倍装置
KR20120137413A (ko) 화상 처리 장치, 화상 처리 프로그램을 기록한 컴퓨터 판독가능 기록 매체, 및 화상을 생성하는 방법
JP2010034964A (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP2000339449A (ja) 画像処理装置及び方法
US6289136B1 (en) Image processing method and apparatus
JP3990045B2 (ja) 情報処理方法、情報処理装置及び記録媒体
JP3597423B2 (ja) 画像変倍装置及び画像変倍方法
JP3007001B2 (ja) 画像処理装置及び方法
JP2018067849A (ja) 画像処理装置、画像処理方法、プログラム
JP3734652B2 (ja) 画像処理装置
JP2885999B2 (ja) 画像処理装置及びその方法
JP4265363B2 (ja) 画像処理装置
JP3751806B2 (ja) 画像処理装置および記録媒体
JP3539552B2 (ja) 画像処理装置
JP3783815B2 (ja) 画像処理装置
JP3669081B2 (ja) 画像処理装置
JP3624153B2 (ja) 画像処理装置及び画像処理方法
JP3753900B2 (ja) 画像処理装置
JP5297347B2 (ja) 画素数変換方法、それを実行させるためのプログラム及び画素数変換装置
JP3054338B2 (ja) 画像処理装置およびその方法
JPH06348834A (ja) 画像処理装置
JP3054315B2 (ja) 画像処理方法及びその装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040908

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees