JP5994741B2 - 画像処理装置、画像処理プログラム、及び画像形成装置 - Google Patents

画像処理装置、画像処理プログラム、及び画像形成装置 Download PDF

Info

Publication number
JP5994741B2
JP5994741B2 JP2013138421A JP2013138421A JP5994741B2 JP 5994741 B2 JP5994741 B2 JP 5994741B2 JP 2013138421 A JP2013138421 A JP 2013138421A JP 2013138421 A JP2013138421 A JP 2013138421A JP 5994741 B2 JP5994741 B2 JP 5994741B2
Authority
JP
Japan
Prior art keywords
pixel
density
edge
image
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013138421A
Other languages
English (en)
Other versions
JP2015012545A (ja
Inventor
茂 荒井
茂 荒井
健児 原
健児 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2013138421A priority Critical patent/JP5994741B2/ja
Priority to US14/187,780 priority patent/US9036210B2/en
Publication of JP2015012545A publication Critical patent/JP2015012545A/ja
Application granted granted Critical
Publication of JP5994741B2 publication Critical patent/JP5994741B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/18Conditioning data for presenting it to the physical printing elements
    • G06K15/1867Post-processing of the composed and rasterized print image
    • G06K15/1872Image enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/12Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers by photographic printing, e.g. by laser printers
    • G06K15/128Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers by photographic printing, e.g. by laser printers generating or processing printable items, e.g. characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/14Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers by electrographic printing, e.g. xerography; by magnetographic printing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/18Conditioning data for presenting it to the physical printing elements
    • G06K15/1867Post-processing of the composed and rasterized print image
    • G06K15/1869Depleting the print image
    • G06K15/1871Depleting the print image with provisions for image features conservation or enhancement, e.g. conservation or enhancement of zone edges

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Control Or Security For Electrophotography (AREA)

Description

本発明は、画像処理装置、画像処理プログラム、及び画像形成装置に関する。
特許文献1には、画像データからエッジ部か否かの判定を行うエッジ判定手段と、エッジ判定手段の判定結果に基づいて画像データのエッジ領域を広げてエッジ部と再判定するエッジ再判定手段と、エッジ判定手段及びエッジ再判定手段によってエッジ部であると判定された画像データと、非エッジ部であると判定された画像データとで異なる処理を施す処理手段と、画像データの注目画素の濃度情報に基づいてエッジ再判定手段による再判定処理の内容を変更する変更手段とを備えたことを特徴とする画像処理装置が開示されている。
特許文献2には、画像データに対して、エッジ部かそれ以外の非エッジ部かに応じて画像処理を切り替える画像処理装置において、画像データからエッジ部を抽出するエッジ抽出手段と、エッジ抽出手段による処理結果を受け取ってエッジ領域を広げてエッジ部と判定する再判定手段と、エッジ抽出手段及び再判定手段で判定されたエッジ部かあるいはそれ以外の非エッジ部かに応じた画像処理を行う処理手段を有することを特徴とする画像処理装置が開示されている。
特開2012−028952号公報 特開2006−262204号公報
本発明は、画像の輪郭部を判定するための閾値を固定にした場合と比較して、より低濃度の画像から画像品質の低下を抑制することができる画像処理装置、画像処理プログラム、及び画像形成装置を提供することを目的とする。
上記目的を達成するために、請求項1記載の画像処理装置の発明は、画像の各々の画素を注目画素として、前記注目画素を含む予め定めた領域の濃度が、前記注目画素の濃度に応じて設定された閾値であって、前記注目画素が前記画像の輪郭部分に相当する輪郭部画素か否かを判定するための閾値である輪郭部判定閾値以上の場合に、前記注目画素を前記輪郭部画素として検出する検出手段と、前記検出手段により検出された前記輪郭部画素のうち、予め定めた濃度以上の前記輪郭部画素を補正の対象である補正画素として、前記補正画素の濃度に応じて補正する補正手段と、を備え、前記検出手段は、前記注目画素の濃度が、前記補正手段によって前記補正画素の濃度を低減する補正を実施するか否かの基準となる予め定めた閾値以上の場合には、前記輪郭部判定閾値を前記予め定めた閾値以上の値である第1の閾値に設定して、前記予め定めた領域の濃度が前記第1の閾値以上の場合に前記注目画素を前記輪郭部画素として検出し、前記注目画素の濃度が、前記予め定めた閾値未満の場合には、前記輪郭部判定閾値を前記予め定めた閾値未満の値である第2の閾値に設定して、前記予め定めた領域の濃度が前記第2の閾値以上の場合に前記注目画素を前記輪郭部画素として検出する。
請求項記載の発明は、前記第2の閾値は、前記予め定めた濃度の2倍の値である。
請求項記載の発明は、前記補正手段は、前記補正画素の濃度が前記予め定めた閾値以上の場合には、前記補正画素の濃度を低減させるように補正し、前記補正画素の濃度が前記予め定めた閾値未満の場合には、前記補正画素に対応した前記画像を形成するスクリーン線数を、予め定めたスクリーン線数より多くする。
請求項記載の画像処理プログラムの発明は、コンピュータを、請求項1〜請求項の何れか1項に記載の画像処理装置を構成する各手段として機能させる。
請求項記載の画像形成装置の発明は、請求項1〜請求項の何れか1項に記載の画像処理装置と、前記画像処理装置により画像処理が実施された画像を記録媒体に形成する画像形成手段と、を備える。
請求項1、の発明によれば、画像の輪郭部を判定するための閾値を固定にした場合と比較して、より低濃度の画像から画像品質の低下を抑制することができる、という効果を有する。
請求項の発明によれば、第2の閾値を予め定めた濃度に応じて設定しない場合と比較して、より濃度の低い画像の輪郭部を精度よく判定することができる、という効果を有する。
請求項の発明によれば、画像の濃度に応じて補正処理を切り替えない場合と比較して、予め定めた閾値以上の濃度を有する画像に対しては画像のつぶれを抑制し、予め定めた閾値未満の濃度を有する画像に対しては、画像の輪郭部を平滑にすることができる、という効果を有する。
画像形成装置の要部構成を示す概略側面図である。 画像形成装置の機能的な構成を示すブロック図である。 画像形成装置の電気系統を示すブロック図である。 本実施形態に係る画像処理のフローチャートである。 画像処理に係るエッジ判定部のフローチャートである。 エッジ検出フィルタの一例を示した図である。 本実施形態に係る画像処理のエッジ判定状況を示した図である。 本実施形態に係る画像処理の鮮鋭補正の効果を示した図である。
以下、図面を参照して、本発明を実施するための形態を詳細に説明する。なお、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符合を付与し、重複する説明を適宜省略する場合がある。
また、黄色をY、マゼンタ色をM、シアン色をC、黒色をKで表すと共に、各部品を色毎に区別する必要がある場合には、符号の末尾に各色に対応する色符号(Y、M、C、K)を付して区別する。
なお、各部品を色毎に区別せずに総称する場合には、符号の末尾に付加される色符号を省略する。
図1に、本実施形態に係る電子写真方式を用いた画像形成装置20の要部構成を示す概略側面図を示す。画像形成装置20には、図示しない通信回線を介して各種データを受信し、受信したデータに基づきカラー画像形成処理を行う画像形成機能が搭載されている。
画像形成装置20は、Y、M、C、K毎に、図中矢印Aの方向に回転する4つの感光体1Y、1M、1C、1Kと、帯電バイアスを印加することにより各感光体の表面を帯電する帯電器2Y、2M、2C、2Kを備える。
また、画像形成装置20は、帯電された感光体1表面を各色の画像情報に基づいて変調された露光光により露光し、感光体1上に静電潜像を形成するレーザ出力部3Y、3M、3C、3Kと、各色現像剤(トナー)を保持する現像剤保持体である現像ロール34Y、34M、34C、34Kを各々備える。
また、画像形成装置20は、図示しない現像バイアス用電源によって現像ロール34Y、34M、34C、34Kに現像バイアスを印加することにより、感光体1上の静電潜像を各色トナーで現像して感光体1上にトナー像を形成する現像器4Y、4M、4C、4Kと、感光体1上の各色トナー像を中間転写ベルト6に転写する一次転写器5Y、5M、5C、5Kを備える。
また、画像形成装置20は、用紙Pを収納する用紙収容部Tと、中間転写ベルト6上のトナー像を用紙Pに転写する二次転写装置7と、用紙Pに転写されたトナー像を定着する定着器10と、トナー像を用紙Pに転写後、中間転写ベルト6表面に残留するトナーをクリーニングする図示しないベルトクリーナーを備える。
更に、画像形成装置20は、各感光体1の表面をクリーニングする図示しないクリーナーと、各感光体1表面の残留電荷を除去する図示しない除電器を備える。
次に、図1に示されている画像形成装置20における画像形成動作について説明する。
まず、例えば、図示しない通信回線を介して図示しないパーソナルコンピュータ等の端末装置から画像形成装置20へ、各画素の濃度が256階調(8ビット)で示された画像形成対象となる画像データが出力される。なお、本実施形態では各画素の濃度を256階調(8ビット)としたが、これに限定されず、他の階調数であってもよいことは言うまでもない。
画像形成装置20に画像データが入力されると、画像形成装置20は帯電器2に帯電バイアスを印加し、感光体1の表面を負極に帯電する。
一方、画像データは、画像形成装置20の後述する制御部40に入力される。制御部40では入力された画像データに対して後述する画像処理を実施し、画像処理済みの画像データをそれぞれYMCK各色の画像データに分解した後、各色の画像データに基づいた変調信号を、対応する色のレーザ出力部3に出力する。すると、レーザ出力部3は、入力された変調信号に従って変調されたレーザ光線11を出力する。
この変調されたレーザ光線11は、それぞれ感光体1の表面に照射される。感光体1表面は帯電器2により負極に帯電した状態にあるが、感光体1表面にそれぞれレーザ光線11が照射されると、レーザ光線11が照射された部分の電荷が消滅して、感光体1上にはそれぞれYMCK各色の画像データに対応した静電潜像が形成される。
更に、各色現像器4Y、4M、4C、4Kには、それぞれY、M、C、Kに着色されると共に負極に帯電したトナー、及び各トナーを感光体1表面に付着する現像ロール34が入っている。
感光体1上に形成された静電潜像が現像器4に到達すると、図示しない現像バイアス用電源によって現像器4内の現像ロール34に現像バイアスが印加される。すると、現像ロール34Y、34M、34C、34Kの周面に保持された各色のトナーが、それぞれ感光体1Y、1M、1C、1Kの静電潜像に付着し、感光体1Y、1M、1C、1Kに各色の画像データに対応したトナー像が形成される。
更に、図示しないモータによりローラ12A、12B、12C、及び二次転写装置7のバックアップロール7Aが回転し、中間転写ベルト6が一次転写器5と感光体1により形成される間隙に搬送されることで、中間転写ベルト6が感光体1に押し当てられる。この際、一次転写器5により一次転写バイアスが印加されると、感光体1に形成された各色の画像データのトナー像が、中間転写ベルト6に転写される。この場合、各色のトナー像の中間転写ベルト6への転写開始位置を一致させるようにローラ12A、12B、12C、バックアップロール7Aの回転を制御することで、各色のトナー像を重ね合わせ、画像データに対応したトナー像が中間転写ベルト6に形成される。
中間転写ベルト6へトナー像を転写した感光体1は、図示しないクリーナーにより表面に付着した残留トナー等の付着物が除去され、図示しない除電器により残留電荷が除去される。
一方、二次転写装置7は、例えば中間転写ベルト6を支持するバックアップロール7A、バックアップロール7Aと共に用紙Pを挟持する二次転写ロール7B、補助ロール7C、二次転写ロール7B及び補助ロール7Cに張架され、二次転写ロール7Bの回転に追従して用紙Pを搬送する二次転写ベルト8等を含んで構成されると共に、二次転写ロール7Bは中間転写ベルト6に接触することで、中間転写ベルト6の搬送に追従して回転する構造になっている。
また、図示しないモータにより用紙搬送ローラ13が回転することで、用紙収容部T内の用紙Pが二次転写装置7の間隙、より具体的には、バックアップロール7Aと二次転写ロール7Bとにより形成される間隙に搬送される。
そして、用紙Pが、トナー像が形成されている中間転写ベルト6の面と対向した状態で中間転写ベルト6と共に、バックアップロール7Aと二次転写ロール7Bの間隙に挟まれる際に、バックアップロール7Aに二次転写バイアスを供給して、中間転写ベルト6に形成された画像データに対応したトナー像を用紙Pに転写する。そして、用紙Pは中間搬送ローラ14A、14Bにより定着器10に搬送され、定着器10では用紙P上に転写されたトナー像を加熱溶融して、用紙Pに定着する。
一方、用紙Pへトナー像を転写した中間転写ベルト6は、図示しないベルトクリーナーにより表面に付着した残留トナー等の付着物が除去される。
なお、図1には用紙収容部Tは1つしか明示されていないが、これに限らず、例えば、用紙Pの種類、紙厚、サイズ等毎に用紙収容部Tを複数設けてもよいことは言うまでもない。また、本実施形態に係る画像形成装置20には画像形成機能以外に、例えばスキャナ等の画像読取装置で読み取られた画像を用紙Pに複写する複写機能等を備えていてもよい。
以上により、画像データに対応した画像が用紙Pに形成され、画像形成動作が終了する。
図2は、本実施形態に係る画像形成装置20の機能を示したブロック図である。
画像形成装置20は、画像データに対して画像処理を実施する制御部40と、画像処理が施された画像データを、用紙Pにトナー像として形成する画像形成部120と、を含んで構成されている。
更に、制御部40は、画像データを構成する各画素のうち、画像の輪郭部に相当する画素(以下、エッジ画素という)を検出するエッジ検出部100と、エッジ検出部100でエッジ画素であると検出されなかった画素(以下、非エッジ画素という)に対して、エッジ検出部100とは異なる判定方法で再度エッジ画素否かを検出するエッジ再検出部105と、エッジ画素の濃度に応じて最終的にエッジ画素か否かを判定する画素濃度判定部110と、エッジ画素と非エッジ画素とで異なる処理により画素の濃度を面積階調に変換するスクリーン処理部115と、を含んで構成されている。
エッジ検出部100では、画像データに含まれる各々の画素を順に注目画素として、注目画素がエッジ画素であるか非エッジ画素であるかを検出する。この際、非エッジ画素として検出された画素をエッジ再検出部105での検出対象画素とする。
エッジ再検出部105では、各々の非エッジ画素を順に注目画素として、注目画素を含む予め定めた領域内に含まれるエッジ画素数が予め定めた閾値(以下、再判定エッジ画素数という)以上か否かを判定し、予め定めた領域内に含まれるエッジ画素数が再判定エッジ画素数以上の場合には、注目画素である非エッジ画素をエッジ画素として検出する。この場合、再判定エッジ画素数は注目画素の濃度に応じて変更する。例えば、注目画素の濃度が100%、すなわち画素値が255である場合の再判定エッジ画素数は、注目画素の濃度が100%未満の場合の再判定エッジ画素数より大きい値に設定する。
そして、エッジ再検出部105でエッジ画素と検出された画素を画素濃度判定部110の判定対象画素とする。
画素濃度判定部110では、エッジ検出部100及びエッジ再検出部105においてエッジ画素として検出された各々の画素を順に注目画素とし、注目画素の濃度が予め定めた濃度(以下、補正実施画素濃度という)以上の場合に、最終的に注目画素をエッジ画素として判定する。一方、注目画素の濃度が補正実施画素濃度未満の場合には、注目画素を非エッジ画素と判定する。
なお、補正実施画素濃度は、低濃度又は中濃度の値に設定される。ここで、例えば低濃度とは濃度が40%(画素値が102)以下、中濃度とは濃度が40%を超え80%(画素値が204)以下、高濃度とは濃度が80%を超える場合をいう。
近年の傾向では、低濃度から高濃度にかけての画像に対してエッジ画素を検出し、低濃度のエッジ画素を含めてスクリーン処理部115で補正処理を行うことで、例えば中濃度以上の画素からエッジ画素を検出した場合と比較して、画像品質を向上させようとしている。一例として、本実施形態では、補正実施画素濃度を低濃度領域である40%に設定している。
スクリーン処理部115では、画素の濃度を表現するためにスクリーン処理と呼ばれる各画素の濃度を面積階調に変換する処理を実施する。
スクリーン処理を代表するパラメータとして、1インチあたりに同じパターンがどれだけ含まれるかを表すスクリーン線数がある。画像に最適なスクリーン線数は画像の種類毎に異なる。
例えば、画像が写真等のイメージの場合には、人間の視覚特性上200線前後のスクリーン線数が好ましい。しかし、スクリーン線数が高くなるとマーキングエンジンの応答性の関係で階調性や粒状性が悪くなり、逆にスクリーン線数が低くなるとスクリーン構造が強調され、イメージの質感が無くなるため、170線以上230線以下のスクリーン線数が多用される。画像がグラフィックの場合には、階調性や粒状性が重視されるので、150線以上200線以下のスクリーン線数が多用される。
更に、画像の種類が文字や線のエッジ部ではジャギーと称される階段状のギザギザ模様や、輪郭の途切れが感じられない方が望ましいため、300線以上のスクリーン線数が多用される。また、文字や線であっても、非エッジ部ではエッジ部に用いるスクリーン線数ほどの高線数は必要ない。
そこでスクリーン処理部115では、画像の種類が文字又は線の場合、一例としてエッジ画素には600線、非エッジ画素には200線のスクリーン線数を用いてスクリーン処理を実施する。なお、本実施形態の場合、スクリーン処理に用いるスクリーン線数は画像形成装置20の利用者によって予め設定され、この利用者により予め設定されたスクリーン線数を利用者選択スクリーン線数として非エッジ画素のスクリーン処理に用いている。一方、エッジ画素のスクリーン処理に用いるスクリーン線数は、画像形成装置20の設計仕様に基づいて予め定めたスクリーン線数が用いられる。
更に後ほど説明するように、スクリーン処理部115では、各々のエッジ画素を注目画素として、注目画素の濃度が文字及び線のつぶれを生じさせる可能性のある濃度として予め定めた閾値(以下、輪郭抽出閾値という)以上か否かを判定する。そして、注目画素の濃度が輪郭抽出閾値以上の場合には、文字及び線のつぶれを抑制する補正(以下、鮮鋭補正という)を実施し、注目画素の濃度が輪郭抽出閾値未満の場合には、ジャギー又は輪郭の途切れを抑制する補正(以下、平滑化補正という)を実施する。
画像形成部120では、図1を用いて説明した画像形成動作を実施して、スクリーン処理が行われた画像データに対応したトナー像を用紙Pに形成する。
図3は、本実施形態に係る画像形成装置20の電気系統から見た要部構成を示したブロック図である。
画像形成装置20の制御部40は、例えばコンピュータ40として構成される。コンピュータ40は、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403、不揮発性メモリ404、及び入出力インターフェース(I/O)405がバス406を介して各々接続された構成であり、I/O405にはトナー像形成部21、操作表示部22、用紙供給部23、用紙排出部24、及びネットワーク通信I/F(InterFace)25が接続されている。
トナー像形成部21は、画像形成装置20が用紙Pにトナー像を形成するために必要な装置、例えば、感光体1、帯電器2、レーザ出力部3、現像器4、中間転写ベルト6、及び二次転写装置7、定着器10等を含んで構成される。
操作表示部22は、ソフトウェアプログラムによって操作指示の受け付けを実現する表示ボタンや各種情報が表示されるタッチパネル式の図示しないディスプレイ、及び、テンキーやスタートボタンなどの図示しないハードウェアキー等を含んで構成される。
用紙供給部23は、例えば、用紙Pが収容される用紙収容部Tや、用紙収容部Tからトナー像形成部21へ用紙Pを供給する供給機構等を含んで構成される。
用紙排出部24は、例えば、用紙Pが排出される排出部や、トナー像形成部21で画像が形成された用紙Pを排出部上に排出させるための排出機構等、例えば、中間搬送ローラ14A及び14B等を含んで構成される。
ネットワーク通信I/F25は、図示しない通信回線に接続され、例えば、当該通信回線に接続された図示しないパーソナルコンピュータ等の端末装置や図示しないスキャナ等の画像読取装置等と、相互にデータ通信を行うためのインターフェースであり、例えば、NIC(Network Interface Card)等を含んで構成される。
図4及び図5は、本実施形態に係る画像形成装置20のCPU401により実行される画像処理プログラムの処理の流れを示すフローチャートである。当該プログラムはROM402の予め定められた領域に予め記憶されており、例えば、CPU401が画像データを受け付けた場合等に、CPU401により実行される。
なお、画像処理プログラムは、ROM402に予めインストールされて提供される形態に限らず、CD−ROMやメモリカード等のコンピュータ読み取り可能な記録媒体に格納された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等を適用してもよい。
なお、本実施形態では、画像形成装置20の利用者によって、利用者選択スクリーン線数は予め200線に設定されているものとする。
ステップS100では、画像データの各々の画素を順に注目画素として、注目画素がエッジ画素であるか否かを判定するエッジ判定処理を行う。図5はステップS100の処理内容を示したフローチャートであり、以下、図5を用いてステップS100でのエッジ判定処理の流れを詳細に説明する。
まず、ステップS102では、注目画素の濃度が輪郭抽出閾値以上であるか否かを判定する。輪郭抽出閾値とは、既に説明したように、画像形成装置20の実機による実験や画像形成装置20の設計仕様に基づくコンピュータシミュレーション等により、文字及び線のつぶれを生じさせる可能性のある濃度として予め定めた閾値である。
本発明者らの研究の結果、画像の濃度が90%以下の場合には、主にジャギーや輪郭の途切れによる画像品質の低下が見られ、画像の濃度が90%を超えると、画像品質の低下の主原因が文字や線のつぶれによるものに変化する傾向があることがわかった。
とりわけ、画素の濃度が96%以上になると、文字や線のつぶれによる画像品質の低下が顕著になることがわかった。
従って、輪郭抽出閾値は濃度が100%又は100%近傍の値に設定することが好ましく、本実施形態では、一例として輪郭抽出閾値を99%以上の濃度に相当する値である254に設定した。換言すれば、輪郭抽出閾値は、文字及び線のつぶれによる画像品質の低下を招かないよう、画素の濃度を低減する補正が必要な濃度か否かを決定するための閾値であるとも言える。
なお、100%近傍の濃度とは、用紙Pに画像を形成した際に、濃度が100%の場合と同様に、文字及び線のつぶれによる画像品質の低下が認められる濃度の範囲をいう。
また、輪郭抽出閾値は、例えば、不揮発性メモリ404の予め定めた領域に予め記憶されているものとし、注目画素の濃度が輪郭抽出閾値以上であればステップS104へ移行する。
ステップS104では、例えば、不揮発性メモリ404の予め定めた領域に予め記憶されている値である「SHARP」を読み出す。ここで、「SHARP」は注目画素がエッジ画素であるか否かを判定するための閾値である。そして、読み出した「SHARP」をRAM403の予め定めた領域に記憶されている輪郭部判定閾値に設定する。
なお、「SHARP」の値は輪郭抽出閾値以上の値に設定する。好ましくは「SHARP」の値は輪郭抽出閾値に1を加えた値にするとよい。本実施形態では、一例として「SHARP」を100%の濃度に相当する255に設定した。
一方、ステップS102で注目画素の濃度が輪郭抽出閾値未満であると判定された場合には、ステップS106へ移行する。
ステップS106では、例えば、不揮発性メモリ404の予め定めた領域に予め記憶されている値である「NORMAL」を読み出す。ここで、「NORMAL」も「SHARP」と同様に、注目画素がエッジ画素であるか否かを判定するための閾値である。そして、読み出した「NORMAL」をRAM403の予め定めた領域に記憶されている輪郭部判定閾値に設定する。
なお、「NORMAL」の値は輪郭抽出閾値未満の値に設定する。好ましくは「NORMAL」の値は、補正実施画素濃度を輪郭抽出閾値の2分の1未満の値に設定した上で、補正実施画素濃度の2倍に設定するとよい。本実施形態では、一例として「NORMAL」の値を補正実施画素濃度の2倍、すなわち80%の濃度に相当する204に設定した。
ステップS108では、例えば、図6に示す3×3の判定領域を有するエッジ検出フィルタを用いて、判定領域内の濃度、すなわち判定領域濃度を求める。
図6(A)は縦に伸びるエッジを検出するための縦エッジ検出フィルタ、図6(B)は横に伸びるエッジを検出するための横エッジ検出フィルタ、図6(C)は左下から右上へ斜めに伸びるエッジを検出するための右上がり斜エッジ検出フィルタ、図6(D)は左上から右下へ斜めに伸びるエッジを検出するための右下がり斜エッジ検出フィルタである。
これらのエッジ検出フィルタを用いて、判定領域濃度は以下のようにして求められる。
まず、縦エッジ検出フィルタ、横エッジ検出フィルタ、右上がり斜エッジ検出フィルタ、及び右下がり斜エッジ検出フィルタの各々について、太枠で囲んだエッジ検出フィルタの中心部分(以下、判定領域中心部という)を注目画素に合わせ、判定領域中心部の周辺部分(以下、判定領域周辺部という)に対応する画素について、それぞれのフィルタの値と画素値との積和値を求める。
そして、各フィルタと画素値との積和値の中で、最も大きい積和値を判定領域濃度として、例えば、RAM403の予め定めた領域に記憶する。
なお、図6に示したエッジ検出フィルタは一例であり、判定領域の大きさは3×3の範囲に限られない。例えば、3×5等のように、判定領域の大きさが縦方向と横方向とで異なるものであってもよい。
更には、注目画素のみを判定領域とした1×1のエッジ検出ファイルを用いてもよい。なお、この場合には、判定領域周辺部が存在しないため、判定領域中心部のフィルタの値と画素値との積和値を判定領域濃度とする。
また、図6に示した各エッジ検出フィルタの値として、「−1」、「0」、「1」が用いられているが、画像データの特性に応じて、これらの値及び配置とは異なるエッジ検出フィルタを用いてもよいことはもちろんのこと、判定領域濃度を求める際に、各フィルタと画素値との積和値の中で最も大きい積和値を判定領域濃度とする方法の他に、例えば、平均値や中央値を判定領域濃度としてもよいことは言うまでもない。
ステップS110では、RAM403から予め定めた領域に記憶されている輪郭部判定閾値及び判定領域濃度を読み出し、判定領域濃度が輪郭部判定閾値以上か否かを判定する。
肯定判定の場合には、画像データの各画素と1対1に対応したRAM403上のビットマップテーブルに、注目画素がエッジ画素であることを意味するタグ情報「1」を設定してステップS120へ移行する。否定判定の場合には、ビットマップテーブルに注目画素が非エッジ画素であることを意味するタグ情報「0」を設定し、ステップS115へ移行する。
以上がステップS100でのエッジ判定処理の内容である。
次に、ステップS115では、ステップS100のエッジ判定処理で非エッジ画素と判定された画素を順に注目画素として、注目画素の中にエッジ画素として扱った方がよいと判断される画素が含まれていないかを判定するエッジ再判定処理を実施する。
そのために、まずRAM403の予め定めた領域に記憶されているビットマップテーブルのうち、タグ情報が「0」に設定されている画素を順に注目画素とし、注目画素をエッジ検出フィルタと同じ3×3の判定領域を有するエッジ再検出領域の判定領域中心部に合わせる。そして、エッジ再検出領域の判定領域周辺部に含まれるエッジ画素数、すなわち、タグ情報が「1」となっている画素数を求める。エッジ再検出領域の判定領域周辺部に含まれるエッジ画素数が再判定エッジ画素数以上であれば、注目画素のタグ情報を「0」から「1」に更新して、注目画素を非エッジ画素からエッジ画素として扱うようにする。
一方、エッジ再検出領域の判定領域周辺部に含まれるエッジ画素数が再判定エッジ画素数未満であれば、注目画素のタグ情報の更新は行わず、注目画素を非エッジ画素として確定する。
すなわち、非エッジ画素の近傍に予め定めた数以上のエッジ画素が存在する場合には、ステップS100で非エッジ画素と判定した画素をエッジ画素として処理する。ここで、非エッジ画素の近傍とは、エッジ再検出領域の判定領域周辺部の領域をいう。
ここで、再判定エッジ画素数は注目画素の濃度に応じて可変させる値であり、本実施形態では、一例として、注目画素の濃度が輪郭抽出閾値以上の場合には、画像のエッジ部が膨張しにくい数、すなわち設定範囲内でできるだけ大きな数である「8」に設定し、注目画素の濃度が輪郭抽出閾値未満の場合には、画像のエッジ部が膨張する方向に画像処理されるように、注目画素の濃度が輪郭抽出閾値以上の場合の再判定エッジ画素数より小さい値である「2」に設定する。
なお、本実施形態では、エッジ再検出領域の判定領域をエッジ検出フィルタの判定領域と同じ大きさとしたが、お互いの判定領域の大きさを異なるようにしてもよいことは言うまでもない。
以上のエッジ再判定処理において、注目画素がエッジ画素と判定された場合にはステップS120へ移行し、そうでない場合はステップS125へ移行する。
ステップS120では、ステップS100のエッジ判定処理又はステップS115のエッジ再判定処理でエッジ画素と判定された画素を順に注目画素として、注目画素の濃度が補正実施画素濃度以上か否かを判定する画素濃度判定処理を実施する。
当該判定が肯定判定の場合には、注目画素のタグ情報の更新を行わずに注目画素をエッジ画素として確定し、ステップS125へ移行する。一方、否定判定の場合には、注目画素のタグ情報を「1」から「0」に更新して、注目画素を非エッジ画素として確定し、ステップS125へ移行する。
なお、画像品質の向上の目的から、補正実施画素濃度は例えば50%未満の低濃度から中濃度の範囲の濃度に設定することが望ましく、一例として本実施形態では補正実施画素濃度を40%、すなわち画素値で表すと102に設定した。
ステップS125では、ビットマップテーブルのタグ情報を参照し、画像データの各画素をタグ情報の値が「0」の画素、すなわち非エッジ画素と、タグ情報の値が「1」の画素、すなわちエッジ画素とに選択する。そして、エッジ画素と選択された場合はステップS130へ移行し、非エッジ画素と選択された場合はステップS150へ移行する。
ステップS130では、ステップS125でエッジ画素と選択された画素を順に注目画素として、注目画素の濃度が輪郭抽出閾値以上か否かを判定する。
既に説明したように、輪郭抽出閾値は、文字や線のつぶれを生じさせる可能性があることから、画素の濃度を低減する補正が必要となる濃度か否かを決定するための閾値であり、本実施形態では、一例として輪郭抽出閾値を99%以上の濃度に相当する値である254に設定した。
この場合、注目画素の濃度が輪郭抽出閾値以上の場合にはステップS135へ移行し、そうでない場合はステップS140へ移行する。
ステップS135では、輪郭抽出閾値以上の濃度を有するエッジ画素により形成される文字や線のつぶれによる画像品質の低下を抑制するため、当該エッジ画素の濃度をより低い濃度に低減する鮮鋭補正処理を行う。本実施形態では、一例として、エッジ画素の濃度が80%、すなわち画素値が204になるように鮮鋭補正処理を実施する。なお、鮮鋭補正処理後のエッジ画素の濃度は80%に限定されず、文字や線のつぶれが抑制される濃度であればよいことは言うまでもない。
一方、ステップS140では、輪郭抽出閾値未満の濃度を有するエッジ画素により形成されるエッジ部のジャギー又は輪郭の途切れによる画像品質の低下を抑制するため、エッジ画素に利用者選択スクリーン線数である200線よりスクリーン線数の高い、例えば600線のスクリーン線数をエッジ部スクリーン線数として割り当てる平滑化補正処理を行う。
この場合、エッジ画素の濃度に応じて忠実に600線のエッジ部スクリーン線数を用いたスクリーン処理(エッジ部スクリーン処理)を行うと、利用者選択スクリーン線数を用いてスクリーン処理(利用者選択スクリーン処理)を実施した場合と比較して、用紙Pに形成される画像濃度が高くなる。
そこで、利用者選択スクリーン処理とエッジ部スクリーン処理との濃度特性を合わせる濃度特性変換テーブルEELUTを参照して、エッジ部スクリーン処理を行った際の画像濃度が利用者選択スクリーン処理を行った際の画像濃度となるように、エッジ画素の濃度を実際の濃度より低めに調整する。
具体的には、画素値が152のエッジ画素に対して利用者選択スクリーン処理を実施した場合の画像濃度と、画素値が128のエッジ画素に対してエッジ部スクリーン処理を実施した場合の画像濃度とが同じ場合、画素値が152のエッジ画素の画素値を128に低減する補正を行う。こうすることで、エッジ画素と非エッジ画素との境界における濃度段差の低減が図れることになる。
なお、濃度特性変換テーブルEELUTは、画像形成装置20の実機による実験や画像形成装置20の設計仕様に基づくコンピュータシミュレーション等により定められたテーブルであり、例えば、不揮発性メモリ404の予め定めた領域に予め記憶されている。
ステップS145では、ステップS135での鮮鋭補正処理又はステップS140での平滑化補正処理を実施したエッジ画素に対して、利用者選択スクリーン線数である200線よりスクリーン線数の高い、例えば600線のスクリーン線数を用いたエッジ部スクリーン処理を実施して用紙Pに画像データに応じた画像を形成するよう、トナー像形成部21、用紙供給部23、及び用紙排出部24を制御する。
一方、ステップS150では、ステップS125において非エッジ画素と選択された画素に対して、利用者選択スクリーン処理を実施して用紙Pに画像データに応じた画像を形成するよう、トナー像形成部21、用紙供給部23、及び用紙排出部24を制御する。
以上により本実施形態における画像処理は終了する。
図7及び図8は、図4及び図5に示した画像処理プログラムに従って画像データを処理した際の具体例を示したものである。
図7は、画像の種類が線の場合におけるCPU401でのエッジ判定の過程を示したものであり、「0」が非エッジ画素、「1」がエッジ画素と判定されていることを表している。
図7(A)は、画像処理プログラムを実施する前に、CPU401が受け付けた線の画像データであり、例として、線幅が1画素で画素値が110、すなわち濃度が約43%の線を示した図である。
図7(B)は、図7(A)の画像データに対してステップS100のエッジ判定処理を実施した後のビットマップテーブルを示した図である。
図7(C)は、図7(B)のエッジ判定処理の結果に対して、ステップS115のエッジ再判定処理を実施した後のビットマップテーブルを示した図である。
図7(D)は、図7(C)のエッジ再判定処理の結果に対して、ステップS120の画素濃度判定処理を実施した後のビットマップテーブルを示した図である。
図7(D)から、より低濃度領域に近い中濃度の線のエッジが正しく判定されることがわかる。
更に言えば、この場合、線の濃度が補正実施画素濃度以上の濃度であれば、図7(D)の結果と同様に、線のエッジが正しく判定される。
また、図7(E)は図7(A)とは異なる線の画像データであり、例として、線幅が4画素で画素値が255、すなわち濃度が100%の線を示した図である。
図7(F)は、図7(E)の画像データに対してステップS100のエッジ判定処理を実施した後のビットマップテーブルを示した図である。
図7(G)は、図7(F)のエッジ判定処理の結果に対して、ステップS115のエッジ再判定処理を実施した後のビットマップテーブルを示した図である。
図7(H)は、図7(G)のエッジ再判定処理の結果に対して、ステップS120の画素濃度判定処理を実施した後のビットマップテーブルを示した図である。
図7(H)から、鮮鋭補正を必要とする高濃度の線のエッジも正しく判定されることがわかる。従って、この後に実施される鮮鋭補正処理において、線全体の濃度ではなく線のエッジの濃度が低減されることから、線のつぶれが抑制されることになる。
図8は、本実施形態に係る画像処理プログラムの鮮鋭補正処理前の文字と、鮮鋭補正処理後の文字とを比較した図である。
図8(A)は、鮮鋭補正処理前の濃度100%の黒色で描かれた塗りつぶし文字を表しており、図8(B)は、同塗りつぶし文字の鮮鋭補正処理後の状態を表している。
また、図8(C)は、鮮鋭補正処理前の濃度100%の黒色を背景とした白抜き文字を表しており、図8(D)は、同白抜き文字の鮮鋭補正処理後の状態を表している。
塗りつぶし文字及び白抜き文字共に、図8(B)及び図8(D)の鮮鋭補正処理後の状態の方が鮮鋭補正処理前に比べて文字のつぶれが低減され、文字の輪郭がより鮮明になっていることがわかる。
以上の結果から、本実施形態に係る画像処理を実施することで、補正実施画素濃度以上の濃度を有する文字や線のエッジが正しく判定され、文字や線の濃度が輪郭抽出閾値以上の濃度である場合には、文字や線のつぶれによる画像品質の低下を抑制すると共に、文字や線の濃度が輪郭抽出閾値未満の濃度である場合には、文字や線のジャギーや輪郭の途切れによる画像品質の低下が抑制されることがわかる。
このように、本実施形態に係る画像処理では、補正実施画素濃度を低濃度領域に設定して、低濃度領域から文字や線のエッジ判定を行った場合でも、画素の濃度が輪郭抽出閾値以上か否かにより輪郭部判定閾値を変更することで、文字や線のつぶれによる画像品質の低下を抑制すると共に、文字や線の輪郭部におけるジャギーや輪郭の途切れによる画像品質の低下を抑制する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
また、本実施形態では、一連の画像処理をソフトウエア構成によって実現した場合について説明したが、本発明はこれに限定されるものではなく、例えば当該処理をハードウェア構成により実現する形態としてもよい。
この場合の形態例としては、例えば、制御部40が実行する処理に対応した機能デバイスを作成して用いる形態がある。この場合は、本実施形態の場合と比較して、処理の高速化が期待される。
20 画像形成装置
21 トナー像形成部
22 操作表示部
23 用紙供給部
24 用紙排出部
25 ネットワーク通信I/F
40 制御部(コンピュータ)
100 エッジ検出部
105 エッジ再検出部
110 画素濃度判定部
115 スクリーン処理部
120 画像形成部

Claims (5)

  1. 画像の各々の画素を注目画素として、前記注目画素を含む予め定めた領域の濃度が、前記注目画素の濃度に応じて設定された閾値であって、前記注目画素が前記画像の輪郭部分に相当する輪郭部画素か否かを判定するための閾値である輪郭部判定閾値以上の場合に、前記注目画素を前記輪郭部画素として検出する検出手段と、
    前記検出手段により検出された前記輪郭部画素のうち、予め定めた濃度以上の前記輪郭部画素を補正の対象である補正画素として、前記補正画素の濃度に応じて補正する補正手段と、を備え
    前記検出手段は、前記注目画素の濃度が、前記補正手段によって前記補正画素の濃度を低減する補正を実施するか否かの基準となる予め定めた閾値以上の場合には、前記輪郭部判定閾値を前記予め定めた閾値以上の値である第1の閾値に設定して、前記予め定めた領域の濃度が前記第1の閾値以上の場合に前記注目画素を前記輪郭部画素として検出し、前記注目画素の濃度が、前記予め定めた閾値未満の場合には、前記輪郭部判定閾値を前記予め定めた閾値未満の値である第2の閾値に設定して、前記予め定めた領域の濃度が前記第2の閾値以上の場合に前記注目画素を前記輪郭部画素として検出する
    画像処理装置。
  2. 前記第2の閾値は、前記予め定めた濃度の2倍の値である
    請求項記載の画像処理装置。
  3. 前記補正手段は、前記補正画素の濃度が前記予め定めた閾値以上の場合には、前記補正画素の濃度を低減させるように補正し、前記補正画素の濃度が前記予め定めた閾値未満の場合には、前記補正画素に対応した前記画像を形成するスクリーン線数を、予め定めたスクリーン線数より多くする
    請求項又は請求項に記載の画像処理装置。
  4. コンピュータを、請求項1〜請求項の何れか1項に記載の画像処理装置を構成する各手段として機能させるための画像処理プログラム。
  5. 請求項1〜請求項の何れか1項に記載の画像処理装置と、
    前記画像処理装置により画像処理が実施された画像を記録媒体に形成する画像形成手段と、
    を備えた画像形成装置。
JP2013138421A 2013-07-01 2013-07-01 画像処理装置、画像処理プログラム、及び画像形成装置 Expired - Fee Related JP5994741B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013138421A JP5994741B2 (ja) 2013-07-01 2013-07-01 画像処理装置、画像処理プログラム、及び画像形成装置
US14/187,780 US9036210B2 (en) 2013-07-01 2014-02-24 Image processing device, image forming apparatus, image processing method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013138421A JP5994741B2 (ja) 2013-07-01 2013-07-01 画像処理装置、画像処理プログラム、及び画像形成装置

Publications (2)

Publication Number Publication Date
JP2015012545A JP2015012545A (ja) 2015-01-19
JP5994741B2 true JP5994741B2 (ja) 2016-09-21

Family

ID=52115338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013138421A Expired - Fee Related JP5994741B2 (ja) 2013-07-01 2013-07-01 画像処理装置、画像処理プログラム、及び画像形成装置

Country Status (2)

Country Link
US (1) US9036210B2 (ja)
JP (1) JP5994741B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6418742B2 (ja) 2014-01-21 2018-11-07 キヤノン株式会社 画像形成装置
US9934555B1 (en) * 2014-03-20 2018-04-03 Amazon Technologies, Inc. Processing an image to reduce rendering artifacts
JP6736299B2 (ja) * 2016-01-26 2020-08-05 キヤノン株式会社 印刷装置、印刷方法、および、プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3251119B2 (ja) * 1994-02-28 2002-01-28 株式会社リコー 画像処理装置
JP3159239B2 (ja) * 1996-11-08 2001-04-23 富士ゼロックス株式会社 画像処理装置および画像形成装置
JP4468826B2 (ja) * 2005-01-07 2010-05-26 株式会社リコー 画像処理装置および画像処理方法
JP2006262204A (ja) * 2005-03-17 2006-09-28 Fuji Xerox Co Ltd 画像処理装置及び画像処理方法
JP5644230B2 (ja) * 2010-07-21 2014-12-24 富士ゼロックス株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US9036210B2 (en) 2015-05-19
JP2015012545A (ja) 2015-01-19
US20150002903A1 (en) 2015-01-01

Similar Documents

Publication Publication Date Title
JP4882390B2 (ja) 画像処理装置
JP2012185380A (ja) 画像処理装置、画像形成装置、及びプログラム
JP6274185B2 (ja) 画像処理装置及び画像処理方法
JP5994741B2 (ja) 画像処理装置、画像処理プログラム、及び画像形成装置
JP6071518B2 (ja) 画像形成装置、及び画像形成方法
JP5640538B2 (ja) 画像処理装置、画像形成装置および画像処理プログラム
JP4485430B2 (ja) 画像処理装置、画像処理方法、およびその方法をコンピュータに実行させるプログラム
JP3874718B2 (ja) 画像処理装置,画像形成装置
JP5289030B2 (ja) 画像形成装置
JP5593769B2 (ja) 画像処理装置及び画像処理方法
JP2017060015A (ja) 画像形成装置、画像処理装置およびプログラム
JP6922465B2 (ja) 画像形成装置、及び画像形成プログラム
JP5644230B2 (ja) 画像処理装置及び画像処理方法
JP2016064511A (ja) 画像形成装置および画像処理装置
JP2014110587A (ja) 画像処理装置、画像形成装置およびプログラム
JP6935708B2 (ja) 画像処理装置、画像形成装置、及びプログラム
JP6834361B2 (ja) 画像形成装置、画像形成システム、色補正方法および色補正プログラム
JP2013048371A (ja) 画像処理装置、画像形成装置およびプログラム
JP2014110588A (ja) 画像処理装置、画像形成装置およびプログラム
JP6977390B2 (ja) 画像処理装置、画像形成装置、及びプログラム
JP6836725B2 (ja) 画像形成装置
JP2012237916A (ja) 画像形成装置、情報処理装置、クリーニング制御方法、プログラム、及び記録媒体
JP6476933B2 (ja) 画像処理装置、画像形成装置、画像処理方法及びコンピュータープログラム
JP6565463B2 (ja) 画像処理装置、画像形成装置、および画像処理プログラム
JP2017060014A (ja) 画像形成装置、画像処理装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160808

R150 Certificate of patent or registration of utility model

Ref document number: 5994741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees