JP3581526B2 - 画像処理装置及びその方法 - Google Patents

画像処理装置及びその方法 Download PDF

Info

Publication number
JP3581526B2
JP3581526B2 JP18403997A JP18403997A JP3581526B2 JP 3581526 B2 JP3581526 B2 JP 3581526B2 JP 18403997 A JP18403997 A JP 18403997A JP 18403997 A JP18403997 A JP 18403997A JP 3581526 B2 JP3581526 B2 JP 3581526B2
Authority
JP
Japan
Prior art keywords
image processing
image
pattern
dot pattern
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18403997A
Other languages
English (en)
Other versions
JPH1132202A (ja
Inventor
信篤 笹沼
雄一 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP18403997A priority Critical patent/JP3581526B2/ja
Publication of JPH1132202A publication Critical patent/JPH1132202A/ja
Application granted granted Critical
Publication of JP3581526B2 publication Critical patent/JP3581526B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置及びその方法に関し、特に、入力画像に基づいて記録媒体上にカラー画像を形成するための画像処理を行う画像処理装置及びその方法に関する。
【0002】
【従来の技術】
従来より、カラー画像形成装置には、紙幣、有価証券等の特定原稿の偽造を防止するための様々な対策が盛り込まれている。その手法の1つに、使用した、画像形成装置を特定するために、画像上に、目視ではわかりにくい画像形成装置特有の記号を一定の変調量で画像情報に重畳させる方法がある。
【0003】
この方法によれば、仮にその画像形成装置を用いて有価証券の偽造が行われた場合に、その偽造物を特定の波長域だけ抽出できる読み取り装置を用いて画像形成装置固有の記号(パターン)を判読することができる。このため、偽造に使われた画像形成装置を特定でき、偽造者の追跡に有効な手がかりとなる。
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来例では、画像形成装置に入力される画像データがあらかじめ階調数、ドットの形成間隔、シャープネス等を調整する画像処理が施されている場合、あるいは、画像形成装置自体が、上記のような画像処理回路を複数種類もっている場合は、重畳するパターンが全ての種類の画像処理に対応できなくなってしまう。具体的には、画像形成装置固有の記号(パターン)が判読できない、とか、逆に、重畳された記号が目立ちすぎて異常画像として認識されてしまう、という問題が発生することがある。
【0005】
本発明は上記の問題に鑑みてなされたものであり、可視画像の形成に際して複数種類の画像処理が適用可能な画像形成装置において、適用された画像処理に適した所定パターンを重畳することを可能とする画像形成装置及びその方法を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記の目的を達成するための本発明の画像形成装置は以下の構成を備える。すなわち、
入力画像に対して、複数の領域と、該複数の領域の各々に適用すべき画像処理を設定する設定手段と、
前記複数の領域のそれぞれについて、前記設定手段で設定された画像処理に基づいて用いるべきドットパターンを決定し、該決定されたドットパターンにより所定の付加情報を示すパターンを発生する発生手段と、
前記入力画像における前記複数の領域の各々に、前記発生手段で発生しパターンを人間の目に識別しにくく付加する付加手段とを備える。
【0007】
また、上記の目的を達成する本発明の画像形成方法は、
入力画像に対して、複数の領域と、該複数の領域の各々に適用すべき画像処理を設定する設定工程と、
前記複数の領域のそれぞれについて、前記設定工程で設定された画像処理に基づいて用いるべきドットパターンを決定し、該決定されたドットパターンにより所定の付加情報を示すパターンを発生する発生工程と、
前記入力画像における前記複数の領域の各々に、前記発生工程で発生しパターンを人間の目に識別しにくく付加する付加工程とを備える。
【0008】
【発明の実施の形態】
以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。なお、以下の実施形態では、複写機(フルカラー画像形成装置)の例が示されるが、本発明はこれに限るものではなく、他の種々の装置に適用できることは勿論である。また本発明を適用できる各装置では、偽造防止として、紙幣、有価証券等の特定原稿を対象とする。
【0009】
<第1の実施形態>
以下、電子写真方式のフルカラー画像形成装置を例に本発明の第1の実施形態を説明する。なお、電子写真方式に限らず、銀塩写真方式、熱転写方式、昇華型方式等の各種の画像形成方式についても、本発明が適用可能であることは言うまでもない。
【0010】
図1は第1の実施形態によるフルカラー画像形成装置の内部構成を概略的に示す側断面図である。同図において、1はポリゴンミラー、2はミラー、3Yはイエロー現像器、3Mはマゼンタ現像器、3Cはシアン現像器、3BKはブラック現像器、4は感光体ドラム、111は転写ドラム、6は記録材、7は定着ローラ、101は原稿、102は原稿台ガラス、103は光源、104は光学レンズ、105はCCD、106はA/Dコンバータ、107は画像処理部、108はレーザ光源、109は帯電器、110はクリーニングブレード、111は転写ドラム、112は転写帯電器をそれぞれ示している。
【0011】
図2は第1の実施形態によるフルカラー画像形成装置の画像記録動作を説明するフローチャートである。以下、図1及び図2を参照しながら、上記構成によるカラー画像の形成方法を説明する。
【0012】
原稿台ガラス102上に置かれた原稿101に照射され、反射された光源103よりの照明光は、光学レンズ104によりCCD105に結像され、受光量に応じた画像信号に変換される。画像信号はA/D変換コンバータ106によりデジタル値に変換され、画像処理部107により、画像処理された後、レーザ光源108をドライブする。なお、画像処理部107には、制御プログラムを格納するROM、ROMに格納された制御プログラムに基づいて各種制御を実現するCPU、CPUが各種処理を行うに際して必要な作業領域を提供するRAMを含んでいる。
【0013】
レーザ光源108より発射されたレーザ光はポリゴンミラー1及びミラー2により反射され、感光体ドラム4上に照射される。感光体ドラム4上は、あらかじめトナーがのっていないようにクリーニングブレード110でクリーニングされた後、帯電器109によって均一に帯電される。
【0014】
まず、最初にY(イエロー)の画像信号で、レーザ光の走査により潜像が形成された感光ドラム4は、図中に示す矢印の方向に回転する。現像器3Yにより現像がなされる。さらに感光体ドラム4を回転させ、記録材6を転写ドラム111に吸着させると共に(ステップS91)、転写帯電器112により感光体ドラム4上に形成されたトナー画像を記録材6上に転写させる(ステップS92)。
【0015】
次に、M(マゼンタ)の画像信号で、潜像形成、現像を行った後、画像のレジストレーションを合わせた位置条件で、記録材6上のY画像の上に多重転写する(ステップS93)。同様に、C,Bkとも画像形成、多重転写して(ステップS94,S95)、転写紙を転写ドラム111より分離して(ステップS96)、定着ローラ対7で定着する(ステップS97)。以上のようにして、カラー画像プリントが完成する。
【0016】
以上のような画像形成の過程において、本実施形態のフルカラー画像形成装置では、CCD105から入力した画像信号に対して、文字等の出力に適した2値化処理と、階調画像の出力に適した多値画像処理のいずれかを選択して用いることができる。また、Y画像の形成時には、装置固有のパターンが重畳されて記録される。以下、本実施形態によるパターンの重畳処理について説明する。
【0017】
図3は第1の実施形態による画像処理手順を説明する図である。図3において、画像のRGB(Red,Green,Blue)信号がCCD105で得られる。このRGB信号はアナログ信号であり、A/Dコンバータ106によってデジタルのRGB信号に変換される。シェーディング回路12以降の構成は、画像処理部107内の構成である。シェーディング回路12は、CCD105の個々の素子の感度バラツキを補正すべく、得られたRGB信号を修正する。修正されたRGB信号はLOG変換回路13によりCMY(Cyan,Magenta,Yellow)信号に変換される。
【0018】
さらに、本画像形成装置では、画像信号特性の異なる複数種類の画像処理回路が組み込まれており、そのどれを使用するかに応じて、回路の選択を行う、セレクタ回路14が設置されている。
【0019】
ここでは、8bit信号(256階調)の分解能をもち、その多値情報をもとに、パルス幅変調により、面積階調再現で階調画像を形成するための画像処理回路(以下、多値出力用の画像処理回路)と、平均濃度法を用いた誤差拡散手法により、信号を0と255レベルの2値にする、2値画像処理ドットの単位面積あたりの個数で階調再現させる画像処理回路(以下、2値出力用の画像処理回路)の2つの画像処理回路をもっている。
【0020】
2値出力用の画像処理は、原稿が文字を中心とした画像のときに良好に画像再現を行える。一方、多値出力用の画像処理は、多値のパルス幅変調による画像再現を行い、原稿画像が階調画像を中心とした画像である場合に良好な画像再現を行える。
【0021】
これらの画像処理回路の使い分けは、フルカラー画像形成装置の操作パネル201を介してユーザが選択できるようになっている。
【0022】
画像形成装置の操作パネル201を介して2値出力用の画像処理をユーザが選択した場合、その旨の信号がセレクタ14に供給され、セレクタ14は2値出力画像処理回路を選択する。この結果、セレクタ14は、LOG変換回路13より入力されたCMY信号を、先に述べた誤差拡散手法を用いた2値化処理を実行する2値化処理回路15へ供給することになる。
【0023】
2値化処理回路15によって2値化されたCMY信号は、マスキング/UCR回路16に入力され、カラーマッチングされたCMYK信号に変換される。さらに、空間フィルタ回路16により、画像をくっきりさせたり、スムーズにさせたりするために、画像信号のアレンジを行う。そして、濃度変換回路18を通すことにより、プリンタの階調特性に応じた濃度変換補正が行われる。
【0024】
ROM24には、各画像処理別に最適なパターンを表すパターン情報を登録してある。機番パターン発生回路25は、セレクタ14からの画像処理選択信号(2値化出力用の画像処理と多値出力用の画像処理のいずれが選択されたかを示す信号)に基づいて適切なパターン情報をROM24から取り出し、パターン変調制御部26に渡す。例えば、上述のように2値化出力用画像処理が選択された場合には、図4のドットパターン(以下、単位ドットともいう)が選択される。そして、パターン変調制御部26は、選択されたドットパターンを、目視で分解能が一番劣るY(Yellow)の画像信号に、ROM24から読み取られた機番に対応するドットパターン群(以下、機番パターンともいう)を重畳させるための重畳信号を出力する。
【0025】
機番パターンは、フルカラー画像形成された後に、350nmのナロウバンドフィルタを通してイエローの信号を分離することにより判読でき、仮に偽造が行われたとしても、どの機械(画像形成装置)で行われたのかを特定することが可能となる。
【0026】
図4のパターンについて説明する。図4は第1の実施形態による2値化出力に適したドットパターンの例を示す図である。2値画像の場合、0と255の信号がばらまかれている画像データ間にドットパターンを埋め込まないといけない。従って、埋め込まれたドットパターンを判読できるように、ドットパターンのエリアを大きくとる必要がある。また、2値データ画像なので、ドットパターンの信号変調量も、データの足し引きでなく、図のように、強制的に特定の画素を0と255にするようにして、確実に判読できるようにした。なお、数字の書いていない画素のところは、変調をかけないことを意味する。
【0027】
コンパレート回路19は、パターンを重畳させるための重畳信号と濃度変換回路18を経たCMYK信号を入力し、Y信号のみに重畳信号を重畳させて、得られたCMYK信号をパルス巾変調回路27に出力する。パルス幅変調回路27では、「0」と「255」に対応するレーザ発光を行い、上述した画像形成工程を経てフルカラー画像が形成される。
【0028】
次に、階調性を重視した、多値出力用の画像処理が選択された場合を説明する。LOG変換回路13より出力されたCMY信号は、セレクタ14によってマスキング/UCR回路20に供給される。その後、空間フィルタ回路21、濃度変換回路22を経てコンパレート回路23へ供給される。機番パターン発生回路25は多値出力用の画像処理(本例では多値パルス幅画像処理)に最適なドットパターン(本例では図5のどっとパターンを用いる)を形成するための情報をROM24から取り出して、パターン変調制御部26に渡す。パターン変調制御部26は、機番パターン発生回路25より供給される機番パターンを、選択されたドットパターンで形成すべくパターン変調を制御する。
【0029】
コンパレート回路23は、入力されたCMYK信号のうち、目視で分解能が一番劣るY(Yellow)のみの画像信号に図5のドットパターンで形成された機番パターンを重畳させる。パルス巾変調回路27はコンパレート回路23を経て入力されたCMYK信号に従って、「0」〜「255」の値に応じたパルス幅の信号を形成する。
【0030】
パルス巾変調回路27よりのパルス巾変調を受けた画像データは、レーザダイオードドライバ28に供給され、画像形成が行われる。
【0031】
図5は多値出力用の画像処理を受けた画像データに適したドットパターンの例を示す図である。
【0032】
先程の2値出力用のドットパターン(図4)と異なり、多値データなので、画像データに対して、変調量を足し引きするようにする。図5では、プラスα、マイナスαと書き込んであるところが変調箇所で、αは画像形成装置の性能により最適化されることが望ましい。なお、αの値は、例えば、トナーのドット間隔(解像度)によって決定される。解像度が低いほど(ドット間隔が大きいほど)アルファの値を大きく取るのが好ましい。
【0033】
なお、αの値は、画像形成装置内に設けられた環境センサ(温度、湿度を測定するセンサであり、図示は省略してある)による検出値により、可変制御したり、耐久枚数により可変制御したりするようにしてもよい。このようにすれば、より、確実に判読可能で、なおかつ、パターンがブツブツに目立たないようにドットパターンを制御することができる。
【0034】
また、多値画像用のドットパターンのサイズは2値画像の場合より小さくても十分に判読可能であり、仮に2値画像処理のパターンを採用すると、ブツブツが目立ってしまい、異常画像に見えてしまう。
【0035】
次に、パターンの付加方法、パターンの付加回路について、詳細に説明する。[ドットパターンの付加方法]
まず、本実施形態におけるパターンの付加方法の一例を説明する。上述したように、図4及び図5には第1の実施形態によるドットパターンの一例が示されている。本実施形態では、画像処理の種別に応じて、これらドットパターンの何れかを選択し、選択されたドットパターンを用いて機番に応じた機番パターンをY画像に重畳していく。
【0036】
図6及び図7は第1の実施形態によるアドオンラインの一例を示す図である。アドオンラインとは、図4もしくは図5に示されるようなドットパターンを含むラインである。従ってアドオンラインの副走査方向の画素数は、ドットパターンの副走査方向の画素数と一致し、図4のドットパターンを採用した場合は4画素、図5のドットパターンを採用した場合は2画素となる。以下、図4のドットパターンを用いた場合を例に挙げて説明する。
【0037】
図6において、401はアドオンラインで、4画素の幅である。401a〜401eはそれぞれ図4に示したドットパターンで、例えば5×4画素である。ドットパターン401a〜401eは、主走査方向にd1(例えば128画素)の略一定周期で並んでいる。さらに、図7において、501〜510はアドオンラインで、例えば4画素の幅であり、副走査方向にd2(例えば16画素)の略一定周期で並んでいる。詳細は後述するが、例えば、1本のアドオンラインは4ビット分の情報(0h〜Fh)を表し、アドオンライン502〜509の8本のアドオンラインは一組となって、28ビットの付加情報(機番)を表すことができる(8本のうち1本は基準ラインとなるので、4ビット×7=28ビット)。なお、アドオンラインは副走査方向に繰返し形成され、例えば、図7に示すアドオンライン501と509は同一の情報を表す。
【0038】
図8及び図9はアドオンラインによる情報の表現方法の一例を示している。図8において、601と602はアドオンラインで、両アドオンラインは副走査方向に隣合っている。また、601a,601bおよび602aはドットパターンである。隣合ったアドオンラインのドットパターン同志が接近して目立つのを防ぐため、隣合ったアドオンライン上のドットパターン同志は、主走査方向へ少なくともd3(例えば32画素)の間隔が開くように設定する。
【0039】
ドットパターンによって表されるデータは、ドットパターン602aと、ドットパターン601aとの位相差によって決定される。図8は4ビット情報を表す一例を示しているが、図8においては、単位ドット602aはデータ‘2’を表している。例えば、単位ドット602aが最左端にあればデータ‘0’を、単位ドット602aが最右端にあればデータ‘F’を表すことになる。
【0040】
図9において、全付加情報を表す一組のアドオンラインのうち、同図(a)は1番目のアドオンラインLine0を、同図(b)は4番目のアドオンラインLine3を表す。図9に示すように、Line0には、本来のドットパターン701a〜701dのすべての右側に、d4(例えば16画素)の間隔でドットパターン702a〜702dが追加され、Line3には、本来のドットパターン704a〜704dのすべての右側に、d5(例えば32画素)の間隔でドットパターン705a〜705dが追加されている。この追加ドットは、各アドオンラインが、何番目のアドオンラインかを明確にするためのマーカである。なお、2本のアドオンラインにマーカを追加するのは、出力画像からでも、副走査方向の上下を確定することができるようにするためである。
【0041】
また、上述したドットパターンの付加は、人間の目がYのトナーで描かれたパターンに対しては識別能力が低いことを利用して、Yのトナーのみで行われる。また、付加パターンの主走査方向のドット間隔と、副走査方向の全付加情報の繰返し間隔とは、対称とする特定原稿において、ドットが確実に識別できるような薄くて均一な領域へ、確実に全情報が付加され得るように定める必要がある。
【0042】
[ドットパターンの付加回路]
次に、第1の実施形態によるドットパターンの付加回路の一例について説明する。
【0043】
図10〜図16は、機番パターン発生回路25、パターン変調制御部26、コンパレート回路19から構成されるパターン付加回路の構成例を説明するためのブロック図である。
【0044】
図10はパターン変調制御部26の回路構成例を示す図である。同図において、副走査カウンタ819では主走査同期信号HSYNCを、主走査カウンタ814では画素同期信号CLKを、それぞれ7ビット幅すなわち128周期で繰返しカウントする。副走査カウンタ819の出力Q1〜Q3に接続されたゲート回路820は、使用された画像処理を示す選択信号に応じて、副走査方向16ライン毎に4ラインの期間「H」となる信号(2値出力用画像処理が選択された場合)、もしくは副走査方向16ライン毎に2ラインの期間ハイレベル(H)となる信号(多値出力用画像処理が選択された場合)を出力する。すなわち、ゲート回路820は、アドオンラインに含まれる走査ラインである間、出力信号がHとなり、アドオンラインのイネーブル信号(ADLIN)となる。
【0045】
図11はゲート回路820の構成を説明する図である。選択信号が2値出力用の画像処理が行われたことを示す場合、セレクタ820cはANDゲート820aの出力を選択する。また、選択信号が多値出力用の画像処理が行われたことを示す場合、ANDゲート820bの出力を選択して出力する。ANDゲート820aは、副走査カウンタ819のビット2(Q2)とビット3(Q3)が、ともにHのときにHを出力する。すなわち、ANDゲート820aの出力は、副走査方向16ライン毎に4ラインの期間にわたってHとなる。一方、ANDゲート890aは、副走査カウンタ819のビット2(Q2)とビット3(Q3)がともにHであり、かつビット1(Q1)がローレベル(L)のときにHとなる。すなわち、ANDゲート820bの出力は、副走査方向16ライン毎に2ラインの期間にわたってHとなる。
【0046】
また、ゲート822は、ゲート回路820の出力と副走査カウンタ810の上位3ビット(Q4〜Q6)とを入力し、これらの論理積をとることによって、アドオンラインのライン0のイネーブル信号LINE0を出力する。また、ゲート821は、アドオンラインのライン3のイネーブル信号LINE3を生成する。これらの信号LINE0、LINE3は、図9で説明したようなマーカを示すドットパターンを埋め込むのに使用される。
【0047】
一方、主走査カウンタ814へは、詳細は後述するが、HSYNCによって初期値がロードされる。ゲート815〜817は、主走査カウンタ814の上位4ビット(Q3〜Q6)、及びゲート回路890の出力信号を入力する。図12はゲート回路890の回路構成例を示す図である。図12に示されるように、ゲート回路890はANDゲート890aとORゲート890bを含み、Q0〜Q2が000〜100の期間(5画素)の区間でHとなる。
【0048】
従って、ANDゲート815の出力は、128画素毎に5画素の区間だけHとなり、これをドットイネーブル信号とする。また、ANDゲート816と817には、主走査カウンタ814の上位4ビットとゲート回路890よりの信号の他に、それぞれ信号LINE0とLINE3が入力される。このため、ANDゲート816と817からは、それぞれライン0とライン3のマークのイネーブル信号が出力される。これら、ドットおよびマークイネーブル信号はORゲート818によりまとめられる。そして、ORゲート818の出力と、ゲート回路820の出力とが、ANDゲート824で論理積され、アドオンライン上のドット重畳位置でだけHとなる、ドットおよびマークのイネーブル信号となる。
【0049】
図13は、以上のようにして生成されたドットイネーブル信号とマークイネーブル信号を概念的に示す図である。16本の副走査ライン毎に4ライン(もしくは2ライン)の走査期間がアドオンラインとなり、アドオンライン中の128画素毎の120画素目〜124画素目の5画素の期間(図13の1300)にドットイネーブル信号が出力される。また、0番目のアドオンライン(LINE0)においては128画素毎の8画素目〜12画素目の期間(図13の1301)にマークイネーブル信号が出力される。同様に、4番目のアドオンライン(LINE3)においては、128画素毎の24画素目〜28画素目の期間(図13の1302)にマークイネーブル信号が出力される。
【0050】
上述の如きANDゲート824の出力信号は、F/F828において、画素同期信号CLKに同期させられ、ANDゲート830において、2ビットの出力カラー選択信号CNOと論理積される。出力カラー選択信号CNOのビット0は、インバータ829で否定されてANDゲート830に入力され、出力カラー選択信号CNOのビット1は、そのままANDゲート830に入力されるので、信号CNO=“10”のとき、すなわちY画像の印刷時(本例では、CNO=“10”がYの色画像を示す)に、ドットおよびマークイネーブル信号が有効になるようにしている。
【0051】
さて、図4、図5でも説明したように、本実施形態のドットパターンは、1番目と5番目が「0」または「−α」であり、3番目が「255」または「+α」となっている。従って、上述のドットイネーブル信号もしくはマークイネーブル信号がHとなっている間に、図4、図5に示されるようなドットパターンを形成するべく、カウンタ825、ゲート回路826、フリップフロップ(F/F)827を設けてある。
【0052】
ANDゲート824の出力は、カウンタ825のクリア端子CLRにも接続されており、カウンタ825はANDゲート824の出力がHの時、すなわちアドオンラインのドットイネーブル時あるいはマークイネーブル時にのみ、画素同期信号CLKのカウントを行う。カウンタ825の出力のビット1(Q1)とビット0(Q0)は、ゲート回路826へ入力され、アドオンラインのドットイネーブル期間(もしくはマークイネーブル期間)(5CLK)中の第1クロックと第5クロックでHとなるMINUS信号、第1、第3、第5クロックでHとなる信号▲4▼が出力される。ゲート回路826の出力は、F/F827a及びF/F827bによって画素同期信号CLKに同期される。ここで、信号MINUSがHのときは、アドオンラインのドットは−αに変調される。
【0053】
図14はゲート回路826の詳細な回路構成を説明するブロック図である。ANDゲート826aは、Q0とQ1がともにLであるときに信号Hを出力する。従って、000〜100のカウンタ825の出力のうちの第1番目(000)と第5番目(100)にのみHとなる。従って、上述のMINUS信号が生成されることになる。また、インバータ826bはカウンタ825のQ0の信号を反転出力するので、カウンタ825がの値が「000」のとき(第1番目)、「010」のとき(第3番目)、「100」のとき(第5番目)に信号Hが出力される。従って、上述の信号▲4▼となる。
【0054】
なお、F/F827aは信号MINUSについて、F/F827bは信号▲4▼について、ヒゲを除去すると共に、アドオンラインのドットイネーブル信号と位相を合わせる。
【0055】
以上説明した信号▲1▼、▲4▼、MINUS(▲2▼)を用いて、コンパレート回路19、23はドットパターンの重畳を行う。図15はコンパレート回路の構成例を示すブロック図である。
【0056】
AND部832には、レジスタ831から例えば8ビットの変調量α、ANDゲート830の出力▲1▼、及びF/F827bの出力▲4▼が入力される。アドオンラインのドットパターンを重畳するタイミング(信号▲1▼がH)で、かつ変調を行うべき画素のタイミング(信号▲4▼がH)のときにのみ、レジスタ831に格納されたαがAND部832より出力されることになる。従って、AND部832からは、アドオンラインの変調すべきドットのタイミングで変調量αが出力されることになる。このため、アドオンラインの変調すべきドット以外の画素については、AND部832が出力する変調量が0となるため変調されることはない。
【0057】
833は加算部、835は減算部で、ともに、端子Aに例えば8ビットの画像信号Vが入力される。端子Bヘは、AND部832が出力した変調量αが入力される。そして、加算部833の出力はOR回路834へ入力され、減算部835の出力はAND回路837へそれぞれ入力される。
【0058】
なお、変調する場合、OR回路834は、加算回路833の加算結果V+αがオーバーフローしてキャリー信号CYが出力された場合に、演算結果を強制的に例えば255にする。また、AND回路837は、減算回路835の減算結果V−αがアンダフローしてキャリー信号CYが出力された場合に、インバータ836で反転されたキャリー信号CYによって、演算結果を強制的に例えば0にするものである。従って、αとして「255」を設定することにより、図4に示すようなどっとパターンを重畳することが可能となる。
【0059】
そして、両演算結果「V+α,V−α」あるいは「0、255」が、セレクタ838に入力され、ゲート回路826で生成された信号MINUS(F/F827aの出力▲2▼)に応じて、セレクタ838から出力される。
【0060】
以上の回路構成で、図4または図5に示した、ドットの変調が施される。次に、機番に応じてドットパターンを各アドオンラインに配置することで機番パターンを生成するが、その構成を説明する。図16は機番パターン発生回路の回路構成例を説明する図である。機番パターンは、主走査カウンタ814へロードする値を以下のように制御することで発生させる。
【0061】
まず、副走査同期信号VSYNCによって、F/F813およびカウンタ809がリセットされるので、最初のアドオンラインでは、主走査カウンタ814の初期値に0が設定される。
【0062】
ここで、カウンタ809とF/F813のクロック端子へ入力される信号ADLINは、アドオンラインのイネーブル信号であるANDゲート820の出力を、F/F823で主走査同期信号HSYNCに同期させた信号である。
【0063】
セレクタ810は、セレクト端子Sに入力される例えば3ビット信号に応じて、8本のアドオンラインのそれぞれの例えば4ビット値が設定されているレジスタ801〜808のうちの1つを選択して、選択したレジスタに設定されている値を出力する。
【0064】
セレクタ810のセレクト信号は、信号ADLINをカウントするカウンタ809によって生成される。最初のアドオンラインのタイミングでは、カウンタ809は、副走査同期信号VSYNCでクリアされているので、セレクト信号は0である。従って、セレクタ810は、レジスタ801を選択する。そして、信号ADLINが立上がると、カウンタ809のカウント値が1進み、セレクタ810は、レジスタ802を選択する。以降、セレクタ810は、信号ADLINに同期して、順次、レジスタ803から808の選択を繰り返す。
【0065】
セレクタ810の出力は、加算器811で、加算器812の出力と加算され、F/F813へ入力され、信号ADLINの立下りでラッチされ、主走査カウンタ814へ入力される。
【0066】
なお、F/F813の出力は、主走査カウンタ814へ送られるとともに、加算器812の端子Bへも入力され、加算器812の端子Aへ入力された一定値の例えば8と加算されて、加算器811へ送られる。これは、アドオンラインのドット位置と、副走査方向に1本前のアドオンラインのドット位置との間隔を設けるためのオフセット値である。レジスタa801〜レジスタh808へのデータ設定は、CPUがROM24より読出した機番に基づいて行う。
【0067】
また、本実施形態においては、CPUが、入力画像の画像信号の大きさを検出し、検出された濃度信号の大きさに応じて8ビットの変調量αの値を決定し、レジスタ831に設定する。例えば、低濃度域では変調量αを大きくすることにより、薄い濃度の画像に対しても、見やすいパターンの合成が可能となる。また、選択されている画像処理が2値出力用の画像処理であれば、CPUはレジスタ831には255を設定する。
【0068】
図17は第1の実施形態による複写結果の一例を示す図である。図17では、アドオンラインのドットパターンの配置例だけが示されている。図17において、901は例えば特定原稿画像である。また、アドオンラインのドットパターンは■印で表している。
【0069】
以上説明した通り、第1の実施形態によれば、複写機固有の製造番号を符号化あるいは記号化するために付加するパターンのドット形状パターンを画像処理種類に応じて最適なものを選択できる。このため、複写画像の品位を低下させずに、確実に判読が可能なドットパターンを重畳させることが可能となる。従って、もし、本実施形態が不正複写などに利用された場合でも、不正複写物を鑑定することによって、適用された画像処理種類によらず、確実に不正複写に使用された複写機を特定することができる。
【0070】
なお、上器実施形態では。コンパレート回路19と23を一つの回路で構成し、選択信号によってそれぞれの機能を達成するように構成したが、別回路としてそれぞれの画像処理毎に設けても良い。
【0071】
[第2の実施形態]
図18は第2の実施形態による装置の構成を示す図である。このシステムは、複写機とプリンタの複合機としての役割を果たすようになっている。画像出力装置53は、インターフェース(I/F)52を介して、読み取り装置51からの画像データと、パーソナルコンピュータPC55から出力されコントローラ54を経由した画像データが入力される。なお、I/F52は、画像出力命令を読み取り装置51とコントローラ54から受け付けることができ、割込み処理等についても対処できるようになっている。コントローラ54は、階調数や画像解像度、出力後の画素形状、カラーマッチングに関する画像処理を行う回路が入っている。
【0072】
図19は第2の実施形態の画像処理部における画像信号の流れを示す図である。複写機として機能する場合には、読み取り装置51からの画像信号が用いられることになる。CCD105からLDドライバ28については、第1の実施形態と基本的に同じ経路であるので説明を省く。ただし、I/F52は、読取装置51よりの画像信号LOG変換回路13に供給すると共に、その旨を機番パターン発生回路25及びパターン変調制御部26に通知する。なお、マスキング/UCR回路61〜コンパレート回路64を、図3のセレクタ14〜コンパレート回路19、23の如く構成して、2値化出力、多値出力に対応可能としても良い。
【0073】
一方、PC55から発せられた画像信号に対しては、コントローラ54によって画像出力装置53にとって最適な画像処理が実施される。信号としてはCMYKの分解された画像信号がI/F52に入ってくる。この場合、I/F52は経路52aを選択して、LOG変換13、マスキング/UCR61、空間フィルタ62、濃度変換回路63を介さずに、信号を通す設定になっている。
【0074】
このとき、コントローラ54は、自身で行った画像処理に応じたコードをI/F52を介して機番パターン発生回路25に渡す。機番パターン発生回路25は、対応する重畳ドット形状パターンをROM24からロードし設定する。例えば、2値化処理された画像データであれば、コントローラ54はその旨の信号をI/F52を介して機番パターン発生回路25及びパターン変調制御部26に通知する。機番パターン発生回路25及びパターン変調制御部26は、上述したように図4に示されるドットパターンを用いてROM24より読み取った機番に基づく機番パターンを重畳する。
【0075】
なお、第2の実施形態では、コントローラ54で全ての画像処理を行い、CMYK信号まで生成する例を示したが、RGB信号を画像形成装置で渡して、画像形成装置内の画像処理を使用する系も有り得る。その場合は、本体の画像処理に応じたドットパターンを選択して重畳すれば良いことは言うまでもない。
【0076】
以上説明した通り、第2の実施形態によれば、複写機固有の製造番号を符号化あるいは記号化するために付加するためのドットパターンを、画像形成装置外部からの画像信号に対しても、その画像処理種に応じて最適なものを選択できる。このため、画像形成装置外部の画像処理を用いて画像形成を行う場合でも、重畳されたドットパターンを確実に認識することが可能となる。
【0077】
[第3の実施形態]
次に第3の実施形態について説明する。第3の実施形態では、1枚の画像出力物の中で、画像処理を切り替えた場合を説明する。
【0078】
図20は第3の実施形態の画像形成装置の外観を示す図である。原稿台押さえの圧板72上で座標位置を指示するペン型指示器71と座標位置が検知できるセンサとを備えた、いわゆるエディタ装置が備え付けられている。複写したい原稿を圧板72上の指示されている位置に付き当ててのせ、ペン型指示器71によって複数の領域を指定する。図21は領域の指定状態の位置例を示す図である。本例では、領域Aと領域Bが指定されている。そして例えば、領域Aには写真のような階調特性を有した画像が、領域Bには文字/線画を中心とした画像が記録されているものとする。従って、写真のような階調特性を有した領域Aには階調再現の得意な画像処理が、一方、文字/線画を中心とした細部の再現性を必要とする領域Bは、解像再現の特異な画像処理で処理するように、操作パネルと前記エディタ装置で、領域と画像処理の対応を指示する。
【0079】
図22は第3の実施形態による画像処理手順を説明する図である。第1の実施形態で説明した図3と同様の構成については同一の参照番号が付されている。
【0080】
画像領域セレクタ81は、上述の如く設定された領域に応じて、画像信号の供給先を切替る。すなわち、走査位置が領域Aである場合は画像信号を多値出力用画像処理に提供するために、マスキング/UCR回路20へ出力する。一方、走査位置が領域Bである場合には、2値化出力用画像処理を適用するために、画像信号を2値化処理回路15に供給する。
【0081】
また、画像領域セレクタ81において選択された画像処理を表す情報が機番パターン発生回路25とパターン変調制御部26に供給され、第1の実施形態と同様の手順で、各画像処理に適したドットパターン(図4、図5)が選択され、機番パターンが重畳される。
【0082】
以上説明したように、第3の実施形態によれば、階調部と文字/線画部とが1枚の画像に混在する場合であっても、それぞれに最適な画像処理への切替を実現すると共に、それに対応して適切なドットパターンを用いて機番パターンの重畳を行うことが可能となる。従って、1枚の画像において複数種類の画像処理を必要とするような場合でも、確実に判読ができるどっとパターンを重畳することが可能となる。
【0083】
なお、第3実施形態では、ユーザが領域を自ら指定する例で説明したが、読み取った画像のパターンに基づいて写真画像や文字画像の領域を自動判別し、判別された領域毎に画像処理、ドットパターンを自動的に切り替えるように構成してもよいことは明らかである。
【0084】
なお、本発明は、複数の機器(例えばホストコンピュータ,インタフェイス機器,リーダ,プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機,ファクシミリ装置など)に適用してもよい。
【0085】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【0086】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0087】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
【0088】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0089】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0090】
【発明の効果】
以上説明したように本発明によれば、可視画像の形成に際して複数種類の画像処理が適用可能な画像形成装置において、適用された画像処理に適したパターンを重畳することが可能となる。このため、各種画像処理後の画像について適切なパターンを重畳させることができ、装置特定のためのパターンが確実に判別可能となると共に、形成画像の画質の低下も防止できる。
【0091】
【図面の簡単な説明】
【図1】第1の実施形態によるフルカラー画像形成装置の内部構成を概略的に示す側断面図である。
【図2】第1の実施形態によるフルカラー画像形成装置の画像記録動作を説明するフローチャートである。
【図3】第1の実施形態による画像処理手順を説明する図である。
【図4】第1の実施形態による2値化出力に適したドットパターンの例を示す図である。
【図5】多値出力用の画像処理を受けた画像データに適したドットパターンの例を示す図である。
【図6】第1の実施形態によるアドオンラインの一例を示す図である。
【図7】第1の実施形態によるアドオンラインの一例を示す図である。
【図8】アドオンラインによる情報の表現方法の一例を示す図である。
【図9】アドオンラインによる情報の表現方法の一例を示す図である。
【図10】パターン変調制御部26の回路構成例を示す図である。
【図11】ゲート回路820の構成を説明する図である。
【図12】ゲート回路890の回路構成例を示す図である。
【図13】以上のようにして生成されたドットイネーブル信号とマークイネーブル信号を概念的に示す図である。
【図14】ゲート回路826の詳細な回路構成を説明するブロック図である。
【図15】コンパレート回路の構成例を示すブロック図である。
【図16】機番パターン発生回路の回路構成例を説明する図である。
【図17】第1の実施形態による複写結果の一例を示す図である。
【図18】第2の実施形態による装置の構成を示す図である。
【図19】第2の実施形態の画像処理部における画像信号の流れを示す図である。
【図20】第3の実施形態の画像形成装置の外観を示す図である。
【図21】領域の指定状態の位置例を示す図である。
【図22】第3の実施形態による画像処理手順を説明する図である。
【符号の説明】
1 ポリゴンミラー
2 ミラー
3 現像器
4 感光体ドラム
6 記録材
7 定着ローラ
101 原稿
102 原稿台ガラス
103 光源
104 光学レンズ
105 CCD
106 レーザ
111 転写ドラム

Claims (15)

  1. 入力画像に対して、複数の領域と、該複数の領域の各々に適用すべき画像処理を設定する設定手段と、
    前記複数の領域のそれぞれについて、前記設定手段で設定された画像処理に基づいて用いるべきドットパターンを決定し、該決定されたドットパターンにより所定の付加情報を示すパターンを発生する発生手段と、
    前記入力画像における前記複数の領域の各々に、前記発生手段で発生しパターンを人間の目に識別しにくく付加する付加手段とを備えることを特徴とする画像処理装置。
  2. 前記設定手段で設定された画像処理を実行するために、画像信号を処理する複数の画像処理手段を更に備え、
    前記複数の画像処理手段は、少なくとも画像信号を2値化して出力するための画像処理と、画像信号を多値で出力するための画像処理とを含むことを特徴とする請求項1に記載の画像処理装置。
  3. 前記所定の付加情報は前記画像処理装置を特定可能とする情報であることを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記発生手段において、入力画像を2値化して出力するための画像処理に応じたドットパターンが、入力画像を多値で出力するための画像処理に応じたドットパターンよりも大きいサイズを有することを特徴とする請求項2に記載の画像処理装置。
  5. 前記発生手段は、入力画像を2値化して出力するための画像処理に対するパターン、入力画像の最低値と最高値が配置されてなるドットパターンを用いて発生することを特徴とする請求項2に記載の画像処理装置。
  6. 前記発生手段は、入力画像を多値で出力するための画像処理に対するパターン、入力画像に作用させるべき階調数が配置されてなるドットパターンを用いて発生することを特徴とする請求項2に記載の画像処理装置。
  7. 前記設定手段で設定された複数の領域と画像処理内容に基づいて、前記入力画像に適用する画像処理を切り換えながら画像処理を行う画像処理手段を更に備え、
    前記発生手段は、前記画像処理手段における画像処理の切り換えに同期して、使用するドットパターンを順次決定することを特徴とする請求項に記載の画像処理装置。
  8. 入力画像に対して、複数の領域と、該複数の領域の各々に適用すべき画像処理を設定する設定工程と、
    前記複数の領域のそれぞれについて、前記設定工程で設定された画像処理に基づいて用いるべきドットパターンを決定し、該決定されたドットパターンにより所定の付加情報を示すパターンを発生する発生工程と、
    前記入力画像における前記複数の領域の各々に、前記発生工程で発生しパターンを人間の目に識別しにくく付加する付加工程とを備えることを特徴とする画像処理方法。
  9. 前記設定工程で設定された画像処理を実行するために、画像信号を処理するための複数の画像処理工程を更に備え、
    前記複数の画像処理工程は、少なくとも画像信号を2値化して出力するための画像処理工程と、画像信号を多値で出力するための画像処理工程とを含むことを特徴とする請求項に記載の画像処理方法。
  10. 前記所定の付加情報は画像処理装置を特定可能とする情報であることを特徴とする請求項またはに記載の画像処理方法。
  11. 前記発生工程において、入力画像を2値化して出力するための画像処理に応じたドットパターンが、入力画像を多値で出力するための画像処理に応じたドットパターンよりも大きいサイズを有する
    ことを特徴とする請求項に記載の画像処理方法。
  12. 前記発生工程は、入力画像を2値化して出力するための画像処理に対するパターン、入力画像の最低値と最高値が配置されてなるドットパターンを用いて発生することを特徴とする請求項に記載の画像処理方法。
  13. 前記発生工程は、入力画像を多値で出力するための画像処理に対するパターン、入力画像に作用させるべき階調数が配置されてなるドットパターンを用いて発生することを特徴とする請求項に記載の画像処理方法。
  14. 前記設定工程で設定された複数の領域と画像処理内容に基づいて、前記入力画像に適用する画像処理を切り換えながら画像処理を行う画像処理工程を更に備え、
    前記発生工程は、前記画像処理工程における画像処理の切り換えに同期して、使用するドットパターンを順次決定することを特徴とする請求項に記載の画像処理方法。
  15. 入力画像に対して可視画像を形成するための画像処理を行う制御プログラムを格納するコンピュータ可読メモリであって、前記制御プログラムが、
    入力画像に対して、複数の領域と、該複数の領域の各々に適用すべき画像処理を設定する設定工程のコードと、
    前記複数の領域のそれぞれについて、前記設定工程で設定された画像処理に基づいて用いるべきドットパターンを決定し、該決定されたドットパターンにより所定の付加情報を示すパターンを発生する発生工程のコードと、
    前記入力画像における前記複数の領域の各々に、前記発生工程で発生しパターンを人間の目に識別しにくく付加する付加工程のコードとを備えることを特徴とするコンピュータ可読メモリ。
JP18403997A 1997-07-09 1997-07-09 画像処理装置及びその方法 Expired - Fee Related JP3581526B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18403997A JP3581526B2 (ja) 1997-07-09 1997-07-09 画像処理装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18403997A JP3581526B2 (ja) 1997-07-09 1997-07-09 画像処理装置及びその方法

Publications (2)

Publication Number Publication Date
JPH1132202A JPH1132202A (ja) 1999-02-02
JP3581526B2 true JP3581526B2 (ja) 2004-10-27

Family

ID=16146299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18403997A Expired - Fee Related JP3581526B2 (ja) 1997-07-09 1997-07-09 画像処理装置及びその方法

Country Status (1)

Country Link
JP (1) JP3581526B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182377A (ja) * 2007-01-23 2008-08-07 Fuji Xerox Co Ltd 情報処理装置、情報管理装置、情報処理方法、情報管理方法、情報処理プログラム及び情報管理プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7372594B1 (en) 1999-09-30 2008-05-13 Canon Kabushiki Kaisha Image processing apparatus and method, and storage medium
JP3930502B2 (ja) * 2004-03-29 2007-06-13 沖電気工業株式会社 品質調整システムおよび透かし品質検査装置
JP4651468B2 (ja) * 2005-07-08 2011-03-16 シャープ株式会社 画像形成装置、プログラム、及び記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182377A (ja) * 2007-01-23 2008-08-07 Fuji Xerox Co Ltd 情報処理装置、情報管理装置、情報処理方法、情報管理方法、情報処理プログラム及び情報管理プログラム
JP4665908B2 (ja) * 2007-01-23 2011-04-06 富士ゼロックス株式会社 情報管理装置、情報管理方法、及び情報管理プログラム

Also Published As

Publication number Publication date
JPH1132202A (ja) 1999-02-02

Similar Documents

Publication Publication Date Title
CA2106706C (en) Image forming method and apparatus
EP0776120B1 (en) Image processing apparatus
US6421145B1 (en) Image processing apparatus and method using image information and additional information or an additional pattern added thereto or superposed thereon
JP3280083B2 (ja) 画像処理装置及び画像処理方法
CA2106708C (en) Image processing apparatus and method thereof
US5933520A (en) Image processing apparatus
CN100553286C (zh) 图像处理方法、图像处理装置和图像形成装置
JP3581526B2 (ja) 画像処理装置及びその方法
JPH0888756A (ja) 画像形成装置
JP3375992B2 (ja) 画像処理装置およびその方法
JP3384997B2 (ja) カラー画像処理装置
JP3566610B2 (ja) 画像処理装置及び画像処理方法
JP3224405B2 (ja) カラー画像処理装置
JP3391819B2 (ja) 画像処理装置およびその方法
JP3288764B2 (ja) 画像処理装置およびその方法
EP0946039B1 (en) Image recognition unit for preventing counterfeit copies
JPH0923333A (ja) 画像処理装置
JP4235352B2 (ja) 画像判別装置及び複写機及び画像判別方法
JP3966354B2 (ja) デジタル画像再生装置
JPH06110988A (ja) 画像処理装置
JP3855978B2 (ja) 画像形成装置
JPH0951425A (ja) 画像処理装置及び方法
CA2275126C (en) Image forming method and apparatus
JP2003250048A (ja) 画像処理方法
JPH0686062A (ja) 画像形成装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040723

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110730

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees