JP4346039B2 - データ処理装置 - Google Patents

データ処理装置 Download PDF

Info

Publication number
JP4346039B2
JP4346039B2 JP2006309091A JP2006309091A JP4346039B2 JP 4346039 B2 JP4346039 B2 JP 4346039B2 JP 2006309091 A JP2006309091 A JP 2006309091A JP 2006309091 A JP2006309091 A JP 2006309091A JP 4346039 B2 JP4346039 B2 JP 4346039B2
Authority
JP
Japan
Prior art keywords
processing
data
processor
register
propagation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006309091A
Other languages
English (en)
Other versions
JP2007087417A (ja
Inventor
雅朗 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2006309091A priority Critical patent/JP4346039B2/ja
Publication of JP2007087417A publication Critical patent/JP2007087417A/ja
Application granted granted Critical
Publication of JP4346039B2 publication Critical patent/JP4346039B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Description

本発明は、データ処理装置に関する。
従来、デジタル複写機等において大量の画像処理をリアルタイムに行う場合には、ASIC(Application Specific Integrated Circuit)が用いられてきたが、DSP(Digital Signal Processor)の進展により、SIMD(Single Instruction Multiple Data)型プロセッサによる実現も可能となってきた。
ところで、画像処理の中には、2値化処理、フィルタリング処理、階調処理等のようなSIMD型プロセッサで並列処理の可能な処理の他に、誤差拡散処理等のように画素毎に順番に処理を行い、処理済みの過去の結果が次の画素の処理に影響を与えるようなヒステリシスを持った逐次処理(伝播処理)がある。このような逐次処理(伝播処理)は、従来のSIMD型プロセッサでは並列演算による実行ができないという問題があった。
そこで、このような問題を解決すべく、SIMD型プロセッサとは別に逐次処理用の回路(テーブル変換器)を搭載することにより、並列処理可能な処理はSIMD型プロセッサで実行し、逐次処理はその逐次処理専用の回路で実行するというように、処理を分担して実行する装置が提案されている(例えば、特許文献1参照)。
特開2002−108604公報
しかしながら、特許文献1に記載されている装置によれば、2次元の伝播処理を含む逐次処理を実現する時、そのまま実装しようとすると、伝播すべき状態数が大きくなりすぎて逐次処理用の回路の規模(例えば、テーブル変換器のテーブル変換用のメモリのサイズ)が大きくなければならず、装置のコスト増大を招くという問題がある。
本発明の目的は、2次元の伝播処理を含む逐次処理を実現する逐次処理用の回路の規模を小さくすることができるデータ処理装置を提供することである。
発明のデータ処理装置は、原稿画像を読み取るスキャナを有し、水平方向、垂直方向の各々の複数のデータからなる2次元データに対し、前記両方向の伝播処理を含む逐次処理を行うデータ処理装置において、複数のプロセッサ・エレメントを備え、入力された複数のデータに対し並列処理を行う機能を有するSIMD型プロセッサであって、前記スキャナより入力された複数の画像データに対し、垂直方向の伝播処理を並列処理で行うSIMD型プロセッサと、前記スキャナより入力された複数の画像データに対し、水平方向の伝播処理を含む逐次処理を行う逐次処理部と、を有し、前記スキャナより入力された複数の画像データに対し、黒画素領域の大きさをカウントする処理を行うとき、前ラインのカウント値の伝播をSIMD型プロセッサで行い、現ラインの直前画素の伝播を逐次処理部で行うことを特徴とするデータ処理装置である。
発明のデータ処理装置によれば、スキャナより入力された複数の画像データに対し、黒画素領域の大きさをカウントする処理を行うとき、前ラインのカウント値の伝播をSIMD型プロセッサで行い、現ラインの直前画素の伝播を逐次処理部で行うことにより、2次元の伝播処理を含む逐次処理を実現する逐次処理に対し、伝播する入力データのビット数を削減することができるので、従来に比べて逐次処理の回路の規模を小さくすることができる。
本発明の一実施の形態について説明する。
図1は、本発明の実施の一形態であるデジタル複写機1の概略構成を示すブロック図である。このデジタル複写機1は、原稿の画像を読取るスキャナ2と、この読取った画像データに様々な処理を施す画像処理装置3と、この処理後の画像データで用紙上に画像の形成を行うプリンタエンジン4と、デジタル複写機1の全体を制御するマイクロコンピュータを備えた制御部5とを備えている。プリンタエンジン4の印刷方式は、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、様々な方式を適用することができる。
画像処理装置3は、スキャナ2で読取った画像データに対して、2値化処理、フィルタリング処理、階調処理、誤差拡散処理など、様々な処理を行うが、その処理の全部又は一部は、所定の制御プログラムに基づいて、データ処理装置であるプロセッサ40(図2参照)が実行する。
図2は、画像処理装置3の処理系のハードウエア構成を示すブロック図である。図2に示すように、この処理系は、各種演算を行い、各部を集中的に制御するコンピュータとして機能するプロセッサ40と、本発明のプログラムを実施するプロセッサ40で読取り可能な各種の制御プログラムや、各種の固定データを記憶していて、本発明の記憶媒体を実施するROM(Read Only Memory)45(フラッシュメモリも含む)と、各種データを書き換え可能に記憶し、プロセッサ40の作業エリアとなるRAM(Random Access Memory)46と、I/Oポート47とが、バス48で接続されている。ROM45は、そのフラッシュメモリに記憶されている制御プログラムなどを、I/Oポート47を介し、図示しない外部装置からダウンロードして書き換えることが可能である。
図3、図4は、プロセッサ40の構成を示すブロック図である。図3に示すように、本実施の形態のプロセッサ40は、SIMD(Single Instruction−stream Multiple Data−stream)型プロセッサ41を備えており、このSIMD型プロセッサ41は、グローバルプロセッサ42を備えている。グローバルプロセッサ42は、図示しないプログラムRAMとデータRAMとを内蔵し、ROM45に格納されている制御プログラムを解読して、各種制御信号を生成する。この制御信号は内蔵する各種ブロックの制御以外にもレジスタファイル43、演算アレイ44に供給される。また、GP(グローバルプロセッサ)命令実行時は、SIMD型プロセッサ41が内蔵する後述の汎用レジスタ53、ALU(算術論理演算器)55等を使用して、各種演算処理、プログラム制御処理を行う。
レジスタファイル43は、PE(プロセッサ・エレメント)命令で処理されるデータを保持している。PE命令は、SIMDタイプの命令であり、レジスタファイル43に保持されている複数のデータに対して同時に同じ処理を行う。このレジスタファイル43からのデータの読み出し、書き込みの制御は、グローバルプロセッサ42からの制御によって行われる。読み出されたデータは演算アレイ44に送られ、演算アレイ44での演算処理後にレジスタファイル43に書き込まれる。
演算アレイ44は、PE命令の演算処理を行う。処理の制御はすべてグローバルプロセッサ42から行われる。
SIMD型プロセッサ41は1次元SIMD型プロセッサであり、複数のデータに対し、単一の命令を並列に実行させることができる。図4に示すように、レジスタファイル43は複数のPE(プロセッサ・エレメント)51からなる1次元PEアレイ52を備えている。
グローバルプロセッサ42には、前述のように本プロセッサ41のプログラム格納用のプログラムRAMと、演算データ格納用のデータRAMが内蔵されている他、プログラムのアドレスを保持するプログラムカウンタ(PC)、演算処理のデータ格納のための汎用レジスタ、レジスタ退避、復帰時に退避先データRAMアドレスを保持するスタックポインタ(SP)、サブルーチンコール時にコール元のアドレスを保持するリンクレジスタ(LS)、同じくIRQ時とNMI時の分岐元アドレスを保持するLIレジスタ、LNレジスタ、プロセッサの状態を保持するプロセッサステータスレジスタ(P)が内蔵されている(いずれも図示せず)。
グローバルプロセッサ42は、これらのレジスタと図示しない命令デコーダ、ALU(論理演算器)、メモリ制御回路、割り込み制御回路、外部I/O制御回路、GP演算制御回路を使用して、GP命令の実行を行う。また、PE命令実行時は命令デコーダ、図示しないレジスタファイル制御回路、PE演算制御回路を使用して、レジスタファイル43の制御と演算アレイ44の制御を行う。
レジスタファイル43は256個のPE(プロセッサ・エレメント)51からなる1次元PEアレイ52を備えている。各PE51には、8ビットのレジスタ53が32本内蔵されている。各レジスタ53は、PE51ごとにR0,R1,R2,…,R31と呼ばれている。それぞれのレジスタ53は演算アレイ44に対して1つの読み出しポートと1つの書き込みポートを備えており、8ビットのリード/ライト兼用のバスで演算アレイ44からアクセスされる。32本のレジスタ53の内、24本(R0〜R23)はプロセッサ41の外部からアクセス可能であり、外部からクロックとアドレス、リード/ライト制御を入力することで、任意のレジスタ53に読み書きすることができる。残りの8本(R24〜R31)のレジスタ53はPE演算の一時的な演算データ保存用として使用されるが、グローバルプロセッサ42のデータRAMのデータを書き込むこともできる。グローバルプロセッサ42からのライト制御と演算アレイ44の条件レジスタ(Tレジスタ)59の条件により、レジスタファイル43に内蔵される8本(R24〜R31)のレジスタ53にグローバルプロセッサ42のデータRAMデータを、条件が成立している複数のPE51に同時に書き込みが可能である。また、データRAMは64ビットの出力ポートを持つため、1つのPE51に対しても8本のレジスタ(R24〜R31)に同時に64ビットの書き込みが可能である。
演算アレイ44は16ビットALU55と、16ビットAレジスタ56、Fレジスタ57、Mレジスタ58、Tレジスタ59を内蔵している。Fレジスタ57、Mレジスタ58は、それぞれ演算用のレジスタである。Tレジスタ59は、各PEで演算命令を実行するかしないかの制御フラグを立てる専用のレジスタである。PE命令による演算はレジスタファイル43から読み出されたデータもしくはグローバルプロセッサ42から与えられたデータをALU55の片側の入力として、もう片側にはAレジスタ56の内容を入力として結果をAレジスタ56に格納する。したがって、AレジスタとR0〜R31レジスタ53又はグローバルプロセッサ42から与えられたデ一タとの演算がおこなわれることとなる。レジスタファイル43の8ビットのデータは演算アレイ44との接続部に配置されている図示しないシフト&拡張回路により任意ビットを左シフトしてALU55に入力する。
各レジスタ53は図示しないアドレスバス及びデータバスで接続されており、処理を規定する命令コード、処理の対象となるデータを格納する。レジスタ53の内容はALU55に入力され、演算処理結果はAレジスタ56に格納される。結果をPE51の外部に取出すために、Fレジスタ57に一旦退避させる。Fレジスタ57の内容を取出すことにより、対象データに対する処理結果が得られる。命令コードは各PE51に同一内容で与え、処理の対象データをPE51ごとに異なる状態で与え、各PE51は隣接するPE51のレジスタ53の保持しているデータの内容をマルチプレクサ54において参照することで、演算結果は並列処理され、各Aレジスタ56に出力される。
加えて、図3及び図4に示すように、このSIMD型プロセッサ41には、SIMD型プロセッサ41と連動する逐次処理用回路であるテーブル変換器81が備えられている。このテーブル変換器81は、レジスタファイル43の特定のレジスタ53に対する読み出し/書き込みを行い、また、レジスタ53から読み出したデータをアドレス生成部82に出力し、テーブルRAM83の出力データをレジスタ53に書き込み、さらに、外部とデータの入出力を行うメモリ及びレジスタ制御回路84を備えている。テーブルRAM83は後述のテーブル変換を行うテーブルを備えている。アドレス生成部82はレジスタ53から読み出したデータをテーブルRAM83のアドレスに変換する。このような構成により、レジスタファイル43にはプロセッサ41の外部からのアクセスが可能であり、グローバルプロセッサ42の制御とは別に外部から特定のレジスタ53に対する読み出し/書き込みを行うことが可能になっている。
SIMD型プロセッサ41においては、演算データにより演算式が変更となる非線形処理はプログラムが非常に複雑になるため、演算前データに対して演算後の処理済みデータを全て準備してテーブルRAM83にテーブル化し、演算データを元にテーブルRAM83のテーブルを用いてテーブル変換を行って演算後データを得る。具体的には、アドレス生成部82で演算前データにテーブルの先頭の番地を加算した値をアドレスポインタとしてテーブルRAM83から得られたデータを演算後のデータとする。
また、テーブル変換後の結果をテーブルRAM83からアドレス生成部82へフィードバックしているので、これを利用して1つ前のテーブル変換結果によって次のテーブル変換結果への影響を伝播させるヒステリシスをもつ処理を実現することもできる。この場合の目的はデータの変換ではなく、入力データの系列に応じた所望のステート遷移を行うことである。
図4のハードウエア構成により、入力データと、1つ前のステート(変換後データ)から次のステートが出力される。この変換は、テーブルRAM83を用いることによって実現されている。本実施の形態においては、入力データは、図5に示す1画素前の処理結果(カウント値)のテーブル変換出力ビット(7bit)と注目画素の黒画素判定結果(1bit)とであり、ステートが、注目画素のカウント値である。
ここで、テーブルRAM83が備えるテーブルの内容について説明する。テーブルRAM83のテーブルの内容は、図6に示すステート遷移を実現するものである。ここで、図6中、楕円内がステート(カウント値MS)、矢印が状態遷移、矢印上の数字が入力(MStmp(垂直処理した結果))を示す。すなわち、図6に示すように、テーブルRAM83のテーブルの内容に従うことにより、全ての状態から0入力で状態0に遷移する。また、nの状態から1,2,・・,n+1入力で状態n+1に遷移し、n+2〜127入力では、入力値に状態遷移する。
このようなプロセッサ40がROM45に格納されている制御プログラムに従い、RAM46を作業エリアとして動作することにより、以下のような処理を実行する。
すなわち、この制御プログラムは、概略的には、プロセッサ40上で、2次元の伝播処理を含む逐次処理を実現するものである。
より具体的には、プロセッサ40は、2次元方向の伝播を有する逐次処理を実現する際に、2次元の伝播処理をこれと等価な垂直、水平の伝播処理の2つに分解することにより、垂直方向の伝播処理は1次元SIMD型プロセッサであるSIMD型プロセッサ41の並列処理を用いて処理し、水平方向の伝播処理のみ付属の逐次処理用回路であるテーブル変換器81を用いて処理する。
以下では、かかる処理を用いた画像処理装置3における処理の例として、黒画素領域サイズの計数について説明する。
[黒画素領域サイズの計数について]
プロセッサ40上で、スキャナ2で読取った画像データを対象に、グレー画像を2値化して連続した黒画素から成る黒画素領域の大きさを計数する。
入力グレー画像(たとえば256階調濃度値)の画素値をXijとする。i,jは画素の2次元座標値とする。
そして、所定の閾値thrとの比較により単純な2値化処理を行う。すなわち、その2値化結果をYijとすると、下記の数式のようになる。
Figure 0004346039
この2値化処理部分は、画素ごとに、すなわち、PE51ごとに並列に演算可能であり、通常のSIMD型プロセッサの並列演算命令を用いてプログラムすることができる。
次に、上記2値化結果のYijに対して、ライン順次に各ラインにおいて1次元方向に左から右に見ていき、1の連続する領域の大きさ(以下1を黒、0を白とし、黒を示す1の連続した領域を黒画素領域と呼ぶ)、黒画素領域の大きさを求める。ここで、黒画素領域の大きさは、領域の水平方向、垂直方向の長さの和に相当する量である。この部分は並列演算で一度に求めることができず、逐次処理が必要な部分である。以下に、そのアルゴリズムを示す。
[黒画素領域大きさ計数アルゴリズム]
黒画素領域大きさ計数アルゴリズムについて、図5に示す黒画素領域の大きさ計数処理の入力データの例に基づいて説明する。水平・垂直同時に伝播する場合における黒画素領域大きさ計数アルゴリズムは、下記の数式のようになる。
[水平・垂直同時伝播]
Figure 0004346039
黒画素領域の大きさ計数では黒画素判定領域の縦、横の画素長の和に相当する量をカウントしていくため、前ラインのカウント値(ここでは7bitとする)が3つと、現ラインの注目画素の黒画素判定(1bit)の計4つの入力(計22bit)と出力ステートに注目画素のカウント値(7bit)が必要である。そのままだとテーブル変換用のRAMのサイズが膨大となってしまう。
そこで、黒画素領域の大きさ計数処理を、前ラインのカウント値の伝播(垂直方向の伝播)と、現画素の直前画素のカウント値の伝播(水平方向の伝播)の2段にカウントアルゴリズムを分解し、SIMD並列処理で可能な垂直方向の伝播(前画素のカウント値の伝播)は通常のSIMD演算で行い、逐次処理の必要な水平方向の伝播(現ラインの直前画素のカウント値の伝播)のみをテーブル変換機能により実現し、これらを組み合わせることで、8bitのアドレスの大きさのRAMによるテーブル変換で逐次処理部分を実現できる。
以下に、水平方向と垂直方向とを分離したアルゴリズムを示す。これは水平・垂直同時に伝播するアルゴリズムと等価である。水平方向と垂直方向とを分離した場合における黒画素領域大きさ計数アルゴリズムは、下記の数式のようになる。
Figure 0004346039
ここで、前述したような水平方向と垂直方向とを分離したアルゴリズムを動作させた場合の処理の経過の例(動作例1〜3)を図7〜図9に示す。なお、図7〜図9中、網掛けで示されるのが黒画素判定結果(C[ ])で、その上に数字で示されるのがカウント値(SS[ ],MStmp[ ],MS[ ])である。
ここに、逐次処理用回路であるテーブル変換器81に対し、伝播する入力データのビット数が削減されることにより、従来に比べてテーブル変換用のメモリを小さくすることが可能になるので、逐次処理用の回路の規模を小さくすることが可能になる。
本発明の実施の一形態のデジタル複写機の概略構成を示すブロック図である。 画像処理装置の処理系のハードウエア構成を示すブロック図である。 プロセッサの概略構成を示すブロック図である。 プロセッサの詳細の構成を示すブロック図である。 黒画素領域の大きさ計数処理の入力データを示す説明図である。 テーブル変換器を用いた黒画素領域の大きさ計数処理のステート遷移を示す状態遷移図である。 水平方向と垂直方向とを分離したアルゴリズムを動作させた場合の処理の経過の動作例1を示す説明図である。 動作例2を示す説明図である。 動作例3を示す説明図である。
符号の説明
1・・・デジタル複写機、2・・・スキャナ、3・・・画像処理装置、4・・・プリンタエンジン、40・・・データ処理装置、41・・・1次元SIMD型プロセッサ、45・・・記憶媒体、51・・・PE(プロセッサ・エレメント)、81・・・逐次処理用回路。

Claims (1)

  1. 原稿画像を読み取るスキャナを有し、水平方向、垂直方向の各々の複数のデータからなる2次元データに対し、前記両方向の伝播処理を含む逐次処理を行うデータ処理装置において、
    複数のプロセッサ・エレメントを備え、入力された複数のデータに対し並列処理を行う機能を有するSIMD型プロセッサであって、前記スキャナより入力された複数の画像データに対し、垂直方向の伝播処理を並列処理で行うSIMD型プロセッサと、
    前記スキャナより入力された複数の画像データに対し、水平方向の伝播処理を含む逐次処理を行う逐次処理部と、
    を有し、
    前記スキャナより入力された複数の画像データに対し、黒画素領域の大きさをカウントする処理を行うとき、前ラインのカウント値の伝播をSIMD型プロセッサで行い、現ラインの直前画素の伝播を逐次処理部で行うこと
    を特徴とするデータ処理装置。
JP2006309091A 2006-11-15 2006-11-15 データ処理装置 Expired - Fee Related JP4346039B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006309091A JP4346039B2 (ja) 2006-11-15 2006-11-15 データ処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006309091A JP4346039B2 (ja) 2006-11-15 2006-11-15 データ処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002274440A Division JP3969580B2 (ja) 2002-09-20 2002-09-20 データ処理装置、画像処理装置、画像形成装置、プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2007087417A JP2007087417A (ja) 2007-04-05
JP4346039B2 true JP4346039B2 (ja) 2009-10-14

Family

ID=37974279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006309091A Expired - Fee Related JP4346039B2 (ja) 2006-11-15 2006-11-15 データ処理装置

Country Status (1)

Country Link
JP (1) JP4346039B2 (ja)

Also Published As

Publication number Publication date
JP2007087417A (ja) 2007-04-05

Similar Documents

Publication Publication Date Title
US20010008563A1 (en) Parallel processor and image processing apparatus
JP2008071130A (ja) Simd型マイクロプロセッサ
JP2009015556A (ja) Simd型マイクロプロセッサ
JP3955741B2 (ja) ソート機能を有するsimd型マイクロプロセッサ
JP2009223758A (ja) 画像処理装置
JP2004056266A (ja) 像域分離装置、画像処理装置、画像形成装置、プログラム及び記憶媒体
JP4346039B2 (ja) データ処理装置
JP3969580B2 (ja) データ処理装置、画像処理装置、画像形成装置、プログラム及び記憶媒体
JP4482356B2 (ja) Simdプロセッサを用いた画像処理方法及び画像処理装置
JP4237046B2 (ja) 画像処理装置
JP4408113B2 (ja) 信号処理方法
JP4868607B2 (ja) Simd型マイクロプロセッサ
JP4442905B2 (ja) 画像データの処理方法
JP2008071037A (ja) Simd型マイクロプロセッサ
US20100031002A1 (en) Simd microprocessor and operation method
JP3742745B2 (ja) 演算処理装置
JP2004110250A (ja) 逐次データ処理装置、画像読取装置、画像形成装置、プログラム及び記憶媒体
JP4516495B2 (ja) Simd型マイクロプロセッサにおけるデータ処理方法
JP4708387B2 (ja) アドレスデータ生成装置及びメモリアドレッシング方法
JP3971543B2 (ja) Simd型プロセッサ
JP4442907B2 (ja) Simd型プロセッサ
JP5463799B2 (ja) Simd型マイクロプロセッサ
JP4398965B2 (ja) Simdプロセッサにおけるデータ設定装置
JP2007102799A (ja) ソート機能を有するsimd型マイクロプロセッサ
JP4661704B2 (ja) 画像処理装置、画像形成装置およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090710

R150 Certificate of patent or registration of utility model

Ref document number: 4346039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees