JP4237046B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4237046B2
JP4237046B2 JP2003427624A JP2003427624A JP4237046B2 JP 4237046 B2 JP4237046 B2 JP 4237046B2 JP 2003427624 A JP2003427624 A JP 2003427624A JP 2003427624 A JP2003427624 A JP 2003427624A JP 4237046 B2 JP4237046 B2 JP 4237046B2
Authority
JP
Japan
Prior art keywords
label
data
value
register
temporary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003427624A
Other languages
English (en)
Other versions
JP2005189966A5 (ja
JP2005189966A (ja
Inventor
智章 尾崎
慎一 山浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2003427624A priority Critical patent/JP4237046B2/ja
Priority to US11/015,933 priority patent/US7340113B2/en
Publication of JP2005189966A publication Critical patent/JP2005189966A/ja
Publication of JP2005189966A5 publication Critical patent/JP2005189966A5/ja
Priority to US11/968,521 priority patent/US7512290B2/en
Application granted granted Critical
Publication of JP4237046B2 publication Critical patent/JP4237046B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955Hardware or software architectures specially adapted for image or video understanding using specific electronic processors

Description

本発明は、SIMD型のマイクロプロセッサを備える画像処理装置に関する。
2値画像データに対する一般的な画像処理として、連結している特徴画素に対し同一のラベル(例えば昇順の番号)を割り付けていくラベリング処理がある。
連結の仕方には、対象画素の上下左右の4画素との連結を判定する4連結の考え方と、その4連結に斜め方向を加えた周囲8画素との連結を判定する8連結の考え方があるが、本明細書では、すべて4連結の考え方を例にとって説明を進める。記憶装置に2次元状に配置された2値画像データに対してラベリング処理を行う場合、例えば、対象画素からみて左に隣接している画素、又は上に隣接している画素に対する処理結果を参照しながら、2値画像データを左上端の画素から順に、右方向(主走査方向)及び下方向(副走査方向)に走査していく逐次処理を行わなければならない。この逐次処理では、処理時間が膨大になってしまう。
また、前方での処理により異なるラベル(仮ラベル)が割り付けられた2つ以上の領域が、後方での処理により連結した場合(連結した領域であることが判明した場合)には、仮ラベルの値を更新し、同一のラベル値を割り付け直さなければならない。この処理を実現するには、まず各仮ラベル間の接続情報を記憶しておき、すべての画素に対する仮ラベリング処理終了後に、その接続情報を参照しながら、連結しているすべての特徴画素に対して同一のラベルが割り付けられるまで、画像データに対する走査を繰り返していく処理(本ラベリング処理)をすることが考えられる。しかし、異なるラベルの割り付けられた複数の領域が間接的に連結している場合等には、接続情報の記憶方法を工夫しなければ、膨大な記憶領域が必要となる可能性や、ラベル間の接続情報が一部失われてしまう可能性が生じる。
ところで、SIMD型マイクロプロセッサでは、複数のデータに対して1つの命令で同時に同一の演算処理を実行できる。この構造により、SIMD型マイクロプロセッサは、データ量が非常に多いが同一演算を一斉に行うような処理(例えばデジタルコピアなどにおける画像処理)において頻用される。
SIMD型マイクロプロセッサにおける通常の画像処理では、複数の演算ユニット(Processor Element [PE]; プロセッサエレメント)を主走査方向に並べ、同一の演算を同時に複数のデータに対して実行することで高速な演算処理が可能となっている。
このSIMD型マイクロプロセッサでも、上述のラベリング処理をいかに行うかが課題として挙げられる。
そこで、特許文献1に記載の発明では、仮ラベリング処理の際に行う画像データに対する処理を一部SIMDプロセッサで一度に並列に処理することにより、ラベリング処理の処理時間を低減しているが、当該発明では各画素毎に行う処理が複雑であるため、仮ラベリング処理のためにSIMDプロセッサに追加するハードウエアが大きくなってしまう。
また、特許文献2では、2次元状に配置された画像データを、斜め方向の画素ごとに並列に、左に隣接している画素と上に隣接している画素に既に割り付けられた仮ラベル値を参照しがら、仮ラベリング処理を行うことで、仮ラベリング処理の際に行う画像データに対する処理をすべてSIMDプロセッサによる並列処理で実現しているが、斜め方向の画素ごとに並列に行う処理のために、1ライン中に存在する画素数より多くのPEを必要とするためSIMD演算の処理能力が落ちてしまう
本特許は、SIMD型マイクロプロセッサにデータ制御装置、記憶装置等の簡単なハードウェアを追加し、仮ラベリング処理の一部をSIMD型マイクロプロセッサで一度に並列に処理することで処理時間を低減し、複雑な図形の2値画像データが与えられた場合も効率よくラベリング処理を行うことを目的とする。
本発明は、上記の目的を達成するために為されたものである。本発明に係る請求項1に記載の画像処理装置は、
演算処理及びプログラム制御処理を行うグローバルプロセッサと、複数のデータを処理するための複数のプロセッサエレメントとを有するSIMD型マイクロプロセッサを備える画像処理装置である。その画像処理装置において、
各プロセッサエレメントが内蔵している汎用レジスタにプロセッサ外部からアクセスするためのデータ転送用ポートに接続されたデータ制御装置が備わり、
2次元状に配置された2値画像データに対してラベリング処理を行う際に、
副走査方向に隣接している画素が連結しているかどうかの判定と仮ラベリングを各プロセッサエレメントにおける一斉の同時処理で行い、
主走査方向に隣接している画素が連結しているかどうかの判定と仮ラベリングを該データ制御装置における逐次処理で行い、
各行における処理では、上記の一斉の同時処理が上記の逐次処理に先行することを特徴とする。
本発明に係る請求項2に記載の画像処理装置は、
データ制御装置が、ラベル制御部を含み、
ラベル制御部が、2値画素データに対してラベルを付与してデータ転送用ポートに書き戻すためのラベルレジスタと、
仮ラベル値をインクリメントするためのカウンタを有し、
ラベル制御部は、データ転送用ポートから読み出される2値画素データとラベルレジスタの値とを比較しそれらの比較結果にもとづいてカウンタの値、及びラベルレジスタの値を決定し画素データに仮ラベルを付与することを特徴とする、
請求項1に記載の画像処理装置である。
本発明に係る請求項3に記載の画像処理装置は、
データ制御装置が、
連結しているラベル間の接続情報を格納するためのメモリと、
メモリを制御するためのアドレス及びデータを、ラベル制御部の処理に基づいて決定するメモリ制御部を更に有し、
ラベル制御部は、データ転送用ポートから読み出される画素データと、ラベルレジスタの値と、該メモリに格納されているラベル間の接続情報とを比較し、それらの比較結果にもとづいてカウンタの値、及びラベルレジスタの値を決定し画素データに仮ラベルを付与することを特徴とする、
請求項2に記載の画像処理装置である。
本発明に係る請求項4に記載の画像処理装置は、
グローバルプロセッサが、
メモリに格納されているラベル間の接続情報をチェックし、本ラベリング処理の際に欠番となる仮ラベルを見つけ、その欠番となる仮ラベルより大きな値の仮ラベルを、欠番となる仮ラベルがなくなるように前方にシフトさせる情報を該メモリに書き込むことを特徴とする、
請求項1乃至請求項3のうちのいずれか一つに記載の画像処理装置である。
本発明に係る請求項5に記載の画像処理装置は、
ラベル制御装置は、メモリに格納されたラベル間の接続情報と、データ転送用ポートから読み出された仮ラベルとを参照して、それらの参照結果にもとづいてラベルレジスタの値を決定し仮ラベルを本ラベルに更新することを特徴とする、
請求項1乃至請求項4のうちのいずれか一つに記載の画像処理装置である。
本発明に係る請求項6に記載の画像処理装置は、
データ制御装置とメモリの間に接続を制御するメモリスイッチを介し、メモリをデータ制御装置以外の第2のデータ制御部に接続することできることを特徴とする、
請求項3に記載の画像処理装置である。
本発明を利用することにより、次のような効果を得ることができる。
SIMD型マイクロプロセッサに簡単なハードウェアを追加することで、異なる複数の仮ラベルが間接的に連結することがないような簡単な図形の2値画像データに対して、仮ラベリング処理を行うことができる。
画像処理にて、連結している仮ラベル間の接続情報を記憶する場合に、接続情報を格納しておく記憶装置の記憶容量を必要最小限に抑えながら、異なる複数の仮ラベルが間接的に連結している場合のような複雑な2値画像データに対しても、後の本ラベリング処理が容易になるように仮ラベリング処理を行うことができる。
画像処理にて、仮ラベリング処理終了後の画像データに対して、欠番がでないように本ラベリング処理を行い、仮ラベルを本ラベルに更新することができる。
画像処理装置において、ラベリング処理を行わないときには、仮ラベル間の接続情報を格納しておく記憶装置を他の用途に使用できるため、プロセッサ全体として記憶装置を効率的に使用することができる。
以下、図面を参照して本発明に係る好適な実施の形態を説明する。
図10は、本発明に係る画像処理装置の構成を示すブロック図である。該画像処理装置は、SIMD型マイクロプロセッサ2、及びデータ制御装置11を含む。更に該SIMD型マイクロプロセッサ2は、概略、グローバルプロセッサ4、レジスタファイル6、演算アレイ8、及び外部インタフェース7から構成される。
(1)グローバルプロセッサ4
このグローバルプロセッサ4そのものは、いわゆるSISD(Single Instruction Stream, Single Data Stream)型のプロセッサである。プログラムRAM10とデータRAM12を内蔵し(図11参照)、プログラムを解読し各種制御信号を生成する。この制御信号は内蔵する各種ブロックの制御以外に、レジスタファイル6、演算アレイ8、及びデータ制御装置11にも供給される。また、GP(グローバルプロセッサ)命令実行時は内蔵する汎用レジスタ、ALU(算術論理演算器)等を使用して各種演算処理、プログラム制御処理を行う。
(2)レジスタファイル6
PE(プロセッサエレメント)命令で処理されるデータを保持している。PE(プロセッサエレメント)3は、公知のように、SIMD(Single Instruction−Stream,Multiple Data−Stream)型マイクロプロセッサにおいて個別の演算を実行する構成単位である。図11のレジスタファイル6及び演算アレイ8が示すように、図11のSIMD型マイクロプロセッサ2では256個のPE3を含んでいる。PE命令はSIMD型の命令であり、レジスタファイル6に保持されている複数のデータに同時に同じ処理を行う。このレジスタファイル6からのデータの読み出し/書き込みの制御はグローバルプロセッサ4からの制御によって行われる。読み出されたデータは演算アレイ8に送られ、演算アレイ8での演算処理後にレジスタファイル6に書き込まれる。
また、レジスタファイル6は、外部インタフェース7を介してプロセッサ外部のデータ制御装置11からのアクセスが可能であり、グローバルプロセッサ4の制御とは別に、外部から特定のレジスタに対して読み出し/書き込みが行われる。
(3)演算アレイ8
PE命令の演算処理が行われる。処理の制御はすべてグローバルプロセッサ4から行われる。
(4)データ制御装置11
外部インタフェース7のポートに、クロックとアドレス、リード/ライト制御を出力し、任意のPE3のレジスタから、データを読み出し、データ処理することができる。処理の制御はすべてグローバルプロセッサ4から行われる。
図11は、本発明に係るSIMD型マイクロプロセッサ2の、更に詳細な構成を示すブロック図である。
グローバルプロセッサ4には、本プロセッサ2のプログラム格納用のプログラムRAM10と、演算データ格納用のデータRAM12が内蔵されている。さらに、プログラムのアドレスを保持するプログラムカウンタ(PC)14、演算処理のデータ格納のための汎用レジスタであるG0、G1、G2及びG3レジスタ(16、18、20、22)、レジスタ退避・復帰時に退避先データRAMのアドレスを保持しているスタックポインタ(SP)24、サブルーチンコール時にコール元のアドレスを保持するリンクレジスタ(LS)26、同じくIRQ(Interrupt ReQuest;割込み要求)時とNMI(Non−Maskable Interrupt request;禁止不能割込み要求)時の分岐元アドレスを保持するLIレジスタ28及びLNレジスタ30、プロセッサの状態を保持しているプロセッサステータスレジスタ(P)32が内蔵されている。
これらのレジスタと、(図示していない)命令デコーダ、ALU、メモリ制御回路、割り込み制御回路、外部I/O制御回路、及びGP演算制御回路を使用して、GP命令の実行が行われる。
また、PE命令実行時には、命令デコーダ(図示せず)、レジスタファイル制御回路(図示せず)、PE演算制御回路(図示せず)を使用して、レジスタファイル6の制御と演算アレイ8の制御を行う。
レジスタファイル6には、1つのPE単位に8ビットのレジスタが32本内蔵されており、256PE分の(32本の)組がアレイ構成になっている。レジスタ34はPE毎にR0、R1、R2、・・・R31と呼ばれる。それぞれのレジスタ34は演算アレイに対して1つの読み出しポートと1つの書き込みポートを備えており、8ビットのリード/ライト兼用のバスで演算アレイからアクセスされる。32本のレジスタの内、24本(R0〜R23)は外部インタフェース7を介してプロセッサ外部からアクセス可能であり、外部からクロック(CLK)とアドレス(Address)、リード/ライト制御(RWB)を入力することで、任意のレジスタ34に対して読み書きできる。
レジスタ34の外部からのアクセスにおいて、1つの外部ポートで各PEの1つのレジスタ34がアクセス可能である。外部から入力されたアドレスでPEの番号(0〜255)が指定される。したがって、レジスタアクセスの外部ポートは全部で24組搭載されている。また、外部からのアクセスは16ビットデータで行い、1回のアクセスで2つのレジスタ(偶数のPEのレジスタと奇数のPEレジスタの1組)に同時にアクセスしている。
演算アレイ8は、16ビットALU36と16ビットAレジスタ38、Fレジスタ40を内蔵している。PE命令による演算は、レジスタファイル6から読み出されたデータ若しくはグローバルプロセッサ4から与えられたデータをALU36の片側の入力とし、Aレジスタ38の内容をもう片側の入力として行われる。演算結果はAレジスタ38に格納される。したがって、R0〜R31レジスタ34若しくはグローバルプロセッサ4から与えられたデータと、Aレジスタ38に格納されるデータとの、演算が通常行われることになる。
レジスタファイル6と演算アレイ8との接続に、7to1(7対1)のマルチプレクサ42が置かれている。図11に示すように、あるマルチプレクサ42から見て、左方向の3つのPE3に含まれるR0〜R31レジスタ34のデータと、右方向の3つのPE3に含まれるR0〜R31レジスタ34のデータと、自らが属するPE3に含まれるR0〜R31レジスタ34のデータを、演算対象として選択し得るように設定されている。また、レジスタファイル6の8ビットのデータは、シフト・拡張回路44により任意ビットだけ。左シフトしてALU36に入力する。
さらに、8ビットの条件レジスタ(図示せず)により、PE3別に演算実行の無効/有効の制御をしており、特定のPE3だけを演算対象として選択できるようになっている。
第1の実施の形態
図1は、本発明の第1の実施の形態に係るデータ制御装置11の概略のブロック図である。
第1の実施の形態に係るデータ制御装置11は、
・外部インタフェース7に対してクロック、アドレス、及びリード/ライト制御を供給することで外部インタフェース7を制御する外部インタフェース制御部52、
・外部インタフェース7を介してPE3のレジスタファイル6から読み出される画素データと、1つ前の処理で左に隣接している画素に割り付けた仮ラベルの値を読み込み、対象画素に割り付けるべき仮ラベルの値を決定するラベル判定回路58、
・ラベル判定回路58での判定結果にもとづいて仮ラベルを新規に発生させるカウンタ56、
・上記カウンタ56によって発生される仮ラベルと、対象画素に既に割り付けられている仮ラベルの値とを読み込み、上記ラベル判定回路58の結果において仮ラベルとして判定された方の値を出力するマルチプレクサ60、及び、
・マルチプレクサ60から値を受け取り、その値を仮ラベルとして外部インタフェース7に書き戻すラベルレジスタ62
から構成されている。個別の具体的な「ラベル」は、ラベル判定回路58、カウンタ56、マルチプレクサ60、及びラベルレジスタ62の相互の作用により決定されることになる。これらラベル判定回路58、カウンタ56、マルチプレクサ60、及びラベルレジスタ62は、図に示すように、ラベル制御部54を構成する。
なお、本明細書では、画素の処理は、主走査方向では(特に図面上の)左から右へと行われ、副走査方向では(図面上の)上から下へと行われるものとしている。
上記の構成において、ラベル判定回路58に読み込むデータのうち、上記の「1つ前の処理で左に隣接している画素に割り付けた仮ラベルの値」は、処理直前のラベルレジスタ62の値と等値である。外部インタフェース制御部52は、アドレスを外部インタフェース7に供給するためのアドレスカウンタ(図示せず)を内蔵している。このアドレスカウンタは、画素データの転送がアドレスの昇順(あるいは降順)に行われるようにすればよいので、単純なアップ(あるいはダウン)カウンタであればよい。
かかる構成によれば、(2つ以上の)異なる仮ラベルが付与された領域が後に連結することがないような、図形の2値画像データが与えられた場合に、ラベリング処理を適切に行うことができる。ここで2値画像データは、SIMD型マイクロプロセッサにおいて、一定の閾値を基準に2値化し、またノイズを取り除くためのフィルタ処理を施したものとして与えられる。
続いて、図2のような5×5の画像データが与えられた場合の処理の流れについて説明する。
2値画像データは、PE3のレジスタファイル6上に2次元状に配置されているとする。通常、画像データの1ライン中の画素数はPE数より多い。その場合、(図示していないが)外部インタフェース7にデータ転送装置、及びメモリを配置し、このメモリ(ラインバッファ)に画像データを格納し、処理に応じてPEのレジスタファイルに画像データを順次転送すればよい。
まず、2値画像データ、及び仮ラベルを以下のように定義する。
・背景画素(2値画像データ):0000h(図中では空欄で表す。)
・特徴画素(2値画像データ):8000h(図中では黒丸で表す。)
・仮ラベル:0001hから7FFFhの数(図中でも0001hから7FFFhまでの数で表す。)
なお、上記のような数字末尾の“h”は16進法表記であることを示す。
上記のように定義するのは、2値画像データにおいて背景画素と特徴画素の判別が16ビットのデータの最上位1ビットのみに基づいて為されればよく、また、仮ラベルを含めて0000hより大きな数が特徴画素であると判断されればよい、という処理の簡素さを考慮したためである。
第1の実施の形態における仮ラベリング処理は、
・処理A1:SIMD型マイクロプロセッサで一度に並列に行う副走査方向のデータ処理
・処理B1:図1に図示するデータ制御装置により逐次的に行う主走査方向のデータ処理
の大きく2つに分類される。
処理A1、及び処理B1の詳細を以下に記す。
≪処理A1≫
処理A1は1ライン中の全ての画素に対して、一度に並列に行われる。
<処理A1−1>
対象ラインから見て1つ上のラインの画像データを参照し、同じ列の画素に仮ラベルが割り付けられおり(即ち、0000h(背景画素)でなく)、かつ対象ラインの同一列の2値画素データが8000h(特徴画素)であれば、その仮ラベルを対象ラインにコピーする。
≪処理B1≫
処理B1では、対象画素について、以下の<処理B1−1>から<処理B1−5>の処理のいずれかを行う。ラベルレジスタ62の値は、各ラインの先頭で0000hに初期化されるようにする。
<処理B1−1>
対象画素が0000h(背景画素)の場合、そのまま0000hをラベルレジスタ62に書き込む。ラベルレジスタ62に書き込まれた値はレジスタファイル6に書き戻される。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:0000h
<処理B1−2>
処理直前のラベルレジスタ62の値が0000h(1つ左隣りが背景画素)で、対象画素が8000h(特徴画素)である場合、カウンタ56の値を1インクリメントし、インクリメントされた値をラベルレジスタ62に書き込む。ラベルレジスタ62に書き込まれた値はレジスタファイル6に書き戻される。
・処理後のカウンタの値:1インクリメント
・処理後のラベルレジスタの値:インクリメント後のカウンタの値
<処理B1−3>
処理直前のラベルレジスタ62の値が0000h(1つ左隣りが背景画素)で、対象画素が0001hから7FFFhまでの数(仮ラベル)場合、対象画素のデータをそのままラベルレジスタ62に書き込む。ラベルレジスタ62の値はレジスタファイル6に書き戻される。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:対象画素のデータ
<処理B1−4>
処理直前のラベルレジスタ62の値が0000h以外で、対象画素のデータがラベルレジスタ62の値以上の場合(即ち、対象画素が8000h(特徴画素)である、若しくは1つ左隣りに割り付けた仮ラベル以上の値の仮ラベルである場合)、ラベルレジスタ62の値を変更しない。ラベルレジスタ62の値はそのままレジスタファイル6に書き戻される。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:変更なし
<処理B1−5>
処理直前のラベルレジスタ62の値が0000h以外で、対象画素のデータがラベルレジスタ62の値より小さい場合(即ち、対象画素のデータが1つ左隣りに割り付けた仮ラベルより小さい値の仮ラベルである場合)、対象画素のデータ(仮ラベル)をラベルレジスタ62に書き込む。ラベルレジスタ62の値はレジスタファイル6に書き戻される。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:対象画素のデータ
以上で処理A1及び処理B1の説明を終わる。
仮ラベリング処理実行前には、図1に示すカウンタ56、及びラベルレジスタ62の値を0000hに初期化しておく。処理A1及び処理B1を、この順番に1ラインずつ最後のラインまで繰り返すことで、2値画像データに対して仮ラベリング処理を行うことができる。
図2(2)に、図2(1)の2値画像データに対して上記の仮ラベリング処理を行った結果を示す。図2(2)では、例えば、4、5行目のデータのように、連結している画素に異なる仮ラベルが割り付けられているが、処理B1の処理の特性から、必ず値の小さな仮ラベルが右側に来ている。従って、全てのラインについての仮ラベリング処理終了後に、処理B1を主走査方向の逆側から(右側から)全てのラインについて行うことで、簡単に本ラベリング処理を実現することができる。本ラベリング処理終了後の状態を図2(3)に示す。
第2の実施の形態
図3は、本発明の第2の実施の形態に係るデータ制御装置11の概略のブロック図である。
第2の実施の形態に係るデータ制御装置11では、図1で示すデータ制御装置に、仮ラベル間の接続情報を格納しておくためのラベル間接続情報格納メモリ15と、このメモリに対して、クロック、データ(書き込み時)、アドレス、リード/ライトを供給し、仮ラベル間の接続情報を書き込んだり、読み出したりできるように制御するためのメモリ制御部64とを備えた構成となっている。メモリ制御部64はラベル制御部54の処理に基づきメモリの制御を行う。
また、ラベル制御部54においては、ラベル間接続情報格納メモリ15に格納されている仮ラベル間の接続情報を参照したり、対象画素に割り付ける仮ラベルの値として利用したりできるように、上記接続情報が、ラベル判定回路58と、ラベルレジスタ62に書き込むデータを制御しているマルチプレクサ60とに対して、LT(ラッチ)を介して入力することができる構成となっている。
また、第2の実施の形態に係るラベル間接続情報格納メモリ15では、アドレスが仮ラベルの値を表し、各アドレスには上記で定義した画素データを扱うために16ビットのデータが格納できることとしている。格納されているデータによって各仮ラベルの状態を以下のように表すとする。
・データがFFFFhの場合:そのアドレスに対応する仮ラベルが存在しない
・データが0000hの場合:そのアドレスに対応する仮ラベルが存在するが連結している他の仮ラベルがない、もしくは連結している複数の仮ラベルの中で自身の値が一番小さい。
・データが0001hから7FFFhまでの場合:そのアドレスに対応する仮ラベルが存在し、連結している他の仮ラベルが1つ以上存在する。
なお、以降の説明でアドレス値Addrに格納されているデータを、
・RAM[Addr]
と表記することがある。
以下、図4(1)のような10×10の画像データが与えられた場合の処理の流れについて説明する。
本第2の実施の形態における仮ラベリング処理は、第1の実施の形態で説明した仮ラベリング処理(処理A1、処理B1)と基本的な考え方は同じである。仮ラベル間の接続情報を作成・参照する処理が加わるため、処理B1が一部変更される。変更後の処理B1を処理B2として以下に記す。
≪処理B2≫
処理B2では、対象画素について、以下の<処理B2−1>から<処理B2−5>の処理のいずれかを行う。ラベルレジスタ62の値は、各ラインの先頭で0000hに初期化されるようにする。
<処理B2−1>
対象画素が0000h(背景画素)の場合、そのまま0000hをラベルレジスタ62に書き込む。ラベルレジスタ62に書き込まれた値はレジスタファイル6に書き戻される。接続情報を作成する処理は特に行われない。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:0000h
<処理B2−2>
処理前のラベルレジスタ62の値が0000h(1つ左隣りが背景画素)で、対象画素が8000h(特徴画素)である場合、カウンタ56の値を1インクリメントし、インクリメントされた値をラベルレジスタ62に書き込む。ラベルレジスタ62に書き込まれた値はレジスタファイル6に書き戻される。また、接続情報を作成する処理として、RAM[処理後のラベルレジスタ]に0000hを書き込む。
・処理後のカウンタの値:1インクリメント
・処理後のラベルレジスタの値:インクリメント後のカウンタの値
・RAM[処理後のラベルレジスタ]:0000h
<処理B2−3>
処理前のラベルレジスタ62の値が0000h(1つ左隣りが背景画素)で、対象画素が0001hから7FFFhまでの数(仮ラベル)場合、さらに以下の(処理B2−3−1)と(処理B2−3−2)に処理が分岐する。
(処理B2−3−1):RAM[対象画素のデータ]が0000hの場合、対象画素のデータをそのままラベルレジスタ62に書き込む。ラベルレジスタ62の値はレジスタファイル6に書き戻される。接続情報を作成する処理は特に行われない。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:対象画素のデータ
(処理B2−3−2):RAM[対象画素のデータ]が0000h以外の場合、RAM[対象画素のデータ]の値をラベルレジスタ62に書き込む。ラベルレジスタ62の値はレジスタファイル6に書き戻される。接続情報を作成する処理は特に行われない。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:RAM[対象画素のデータ]
<処理B2−4>
処理前のラベルレジスタ62の値が0000h以外で、対象画素のデータが8000h(特徴画素)の場合、ラベルレジスタ62の値を変更しない。ラベルレジスタ62の値はレジスタファイルに書き戻される。接続情報を作成する処理は特に行われない。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:変更なし
<処理B2−5>
処理前のラベルレジスタ62の値が0000h以外で、対象画素のデータが0001hから7FFFhまでの数(仮ラベル)の場合、さらに以下の(処理B2−5−1)、(処B2−5−2)、(処理B2−5−3)若しくは(処理B2−5−4)に処理が分岐する。
(処理B2−5−1):RAM[対象画素のデータ]が0000hの場合で、かつ対象画素のデータが処理前のラベルレジスタ62の値以上の場合、ラベルレジスタ62の値を変更しない。ラベルレジスタ62の値はレジスタファイル6に書き戻される。
接続情報を作成するための処理として、RAM[対象画素のデータ]をラベルレジスタ62の値で更新する。また、
RAM[i]=(対象画素のデータ)
を満たす全てのRAM[i]の値もラベルレジスタ62の値で更新する。iは1からRAM[i]=FFFFhとなるまで1ずつインクリメントする。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:変更なし
(処理B2−5−2):RAM[対象画素のデータ]が0000hの場合で、かつ対象画素のデータが処理前のラベルレジスタ62の値より小さい場合、対象画素のデータをそのままラベルレジスタ62に書き込む。ラベルレジスタ62の値はレジスタファイル6に書き戻される。
接続情報を作成するための処理として、RAM[処理前のラベルレジスタの値]を処理後のラベルレジスタ62の値で更新する。また、
RAM[i]=(処理前のラベルレジスタの値)
を満たす全てのRAM[i]の値も処理後のラベルレジスタ62の値で更新する。iは1からRAM[i]=FFFFhとなるまで1ずつインクリメントする。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:対象画素のデータ
(処理B2−5−3):RAM[対象画素のデータ]が0000h以外の場合で、かつRAM[対象画素のデータ]が処理前のラベルレジスタ62の値以上の場合、ラベルレジスタ62の値を変更しない。ラベルレジスタ62の値はレジスタファイル6に書き戻される。
接続情報を作成するための処理として、RAM[RAM[対象画素のデータ]]をラベルレジスタ62の値で更新する。また、
RAM[i]=RAM[対象画素のデータ]
を満たす全てのRAM[i]の値もラベルレジスタ62の値で更新する。iは1からRAM[i]=FFFFhとなるまで1ずつインクリメントする。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:変更なし
(処理B2−5−4):RAM[対象画素のデータ]が0000h以外の場合で、かつRAM[対象画素のデータ]が処理前のラベルレジスタ62の値より小さい場合、RAM[対象画素のデータ]をラベルレジスタ62に書き込む。ラベルレジスタ62の値はレジスタファイル6に書き戻される。
接続情報を作成するための処理として、RAM[処理前のラベルレジスタの値]を処理後のラベルレジスタ62の値で更新する。また、
RAM[i]=(処理前のラベルレジスタの値)
を満たす全てのRAM[i]の値も処理後のラベルレジスタ62の値で更新する。iは1からRAM[i]=FFFFhとなるまで1ずつインクリメントする。
・処理後のカウンタの値:インクリメントなし
・処理後のラベルレジスタの値:RAM[対象画素のデータ]
以上で処理B2の説明を終わる。
仮ラベリング処理実行前には、図3に示すカウンタ56、及びラベルレジスタ62の値を0000hに、またラベル間接続情報格納メモリ15のすべてのデータをFFFFhで初期化しておく。処理A1及び処理B2を、この順番に1ラインずつ最後のラインまで繰り返すことで、2値画像データに対して仮ラベリング処理を行うことができる。
図4(1)(2)(3)(4)、図5(5)(6)(7)(8)、図6(9)(10)(11)(12)、図7(13)(14)(15)(16)、図8(17)(18)において、図4(1)の2値画像データに対し上記の仮ラベリング処理を行う際の、画像データの変遷とラベル間接続情報格納メモリの更新の様子とを示す。
図8(18)では、仮ラベリング処理が最終ラインまで終了した時点での、画像データを示している。同図にて、連結しているラベルであって異なる仮ラベルが割り付けられている画素領域がある。けれども、各仮ラベルは、(間接的な連結も含めて)連結している他の仮ラベルの中に自身より値の小さい仮ラベルがあれば、その中で最も値の小さい仮ラベルをラベル間接続情報格納メモリ15に保持しているので、後で詳述する本ラベリングの処理により、同一ラベルの割り付けが可能である。
第3の実施の形態
第3の実施の形態に係るデータ制御装置の構成は、第2の実施の形態に係るデータ制御装置のブロック図に示されるものと同一である。よって、第2の実施の形態に係るデータ制御装置に付加された部分を中心に以下説明する。
第2の実施の形態にて、処理A1及び処理B2の仮ラベリング処理により得られた各ラベル間の接続情報をそのまま使用し、本ラベリング処理を行うと、例えば図8(18)の例では、値が0003h、0004h、0005h、0006hの仮ラベルがそれぞれのアドレスに格納されている値に更新され、その結果、画像データ上では、値が0003h、0004h、0005h、0006hの仮ラベルは欠番となる。
本第3の実施の形態では、仮ラベルの欠番を無くすため、本ラベリング処理を行う前にラベル間接続情報格納メモリ15に対して以下の≪処理C1≫を行い、本ラベリング後に欠番を出さないようにする。処理C1を以下に記す。
≪処理C1≫
ラベル間接続情報格納メモリ15のアドレス値をLabelとすると、Labelの値を1から
RAM[Label]=FFFFh
となるまで1ずつインクリメントしていき、順次、以下に記す処理<C1−1>から<処理C1−2>までの処理のいずれかを実行する。また、≪処理C1≫では欠番となる仮ラベルの数を数えるカウンタ(Count)(図示せず。)を使用する。このカウンタ(Count)は、この処理開始前に0000hに初期化しておかなければならない。
<処理C1−1>
RAM[Label]の値が0001hから7FFFhまでの数である場合、欠番となる仮ラベルの数を数えるカウンタ(Count)を1インクリメントする。
<処理C1−2>
RAM[Label]の値が0000hである場合、RAM[Label]の値を
(Label−Count)に更新する。また、
RAM[i]=Label
を満たすすべてのRAM[i]の値を(Label−Count)に更新する。
iは(Label+1)からRAM[i]=FFFFhとなるまで1ずつインクリメントする。
以上で処理C1の説明を終わる。
処理C1の処理により、ラベル間接続情報格納メモリ15に格納されているデータを精査し、(接続情報に0000h以外のデータが格納されているならば、その仮ラベルはそのままでは本ラベリング処理後に欠番となるはずであることから)欠番となる仮ラベルを見つけられる。よって、欠番となるはずの仮ラベルより大きな値の仮ラベルを、欠番となる仮ラベルを踏み潰すように前方にシフトさせるための情報(具体的には、仮ラベルのシフト後の値)を、ラベル間接続情報格納メモリ15に書き込むことができる。
処理C1は、図示していないが、ラベル間接続情報格納メモリ15をグローバルプロセッサ4からのデータのリード/ライトが可能なように構成し、グローバルプロセッサ4においてソフトウェア(プログラム)で処理することにより容易に実現することができる。
図8(19)にて、図8(18)の状態に対して処理C1を実行しラベル間接続情報格納メモリ15が更新された状態を示す。
第4の実施の形態
第4の実施の形態に係るデータ制御装置の構成は、第2の実施の形態に係るデータ制御装置のブロック図に示されるものと同一である。よって、第2の実施の形態及び第3の実施の形態に係るデータ制御装置に付加された部分を中心に以下説明する。
第4の実施の形態に係るデータ制御装置では、まず上述の処理C1までの処理を行って、ラベル間接続情報格納メモリ15に各仮ラベルを更新するためのデータを格納することができる。更に第4の実施の形態に係るデータ制御装置では、この仮ラベルを更新するためのデータを適宜参照しながら、仮ラベリング後の画像データを順次更新(本ラベリング)していく。この本ラベリング処理を行う≪処理D1≫を以下に記す。
≪処理D1≫
処理D1では、対象画素について、以下の<処理D1−1>から<処理D1−2>の処理のいずれかを行う。
<処理D1−1>
対象画素が0000h(背景画素)の場合、そのまま0000hをラベルレジスタ62に書き込む。ラベルレジスタ62に書き込まれた値はレジスタファイル6に書き戻される。
<処理D1−2>
対象画素が0001hから7FFFhまでの数(仮ラベル)の場合、対応するラベル間接続情報格納メモリの更新情報(接続情報)を参照し、その値を本ラベルとしてラベルレジスタ62に書き込む。ラベルレジスタ62に書き込まれた値はレジスタファイル6に書き戻される。
以上で処理D1の説明を終わる。
図8(20)に、図8(19)の状態に対して≪処理D1≫を実行した結果の状態を示す。図8(19)において、値が0003h、0004h、0005h、0006h、0007hであった仮ラベルが、ラベル間接続情報格納メモリ15の更新情報に従ってそれぞれ更新され、図8(20)では連結している特徴画素すべてに同一のラベルが割り付けられていることが分かる。
第5の実施の形態
図9は、本発明の第5の実施の形態に係る画像処理装置の概略のブロック図である。
外部インタフェース7には複数のデータ制御装置(第1のデータ制御装置11−(1)、第2のデータ制御装置11−(2))が接続されており、それぞれメモリスイッチ70を介して複数のメモリ(第1のメモリ15−(1)、第2のメモリ15−(2))にアクセスできるように構成されている。複数のデータ制御装置は、すべて本発明に係るデータ制御装置に限定されるのではなく、例えば通常のラインディレイのためのデータ制御装置であってもよい。
画像処理装置をこのように構成することにより、ラベリング処理を行わないときには、仮ラベル間の接続情報を格納しておくメモリを他の用途に使用することができる。
本発明の第1の実施の形態に係るデータ制御装置の概略のブロック図である。 (1)は2値画像データの例である。(2)以降は、(1)の2値画像データに対し仮ラベリング処理を行う際の、画像データの変遷を示す。 本発明の第2の実施の形態に係るデータ制御装置の概略のブロック図である。 (1)は2値画像データの例である。(2)以降は、(1)の2値画像データに対し仮ラベリング処理を行う際の、画像データの変遷とラベル間接続情報格納メモリの更新の様子<1>とを示す。 図4(1)の2値画像データに対し仮ラベリング処理を行う際の、画像データの変遷とラベル間接続情報格納メモリの更新の様子<2>とを示す。 図4(1)の2値画像データに対し仮ラベリング処理を行う際の、画像データの変遷とラベル間接続情報格納メモリの更新の様子<3>とを示す。 図4(1)の2値画像データに対し仮ラベリング処理を行う際の、画像データの変遷とラベル間接続情報格納メモリの更新の様子<4>とを示す。 (17)(18)は、図4(1)の2値画像データに対し仮ラベリング処理を行う際の、画像データの変遷とラベル間接続情報格納メモリの更新の様子<5>とを示す。(19)(20)は、本ラベリング処理の様子を示す。 第5の実施の形態に係る画像処理装置の概略のブロック図である。 本発明に係る画像処理装置の構成を示すブロック図である。 本発明に係るSIMD型マイクロプロセッサの詳細な構成を示すブロック図である。
符号の説明
4・・・グローバルプロセッサ、6・・・レジスタファイル、7・・・外部インタフェース、11・・・データ制御装置、15・・・ラベル間接続情報格納メモリ、62・・・ラベルレジスタ。

Claims (6)

  1. 演算処理及びプログラム制御処理を行うグローバルプロセッサと、複数のデータを処理するための複数のプロセッサエレメントとを有するSIMD型マイクロプロセッサを備える画像処理装置において、
    各プロセッサエレメントが内蔵している汎用レジスタにプロセッサ外部からアクセスするためのデータ転送用ポートに接続されたデータ制御装置が備わり、
    2次元状に配置された2値画像データに対してラベリング処理を行う際に、
    副走査方向に隣接している画素が連結しているかどうかの判定と仮ラベリングを各プロセッサエレメントにおける一斉の同時処理で行い、
    主走査方向に隣接している画素が連結しているかどうかの判定と仮ラベリングを該データ制御装置における逐次処理で行い、
    各行における処理では、上記の一斉の同時処理が上記の逐次処理に先行することを特徴とする画像処理装置。
  2. データ制御装置が、ラベル制御部を含み、
    ラベル制御部が、2値画素データに対してラベルを付与してデータ転送用ポートに書き戻すためのラベルレジスタと、
    仮ラベル値をインクリメントするためのカウンタを有し、
    ラベル制御部は、データ転送用ポートから読み出される2値画素データとラベルレジスタの値とを比較しそれらの比較結果にもとづいてカウンタの値、及びラベルレジスタの値を決定し画素データに仮ラベルを付与することを特徴とする、
    請求項1に記載の画像処理装置。
  3. データ制御装置が、
    連結しているラベル間の接続情報を格納するためのメモリと、
    メモリを制御するためのアドレス及びデータを、ラベル制御部の処理に基づいて決定するメモリ制御部を更に有し、
    ラベル制御部は、データ転送用ポートから読み出される画素データと、ラベルレジスタの値と、該メモリに格納されているラベル間の接続情報とを比較し、それらの比較結果にもとづいてカウンタの値、及びラベルレジスタの値を決定し画素データに仮ラベルを付与することを特徴とする、
    請求項2に記載の画像処理装置。
  4. グローバルプロセッサが、
    メモリに格納されているラベル間の接続情報をチェックし、本ラベリング処理の際に欠番となる仮ラベルを見つけ、その欠番となる仮ラベルより大きな値の仮ラベルを、欠番となる仮ラベルがなくなるように前方にシフトさせる情報を該メモリに書き込むことを特徴とする、
    請求項1乃至請求項3のうちのいずれか一つに記載の画像処理装置。
  5. ラベル制御装置は、メモリに格納されたラベル間の接続情報と、データ転送用ポートから読み出された仮ラベルとを参照して、それらの参照結果にもとづいてラベルレジスタの値を決定し仮ラベルを本ラベルに更新することを特徴とする、
    請求項1乃至請求項4のうちのいずれか一つに記載の画像処理装置。
  6. データ制御装置とメモリの間に接続を制御するメモリスイッチを介し、メモリをデータ制御装置以外の第2のデータ制御部に接続することできることを特徴とする、
    請求項3に記載の画像処理装置。
JP2003427624A 2003-12-24 2003-12-24 画像処理装置 Expired - Fee Related JP4237046B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003427624A JP4237046B2 (ja) 2003-12-24 2003-12-24 画像処理装置
US11/015,933 US7340113B2 (en) 2003-12-24 2004-12-17 Image processing apparatus with SIMD-type microprocessor to perform labeling
US11/968,521 US7512290B2 (en) 2003-12-24 2008-01-02 Image processing apparatus with SIMD-type microprocessor to perform labeling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003427624A JP4237046B2 (ja) 2003-12-24 2003-12-24 画像処理装置

Publications (3)

Publication Number Publication Date
JP2005189966A JP2005189966A (ja) 2005-07-14
JP2005189966A5 JP2005189966A5 (ja) 2006-01-19
JP4237046B2 true JP4237046B2 (ja) 2009-03-11

Family

ID=34786843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003427624A Expired - Fee Related JP4237046B2 (ja) 2003-12-24 2003-12-24 画像処理装置

Country Status (2)

Country Link
US (2) US7340113B2 (ja)
JP (1) JP4237046B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048222A (ja) * 2004-08-02 2006-02-16 Ricoh Co Ltd 画像処理装置及び画像処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4237046B2 (ja) * 2003-12-24 2009-03-11 株式会社リコー 画像処理装置
JP4859390B2 (ja) * 2005-05-10 2012-01-25 株式会社リコー 画像処理方法及び画像処理装置
US8213734B2 (en) * 2006-07-07 2012-07-03 Sony Ericsson Mobile Communications Ab Active autofocus window
US8600171B2 (en) * 2009-12-10 2013-12-03 Canon Kabushiki Kaisha Image labeling using parallel processing
JP6152034B2 (ja) * 2013-03-22 2017-06-21 株式会社Screenホールディングス ラベリング方法、ラベリング装置および欠陥検査装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1517870A (en) * 1976-12-20 1978-07-12 Ibm Apparatus for producing vectors from raster scanned data
US4307377A (en) * 1979-11-09 1981-12-22 Bell Telephone Laboratories, Incorporated Vector coding of computer graphics material
US4307737A (en) * 1980-07-30 1981-12-29 Paul Shipman Hair braider
US4805116A (en) * 1986-04-23 1989-02-14 International Business Machines Corporation Interpolated display characteristic value generator
JP2734959B2 (ja) 1993-12-27 1998-04-02 日本電気株式会社 仮ラベル付け方法
JP2002230540A (ja) 2001-02-02 2002-08-16 Fuji Xerox Co Ltd 画像処理方法
JP4237046B2 (ja) * 2003-12-24 2009-03-11 株式会社リコー 画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048222A (ja) * 2004-08-02 2006-02-16 Ricoh Co Ltd 画像処理装置及び画像処理方法
JP4612352B2 (ja) * 2004-08-02 2011-01-12 株式会社リコー ラベリング処理装置及びラベリング処理方法

Also Published As

Publication number Publication date
US7340113B2 (en) 2008-03-04
US7512290B2 (en) 2009-03-31
US20080107339A1 (en) 2008-05-08
US20050163381A1 (en) 2005-07-28
JP2005189966A (ja) 2005-07-14

Similar Documents

Publication Publication Date Title
EP0293700B1 (en) Linear chain of parallel processors and method of using same
JPS62208158A (ja) マルチプロセツサシステム
JP3955741B2 (ja) ソート機能を有するsimd型マイクロプロセッサ
US7769980B2 (en) Parallel operation device allowing efficient parallel operational processing
US7512290B2 (en) Image processing apparatus with SIMD-type microprocessor to perform labeling
JP4482356B2 (ja) Simdプロセッサを用いた画像処理方法及び画像処理装置
JPH04295953A (ja) 要素プロセッサの2次元アレイを内蔵する並列データ処理装置および要素プロセッサのサブアレイユニット
JP2002269067A (ja) 行列演算装置
US9317474B2 (en) Semiconductor device
JP4612352B2 (ja) ラベリング処理装置及びラベリング処理方法
JP2812292B2 (ja) 画像処理装置
JP3837293B2 (ja) 定数選択機能を有するsimd型マイクロプロセッサ
JP2007102799A (ja) ソート機能を有するsimd型マイクロプロセッサ
JP4821427B2 (ja) データ処理装置及びそのプログラム
JP2515724B2 (ja) 画像処理装置
JPH1063647A (ja) 行列演算装置
JP2590704B2 (ja) 並列プロセッサlsi
JP3039043B2 (ja) 並列プロセッサ
JPH064689A (ja) リニアアレイ型の並列dspプロセッサ
JPH08212168A (ja) アレイプロセッサ
KR20010072505A (ko) 다수의 처리 및 메모리 회로를 포함하는 데이터 처리장치, 그 구성 방법 및 컴퓨터 프로그램 제품
JP4413905B2 (ja) Simd型プロセッサ
JPS61123967A (ja) メモリ回路
JPH0793154A (ja) レジスタウィンド構成方式
JPH11144035A (ja) 半導体記憶装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees