JP2986303B2 - 情報処理装置 - Google Patents

情報処理装置

Info

Publication number
JP2986303B2
JP2986303B2 JP5099711A JP9971193A JP2986303B2 JP 2986303 B2 JP2986303 B2 JP 2986303B2 JP 5099711 A JP5099711 A JP 5099711A JP 9971193 A JP9971193 A JP 9971193A JP 2986303 B2 JP2986303 B2 JP 2986303B2
Authority
JP
Japan
Prior art keywords
current
integrated circuit
image
information processing
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP5099711A
Other languages
English (en)
Other versions
JPH0652321A (ja
Inventor
ウイリアム・オリバー・キャンプ・ジュニア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH0652321A publication Critical patent/JPH0652321A/ja
Application granted granted Critical
Publication of JP2986303B2 publication Critical patent/JP2986303B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Neurology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は処理装置を内蔵する光セ
ンサ、特に受光素子と表面上に焦点を合わされたイメー
ジ中の1組のパターンのうち或るパターンを検出する処
理装置を有するシリコン集積回路に関する。
【0002】
【従来の技術】従来から多くのニューラル・ネットワー
クが集積回路として実現されており、また光検出器から
の光入力を有するこのようなネットワークの例も多く存
在する。ここでニューラル・ネットワークとは、1つの
ノードから次のノードに伝える信号の値を修正するよう
なノード間の1組の結合である。多くの接続が或るノー
ドで衝突すると、そのノードにおける値の和は、しきい
値又は振幅制限器のような非線型関数によりさらに修正
される。入力ノードにおける値はそのネットワークで評
価されるべき信号を表し、出力ノ−ドにおける値は当該
ネットワークによる入力信号の評価結果を示す。しかし
従来のニューラル・ネットワークは、それ自身で自由に
変化する機能が組み込まれているか、又はラプラシアン
や空間微分の計算を行うための抵抗性ネットワークとい
った極めて限定的な実現形態しか持っていないものであ
る。 関連出願:米国出願番号 0000890997, 1992年
【0003】
【発明が解決しようとする課題】上記の従来技術は必要
な計算能力を有していなかったか、又は十分な計算能力
を有していたとしても、複雑な実現回路を要するために
集積回路の多くの面積を浪費していた、と言う欠点があ
った。従って本発明の目的は、単位時間当たりの演算量
及び特定の演算のための集積回路の面積を増加させるこ
とにある。
【0004】
【課題を解決するための手段】本発明の目的は、以下の
手段を提供することにより達成される。 ・集積回路への入力を大容量化するために光検出器のア
レイを設け、当該集積回路の表面上に投映されたイメー
ジをこれらの光検出器により多数のアナログ信号に変換
し、これを当該集積回路上の処理ネットワークへの入力
として与えること。 ・上記光検出器からの信号に基づき、複数の内部ノード
に電流を供給するような1組の電流源を設けること。 ・上記内部ノードにおいて上記電流の加算接合点を設け
ること。 ・一の内部ノードにおける総電流がそのノードのしきい
値より大きいか又は小さいかに基づいて、一の信号を後
続ネットワーク層に伝えるか又は伝えないかという比較
器機能を設けること。(この比較器の出力は電流に変換
され、ネットワークの次の後続の層の入力になる。) ・内部ノードにおける電流発生及びその加算、そして各
ノードにおけるしきい値との比較といった機能を不特定
数の層にわたって配置するとともに、入力に対するネッ
トワ−クの状態についての情報を外界に伝える出力ノ−
ドを設けること。
【0005】また本発明の付加的特徴は、以下の通りで
ある。すなわち、何を演算するかということは、ノード
相互間の電流源に表わされる。この演算に必要な面積を
最小化し、従って単位面積当りの演算を最大化するため
に、これらの電流源はなすべき特定の演算作業により定
められた値に固定される。また、一の入力信号が次のス
テージの多くのノードに伝えられるときに、その入力信
号を修正するのに必要な回路の量をより削減するのに、
カレントミラーが用いられることも特徴である。このア
プローチによれば、1演算当たり1トランジスタの目標
に近づくことができる。光検出器のアレイに投映された
光イメージは入力の大容量化を可能にするので、集積回
路の集積度が高くなる場合の入出力パッド数の限界とい
う古典的問題を避けることができるという点も特徴とし
て挙げられる。また、出力パッドの数を減らして大規模
集積回路の入出力パッド限界をより緩和するために、作
業をなすのに必要なすべての演算がチップ上に含まれる
ようにしていることも特徴である。
【0006】本発明の一般的な効果は、集積回路の表面
に投映されたイメージと当該集積回路内に組み込まれた
多数の参照パターンとの並列ドット積を計算し、ドット
積がしきい値を超えることとなったすべての参照パタ−
ンについて出力表示を与える、ということである。上記
しきい値は外部的に制御可能であり、上記参照パタ−ン
は集積回路のデザインに組み込まれている。ドット積と
は、ある場所の光検出器からの電圧とその場所の参照値
との、個々の積の和である。これにより集積回路の表面
上に投映されたイメージ内にあるパタ−ンの存在を、効
果的に検出することができる。
【0007】上記参照パタ−ンが固定されているならば
この発明が価値あることは、画像解析や圧縮を論じてい
る多くの論文に示されている。Daugman(Daugma
n,J.,∧Complete Discrete 2-D Gabor Transforms By N
eural Networks for Image Analysis and Compression,
∧ IEEE Trans. on Acoustics, Speech, and Signal Pr
ocessing, vol. 36, No.7 July 1988.)は、イメージ解
析や圧縮の基本的パタ−ンとしてGabor関数の使用
を論じている。Gabor関数は、有限の2次元空間に
のみ存在する三角関数的パターンである。これらのGa
bor関数はその空間にわたって、正弦曲線の変形とし
ての1又は多くの周期を持ち、位相はその空間内の位置
に関連してシフトしうる。本発明の例では、上記参照パ
タ−ンの内部セットとして1次Gabor関数を使用し
ている。
【0008】最も簡単な実施例では、処理装置はレンズ
を備えた集積回路であり、図5ではすべての入力装置を
表すように参照番号99を付されているこのレンズは集
積回路の前に配置されていて、集積回路の表面に外界か
らのイメージを投映する。この発明は、集積回路がレン
ズを通して又はレンズを通さずにイメージ源と結合され
ている実施形態をも含んでいる。例えばイメージ源はと
してCRTまたは、レーザーアレイやLEDといった発
光素子、光源を有する液晶ディスプレーを使用すること
もできる。レンズが必要となるのは、イメージの大きさ
を変更する必要がある場合、または物理的理由でイメー
ジ源を集積回路に接近して配置するのが困難な場合であ
る。CRTのようなイメージ源を使用する利点は、イメ
ージの位置を集積回路を横切って移動できること、また
は同じイメージのコピーを多くの同じような集積回路に
与えることができるということである。この能力が開発
の中間段階において極めて有用となるのは、1つの集積
回路チップ上に置くことができる部品の数が、十分なレ
ベルに達していないために、入力アレイ上のすべての可
能な位置においてすべての可能な出力応答を処理するこ
とができない場合である。この問題は、それぞれ同じ入
力イメージを与えられた多くのそのようなチップ間で分
けることができる。さらにCRTを使用すると、入力ア
レイを横切るようにイメージを電子的に移動させること
ができるので、チップの内部的に必要な処理量を減らす
ことができる。もちろん、別の実現形態においては集積
回路の入力アレイを横切るように入力イメージを機械的
に走査することもできる。
【0009】
【作用】集積回路の表面に光学的に投映されたイメージ
は、光検出器のアレイによりイメージの光強度に応じた
電流に変換され、集積回路上の処理ネットワークに伝え
られる。その電流は、カレントミラーなどの電流源によ
り内部ノードに供給される。内部ノ−ドの加算回路にて
電流の加算が行われ、その総電流がそのノードのしきい
値を超えていれば、次のネットワークの層に信号が伝達
される。これを繰り返すことにより演算が行われ、そし
て出力ノードにより入力に対するネットワークの状態に
ついての情報が出力される。
【0010】
【実施例】実施例を詳細に述べる前に、本発明の動作を
述べることは有用である。根底にある概念はカレントミ
ラーというものであり、このデバイスは多くの場所に同
時に電流を反映させるために用いられる。そして集積回
路の表面上に焦点を合わされたイメージは、各光検出器
で発生される電流を引き起こす。当該イメージ上の場所
の光強度に応答した各電流は、カレントミラ−を介して
多くの線に反映され、当該線は各内部パタ−ンに対する
総電流を加算する。当該内部パタ−ン(図2及び図3)
は、カレントミラ−の値により個々の光検出器から様々
な出力線に表される。しきい値回路は定電流源と共に接
地されている。このように当該線において加算された電
流が当該しきい値電流より大きい場合に、一つの出力の
みが発生する。
【0011】図1に実施例を示す。図1は8列×8行に
配列される基本回路の1つを具体的に示し、この基本回
路が列方向及び行方向に8列、8行反復される。バイポ
ーラ・トランジスタ104は各基本回路に1つ含まれ、
その表面に投映されたイメージの光強度に反応して、P
FET 105に電流を供給する。バイポーラ・トラン
ジスタ104のコレクタは接地された線134に接続さ
れる。PFET 105のドレインとゲートはショート
しており、ドレインはカレントミラーを構成する同種の
PFET 106,100,101,102に接続され
ている。電源に接続された線133とPFET 105
のドレインとの間の電圧が、PFET 106,100,
101,102から線130,131,132とNF
ET 107に流れ込む正の電流を生じさせる。線13
0,131,132に流れ込む電流の量は図1に示すよ
うに各PFET 100,101,102と線130,
131,132との接続の有無によって決まる。この正
の電流は、上記PFETとPFET 105のゲート幅
の相対的な大きさにも比例している。そして、線13
0,131,132はカレントミラーに共通して接続さ
れている。
【0012】NFET 107のゲートとドレインはシ
ョートしており、そのソースはNFET 110,11
1,112に接続されている。そのソース電圧は、NF
ET107のゲート幅を基準としたNFET 110,
111,112のゲートの相対的大きさに比例する負の
電流を生じさせる。その負の電流は線130,131,
132に流れ込み、これらの線はカレントミラーに共通
して接続されている。入力信号にゼロがかけられる場
合、特別の出力については各カレントミラーからその出
力に対する電流を加算する線への接続は存在しない。N
FET 120,121,122は線130,131,
132に供給される負電流を制御するように、線140
によりバイアスされているので、出力表示はそれらの線
の電流がゼロを超えた時のみ生じる。入力信号がゼロで
ない場合、線130,131,132に流れ込む負の電
流の量は図1に示すように各NFET 110,11
1,112と線130,131,132との接続の有無
によって決まる。従って8列8行に配列されたバイポー
ラ・トランジスタ104の各々に投映された光はPFE
T 100,101,102及びNFET 110,11
1,112と線130,131,132との接続パター
ンによって決まる量の正または負の電流を線130,1
31,132に与える。線130,131,132の各
々は8列8行の基本回路にあるPFET及びNFETに
所定のパターンで接続されている。
【0013】線 130,131,132の数は、参照
パターンの総数を調整するのに必要な大きさとなる。こ
の図2及び図3に示されたパターン 201−206,
211−216,221−226については、18本の
線が必要となる。NFET120,121,122を除
くこの基本構成は水平方向に7回繰り返され、そして線
130,131,132(それらの延長部を含む)
は、参照パターンにおける値の配列により指定されたよ
うにPFETやNFETに接続されたる。更にこの拡張
された基本構成は、水平方向と同様に垂直方向にも7回
繰り返される。電線 141,142,143(および
必要とされたすべてのパターンに対し必要な数)は、行
間の全ての電流を電気的に接続するのに使われる。図1
に示された回路に追加の行と列を設けることにより、図
2に示された結果を与えることができる。
【0014】このように各光検出器は、正電流はPFE
T、負電流はNFETを通じて、ゼロ荷重に対しては接
続を持たないことにより、各参照パターンごと各出力へ
一の電流を供給する。そして電流の量は、PFET 1
05またはNFET 107に対する各PFETまたは
NFETの相対的な大きさで決定される。
【0015】上記実施例は、図2及び図3に示された参
照パターン201−216,211−216,221−
226を用いている。この図2及び図3では、+は光電
流の値が正の符号をもって線に伝えられることを意味
し、−は光電流の値が負の符号をもって線に伝えられる
ことを意味し、0は電流が線に伝えられないことを意味
する。図2及び図3に示された18個の参照パターン2
01−216,211−216,221−226はそれ
ぞれ18本の線130,131,132,・・・・に接
続された基本回路の接続パターンを示す。パターン20
1は線130に対する接続パターンであり、パターン2
02は線131に対する接続パターンであり、以下同様
に対応している。各パターンにおいてたとえば+印に対
応する基本回路のバイポーラ・トランジスタに光イメー
ジが投映されると(つまり+印のパターンのイメージが
投映されると)出力線に流れる電流は正の最大値とな
る。また−印のパターンのイメージが投映されると出力
線に流れる電流は負の最大値となる。他のパターンから
の出力はこれより小さい。これにより出力線は投映され
たイメージのパターンを表すことが判る。
【0016】もちろん多くの他のパタ−ンが、他の目的
に対して実現可能である。そして構成要素の正確な値と
大きさは、様々な理由(より少ない電流、より高い解像
度、異なった線幅、エッジ、他のパタ−ン等)で調整す
ることが可能である。
【0017】さらに演算を拡張するために上記アプロー
チを推し進めて、カレントミラーやしきい値回路を持つ
上記と同様な構成を有する処理層を付加したり、水平方
向にデバイスを付加することができるのは明らかであ
る。代替的な実現形態が、図5に示されている。この例
では、光検出器のアレイを除く1図の複数の要素が、1
つの要素として扱われ、要素 302,307として複
数回用いられている。光検出器のアレイ 301は、処
理ネットワーク 302と結合しており、当該ネットワ
ーク 302は1組の要素 303と305と結合してい
る。これらの要素303及び305は信号 304及び
306によりそれぞれ個々に制御されて、要素 302
からの電圧出力を処理ネットワークに結合すべき電流に
変換する。要素 307の出力は、308,309,3
10である。図5に示されているドットは、この装置に
組み込むことのできる1つの拡張を表すものである。こ
の構造は多くのステージの計算を可能とする。
【0018】
【発明の効果】本発明の効果は、単位時間当たりの演算
量及び特定の演算のための集積回路の面積を増加させた
ことである。
【図面の簡単な説明】
【図1】実施例の全容を概念的に示したものである。こ
こでは光線の存在や方向を検出するための回路の構成部
分と共に、光検出器の8X8アレイを示している。その
光線の幅は、2個の光検出器の間隔に等しいか又はそれ
より大きく、そして4個の光検出器の間隔に等しいか又
はそれより小さくなければならない。ただし、他の実施
形態においては、他の線幅又は境界を取ることできる。
【図2】図3と共に実施例で用いられる参照パタ−ンを
示す。この参照パターンは1次のGabor関数、すな
わち6つの可能な方向をカバーするように順序正しく回
転され、かつ各方向ごとのアレイ内の3つの可能な位置
をカバーするように順序正しく位置をシフトされた、そ
のようなGabor関数を表す。
【図3】実施例で用いられる参照パターンを示す。
【図4】図2及び図3の結合様式を示す。
【図5】図1に示した装置の複数層への拡張を示す。こ
の構造が多くのステージを通すことにより計算を精練す
ることができる。例えば各層は先行する層からの大量の
情報から情報を分離する。
【符号の説明】
100,101,102,105,106 PF
ET 104 バイ
ポ−ラトランジスタ 107,110,111,112 NF
ET 120,121,122 NF
ET 130,131,132,134 線 133,140 電源
に接続された線 141,142,143 線 201−206 パタ
−ンの番号 210−216 パタ
−ンの番号 220−226 パタ
−ンの番号 301 光検
出器のアレイ 302,307 処理
ネットワ−ク 303,305 電圧
電流変換要素 304,306 変換
信号線 308,309,310 出力
信号線 99 レン
ズまたはCRT等
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平6−52319(JP,A) 特開 昭62−6384(JP,A) (58)調査した分野(Int.Cl.6,DB名) G06T 7/00

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】行及び列に配列された複数の光検出器と、 前記光検出器に光イメージを投映する手段と、 前記複数の光検出器の各々に入力をそれぞれ接続された
    複数のカレントミラーであって、各々複数の電気的出力
    線にそれぞれ異なる所定の接続パターンで接続された出
    力を有するカレントミラーと、 前記電気的出力線を電気的にバイアスするバイアス手段
    と、 を備え、 これにより前記電気的出力線の各々が、前記光検出器に
    投映される光イメージを反映する出力を与えることを特
    徴とする情報処理装置。
  2. 【請求項2】前記情報処理装置は集積回路を搭載するシ
    リコン基板上に設けられており、前記光検出器は集積回
    路の表面上に配置されて成ることを特徴とする請求項1
    に記載の情報処理装置。
JP5099711A 1992-05-29 1993-04-26 情報処理装置 Expired - Lifetime JP2986303B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/890,976 US5262632A (en) 1992-05-29 1992-05-29 Integrated circuit for achieving pattern recognition
US890976 1992-05-29

Publications (2)

Publication Number Publication Date
JPH0652321A JPH0652321A (ja) 1994-02-25
JP2986303B2 true JP2986303B2 (ja) 1999-12-06

Family

ID=25397411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5099711A Expired - Lifetime JP2986303B2 (ja) 1992-05-29 1993-04-26 情報処理装置

Country Status (2)

Country Link
US (1) US5262632A (ja)
JP (1) JP2986303B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381054A (en) * 1993-12-07 1995-01-10 Rockwell International Corporation Multiple input comparator circuit for a switched resistive network
JPH08292998A (ja) * 1995-04-20 1996-11-05 Mitsubishi Electric Corp 画像検出装置及び画像検出方法
US7004912B2 (en) * 1999-12-27 2006-02-28 Neurovision, Inc. Systems and methods for improving visual perception
WO2017146706A1 (en) 2016-02-25 2017-08-31 Hewlett Packard Enterprise Development Lp Performing complex multiply-accumulate operations
CN114530176B (zh) * 2022-04-25 2022-07-19 中科南京智能技术研究院 一种分布式位线补偿数模混合存内计算阵列

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288152A (en) * 1979-08-16 1981-09-08 Minolta Camera Kabushiki Kaisha Automatic range finder system
US4466018A (en) * 1981-05-09 1984-08-14 Sony Corporation Image pickup apparatus with gain controlled output amplifier
FR2583602B1 (fr) * 1985-06-18 1988-07-01 Centre Nat Rech Scient Retine integree a reseau de processeurs
US5153420A (en) * 1990-11-28 1992-10-06 Xerox Corporation Timing independent pixel-scale light sensing apparatus

Also Published As

Publication number Publication date
JPH0652321A (ja) 1994-02-25
US5262632A (en) 1993-11-16

Similar Documents

Publication Publication Date Title
Eklund et al. VLSI implementation of a focal plane image processor-a realization of the near-sensor image processing concept
Maher et al. Implementing neural architectures using analog VLSI circuits
Goodman et al. Optical interconnections for VLSI systems
US5815608A (en) Apparatus and method for sensing and processing images
JPS5884568A (ja) 原稿読取装置
JP2986303B2 (ja) 情報処理装置
Shi A low-power orientation-selective vision sensor
US5646395A (en) Differential self-electrooptic effect device
Kornfield et al. An optically programmed neural network
Nilson et al. Shunting neural network photodetector arrays in analog CMOS
US5051573A (en) Optical logic operation system
EP0571893A2 (en) Image analysis apparatus
US6038073A (en) Optical information processing system
KR102622313B1 (ko) 공간광변조기를 이용한 광전자 모듈 및 이를 포함하는 광 컴퓨터
Jackson et al. Pulse stream VLSI neural systems: into robotics
Gruev et al. A programmable spatiotemporal image processor chip
Kuznia et al. Two-dimensional parallel pipeline smart pixel array cellular logic (SPARCL) processors-chip design and system implementation
US6806514B1 (en) Modular digital pixel sensor system
EP0605117B1 (en) Apparatuses and methods with series-connected self-electrooptic effect devices
Chong et al. An Imager with Built-In Image-Velocity Computation
Guilfoyle et al. " Smart" Optical Interconnects for High Speed Photonic Computing
JPH03119855A (ja) 密着型イメージセンサ
Lam et al. An Intelligent Optical Sensor
Webb Effect of noise in an optoelectronic neural network
US5287431A (en) Neural network using liquid crystal for threshold and amplifiers for weights

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081001

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091001

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101001

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101001

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111001

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121001

Year of fee payment: 13