JPH11134496A - Image collating device - Google Patents

Image collating device

Info

Publication number
JPH11134496A
JPH11134496A JP9293767A JP29376797A JPH11134496A JP H11134496 A JPH11134496 A JP H11134496A JP 9293767 A JP9293767 A JP 9293767A JP 29376797 A JP29376797 A JP 29376797A JP H11134496 A JPH11134496 A JP H11134496A
Authority
JP
Japan
Prior art keywords
image
unit
power
fingerprint
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9293767A
Other languages
Japanese (ja)
Other versions
JP3858386B2 (en
Inventor
Shigehisa Maruyama
重久 丸山
Toshiyuki Mizuno
敏之 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP29376797A priority Critical patent/JP3858386B2/en
Publication of JPH11134496A publication Critical patent/JPH11134496A/en
Application granted granted Critical
Publication of JP3858386B2 publication Critical patent/JP3858386B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Collating Specific Patterns (AREA)

Abstract

PROBLEM TO BE SOLVED: To save power and allow a power source of limited capacity to be used by selectively supplying an operation power source to a circuit block requiring image fetching or image collating, etc. SOLUTION: When a fingerprint registration mode is selected which is obtained from a fingerprint reading part 4, power is supplied to a living body detecting part 2 by a control part 3 to which a power source is normally supplied together with an input/output part 6 in a fingerprint collating device 1. When the placement of a finger is detected, power is fed to an illuminating part 8 and an image pickup 9, power is no longer supplied to the living body detecting part. Then, the finger on the placement position is illuminated by the illuminating part 8 and image pickup data is generated by an image pickup part 9. The power source of the image collating part 5 is continuously built up and the power source of the illuminating part 8 and the image pickup part 9 is made to fall. Thus, data generated by the image pickup part 9 is registered in a database in the image collating part 5. Thus, the power source is successively supplied only to a required circuit block so that power consumption is saved.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像照合装置に関
し、例えば指紋照合装置に適用して、各回路ブロックに
選択的に電源を供給することにより、常時照合可能な状
態に保持して消費電力を低減する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image collating apparatus, for example, applied to a fingerprint collating apparatus. To reduce.

【0002】[0002]

【従来の技術】従来、この種の画像照合装置でなる指紋
照合装置においては、撮像手段を介して指紋の画像を読
み取り、この指紋の画像より指紋の分岐、点、切れ等の
特徴的な部分を抽出することにより、この特徴的な部分
を基準にして指紋照合するようになされている。
2. Description of the Related Art Conventionally, in a fingerprint collating apparatus comprising this kind of image collating apparatus, a fingerprint image is read through an image pickup means, and a characteristic portion such as a branch, a dot, a cut, etc. of the fingerprint is read from the fingerprint image. Is extracted to perform fingerprint collation based on this characteristic portion.

【0003】[0003]

【発明が解決しようとする課題】ところでこの種の指紋
照合装置において、画像読み取り手段でなる撮像手段、
指紋照合処理を実行する演算処理手段等を一体化、小型
化してユニット化すれば、例えば部屋の入退出管理等に
適用できると考えられる。
By the way, in this type of fingerprint collating apparatus, imaging means comprising image reading means,
If the arithmetic processing means for executing the fingerprint collation processing and the like are integrated, miniaturized and unitized, it can be considered to be applicable to room entrance / exit management, for example.

【0004】ところがこのようにユニット化すれば、電
源容量の限られた場所で使用される場合も考えられ、こ
れにより消費電力を低減することが求められる。
However, if such a unit is formed, it may be used in a place where the power supply capacity is limited, and it is required to reduce power consumption.

【0005】本発明は以上の点を考慮してなされたもの
で、消費電力を低減することができる画像照合装置を提
案しようとするものである。
The present invention has been made in view of the above points, and it is an object of the present invention to propose an image matching apparatus capable of reducing power consumption.

【0006】[0006]

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、制御手段の制御により、画像取り
込み手段、画像照合手段に選択的に動作用電源を供給す
る。
According to the present invention, an operation power supply is selectively supplied to an image capturing unit and an image collating unit under the control of a control unit.

【0007】制御手段の制御により、画像取り込み手
段、画像照合手段に選択的に動作用電源を供給すれば、
必要な場合にのみ動作用電源を供給して、その分消費電
力を低減することができる。
By selectively supplying power for operation to the image capturing means and the image collating means under the control of the control means,
Operation power is supplied only when necessary, and power consumption can be reduced accordingly.

【0008】[0008]

【発明の実施の形態】以下、適宜図面を参照しながら本
発明の実施の形態を詳述する。
Embodiments of the present invention will be described below in detail with reference to the drawings.

【0009】(1)全体構成 図2は、本発明の実施の形態に係る指紋照合装置を示す
ブロック図である。この指紋照合装置1は、生体検出部
2、制御部3、指紋読み取り部4、画像照合部5、入出
力部6が小型に一体化されたユニットにより構成され
る。指紋照合装置1は、このユニットが所定位置に配置
されると共に、パーソナルコンピュータ等の外部機器7
に接続され、例えば部屋の入退出管理等に適用される。
(1) Overall Configuration FIG. 2 is a block diagram showing a fingerprint matching device according to an embodiment of the present invention. This fingerprint matching device 1 is configured by a unit in which a living body detecting unit 2, a control unit 3, a fingerprint reading unit 4, an image matching unit 5, and an input / output unit 6 are integrated in a small size. The fingerprint collation device 1 includes an external device 7 such as a personal computer while the unit is arranged at a predetermined position.
And is applied to, for example, room entry / exit management.

【0010】この指紋照合装置1において、生体検出部
2は、所定の指載置位置に指が載置されると、制御部3
に通知する。
In this fingerprint collation apparatus 1, when a finger is placed at a predetermined finger placement position, the living body detection unit 2 controls the control unit 3
Notify.

【0011】指紋読み取り部4は、制御部3の制御によ
りこの指載置位置に載置された指の画像を撮像し、ビデ
オ信号SVを出力する。
The fingerprint reading section 4 captures an image of the finger placed at this finger placement position under the control of the control section 3 and outputs a video signal SV.

【0012】画像照合部5は、制御部3の制御により動
作モードを切り換え、このビデオ信号SVを2値化して
画像データを生成する。また画像照合部5は、指紋登録
モードにおいて、この指紋データD1、又は入出力部6
を介して入力される指紋データを内蔵のデータベースに
登録する。これにより画像照合部5は、この指紋登録モ
ードにおいて、指紋照合の基準となる基準画像を登録す
る。
The image collating unit 5 switches the operation mode under the control of the control unit 3 and binarizes the video signal SV to generate image data. In the fingerprint registration mode, the image collating unit 5 receives the fingerprint data D 1 or the input / output unit 6.
Register the fingerprint data input through the built-in database. Thus, in this fingerprint registration mode, the image matching unit 5 registers a reference image serving as a reference for fingerprint matching.

【0013】また指紋照合モードにおいて、このように
して内蔵のデータベースに登録した基準画像と、所定の
指紋データによる指紋画像と照合し、照合結果を出力す
る。ここでこの指紋照合装置1において、指紋照合モー
ドは、生体検出部2の検出結果をトリガにして、画像照
合部5に保持した基準画像と指紋読み取り部4を介して
得られる指紋画像とを照合する第1の自己照合モード
と、外部機器7の指示をトリガにして画像照合部5に保
持した基準画像と指紋読み取り部4より得られる指紋画
像とを照合する第2の自己照合モードと、外部機器7の
指示により画像照合部5に保持した基準画像と外部機器
7より入力される指紋画像とを照合する外部照合モード
とにより構成される。
In the fingerprint matching mode, the reference image registered in the built-in database is compared with a fingerprint image based on predetermined fingerprint data, and a matching result is output. Here, in the fingerprint matching device 1, the fingerprint matching mode matches the reference image held in the image matching unit 5 with the fingerprint image obtained through the fingerprint reading unit 4 by using the detection result of the living body detection unit 2 as a trigger. A first self-verification mode, a second self-verification mode for collating a reference image held in the image collating unit 5 with a fingerprint image obtained from the fingerprint reading unit 4 in response to an instruction from the external device 7, An external matching mode for matching a reference image held in the image matching unit 5 with an instruction from the device 7 and a fingerprint image input from the external device 7 is provided.

【0014】画像照合部5は、これら3つの指紋照合モ
ードに対応して、それぞれ指紋読み取り部4を介して得
られる指紋画像、入出力部6を介して外部機器7より入
力される指紋画像を照合対象に設定して、データベース
に保持した基準画像との間で指紋照合の処理を実行す
る。
The image matching section 5 converts a fingerprint image obtained through the fingerprint reading section 4 and a fingerprint image input from the external device 7 through the input / output section 6 in correspondence with these three fingerprint matching modes. A fingerprint collation process is executed between a reference image set as a collation target and a reference image held in a database.

【0015】入出力部6は、制御部3の制御により、外
部機器7より入力される制御コマンドを制御部3に通知
し、また外部機器より入力される画像データを画像照合
部5に出力し、さらに画像照合部5による照合結果を外
部機器7に出力する。
The input / output unit 6 notifies the control unit 3 of a control command input from the external device 7 and outputs image data input from the external device to the image matching unit 5 under the control of the control unit 3. Further, the matching result by the image matching unit 5 is output to the external device 7.

【0016】制御部3は、この指紋照合装置1全体の動
作を制御するマイクロコンピュータにより構成され、外
部機器7の制御により動作モードを設定する。
The control section 3 is constituted by a microcomputer for controlling the operation of the entire fingerprint collation apparatus 1, and sets an operation mode under the control of the external device 7.

【0017】(1−1)指紋読み取り部 図3は、指紋読み取り部4を示すブロック図である。こ
の指紋読み取り部4は、指紋を照明する照明部8と、照
明した指紋を撮像する撮像部9とにより構成される。
(1-1) Fingerprint Reading Unit FIG. 3 is a block diagram showing the fingerprint reading unit 4. The fingerprint reading unit 4 includes an illuminating unit 8 for illuminating the fingerprint and an imaging unit 9 for imaging the illuminated fingerprint.

【0018】このうち照明部8において、ディジタルア
ナログ変換回路11は、制御部3より出力される制御デ
ータをラッチし、この制御データをディジタルアナログ
変換処理して出力する。トランジスタ12は、このディ
ジタルアナログ変換回路11の出力信号をベースに受け
るエミッタ接地回路により構成され、コレクタ出力によ
り発光ダイオード13を駆動する。これにより照明部8
は、制御部3の制御により発光ダイオード13による照
明光の光量を変化させ、さらには照明光の射出を停止す
るようになされている。
In the illumination section 8, the digital-to-analog conversion circuit 11 latches the control data output from the control section 3, converts the control data into a digital-to-analog signal, and outputs the data. The transistor 12 is constituted by a common emitter circuit receiving the output signal of the digital-to-analog conversion circuit 11 at the base, and drives the light emitting diode 13 by a collector output. Thereby, the lighting unit 8
Changes the amount of illumination light by the light emitting diode 13 under the control of the control unit 3 and further stops emission of the illumination light.

【0019】この発光ダイオード13は、撮像部9に配
置された直角プリズム14に照明光Lを射出し、これに
よりこの直角プリズム14の指載置位置に載置された指
紋を照明する。
The light emitting diode 13 emits the illuminating light L to the right-angle prism 14 arranged in the image pickup section 9, thereby illuminating the fingerprint placed on the finger placement position of the right-angle prism 14.

【0020】すなわち撮像部9において、直角プリズム
14は、斜面が指載置位置に設定され、直角を形成する
1の面より発光ダイオード13の出射光を入射する。こ
れにより直角プリズム14は、何ら指載置位置に載置さ
れていない場合、斜面により発光ダイオード13の照明
光を全反射し、直角を形成する他の面より出射する。こ
れに対して指が載置された場合、指紋の山の部分におい
ては、斜面に接触して光を乱反射することにより、また
指紋の谷の部分においては、斜面に接触しないで全反射
のままに保持されることにより、指紋の形状に応じて明
暗が変化するように、直角を形成する他の面より入射光
を出射する。
That is, in the image pickup unit 9, the right-angle prism 14 has the inclined surface set at the finger placement position, and the light emitted from the light emitting diode 13 enters from one surface forming a right angle. Accordingly, when the right-angle prism 14 is not placed at any finger placement position, the illumination light of the light-emitting diode 13 is totally reflected by the inclined surface and emitted from another surface forming a right angle. On the other hand, when a finger is placed on the fingerprint, the light is irregularly reflected by contacting the slope at the peak of the fingerprint. , The incident light is emitted from the other surface forming a right angle so that the brightness changes according to the shape of the fingerprint.

【0021】CCD15は、レンズ16を介してこの直
角プリズム14の他の面より出射される光を受光し、こ
れにより直角プリズム14の斜面に形成される指紋の画
像を撮像する。
The CCD 15 receives the light emitted from the other surface of the right-angle prism 14 via the lens 16 and thereby captures a fingerprint image formed on the slope of the right-angle prism 14.

【0022】駆動パルス発生回路、出力信号処理回路1
7は、CCD15の駆動に必要な各種駆動パルスを生成
してCCD15を駆動し、またCCD15の出力信号を
処理してビデオ信号SVを出力する。
Drive pulse generation circuit, output signal processing circuit 1
Reference numeral 7 generates various driving pulses necessary for driving the CCD 15, drives the CCD 15, and processes an output signal of the CCD 15 to output a video signal SV.

【0023】(1−2)生体検出部 図4は、生体検出部2を示すブロック図である。この生
体検出部2は、パルス発振回路18の発振周波数の変化
により指載置位置に指が載置されたか否か検出する。す
なわちパルス発振回路18は、シュミットトリガ構成の
インバーター18A及び18Bを直列接続し、抵抗R1
及びR2の直列回路が帰還回路としてこの初段のインバ
ーター18Aに配置される。
(1-2) Living Body Detecting Unit FIG. 4 is a block diagram showing the living body detecting unit 2. The living body detection unit 2 detects whether or not a finger has been placed at the finger placement position based on a change in the oscillation frequency of the pulse oscillation circuit 18. That is, the pulse oscillation circuit 18 connects the inverters 18A and 18B having a Schmitt trigger configuration in series, and
And a series circuit of R2 are arranged in the first-stage inverter 18A as a feedback circuit.

【0024】さらにパルス発振回路18は、指載置位置
でなる直角プリズム14の斜面に、離間して透明電極1
4A及び14Bが配置され、何ら指を載置しない場合、
この透明電極14A及び14B間の静電容量が数〔p
F〕になるように、また指を載置するとこの透明電極1
4A及び14B間の静電容量が増大するように形成され
る。
Further, the pulse oscillating circuit 18 separates the transparent electrode 1 from the inclined surface of the right-angle prism 14 at the position where the finger is placed.
When 4A and 14B are arranged and no finger is placed,
The capacitance between the transparent electrodes 14A and 14B is several [p
F], and when a finger is placed, the transparent electrode 1
It is formed so that the capacitance between 4A and 14B increases.

【0025】パルス発振回路18は、抵抗R1及びR2
の接続中点が1方の透明電極14Bに接続され、他方の
インバーター18Bの出力端が抵抗Rを介して他方の透
明電極14Aに接続されるようになされている。なおこ
れら抵抗R1、R2、Rの抵抗値は、それぞれ10〔k
Ω〕、100〔kΩ〕、2〔kΩ〕に選定される。
The pulse oscillating circuit 18 includes resistors R1 and R2
Is connected to one transparent electrode 14B, and the output terminal of the other inverter 18B is connected to the other transparent electrode 14A via a resistor R. The resistance values of these resistors R1, R2, R are each 10 [k
Ω], 100 [kΩ], and 2 [kΩ].

【0026】これによりパルス発振回路18は、指を載
置して変化する透明電極14A及び14B間の静電容量
に応じて、発振出力信号S1の周波数が変化するように
なされている。さらに抵抗Rを介して透明電極14Aと
インバーター18Bの出力端とを接続したことにより、
透明電極14A及び14B間の充放電電流を低減し、図
5に示すように、電極14Bに印加される信号波形を鈍
らせるようになされている。これによりパルス発振回路
18は、何ら抵抗Rを介挿しない場合に比して、周波数
30〜300〔MHz〕における不要輻射を最大で20
〔dB〕低減するようになされている。
Thus, the pulse oscillation circuit 18 changes the frequency of the oscillation output signal S1 according to the capacitance between the transparent electrodes 14A and 14B which changes when a finger is placed. Further, by connecting the transparent electrode 14A and the output terminal of the inverter 18B via the resistor R,
The charge / discharge current between the transparent electrodes 14A and 14B is reduced, and as shown in FIG. 5, the signal waveform applied to the electrode 14B is blunted. As a result, the pulse oscillation circuit 18 reduces unnecessary radiation at a frequency of 30 to 300 [MHz] by up to 20 times as compared with a case where no resistor R is inserted.
[DB].

【0027】エッジ検出回路20は、このパルス発振回
路18の発振出力信号S1を波形成形して出力する。カ
ウンタ21は、所定の時間間隔で、エッジ検出回路20
の出力信号をカウントし、これにより発振出力信号S1
の周波数に応じて値が変化するカウント値を出力する。
ラッチ回路22は、このカウント値をラッチして保持
し、比較回路23は、このラッチ回路22のラッチ出力
と所定のしきい値との比較結果により、指載置位置に指
が載置されると、これを制御部3に通知する。これによ
り生体検出部2では、指載置位置への指の載置を検出し
て制御部3に通知するようになされている。
The edge detection circuit 20 shapes the waveform of the oscillation output signal S1 of the pulse oscillation circuit 18 and outputs it. The counter 21 operates at predetermined time intervals.
Of the oscillation output signal S1.
And outputs a count value whose value changes according to the frequency of.
The latch circuit 22 latches and holds the count value, and the comparison circuit 23 places a finger on the finger placement position based on a comparison result between the latch output of the latch circuit 22 and a predetermined threshold value. Is notified to the control unit 3. Thus, the living body detection unit 2 detects the placement of the finger on the finger placement position and notifies the control unit 3 of the detection.

【0028】(1−3)電源の制御 図1は、各回路ブロックと電源回路との関係を示すブロ
ック図である。この指紋照合装置1は、選択回路30A
〜30Dを介して各回路ブロックに選択的に電源を供給
する。すなわちこの指紋照合装置1においては、2系統
の電源回路31及び32を有し、それぞれ電源回路31
及び32により外部入力電源又はバッテリーよりこの指
紋照合装置1の駆動に必要な電源を生成する。このうち
電源回路31は、撮像部9の駆動に必要な電源を生成
し、電源回路32は、他の論理回路の駆動に必要な電源
を供給する。
(1-3) Control of Power Supply FIG. 1 is a block diagram showing the relationship between each circuit block and a power supply circuit. The fingerprint matching device 1 includes a selection circuit 30A
Power is selectively supplied to each circuit block through 30D. That is, the fingerprint collation device 1 has two power supply circuits 31 and 32,
And 32, a power supply required for driving the fingerprint collation apparatus 1 is generated from an external input power supply or a battery. Among them, the power supply circuit 31 generates a power supply required for driving the imaging unit 9, and the power supply circuit 32 supplies a power supply required for driving other logic circuits.

【0029】選択回路30A〜30Dは、それぞれ制御
部3の制御により、この指紋照合装置1の動作に必要な
期間の間、選択的に各電源を対応する回路ブロックに供
給する。これに対して入出力部6及び制御部3は、常時
電源が供給されるようになされている。
Under the control of the control unit 3, the selection circuits 30A to 30D selectively supply power to the corresponding circuit blocks during a period required for the operation of the fingerprint collation apparatus 1. On the other hand, the input / output unit 6 and the control unit 3 are always supplied with power.

【0030】図6は、指紋登録モード及び第1の自己照
合モードにおけるこれら電源の供給を示す図表である。
制御部3は、入出力部6と共に常時電源が供給された状
態で、この入出力部6を介して入力される制御コマンド
により、又は所定の操作子の設定によりこの動作モード
に設定される。この状態で制御部3は、選択回路30C
をオン状態に設定することにより生体検出部2に電源を
供給し、生体検出部2を動作状態に保持する。これによ
り制御部3は、照明部8、撮像部9、画像照合部5への
無駄な電源の供給を中止し、指が載置されるのを待機す
る。
FIG. 6 is a table showing the power supply in the fingerprint registration mode and the first self-verification mode.
The control unit 3 is set to the operation mode by a control command input through the input / output unit 6 or by setting a predetermined operation element in a state where power is constantly supplied together with the input / output unit 6. In this state, the control unit 3 operates the selection circuit 30C.
Is set to the ON state, power is supplied to the living body detecting unit 2 and the living body detecting unit 2 is maintained in the operating state. Thus, the control unit 3 stops supplying unnecessary power to the illumination unit 8, the imaging unit 9, and the image matching unit 5, and waits for a finger to be placed.

【0031】この状態で指の載置が生体検出部2より通
知されると、制御部3は、生体検出部2への電源の供給
を停止し、これにより無駄な電力消費を低減する。また
制御部3は、選択回路30A及び30Bをオン状態に設
定し、照明部8、撮像部9の動作を開始する。これによ
り制御部3は、指載置位置に載置された指を照明し、撮
像部9により指紋画像を取り込む。
In this state, when the placement of the finger is notified from the living body detecting section 2, the control section 3 stops supplying power to the living body detecting section 2, thereby reducing wasteful power consumption. The control unit 3 sets the selection circuits 30A and 30B to the ON state, and starts the operations of the illumination unit 8 and the imaging unit 9. Thereby, the control unit 3 illuminates the finger placed at the finger placement position, and captures the fingerprint image by the imaging unit 9.

【0032】続いて制御部3は、画像照合部5の電源を
立ち上げ、撮像部9により取り込まれた指紋画像をデー
タベースに登録し、又は指紋データベースに登録した基
準画像と照合する。このとき制御部3は、それまで電源
を供給していた照明部8、撮像部9への電源の供給を停
止し、これにより消費電力を低減する。
Subsequently, the control section 3 turns on the power supply of the image collating section 5, registers the fingerprint image captured by the imaging section 9 in the database, or collates the fingerprint image with the reference image registered in the fingerprint database. At this time, the control unit 3 stops supplying power to the illumination unit 8 and the imaging unit 9 that have been supplying power up to that time, thereby reducing power consumption.

【0033】続いて制御部3は、指紋照合の場合は、入
出力部6を介して照合結果を出力し、元の待機状態に全
体の動作を切り換える。
Subsequently, in the case of fingerprint collation, the control unit 3 outputs the collation result via the input / output unit 6, and switches the entire operation to the original standby state.

【0034】図7は、第2の自己照合モードにおけるこ
れら電源の供給を示す図表である。制御部3は、入出力
部6と共に常時電源が供給された状態で、この入出力部
6を介して入力される制御コマンドにより、又は所定の
操作子の設定によりこの動作モードに設定される。この
状態で制御部3は、生体検出部2、照明部8、撮像部
9、画像照合部5への無駄な電源の供給を中止し、続く
操作を待機する。
FIG. 7 is a chart showing the power supply in the second self-verification mode. The control unit 3 is set to the operation mode by a control command input through the input / output unit 6 or by setting a predetermined operation element in a state where power is constantly supplied together with the input / output unit 6. In this state, the control unit 3 stops supplying unnecessary power to the living body detection unit 2, the illumination unit 8, the imaging unit 9, and the image comparison unit 5, and waits for a subsequent operation.

【0035】この状態で所定の操作子が操作されると、
制御部3は、選択回路30A及び30Bをオン状態に設
定し、照明部8、撮像部9の動作を開始する。これによ
り制御部3は、指載置位置に載置された指を照明し、撮
像部9により指紋画像を取り込む。
When a predetermined operator is operated in this state,
The control unit 3 sets the selection circuits 30A and 30B to the ON state, and starts the operations of the illumination unit 8 and the imaging unit 9. Thereby, the control unit 3 illuminates the finger placed at the finger placement position, and captures the fingerprint image by the imaging unit 9.

【0036】続いて制御部3は、画像照合部5の電源を
立ち上げ、撮像部9により取り込まれた指紋画像と指紋
データベースに登録した基準画像と照合する。このとき
制御部3は、それまで電源を供給していた照明部8、撮
像部9への電源の供給を停止し、これにより消費電力を
低減する。
Subsequently, the control unit 3 turns on the power supply of the image matching unit 5 and matches the fingerprint image captured by the imaging unit 9 with the reference image registered in the fingerprint database. At this time, the control unit 3 stops supplying power to the illumination unit 8 and the imaging unit 9 that have been supplying power up to that time, thereby reducing power consumption.

【0037】続いて制御部3は、入出力部6を介して照
合結果を出力し、元の待機状態に全体の動作を切り換え
る。
Subsequently, the control section 3 outputs the collation result via the input / output section 6, and switches the entire operation to the original standby state.

【0038】図8は、外部機器より転送された指紋画像
を登録する場合、及び外部照合モードにおけるこれら電
源の供給を示す図表である。制御部3は、入出力部6と
共に常時電源が供給された状態で、この入出力部6を介
して入力される制御コマンドにより、又は所定の操作子
の設定によりこの動作モードに設定される。この状態で
制御部3は、生体検出部2、照明部8、撮像部9、画像
照合部5への無駄な電源の供給を中止して待機する。
FIG. 8 is a table showing the power supply in the case of registering the fingerprint image transferred from the external device and in the external verification mode. The control unit 3 is set to the operation mode by a control command input through the input / output unit 6 or by setting a predetermined operation element in a state where power is constantly supplied together with the input / output unit 6. In this state, the control unit 3 suspends useless power supply to the living body detection unit 2, the illumination unit 8, the imaging unit 9, and the image comparison unit 5 and stands by.

【0039】この状態で外部機器より指紋照合の制御コ
マンドが入力され、続いて指紋画像の画像データが転送
されると、制御部3は、画像照合部5の電源を立ち上
げ、これら画像データを画像照合部5に取り込み、続い
て指紋データベースに登録し、または指紋データベース
に登録した基準画像と照合する。続いて制御部3は、入
出力部6を介して照合結果を出力し、元の待機状態に全
体の動作を切り換える。
In this state, when a fingerprint collation control command is input from an external device and subsequently the image data of the fingerprint image is transferred, the control unit 3 turns on the power supply of the image collation unit 5 and transmits the image data. The image is taken into the image collating unit 5 and subsequently registered in the fingerprint database or collated with the reference image registered in the fingerprint database. Subsequently, the control unit 3 outputs the collation result via the input / output unit 6, and switches the entire operation to the original standby state.

【0040】(2)実施の形態の動作 以上の構成において、指紋照合装置1は、外部機器の制
御により、又は所定の操作子の操作により、指紋読み取
り部4より得られる指紋画像の指紋登録モードに設定さ
れると(図1、図2、図6)、入出力部6と共に常時電
源が供給される制御部3の制御により、生体検出部2へ
の電源の供給が開始される。この状態で指載置位置に指
が載置されると(図4)、指載置位置に配置された透明
電極14A及び14B間の静電容量が変化し、シュミッ
トトリガ回路により構成されたパルス発振回路18にお
いて、この静電容量の変化に対応して発振周波数が変化
する。このパルス発振回路18の発振出力信号S1がカ
ウンタ21によりカウントされ、そのカウント値が比較
回路23において比較されることにより、この発振周波
数の変化が検出され、これにより指の載置が検出され
る。
(2) Operation of the Embodiment In the above configuration, the fingerprint collation device 1 operates in the fingerprint registration mode of the fingerprint image obtained from the fingerprint reading unit 4 under the control of an external device or by operating a predetermined operation element. (FIGS. 1, 2, and 6), the supply of power to the living body detection unit 2 is started under the control of the control unit 3 which is constantly supplied with power together with the input / output unit 6. When a finger is placed at the finger placement position in this state (FIG. 4), the capacitance between the transparent electrodes 14A and 14B arranged at the finger placement position changes, and the pulse formed by the Schmitt trigger circuit is changed. In the oscillation circuit 18, the oscillation frequency changes in response to the change in the capacitance. The oscillation output signal S1 of the pulse oscillation circuit 18 is counted by the counter 21, and the count value is compared by the comparison circuit 23, thereby detecting a change in the oscillation frequency, thereby detecting the placement of the finger. .

【0041】この一連の指検出処理において、指紋照合
装置1では、透明電極14A側に抵抗Rが介挿されてい
ることにより、電極14Bに印加される信号波形におい
て高域成分が抑圧され(図5)、また電極14A及び1
4B間の充放電電流が低減され、これにより不要輻射が
低減される。
In this series of finger detection processing, in the fingerprint collation device 1, the high frequency component is suppressed in the signal waveform applied to the electrode 14B by the interposition of the resistor R on the transparent electrode 14A side (see FIG. 5) and electrodes 14A and 1
The charge / discharge current between 4B is reduced, thereby reducing unnecessary radiation.

【0042】このようにして指の載置がされると、制御
部3の制御により照明部8及び撮像部9に電源の供給が
開始され、生体検出部2への電源の供給が停止される。
これにより照明部8において(図3)、発光ダイオード
13が点灯され、この発光ダイオード13の照明により
指載置位置に載置された指を照明し、撮像部9でこの指
紋を撮像してなるビデオ信号SVが生成される。
When the finger is placed in this manner, the supply of power to the illumination unit 8 and the imaging unit 9 is started under the control of the control unit 3, and the supply of power to the living body detection unit 2 is stopped. .
As a result, the light emitting diode 13 is turned on in the illumination unit 8 (FIG. 3), the finger placed at the finger placement position is illuminated by the illumination of the light emitting diode 13, and the fingerprint is imaged by the imaging unit 9. A video signal SV is generated.

【0043】続いて制御部3の制御により、画像照合部
5の電源が立ち上げられ、照明部8、撮像部9の電源が
立ち下げられる。これにより画像照合部5において、撮
像部9より得られるビデオ信号SVが2値化された後、
データベースに登録される。その後画像照合部5の電源
が立ち下げられ、続く制御コマンドの入力を待機する。
Subsequently, under the control of the control unit 3, the power of the image collating unit 5 is turned on, and the power of the illumination unit 8 and the imaging unit 9 is turned off. Thereby, after the video signal SV obtained from the imaging unit 9 is binarized in the image matching unit 5,
Registered in the database. After that, the power supply of the image collating unit 5 is turned off, and waits for input of a subsequent control command.

【0044】これに対して外部機器より入力される指紋
画像を登録する場合(図8)、他の回路ブロックの電源
が立ち下げた状態で、制御部3の制御により、画像照合
部5の電源が立ち上げられ、外部機器より入力される画
像データが画像照合部5に入力され、データベースに登
録される。その後画像照合部5の電源が立ち下げられ、
続く制御コマンドの入力を待機する。
On the other hand, when a fingerprint image input from an external device is registered (FIG. 8), the power of the image collating unit 5 is controlled by the control unit 3 while the power of the other circuit blocks is turned off. Is started, and image data input from an external device is input to the image matching unit 5 and registered in the database. After that, the power supply of the image matching unit 5 is turned off,
Wait for the next control command.

【0045】また指紋照合モードにおいて、第1の自己
照合モードにおいては(図6)、生体検出部2の電源が
立ち上げられ、指の載置が検出され、続いて照明部8、
撮像部9の電源が立ち上げられ、生体検出部2の電源が
立ち下げられる。これにより指載置位置に載置された指
より指紋画像が得られる。続いて画像照合部5の電源が
立ち上げられ、照明部8、撮像部9の電源が立ち下げら
れ、これによりこの指紋画像が画像照合部5に保持され
た基準画像との間で順次照合される。続いて画像照合部
5の電源が立ち下げられ、入出力部6を介して照合結果
が外部機器に出力される。
In the fingerprint collation mode, in the first self collation mode (FIG. 6), the power supply of the living body detection unit 2 is turned on, the placement of the finger is detected, and then the illumination unit 8,
The power of the imaging unit 9 is turned on, and the power of the living body detection unit 2 is turned off. Thus, a fingerprint image is obtained from the finger placed at the finger placement position. Subsequently, the power supply of the image matching unit 5 is turned on, and the power supplies of the illumination unit 8 and the imaging unit 9 are turned off, whereby the fingerprint image is sequentially compared with the reference image held in the image matching unit 5. You. Subsequently, the power of the image collating unit 5 is turned off, and the collation result is output to the external device via the input / output unit 6.

【0046】また第2の自己照合モードの場合(図
7)、他の回路ブロックの電源が立ち下げた状態で、所
定の操作子が操作されると、照明部8、撮像部9の電源
が立ち上げられ、指載置位置に載置された指より指紋画
像が得られる。続いて画像照合部5の電源が立ち上げら
れ、照明部8、撮像部9の電源が立ち下げられ、これに
よりこの指紋画像が画像照合部5に保持された基準画像
との間で順次照合される。続いて画像照合部5の電源が
立ち下げられ、入出力部6を介して照合結果が外部機器
に出力される。
In the second self-verification mode (FIG. 7), when a predetermined operator is operated in a state where the power of the other circuit blocks is turned off, the power of the illumination unit 8 and the imaging unit 9 is turned off. The fingerprint image is obtained from the finger that has been set up and placed at the finger placement position. Subsequently, the power supply of the image matching unit 5 is turned on, and the power supplies of the illumination unit 8 and the imaging unit 9 are turned off, whereby the fingerprint image is sequentially compared with the reference image held in the image matching unit 5. You. Subsequently, the power of the image collating unit 5 is turned off, and the collation result is output to the external device via the input / output unit 6.

【0047】さらに外部照合モードが選択された場合
(図8)、他の回路ブロックの電源が立ち下げた状態
で、制御部3の制御により、画像照合部5の電源が立ち
上げられ、外部機器より入力される画像データが画像照
合部5に入力される。これによりこの外部機器より入力
された指紋画像が画像照合部5に保持された基準画像と
の間で順次照合される。続いて画像照合部5の電源が立
ち下げられ、入出力部6を介して照合結果が外部機器に
出力される。
Further, when the external collation mode is selected (FIG. 8), the power of the image collating unit 5 is turned on under the control of the control unit 3 while the power of the other circuit blocks is turned off. The input image data is input to the image matching unit 5. Thus, the fingerprint image input from the external device is sequentially collated with the reference image held in the image collating unit 5. Subsequently, the power of the image collating unit 5 is turned off, and the collation result is output to the external device via the input / output unit 6.

【0048】(3)実施の形態の効果 以上の構成によれば、各回路ブロックに選択的に電源を
供給できるように構成することにより、必要な回路ブロ
ックに順次電源を供給して、常時動作可能な状態に保持
し、かつ全体の消費電力を低減することができる。これ
により内部温度上昇を低減し、使用条件を拡大すること
ができる。また使用部品等の劣化を低減でき、その分信
頼性を向上することができる。
(3) Effects of the Embodiment According to the above configuration, power can be selectively supplied to each circuit block, so that necessary circuit blocks are sequentially supplied with power and always operated. It is possible to keep it in a possible state and reduce the overall power consumption. As a result, the rise in internal temperature can be reduced, and the operating conditions can be expanded. In addition, deterioration of used parts and the like can be reduced, and reliability can be improved accordingly.

【0049】すなわち具体的に、画像照合部における指
紋照合の期間の間、指紋取り込み手段でなる照明部及び
撮像部への電源の供給を停止したことにより、また載置
位置に指が載置されると、画像取り込み手段、画像照合
手段へ電源の供給を順次開始することにより、無駄な電
力消費を低減することができる。
Specifically, during the period of the fingerprint collation in the image collation unit, the power supply to the illumination unit and the imaging unit serving as the fingerprint capturing unit is stopped, so that the finger is again placed at the placement position. Then, by sequentially starting the supply of power to the image capturing unit and the image matching unit, wasteful power consumption can be reduced.

【0050】また動作モードに応じて、入出力部を介し
て入力される指紋画像を照合する場合には、指紋取り込
み部への電源の供給を中止することにより、また所定の
操作子の操作に応動して、画像取り込み部、画像照合部
への電源の供給を順次開始することにより、無駄な電力
消費を低減することができる。
When collating a fingerprint image input via the input / output unit according to the operation mode, the power supply to the fingerprint capturing unit is stopped, and the operation of a predetermined operation element is stopped. In response, by sequentially starting the supply of power to the image capturing unit and the image matching unit, wasteful power consumption can be reduced.

【0051】(4)他の実施の形態 なお上述の実施の形態においては、指紋読み取り部を介
して入力される指紋画像だけでなく、外部機器より入力
される指紋画像を照合する場合について述べたが、本発
明はこれに限らず、単に指紋読み取り部を介して入力さ
れる指紋画像について指紋照合する場合にも適用するこ
とができる。
(4) Other Embodiments In the above-described embodiment, not only a fingerprint image input through a fingerprint reading unit but also a fingerprint image input from an external device is described. However, the present invention is not limited to this, and can also be applied to a case where a fingerprint image input simply via a fingerprint reading unit is subjected to fingerprint collation.

【0052】また上述の実施の形態においては、照明手
段及び撮像手段により指紋読み取り部を構成する場合に
ついて述べたが、本発明はこれに限らず、例えばマトリ
ックス状に配置した静電容量検出素子により指紋の凹凸
に対応した2次元の容量分布を検出して指紋画像とする
場合等にも広く適用することができる。
In the above embodiment, the case where the fingerprint reading unit is constituted by the illuminating means and the imaging means has been described. However, the present invention is not limited to this. The present invention can be widely applied to a case where a two-dimensional capacitance distribution corresponding to fingerprint irregularities is detected and a fingerprint image is formed.

【0053】さらに上述の実施の形態においては、照合
結果を外部機器に出力する場合について述べたが、本発
明はこれに限らず、外部機器を一体化する場合等にも広
く適用することができる。
Further, in the above embodiment, the case where the collation result is output to the external device has been described. However, the present invention is not limited to this, and can be widely applied to the case where the external device is integrated. .

【0054】さらに上述の実施の形態においては、本発
明を指紋照合装置に適用する場合について述べたが、本
発明はこれに限らず、印影、目の網膜のパターン等を照
合対象の画像に設定した各種画像照合装置に広く適用す
ることができる。
Further, in the above-described embodiment, the case where the present invention is applied to the fingerprint collating apparatus has been described. However, the present invention is not limited to this, and imprints, eye retina patterns, and the like are set in the collation target image. The present invention can be widely applied to various image matching devices described above.

【0055】[0055]

【発明の効果】上述のように本発明によれば、各回路ブ
ロックに選択的に電源を供給することにより、常時照合
可能な状態に保持して消費電力を低減することができ
る。
As described above, according to the present invention, by selectively supplying power to each circuit block, it is possible to reduce the power consumption by keeping the circuit block always collatable.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態に係る指紋照合装置の各回
路ブロックと電源との関係を示すブロック図である。
FIG. 1 is a block diagram showing a relationship between each circuit block and a power supply of a fingerprint matching device according to an embodiment of the present invention.

【図2】図1の指紋照合装置を示すブロック図である。FIG. 2 is a block diagram showing the fingerprint matching device of FIG. 1;

【図3】指紋読み取り部4を示すブロック図である。FIG. 3 is a block diagram showing a fingerprint reading unit 4;

【図4】生体検出部2を示すブロック図である。FIG. 4 is a block diagram showing a living body detection unit 2.

【図5】パルス発振回路の発振出力を示す信号波形図で
ある。
FIG. 5 is a signal waveform diagram showing an oscillation output of the pulse oscillation circuit.

【図6】指紋登録モード及び第1の自己照合モードにお
けるこれら電源の供給を示す図表である。
FIG. 6 is a table showing power supply in the fingerprint registration mode and the first self-verification mode.

【図7】第2の自己照合モードにおけるこれら電源の供
給を示す図表である。
FIG. 7 is a chart showing the supply of these powers in a second self-verification mode.

【図8】外部機器より転送された指紋画像を登録する場
合、及び外部照合モードにおけるこれら電源の供給を示
す図表である。
FIG. 8 is a table showing a case where a fingerprint image transferred from an external device is registered and how the power is supplied in an external matching mode.

【符号の説明】[Explanation of symbols]

1……指紋照合装置、2……生体検出部、3……制御
部、4……指紋読み取り部、5……画像照合部、6……
入出力部、7……外部機器、8……照明部、9……撮像
部、14A、14B……透明電極、18……パルス発振
回路、R〜R2……抵抗、31、32……電源回路
DESCRIPTION OF SYMBOLS 1 ... Fingerprint collation apparatus, 2 ... Living body detection part, 3 ... Control part, 4 ... Fingerprint reading part, 5 ... Image collation part, 6 ...
Input / output unit 7, external equipment 8, illumination unit 9, imaging unit 14A, 14B transparent electrode 18, pulse oscillation circuit, R to R2 resistance 31, 32 power supply circuit

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】照合対象の画像を取り込む画像取り込み手
段と、 画像照合処理により、前記照合対象の画像を所定の基準
画像と照合する画像照合手段と、 前記画像取り込み手段、前記画像照合手段の動作を制御
する制御手段と、 前記制御手段の制御により、前記画像取り込み手段、前
記画像照合手段に選択的に動作用電源を供給する電源供
給手段とを備えることを特徴とする画像照合装置。
An image capturing means for capturing an image to be compared, an image matching means for matching the image to be matched with a predetermined reference image by an image matching process, and operations of the image capturing means and the image matching means And a power supply unit for selectively supplying power for operation to the image capturing unit and the image comparison unit under the control of the control unit.
【請求項2】前記制御手段は、 少なくとも前記照合手段における前記画像照合処理の期
間の間、前記画像取り込み手段への前記動作用電源の供
給を中止するように、前記電源供給手段の動作を制御す
ることを特徴とする請求項1に記載の画像照合装置。
2. The control unit controls the operation of the power supply unit such that the supply of the operation power to the image capturing unit is stopped at least during a period of the image comparison processing by the comparison unit. The image collating apparatus according to claim 1, wherein:
【請求項3】前記画像取り込み手段は、 所定の載置場所に載置された指より、前記指の指紋画像
を前記照合画像として取り込み、 前記画像照合装置は、 前記指の載置を検出する指検出手段を有し、 前記制御手段は、 前記指検出手段の検出結果に基づいて、前記載置位置に
指が載置されると、前記画像取り込み手段、前記画像処
理手段への前記駆動用電源の供給を順次開始するよう
に、前記電源供給手段の動作を制御することを特徴とす
る請求項1に記載の画像照合装置。
3. The image capturing means captures a fingerprint image of the finger as the collation image from a finger placed at a predetermined location, and the image collating device detects the placement of the finger. When the finger is placed at the placement position based on the detection result of the finger detection unit, the control unit controls the driving of the image capturing unit and the image processing unit. 2. The image matching apparatus according to claim 1, wherein the operation of the power supply unit is controlled so that the supply of power is sequentially started.
【請求項4】前記制御手段は、 所定の通信手段を介して入力される制御コマンドに応動
して、前記画像取り込み手段を介して入力される照合対
象の画像に代えて、前記通信手段を介して入力される照
合対象の画像を前記画像照合手段に供給し、 前記画像照合手段は、 前記画像取り込み手段を介して入力される照合対象の画
像に代えて、前記通信手段を介して入力される照合対象
の画像について、前記画像照合処理を実行し、 前記制御手段は、 少なくとも前記照合手段における前記画像照合処理の期
間の間、前記画像取り込み手段への前記動作用電源の供
給を中止するように、前記電源供給手段の動作を制御す
ることを特徴とする請求項1に記載の画像照合装置。
4. The control means, in response to a control command input through a predetermined communication means, replaces an image to be verified input through the image capturing means, The image to be collated is supplied to the image collating means, and the image collating means is inputted via the communication means instead of the image to be collated inputted via the image capturing means. The image collation processing is executed for an image to be collated, and the control unit is configured to stop supplying the power for operation to the image capturing unit at least during a period of the image collation processing in the collation unit. The image collating apparatus according to claim 1, wherein the operation of the power supply means is controlled.
【請求項5】前記電源供給手段は、 前記通信手段に常時前記駆動用電源を供給することを特
徴とする請求項4に記載の画像照合装置。
5. An image matching apparatus according to claim 4, wherein said power supply means always supplies said driving power to said communication means.
【請求項6】前記制御手段は、 所定の操作子の操作に応動して、前記画像取り込み手
段、前記画像照合手段への前記駆動用電源の供給を順次
開始するように、前記電源供給手段の動作を制御するこ
とを特徴とする請求項1に記載の画像照合装置。
6. The power supply unit according to claim 1, wherein the control unit starts supplying the driving power supply to the image capturing unit and the image comparison unit in response to an operation of a predetermined operation element. The image collating apparatus according to claim 1, wherein the operation is controlled.
JP29376797A 1997-10-27 1997-10-27 Image matching device Expired - Lifetime JP3858386B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29376797A JP3858386B2 (en) 1997-10-27 1997-10-27 Image matching device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29376797A JP3858386B2 (en) 1997-10-27 1997-10-27 Image matching device

Publications (2)

Publication Number Publication Date
JPH11134496A true JPH11134496A (en) 1999-05-21
JP3858386B2 JP3858386B2 (en) 2006-12-13

Family

ID=17798956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29376797A Expired - Lifetime JP3858386B2 (en) 1997-10-27 1997-10-27 Image matching device

Country Status (1)

Country Link
JP (1) JP3858386B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1289239A2 (en) * 2001-08-28 2003-03-05 Nec Corporation Mobile terminal device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1289239A2 (en) * 2001-08-28 2003-03-05 Nec Corporation Mobile terminal device
EP1289239A3 (en) * 2001-08-28 2004-12-22 Nec Corporation Mobile terminal device

Also Published As

Publication number Publication date
JP3858386B2 (en) 2006-12-13

Similar Documents

Publication Publication Date Title
CA1145470A (en) Instant portable bar-code reader
US7907310B2 (en) Method of operating a double-sided scanner
EP0645729B1 (en) Optical code reader
JP2000066116A (en) Light source device for endoscope
US20030164881A1 (en) Portable information terminal device
JPH11514461A (en) Data form reader and method
JPH0793459A (en) Two-dimensional code scanner
JP2003016435A (en) Device and method for individual authentication
JPH08329180A (en) Data symbol reader
CN214896630U (en) Fingerprint sensing device
JP2000031697A (en) Method and equipment for recognizing electronic component in electronic component mounter
US20180101716A1 (en) Biometric collection device
JPH11134496A (en) Image collating device
JP4379939B2 (en) Fingerprint image acquisition device and fingerprint verification device
KR100214324B1 (en) Handy scanner
JPH08279035A (en) Fingerprint input device
JP4013089B2 (en) Fingerprint verification device
KR19990068225A (en) Observation apparatus and method of controlling light emission thereof
JP2001056858A (en) Device and method for collating fingerprint
JPH10209699A (en) Apparatus for recognizing components on mounting machine
JP3059999B2 (en) Barcode scanner and barcode reader
JPH08315063A (en) Image reader
JPH08202810A (en) Optical information reader
JP2000332963A (en) Two-dimensional code reader
JPH1196360A (en) Method and device for inputting control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060911

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090929

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100929

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100929

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110929

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110929

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120929

Year of fee payment: 6