JPH04277874A - Fingerprint input device - Google Patents

Fingerprint input device

Info

Publication number
JPH04277874A
JPH04277874A JP3038814A JP3881491A JPH04277874A JP H04277874 A JPH04277874 A JP H04277874A JP 3038814 A JP3038814 A JP 3038814A JP 3881491 A JP3881491 A JP 3881491A JP H04277874 A JPH04277874 A JP H04277874A
Authority
JP
Japan
Prior art keywords
fingerprint
fingerprint image
image
photographed
lighting position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3038814A
Other languages
Japanese (ja)
Other versions
JP2763830B2 (en
Inventor
Kenji Sakamoto
憲治 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP3038814A priority Critical patent/JP2763830B2/en
Publication of JPH04277874A publication Critical patent/JPH04277874A/en
Application granted granted Critical
Publication of JP2763830B2 publication Critical patent/JP2763830B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • G06V40/145Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Abstract

PURPOSE:To prevent an erroneous input caused by an artificially prepared fingerprint picture and to obtain the fingerprint input device with high reliability by judging whether an inputted picture is the fingerprint of a three-dimensionally uneven organ or not. CONSTITUTION:An image pickup means 31 is equipped with the first and second turn-on positions of light sources 11 and 12 and light sources 13 and 14 which are faced each other with an objective finger to be photographed between. At this first turn-on position, the light sources 11 and 12 are turned on and the first fingerprint picture is photographed. At the second turn-on position, the light sources 13 and 14 are turned on, and the second fingerprint picture is photographed and stored in a storing means 33. Thus, based on the first and second fingerprint pictures stored in the storing means 33, a solid discriminating means discriminates whether the objective finger to be photographed is a solid or not. Therefore, since it can be distinguished whether the inputted picture is the organ or the artificial object such as a picture or the like, the reliability of a fingerprint recognizing means is improved.

Description

【発明の詳細な説明】[Detailed description of the invention]

【0001】0001

【産業上の利用分野】本発明は、指紋照合または照合識
別等に使用する指紋入力装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a fingerprint input device used for fingerprint verification or verification identification.

【0002】0002

【従来の技術】従来、指紋照合等に使用する指紋入力装
置として、非接触状態で直接指紋面を2次元画像として
入力する方法が考えられている。これは、指紋パターン
を入力すべき指を所定位置に導く指ガイドと、該指ガイ
ドには指紋面想定位置に対応して開口窓が設けられ、前
記指紋面想定位置に焦点を合わせて配設された2次元イ
メージセンサーと、前記指紋面想定位置を照明する光源
を備えた指紋入力装置において、指を指ガイドに沿って
挿入し、挿入した指を指の頭頂部で撮像スイッチを作動
させ、2次元イメージセンサーと、光源とを作動させ、
指紋面を直接撮像する方法である。
2. Description of the Related Art Conventionally, as a fingerprint input device used for fingerprint verification, a method has been considered in which the fingerprint surface is directly input as a two-dimensional image in a non-contact manner. This includes a finger guide that guides the finger on which a fingerprint pattern is to be input to a predetermined position, and an opening window in the finger guide that corresponds to the assumed position of the fingerprint surface, and is arranged to focus on the assumed position of the fingerprint surface. In a fingerprint input device equipped with a two-dimensional image sensor and a light source that illuminates the assumed position of the fingerprint surface, inserting a finger along a finger guide, and activating an imaging switch with the top of the finger's head using the inserted finger; Activate the two-dimensional image sensor and light source,
This is a method that directly images the fingerprint surface.

【0003】0003

【発明が解決しようとする課題】上記指紋入力装置で指
紋画像を入力する場合、例えば、指の指紋を写真に撮っ
たものを指に張り付け、入力装置に入力した場合でも、
生体の指紋と同様に入力されるため、指紋照合装置の信
頼性が低下するという問題点があった。
[Problem to be Solved by the Invention] When inputting a fingerprint image using the above-mentioned fingerprint input device, for example, even if a photograph of a finger print is pasted on the finger and input into the input device,
Since the fingerprint is input in the same way as a biological fingerprint, there is a problem in that the reliability of the fingerprint verification device decreases.

【0004】そこで本発明の目的は、入力された画像が
3次元的に凹凸のある生体の指紋であるか否か判定する
ことにより、人工的に作成された指紋画像による誤入力
を防ぎ信頼性の高い指紋入力装置を提供することにある
[0004] Therefore, an object of the present invention is to prevent erroneous input due to artificially created fingerprint images and improve reliability by determining whether or not the input image is a three-dimensionally uneven fingerprint of a biological body. The purpose of the present invention is to provide a high quality fingerprint input device.

【0005】[0005]

【課題を解決するための手段】上述の目的を達成するた
めの本発明に係る指紋入力装置の第1の特徴は、被撮影
対象指を挟んで互いに対向する光源の第1の点灯位置と
第2の点灯位置とを有する撮影手段と、前記第1の点灯
位置で光源を点灯して撮影した第1の指紋画像と前記第
2の点灯位置で光源を点灯して撮影した第2の指紋画像
とを記憶する記憶手段と、前記記憶手段に記憶された第
1の指紋画像と第2の指紋画像とに基づいて被撮影対象
指が立体物であるか否かを判別する立体物判別手段を備
える点にある。
[Means for Solving the Problems] A first feature of the fingerprint input device according to the present invention for achieving the above-mentioned object is that the first lighting position of the light source and the first lighting position of the light sources are opposite to each other with the target finger to be photographed sandwiched therebetween. a first fingerprint image taken with the light source turned on at the first lighting position; and a second fingerprint image taken with the light source turned on at the second lighting position; and a three-dimensional object determining means for determining whether or not the target finger to be photographed is a three-dimensional object based on the first fingerprint image and the second fingerprint image stored in the storage means. The point is to be prepared.

【0006】さらに、本発明に係る指紋入力装置の第2
の特徴は、被撮影対象指を挟んで互いに対向する光源の
第1の点灯位置及び第2の点灯位置と前記被撮影対象指
を挟んで互いに対向する光源の第3の点灯位置及び第4
の点灯位置とを有する撮影手段と、前記第1の点灯位置
で光源を点灯して撮影した第1の指紋画像及び前記第2
の点灯位置で光源を点灯して撮影した第2の指紋画像と
前記第3の点灯位置で光源を点灯して撮影した第3の指
紋画像及び前記第4の点灯位置で光源を点灯して撮影し
た第4の指紋画像とを記憶する記憶手段と、前記記憶手
段に記憶された第1の指紋画像と第2の指紋画像との各
画素の差の二乗の累積d1と、前記記憶手段に記憶され
た第3の指紋画像と第4の指紋画像との各画素の差の二
乗の累積d2と、前記累積d1と前記累積d2との和d
1+d2とをもとめ、前記累積d1が第1の所定値より
も大きい場合あるいは前記累積d2が第2の所定値より
も大きい場合あるいは前記和d1+d2が第3の所定値
よりも大きい場合に被撮影対象指が立体物であると判別
する立体物判別手段を備える点にある。
Furthermore, a second fingerprint input device according to the present invention
is characterized by a first lighting position and a second lighting position of the light sources facing each other with the target finger to be photographed in between, and a third lighting position and a fourth lighting position of the light sources facing each other with the target finger in between.
a first fingerprint image photographed with the light source turned on at the first lighting position and the second fingerprint image;
a second fingerprint image taken with the light source turned on at the lighting position, a third fingerprint image taken with the light source turned on at the third lighting position, and a third fingerprint image taken with the light source turned on at the fourth lighting position. a fourth fingerprint image stored in the storage means; an accumulation d1 of the square difference of each pixel between the first fingerprint image and the second fingerprint image stored in the storage means; an accumulation d2 of the square difference of each pixel between the third fingerprint image and the fourth fingerprint image, and the sum d of the accumulation d1 and the accumulation d2;
1+d2, and if the cumulative value d1 is larger than a first predetermined value, or if the cumulative value d2 is larger than a second predetermined value, or if the sum d1+d2 is larger than a third predetermined value, the object to be photographed is determined. The present invention is provided with a three-dimensional object discriminating means for determining that a finger is a three-dimensional object.

【0007】[0007]

【作用】第1の特徴を有する指紋入力装置においては、
撮影手段は被撮影対象指を挟んで互いに対向する光源の
第1の点灯位置と第2の点灯位置とを有する。この第1
の点灯位置で光源を点灯して第1の指紋画像を撮影し、
また、第2の点灯位置で光源を点灯して第2の指紋画像
を撮影して記憶手段に記憶する。こうして記憶手段に記
憶された第1の指紋画像と第2の指紋画像とに基づいて
、立体物判別手段は被撮影対象指が立体物であるか否か
を判別する。
[Operation] In the fingerprint input device having the first feature,
The photographing means has a first lighting position and a second lighting position of a light source that face each other with the finger to be photographed interposed therebetween. This first
Turn on the light source at the lighting position and take a first fingerprint image,
Further, the light source is turned on at the second lighting position, and a second fingerprint image is taken and stored in the storage means. Based on the first fingerprint image and the second fingerprint image stored in the storage means, the three-dimensional object determining means determines whether or not the target finger to be photographed is a three-dimensional object.

【0008】第2の特徴を有する指紋入力装置において
は、撮影手段は被撮影対象指を挟んで互いに対向する光
源の第1の点灯位置及び第2の点灯位置と被撮影対象指
を挟んで互いに対向する光源の第3の点灯位置及び第4
の点灯位置とを有する。この第1の点灯位置で光源を点
灯して第1の指紋画像を撮影し、第2の点灯位置で光源
を点灯して第2の指紋画像を撮影し、第3の点灯位置で
光源を点灯して第3の指紋画像を撮影し、さらに、第4
の点灯位置で光源を点灯して第4の指紋画像を撮影して
記憶手段に記憶する。こうして記憶手段に記憶された第
1の指紋画像と第2の指紋画像との各画素の差の二乗の
累積d1と、第3の指紋画像と第4の指紋画像との各画
素の差の二乗の累積d2と、累積d1と累積d2との和
d1+d2とを求め、累積d1が第1の所定値よりも大
きい場合あるいは累積d2が第2の所定値よりも大きい
場合あるいは和d1+d2が第3の所定値よりも大きい
場合に被撮影対象指が立体物であると判別する。
[0008] In the fingerprint input device having the second feature, the photographing means is arranged at the first lighting position and the second lighting position of the light sources, which are opposite to each other with the finger to be photographed in between, and to each other with the finger to be photographed in between. The third lighting position and the fourth lighting position of the opposing light sources
It has a lighting position. The light source is turned on at the first lighting position to take a first fingerprint image, the light source is turned on at the second lighting position to take a second fingerprint image, and the light source is turned on at the third lighting position. to take a third fingerprint image, and then take a fourth fingerprint image.
The light source is turned on at the lighting position, and a fourth fingerprint image is photographed and stored in the storage means. The cumulative sum d1 of the square of the difference between each pixel between the first fingerprint image and the second fingerprint image stored in the storage means, and the square of the difference between each pixel between the third fingerprint image and the fourth fingerprint image. and the sum d1+d2 of the cumulative d1 and the cumulative d2, and if the cumulative d1 is larger than the first predetermined value, or if the cumulative d2 is larger than the second predetermined value, or if the sum d1+d2 is the third predetermined value, If it is larger than a predetermined value, it is determined that the finger to be photographed is a three-dimensional object.

【0009】[0009]

【実施例】以下、発明の実施例を説明する。図1(a)
,(b)は本発明の請求範囲第1項の一実施例を示して
いる。同図(a)は平面図、(b)は側面図である。こ
の実施例では、2個一対の照明装置を2組用いている。 図1のように構成された指紋入力装置は、指紋面を撮影
系の中心軸をはさんで相対する位置から照明する2個一
対のランプ11,12と、それとは直角に交わる方向に
配設され、指紋面を撮影系の中心軸をはさんで相対する
位置から照明する2個一対のランプ13,14と、指紋
画像を撮り込むCCD15と、指紋想定位置に焦点をあ
わせるためのレンズ16と、レンズ16及びCCD15
を支持する筒17と、ランプ11〜14および筒17を
支持する支持台18とを備える。
[Embodiments] Examples of the invention will be described below. Figure 1(a)
, (b) show an embodiment of claim 1 of the present invention. FIG. 4(a) is a plan view, and FIG. 2(b) is a side view. In this embodiment, two pairs of lighting devices are used. The fingerprint input device configured as shown in FIG. 1 includes a pair of lamps 11 and 12 that illuminate the fingerprint surface from opposing positions across the central axis of the imaging system, and is arranged in a direction perpendicular to the lamps 11 and 12. A pair of lamps 13 and 14 illuminate the fingerprint surface from opposing positions across the central axis of the photographing system, a CCD 15 for taking a fingerprint image, and a lens 16 for focusing on the expected position of the fingerprint. , lens 16 and CCD 15
and a support stand 18 that supports the lamps 11 to 14 and the tube 17.

【0010】各構成部品の接続状態を図2に示す。指紋
画像を撮り込む撮像装置31(CCD15、レンズ16
を含む)と、撮像装置で撮り込まれた指紋画像を記憶す
る記憶装置33と、指紋面を照明するランプを順次点灯
する点灯装置34(ランプ11〜14を含む)と、全体
の制御を司る中央制御装置32とからなる。ここで、入
力される画像は、縦512画素、横512画素の解像度
で、指の第1関節までの部分が丁度入る大きさとする。 ランプと撮影系の距離は1cm、ランプと指紋想定面と
の距離は1cmとする。
FIG. 2 shows the connection state of each component. An imaging device 31 (CCD 15, lens 16) that captures a fingerprint image.
), a storage device 33 that stores the fingerprint image captured by the imaging device, a lighting device 34 (including the lamps 11 to 14) that sequentially turns on the lamps that illuminate the fingerprint surface, and controls the entire system. It consists of a central control device 32. Here, the input image has a resolution of 512 pixels vertically and 512 pixels horizontally, and is sized to just fit the part up to the first joint of the finger. The distance between the lamp and the imaging system is 1 cm, and the distance between the lamp and the assumed fingerprint surface is 1 cm.

【0011】入力動作を図3及び図4に示す。以下に、
入力動作について詳しく述べる。まず、画像入力の開始
を表す信号を中央制御装置32が検知し、ランプ点灯装
置34を動作させて、ランプ11が点灯し、指紋面を照
明する。次に、指紋画像が撮像装置31に撮り込まれる
。撮像装置31にある画像データは、中央制御装置32
を介して、記憶装置33の特定のメモリ領域(これをメ
モリ1とする)に転送され、記憶される。転送が終了し
たことをランプ点灯装置34が検知し、ランプ11を消
灯する。次に、ランプ点灯装置34はランプ12を点灯
し、指紋面を照明する。次に、指紋画像が撮像装置31
に撮り込まれる。撮像装置31にある画像データは、中
央制御装置32を介して、記憶装置33の特定のメモリ
領域(これをメモリ2とする)に転送され、記憶される
。転送が終了したことをランプ点灯装置34が検知し、
ランプ12を消灯する。次に、メモリ1の画像のシェー
ディングを次式に従い除去する。
The input operation is shown in FIGS. 3 and 4. less than,
The input operation will be explained in detail. First, the central controller 32 detects a signal indicating the start of image input, operates the lamp lighting device 34, and lights the lamp 11 to illuminate the fingerprint surface. Next, a fingerprint image is captured by the imaging device 31. The image data in the imaging device 31 is sent to the central control device 32.
is transferred to a specific memory area of the storage device 33 (this will be referred to as memory 1) and stored therein. The lamp lighting device 34 detects that the transfer is completed and turns off the lamp 11. Next, the lamp lighting device 34 turns on the lamp 12 to illuminate the fingerprint surface. Next, the fingerprint image is captured by the imaging device 31.
Photographed by. Image data in the imaging device 31 is transferred to a specific memory area (this will be referred to as memory 2) of the storage device 33 via the central control device 32 and stored therein. The lamp lighting device 34 detects that the transfer has been completed,
Turn off the lamp 12. Next, the shading of the image in memory 1 is removed according to the following equation.

【0012】0012

【数1】[Math 1]

【0013】ここで、p(x,y)はシェーディング除
去前の位置(x,y)における画素の濃淡値、p1(x
,y)はシェーディング除去後の位置(x,y)におけ
る画素の濃淡値、また、N=16である。同様にして、
メモリ2の画像のシェーディングを除去する。シェーデ
ィング除去後の位置(x,y)における画素の濃淡値を
p2(x,y)とする。図5に示すエリア61において
、メモリ1とメモリ2の画像間の各画素の差の二乗の累
積d1を次式に従い求める。
Here, p(x, y) is the gray value of the pixel at the position (x, y) before shading removal, p1(x
, y) is the gray value of the pixel at the position (x, y) after shading is removed, and N=16. Similarly,
Remove shading from the image in memory 2. Let p2 (x, y) be the gray value of the pixel at the position (x, y) after shading is removed. In the area 61 shown in FIG. 5, the cumulative sum d1 of the square difference of each pixel between the images in memory 1 and memory 2 is determined according to the following equation.

【0014】[0014]

【数2】[Math 2]

【0015】図5において、w=512、h=512、
dw=50、dh=50、sw1=50、sw2=50
、sh1=50、sh2=50である。もし、d1>Q
1なら、入力された指紋画像は生体のものであるので、
メモリ1とメモリ2に記憶されている画像データは、中
央制御装置32を介して、外部出力端子から通常の指紋
照合装置の特徴抽出部等に出力される。もし、d1≦Q
1なら、次の処理に進む。
In FIG. 5, w=512, h=512,
dw=50, dh=50, sw1=50, sw2=50
, sh1=50, sh2=50. If d1>Q
If 1, the input fingerprint image is a biological one, so
The image data stored in the memory 1 and the memory 2 is outputted from an external output terminal to a feature extraction unit or the like of a normal fingerprint verification device via the central control unit 32. If d1≦Q
If it is 1, proceed to the next process.

【0016】ここで、入力画像が生体のものかそうでな
いかを判定する原理について、以下に、詳細に述べる。 図6(a)に示すように、濃淡のある指紋画像(図は、
平面に印刷されたようなものの断面図)を、ランプ11
で照明したとき(図では、左上方向から照明したとき)
のメモリ1に記憶されているシェーディング除去後の画
素の濃淡値を6図(b)に、ランプ12で照明したとき
(図では、右上方向から照明したとき)のメモリ2に記
憶されているシェーディング除去後の画素の濃淡値を図
6(c)に示す。平面に印刷されたようなものの場合は
、照明する方向によって、印刷内容物(この場合は、指
紋隆線パタン)の位置に対する濃淡分布まで変化するこ
とはないので、前記メモリに記憶されている画像間の差
は小さい(図6(d))。
The principle of determining whether an input image is of a living body or not will be described in detail below. As shown in Figure 6(a), a fingerprint image with shading (the figure is
A cross-sectional view of something printed on a flat surface) is shown in the lamp 11.
(In the figure, when illuminated from the upper left direction)
Figure 6(b) shows the shading value of the pixel after shading removal stored in memory 1, and the shading stored in memory 2 when illuminated with lamp 12 (in the figure, illumination is from the upper right direction). The grayscale values of the pixels after removal are shown in FIG. 6(c). In the case of something printed on a flat surface, the density distribution of the printed content (in this case, the fingerprint ridge pattern) will not change depending on the direction of illumination, so the image stored in the memory will not change depending on the direction of illumination. The difference between them is small (Fig. 6(d)).

【0017】図6(e)に示すように、3次元的に凹凸
のある指紋(図は、指紋の断面を概略的に描いた図)を
、ランプ11で照明したとき(図では、左上方向から照
明したとき)のメモリ1に記憶されているシェーディン
グ除去後の画素の濃淡値を図6(f)に、ランプ12で
照明したとき(図では、右上方向から照明したとき)の
メモリ2に記憶されているシェーディング除去後の画素
の濃淡値を図6(g)に示す)3次元的に凹凸のあるも
のの場合は、照明する方向によって、最も明るく照明さ
れる位置が異なるために、照明方向を変えた前記メモリ
に記憶されている画像間の差をとると、位置のずれに相
当する成分が残る。このため、入力された画像が、平面
に印刷されたようなものか、3次元的に凹凸のあるもの
の、すなわち、生体のものかの区別ができる。
As shown in FIG. 6(e), when a three-dimensionally uneven fingerprint (the figure is a diagram schematically depicting a cross section of the fingerprint) is illuminated with the lamp 11 (in the figure, the upper left direction Figure 6(f) shows the pixel density values after shading removed that are stored in memory 1 when the lamp was illuminated from the lamp 12 (in the figure, when the lamp was illuminated from the upper right). (Figure 6 (g) shows the stored grayscale values of pixels after removing shading) In the case of three-dimensionally uneven objects, the brightest illuminated position differs depending on the direction of illumination. If we take the difference between the images stored in the memory with different values, a component corresponding to the positional shift remains. Therefore, it is possible to distinguish whether the input image is a flat image printed on a flat surface or a three-dimensionally uneven image, that is, a biological image.

【0018】もし、d1≦Q1なら、ランプ点灯装置3
4がランプ13を点灯し、指紋面を照明する。次に、指
紋画像が撮像装置31に撮り込まれる。撮像装置31に
ある画像データは、中央制御装置32を介して、記憶装
置33の特定のメモリ領域(これをメモリ3とする)に
転送され、記憶される。転送が終了したことをランプ点
灯装置34が検知し、ランプ13を消灯する。次に、ラ
ンプ点灯装置34はランプ14を点灯し、指紋面を照明
する。次に、指紋画像が撮像装置31に撮り込まれる。 撮像装置31にある画像データは、中央制御装置32を
介して、記憶装置33の特定のメモリ領域(これをメモ
リ4とする)に転送され、記憶される。転送が終了した
ことを知らせる信号をランプ点灯装置34が検知し、ラ
ンプ14を消灯する。
If d1≦Q1, the lamp lighting device 3
4 turns on the lamp 13 to illuminate the fingerprint surface. Next, a fingerprint image is captured by the imaging device 31. Image data in the imaging device 31 is transferred to a specific memory area (this will be referred to as memory 3) of the storage device 33 via the central control device 32 and stored therein. The lamp lighting device 34 detects that the transfer is completed and turns off the lamp 13. Next, the lamp lighting device 34 turns on the lamp 14 to illuminate the fingerprint surface. Next, a fingerprint image is captured by the imaging device 31. Image data in the imaging device 31 is transferred to a specific memory area (this will be referred to as memory 4) of the storage device 33 via the central control device 32 and stored therein. The lamp lighting device 34 detects a signal indicating that the transfer has been completed, and turns off the lamp 14.

【0019】次に、メモリ3の画像のシェーディングを
除去する。シェーディング除去後の位置(x,y)にお
ける画素の濃淡値をp3(x,y)とする。次に、メモ
リ4の画像のシェーディングを除去する。シェーディン
グ除去後の位置(x,y)における画素の濃淡値をp4
(x,y)とする。図5に示すエリア62において、メ
モリ3とメモリ4の画像間の各画素の差の二乗の累積d
2を次式に従い求める。
Next, the shading of the image in the memory 3 is removed. Let p3 (x, y) be the gray value of the pixel at the position (x, y) after shading is removed. Next, the shading of the image in the memory 4 is removed. The gray value of the pixel at the position (x, y) after shading is removed is p4
Let it be (x, y). In the area 62 shown in FIG.
2 is calculated according to the following formula.

【0020】[0020]

【数3】[Math 3]

【0021】もし、d2>Q2またはd1+d2>Q1
2なら、入力された指紋画像は生体のものであるので、
メモリ3とメモリ4に記憶されている画像データは、中
央制御装置32を介して、外部出力端子から通常の指紋
照合装置の特徴抽出部等に出力される。もし、その他の
場合は、入力されたものが、平面に印刷されたものであ
る可能性が大きいので、リジェクト処理を行なう。
[0021] If d2>Q2 or d1+d2>Q1
If 2, the input fingerprint image is a biological one, so
The image data stored in the memory 3 and the memory 4 is outputted from an external output terminal to a feature extraction unit or the like of a normal fingerprint verification device via the central control unit 32. In any other case, there is a high possibility that the inputted item was printed on a flat surface, so a reject process is performed.

【0022】ここで、生体の指紋かどうかの判定をする
閾値の概略を図7に示す。図中、斜線部分の生体の指紋
と認める領域である。Q1、Q2、Q12の値は、実験
を通して決まるものである。ここに示す処理手順は、一
例であって、例えば、S804の処理の次にS809の
処理を実行し、S808の処理の次にS810の処理を
実行し、S816の処理の次にS821の処理を実行し
、S820の処理の次にS822の処理を実行すること
も考えられる。また、S812でd1>Q1となり、入
力された指紋画像が生体のものであると判明したときに
、S813〜S822の処理も行い、メモリ1〜4に記
憶されている画像データを、外部に出力することも考え
られる。
FIG. 7 shows an outline of the threshold values for determining whether or not a fingerprint is a biological fingerprint. In the figure, the shaded area is an area recognized as a biological fingerprint. The values of Q1, Q2, and Q12 are determined through experiments. The processing procedure shown here is an example, and for example, the process of S809 is executed after the process of S804, the process of S810 is executed after the process of S808, and the process of S821 is executed after the process of S816. It is also conceivable to execute the process in S822 after the process in S820. In addition, when d1>Q1 in S812 and the input fingerprint image is found to be that of a biological body, the processing in S813 to S822 is also performed, and the image data stored in memories 1 to 4 is output to the outside. It is also possible to do so.

【0023】判定の精度を上げるため、S811の処理
の代わりに、メモリ1とメモリ2の画像間の差の二乗を
取った画像に対して前記シェーディング除去を行い、こ
の画像のエリア61中におれる累積をd1とする処理を
行い、以下同様の判定を行なう。また、S824の処理
の代わりに、メモリ3とメモリ4の画像間の差の二乗を
取った画像に対して前記シェーディング除去を行い、こ
の画像のエリア62中におれる累積をd2とする処理を
行い、以下同様の判定を行なう。
In order to improve the accuracy of the determination, instead of the process in S811, the shading is removed from the image obtained by taking the square of the difference between the images in memory 1 and memory 2, and the area 61 of this image is A process is performed in which the cumulative value obtained is set as d1, and the same determination is made thereafter. Also, instead of the process in S824, the shading is removed from the image obtained by taking the square of the difference between the images in the memory 3 and the memory 4, and the accumulation in the area 62 of this image is set as d2. The same determination is made thereafter.

【0024】図8は本発明の他の実施例を示している。 同図(a)は平面図、(b)は側面図である。この実施
例では、照明装置が特定の回転角にあるときに指紋画像
を撮像する回数を4回、すなわち、回転角が0°、90
°、180°、270°にあるときとする。このように
構成された指紋入力装置は、指紋面を照明するランプ2
1と、ランプ21を支持する支持棒22と、支持棒22
を固定する軸24と、軸24を計時回りに回転させる駆
動装置23と、指紋想定位置に焦点をあわせるためのレ
ンズ26と、指紋画像を撮り込むCCD25と、レンズ
26およびCCD25を支持する筒27とを備える。
FIG. 8 shows another embodiment of the invention. FIG. 4(a) is a plan view, and FIG. 2(b) is a side view. In this example, the number of times the fingerprint image is captured when the illumination device is at a specific rotation angle is 4 times, that is, the rotation angle is 0°, 90°,
°, 180°, and 270°. The fingerprint input device configured in this way includes a lamp 2 that illuminates the fingerprint surface.
1, a support rod 22 that supports the lamp 21, and a support rod 22
A shaft 24 that fixes the shaft 24, a drive device 23 that rotates the shaft 24 clockwise, a lens 26 that focuses on the expected fingerprint position, a CCD 25 that takes a fingerprint image, and a cylinder 27 that supports the lens 26 and the CCD 25. Equipped with.

【0025】各構成部品の接続状態を図9に示す。指紋
画像を撮り込む撮像装置41(CCD25、レンズ26
を含む)と、撮像装置41で撮り込まれた指紋画像を記
憶する記憶装置43と、指紋面を照明するランプを点灯
するランプ点灯装置44(ランプ21を含む)と、撮影
系の中心軸を中心にランプを回転させる駆動装置45(
支持棒22、駆動装置23、軸24を含む)と、全体の
制御を司る中央制御装置42とからなる。
FIG. 9 shows the connection state of each component. An imaging device 41 (CCD 25, lens 26) that captures a fingerprint image.
), a storage device 43 that stores the fingerprint image captured by the imaging device 41, a lamp lighting device 44 (including the lamp 21) that lights a lamp to illuminate the fingerprint surface, and a central axis of the imaging system. A drive device 45 (
(including a support rod 22, a drive device 23, and a shaft 24), and a central control device 42 that controls the entire system.

【0026】入力動作を図10及び図11に示す。以下
に、入力動作について詳しく述べる。まず、画像入力の
開始を表す信号を中央制御装置42が検知し、ランプ点
灯装置44を動作させて、ランプ21が点灯し、指紋面
を照明する、と同時に、駆動装置45が軸を回転させ、
ランプ撮影系の中心軸を中心として回転させる。駆動装
置は、回転を開始すると、停止するまで一定速度で回転
するものとする。ここで、前記回転角は、最初、0°よ
り反時計回りの位置にあり、指の先端方向を0°として
、時計回りに角度が計られるものとする。
The input operation is shown in FIGS. 10 and 11. The input operation will be described in detail below. First, the central controller 42 detects a signal indicating the start of image input, operates the lamp lighting device 44, lights up the lamp 21, and illuminates the fingerprint surface.At the same time, the drive device 45 rotates the shaft. ,
Rotate around the central axis of the lamp photography system. It is assumed that once the drive device starts rotating, it rotates at a constant speed until it stops. Here, the rotation angle is initially at a position counterclockwise from 0°, and the angle is measured clockwise with the direction of the tip of the finger as 0°.

【0027】駆動装置45が軸を回転させ、前記回転角
が0°になったときに、指紋画像が撮像装置41に撮り
込まれる。撮像装置41にある画像データは、中央制御
装置42を介して、記憶装置43の特定のメモリ領域(
これをメモリ1とする)に転送され、記憶される。次に
、前記回転角が90°になったときに、指紋画像が撮像
装置41に撮り込まれる。撮像装置41にある画像デー
タは、中央制御装置42を介して、記憶装置43の特定
のメモリ領域(これをメモリ3とする)に転送され、記
憶される。
When the driving device 45 rotates the shaft and the rotation angle reaches 0°, a fingerprint image is captured by the imaging device 41. Image data in the imaging device 41 is stored in a specific memory area (
This is referred to as memory 1) and stored. Next, when the rotation angle reaches 90 degrees, a fingerprint image is captured by the imaging device 41. Image data in the imaging device 41 is transferred to a specific memory area (this will be referred to as memory 3) of the storage device 43 via the central control device 42 and stored therein.

【0028】次に、前記回転角が180°になったとき
に、指紋画像が撮像装置41に撮り込まれる。撮像装置
41にある画像データは、中央制御装置42を介して、
記憶装置43の特定のメモリ領域(これをメモリ2とす
る)に転送され、記憶される。次に、前記回転角が27
0°になったときに、指紋画像が撮像装置41に撮り込
まれる。撮像装置41にある画像データは、中央制御装
置42を介して、記憶装置43の特定のメモリ領域(こ
れをメモリ4とする)に転送され、記憶される。この転
送が終了をランプ点灯装置44が検知し、ランプ21を
消灯する。また、駆動装置45も停止する。以下、上述
の第1の実施例と同様に、メモリ1の画像のシェーディ
ング除去およびメモリ2の画像のシェーディング除去を
行い、図5に示すエリア61において、メモリ1とメモ
リ2の画像間の各画素の差の二乗の累積d1を求める。
Next, when the rotation angle reaches 180°, a fingerprint image is captured by the imaging device 41. The image data in the imaging device 41 is sent via the central control device 42.
The data is transferred to and stored in a specific memory area of the storage device 43 (this will be referred to as memory 2). Next, the rotation angle is 27
When the angle reaches 0°, a fingerprint image is captured by the imaging device 41. Image data in the imaging device 41 is transferred to a specific memory area (this will be referred to as memory 4) of the storage device 43 via the central control device 42 and stored therein. The lamp lighting device 44 detects the completion of this transfer and turns off the lamp 21. Further, the drive device 45 also stops. Thereafter, as in the first embodiment described above, shading is removed from the image in memory 1 and shading is removed from the image in memory 2, and each pixel between the images in memory 1 and memory 2 is Find the cumulative sum d1 of the squared difference.

【0029】もし、d1>Q1なら、入力された指紋画
像は生体のものであるので、メモリ1とメモリ2に記憶
されている画像データは、中央制御装置42を介して、
外部出力端子から指紋照合装置の特徴抽出部等に出力さ
れる。もし、d1≦Q1なら、メモリ3の画像のシェー
ディング除去およびメモリ4の画像のシェーディング除
去を行い、図5に示すエリアにおいて、メモリ3とメモ
リ4の画像間の各画素の差の二乗の累積d2を求める。
If d1>Q1, the input fingerprint image is that of a living body, so the image data stored in memory 1 and memory 2 is transferred via the central controller 42.
It is output from the external output terminal to the feature extraction unit of the fingerprint matching device. If d1≦Q1, shading is removed from the image in memory 3 and shading is removed from the image in memory 4, and in the area shown in FIG. seek.

【0030】もし、d2>Q2またはd1+d2>Q1
2なら、入力された指紋画像は生体のものであるので、
メモリ3とメモリ4に記憶されている画像データは、中
央制御装置42を介して、外部出力端子から通常の指紋
照合装置の特徴抽出部等に出力される。もし、その他の
場合は、入力されたものが、平面に印刷されたものであ
る可能性が大きいので、リジェクト処理を行なう。
If d2>Q2 or d1+d2>Q1
If 2, the input fingerprint image is a biological one, so
The image data stored in the memory 3 and the memory 4 is outputted from an external output terminal to a feature extraction unit or the like of a normal fingerprint verification device via the central control device 42. In any other case, there is a high possibility that the inputted item was printed on a flat surface, so a reject process is performed.

【0031】ここで示した処理手順は一例であり、例え
ば、シェーディング除去の処理が高速に実行可能であり
、駆動装置の回転角が90°進む間に、処理が終了でき
るのであれば、S905とS906の処理の間にS91
7の処理を実行し、S908とS909の処理の間にS
921の処理を実行し、S911とS912の処理の間
にS918の処理を実行し、S914とS915の処理
の間にS922の処理を実行すれば、全体として時間の
無駄がなく高速に処理することができる。
The processing procedure shown here is an example; for example, if the shading removal processing can be executed at high speed and can be completed while the rotation angle of the drive device advances by 90 degrees, S905 and During the process of S906, S91
7 is executed, and S is executed between S908 and S909.
If the process of S921 is executed, the process of S918 is executed between the processes of S911 and S912, and the process of S922 is executed between the processes of S914 and S915, the overall process can be performed at high speed without wasting time. Can be done.

【0032】また、S920でd1>Q1となり、入力
された指紋画像が生体のものであると判明したとき、メ
モリ3とメモリ4に記憶されている画像データも、外部
に出力することも考えられる。
[0032] Furthermore, when d1>Q1 in S920 and it is determined that the input fingerprint image is that of a living body, the image data stored in memory 3 and memory 4 may also be output to the outside. .

【0033】判定の精度を上げるため、S919の処理
の代わりに、メモリ1とメモリ2の画像間の差の二乗を
取った画像に対して前記シェーディング除去を行い、こ
の画像のエリア61中におれる累積をd1とする処理を
行い、以下同様の判定を行なう。また、S923の処理
の代わりに、メモリ3とメモリ4の画像間の差の二乗を
取った画像に対して前記シェーディング除去を行い、こ
の画像のエリア62中におれる累積をd2とする処理を
行い、以下同様の判定を行なう。
In order to improve the accuracy of the determination, instead of the process in S919, the shading is removed from the image obtained by taking the square of the difference between the images in memory 1 and memory 2, and the area 61 of this image is A process is performed in which the cumulative value obtained is set as d1, and the same determination is made thereafter. Also, instead of the process in S923, the shading is removed from the image obtained by taking the square of the difference between the images in the memory 3 and the memory 4, and the accumulation in the area 62 of this image is set as d2. The same determination is made thereafter.

【0034】[0034]

【発明の効果】本発明の方式によると、入力された指紋
画像が生体のものか、写真のような偽のものか区別がつ
く。そのため、指紋認識装置の信頼性が向上する。
[Effects of the Invention] According to the method of the present invention, it is possible to distinguish whether an input fingerprint image is a biological image or a fake image such as a photograph. Therefore, the reliability of the fingerprint recognition device is improved.

【図面の簡単な説明】[Brief explanation of the drawing]

【図1】本発明の第1の実施例の指紋入力装置の主要部
の構造図である。
FIG. 1 is a structural diagram of main parts of a fingerprint input device according to a first embodiment of the present invention.

【図2】本発明の第1の実施例の指紋入力装置の構成図
である。
FIG. 2 is a configuration diagram of a fingerprint input device according to a first embodiment of the present invention.

【図3】本発明の第1の実施例の指紋入力装置の処理の
流れを説明する図である。
FIG. 3 is a diagram illustrating the processing flow of the fingerprint input device according to the first embodiment of the present invention.

【図4】本発明の第1の実施例の指紋入力装置の処理の
流れを説明する図である。
FIG. 4 is a diagram illustrating the processing flow of the fingerprint input device according to the first embodiment of the present invention.

【図5】画像間の差の二乗の累積値を求める領域を説明
する図である。
FIG. 5 is a diagram illustrating a region for calculating the cumulative value of the square of the difference between images.

【図6】本発明の指紋入力装置の原理を説明する図であ
る。
FIG. 6 is a diagram illustrating the principle of the fingerprint input device of the present invention.

【図7】生体の指紋であることを判定する領域を説明す
る図である。
FIG. 7 is a diagram illustrating an area for determining a fingerprint of a living body.

【図8】本発明の第2の実施例の指紋入力装置の構造図
である。
FIG. 8 is a structural diagram of a fingerprint input device according to a second embodiment of the present invention.

【図9】本発明の第2の実施例の指紋入力装置の構成図
である。
FIG. 9 is a configuration diagram of a fingerprint input device according to a second embodiment of the present invention.

【図10】本発明の第2の実施例の指紋入力装置の処理
の流れを説明する図である。
FIG. 10 is a diagram illustrating a processing flow of a fingerprint input device according to a second embodiment of the present invention.

【図11】本発明の第2の実施例の指紋入力装置の処理
の流れを説明する図である。
FIG. 11 is a diagram illustrating a processing flow of a fingerprint input device according to a second embodiment of the present invention.

【符号の説明】[Explanation of symbols]

11,12,13,14  ランプ 15  CCD 16  レンズ 17  筒 18  支持台 31  撮像装置 32  中央制御装置 33  記憶装置 34  ランプ点灯装置 11, 12, 13, 14 lamp 15 CCD 16 Lens 17 tube 18 Support stand 31 Imaging device 32 Central control unit 33 Storage device 34 Lamp lighting device

Claims (2)

【特許請求の範囲】[Claims] 【請求項1】  被撮影対象指を挟んで互いに対向する
光源の第1の点灯位置と第2の点灯位置とを有する撮影
手段と、前記第1の点灯位置で光源を点灯して撮影した
第1の指紋画像と前記第2の点灯位置で光源を点灯して
撮影した第2の指紋画像とを記憶する記憶手段と、前記
記憶手段に記憶された第1の指紋画像と第2の指紋画像
とに基づいて被撮影対象指が立体物であるか否かを判別
する立体物判別手段を備えることを特徴とする指紋入力
装置。
1. Photographing means having a first lighting position and a second lighting position of a light source facing each other with a target finger to be photographed in between; storage means for storing a first fingerprint image and a second fingerprint image photographed with a light source turned on at the second lighting position; and a first fingerprint image and a second fingerprint image stored in the storage means. 1. A fingerprint input device comprising: a three-dimensional object determining means for determining whether or not a finger to be photographed is a three-dimensional object based on the following.
【請求項2】被撮影対象指を挟んで互いに対向する光源
の第1の点灯位置及び第2の点灯位置と前記被撮影対象
指を挟んで互いに対向する光源の点灯位置及び第4の点
灯位置とを有する撮影手段と、前記第1の点灯位置で光
源を点灯して撮影した第1の指紋画像及び前記第2の点
灯位置で光源を点灯して撮影した第2の指紋画像と前記
第3の点灯位置で光源を点灯して撮影した第3の指紋画
像及び前記第4の点灯位置で光源を点灯して撮影した第
4の指紋画像とを記憶する記憶手段と、前記記憶手段に
記憶された第1の指紋画像と第2の指紋画像との各画素
の差の二乗の累積d1と、前記記憶手段に記憶された第
3の指紋画像と第4の指紋画像との各画素の差の二乗の
累積d2と、前記累積d1と前記累積d2との和d1+
d2とをもとめ、前記累積d1が第1の所定値よりも大
きい場合あるいは前記累積d2が第2の所定値よりも大
きい場合あるいは前記和d1+d2が第3の所定値より
も大きい場合に被撮影対象指が立体物であると判別する
立体物判別手段を備えることを特徴とする指紋入力装置
2. A first lighting position and a second lighting position of the light sources facing each other across the finger to be photographed, and a lighting position and a fourth lighting position of the light sources facing each other with the finger to be photographed sandwiched therebetween. a first fingerprint image taken with the light source turned on at the first lighting position; a second fingerprint image taken with the light source turned on at the second lighting position; and the third fingerprint image taken with the light source turned on at the second lighting position. a storage means for storing a third fingerprint image taken with the light source turned on at the lighting position and a fourth fingerprint image taken with the light source turned on at the fourth lighting position; the cumulative sum d1 of the square of the difference between each pixel between the first fingerprint image and the second fingerprint image, and the difference between each pixel between the third fingerprint image and the fourth fingerprint image stored in the storage means; The sum d1+ of the squared cumulative d2 and the cumulative d1 and the cumulative d2
d2, and if the cumulative value d1 is larger than a first predetermined value, or if the cumulative value d2 is larger than a second predetermined value, or if the sum d1+d2 is larger than a third predetermined value, the object to be photographed is determined. A fingerprint input device comprising a three-dimensional object discriminating means for determining that a finger is a three-dimensional object.
JP3038814A 1991-03-06 1991-03-06 Fingerprint input device Expired - Fee Related JP2763830B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3038814A JP2763830B2 (en) 1991-03-06 1991-03-06 Fingerprint input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3038814A JP2763830B2 (en) 1991-03-06 1991-03-06 Fingerprint input device

Publications (2)

Publication Number Publication Date
JPH04277874A true JPH04277874A (en) 1992-10-02
JP2763830B2 JP2763830B2 (en) 1998-06-11

Family

ID=12535745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3038814A Expired - Fee Related JP2763830B2 (en) 1991-03-06 1991-03-06 Fingerprint input device

Country Status (1)

Country Link
JP (1) JP2763830B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339048A (en) * 1998-05-29 1999-12-10 Omron Corp Individual identifying device and method and recording medium for recording individual identification program
EP1096417A2 (en) * 1999-11-01 2001-05-02 TRW Inc. Spurious fingerprint rejection by variable illumination
KR100358708B1 (en) * 2001-02-01 2002-10-31 엄진섭 Three-dimensional biometrics security system using interference of light
JP2008517352A (en) * 2004-08-09 2008-05-22 クラシフアイ・リミテッド Non-contact optical means and 3D fingerprint recognition method
JP2008276570A (en) * 2007-04-27 2008-11-13 Mitsumi Electric Co Ltd Image reader
US7783088B2 (en) 2006-03-13 2010-08-24 Fujitsu Limited Fingerprint authenticating apparatus, live-finger determining apparatus, and live-finger determining method
WO2010106657A1 (en) 2009-03-18 2010-09-23 富士通株式会社 Organism information acquisition device and organism authentication device
WO2022097721A1 (en) * 2020-11-06 2022-05-12 パナソニックIpマネジメント株式会社 Bioinformation acquisition device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339048A (en) * 1998-05-29 1999-12-10 Omron Corp Individual identifying device and method and recording medium for recording individual identification program
EP1096417A2 (en) * 1999-11-01 2001-05-02 TRW Inc. Spurious fingerprint rejection by variable illumination
EP1096417A3 (en) * 1999-11-01 2004-05-12 Northrop Grumman Corporation Spurious fingerprint rejection by variable illumination
KR100358708B1 (en) * 2001-02-01 2002-10-31 엄진섭 Three-dimensional biometrics security system using interference of light
JP2008517352A (en) * 2004-08-09 2008-05-22 クラシフアイ・リミテッド Non-contact optical means and 3D fingerprint recognition method
US7783088B2 (en) 2006-03-13 2010-08-24 Fujitsu Limited Fingerprint authenticating apparatus, live-finger determining apparatus, and live-finger determining method
JP2008276570A (en) * 2007-04-27 2008-11-13 Mitsumi Electric Co Ltd Image reader
JP4501957B2 (en) * 2007-04-27 2010-07-14 ミツミ電機株式会社 Sweep fingerprint reader
WO2010106657A1 (en) 2009-03-18 2010-09-23 富士通株式会社 Organism information acquisition device and organism authentication device
US8692875B2 (en) 2009-03-18 2014-04-08 Fujitsu Limited Biometric data acquiring device and biometric authentication device
WO2022097721A1 (en) * 2020-11-06 2022-05-12 パナソニックIpマネジメント株式会社 Bioinformation acquisition device

Also Published As

Publication number Publication date
JP2763830B2 (en) 1998-06-11

Similar Documents

Publication Publication Date Title
KR102086884B1 (en) Robot control apparatus and robot control method
JP3078085B2 (en) Image processing apparatus and image processing method
CN103024265B (en) The image capture method of camera head and camera head
US8411159B2 (en) Method of detecting specific object region and digital camera
JP2004151025A (en) Test tube type discriminating device
EP0468522A2 (en) A fingerprint photographing system
JP2007122608A (en) Registration device, collation device, image correction method, and program
JP5226699B2 (en) Image determination device
JPH04277874A (en) Fingerprint input device
JP6506098B2 (en) Ranging device and ranging method
US7970238B2 (en) Method and apparatus for acquiring image of internal structure, and computer product
JP5729949B2 (en) Imaging apparatus, control method thereof, and program
KR20090110348A (en) Object shape generating method, object shape generating device and program
WO2013103027A1 (en) Image processor, image processing program, and object matching device
JP2009205203A (en) Iris authentication device
JP7419846B2 (en) Liquid level detection method and liquid level detection device
KR100901862B1 (en) Method and Device of Measuring Position of Terminal
JPH1038542A (en) Method and device for object recognition and recording medium
JP3853617B2 (en) Iris authentication device
JP2001012944A (en) Parallax image input apparatus and image pickup apparatus
JPWO2021033242A1 (en) Image recognition device, image recognition method, and image recognition program
JPH09185709A (en) Three-dimensional space video information input system
JP2000236434A (en) Image forming device
JP2001012916A (en) Parallax image-inputting device and image pickup device
JP2004171337A (en) Image photographing unit

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080327

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090327

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100327

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees