KR20060051655A - Image-taking device and personal authentication device - Google Patents

Image-taking device and personal authentication device Download PDF

Info

Publication number
KR20060051655A
KR20060051655A KR1020050089616A KR20050089616A KR20060051655A KR 20060051655 A KR20060051655 A KR 20060051655A KR 1020050089616 A KR1020050089616 A KR 1020050089616A KR 20050089616 A KR20050089616 A KR 20050089616A KR 20060051655 A KR20060051655 A KR 20060051655A
Authority
KR
South Korea
Prior art keywords
finger
unit
interference filter
imaging
light
Prior art date
Application number
KR1020050089616A
Other languages
Korean (ko)
Other versions
KR100746194B1 (en
Inventor
토시유키 에다카와
코우헤이 나가타
에이지 마키모토
히로아키 니시우치
Original Assignee
히타치 오므론 터미널 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 히타치 오므론 터미널 솔루션즈 가부시키가이샤 filed Critical 히타치 오므론 터미널 솔루션즈 가부시키가이샤
Publication of KR20060051655A publication Critical patent/KR20060051655A/en
Application granted granted Critical
Publication of KR100746194B1 publication Critical patent/KR100746194B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1341Sensing with light passing through the finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Abstract

본 발명은 촬상 장치 또는 개인 인증 장치에 관한 것으로서 1개의 손가락이 아래면을 아래로 향하여 둘 수 있는 케이스와 상기 손가락에 대해서 그 측면에서 투과광을 발생하는 광원부와 임의 파장에 대해서 광투과성을 가지는 간섭필터부와 상기 간섭필터부를 투과한 투과광이 거울을 개재하여 촬상하는 촬상부와 상기 촬상부로부터 출력되는 상기 손가락의 정맥화상 데이터의 화상처리부를 가지는 것을 특징으로 하는 개인 인증장치로서 본 발명의 목적은 손가락의 정맥화상을 이용하는 개인인증장치에 있어서 좌우 어느쪽 손의 손가락에 대해서도 용이하게 인증할 수 있고 실용 레벨이 높은 인증정밀도가 나오는 개인 인증장치의 형상의 기술을 제공한다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an imaging device or a personal authentication device, wherein a case in which one finger is placed downwards, a light source unit generating transmitted light from the side of the finger, and an interference filter having light transparency to an arbitrary wavelength. An object of the present invention is a personal authentication device comprising: an image capture unit for transmitting an image and a transmitted light passing through the interference filter unit through a mirror; and an image processing unit for venous image data of the finger output from the image capture unit. In a personal authentication device using a vein image of the present invention, a technology of the shape of a personal authentication device that can easily authenticate the fingers of both the left and right hands and yields a high level of authentication accuracy is provided.

Description

촬상 장치 또는 개인 인증 장치{IMAGE-TAKING DEVICE AND PERSONAL AUTHENTICATION DEVICE}Imaging device or personal authentication device {IMAGE-TAKING DEVICE AND PERSONAL AUTHENTICATION DEVICE}

도 1은 개인 인증 장치의 외관 사시도이다.1 is an external perspective view of a personal authentication device.

도 2는 도 1의 개인 인증 장치에 손가락을 둔 상태로 촬상부를 앞측에서 본 단면도이다.FIG. 2 is a sectional view of the imaging unit viewed from the front with the finger on the personal authentication device of FIG. 1. FIG.

도 3 도 1의 개인 인증 장치에 손가락을 둔 상태로 촬상부를 옆에서 본 단면도이다. It is sectional drawing which looked at the imaging part from the side in the state which put the finger on the personal authentication apparatus of FIG.

도 4는 개인 인증 장치의 다른 실시예를 나타내는 외관도이다.4 is an external view showing another embodiment of a personal authentication device.

도 5는 개인 인증 장치의 다른 실시예를 나타내는 외관도이다. 5 is an external view showing another embodiment of a personal authentication device.

*주요부위를 나타내는 도면부호의 설명** Description of reference numerals indicating major parts *

1···상부 케이스1 ... upper case

2···하부 케이스 2 ... bottom case

3···광원 실장부 3 ··· light source

4···광원 조사창 4 ··· light source window

5···간섭 필터 Interference filter

6···손가락 근원 지지 가이드 6 finger finger support guide

7···손가락끝 맞춤 가이드 7 ... fingertip alignment guide

8···손가락끝 지지 가이드 8 fingertip support guide

9···손바닥 지지 가이드 9 ... palm support guide

10···LED 기반 10 ... LED based

11···광원 LED 11 LED light source

12···반사경 12 ... reflector

13···카메라 13 ... camera

14···제어부 14 ... control unit

15···인증 대상 손가락 15 ... authentication target finger

16···인증 대상 손가락에 가까운 손가락 16 Fingers close to the finger to be authenticated

17···광원으로부터 발해지는 광 Light emitted from a light source

18···촬상광 18 shooting light

19···외부 접속 커넥터 19 External connector

20···손가락 받침부 20 finger support

21···손바닥 지지 가이드21 ... palm support guide

본 발명은 생체 인증하는 장치와 관련하고 특히 손가락 정맥 화상 데이터를 이용해 개인 인증 또는 특정하는 장치에 관한다.The present invention relates to a device for biometric authentication and in particular to a device for personal authentication or identification using finger vein image data.

인간의 생체 정보를 이용해 개인 인증하는 것으로서 지문이나 홍채등의 정보 (데이터)를 사용하는 것을 들 수 있지만 그 중에서 인간의 손가락 내부에 있는 정맥의 화상을 이용하는 손가락 정맥 인증 기술이 주목받고 있다. 이 손가락 정맥 화상 데이터를 이용해 개인 인증을 실시하는 방법으로서 특허 문헌 1이 있고 1개의 손가락의 지문을 하면으로 향하여 삽입할 수 있는 삽입부를 설치한 케이스와 상기 손가락에 대해서 그 상면으로부터 투과광을 발생하는 광원부와 임의 파장에 대해서 광투과성을 가지는 간섭 필터부와 상기 간섭 필터부를 투과 한 투과광을 촬상하는 촬상부와 상기 촬상부로부터 출력되는 상기 손가락의 정맥 화상 데이터를 미리 기억부에 기억된 화상 데이터와 조합할 수 있는 조합용 데이터를 작성하는 화상 처리부라로 되는 개인 인증 장치를 개시한다.The use of information (data), such as fingerprints or irises, may be used as personal authentication using human biometric information. Among them, finger vein authentication technology using an image of a vein inside a human finger is drawing attention. As a method of performing personal authentication using this finger vein image data, there is a patent document 1, a case having an insertion unit for inserting a fingerprint of one finger toward the lower surface, and a light source unit generating transmitted light from the upper surface of the finger. And an image pickup unit for imaging an interference filter unit having optical transparency to an arbitrary wavelength, an image pickup unit for imaging the transmitted light passing through the interference filter unit, and the vein image data of the finger output from the image pickup unit with image data previously stored in the storage unit. The personal authentication device which becomes an image processing part which produces | generates the possible combination data is disclosed.

그리고 인증 대상인 손가락의 위치 결정은 인증 대상 손가락을 삽입부에 삽입하고 깊이는 손가락의 선단을 손가락 맞춤부에 닿게 하고 좌우 방향은 상부손가락 근원 맞춤부에서 가이드 하여 손가락의 좌우 회전은 목시 할 수 있는 위치에 설치된 삼각 마크에 손가락 바닥이 중심에 맞도록 눈으로 맞추는 것이다.The position of the finger to be authenticated is inserted into the insertion part of the authentication target, and the depth of the finger touches the tip of the finger, and the left and right directions are guided by the upper finger's root alignment. The eye is aligned to the center of the finger on the triangular mark installed on the center.

[특허 문헌 1] 일본국 특개2004-049705호 공보[Patent Document 1] Japanese Patent Application Laid-Open No. 2004-049705

상술한 특허 문헌 1에서는 인식 대상 손가락의 상부에 광원부를 배치함으로써 프레임체의 높이가 높아져 장치의 대형화라는 문제가 있다. 또 광원부가 삽입부를 덮기 때문에 이용자는 내부가 안보이는 삽입부에 손가락을 넣는 것에 불안감을 느낀다. 또 손가락의 좌우 방향의 회전 방지를 삼각 마크에 눈으로 맞추기 때문에 불균형이 생겨 분산이 되어 손가락 정맥 화상 데이터를 취득할 수 없기 때문에 개인 인증 정밀도가 낮아진다고 하는 결점이 있었다.In the above-mentioned patent document 1, the height of a frame body becomes high by arrange | positioning a light source part on the upper part of a recognition target finger, and there exists a problem of enlargement of an apparatus. Moreover, since the light source part covers the insertion part, the user feels anxiety about putting a finger in the insertion part which cannot see inside. In addition, there is a drawback that the accuracy of personal authentication is lowered because the rotation of the left and right directions of the finger is visually matched to the triangular mark, resulting in an imbalance, dispersion, and inability to obtain finger vein image data.

본 발명의 목적은 상술한 과제의 어느 쪽인가 1개이상을 해결하는 것을 목적으로 한다. 예를 들면 미리 기억된 데이터에 대해서 손가락의 조합이 좌우 어느 쪽의 손가락에 대해서도 용이하게 설정할 수 있고 높은 재현성(또는 높은 인증 정밀도)을 갖고 손가락 정맥 화상을 취득할 수 있는 손가락 정맥 인증 장치를 제공하는 고객에게 안심감을 주는 또는 소형인 손가락 정맥 인증 장치를 제공하는 것에 있다.An object of the present invention is to solve one or more of the above problems. For example, a finger vein authentication apparatus capable of easily setting a combination of fingers on both left and right fingers with respect to pre-stored data and having a high reproducibility (or high authentication accuracy) can acquire a finger vein image. The present invention provides a device for providing a finger vein authentication device that is reassuring or compact for a customer.

본 발명은 손가락의 바닥면을 아래로 향하여 놓을 수가 있는 개방적인 손가락의 설치부를 설치한 케이스와 상기 손가락에 대해서 양측면으로부터 투과광을 발생하는 광원부와 임의의 파장에 대해서만 광투과성을 가지는 간섭 필터부와 간섭 필터부를 투과 한 투과광을 촬상하는 촬상부와 또 촬상부로부터 출력되는 상기 손가락의 정맥 화상 데이터를 미리 기억된 화상 데이터와 조합하는 촬상 장치 또는 개인 인증 장치에 있다.According to the present invention, there is provided a case in which an open finger mounting part can be placed on the bottom face of a finger, a light source part generating transmitted light from both sides with respect to the finger, and an interference filter part having light transmission only for arbitrary wavelengths. An imaging device or personal authentication device which combines the image pickup unit for imaging the transmitted light transmitted through the filter unit and the vein image data of the finger output from the image pickup unit with the image data stored in advance.

또 손가락의 설치부는 상기 손가락의 첨단 위치를 규제하는 손가락끝단 가이드부와 상기 손가락의 좌우 위치를 규제하는 좌우 가이드부와 상기 손가락의 좌우 방향으로의 회전을 규제하는 가이드부를 가진다. 간섭 필터부는 광원부로부터 발해지는 상기 투과광과 다른 광을 분리하는 것일 것 또는 손가락끝단 가이드부는 상기 손가락의 긴 방향의 중앙 부분인 제 1 관절로부터 제2 관절이 간섭 필터부의 바로 위에 위치 하도록 배치하는 것이 바람직하다. 또한 촬상하는 정맥은 손가락 바닥에 가까운 정맥을 촬상하기 위해서 손가락 바닥이 간섭 필터부에 닿아 정맥을 변형하 지 않도록 간섭 필터부로부터 손가락을 띄우는 손가락 받이부를 설치한다.The finger mounting portion has a fingertip guide portion for regulating the tip position of the finger, a left and right guide portion for regulating the left and right positions of the finger, and a guide portion for regulating rotation of the finger in the left and right directions. Preferably, the interference filter unit separates the transmitted light and other light emitted from the light source unit, or the fingertip guide unit is disposed so that the second joint is positioned directly above the interference filter unit from the first joint, which is the central portion in the longitudinal direction of the finger. Do. In addition, the vein for imaging is provided with a finger rest portion that lifts the finger from the interference filter portion so that the bottom of the finger touches the interference filter portion so as not to deform the vein in order to image the vein close to the bottom of the finger.

즉 인증 장치의 손가락 설치부에 손가락을 둘 때의 손가락 긴 축방향의 이탈 ; 손가락 짧은 축 방향의 이탈(손가락의 좌우의 이탈) ; 손가락 긴 축을 축으로 한 회전이탈 ; 손가락의 정맥 화상 촬상부와의 위치 이탈을 방지하고 매회의 손가락의 촬상면을 동일하게 하고 손가락 정맥 데이터 판독의 재현성을 높일 필요가 있다. 그점에서 손가락 긴 축방향의 이탈을 방지하기 위해 손가락 설치부의 제일 안쪽에 손가락끝단이 맞춰지는 벽을 설치하고 ; 손가락 짧은 축 방향의 이탈을 방지하기 위해서 손가락의 양측면이 닿는 벽을 설치하고 ; 손가락 긴축을 축으로 한 회전을 방지하기 위해서 손바닥의 회전을 규제하는 손바닥 가이드부를 설치한다.That is, when the finger is placed on the finger attachment portion of the authentication device, the finger is separated in the long axis direction; Release in the direction of the finger short axis (deviation from the left and right of the finger); Rotational deviation about the long axis of the finger; It is necessary to prevent the positional deviation of the finger from the vein image capturing unit, to make the imaging surface of each finger the same, and to improve the reproducibility of reading the finger vein data. A wall where the fingertips are fitted on the innermost side of the finger mounting portion to prevent deviation of the long finger direction at that point; Install a wall where both sides of the finger touch to prevent deviation of the short axis of the finger; In order to prevent the rotation based on the tightening of the fingers, a palm guide part for regulating the rotation of the palm is provided.

특히 손가락 긴 축을 축으로 한 회전을 방지하는 방법은 1개의 손가락만을 지지해도 회전을 방지하는 것은 곤란하고 동시에 복수의 손가락을 지지하였다 하여도 손바닥을 손가락 긴 축을 축으로 한 회전 방향으로 돌리면 손가락도 함께 따라돌아 버린다. 즉 손가락의 이 회전은 손가락만을 지지하는 것이 아니라 손바닥을 회전시키지 않도록 지지하는 것으로 해결한다. 또 손바닥을 지지하는 면은 손바닥 전체를 지지해도 괜찮지만 촬상하는 손가락의 밑의 관절과 서로 이웃하는 손가락의 밑의 관절을 복수 동시에 평면에서 지탱하면 손가락의 회전을 규제할 수가 있다.In particular, the method of preventing rotation about the long axis of a finger is difficult to prevent rotation even if only one finger is supported. At the same time, even if a plurality of fingers are supported, when the palm is turned in the rotation direction around the long axis of the finger, the finger is also present. Follow it around. In other words, this rotation of the finger is solved by supporting not to rotate the palm, but only the finger. The palm supporting surface may support the entire palm, but the rotation of the finger can be regulated by simultaneously supporting a plurality of joints under the image of the finger and under the joint of the neighboring finger in a plane.

도 1은 개인 인증 장치의 외관 사시도로 ; 도 2는 도 1의 개인 인증 장치에 손가락을 둔 상태로 촬상부를 앞측에서 본 단면도 ; 도 3은 도 1의 개인 인증 장치에 손가락을 둔 상태로 촬상부를 옆으로부터 본 단면도를 도시한다. 또한 이 개인 인증 장치는 금융기관등에 설치된 입출금 거래를 실시하는 현금 자동 거래 장치(ATM)의 조작면 ; 특히 터치 패널의 사이드에 배치하여 비밀번호와 병용 또는 대체하는 것이 바람직하고 또 금융 영업 점내에 설치하여 개인을 인증하는 형태로 사용하는 것이 바람직하다. 또 이하의 예에서는 개인 인증 장치가 촬영한 손가락 정맥 화상 데이터를 화상 처리 하는 등록을 마친 개인 데이터를 조합하는 제어부를 가지고 있지만 이 제어부를 해당 장치외에 설치해도 좋고 손가락의 정맥 데이터를 촬상할 수 있으면 충분한 것으로 단순히 촬상 장치라고도 말한다.1 is an external perspective view of a personal authentication device; Fig. 2 is a sectional view of the imaging unit viewed from the front with the finger on the personal authentication device of Fig. 1; 3 is a cross-sectional view of the imaging unit viewed from the side with the finger placed on the personal authentication device of FIG. 1. Moreover, this personal authentication apparatus is an operation surface of the ATM automatic transaction apparatus (ATM) which performs the deposit and withdrawal transaction installed in financial institutions, etc .; In particular, it is preferable to use it on the side of the touch panel to use or replace it with a password, and to install it in a financial sales office and use it in the form of authenticating an individual. In the following example, the control unit combines registered personal data for image processing of finger vein image data captured by the personal authentication device. However, the control unit may be installed outside the device or sufficient to capture finger vein data. It is also referred to simply as an imaging device.

도 1에 나타나는 바와 같이 개인 인증 장치는 상부 케이스(1)와 하부 케이스(2)로 탑재 디바이스류를 덮고 상부 케이스(1)로부터 광원 실장부(3)가 좌우 2 곳 즉 1쌍이 상부 케이스(1)의 면보다 윗쪽으로 돌출한다. 그리고 광원 실장부(3)는 좌우 쌍방이 서로 마주 보도록 광원 조사창(4)이 열려 있다. 도시하는 바와 같이 상부 케이스(1)는 손가락 바닥면을 아래로 향해 실을 수가 있는 개방적인 것이기 때문에 어느 부위안에 손가락을 삽입하도록 하는 방식에 비해 유저의 불안이 적다. 광원 실장부(3)에 끼워진 면에는 간섭 필터(5)가 있고 간섭 필터(5)는 근적외선만을 투과 시킬 수가 있는 유리제 혹은 수지제의 시트이다. 간섭 필터(5)의 앞에는 손가락의 근원을 지지하는 손가락 근원 지지 가이드(6)와 간섭 필터의 안쪽 측에는 손가락의 선단을 맞추는 손가락끝 맞춤 가이드(손가락끝단 가이드부,7)와 손가락의 선단을 지지하는 손가락끝 지지 가이드(8)가 위치 하고 상부 케이스(1)의 앞부분에는 손바닥을 지지하는 손바닥 지지 가이드(9)가 위치 한다. 또한 가이드(6 ; 8; 9)는 종합 하여 손가락의 회전이나 좌우/전후방향으로의 쉬프트등을 규제하는 것으로 부터 손가락 규제 가이드부(단지 가이드부라고도 한다)라고도 말한다.As shown in FIG. 1, the personal authentication apparatus covers the mounting devices with the upper case 1 and the lower case 2, and the light source mounting portion 3 is positioned from the upper case 1 to the left and right sides, that is, a pair of the upper case 1 Protrude upward from the plane of). In the light source mounting unit 3, the light source irradiation window 4 is opened such that the left and right sides face each other. As shown in the figure, the upper case 1 is open so that the bottom surface of the finger can be loaded downward, so that the user's anxiety is less than the method of inserting the finger in any part. An interference filter 5 is provided on the surface fitted to the light source mounting portion 3, and the interference filter 5 is a sheet made of glass or resin capable of transmitting only near infrared rays. In front of the interference filter 5, the finger source support guide 6 supporting the source of the finger, and the finger tip alignment guide (finger tip guide part 7) for aligning the tip of the finger on the inner side of the interference filter and the tip of the finger are supported. Fingertip support guide (8) is located and the palm support guide (9) for supporting the palm is located in front of the upper case (1). In addition, the guides 6 and 8 are also collectively referred to as finger regulating guide portions (also referred to simply as guide portions) for regulating the rotation of the fingers and the shift in the left and right directions.

손가락의 놓는 방법은 2점 쇄선과 같이 중지의 선단을 손가락끝 맞춤 가이드 (7)에 맞추고 손가락끝 지지 가이드(8)와 손가락 근원 지지 가이드(6)에 싣는다. 한편 인증 대상이 아닌 집게 손가락과 약손가락은 광원 실장부(3)의 외측에 배치하고 손바닥을 펴 손바닥 지지 가이드(9)에 싣는다. 즉 인증 대상 이외의 손가락은 광원 돌기부(3)로 인증되는 손가락 설치부와 차단된 케이스면에 따를 수 있다. 이와 같이 1쌍의 광원 실장부(3)를 손가락 긴 방향을 따라 가늘고 긴게 한 형상을 채용하고 있기 때문에 인증손가락의 중지를 집게 손가락과 약손가락으로 확실히 고정할 수 있다. 손가락끝 맞춤 가이드(7)는 인증 대상인 중지의 긴 방향(전후방향)의 위치를 규제하고 손가락 근원 지지 가이드(6)와 손가락끝 지지 가이드(7)는 손가락의 좌우의 엇갈림을 규제하도록 손가락의 지름에 맞추어 R형상의 오목하게(함몰부) 설치하고 있다. 또한 각 가이드 6 과 7 은 손가락 바닥이 간섭 필터(5)에 접촉하지 않게 중지를 띄우는 기능도 가진다. 인증 대상의 중지는 이 각 가이드로 전후·좌우를 규제하지만 손가락의 규제만으로는 약간의 불안정함이 있다. 즉 손바닥을 좌우 방향으로 기울여 중지를 놓았을 경우는 중지가 좌우 방향으로 회전해 버리므로 손바닥이 좌우 방향으로 기울지 않게 손바닥을 지지하는 손바닥 지지 가이드(9)에 둔다. 손바닥 지지 가이드(9)는 바닥면 모두를 지지하는 넓은 면적으로 해도 되지만 타인이 손댄 것을 손대고 싶지 않은 감각을 가진 조작자에 대해서는 본 도면과 같이 광실장 케이스(8)에 대해서 수직 방향으로 또한 가늘게 횡방향으로 긴 형상이 바람직하다. 또 도 1에서는 중지를 인증 대상 손가락으로 하고 있지만 손가락이라 면 좌우 모든 손가락을 인증 대상 손가락으로 할 수가 있다.In the method of placing a finger, the tip of the middle finger is aligned with the fingertip alignment guide 7 and the fingertip support guide 8 and the finger root support guide 6 are placed like a two-dot chain line. On the other hand, the index finger and the weak finger, which are not the subject of authentication, are disposed outside the light source mounting portion 3 and the palms are extended and placed on the palm support guide 9. That is, the finger other than the authentication target may be in accordance with the finger mounting portion and the case surface blocked by the light source protrusion 3. Thus, since the shape which made the pair of light source mounting parts 3 thin and long along the finger long direction is employ | adopted, the middle finger of an authentication finger can be firmly fixed with an index finger and a weak finger. The fingertip alignment guide 7 regulates the position in the longitudinal direction (front and rear) of the middle finger, which is the object of authentication, and the finger root support guide 6 and the fingertip support guide 7 regulate the cross of the left and right fingers. In accordance with the R-shape, the recess is provided. Each guide 6 and 7 also has a function to lift the stop so that the finger bottom does not contact the interference filter 5. The suspension of the certification target is regulated before, after, left and right by each guide, but there is some instability only by the regulation of the finger. That is, when the palm is tilted in the left and right directions, the middle finger is rotated in the left and right directions, so the palm is placed in the palm support guide 9 supporting the palm so that the palm does not tilt in the left and right directions. The palm support guide 9 may be a large area supporting all of the bottom surfaces, but for the operator who has a feeling of not wanting to touch the other person, as shown in this figure, the palm support guide 9 is also vertically and thinner with respect to the optical case 8. The shape long in a direction is preferable. In Fig. 1, the middle finger is used as the authentication target finger. However, the left and right fingers can be used as the authentication target finger.

다음에 장치 내부의 구조는 도 2와 도 3에 나타나는 바와 같이 우선 인증 대상 손가락의 좌우에 1쌍 있는 광원 실장부(3)의 내부에는 복수의 광원 LED (발광 다이오드,11)를 일렬로 실장한 절연된 LED 기반(10)이 탑재되고 있다. 광원 조사창(4)을 개입시켜 광원 LED(11)로부터 조사된 광이 인식 대상 손가락의 바로 옆에 닿는다. 구체적으로는 도 1과 같이 이 광원을 손가락의 긴 방향의 제 1 관절로부터 제2 관절에 조사한다. 광원은 손가락의 중심 높이와 동등한 높이에 위치하고 조사된 광(11)이 손가락의 내부에서 반사하면서 손가락의 밖에 나온다. 즉 광원부는 손가락 설치부(부호 6 ; 7; 8)의 양측으로 위치 하여 인식 대상 손가락의 횡방향으로부터 인식 대상 손가락으로 향해 광을 조사한다. 절연 기판(10)상에 일렬로 복수개의 발광 다이오드(11)가 있고 적어도 손가락의 제 1 관절과 제 2 관절의 사이에 대응해 같은 간격으로 배치하고 있다. 또 광원부는 인식 대상 손가락에 대해서 횡방향의 매우 높은 위치로부터 투과광을 조사한 쪽이 손가락 바닥표면의 반사가 적게 정맥의 촬상이 더욱 선명히 파악할 수 있기 때문에 손가락 설치부의 양측의 케이스(3)는 광원부를 내장하도록 돌출시킨 광원 돌기부(상부 케이스(1)의 상면보다 윗방향에 돌기)를 갖고 이 광원 돌기부(3)는 인증 대상 손가락과 그 근처의 손가락 사이에 들어가는 형상으로 인증 대상 손가락과 다른 손가락이 서로 겹치지 않는 기능도 갖는다.Next, as shown in Fig. 2 and Fig. 3, first, a plurality of light source LEDs (light emitting diodes) 11 are mounted in a line inside the light source mounting unit 3, which is a pair of left and right sides of the finger to be authenticated, as shown in Figs. Isolated LED base 10 is mounted. Light irradiated from the light source LED 11 through the light source irradiation window 4 touches right next to the recognition target finger. Specifically, as shown in FIG. 1, the light source is irradiated from the first joint in the longitudinal direction of the finger to the second joint. The light source is located at the same height as the center height of the finger and the irradiated light 11 is reflected inside the finger and comes out of the finger. That is, the light source unit is positioned at both sides of the finger mounting unit (reference numerals 6; 7; 8) and irradiates light toward the recognition target finger from the lateral direction of the recognition target finger. There are a plurality of light emitting diodes 11 in a row on the insulating substrate 10, and are arranged at equal intervals at least between the first joint and the second joint of the finger. In addition, since the light source part is irradiated with the transmitted light from a very high position in the transverse direction with respect to the finger to be recognized, the vein imaging can be captured more clearly because of less reflection of the bottom surface of the finger. It has a light source protrusion (protrusion above the upper surface of the upper case 1) to protrude so that the light source protrusion (3) is between the finger to be authenticated and the finger near the authentication target finger and the other finger does not overlap each other. It does not have the function.

손가락 바닥측에서 나온 광(도시의 아래 쪽 방향으로의 광)은 근적외선만을 투과 하는 간섭 필터(5)를 투과 하여 반사경(12)으로 방향을 바꾸어 카메라(촬상 부,13)로 촬상한다. 즉 간섭 필터부는 광원부로부터 조사한 투과광이 손가락의 내부에서 난반사하여 손가락 바닥측에서 나온 투과광의 임의의 파장인 근적외선만을 투과 시킨다. 근적외선은 혈액안의 헤모글로빈에 흡수되기 쉽기 때문에 정맥은 어둡고 정맥 이외는 밝게 촬상된다. 혈액안에 존재하는 헤모글로빈은 근적외선을 흡수하는 기능이 있기 때문에 혈관은 어둡게 비쳐 혈관 이외는 밝게 비친다. 제어부 (14)는 촬상한 데이터를 손가락 정맥 화상 데이터로서 합성한다. 즉 좌우 1쌍의 LED 조사를 통해 구해지는 손가락의 오른쪽 및 왼쪽의 정맥 화상 데이터를 편집 처리하여 1매의 정맥 화상 데이터로 하고 미리 등록된 등록완료의 데이터와 조합한다. 등록완료 데이터는 유저가 소유하는 은행 카드(매체) 내부에 기억 또는 현금 자동 거래 장치 또는 영업점 단말등의 거래 장치나 호스트/서버의 기억부에 기억해 두고 제어부(14)가 그러한 등록 데이터를 수신해 촬상 데이터와 조합해도 되고 또 이 조합 기능을 해당 장치 외부에 설치하고 제어부(14)는 촬상한 데이터를 그 장치 외부에 송신하고 외부에서 조합하는 형태라도 좋다. 조합 결과는 외부 접속 커넥터 (19)로 연결되고 있는 단말에 표시된다. 또한 촬상부(13)는 인증 대상 손가락을 실은 것을 싣기 전의 촬상과 비교하여 검지해서 정맥의 촬상을 자동적으로 개시한다. 촬상 개시의 수동 스윗치를 누르는 동작이 필요없으므로 인증 대상 손가락이 움직이지 않는다. 이와 같이 손가락을 인증 장치에 싣는 것만으로 동작에서 위치 이탈·회전 이탈을 억제를 할 수 있고 재현성 좋게 손가락 정맥 화상 데이터를 취득할 수가 있다.Light emitted from the bottom of the finger (light toward the bottom of the figure) passes through an interference filter 5 that transmits only near infrared rays, and is then redirected to the reflector 12 to be picked up by a camera (imaging section 13). That is, the interference filter unit diffuses the reflected light irradiated from the light source unit inside the finger and transmits only the near infrared ray, which is an arbitrary wavelength of the transmitted light emitted from the bottom of the finger. Near-infrared is easily absorbed by hemoglobin in the blood, so the vein is dark and brightly photographed except the vein. Since hemoglobin in the blood has a function of absorbing near-infrared light, blood vessels are darkened and lightly reflected except blood vessels. The control unit 14 synthesizes the captured data as finger vein image data. That is, the vein image data on the right and left sides of the finger obtained through the pair of left and right LED irradiation are edited to be one vein image data and combined with previously registered registration data. The registration completion data is stored in a bank card (medium) owned by the user or in a trading device such as a cash automatic transaction device or a sales terminal, or a storage device of a host / server, and the control unit 14 receives such registration data and captures the image. It may be combined with data, or the combination function may be provided outside the apparatus, and the control unit 14 may transmit the imaged data to the outside of the apparatus and combine it externally. The result of the combination is displayed on the terminal connected to the external connection connector 19. In addition, the imaging unit 13 detects the image of the vein and automatically starts imaging the vein in comparison with the imaging before loading the authentication target finger. Since the operation of pressing the manual switch of imaging start is unnecessary, the finger to be authenticated does not move. In this way, the positional deviation and rotational deviation can be suppressed in the operation only by placing the finger on the authentication device, and finger vein image data can be obtained with high reproducibility.

이상의 구조적 특징을 채용하는 것으로 인증 대상자의 인증 대상 손가락을 손가락 설치부의 제일 안쪽에 위치 하는 손가락끝단 가이드부(7)에 손가락끝을 닿게 하는 손가락 받이부(6 ; 8)등에 싣는 것과 동시에 손바닥 가이드부(9)에 손바닥을 싣는다. 이것에 의해 전후·좌우의 위치 이탈 손가락 긴 축을 축으로 한 회전 이탈 촬상부(13)의 거리의 이탈을 억제한다.By adopting the structural features described above, the target finger of the person to be authenticated is placed on the finger rests (6; 8), etc., which touch the fingertips to the fingertip guide portion 7 located at the innermost portion of the finger mounting portion, and at the same time, the palm guide portion. Put your palm on (9). This suppresses the separation of the distance of the rotational disengagement imaging unit 13 around the positional deviation finger long axis of the front, rear, left and right.

또한 본 발명은 개방된 평면상의 케이스 형상이기 때문에 손가락을 특정하는 규제가 없으므로 손이면 좌우의 어느 손가락에서도 인증 대상 손가락으로 할 수 있다. In addition, since the present invention has an open flat case shape, there is no restriction to specify a finger, and therefore, the finger can be used as an authentication target finger on both the left and right fingers.

[실시예 2]Example 2

도 4는 광원 실장부(20)가 도 1의 광원 실장부(3)와 형상이 다른 예이다. 인증 대상 손가락은 도 1과 동일하게 두고 인증 대상 손가락에 서로 이웃하는 손가락은 광원 실장부(20) 위에 배치하는 방식으로 조작자의 손가락이 짧은 경우는 도 1의 광원 실장부(3)에 의해 손가락이 찢어지는 경우가 있으므로 이것을 방지할 수 있다. 다만 광원 실장부(20)는 손가락 근원 지지 가이드(6)와의 높이 방향으로 단차가 너무 붙으면 인증 대상 손가락의 근원이 손가락 근원 지지 가이드(6)으로부터 떠 버리므로 경사(21)를 설치하는 것이 바람직하다.4 is an example in which the light source mounting unit 20 is different in shape from the light source mounting unit 3 of FIG. 1. The fingers to be authenticated are the same as those of FIG. 1, and the fingers neighboring the fingers to be authenticated are placed on the light source mounting unit 20. In the case where the operator's finger is short, the finger is touched by the light source mounting unit 3 of FIG. 1. Since it may tear, this can be prevented. However, the light source mounting portion 20 is preferably provided with an inclination 21 because the source of the finger to be authenticated is separated from the finger origin support guide 6 when the step is too attached in the height direction with the finger origin support guide 6. .

[실시예 3]Example 3

도 5는 도 1의 손바닥 지지 가이드(9)를 손가락에 접근해 장치의 깊이도 짧게 한 예이다. 제어부(24)는 컴팩트하게 장치내에 실장할지 혹은 도와 같이 중계 케이블(23)을 개입시켜 다른 외부 부착 제어부(24)로 할 수도 있다. 손바닥 지지 가이드(22)는 손가락에 접근하는 경우 손가락의 부근의 간접(間接)을 3개분 지탱하 기 때문에 손가락의 좌우 방향의 회전을 규제하는데 효과가 있다.FIG. 5 shows an example in which the palm support guide 9 of FIG. 1 approaches the finger to shorten the depth of the device. The control unit 24 may be compactly mounted in the apparatus or may be other externally attached control unit 24 via the relay cable 23 as well. Palm support guide 22 is effective in regulating the rotation of the left and right direction of the finger because it supports three indirect (부근) in the vicinity of the finger when approaching the finger.

본 발명에 의하면 손가락의 정맥 화상을 이용한 개인 인증에 있어서 미리 기억된 데이터에 대해서 손가락의 조합이 좌우 어느 쪽의 손가락에 대해서도 용이하게 정확한 위치로 설정할 수 있다. 또 높은 재현성을 가져 손가락 정맥 화상을 취득하는 것으로 높은 인증 정밀도의 개인 인증 장치를 제공할 수가 있다.According to the present invention, in the personal authentication using the vein image of the finger, the combination of the fingers can be easily set to the correct position for both the left and right fingers with respect to the data stored in advance. In addition, by obtaining a finger vein image with high reproducibility, a personal authentication device with high authentication accuracy can be provided.

Claims (9)

손가락 바닥면을 아래로 향해 두는 부위를 설치한 케이스와 ; 상기 케이스면보다 돌기하고 하고 또한 소정간 격리하여 배치하는 1쌍의 돌기부와 ; 상기 돌기부간의 상기 손가락에 대해서 그 측면에서 광을 조사하는 광원부와 ; 상기 돌기부간으로 또한 상기 케이스면에 배치되고 광의 임의 파장에 대해서 광투과성을 가지는 간섭 필터부와 ; 상기 간섭 필터부의 하부에 배치되고 또한 상기 간섭 필터부를 투과 한 투과광을 촬상하는 촬상부를 가지는 것을 특징으로 하는 촬상 장치.A case provided with a part facing the bottom of the finger downward; A pair of protrusions which protrude from the case surface and are separated from each other for a predetermined time; A light source unit for irradiating light from the side to the finger between the protrusions; An interference filter unit disposed between the protrusions and on the case surface and having light transmittance with respect to an arbitrary wavelength of light; And an imaging unit arranged under the interference filter unit and for imaging the transmitted light passing through the interference filter unit. 청구항 1 기재의 촬상 장치에 있어서, In the imaging device of claim 1, 상기 촬상부에서 출력되는 상기 손가락의 정맥 화상 데이터를 처리하는 제어부를 가지는 것을 특징으로 하는 촬상 장치.And a control unit which processes the vein image data of the finger output from the imaging unit. 청구항 1 기재의 촬상 장치에 있어서,In the imaging device of claim 1, 상기 돌기부간에서 또한 상기 케이스면에 손가락의 움직임을 규제하는 가이드부를 가지는 것을 특징으로 하는 촬상 장치.And a guide portion for regulating the movement of a finger between the protrusions and on the case surface. 청구항 3 기재의 촬상 장치에 있어서,In the imaging device of claim 3, 상기 가이드부는 손가락끝단을 규제하는 손가락끝단 가이드와 손가락의 선단 또는 손가락 근원 부근을 규제하는 R형상의 함몰이 있는 손가락 규제 가이드를 포 함하는 것을 특징으로 하는 촬상 장치.And the guide portion includes a fingertip guide for regulating fingertips and a finger restraint guide with an R-shaped depression for regulating the tip of the finger or near the finger origin. 청구항 3 기재의 촬상 장치에 있어서,In the imaging device of claim 3, 상기 가이드부는 상기 간섭 필터부와 상기 손가락의 사이에 공간을 설치하도록 상기 케이스면보다 돌기 하고 있는 것을 특징으로 하는 촬상 장치.And the guide portion protrudes from the case surface so as to provide a space between the interference filter portion and the finger. 청구항 1 기재의 촬상 장치에 있어서,In the imaging device of claim 1, 상기 케이스면상에서 상기 돌기부와 수직 방향으로 설치된 손바닥 지지 가이드를 가지는 것을 특징으로 하는 촬상 장치.And a palm support guide provided in the direction perpendicular to the protrusion on the case surface. 청구항 1 기재의 촬상 장치에 있어서, In the imaging device of claim 1, 상기 광원부는 상기 돌기부의 내부에 배치하고 또한 근적외선을 발광하는 복수의 발광 다이오드를 기판상에 일렬로 배치하는 것을 특징으로 하는 촬상 장치.And the light source unit arranges a plurality of light emitting diodes arranged inside the protrusions and emitting a near infrared ray on a substrate in a row. 손가락 바닥면을 아래로 향해 두는 부위를 설치한 케이스와 상기 케이스면의 윗방향에 돌기 하고 또한 소정간격 떨어져 배치된 1쌍의 돌기부와 ; 상기 돌기부 사이에 놓여진 상기 손가락에 대해서 그 측면으로 또한 양면에서 광을 조사하는 광원부와 ; 상기 돌기부간으로 또한 상기 케이스면에 배치되고 광의 임의 파장에 대해서 광투과성을 가지는 간섭 필터부와 ; 상기 간섭 필터부의 하부에 배치되고 또한 상기 간섭 필터부를 투과 한 투과광을 촬상하는 촬상부와 ; 상기 촬상부에서 촬 상되는 손가락 정맥 화상 데이터와 미리 등록된 손가락 정맥 화상 데이터를 조합하는 것을 특징으로 하는 개인 인증 장치.A case provided with a part facing the bottom of the finger downward, and a pair of protrusions protruding upward from the case surface and spaced apart from each other by a predetermined interval; A light source unit for irradiating light on both sides and both sides of the finger placed between the protrusions; An interference filter unit disposed between the protrusions and on the case surface and having light transmittance with respect to an arbitrary wavelength of light; An imaging unit arranged below the interference filter unit and for imaging the transmitted light passing through the interference filter unit; And the finger vein image data photographed by the imaging unit and the previously registered finger vein image data. 청구항 8 기재의 개인 인증 장치에 있어서, In the personal authentication device according to claim 8, 상기 돌기부는 상기 손가락의 긴 방향을 따라 가늘고 긴 형상인 것을 특징으로 하는 개인 인증 장치.The protrusion is a personal authentication device, characterized in that the elongated shape along the long direction of the finger.
KR1020050089616A 2004-09-30 2005-09-27 Image-taking device and personal authentication device KR100746194B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00285637 2004-09-30
JP2004285637A JP2006099493A (en) 2004-09-30 2004-09-30 Image pickup device or individual authentication device

Publications (2)

Publication Number Publication Date
KR20060051655A true KR20060051655A (en) 2006-05-19
KR100746194B1 KR100746194B1 (en) 2007-08-06

Family

ID=36239230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050089616A KR100746194B1 (en) 2004-09-30 2005-09-27 Image-taking device and personal authentication device

Country Status (3)

Country Link
JP (1) JP2006099493A (en)
KR (1) KR100746194B1 (en)
CN (1) CN100351850C (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101125520B1 (en) * 2009-12-30 2012-03-22 한국기술교육대학교 산학협력단 Apparatus and control method for identification of vein pattern image

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4579095B2 (en) * 2005-08-25 2010-11-10 株式会社日立情報制御ソリューションズ Personal authentication device
JP4621164B2 (en) * 2006-04-20 2011-01-26 株式会社日立情報制御ソリューションズ Biometric authentication apparatus and method, in particular, transparent finger vein authentication apparatus and method
JP5157080B2 (en) * 2006-04-20 2013-03-06 沖電気工業株式会社 Automatic transaction equipment
JP4659688B2 (en) * 2006-06-26 2011-03-30 日立オムロンターミナルソリューションズ株式会社 Biometric authentication device
JP4872539B2 (en) * 2006-08-29 2012-02-08 沖電気工業株式会社 Biometric information registration device
JP4640295B2 (en) * 2006-09-07 2011-03-02 株式会社日立製作所 Personal authentication apparatus and method
JP4212614B2 (en) 2006-09-25 2009-01-21 株式会社日立製作所 Finger vein pattern input device
JP4845663B2 (en) * 2006-09-29 2011-12-28 日立オムロンターミナルソリューションズ株式会社 Biometric authentication device
JP4861157B2 (en) * 2006-12-22 2012-01-25 美和ロック株式会社 Finger vein authentication device
JP5034713B2 (en) * 2007-06-28 2012-09-26 株式会社日立製作所 Finger vein authentication device and information processing device
JP5057921B2 (en) 2007-10-03 2012-10-24 株式会社日立メディアエレクトロニクス Finger vein image input device
JP4604074B2 (en) 2007-10-09 2010-12-22 日立オートモティブシステムズ株式会社 Finger vein authentication apparatus and method
JP5151396B2 (en) * 2007-10-29 2013-02-27 株式会社日立製作所 Finger vein authentication device
JP4957514B2 (en) 2007-11-12 2012-06-20 富士通株式会社 GUIDE DEVICE, IMAGING DEVICE, IMAGING SYSTEM, GUIDING METHOD
JP5186929B2 (en) * 2008-01-21 2013-04-24 日本電気株式会社 Authentication imaging device
JP2009201918A (en) * 2008-02-29 2009-09-10 Seiko Instruments Inc Pulse wave detecting device
CN101582115B (en) * 2008-05-13 2013-03-27 索尼株式会社 Authentication apparatus, authentication method, registration apparatus and registration method
JP5282453B2 (en) * 2008-06-12 2013-09-04 日本電気株式会社 Biometric feature input device and biometric feature input method
JP2010033347A (en) * 2008-07-29 2010-02-12 Hitachi Maxell Ltd Image pickup device having display function and mobile communication terminal
CN101884539A (en) * 2009-05-11 2010-11-17 北京超思电子技术有限责任公司 Finger clip blood oximeter having projections in finger hole
CN102885628A (en) * 2011-07-22 2013-01-23 青岛文达通科技股份有限公司 Novel vein acquisition device
JP6576614B2 (en) * 2013-12-10 2019-09-18 バイオニクス株式会社 Finger angiography device
JP6071967B2 (en) * 2014-09-25 2017-02-01 株式会社 日立産業制御ソリューションズ Blood vessel imaging device
JP6638067B2 (en) * 2016-06-06 2020-01-29 株式会社日立製作所 Biometric authentication device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6272081A (en) * 1985-09-26 1987-04-02 Fujitsu Ltd Fingerprint information detecting device
JPH0371281A (en) * 1989-08-10 1991-03-27 Nippon Denki Sekiyuritei Syst Kk Image input device
JPH0754543B2 (en) * 1989-09-06 1995-06-07 日本電気セキュリティシステム株式会社 Image input device
US5177802A (en) * 1990-03-07 1993-01-05 Sharp Kabushiki Kaisha Fingerprint input apparatus
JP3558025B2 (en) * 2000-09-06 2004-08-25 株式会社日立製作所 Personal authentication device and method
JP2002092616A (en) * 2000-09-20 2002-03-29 Hitachi Ltd Individual authentication device
JP3617476B2 (en) * 2001-07-19 2005-02-02 株式会社日立製作所 Finger authentication device
JP2003187235A (en) * 2001-12-18 2003-07-04 Hitachi Software Eng Co Ltd Finger vein recognition device
JP2003263640A (en) * 2002-03-08 2003-09-19 Toyota Motor Corp Personal identification device using biological information
JP3925338B2 (en) * 2002-07-23 2007-06-06 株式会社日立情報制御ソリューションズ Personal authentication device
KR100472562B1 (en) * 2002-07-25 2005-03-14 신성복 Identification system and method using fingerprint and finger blood vessel and media that can record computer program sources thereof
JP3972779B2 (en) * 2002-09-20 2007-09-05 株式会社日立製作所 Personal authentication device
JP3770241B2 (en) * 2003-03-04 2006-04-26 株式会社日立製作所 Personal authentication device and personal authentication method
CN2612991Y (en) * 2003-04-15 2004-04-21 邹建军 Finger position limiter

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101125520B1 (en) * 2009-12-30 2012-03-22 한국기술교육대학교 산학협력단 Apparatus and control method for identification of vein pattern image

Also Published As

Publication number Publication date
CN1760890A (en) 2006-04-19
CN100351850C (en) 2007-11-28
KR100746194B1 (en) 2007-08-06
JP2006099493A (en) 2006-04-13

Similar Documents

Publication Publication Date Title
KR100746194B1 (en) Image-taking device and personal authentication device
TWI536272B (en) Bio-characteristic verification device and method
KR100750227B1 (en) Image capturing apparatus for palm authentication
KR100888527B1 (en) Personal authentication device
US8326005B2 (en) Guide apparatus, image pickup apparatus, image pickup system, and guide method
TWI407377B (en) Biometric information processing device
JP6134662B2 (en) Biometric authentication device and biometric authentication method
WO2015005959A1 (en) A touchscreen capable of fingerprint recognition
JP4736502B2 (en) Personal authentication device, personal authentication method
JP2004265269A (en) Personal identification device
WO2006134669A1 (en) Vein authentication device
KR20070031217A (en) Personal identification device and method
JP4491442B2 (en) Imaging device or personal authentication device
JP4729353B2 (en) Imaging device
JP4603915B2 (en) Deposit deposit machine and processing method thereof
JP2010256971A (en) Biometric authentication apparatus
JP5459263B2 (en) Blood vessel imaging device
JP6165659B2 (en) Blood vessel imaging device
JP4788744B2 (en) Personal authentication device and blood vessel image extraction device
JP5522119B2 (en) Blood vessel imaging device
JP5244654B2 (en) Finger authentication device
JP6015787B2 (en) Blood vessel imaging device
JP5733324B2 (en) Blood vessel imaging device
JP6307549B2 (en) Blood vessel imaging device
JP5790739B2 (en) Blood vessel imaging device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130705

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140707

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150630

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee