KR102367341B1 - Apparatus for recognizing finger vein - Google Patents
Apparatus for recognizing finger vein Download PDFInfo
- Publication number
- KR102367341B1 KR102367341B1 KR1020190138108A KR20190138108A KR102367341B1 KR 102367341 B1 KR102367341 B1 KR 102367341B1 KR 1020190138108 A KR1020190138108 A KR 1020190138108A KR 20190138108 A KR20190138108 A KR 20190138108A KR 102367341 B1 KR102367341 B1 KR 102367341B1
- Authority
- KR
- South Korea
- Prior art keywords
- finger
- unit
- image
- finger vein
- temperature
- Prior art date
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 81
- 230000035515 penetration Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000002604 ultrasonography Methods 0.000 claims 1
- 230000001678 irradiating effect Effects 0.000 abstract description 11
- 238000005286 illumination Methods 0.000 abstract description 2
- 230000004907 flux Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000002834 transmittance Methods 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 206010047139 Vasoconstriction Diseases 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000025033 vasoconstriction Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012864 cross contamination Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
- G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
- G01N29/0654—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Vascular Medicine (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Acoustics & Sound (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Input (AREA)
Abstract
본 발명은 지정맥을 이용해서 사용자를 구분하는 지정맥 인식 장치에 관한 것이다.
본 발명은 손가락을 투사하는 적외선을 조사하는 조명부; 상기 손가락을 투사한 상기 적외선을 이용해 지정맥 정보가 포함된 영상을 획득하는 촬영부;상기 손가락의 온도를 측정하는 측정부; 상기 조명부, 촬영부, 측정부를 제어하는 제어부를 포함하고,
상기 조명부는 상기 손가락을 향해 서로 다른 광속의 적외선을 조사하는 복수의 광원을 포함하며, 상기 제어부는 상기 측정부에 의해 손가락의 온도를 측정하여 설정값에 도달하지 못하면 조명부의 광량이 조절되도록 제어하는 것을 특징으로 하는 지정맥 인식 장치가 제공될 수 있다.The present invention relates to a finger vein recognition device for identifying a user using a finger vein.
The present invention is a lighting unit for irradiating infrared to project a finger; A photographing unit for obtaining an image including finger vein information by using the infrared light projected on the finger; A measuring unit for measuring the temperature of the finger; A control unit for controlling the lighting unit, the photographing unit, and the measuring unit,
The lighting unit includes a plurality of light sources for irradiating infrared rays of different beams toward the finger, and the control unit measures the temperature of the finger by the measuring unit and controls the light amount of the illumination unit to be adjusted if the set value is not reached. Finger vein recognition device, characterized in that may be provided.
Description
본 발명은 지정맥을 이용해서 사용자를 구분하는 지정맥 인식 장치에 관한 것이다. The present invention relates to a finger vein recognition device for identifying a user using a finger vein.
현대 기술의 발달로 개인이 취득할 수 있는 정보의 양이 많아짐에 따라 정보 보호에 대한 중요성이 증가하고 있다.As the amount of information that an individual can acquire increases with the development of modern technology, the importance of information protection is increasing.
여러 가지 보안 방법 중에서 신체의 일부분을 이용하는 생체 인식 기술이 개인 인증, 은행, 관공서 등 여러 분야에서 사용되고 있다. 생체인식의 종류로는 지문 인식, 홍채 인식, 망막 인식, 손등 인식 및 음성 인식 등이 있으며, 비밀번호와 주민등록번호 등을 외우지 않아도 되고, 외부요인에 의한 분실 및 도난의 염려가 없다는 장점이 있다.Among various security methods, biometric technology using a part of the body is used in various fields such as personal authentication, banking, and public offices. Types of biometric recognition include fingerprint recognition, iris recognition, retina recognition, back of hand recognition, and voice recognition.
이 중에서 인식방법이 쉬우면서 인증 시스템이 보편적으로 대중화되어 있는 생체인식으로 지문인식이 있다. 하지만 지문인식은 습도, 건조, 훼손과 같이 생체에 따른 변화와 상처, 나이와 같이 지문 표면의 변화가 있으면 인식이 저해된다는 단점이 있다. 그리고 지문인식을 할 때 손가락을 장비의 입력 센서 표면에 접촉해야만 하는데 이는 다른 사용자들이 인증을 위해 센서 표면을 같이 사용하므로 교차 오염(cross-contamination)을 야기할 수 있고, 표면에 남아있는 지문을 채취하여 도용할 수 있다.Among them, fingerprint recognition is a biometric recognition method that is easy to recognize and an authentication system is universally popular. However, fingerprint recognition has a disadvantage that recognition is inhibited if there are changes according to the living body such as humidity, dryness, damage, and changes in the fingerprint surface such as wounds and age. And when performing fingerprint recognition, your finger must touch the surface of the input sensor of the device, which can cause cross-contamination because other users use the sensor surface for authentication. so it can be exploited.
따라서 최근에는 이러한 문제점을 해결하기 위하여 손가락 표면이 아닌 내부의 혈관을 확인하는 지정맥 인식에 대한 연구가 활발히 이뤄지고 있다. 지정맥 인식은 사람의 혈관 중 인식하기 편한 손가락의 정맥의 패턴을 통하여 인증하는 것을 말한다. 특히 개인의 손가락 정맥 구조가 판이하게 다르다는 특성을 이용하므로 지문 인식과는 달리 손가락 표면의 변화와 관계 없이 인증이 가능하다는 장점이 있다.Therefore, recently, in order to solve this problem, research on finger vein recognition, which identifies blood vessels inside rather than on the surface of the finger, is being actively conducted. Finger vein recognition refers to authentication through a pattern of a finger vein that is easy to recognize among human blood vessels. In particular, unlike fingerprint recognition, it has the advantage that authentication is possible regardless of changes in the surface of the finger because it uses the characteristic that the vein structure of an individual's finger is completely different.
한국공개특허공보 제10-2017-0026125호에는 레이저를 이용해서 지정맥을 인식하는 기술이 개시되고 있다.Korean Patent Application Laid-Open No. 10-2017-0026125 discloses a technique for recognizing finger veins using a laser.
그러나, 온도가 낮은 겨울철에는 손가락의 혈관이 수축되기 쉽기 때문에, 지정맥의 파악이 제대로 이루어지기 어려울 수 있다. However, in the winter when the temperature is low, since the blood vessels of the fingers are easily constricted, it may be difficult to properly identify the finger veins.
본 발명은 주위 온도가 낮거나 다른 여러 이유로 손가락의 온도가 낮은 경우, 지정맥 인식율이 현저히 저하되는 문제를 해결하고 안정되고 확실한 인식율을 얻기 위한 지정맥 인식 장치를 제공하기 위한 것이다.The present invention is to provide a finger vein recognition device for solving the problem that the finger vein recognition rate is significantly lowered when the ambient temperature is low or when the temperature of the finger is low for various reasons and to obtain a stable and reliable recognition rate.
본 발명의 해결 수단은 손가락을 투사하는 적외선을 조사하는 조명부; 상기 손가락을 투사한 상기 적외선을 이용해 지정맥 정보가 포함된 영상을 획득하는 촬영부;상기 손가락의 온도를 측정하는 측정부; 상기 조명부, 촬영부, 측정부를 제어하는 제어부를 포함하고,The solution means of the present invention is a lighting unit for irradiating infrared rays projecting a finger; A photographing unit for obtaining an image including finger vein information using the infrared ray projecting the finger; a measuring unit for measuring the temperature of the finger; A control unit for controlling the lighting unit, the photographing unit, and the measuring unit,
상기 조명부는 상기 손가락을 향해 서로 다른 광속의 적외선을 조사하는 복수의 광원을 포함하며, 상기 제어부는 상기 측정부에 의해 손가락의 온도를 측정하여 기준값에 도달하지 못하면 조명부의 광량이 조절되도록 제어하는 것을 특징으로 하는 지정맥 인식 장치가 제공될 수 있다.The lighting unit includes a plurality of light sources for irradiating infrared rays of different beams toward the finger, and the control unit measures the temperature of the finger by the measurement unit and controls the light amount of the illumination unit to be adjusted if the reference value is not reached. A finger vein recognition device characterized in that it may be provided.
이와 같이, 본 발명의 지정맥 인식 장치는 손가락을 향해 서로 다른 광속의 적외선을 조사하는 복수의 광원을 포함할 수 있다.As such, the finger vein recognition device of the present invention may include a plurality of light sources for irradiating infrared rays of different beams toward the finger.
손가락의 두께, 손가락의 빛 투과도 등의 손가락 특성은 사용자마다 다를 수 있다. 손가락 특성의 차이로 인해 지정맥의 인식을 위해 촬영부에서 촬영된 영상의 밝기가 서로 다를 수 있다.Finger characteristics such as the thickness of the finger and the light transmittance of the finger may be different for each user. Due to differences in finger characteristics, the brightness of images captured by the photographing unit for recognizing finger veins may be different from each other.
밝기의 차이로 인해 사용자마다 지정맥의 인식률에 차이가 발생되며, 심한 경우 지정맥의 인식이 불가능한 경우도 존재한다.Due to the difference in brightness, there is a difference in the recognition rate of finger veins for each user, and in severe cases, it is impossible to recognize finger veins.
본 발명에 따르면, 서로 다른 광속으로 적외선을 조사하는 복수의 광원을 통해 사용자에 상관없이 설정 밝기의 영상이 획득될 수 있다.According to the present invention, an image having a set brightness can be obtained regardless of a user through a plurality of light sources that irradiate infrared rays with different luminous fluxes.
설정 밝기의 영상의 분석에 최적화된 알고리즘을 갖는 인식부를 마련하고, 본 발명의 지정맥 인식 장치로부터 출력된 영상을 해당 인식부에 입력하면 지정맥 인식률을 대폭 개선될 수 있다.If a recognition unit having an algorithm optimized for analysis of an image of a set brightness is provided, and an image output from the finger vein recognition device of the present invention is input to the corresponding recognition unit, the finger vein recognition rate can be significantly improved.
본 발명에 따르면, 제어부에 의해 사용자마다 각 광원의 광속이 지능적으로 자동 조절될 수 있다.According to the present invention, the luminous flux of each light source can be intelligently and automatically adjusted for each user by the control unit.
본 발명은 손가락의 온도가 낮으면, 손가락의 혈관이 수축하여 잘 파악이 되지 않을 수 있고, 이런 경우에 측정부의 적외선 온도 센서에 의해 손가락의 온도를 측정하고 기준값에 도달하지 못하는 경우, 광학용 장치인 조명부의 광원부의 적외선 광량 세기를 높게 조절하거나, 또는 초음파 트랜스듀서의 파워를 증가시켜서 손가락의 지정맥 인식률을 높일 수 있다. According to the present invention, if the temperature of the finger is low, the blood vessels of the finger may constrict and it may not be well grasped. The finger vein recognition rate of the finger may be increased by adjusting the intensity of the infrared light of the light source of the phosphor lighting unit to be high or by increasing the power of the ultrasonic transducer.
그에 따라 촬영부의 촬영에 의한 영상 파악이 용이하게 이루어지며, 손가락의 지정맥 영역과 피부 영역이 확실하게 구분되는 영상이 인식부에 제공되므로, 지정맥 정보를 이용한 사용자 인식 또는 승인 과정이 정확하게 수행될 수 있다.Accordingly, the image recognition by the photographing unit is easily made, and since the image in which the finger vein region and the skin region of the finger are clearly distinguished is provided to the recognition unit, the user recognition or approval process using the finger vein information can be performed accurately. can
따라서, 본 발명은 온도가 낮은 겨울철에 혈관 수축에 따른 사용자 인식률이 저하되지 않고 높은 인식률로 승인 과정이 이루어질 수 있다. Accordingly, in the present invention, the approval process can be performed with a high recognition rate without a decrease in the user recognition rate due to vasoconstriction in winter when the temperature is low.
도 1은 본 발명에 따른 지정맥 인식 장치를 나타낸 개략도이다.
도 2는 균일한 광속의 적외선을 조사하는 조명 수단을 이용해 촬영된 손가락의 영상을 나타낸 사진이다.
도 3은 본 발명의 지정맥 인식 장치에서 촬영된 제2 영상을 나타낸 사진이다.
도 4는 본 발명에 따른 지정맥 인식 장치에 의해 인식률의 변화를 나타낸 개략적인 그래프이다. 1 is a schematic diagram showing a finger vein recognition device according to the present invention.
2 is a photograph showing an image of a finger taken using a lighting means for irradiating infrared rays of a uniform light flux.
3 is a photograph showing a second image taken by the finger vein recognition device of the present invention.
Figure 4 is a schematic graph showing a change in the recognition rate by the finger vein recognition device according to the present invention.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다. 이 과정에서 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의상 과장되게 도시될 수 있다. 또한, 본 발명의 구성 및 작용을 고려하여 특별히 정의된 용어들은 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 한다.Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings. In this process, the size or shape of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, terms specifically defined in consideration of the configuration and operation of the present invention may vary depending on the intention or custom of the user or operator. Definitions of these terms should be made based on the content throughout this specification.
도 1은 본 발명의 지정맥 인식 장치를 나타낸 개략도이다. 도 1을 참조하면, 지정맥 인식 장치는 조명부(110), 촬영부(130), 거치부(190)를 포함할 수 있다.1 is a schematic diagram showing a finger vein recognition device of the present invention. Referring to FIG. 1 , the finger vein recognition device may include a
조명부(110)는 손가락을 투사하는 적외선을 조사할 수 있다.The
손가락을 통과하며 전파되는 적외선은 혈관 속의 헤모글로빈이 700nm~1000nm 파장의 근적외선을 흡수하여 발생하는 그림자 효과를 통해 지정맥 정보에 해당하는 지정맥 이미지를 얻을 수 있도록 할 수 있다.Infrared rays propagating through the finger can obtain a finger vein image corresponding to the finger vein information through the shadow effect generated by the absorption of near-infrared rays with wavelengths of 700 nm to 1000 nm by hemoglobin in blood vessels.
촬영부(130)는 손가락을 투사한 적외선을 이용해 지정맥 정보가 포함된 영상(30)을 획득할 수 있다. 일 예로, 촬영부(130)는 손가락을 통과한 적외선을 이용해 손가락의 영상(30)을 획득하는 적외선 이미지 센서를 포함할 수 있다. 일방향으로 길게 연장되는 손가락의 넓은 영역을 확실하게 촬영하기 위해 촬영부(130)는 손가락의 연장 방향을 따라 연장될 수 있다.The photographing
거치부(190)는 촬영부(130)에 대면되는 위치에 사용자가 손쉽게 손가락을 올려놓을 수 있도록 가이드할 수 있다.The
일 예로, 거치부(190)에는 손가락이 거치되는 수용 공간(199)에 해당하는 홈 또는 구멍 등이 형성될 수 있다.For example, a groove or a hole corresponding to the
조명부(110)는 손가락이 삽입되는 공간을 격하고 촬영부(130)에 대면하게 배치될 수 있다. 또는, 조명부(110)는 홈 형상의 수용 공간(199)에 대면되는 측벽에 설치될 수 있다.The
조명부(110)로부터 손가락을 향해 조사된 적외선은 손가락을 통과한 후 촬영부(130)로 입력될 수 있다.Infrared rays irradiated from the
손가락의 두께 및 광투과도는 사용자마다 다르며, 손가락의 영역별로 다를 수 있다. 일 예로, 손가락은 끝에서부터 멀어질수록 두꺼워지므로, 손가락 끝에서 멀어질수록 광투과도가 낮아지는 경향을 나타낸다. 두꺼운 손가락은 얇은 손가락에 비하여 광투과도가 낮은 경향을 나타낸다.The thickness and light transmittance of the finger vary for each user and may be different for each area of the finger. For example, since the finger becomes thicker as it goes away from the tip, the light transmittance tends to decrease as it goes away from the tip of the finger. Thick fingers tend to have lower light transmittance than thin fingers.
광투과도의 차이로 인해 촬영부(130)에서 획득된 영상(30)은 사용자별, 손가락 영역별로 밝기가 다를 수 있다.Due to the difference in light transmittance, the brightness of the
따라서, 단일 광원이 구비된 조명 수단, 동일한 광속을 갖는 복수의 광원이 구비된 조명 수단을 갖는 비교 실시예의 경우, 지정맥 정보의 분석이 어려울 정도의 어두운 밝기의 영상(30)이 획득될 수 있다.Therefore, in the case of a comparative embodiment having a lighting means equipped with a single light source and a lighting means equipped with a plurality of light sources having the same luminous flux, an
도 2는 균일한 광속의 적외선을 조사하는 조명 수단을 이용해 촬영된 손가락의 영상(30)을 나타낸 사진이다.2 is a photograph showing an
도 2를 참조하면, 설정치보다 두꺼운 손가락으로 인해 전반적으로 어두운 밝기의 영상(30)이 획득되고 있다. 그 결과, 피부 영역(10)과 지정맥 영역(11)의 구분이 어려우므로, 사용자 인식에 이용되는 지정맥 정보의 획득이 어려울 수 있다.Referring to FIG. 2 , an
도 2의 사진에서 제2 영역 ②가 제1 영역 ①보다 손가락 끝에 가까운 상태이다. 살펴보면, 제2 영역 ②로부터 제1 영역 ①로 갈수록 점차 두꺼우지는 손가락으로 인해 얇은 손가락 부위가 촬영된 제2 영역 ②의 지정맥은 일부나마 구분이 되는 정도인 반면, 두꺼운 손가락 부위가 촬영된 제1 영역 ①의 지정맥은 피부 영역(10)과 구분이 모호한 것을 알 수 있다.In the photo of FIG. 2 , the
본 발명의 지정맥 인식 장치는 영상(30)에 포함된 지정맥 정보가 확실하게 파악되도록, 손가락의 피부 영역(10)과 지정맥 영역(11)을 확실하게 구분할 수 있는 밝기의 영상(30)을 제공할 수 있다.The finger vein recognition device of the present invention is an
손가락의 영역에 상관없이 지정맥 정보의 파악 또는 추출이 가능한 밝기의 영상(30)을 제공하기 위해, 본 발명의 조명부(110)는 손가락을 향해 서로 다른 광속의 적외선을 조사하는 복수의 광원을 포함할 수 있다.In order to provide an
일 예로, 조명부(110)에는 제1 광원(111)과 제2 광원(112)이 마련될 수 있다. 각 광원은 촬영부(130)에 대면하게 배치될 수 있다.For example, the
제1 광원(111)은 손가락의 제1 위치 a에 제1 적외선을 조사할 수 있다. 제1 위치 a에 조사된 제1 적외선은 손가락을 통과해서 제1 광원(111)에 대면하게 배치된 촬영부(130)로 입력될 수 있다.The first
제2 광원(112)은 손가락의 제2 위치 b에 제2 적외선을 조사할 수 있다. 제2 위치 b에 조사된 제2 적외선은 손가락을 통과해서 제2 광원(112)에 대면하게 배치된 촬영부(130)로 입력될 수 있다.The second
각 광원은 단파장의 적외선, 예를 들어 레이저를 조사하게 형성될 수 있다. 단파장의 적외선을 조사하는 광원에 따르면, 제1 광원(111)은 제1 위치 a를 확실하게 조사할 수 있고, 제2 광원(112)은 제2 위치 b를 확실하게 조사할 수 있다. 또한, 각 광원의 광속 또는 광량의 조절을 통해 영상(30)에 포함된 제1 영역 ①의 밝기와 제2 영역 ②의 밝기가 독립적으로 조절될 수 있다.Each light source may be formed to irradiate infrared rays of a short wavelength, for example, a laser. According to the light source which irradiates infrared rays of a short wavelength, the 1st
제1 위치 a의 손가락 부위를 통과하면서 감쇠되는 광량의 제1 감쇠량과 제2 위치 b의 손가락 부위를 통과하면서 감쇠되는 광량의 제2 감쇠량은 서로 다를 수 있다. 일 예로, 손가락 영역별로 달라지는 두께로 인해 제1 감쇠량과 제2 감쇠량은 서로 다를 수 있다.The first attenuation amount of the amount of light attenuated while passing through the finger portion of the first position a and the second attenuation amount of the amount of light attenuated while passing through the finger portion of the second position b may be different from each other. For example, the first attenuation amount and the second attenuation amount may be different from each other due to the thickness that varies for each finger region.
촬영부(130)에는 제1 감쇠량만큼 감쇠된 광량의 제1 적외선 및 제2 감쇠량만큼 감쇠된 광량의 제2 적외선이 입력될 수 있다.The first infrared rays of the light amount attenuated by the first attenuation amount and the second infrared rays of the light amount attenuated by the second attenuation amount may be input to the photographing
촬영부(130)에서 획득된 영상(30) 중 제1 위치 a의 손가락 부위가 촬영된 제1 영역 ①, 제2 위치 b의 손가락 부위가 촬영된 제2 영역 ②를 정의한다.Among the
제1 영역 ①의 밝기와 제2 영역 ②의 밝기가 설정값을 만족하도록, 제1 광원(111)과 제2 광원(112) 중 적어도 하나는 제1 감쇠량 또는 제2 감쇠량이 보정된 광속으로 제1 적외선 또는 제2 적외선을 조사할 수 있다.At least one of the first
이때, 제1 광원(111)이 제1 감쇠량과 제2 감쇠량의 차이값만큼 광속이 보정되면, 손가락 영역에 상관없이 균일한 밝기의 제1 영역 ①과 제2 영역 ②를 갖는 영상(30)이 획득될 수 있다.At this time, when the light flux of the first
일 예로, 제1 영역 ①이 손가락에서 굵은 부위이고, 제2 영역 ②가 손가락의 가는 부위일 때, 제1 위치 a를 조사하는 제1 광원(111)의 광속을 증가시키거나, 제2 위치 b를 조사하는 제2 광원(112)의 광속을 감소시키면, 영상(30)에 포함된 제1 영역 ①의 밝기와 제2 영역 ②의 밝기가 서로 동일해질 수 있다.For example, when the
서로 다른 광속으로 세팅된 복수의 광원이 마련된 경우, 손가락의 영역에 상관없이 균일한 밝기의 영상(30)이 획득될 수 있다. 하지만, 사용자마다 달라지는 손가락의 두께에는 적응적으로 적용되기 어려울 수 있다.When a plurality of light sources set to different luminous fluxes are provided, the
사용자별, 손가락의 영역별로 달라지는 영상(30)의 밝기 문제를 해소하기 위해, 본 발명의 지정맥 인식 장치는 조명부(110)를 제어하는 제어부(150)를 포함할 수 있다.In order to solve the problem of brightness of the
제어부(150)는 촬영부(130)의 영상(30)을 분석해서 제1 위치 a의 손가락 부위를 촬영한 제1 영역 ①의 밝기와 제2 위치 b의 손가락 부위를 촬영한 제2 영역 ②의 밝기를 비교할 수 있다.The
제어부(150)는 제1 영역 ①의 밝기와 제2 영역 ②의 밝기의 비교 결과를 이용해서 제1 위치 a에 제1 적외선을 조사하는 제1 광원(111)과 제2 위치 b에 제2 적외선을 조사하는 제2 광원(112)을 독립적으로 제어할 수 있다.The
일 예로, 제어부(150)는 제1 영역 ①의 밝기 또는 제2 영역 ②의 밝기가 설정값을 만족하도록 제1 광원(111) 또는 제2 광원(112)을 제어할 수 있다.For example, the
일 예로, 제어부(150)는 제1 영역 ①의 밝기가 제2 영역 ②의 밝기에 수렴하도록 제1 광원(111) 또는 제2 광원(112)을 제어할 수 있다.For example, the
한편, 제어부(150)는 제1 광원(111) 또는 제2 광원(112)을 피드백 제어하도록 구성될 수 있다.Meanwhile, the
일 예로, 제어부(150)는 거치부(190)에 입력된 손가락에 대해 복수의 영상(30)이 촬영되도록 촬영부(130)를 제어할 수 있다.For example, the
제어부(150)의 제어에 의해 촬영부(130)는 하나의 손가락에 대해 제1 영상(30)과 제2 영상(30)을 획득할 수 있다.Under the control of the
제어부(150)는 제1 영상(30)을 이용해 제1 광원(111) 또는 제2 광원(112)을 제어할 수 있다. 일 예로, 제어부(150)는 제1 영상(30)에 포함된 제1 영역의 밝기와 제2 영역의 밝기가 설정값을 만족하도록 제1 광원(111) 및 제2 광원(112)을 제어할 수 있다.The
제어부(150)는 제1 영상(30)을 이용해 제1 광원(111)과 제2 광원(112)이 제어된 상태에서 제2 영상(30)이 촬영되도록 촬영부(130)를 제어할 수 있다.The
시간의 흐름상으로 제1 영상(30)의 뒤에 획득된 제2 영상(30)은 제어부(150), 제1 광원(111), 제2 광원(112)에 의해 지정맥 정보의 인식에 적합한 설정값을 만족하는 밝기로 보정된 상태일 수 있다.The
이때, 제2 영상(30)의 보정은 소프트웨어를 이용한 이미지 처리가 아니라, 광원의 조절을 통한 광학적 보정에 해당하므로, 노이즈가 적고 지정맥 정보가 훼손되지 않고 온전하게 보존된 제2 영상(30)이 획득될 수 있다.At this time, since the correction of the
제어부(150)는 지정맥 정보를 인식하는 인식부(170)로 제2 영상(30)을 전달할 수 있다.The
인식부(170)로 전달되는 제2 영상(30)은 도 3과 같을 수 있다.The
도 3은 본 발명의 지정맥 인식 장치에서 촬영된 제2 영상(30)을 나타낸 사진이다.3 is a photograph showing the
살펴보면, 비교 실시예의 촬영 결과에 해당하는 도 2의 사진과 비교하여, 제2 영상(30)은 제1 영역 ①, 제2 영역 ②이 균일하게 밝아진 것을 알 수 있다. 또한, 지정맥 영역(11)이 피부 영역(10)과 확실하게 구분된 것을 알 수 있다.Looking at it, it can be seen that the
피부 영역(10)과 구분되는 지정맥 영역(11)은 사용자를 인식하는 지정맥 정보로 확실하게 이용될 수 있다.The
인식부(170)는 촬영부(130)에서 촬영된 손가락의 아날로그 영상(30)을 프레임 그래버를 사용해 디지털 영상(30)으로 변환하고, 화상 메모리에 임시 저장할 수 있다. 촬영부(130)가 프레임 그래버 등의 디지털 영상(30) 변환 장치가 필요없는 디시털 카메라인 경우, 촬영부(130)의 획득 영상(30)이 곧바로 화상 메모리에 임시 저장될 수 있다.The
인식부(170)는 촬영부(130)의 영상(30) 또는 화상 메모리의 영상(30)을 분석해서, 지정맥 경계가 반영된 마스크(mask)로 지정맥 영역(11)을 구역화하고 정규화(Normalization)할 수 있다.The
정규화 과정을 통해 개인마다 다른 손가락이 일정 크기로 정규화될 수 있다. 정규화 과정은 영상(30) 처리에서 사용되는 영상(30) 스트레칭(Image Stretching) 방법을 사용할 수 있다.Fingers different for each individual may be normalized to a predetermined size through the normalization process. For the normalization process, an
인식부(170)는 정규화된 영상(30)에서 지정맥 패턴의 특징 코드를 추출할 수 있다. 특징 코드 추출에는 LBP(예: Single block LBP, Multi-block LBP) 또는 Wavelet(예: 도비치스(Daubechies), 하르(Haar), 가버(Gabor)) 방법으로 얻어진 저주파 혹은 고주파 영역에서의 평균, 표준편차, 에너지 값 등이 사용될 수 있다.The
인식부(170)는 추출된 특징 코드를 데이터베이스에 저장된 설정 코드에 패턴 매칭시켜 결과값(승인 또는 거절)을 생성할 수 있다.The
여기서, 본 발명은 손가락의 온도 저하에 따라 지정맥 인식률이 저하되지 않도록 할 수 있다. Here, the present invention can prevent the finger vein recognition rate from lowering according to the temperature drop of the finger.
즉, 예를 들어 겨울철에 기온이 저하되는 환경에서는 혈관이 수축되기 때문에 손가락의 지정맥이 정확하게 촬영되어 인식되기 어렵다. That is, for example, in an environment where the temperature is lowered in winter, since blood vessels are constricted, it is difficult to accurately photograph and recognize the finger veins.
따라서, 측정부(160)를 마련하여 손가락 피부의 온도를 측정하고, 온도가 설정값 이하인 경우, 조명부(110)의 광량을 증가(세기를 높임)시킬 수 있다. Accordingly, the measuring
상기 측정부(160)는 예를 들어 적외선 온도 센서로 이루어질 수 있다.The measuring
또한, 상기 측정부(160)는 제어부(150)에 의해 제어될 수 있다. Also, the
상기 적외선 온도 센서는 비접촉식으로 온도를 측정할 수 있고, 측정 대상 물체에서 방사하는 에너지를 수광부에서 흡수하여 열에너지로 변환하고, 그 온도 상승을 전기 신호로 변환하여 검출할 수 있다.The infrared temperature sensor may measure temperature in a non-contact manner, absorb energy radiated from a measurement target by a light receiving unit, convert it into thermal energy, and convert the temperature rise into an electrical signal to detect it.
상기 제어부(150)에서는 상기 적외선 온도 센서에 의해 손가락의 온도를 측정하고, 측정 온도값이 기준값이 도달하지 못하면, 조명부(110)의 적외선 조사 세기 즉, 광량을 조절할 수 있다, 즉, 손가락의 온도가 기준값보다 낮은 경우에는 조명부(110)의 적외선 조사 세기를 높일 수 있다. The
또한, 촬영부(130)는 상기 광학식 카메라 외에 초음파 센서를 마련하여 인식률을 높일 수 있다. 손가락의 온도가 낮아서 혈관 수축에 따른 지정맥의 인식이 잘 되지 않는 경우에, 초음파 센서의 세기를 높여서 손가락의 지정맥 영역(11)을 촬영함으로써 인식률이 향상되게 할 수 있다. In addition, the photographing
촬영부(130)를 초음파 센서로 구성하는 경우에는 조명부(110)를 마련하지 않고, 초음파 센서의 세기를 조절하여 인식률을 높일 수 있다. When the photographing
상기 초음파 센서는 제어부(150)에 의해 제어될 수 있다. The ultrasonic sensor may be controlled by the
또한, 상기 제어부에 의해 침투 깊이가 조절되는 초음파 센서는 손가락의 두께 방향상으로 서로 다른 지점을 각각 촬영할 수 있다.Also, the ultrasonic sensor whose penetration depth is controlled by the controller may photograph different points in the thickness direction of the finger, respectively.
상기 초음파 센서에 의해 서로 다른 침투 깊이에서 촬영된 복수의 지정맥 이미지를 침투 깊이의 순서대로 합성하여 지정맥의 3차원 이미지를 획득할 수 있다.A three-dimensional image of a finger vein may be obtained by synthesizing a plurality of finger vein images taken at different penetration depths by the ultrasonic sensor in the order of penetration depth.
초음파 센서를 통해 획득된 3차원 이미지는 손가락의 일부를 촬영한 것일 수 있다. 만약, 손가락 전체의 3차원 이미지를 획득할 필요가 있는 경우, 초음파 센서는 구동부에 의해 손가락의 길이 방향을 따라 움직이면서 지정맥을 촬영할 수 있다.The 3D image acquired through the ultrasonic sensor may be a photograph of a part of a finger. If it is necessary to acquire a three-dimensional image of the entire finger, the ultrasonic sensor may photograph the finger veins while moving along the length direction of the finger by the driving unit.
상기 구동부는 촬영부(130)를 회전시키도록 마련될 수 있다. The driving unit may be provided to rotate the photographing
지정맥의 3차원 이미지를 이용하면, 사용자의 식별성을 정확하게 파악할 수 있다. 또한, 3차원 이미지는 사용자가 지정맥 인식 장치에 삽입하거나 올려놓은 손가락의 각도에 상관없이 정상적으로 획득될 수 있다. 따라서, 사용자는 자신을 식별시키기 위해 각도에 맞춰 손가락을 조심스럽게 올릴 필요없이, 원하는 각도로 지정맥 인식 장치에 손가락을 올려놓을 수 있다.By using the three-dimensional image of the finger veins, it is possible to accurately grasp the user's identification. In addition, the three-dimensional image may be normally obtained regardless of the angle of the finger inserted or placed in the finger vein recognition device by the user. Accordingly, the user can place his or her finger on the finger vein recognition device at a desired angle without the need to carefully raise the finger according to the angle to identify the user.
이와 같이, 본 발명은 측정부(160)의 적외선 온도 센서를 통해 손가락의 온도를 측정하고, 손가락의 측정 온도값이 기준값에 도달하지 못하는 경우에는 제어부(150)에서 이를 판단하여 조명부(110)의 광량을 소정 범위로 증가시키거나 또는 초음파 센서의 파워를 증가시켜서 세기를 높게 하여 촬영부(130)에서의 촬영에 따른 영상에 의한 파악이 보다 확실하게 이루어지도록 할 수 있다. As described above, in the present invention, the temperature of the finger is measured through the infrared temperature sensor of the measuring
도 4는 본 발명에 따른 지정맥 인식 장치에 의해 인식률의 변화를 나타낸 개략적인 그래프이다. 도 4를 참조하면, 가로축은 광량이고, 세로축은 지정맥의 인식률을 나타낸 그래프로서, 온도가 낮은 경우에 A1 곡선의 패턴과 같이 광량이 많아질 수록 인식률이 높아지다가 피크점(P1)을 지나면 오히려 저하되는 양상을 가지게 될 수 있다. 광량(적외선 세기)이 무조건 많아진다고 해서 그에 비례해서 지정맥의 인식률이 좋아지지 않는다. Figure 4 is a schematic graph showing a change in the recognition rate by the finger vein recognition device according to the present invention. 4, the horizontal axis is the amount of light and the vertical axis is a graph showing the recognition rate of finger veins. When the temperature is low, as the pattern of the A1 curve increases, the recognition rate increases as the amount of light increases. may have a degrading pattern. Even if the amount of light (infrared intensity) increases unconditionally, the recognition rate of finger veins does not improve proportionally.
본 발명에 따른 지정맥 인식 장치에 의하면, A2 곡선의 패턴과 같이 A1 곡선에 비해 전체적으로 인식률이 상승될 수 있고, 높아진 인식률의 피크점(P2)이 형성될 수 있다.According to the finger vein recognition device according to the present invention, the recognition rate can be increased as a whole compared to the A1 curve like the pattern of the A2 curve, and the peak point P2 of the increased recognition rate can be formed.
또한, 제1 지점(a1), 제2 지점(a2), 제3 지점(a3)의 범위내에서 광량을 조절함이 바람직할 수 있고, 특히 제2 지점(a2)에서의 광량값을 기준값으로 해서 손가락의 인식률이 최대화될 수 있다. In addition, it may be preferable to adjust the amount of light within the range of the first point (a1), the second point (a2), and the third point (a3), and in particular, the light amount value at the second point (a2) as the reference value Thus, the recognition rate of the finger can be maximized.
따라서, 특히 온도가 낮은 겨울철에 지정맥의 파악이 용이하게 이루어지므로, 촬영부의 제1 영상을 분석해서 어두운 부분은 광학적으로 밝게 보정하고, 밝은 부분은 광학적으로 어둡게 보정해서 지정맥 정보의 획득에 적합한 제2 영상이 제공될 수 있다.Therefore, especially in winter when the temperature is low, finger veins are easily identified, so the dark part is optically brightened by analyzing the first image of the photographing unit, and the bright part is optically darkened, which is suitable for obtaining finger vein information. A second image may be provided.
도 4는 광량에 대한 인식률의 관계에 대하여 설명한 그래프이지만, 초음파 센서에 의한 세기 대비 인식률의 관계도 마찬가지일 수 있다. 4 is a graph illustrating the relationship between the recognition rate and the amount of light, but the relationship between the intensity and the recognition rate by the ultrasonic sensor may also be the same.
또한, 본 발명은 촬영부(130)를 광학식 카메라로 하는 대신에 초음파 센서를 마련하여 손가락이 온도가 낮으면, 인식률이 저하되므로, 이때 초음파 센서의 세기를 소정의 범위로 높여서 침투 깊이를 늘려 보다 명확한 이미지를 획득할 수 있다. In addition, the present invention provides an ultrasonic sensor instead of using the optical camera as the photographing
본 발명의 지정맥 인식 장치에 따르면, 지정맥 영역(11)과 피부 영역(10)이 확실하게 구분되는 영상(30)이 인식부(170)에 제공되므로, 지정맥 정보를 이용한 사용자 인식 또는 승인 과정이 정확하게 수행될 수 있다.According to the finger vein recognition device of the present invention, since the
10 : 피부 영역 11 : 지정맥 영역
30 : 영상 110 : 조명부
111 : 제1 광원 112 : 제2 광원
130 : 촬영부 150 : 제어부
160 : 측정부
170 : 인식부 190 : 거치부
199 : 수용 공간
A1,A2 : 곡선 a1,a2,a3 : 지점
P1,P2 : 피크점10: skin area 11: finger vein area
30: image 110: lighting unit
111: first light source 112: second light source
130: photographing unit 150: control unit
160: measurement unit
170: recognition unit 190: holding unit
199: accommodating space
A1,A2: curve a1,a2,a3: point
P1, P2: peak point
Claims (7)
상기 손가락의 온도를 측정하는 측정부;
상기 촬영부와 측정부를 제어하는 제어부;
상기 촬영부를 구동시키는 구동부;
를 포함하고,
상기 측정부에 의해 손가락의 온도가 기준값에 도달하지 못하면 지정맥 인식률을 높이도록 제어부에서 상기 초음파 센서의 트랜스듀서 파워를 늘리도록 조절하며,
상기 초음파 센서는 손가락의 두께 방향상으로 서로 다른 지점을 각각 촬영하고,
상기 초음파 센서에 의해 서로 다른 침투 깊이에서 촬영된 복수의 지정맥 이미지를 침투 깊이의 순서대로 합성하여 손가락의 일부분에 해당하는 지정맥의 3차원 이미지를 획득하고,
상기 손가락 전체에 대한 3차원 이미지의 획득시,
상기 구동부를 통해 상기 촬영부를 회전시켜서 손가락 각도에 상관없이 상기 3차원 이미지를 획득하고,
상기 초음파 센서가 손가락의 길이 방향을 따라 움직이면서 지정맥을 촬영하는 것을 특징으로 하는 지정맥 인식 장치. a photographing unit comprising an ultrasonic sensor for photographing finger veins using ultrasound;
a measuring unit for measuring the temperature of the finger;
a control unit controlling the photographing unit and the measuring unit;
a driving unit for driving the photographing unit;
including,
If the temperature of the finger does not reach the reference value by the measurement unit, the control unit adjusts to increase the transducer power of the ultrasonic sensor to increase the finger vein recognition rate,
The ultrasonic sensor photographs different points in the thickness direction of the finger, respectively,
A three-dimensional image of a finger vein corresponding to a part of a finger is obtained by synthesizing a plurality of finger vein images taken at different penetration depths by the ultrasonic sensor in the order of penetration depth,
When acquiring a three-dimensional image of the entire finger,
The three-dimensional image is obtained regardless of the angle of the finger by rotating the photographing unit through the driving unit,
Finger vein recognition device, characterized in that the ultrasonic sensor moves along the length direction of the finger to photograph the finger veins.
상기 측정부는 손가락의 온도를 측정할 수 있는 적외선 온도 센서로 이루어지는 것을 특징으로 하는 지정맥 인식 장치. According to claim 1,
The finger vein recognition device, characterized in that the measuring unit is made of an infrared temperature sensor capable of measuring the temperature of the finger.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190138108A KR102367341B1 (en) | 2019-10-31 | 2019-10-31 | Apparatus for recognizing finger vein |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190138108A KR102367341B1 (en) | 2019-10-31 | 2019-10-31 | Apparatus for recognizing finger vein |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210052055A KR20210052055A (en) | 2021-05-10 |
KR102367341B1 true KR102367341B1 (en) | 2022-02-25 |
Family
ID=75918065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190138108A KR102367341B1 (en) | 2019-10-31 | 2019-10-31 | Apparatus for recognizing finger vein |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102367341B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011129151A (en) * | 2011-02-21 | 2011-06-30 | Fujitsu Ltd | Blood vessel image reading device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11309133A (en) * | 1998-04-30 | 1999-11-09 | Hitachi Eng Co Ltd | Optical fingerprint reading device |
KR102570637B1 (en) | 2015-08-27 | 2023-08-25 | 광주과학기술원 | Apparatus and Method for Recognizing Finger Vein |
KR102072524B1 (en) * | 2017-10-27 | 2020-02-03 | (주)코리센 | Apparatus for recognizing finger vein |
KR102361752B1 (en) * | 2017-11-24 | 2022-02-11 | 한국전자기술연구원 | Method and Apparatus for Finger Vein Recognition using Ultrasonic Doppler Effect |
KR20190111509A (en) * | 2018-03-23 | 2019-10-02 | 선문대학교 산학협력단 | Apparatus for recognizing finger vein |
-
2019
- 2019-10-31 KR KR1020190138108A patent/KR102367341B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011129151A (en) * | 2011-02-21 | 2011-06-30 | Fujitsu Ltd | Blood vessel image reading device |
Also Published As
Publication number | Publication date |
---|---|
KR20210052055A (en) | 2021-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2556603C (en) | Vein authentication device | |
US20070177767A1 (en) | Biometric information processing device and biometric information processing program | |
WO2015114872A1 (en) | Biometric authentication device and biometric authentication method | |
KR102570637B1 (en) | Apparatus and Method for Recognizing Finger Vein | |
TW200800107A (en) | Biometrics device | |
CN106960194A (en) | A kind of vein identification device | |
KR20190111509A (en) | Apparatus for recognizing finger vein | |
US9826198B2 (en) | Biological imaging device and biological imaging method | |
KR102367341B1 (en) | Apparatus for recognizing finger vein | |
KR102072524B1 (en) | Apparatus for recognizing finger vein | |
CN108491831A (en) | A kind of dorsal digital vein and refer to back of the body line Collect jointly identification device and method | |
CN209765600U (en) | Finger vein recognition device started through fingerprint detection | |
KR102617136B1 (en) | Photographing apparatus, authentication apparatus and biometric photographing method | |
JP2020123068A (en) | Biometric authentication device, biometric authentication method, and computer program | |
KR102176882B1 (en) | Apparatus and Method for Recognizing Fake Iris By Using Minutia Data Variation | |
JP4788744B2 (en) | Personal authentication device and blood vessel image extraction device | |
JP2014138887A (en) | Blood vessel photographing device | |
Lee et al. | A finger-vein imaging and liveness detection for identity authentication using 2-axis MEMS scanner | |
JP6015787B2 (en) | Blood vessel imaging device | |
JP6206683B2 (en) | Biological imaging apparatus and biological imaging method | |
JP5733324B2 (en) | Blood vessel imaging device | |
JP6307549B2 (en) | Blood vessel imaging device | |
JP5790739B2 (en) | Blood vessel imaging device | |
KR100852829B1 (en) | Image processing apparatus, personal authentication method, and image processing method | |
KR20070061759A (en) | Vein authentication device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |