KR102138358B1 - Ultrasound-based biometric information recognition device and finger vein data build up method - Google Patents

Ultrasound-based biometric information recognition device and finger vein data build up method Download PDF

Info

Publication number
KR102138358B1
KR102138358B1 KR1020190092920A KR20190092920A KR102138358B1 KR 102138358 B1 KR102138358 B1 KR 102138358B1 KR 1020190092920 A KR1020190092920 A KR 1020190092920A KR 20190092920 A KR20190092920 A KR 20190092920A KR 102138358 B1 KR102138358 B1 KR 102138358B1
Authority
KR
South Korea
Prior art keywords
finger
vein
ultrasonic sensor
information
user
Prior art date
Application number
KR1020190092920A
Other languages
Korean (ko)
Inventor
이성철
설재도
강영호
Original Assignee
주식회사 베프스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 베프스 filed Critical 주식회사 베프스
Priority to KR1020190092920A priority Critical patent/KR102138358B1/en
Priority to PCT/KR2019/016654 priority patent/WO2021020662A1/en
Application granted granted Critical
Publication of KR102138358B1 publication Critical patent/KR102138358B1/en

Links

Images

Classifications

    • G06K9/0002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1306Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G06K9/481
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • G06K2009/00932
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)

Abstract

The present invention relates to an ultrasonic biometric information recognition device to increase authentication correctness and authentication speed. According to the present invention, the ultrasonic biometric information recognition device comprises: a finger guide mounting a user′s finger thereon and having sections divided in the longitudinal direction of the user′s finger; an ultrasonic sensor unit disposed in the finger guide and including a plurality of piezoelectric elements, wherein the piezoelectric elements are arranged in two dimensions (x, y) to output ultrasonic signals, and including a first ultrasonic sensor disposed at an end node of the finger in the finger guide to recognize the user′s fingerprint and a second ultrasonic sensor disposed at a middle node of the finger in the finger guide to recognize the user′s finger vein; and a driving unit receiving a detection signal of the ultrasonic sensor unit to store the user′s fingerprint information through signal processing, calculating the direction of the finger vein based on a detection signal continuously generated from a position adjacent to the piezoelectric element to recognize a position, on which the direction of the finger vein is converged, as a three-dimensional (3D) branch point to construct and store information of the branched finger vein based on 3D coordinates of the recognized branch point as 3D vector information, and orthogonally projecting and converting 3D shape data of the finger vein into two-dimensional (2D) shape data. When the shape of the continuous finger vein in the 3D data of the finger vein is divided on a different Z-axis, the driving unit assigns a different flag to perform classification. Moreover, the branch point sets the position of each piezoelectric element of the ultrasonic sensor unit by x-y coordinates and a reflection coefficient of the ultrasonic signal output from the piezoelectric element sets by a z-axis coordinate.

Description

초음파 기반의 생체정보 인식장치 및 지정맥 데이터 구축 방법{ULTRASOUND-BASED BIOMETRIC INFORMATION RECOGNITION DEVICE AND FINGER VEIN DATA BUILD UP METHOD}Method for constructing ultrasound-based biometric information recognition device and finger vein data{ULTRASOUND-BASED BIOMETRIC INFORMATION RECOGNITION DEVICE AND FINGER VEIN DATA BUILD UP METHOD}

본 발명은 사용자의 지정맥 정보를 취득하여 사용자의 인증을 수행할 수 있는 초음파 기반의 생체정보 인식장치 및 인식된 지정맥 데이터의 인증 정확도와 인증 속도가 개선될 수 있는 지정맥 데이터 구축 방법에 관한 것이다.The present invention relates to an ultrasound-based biometric information recognition device capable of acquiring a user's finger vein information and performing user authentication, and a method for constructing a finger vein data that can improve the authentication accuracy and authentication speed of the recognized finger vein data. will be.

사람마다 고유한 생체정보는 사람에게 분리될 수 없다는 장점이 있다.Each person has an advantage that unique biometric information cannot be separated from a person.

지문인식의 경우에는 습기나 이물질이 손가락에 묻어 있는 경우나, 손가락 피부의 훼손과 변형이 있는 경우 등 잦은 오류가 지적되었다. 나아가, 지문 인식을 위한 스크린이 지속적인 사용으로 더럽혀짐에 따라 인식률이 저하되는 문제점이 야기되었으며, 지문의 겉면이 쉽게 위조 및 복사가 가능하다는 한계점이 지적되었다. 지문의 겉면은 젤라틴 등의 소정의 점착성이 있는 소재로 모사가 가능하며, 종래의 지문 인식 장치는 모사된 젤라틴 소재와 사람의 손가락을 구분하지 못하여 사용자 인증에 대한 완벽한 보안력을 보장하지 못하였다. In the case of fingerprint recognition, frequent errors have been pointed out, such as when moisture or a foreign substance is on the finger, or when the finger skin is damaged or deformed. Furthermore, a problem in which the recognition rate is lowered as the screen for fingerprint recognition is stained by continuous use has been caused, and the limitation that the surface of the fingerprint can be easily forged and copied is pointed out. The outer surface of the fingerprint can be simulated with a predetermined adhesive material such as gelatin, and the conventional fingerprint recognition device does not distinguish the simulated gelatin material from the human finger, thus failing to guarantee perfect security for user authentication.

이에 따라, 최근에는 최근 모사가 불가능하도록 손가락 내의 지정맥을 인식하는 보안 방법이 활발히 연구되고 있다. 종래의 정전압 방식의 지문인식은 표피 내의 지정맥을 인식하지 못하는 한계가 있다. 한편, 종래의 지정맥 인증 기술은 근적외선(IR)을 손가락에 투과시켜 정맥 패턴을 인식한다. 혈지정맥은 혈관 내부를 인증하는 것으로 위변조가 불가능하며, 필요에 따라서는 죽은 사람의 지정맥 패턴을 활용할 수 있다는 장점도 있다. 그러나, 지정맥 인증기술에는 두 가지 단점이 있는데, 첫 번째는 여전히 오인식의 가능성이 있는 것이고, 두 번째는 두 지정맥의 유사성을 비교시 절대기준이 아닌 상대기준으로 비교하기 때문에 정확한 인식을 방해하는 편차 요인이 작용할 수 있다. Accordingly, recently, a security method for recognizing a finger vein in a finger has been actively studied in recent years. Fingerprint recognition of the conventional constant voltage method has a limitation of not recognizing a finger vein in the epidermis. On the other hand, the conventional finger vein authentication technology recognizes a vein pattern by transmitting near infrared (IR) to a finger. The blood vein is authenticating the inside of blood vessels, so it cannot be forged and altered. If necessary, the vein pattern of a dead person can be used. However, there are two shortcomings in the finger vein authentication technology, the first one still has the possibility of misrecognition, and the second, because it compares the similarity of the two finger veins to a relative standard rather than an absolute standard, which prevents accurate recognition. Deviation factors can work.

이에, 본 출원인은 초음파만으로 지문 인식과 지정맥 인식을 수행하여, 지정맥의 3차원 정보를 획득 및 보다 정확한 인식이 가능한 ‘초음파를 이용한 이중 인증 장치 및 방법’한국 등록특허 제10-1865371호)을 2016년 12월30일에 출원한 바 있다. Accordingly, the present applicant performs fingerprint recognition and finger vein recognition only by using ultrasound, and acquires 3D information of the finger vein and enables more accurate recognition,'Dual authentication device and method using ultrasonic waves' Korean Registered Patent No. 10-1865371) Filed on December 30, 2016.

본 출원인은 상기의 선행기술을 개량하여 지정맥의 인식 정확도을 개선할 수 있고, 인증 비교의 속도가 개선될 수 있는 생체정보 인식장치 및 지정맥 데이터 구축 방법을 고안하게 되었다.The present applicant has devised a method for constructing a biometric information recognition device and a finger vein data that can improve the accuracy of recognition of a finger vein by improving the above-mentioned prior art and improve the speed of authentication comparison.

한국등록특허 제10-1865371호Korean Registered Patent No. 10-1865371

본 발명은 초음파 센서가 손가락의 지정맥을 인식하여 인증을 위한 데이터를 구축하는 과정에 있어서, 인증의 정확도와 인증속도가 향상될 수 있는 생체정보 인식장치 및 지정맥 데이터 구축 방법을 제공하고자 한다. The present invention is to provide a biometric information recognition device and a finger vein data construction method in which the accuracy and speed of authentication can be improved in the process of the ultrasonic sensor recognizing a finger vein and building data for authentication.

또한, 본 발명은 초음파 센서만을 사용하되, 사용자의 지문과 지정맥을 동시에 인식할 수 있는 이중 생체정보 인식장치를 제공하고자 한다.In addition, the present invention is to use only the ultrasonic sensor, to provide a dual biometric information recognition device that can simultaneously recognize the user's fingerprint and finger vein.

또한, 본 발명은 지정맥의 인식 정확도를 향상시키고, 지정맥과 지문 정보의 상호 보완으로 지문인식이 어려운 상황에서도 사용자 인증을 수행할 수 있으며, 지문이 모사되어도 보안이 가능한 이중 생체정보 인식장치를 제공하고자 한다.In addition, the present invention improves the recognition accuracy of the finger vein, and complements the finger vein and fingerprint information to perform user authentication even when fingerprint recognition is difficult, and provides a biometric information recognition device capable of security even when the fingerprint is copied. Want to provide

또한, 본 발명은 기존의 지문 인식 알고리즘과, 기존의 지정맥 인식 알고리즘과 호환되고 데이터처리 속도를 단축시킬 수 있는 지문과 지정맥의 인식 데이터의 구축 방법을 제공하고자 한다.In addition, the present invention is to provide a method for constructing fingerprint and finger vein recognition data that is compatible with the existing fingerprint recognition algorithm and the existing finger vein recognition algorithm and can reduce the data processing speed.

상기 목적을 달성하기 위하여 본 발명은, 생체정보 인식장치에 있어서, 사용자의 손가락이 안치되는 핑거 가이드; 상기 핑거 가이드에 마련되며, 복수개의 압전소자를 포함하고, 상기 압전소자는 2차원(x,y)으로 배열되어 초음파를 방출하고, 사용자의 지정맥에서 반사된 초음파 신호를 수신하여 사용자의 지정맥을 3차원으로 인식하는 초음파 센서; 및 상기 초음파 센서의 감지 신호를 수신하여, 신호처리를 통해 사용자의 지정맥 정보를 저장하는 구동부를 포함하며, 상기 구동부는, 상기 압전소자의 인접된 위치에서 연속적으로 발생된 감지 신호로 지정맥 혈관의 방향을 계산하고, 지정맥 혈관의 방향이 수렴되는 위치를 분기점으로 인식하며, 인식된 상기 분기점의 3축 좌표를 기준으로 분기된 지정맥 혈관의 정보를 벡터 정보로 구축하는 것을 일 특징으로 한다. In order to achieve the above object, the present invention, a biometric information recognition device, a finger guide in which a user's finger is placed; It is provided on the finger guide, includes a plurality of piezoelectric elements, the piezoelectric elements are arranged in two dimensions (x, y) to emit ultrasonic waves, receive the ultrasonic signal reflected from the user's finger vein, and the user's finger vein Ultrasonic sensor to recognize in three dimensions; And a driving unit receiving the detection signal of the ultrasonic sensor and storing user's finger vein information through signal processing, wherein the driving unit is a vein blood vessel with a detection signal continuously generated at an adjacent position of the piezoelectric element. It is characterized in that it calculates the direction, recognizes a location where the direction of the vein vessels converges as a branch point, and constructs information of the branch vein vessels branched on the basis of 3-axis coordinates of the recognized branch point as vector information. .

바람직하게, 상기 구동부는, 상기 분기점에 위치한 상기 압전소자의 x, y축 좌표와, 상기 압전소자의 감지된 주파수 정보를 z축 좌표로 하여 3축의 분기점 좌표(P)를 설정할 수 있다. Preferably, the driving unit may set three-axis branch point coordinates (P) by using the x and y-axis coordinates of the piezoelectric element located at the branch point and the sensed frequency information of the piezoelectric element as z-axis coordinates.

바람직하게, 상기 구동부는, 상기 분기점의 3축 좌표를 기준으로 분기된 지정맥 혈관의 두께를 벡터의 크기로 설정하고, 분기된 지정맥 혈관의 방향을 벡터의 방향으로 설정할 수 있다. Preferably, the driving unit may set the thickness of the branched vein vessel based on the 3-axis coordinates of the branch point to the size of the vector, and set the direction of the branched vein vessel in the direction of the vector.

바람직하게, 상기 구동부는, 상기 벡터의 크기 정보와 상기 벡터가 이루는 각도의 정보를 인증을 위한 비교 파라메터로 설정할 수 있다.Preferably, the driving unit may set size information of the vector and information of an angle formed by the vector as a comparison parameter for authentication.

또한, 본 발명은 지정맥 데이터 구축 방법에 있어서, 생체정보 인식장치가 사용자의 손가락에 대한 접촉상태를 감지하는 단계; 상기 생체정보 인식장치가 상기 손가락의 접촉을 감지하면, 손가락 방향으로 초음파 신호를 방출하는 단계; 상기 생체정보 인식장치가 상기 초음파 신호의 반사 신호를 이용하여 상기 손가락의 지정맥을 인식하는 데이터를 구축하는 단계를 포함하고, 상기 데이터를 구축하는 단계는, 상기 생체정보 인식장치에 구비된 초음파를 방출하는 압전소자의 인접된 위치에서 연속적으로 발생된 감지 신호로 지정맥 혈관의 방향을 계산하고, 지정맥 혈관의 방향이 수렴되는 위치를 분기점으로 인식하며, 인식된 상기 분기점의 3축 좌표를 기준으로 분기된 지정맥 혈관의 정보를 벡터 정보로 구축하는 것을 다른 특징으로 한다. In addition, the present invention is a method for constructing finger vein data, comprising: a biometric information recognition device detecting a contact state of a user's finger; When the biometric information recognition device detects the contact of the finger, emitting an ultrasonic signal in the finger direction; The bio-information recognition device comprises the step of constructing data for recognizing the finger vein of the finger using the reflected signal of the ultrasound signal, and the step of constructing the data includes the ultrasound provided in the biometric information recognition device. The direction of the vein blood vessel is calculated by the detection signal continuously generated at an adjacent position of the emitting piezoelectric element, the position at which the direction of the vein blood vessel converges is recognized as a branch point, and is based on the recognized 3-axis coordinate of the recognized branch point. Another feature is to construct information of a branched vein veins into vector information.

본 발명에 따르면, 초음파 센서가 감지한 지정맥의 3차원 정보로부터 지정맥의 분기점을 좌표로 검출하고, 검출된 분기점을 기준으로 지정맥의 혈관을 벡터 정보로 구축한다. 이에 따라, 지정맥의 데이터 비교가 용이하며 데이터 변환이나 인증속도가 향상될 수 있는 이점이 있다.According to the present invention, a branch point of a vein is detected as coordinates from 3D information of a vein detected by an ultrasonic sensor, and blood vessels of the vein are constructed as vector information based on the detected branch point. Accordingly, it is easy to compare the data of the finger vein and has an advantage in that data conversion or authentication speed can be improved.

또한, 본 발명에 따르면, 핑거 가이드 상에 손가락의 끝마디와 중간마디가 위치하는 분획된 구역이 형성되고, 각 구역에서 초음파 센서가 지문과 지정맥을 각각 인식한다. 이에 따라, 본 발명은 지문과 지정맥의 인식 과정을 동시에 수행할 수 있어 인식에 소요되는 시간이 단축되는 이점이 있다.In addition, according to the present invention, on the finger guide, a segmented region in which the end and middle nodes of a finger are located is formed, and in each region, the ultrasonic sensor recognizes the fingerprint and the finger vein, respectively. Accordingly, the present invention has an advantage in that the time required for recognition is shortened because the fingerprint and the finger vein recognition process can be simultaneously performed.

또한, 본 발명에 따르면 손가락의 중간마디에 지정맥 인식을 위한 초음파 센서가 배치되어 지정맥의 혈관과 크기를 보다 명확히 인식할 수 있다. 이 때, 본 발명은 종래와 다르게 손가락이 중간마디 까지 핑거 가이드에 배치되어야 하는 점을 고려하여 지문 인식을 위한 초음파 센서가 핑거 가이드 상에 기울임 배치된다. 따라서, 본 발명은 인증을 위한 손가락의 안착시 사용자가 중간마디와 끝마디에 동일한 가압력을 행사하여 지문과 지정맥의 정확한 인식이 가능한 이점이 있다. In addition, according to the present invention, an ultrasonic sensor for finger vein recognition is disposed in the middle of the finger, so that blood vessels and sizes of the finger vein can be more clearly recognized. At this time, according to the present invention, the ultrasonic sensor for fingerprint recognition is tilted on the finger guide in consideration of the fact that the finger should be placed on the finger guide up to the middle node. Therefore, the present invention has the advantage that the user can accurately recognize the fingerprint and the finger vein by exerting the same pressing force on the middle and end nodes when the finger is seated for authentication.

또한 본 발명은, 손가락 피부의 훼손과 변형이 있는 경우 지정맥의 인식 정보가 보안레벨에 따라 상호 보완됨에 따라 인증 성능이 향상되고, 표피 지문의 모사로는 지정맥의 인증을 수행할 수 없어 인증 성능이 보장되는 이점이 있다. In addition, according to the present invention, when the finger skin is damaged or deformed, authentication performance is improved as the recognition information of the finger vein is complemented according to the security level, and authentication of the finger vein cannot be performed through the simulation of the epidermis fingerprint. There is an advantage that performance is guaranteed.

도 1은 본 발명의 실시예에 따른 이중 생체정보 인식장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 핑거 가이드의 측면 분해도를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 초음파 센서를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 이중 인증 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 인증 프로세스를 도시한 것이다.
도 6은 본 발명의 실시예에 따른 생체정보 데이터 처리 방법으로 3차원의 데이터 박스 개념을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 생체정보 데이터 처리 방법으로, 3차원의데이터를 2차원의 비교 데이터로 구축하는 개념을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 생체정보 데이터 처리 방법으로, 3차원의 지정맥 형상 데이터를 벡터 정보로 변환하는 과정을 설명하기 위한 도면이다.
1 is a configuration diagram of a dual biometric information recognition device according to an embodiment of the present invention.
2 is a side exploded view of a finger guide according to an embodiment of the present invention.
3 shows an ultrasonic sensor according to an embodiment of the present invention.
4 is a view for explaining a two-factor authentication process according to an embodiment of the present invention.
5 illustrates an authentication process according to an embodiment of the present invention.
6 is a view for explaining the concept of a three-dimensional data box as a method of processing biometric data according to an embodiment of the present invention.
7 is a diagram for explaining a concept of constructing 3D data into 2D comparison data as a method of processing biometric information data according to an embodiment of the present invention.
8 is a diagram for explaining a process of converting 3D vein shape data into vector information as a method of processing bioinformation data according to an embodiment of the present invention.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.Hereinafter, the present invention will be described in detail with reference to the contents described in the accompanying drawings. However, the present invention is not limited or limited by the exemplary embodiments. The same reference numerals in each drawing denote members that perform substantially the same function.

본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.The objects and effects of the present invention may be naturally understood or more apparent by the following description, and the objects and effects of the present invention are not limited only by the following description. In addition, in the description of the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted.

도 1은 본 발명의 실시예에 따른 이중 생체정보 인식장치(1)의 구성도이다.1 is a configuration diagram of a dual biometric information recognition device 1 according to an embodiment of the present invention.

도 1을 참조하면, 이중 생체정보 인식장치(1)는 초음파 센서부(10), 구동부(30), 저장부(50), 및 출력부(70)를 포함할 수 있다. 본 실시예에 따른 이중 생체정보 인식장치(1)는 이중 인증을 통한 사용자 인증을 한다. 이중 생체정보 인식장치(1)는 사용자의 손가락(3)에 대한 지문 인식과 지정맥 인식을 동시에 수행하여 사용자 인증을 안정적이고 정확하게 할 수 있다. Referring to FIG. 1, the biometric information recognition device 1 may include an ultrasonic sensor unit 10, a driving unit 30, a storage unit 50, and an output unit 70. The dual biometric information recognition device 1 according to the present embodiment authenticates a user through dual authentication. Among them, the biometric information recognition device 1 can perform fingerprint authentication and finger vein recognition on the user's finger 3 at the same time, thereby making user authentication stable and accurate.

초음파 센서부(10)는 핑거 가이드(15)에 마련되는 제1 초음파 센서(11)와 제2 초음파 센서(13)를 포함한다. 핑거 가이드(15)은 사용자의 손가락이 안치되며, 손가락의 길이 방향으로 구역이 분획된다. 핑거 가이드(15)에서 손가락의 끝 마디(31)가 위치되는 영역을 제1 구역으로 정의한다. 핑거 가이드(15)에서 손가락의 중간 마디(32)가 위치되는 영역을 제2 구역으로 정의한다. 제1 구역에는 제1 초음파 센서(11)가 마련된다. 제2 구역에는 제2 초음파 센서(13)가 마련된다.The ultrasonic sensor unit 10 includes a first ultrasonic sensor 11 and a second ultrasonic sensor 13 provided on the finger guide 15. The finger guide 15 is placed by a user's finger, and a region is divided in the length direction of the finger. In the finger guide 15, an area where the tip node 31 is located is defined as a first zone. The area where the middle node 32 of the finger is located in the finger guide 15 is defined as the second zone. The first ultrasonic sensor 11 is provided in the first zone. A second ultrasonic sensor 13 is provided in the second zone.

본 실시예로, 제1, 2 초음파 센서(11, 13)는 압전소자로 구성될 수 있다. 압전소자는 압전효과를 이용하여 초음파 신호를 방출할 수 있다. 압전소자는 손가락이 접촉되면서 눌러지는 힘에 의해 신축되어 전압을 일으킬 수 있다. 압전소자는 역으로 전압이 인가되면 신축으로 인한 진동으로 공진 주파수를 가지는 초음파 신호를 방출할 수 있다. 제1, 2 초음파 센서(11, 13)는 압전소자가 방출한 초음파 신호의 반사 신호를 수신할 수 있다. 본 실시예에 따른 제1, 2 초음파 센서(11, 13)는 구성 소자는 동일하되 공진 주파수가 상이하여 서로 다른 대역의 초음파 신호를 방출할 수 있다. 이와 관련, 도 3을 통해 후술한다.In this embodiment, the first and second ultrasonic sensors 11 and 13 may be configured as piezoelectric elements. The piezoelectric element may emit an ultrasonic signal using a piezoelectric effect. The piezoelectric element may be stretched and generated by a force that is pressed while the finger is in contact. When a voltage is applied inversely, the piezoelectric element may emit an ultrasonic signal having a resonance frequency due to vibration due to stretching. The first and second ultrasonic sensors 11 and 13 may receive reflected signals of ultrasonic signals emitted by the piezoelectric element. The first and second ultrasonic sensors 11 and 13 according to the present exemplary embodiment may emit ultrasonic signals in different bands because the constituent elements are the same but have different resonance frequencies. In this regard, it will be described later through FIG. 3.

구동부(30)는 초음파 센서부(10)로부터 손가락의 접촉이 감지되면 압전소자를 통해 손가락 방향으로 초음파 신호를 방출한다. 설명의 편의를 위해, 제1 초음파 센서(11)에서 방출되는 초음파 신호를 제1 초음파 신호라 한다. 제2 초음파 센서(13)에서 방출되는 초음파 신호를 제2 초음파 신호라 한다. 구동부(30)는 제1 초음파 신호 및 제2 초음파 신호의 반사 신호를 수신하여 사용자의 지문과 지정맥 정보를 구축한다. 구동부(30)는 사용자의 지문 및/또는 지정맥의 인식에서 인증된 사용자가 기준 지문 및/또는 기준 지정맥 정보와 비교하여 동일한 경우 사용자 인증 확인신호를 생성한다. 구동부(30)는 지문 및/또는 지정맥의 인식에서 인증된 사용자가 동일하지 않는 경우 인증 미확인신호를 생성한다. 이를 통해, 사용자는 지문 인식과 지정맥 인식을 모두 인증 받아야만 사용자 인증 확인을 받을 수 있다.When the contact of the finger is detected from the ultrasonic sensor unit 10, the driving unit 30 emits an ultrasonic signal in the finger direction through the piezoelectric element. For convenience of description, an ultrasonic signal emitted from the first ultrasonic sensor 11 is referred to as a first ultrasonic signal. The ultrasonic signal emitted from the second ultrasonic sensor 13 is called a second ultrasonic signal. The driver 30 receives the first ultrasonic signal and the reflected signal of the second ultrasonic signal to build the user's fingerprint and finger vein information. The driving unit 30 generates a user authentication confirmation signal when an authenticated user in recognition of the user's fingerprint and/or finger vein is the same as the reference fingerprint and/or the reference finger vein information. The driver 30 generates an authentication unconfirmed signal when the authenticated user is not the same in the recognition of the fingerprint and/or finger vein. Through this, the user must be authenticated both fingerprint recognition and finger vein recognition in order to receive user authentication confirmation.

본 실시예로, 구동부(30)는 사용자의 지문 정보가 불명확할 때 사용자의 지정맥 정보를 이용하여 사용자를 인증할 수 있다. 구동부(30)는 복수개의 보안레벨이 설정되며, 보안등급이 가장 높은 레벨에서 상기 지문 정보와 상기 지정맥 정보를 AND 조건으로 사용자를 인증하고, 보안등급이 낮은 레벨에서 상기 지문 정보 또는 상기 지정맥 정보를 OR 조건으로 사용자를 인증할 수 있다. In this embodiment, the driving unit 30 may authenticate the user using the user's finger vein information when the user's fingerprint information is unclear. A plurality of security levels are set in the driving unit 30, and the fingerprint information and the finger vein information are authenticated by the AND condition at the highest security level, and the fingerprint information or the finger vein is specified at a low security level. Users can be authenticated by ORing information.

저장부(50)는 사용자 인증을 위한 기준 지문 패턴 및 기준 지정맥 특징이 저장된다. 저장부(50)는 초음파 센서부(10)의 압전소자에서 수신된 제1 초음파 신호 및 제2 초음파 신호의 반사 신호가 저장될 수 있다. 저장부(50)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.The storage unit 50 stores a reference fingerprint pattern and a reference vein feature for user authentication. The storage unit 50 may store the first ultrasonic signal and the second ultrasonic signal reflection signal received from the piezoelectric element of the ultrasonic sensor unit 10. The storage unit 50 includes a flash memory type, a hard disk type, a media card micro type, a card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, It may include at least one storage medium among magnetic disks and optical disks.

출력부(70)는 구동부(30)에서 생성된 인증 확인신호 또는 인증 미확인신호에 대한 정보를 디스플레이로 출력한다. 출력부(70)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.The output unit 70 outputs information on the authentication confirmation signal or the authentication unconfirmation signal generated by the driver 30 on the display. The output unit 70 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible) display) and a 3D display.

도 2는 본 발명의 실시예에 따른 핑거 가이드(15)의 측면 분해도를 도시한 것이다. 핑거 가이드(15)에는 2개의 초음파 센서(11, 13)가 마련됨에 주목한다.2 shows an exploded side view of a finger guide 15 according to an embodiment of the present invention. Note that the finger guide 15 is provided with two ultrasonic sensors 11 and 13.

제1 초음파 센서(11)는 사용자의 지문을 인식하며, 제2 초음파 센서(13)는 사용자의 지정맥을 인식한다. 본 실시예에 따른 이중 생체정보 인식장치(1)는 동일한 초음파 센싱의 원리로 사용자의 지문 정보와 지정맥 정보 기반의 사용자 인증을 수행한다.The first ultrasonic sensor 11 recognizes the user's fingerprint, and the second ultrasonic sensor 13 recognizes the user's finger vein. The biometric information recognition device 1 according to the present embodiment performs user authentication based on the user's fingerprint information and finger vein information on the same principle of ultrasonic sensing.

제1 초음파 센서(11)는 손가락 표피의 마루(ridge)와 골(valley)의 영역에서 반사되는 저주파 센서일 수 있다. 본 실시예로, 제1 초음파 센서(11)는 15MHz 이하의 저주파 센서일 수 있다.The first ultrasonic sensor 11 may be a low-frequency sensor reflected in the regions of the ridge and valley of the finger skin. In this embodiment, the first ultrasonic sensor 11 may be a low frequency sensor of 15 MHz or less.

제1 초음파 센서(11)는 손가락의 단부 방향으로 구배지도록 지면과 소정의 각도(θ)를 형성하여 핑거 가이드(15) 상에 마련될 수 있다. 제1 초음파 센서(11)의 기울어진 각도(θ)는 0°초과 90°미만의 범위로 형성된다. 본 실시예에 따른 핑거 가이드(15)은 손가락의 중간 마디(32)까지 접촉된다. 종래의 지문 인식 또는 지정맥 인식은 손가락의 끝 마디(31)에서 수행된다. 지문 인식은 논외로 하고, 지정맥 인식의 경우 손가락의 끝 마디(31)는 인식이 어려운 모세혈관이 다수 분포한다. 이러한 상황에서, 손가락의 끝 마디(31)상에서 지문 인식과 지정맥 인식을 동시에 수행하도록 구현함에는 여러 기술적 어려움이 수반된다. The first ultrasonic sensor 11 may be provided on the finger guide 15 by forming a predetermined angle θ with the ground to bend in the direction of the end of the finger. The inclined angle θ of the first ultrasonic sensor 11 is formed in a range of more than 0° and less than 90°. The finger guide 15 according to the present embodiment contacts the middle node 32 of the finger. Conventional fingerprint recognition or finger vein recognition is performed at the end node 31 of the finger. Fingerprint recognition is excluded, and in the case of finger vein recognition, a large number of capillaries are difficult to recognize in the end node 31 of the finger. In this situation, several technical difficulties are involved in implementing to simultaneously perform fingerprint recognition and finger vein recognition on the end node 31 of the finger.

본 실시예에서는 손가락(3)의 접촉 면적을 중간 마디(32)까지 확장한다. 이 경우, 핑거 가이드(15)은 손가락(3)의 끝 마디(31)와 중간 마디(32)를 모두 동일한 가압력으로 접촉될 수 있도록 구성됨이 바람직하다. 중간 마디(32)의 영역을 핑거 가이드(15) 상에 접촉시키는 경우, 끝 마디(31)는 손가락의 관절 구조상 상방향으로 뜨게 되며 끝 마디(31)에 접촉 가압력을 행사하기에 용이하지 않다. 본 실시예에 따른 핑거 가이드(15)은 상기의 사항을 고려하여 제1 초음파 센서(11)가 끝 마디(31) 방향을 향하도록 기울임 배치된다. In this embodiment, the contact area of the finger 3 is extended to the middle node 32. In this case, the finger guide 15 is preferably configured such that both the end node 31 and the middle node 32 of the finger 3 can be contacted with the same pressing force. When the region of the middle node 32 is brought into contact with the finger guide 15, the end node 31 floats upward due to the joint structure of the finger, and it is not easy to exert a contact pressing force on the end node 31. The finger guide 15 according to the present embodiment is disposed inclined so that the first ultrasonic sensor 11 faces the direction of the end node 31 in consideration of the above.

제2 초음파 센서(13)는 표피 내측까지 침습되어 손가락(3)의 지정맥이 위치된 영역에서 반사되는 고주파 센서일 수 있다. 본 실시예로, 제2 초음파 센서(13)는 15MHz 이상의 고주파 센서일 수 있다. 약 15MHz 이상의 고주파 대역은 중간 마디(32)를 기준으로 지정맥의 위치까지 초음파 투과가 가능하다. 제2 초음파 센서(13)는 핑거 가이드(15) 상에 지면과 수평하게 마련된다.The second ultrasonic sensor 13 may be a high-frequency sensor that is invaded to the inside of the epidermis and reflected from the region where the finger vein of the finger 3 is located. In this embodiment, the second ultrasonic sensor 13 may be a high frequency sensor of 15 MHz or more. In the high frequency band of about 15 MHz or more, ultrasound transmission is possible up to the position of the finger vein based on the middle node 32. The second ultrasonic sensor 13 is provided horizontally to the ground on the finger guide 15.

본 실시예로, 핑거 가이드(15)에는 손가락의 중간 마디에 혈류가 압박되는 지압부(13)가 더 구비될 수 있다. 지정맥의 혈관은 주변의 온도 상황에 따라 수축 또는 이완되는 변수가 존재한다. 본 실시예에 따른 핑거 가이드(15)은 중간 마디(32)의 후단 영역에 손가락의 도톰한 살을 가압하여 중간 마디(32) 방향으로 최소한의 혈류가 공급될 수 있도록 지압부(13)가 형성될 수 있다. 지압부(13)는 소정의 탄성력이 있는 실리콘 소재로 제공될 수 있다. In this embodiment, the finger guide 15 may be further provided with acupressure part 13 that presses blood flow to the middle node of the finger. Vein vessels of the vein have a variable contraction or relaxation depending on the ambient temperature. Finger guide 15 according to the present embodiment is to press the thicker skin of the finger to the rear end region of the middle node 32, the pressure portion 13 is formed so that the minimum blood flow can be supplied to the middle node (32) direction Can. The shiatsu portion 13 may be provided with a silicone material having a predetermined elastic force.

도 3은 본 발명의 실시예에 따른 초음파 센서(11, 13)를 도시한 것이다.3 shows ultrasonic sensors 11 and 13 according to an embodiment of the present invention.

도 3을 참조하면, 초음파 센서(11, 13)는 복수의 압전소자(111) 및 충진재(113)를 포함할 수 있다. 본 실시예로, 복수개의 압전소자(111)는 2차원 평면에서 192 X 192의 어레이 배열되며, 일정 높이를 가질 수 있다. 복수개의 압전소자(111)는 각각 진동에 용이한 재료로 형성되는 기둥부(pillar)와 기둥부의 상면 및 하면에 전도성 물질로 형성되는 전극을 포함할 수 있다. 바람직하게는 기둥부는 PZT, PST, Quartz, (Pb, Sm)TiO3, PMN(Pb(MgNb)O3), PVDF 또는 PVDF-TrFe 중 적어도 하나의 물질을 포함할 수 있고, 전극은 전도성이 우수한 금속인 Cu, Ag, Mo 또는 이의 합금 중 적어도 하나의 물질을 포함할 수 있다. Referring to FIG. 3, the ultrasonic sensors 11 and 13 may include a plurality of piezoelectric elements 111 and fillers 113. In this embodiment, the plurality of piezoelectric elements 111 are arranged in an array of 192 X 192 in a two-dimensional plane, and may have a certain height. Each of the plurality of piezoelectric elements 111 may include a pillar formed of a material that is easy to vibrate, and an electrode formed of a conductive material on the upper and lower surfaces of the pillar. Preferably, the pillar portion may include at least one of PZT, PST, Quartz, (Pb, Sm)TiO3, PMN(Pb(MgNb)O3), PVDF or PVDF-TrFe, and the electrode is a metal having excellent conductivity. Cu, Ag, Mo, or an alloy thereof.

충진재(113)는 복수의 압전소자(111) 사이에 형성되어 복수의 압전소자(111)를 진동 절연시킨다. 충진재(113)는 폴리머로 형성될 수 있다.The filling material 113 is formed between the plurality of piezoelectric elements 111 to vibrate the plurality of piezoelectric elements 111. The filling material 113 may be formed of a polymer.

도 4는 본 발명의 실시예에 따른 이중 인증 과정을 설명하기 위한 도면이다. 도 4는 좌측에 제2 초음파 센서(13)의 인증 과정을, 우측에 제1 초음파 센서(11)의 인증 과정을 개략 도시하였다. 각각의 초음파 센서(11, 13)는 측면도 상으로 전술한 압전소자(111)와 충진재(113)가 교대로 배치되며, 압전소자(111)의 상면을 통해 각각의 초음파 신호가 발진된다.4 is a view for explaining a two-factor authentication process according to an embodiment of the present invention. 4 schematically shows an authentication process of the second ultrasonic sensor 13 on the left side and an authentication process of the first ultrasonic sensor 11 on the right side. In each of the ultrasonic sensors 11 and 13, the above-described piezoelectric element 111 and filling material 113 are alternately arranged on the side view, and each ultrasonic signal is oscillated through the upper surface of the piezoelectric element 111.

제1 초음파 센서(11)의 경우, 제1 초음파 신호(310)를 발진한다. 제2 초음파 센서(13)의 경우, 제2 초음파 신호(410)를 발진한다. 제1 초음파 신호(310)는 손가락(3)의 끝 마디(31)로 방출되며, 저주파의 특성상 손가락(3)의 피부인 지문(230)을 감지한다. 제2 초음파 신호(410)는 손가락(3)의 중간 마디(32)로 방출되며, 고주파의 특성상 손가락(3)의 피부 내측의 지정맥(240, 250)을 감지한다. In the case of the first ultrasonic sensor 11, the first ultrasonic signal 310 is oscillated. In the case of the second ultrasonic sensor 13, the second ultrasonic signal 410 is oscillated. The first ultrasound signal 310 is emitted to the end node 31 of the finger 3 and detects the fingerprint 230 that is the skin of the finger 3 due to the low frequency characteristics. The second ultrasound signal 410 is emitted to the middle node 32 of the finger 3, and due to the high-frequency characteristics, the finger vein 240, 250 inside the skin is sensed.

상세하게는, 제1 초음파 신호(310)는 지문(230)의 수많은 골(220)과 마루(210)를 감지한다. 제1 초음파 신호(310)의 감지 시그널은 표피 근처인 S1 영역에서 감지된다. 제2 초음파 신호(410)의 감지 시그널은 S1 영역보다 깊은 S2 영역에서 감지된다. 압전소자(111)는 S1, S2 각각의 영역에서 음향 임피던스 차이로부터 발생되는 각각의 초음파 신호(310, 410)의 반사 신호에 대한 세기 또는 반사 계수(시간)을 측정함으로써 지문의 패턴과 지정맥의 패턴을 감지할 수 있다. In detail, the first ultrasound signal 310 detects numerous valleys 220 and the floor 210 of the fingerprint 230. The detection signal of the first ultrasound signal 310 is detected in the S1 region near the epidermis. The detection signal of the second ultrasound signal 410 is detected in the S2 region deeper than the S1 region. The piezoelectric element 111 measures the intensity or reflection coefficient (time) of the reflected signal of each of the ultrasonic signals 310 and 410 generated from the difference in acoustic impedance in each of the regions S1 and S2, thereby determining the pattern and finger vein of the fingerprint. Patterns can be detected.

제2 초음파 센서(13)의 경우, 지정맥은 깊이(z축) 방향으로 밑에 위치된 지정맥(230)과 위에 위치된 지정맥(250)의 높이 정보가 반사 계수로 반영된다. 따라서, 근적외선을 이용한 지정맥 인식 및 2D 정보의 출력에 제한되었던 종래 지정맥 인식 대비 3D의 지정맥(240, 250) 정보가 획득될 수 있다. In the case of the second ultrasonic sensor 13, the height information of the finger vein 230 positioned below and the finger vein 250 positioned above is reflected as a reflection coefficient in the depth (z-axis) direction. Accordingly, 3D finger vein 240 and 250 information can be obtained as compared to conventional finger vein recognition, which was limited to the recognition of vein using near infrared rays and output of 2D information.

도 5는 본 발명의 실시예에 따른 인증 프로세스를 도시한 것이다.5 illustrates an authentication process according to an embodiment of the present invention.

S410단계에서, 이중 생체정보 인식장치(1)는 초음파 센서부(10)의 압전소자(111)에서 손가락(3)의 접촉압력을 감지한다. 손가락(3)이 압전소자(111)에 접촉되어 압력이 감지되면 전압을 생성함으로써 접촉상태를 확인할 수 있다. In step S410, the biometric information recognition device 1 detects the contact pressure of the finger 3 on the piezoelectric element 111 of the ultrasonic sensor unit 10. When the finger 3 is in contact with the piezoelectric element 111 and a pressure is sensed, a contact state can be confirmed by generating a voltage.

S420단계에서, 이중 생체정보 인식장치(1)는 손가락(3)이 압전소자(111)에 접촉이 되면, 제1 초음파 신호(310) 및 제2 초음파 신호(410)를 동시에 방출한다. 제1 초음파 신호(310)는 저주파 대역(S1)으로 끝 마디(31)의 표피를 감지한다. 제2 초음파 신호(410)는 고주파 대역(S2)으로 중간 마디(32)의 표피 내의 지정맥을 감지한다. In step S420, the biometric information recognition device 1 simultaneously emits the first ultrasound signal 310 and the second ultrasound signal 410 when the finger 3 contacts the piezoelectric element 111. The first ultrasound signal 310 detects the epidermis of the end node 31 in the low frequency band S1. The second ultrasound signal 410 detects a vein in the epidermis of the middle node 32 in the high frequency band S2.

S430단계에서, 이중 생체정보 인식장치(1)는 감지된 신호로 사용자의 지문 인식 및 지정맥 인식을 한다. 이중 생체정보 인식장치(1)는 제1 초음파 신호(310)로부터 지문 패턴을 감지하여 지문 인식을 하며, 제2 초음파 신호(410)로부터 지정맥 패턴을 높이정보와 함께 감지하여 지정맥 인식을 한다. In step S430, the biometric information recognition device 1 recognizes the user's fingerprint and the finger vein with the detected signal. The biometric information recognition device 1 detects a fingerprint by detecting a fingerprint pattern from the first ultrasound signal 310 and recognizes a vein pattern by detecting a vein pattern with height information from the second ultrasound signal 410. .

S440단계에서, 이중 생체정보 인식장치(1)는 보안레벨의 설정 정보에 따라 사용자의 인증 단계(S450)를 다르게 수행할 수 있다. 보안레벨은 최소 2단계로 구분될 수 있다. 1단계는 보안이 높은 단계로, 지문과 지정맥이 모두 일치하는 경우 사용자 인증신호를 발생하도록 한다. 2단계는 1단계보다 보안이 낮은 단계로, 지문의 비교가 용이하지 않을 경우, 보완적으로 지정맥의 일치 여부를 비교한다. S460단계에서, 사용자 인증 여부가 결정되며 출력부(70)를 통해 인증 결과를 출력할 수 있다.In step S440, the biometric information recognition device 1 may perform the user's authentication step S450 differently according to the security level setting information. The security level can be divided into at least two levels. The first step is a high-security step, and when the fingerprint and the finger vein are identical, a user authentication signal is generated. The second step is less secure than the first step, and if it is not easy to compare fingerprints, complementarily compares the finger vein. In step S460, it is determined whether or not the user is authenticated, and the authentication result may be output through the output unit 70.

도 6은 본 발명의 실시예에 따른 생체정보 데이터 처리 방법으로 3차원의 데이터 박스 개념을 설명하기 위한 도면이다. 도 6 내지 도 8에서는 전술한 초음파 센서부(10)에서 감지한 생체정보의 용이한 데이터 처리 방법을 설명한다. 다만, 이하에서 설명하게 될 실시예는, 도 1 내지 5의 실시예에 한정되지 않는다. 이하에서 설명하게 될 실시예는, 단일 초음파 센서로 지문과 지정맥을 모두 인식하도록 구현한 이중 생체정보 인식장치(예를 들어, 본 출원인의 선행등록특허 제10-1865371호)에도 적용이 가능할 수 있다.6 is a view for explaining the concept of a three-dimensional data box as a method of processing biometric data according to an embodiment of the present invention. 6 to 8 describe an easy data processing method of the biometric information detected by the ultrasonic sensor unit 10 described above. However, the embodiments to be described below are not limited to the embodiments of FIGS. 1 to 5. The embodiment to be described below may be applied to a dual biometric information recognition device (for example, prior patent registration No. 10-1865371 of the present applicant) implemented to recognize both fingerprint and finger vein with a single ultrasonic sensor. have.

도 6 내지 도 8에서 설명하게 될 이중 생체정보 인식장치(1)는 대부분의 구성이 중복원용 될 수 있으며, 도 1 내지 도 5와 구동부(30)의 구성에 있어서 다른 실시예를 갖는다. The dual biometric information recognition apparatus 1 to be described with reference to FIGS. 6 to 8 may have a majority of redundant configurations, and has different embodiments in the configuration of the driving unit 30 with FIGS. 1 to 5.

도 6은 압전소자(111)가 2차원 평면상에 어레이 배열된 초음파 센서를 나타낸다. 본 실시예에서, 초음파 센서는 도 1 내지 도 5와 같이 복수개로 구현되어도 무방하고, 단일 초음파 센서로서 저주파와 고주파가 서로 다른 시간동안 방출되도록 제어되어도 무방하다. 6 shows an ultrasonic sensor in which the piezoelectric elements 111 are arrayed on a two-dimensional plane. In this embodiment, a plurality of ultrasonic sensors may be implemented as shown in FIGS. 1 to 5, and a single ultrasonic sensor may be controlled to emit low and high frequencies for different times.

도 6을 참조하면, 구동부(30)는 2차원 평면상에 어레이 배열된 압전소자(111)를 위치에 따라 x, y의 2차원 좌표를 배정할 수 있다. 이 때, 단일 압전소자(111)는 저주파 대역인 S1의 영역에서 표피 지문의 골과 마루에서 반사된 제1 초음파 신호(310)를 수신한다. 또한, 압전소자(111)는 고주파 대역인 S2의 영역에서 지정맥으로부터 반사된 제2 초음파 신호(410)를 수신한다. S1의 영역은 지문 영역으로 이해될 수 있다. S2의 영역은 지정맥 영역으로 이해될 수 있다. 구동부(30)는 압전소자(111)가 방출하는 초음파 신호의 주파수 대역을 z축으로 좌표 설정할 수 있다. 이 경우, 구동부(30)는 3차원의 데이터 박스(31)로 지문 인식 정보와 지정맥 인식 정보를 통합 구축할 수 있다. Referring to FIG. 6, the driving unit 30 may assign two-dimensional coordinates of x and y according to a position of the piezoelectric elements 111 arrayed on a two-dimensional plane. At this time, the single piezoelectric element 111 receives the first ultrasound signal 310 reflected from the bone and the floor of the epidermis fingerprint in the region of S1, which is a low frequency band. Further, the piezoelectric element 111 receives the second ultrasonic signal 410 reflected from the vein in the region of S2, which is a high frequency band. The region of S1 may be understood as a fingerprint region. The region of S2 can be understood as a vein region. The driving unit 30 may set the frequency band of the ultrasonic signal emitted by the piezoelectric element 111 on the z-axis. In this case, the driving unit 30 may integrate fingerprint recognition information and finger vein recognition information into a three-dimensional data box 31.

구동부(30)는 구축된 3차원의 데이터 박스(31)를 비교 데이터로 저장할 수 있다. 다만, 이 경우 3차원의 데이터량이 많음에 따라 3차원의 데이터 박스와 기준 3차원의 데이터 박스를 비교 및 인증처리 함에 다소 시간이 소요될 수 있다. 따라서, 본 실시예에 따른 구동부(30)는 3차원의 데이터 박스(31)로부터 인식한 지정맥의 3차원 형상 데이터를 2차원의 형상 데이터로 변환하여 비교 데이터(313)를 구축할 수 있다. The driving unit 30 may store the constructed three-dimensional data box 31 as comparison data. However, in this case, it may take some time to compare and authenticate the 3D data box and the reference 3D data box due to the large amount of 3D data. Accordingly, the driving unit 30 according to the present embodiment may convert the 3D shape data of the finger vein recognized from the 3D data box 31 into 2D shape data to construct comparison data 313.

도 7은 본 발명의 실시예에 따른 생체정보 데이터 처리 방법으로, 3차원의데이터를 2차원의 비교 데이터(313)로 구축하는 개념을 설명하기 위한 도면이다.7 is a diagram for explaining a concept of constructing 3D data into 2D comparison data 313 as a method for processing biometric data according to an embodiment of the present invention.

도 7을 참조하면, 구동부(30)는 3차원의 데이터 박스(31)로부터 인식한 지정맥의 3차원 형상 데이터(311)를 3축 좌표계에서 정사영하여 2차원의 형상 데이터로 변환할 수 있다. Referring to FIG. 7, the driving unit 30 may convert the 3D shape data 311 of the finger vein recognized from the 3D data box 31 into a 2D shape data by orthogonally projecting in a 3 axis coordinate system.

구동부(30)는 3차원의 데이터 박스(31)로부터 인식한 지정맥의 3차원 데이터에서 연속된 지정맥의 형상이 상이한 z축으로 구분된 경우 서로 다른 플래그를 부여하여, 2차원의 데이터 상에서 상이한 z축의 지정맥 형상을 분별할 수 있다. 고주파의 제2 초음파 신호(410)는 표피 내측의 깊이에 따라 상이한 음향 임피던스를 갖는다. 근적외선에 의한 지정맥 감지를 고려해보면, 2차원의 지정맥 형상 데이터를 취득하며 도 7의 예시에서는 제1 지정맥(311(a))과 제2 지정맥(311(b))이 2차원에서 겹쳐진 형상으로 인식 데이터가 형성된다. 이 경우, 제1 지정맥(311(a) 보다 깊게 위치한 제2 지정맥(311(b))의 정보는 소실된다. 정확한 인식력의 구현이 아직 지정맥 감지에서의 주된 기술이슈임을 고려하면, 지정맥의 z축 정보는 오인식률을 낮출 수 있는 주요한 정보가 될 수 있다. 본 실시예에 따른 구동부(30)는 3차원의 데이터 박스(31)로 지정맥 정보를 구축하고, 제1 지정맥(311(a))과 제2 지정맥(311(b))에 서로 다른 플래그를 부여하여 구분한다. When the shape of the continuous vein is divided into different z-axes in the three-dimensional data of the vein recognized from the three-dimensional data box 31, the driving unit 30 gives different flags, thereby different from the two-dimensional data. It is possible to distinguish the shape of the vein on the z-axis. The high frequency second ultrasonic signal 410 has a different acoustic impedance according to the depth inside the epidermis. Considering the detection of the finger vein by the near infrared ray, the 2D finger vein shape data is acquired. In the example of FIG. 7, the first finger vein 311(a) and the second finger vein 311(b) are obtained in two dimensions. The recognition data is formed in an overlapping shape. In this case, the information of the second vein 311(b) located deeper than the first vein 311(a) is lost. Considering that the implementation of accurate recognition power is still the main technical issue in the detection of vein, The z-axis information of the Mac can be the main information that can lower the misrecognition rate.The driving unit 30 according to the present embodiment constructs the finger vein information with the three-dimensional data box 31, and the first finger vein ( 311(a)) and the second finger vein 311(b) are distinguished by giving different flags.

이후, 3차원의 지정맥 형상 데이터(311)를 3축 좌표계에서 정사영하여 2차원의 형상 데이터로 변환하게 되는데, 종래의 비교 데이터와의 차이점으로, 본 실시예에 따른 비교 데이터(313)는 겹쳐진 2개의 지정맥(311(a), 311(b))에 서로 다른 플래그가 할당되어 겹쳐진 지정맥을 분별할 수 있게 된다.Subsequently, the three-dimensional vein shape data 311 is transformed into two-dimensional shape data by orthogonal projection in a three-axis coordinate system. As a difference from the conventional comparison data, the comparison data 313 according to the present embodiment overlaps. Different flags are assigned to the two veins 311(a) and 311(b), so that overlapping veins can be identified.

본 실시예로, 구동부(30)는 2차원의 형상 데이터로 변환된 지정맥의 정보(311)에 저주파 대역에서 인식된 지문의 인식 정보(312)를 합하여 인증을 위한 비교 데이터(313)로 저장할 수 있다. In this embodiment, the driving unit 30 combines the identification information 312 of the fingerprint recognized in the low frequency band with the information 311 of the finger vein converted into the two-dimensional shape data and stores it as comparison data 313 for authentication. Can.

비교 데이터(313)는 지정맥의 형상 데이터(311) 외에, S1 지문 영역에서 인식된 지문의 형상 데이터(312)가 정합되어 구축될 수 있다. 상기의 비교 데이터(313) 구축시, 한 개의 2차원 데이터로 지문과 지정맥의 AND 조건 인증을 수행할 수 있으므로, 지문의 데이터 비교 단계와 지정맥의 데이터 비교 단계를 각각 수행해야 하는 데이터 처리 시간을 단축할 수 있다. The comparison data 313 may be constructed by matching the shape data 312 of the fingerprint recognized in the S1 fingerprint area, in addition to the shape data 311 of the finger vein. When constructing the comparison data 313, since the AND condition authentication of the fingerprint and the finger vein can be performed with one 2D data, the data processing time to perform the data comparison step of the fingerprint and the data comparison step of the finger vein respectively. Can be shortened.

도 8은 본 발명의 실시예에 따른 생체정보 데이터 처리 방법으로, 3차원의 지정맥 형상 데이터를 벡터 정보로 변환하는 과정을 설명하기 위한 도면이다.8 is a diagram for explaining a process of converting 3D vein shape data into vector information as a method of processing bioinformation data according to an embodiment of the present invention.

구동부(30)는 압전소자(111)의 인접된 위치에서 연속적으로 발생된 감지 신호로 지정맥 혈관의 방향을 설정할 수 있다. 지정맥 혈관의 방향이 설정되면, 복수개의 지정맥 혈관(71, 73, 75)의 데이터에서 수렴되는 좌표가 도출될 수 있다. 구동부(30)는 지정맥 혈관의 방향이 수렴되는 위치를 분기점(77)으로 인식하며, 인식된 분기점(77)의 3축 좌표를 기준으로 분기된 지정맥 혈관의 정보를 벡터 정보로 구축할 수 있다. 분기점(77)의 3축 좌표는 분기점(77)에 위치한 압전소자(111)의 x, y축 좌표(x0, y0)와 압전소자(111)의 감지된 주파수 정보에 의한 z축 좌표(z0)가 될 수 있다. 분기점(77)의 데이터 정보는 P(x0, y0, z0)로 저장될 수 있다.The driving unit 30 may set the direction of the finger vein blood vessel as a detection signal continuously generated at an adjacent position of the piezoelectric element 111. When the direction of a vein vessel is set, coordinates converging from data of a plurality of vein vessels 71, 73, and 75 may be derived. The driving unit 30 recognizes the location where the direction of the vein blood vessels converges as the branch point 77, and can construct the information of the branched vein blood vessel branched on the basis of the 3-axis coordinates of the recognized branch point 77 as vector information. have. The three-axis coordinates of the branch point 77 are the x and y axis coordinates (x 0 , y 0 ) of the piezoelectric element 111 located at the branch point 77 and the z axis coordinates based on the sensed frequency information of the piezoelectric element 111 ( z 0 ). Data information of the branch point 77 may be stored as P(x 0 , y 0 , z 0 ).

구동부(30)는 분기점(77)의 좌표(P)가 계산되면, 이를 기준으로 분기된 지정맥 혈관의 정보를 벡터 정보(

Figure 112020046265616-pat00001
)로 구축한다. 본 실시예로, 구동부(30)는 분기된 혈관(71, 73, 75)의 두께를 벡터의 크기로 대응시킨다. 도 8을 참조하면, 제1 지정맥(71), 제2 지정맥(73), 제3 지정맥(75) 순으로 두껍게 감지되었다면, 제1 지정맥(71)의 벡터(
Figure 112020046265616-pat00012
)크기가 가장 작게 할당되고, 제3 지정맥(75)의 벡터(
Figure 112020046265616-pat00013
) 크기가 가장 길게 할당된다. 또한, 구동부(30)는 분기된 혈관(71, 73, 75)의 방향을 벡터의 방향으로 대응시킨다. 이에 따라, 분기점(P)과 각 벡터(
Figure 112020046265616-pat00002
)는 Φ의 각을 갖는다. 종합하면, 구동부(30)는 설정된 분기점(P)으로부터 X(
Figure 112020046265616-pat00003
)의 특징점이 되는 벡터 정보를 산출할 수 있다. 상기 특징점인 벡터 정보는 Φ와 벡터의 크기가 인증을 위한 비교 파라미터가 될 수 있다. 구동부(30)는 비교 데이터(313)로서, 본 실시예와 같이 빠른 데이터 연산이 가능한 벡터 정보로 특징점을 설정하고, 벡터의 크기와 각도를 인증을 위한 비교 파라미터로 할 수 있다. 본 실시예의 경우, 이미지 데이터의 비교 매칭보다 정확한 데이터의 비교가 가능하며, 데이터의 연산 처리 속도가 향상될 수 있다.When the coordinates P of the branch point 77 are calculated, the driving unit 30 uses the vector information (
Figure 112020046265616-pat00001
). In this embodiment, the driving unit 30 corresponds to the thickness of the branched blood vessels 71, 73, and 75 in the size of the vector. Referring to FIG. 8, if the first vein 71, the second vein 73, and the third vein 75 are detected in the thick order, the vector of the first vein 71 (
Figure 112020046265616-pat00012
) Is assigned the smallest size, the vector of the third finger vein 75 (
Figure 112020046265616-pat00013
) Size is allocated the longest. In addition, the driving unit 30 corresponds to the direction of the branched blood vessels 71, 73, and 75 in the direction of the vector. Accordingly, the branch point P and each vector (
Figure 112020046265616-pat00002
) Has an angle of Φ. Overall, the driving unit 30 is X (from the set branch point P)
Figure 112020046265616-pat00003
) Can calculate vector information as a feature point. In the vector information, which is the feature point, the size of Φ and the vector may be comparison parameters for authentication. As the comparison data 313, the driving unit 30 may set a feature point with vector information capable of fast data calculation as in the present embodiment, and set the size and angle of the vector as comparison parameters for authentication. In the present embodiment, it is possible to compare data more accurately than comparison matching of image data, and the processing speed of data can be improved.

이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다. Although the present invention has been described in detail through exemplary embodiments above, those skilled in the art to which the present invention pertains understand that various modifications are possible within the limits of the embodiments described above without departing from the scope of the present invention. will be. Therefore, the scope of rights of the present invention should not be limited to the described embodiments, but should be determined by any modified or modified form derived from the claims and equivalent concepts as well as the claims described below.

1: 이중 생체정보 인식장치 3: 손가락
31: 끝 마디 32: 중간 마디
10: 초음파 센서부 11: 제1 초음파 센서
13: 제2 초음파 센서 15: 핑거 가이드
111: 압전소자 113: 충진재
30: 구동부 50: 저장부
70: 출력부 15: 지압부
230: 지문 210: 마루(Ridge)
220: 골(Valley) 240, 250: 지정맥
310: 제1 초음파 신호 410: 제2 초음파 신호
31: 3차원의 데이터 박스 311: 지정맥 형상 데이터
312: 지문 형상 데이터 313: 비교 데이터
71: 제1 지정맥 73: 제2 지정맥
75: 제3 지정맥 77: 지정맥 분기점
1: Dual biometric information recognition device 3: Finger
31: End node 32: Middle node
10: ultrasonic sensor unit 11: first ultrasonic sensor
13: second ultrasonic sensor 15: finger guide
111: piezoelectric element 113: filling material
30: drive unit 50: storage unit
70: output section 15: acupressure section
230: Fingerprint 210: Ridge
220: Valley 240, 250: Vein
310: first ultrasonic signal 410: second ultrasonic signal
31: three-dimensional data box 311: vein shape data
312: fingerprint shape data 313: comparative data
71: first vein 73: second vein
75: third vein 77: vein divergence

Claims (5)

사용자의 손가락이 안치되며, 손가락의 길이 방향으로 구역이 분획된 핑거 가이드;
상기 핑거 가이드에 마련되며, 복수개의 압전소자를 포함하고, 상기 압전소자는 2차원(x,y)으로 배열되어 초음파를 방출하고, 상기 핑거 가이드에서 손가락의 끝 마디에 마련되어 사용자의 지문을 인식하는 제1 초음파 센서와 상기 핑거 가이드에서 손가락의 중간 마디에 마련되어 사용자의 지정맥을 인식하는 제2 초음파 센서를 포함하는 초음파 센서부; 및
상기 초음파 센서부의 감지 신호를 수신하여, 신호처리를 통해 사용자의 지문 정보를 저장하고, 상기 압전소자의 인접된 위치에서 연속적으로 발생된 감지 신호로 지정맥 혈관의 방향을 계산하여 지정맥 혈관의 방향이 수렴되는 위치를 3차원 분기점으로 인식하여, 인식된 상기 분기점의 3축 좌표를 기준으로 분기된 지정맥 혈관의 정보를 3차원 벡터 정보로 구축하여 저장하고, 지정맥의 3차원 형상 데이터를 정사영하여 2차원의 형상 데이터로 변환하는 구동부를 포함하며,
상기 구동부는,
지정맥의 3차원 데이터에서 연속된 지정맥의 형상이 상이한 z축으로 구분된 경우 서로 다른 플래그를 부여하여 구분하고,
상기 분기점은,
상기 초음파 센서부의 상기 압전소자 각각의 위치를 x, y축 좌표로 설정하고, 상기 압전소자에서 방출되는 초음파 신호의 반사 계수를 z축 좌표로 설정 하는 것을 특징으로 하는 생체정보 인식장치.
A finger guide in which a user's finger is placed and the zone is divided in the length direction of the finger;
It is provided on the finger guide, includes a plurality of piezoelectric elements, the piezoelectric elements are arranged in two dimensions (x, y) to emit ultrasonic waves, the finger guide is provided at the end of the finger to recognize the user's fingerprint An ultrasonic sensor unit including a first ultrasonic sensor and a second ultrasonic sensor provided at a middle node of the finger in the finger guide to recognize a user's finger vein; And
Receiving the detection signal of the ultrasonic sensor unit, storing the user's fingerprint information through signal processing, and calculating the direction of the vein blood vessel by detecting the signal continuously generated at an adjacent position of the piezoelectric element to the direction of the vein blood vessel By recognizing this converging position as a 3D branch point, information on the branched vein vessel branched based on the recognized 3-axis coordinate of the branch point is constructed and stored as 3D vector information, and 3D shape data of the finger vein is orthogonal And includes a driving unit for converting to two-dimensional shape data,
The driving unit,
When the shape of the continuous vein in the 3D data of the vein is divided into different z-axes, it is classified by giving different flags,
The branch point,
Biometric information recognition apparatus characterized in that the position of each of the piezoelectric elements of the ultrasonic sensor unit is set to coordinates of x and y axes, and a reflection coefficient of the ultrasonic signal emitted from the piezoelectric elements is set to z-axis coordinates .
삭제delete 제 1 항에 있어서,According to claim 1,
상기 구동부는,The driving unit,
상기 3차원의 데이터 박스에 있어서, Z축의 정보로 0 초과 15MHz 미만의 주파수 영역을 지문 영역으로 설정하고, 15MHz 이상 100MHz 이하의 주파수 영역을 지정맥 영역으로 설정하여 상기 초음파 센서의 감지 정보를 분류하는 것을 특징으로 하는 생체정보 인식장치.In the three-dimensional data box, the frequency domain of more than 0 and less than 15 MHz is set as the fingerprint region, and the frequency region of 15 MHz or more and 100 MHz is designated as the finger vein region as the Z-axis information to classify the detection information of the ultrasonic sensor. Biometric information recognition device, characterized in that.
제 1 항에 있어서,According to claim 1,
상기 구동부는,The driving unit,
2차원의 형상 데이터로 변환된 상기 지정맥의 정보에 저주파 대역에서 인식된 지문의 인식 정보를 합하여 인증을 위한 비교 데이터로 저장하는 것을 특징으로 하는 생체정보 인식장치.Biometric information recognition device characterized in that the fingerprint information recognized in the low frequency band is added to the information of the finger vein converted into 2D shape data and stored as comparison data for authentication.

삭제delete
KR1020190092920A 2019-07-31 2019-07-31 Ultrasound-based biometric information recognition device and finger vein data build up method KR102138358B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190092920A KR102138358B1 (en) 2019-07-31 2019-07-31 Ultrasound-based biometric information recognition device and finger vein data build up method
PCT/KR2019/016654 WO2021020662A1 (en) 2019-07-31 2019-11-29 Ultrasonic-based biometric information recognition device and finger vein data construction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190092920A KR102138358B1 (en) 2019-07-31 2019-07-31 Ultrasound-based biometric information recognition device and finger vein data build up method

Publications (1)

Publication Number Publication Date
KR102138358B1 true KR102138358B1 (en) 2020-07-27

Family

ID=71893928

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190092920A KR102138358B1 (en) 2019-07-31 2019-07-31 Ultrasound-based biometric information recognition device and finger vein data build up method

Country Status (2)

Country Link
KR (1) KR102138358B1 (en)
WO (1) WO2021020662A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101354881B1 (en) * 2012-08-24 2014-02-05 한국오므론전장주식회사 Apparatus and method for recognizing vein of finger
KR101626837B1 (en) * 2015-12-08 2016-06-02 주식회사 나르테크놀로지 Method and apparatus for convergence biometric authentication based on finger joint and finger vein
KR101865371B1 (en) 2016-12-30 2018-06-07 주식회사 베프스 2-factor authentification apparatus and method using ultrasonic wave
KR20180063596A (en) * 2016-12-02 2018-06-12 한국기계연구원 Module for recognizing biometric information of finger and electronic device using the same and manufacturing method of module for recognizing biometric information of finger and manufacturing method of transducer
KR20190047213A (en) * 2017-10-27 2019-05-08 (주)코리센 Apparatus for recognizing finger vein

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899493B1 (en) * 2016-12-30 2018-09-18 주식회사 베프스 Biometric authentication apparatus using 3d finger vein and method using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101354881B1 (en) * 2012-08-24 2014-02-05 한국오므론전장주식회사 Apparatus and method for recognizing vein of finger
KR101626837B1 (en) * 2015-12-08 2016-06-02 주식회사 나르테크놀로지 Method and apparatus for convergence biometric authentication based on finger joint and finger vein
KR20180063596A (en) * 2016-12-02 2018-06-12 한국기계연구원 Module for recognizing biometric information of finger and electronic device using the same and manufacturing method of module for recognizing biometric information of finger and manufacturing method of transducer
KR101865371B1 (en) 2016-12-30 2018-06-07 주식회사 베프스 2-factor authentification apparatus and method using ultrasonic wave
KR20190047213A (en) * 2017-10-27 2019-05-08 (주)코리센 Apparatus for recognizing finger vein

Also Published As

Publication number Publication date
WO2021020662A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
JP7073323B2 (en) Spoof detection with ultrasonic subcutaneous probe
US10621404B2 (en) Biometric sensing device for three dimensional imaging of subcutaneous structures embedded within finger tissue
KR101865371B1 (en) 2-factor authentification apparatus and method using ultrasonic wave
US11017251B2 (en) Ultrasonic imaging devices and methods
KR101899493B1 (en) Biometric authentication apparatus using 3d finger vein and method using the same
KR101288178B1 (en) Sensor and method for detecting fingerprint
US11301552B2 (en) Medical device with integrated ultrasonic authentication
KR101850378B1 (en) Apparatus and method for authentication by identifying biometrics
WO2018151547A1 (en) Biometric information recognition apparatus and biometric information recognition method using same
KR102138358B1 (en) Ultrasound-based biometric information recognition device and finger vein data build up method
KR102116295B1 (en) Ultrasound-based dual biometric information recognition device
US20210334495A1 (en) Display device including a fingerprint sensor and a method of driving the same
KR20210015603A (en) Ultrasound-based dual biometric information recognition device
KR101696448B1 (en) Apparatus and method for recognizing biometric information with central point of finger print
WO2021020661A1 (en) Ultrasound-based dual biometric information recognition device and biometric information data processing method
US20220392249A1 (en) Deep finger ultrasonic sensor
KR101696444B1 (en) Keyboard and method for scanning biometric information of multiple fingers
KR20200057464A (en) Wave guide and ultrasonic sensor including the same

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant