KR102429865B1 - 사용자 인증 장치 - Google Patents

사용자 인증 장치 Download PDF

Info

Publication number
KR102429865B1
KR102429865B1 KR1020150085598A KR20150085598A KR102429865B1 KR 102429865 B1 KR102429865 B1 KR 102429865B1 KR 1020150085598 A KR1020150085598 A KR 1020150085598A KR 20150085598 A KR20150085598 A KR 20150085598A KR 102429865 B1 KR102429865 B1 KR 102429865B1
Authority
KR
South Korea
Prior art keywords
hand
region
biometric information
image
hand region
Prior art date
Application number
KR1020150085598A
Other languages
English (en)
Other versions
KR20160148863A (ko
Inventor
윤호섭
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150085598A priority Critical patent/KR102429865B1/ko
Priority to US15/076,767 priority patent/US10044711B2/en
Publication of KR20160148863A publication Critical patent/KR20160148863A/ko
Application granted granted Critical
Publication of KR102429865B1 publication Critical patent/KR102429865B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

스마트 폰이나 패드 같은 이동이 가능한 카메라 및 PC에 내장된 고 해상도의 고정식 카메라를 이용해서 손등 및/또는 손바닥을 촬영하고 촬영된 영상부터 다양한 생체정보를 추출한 후 이를 등록하고 신규로 새로운 영상이 입력되면 이를 인증하는 장치를 제시한다. 제시된 장치는 입력받은 손 영상에서 손 영역을 검출하는 손 영역 검출부, 검출된 손영역을 이진화하고 이진화된 손 영역을 정규화하는 손 영역 정규화부, 정규화된 손 영역에서 고유의 손 생체정보를 추출하는 손 생체정보 추출부, 및 추출된 손 생체정보를 등록하고 등록된 손 생체정보를 근거로 해당 사용자에 대한 인증을 수행하는 손 생체정보 등록 및 인증부를 포함한다.

Description

사용자 인증 장치{Apparatus for user verification}
본 발명은 사용자 인증 장치에 관한 것으로, 보다 상세하게는 휴대폰이나 PC 등에 장착된 카메라를 이용하여 자신의 손 모양을 인식하여 사용자의 신원을 인증하는 장치에 관한 것이다.
종래 휴대폰을 이용한 생체인증 방식은 주로 얼굴 정보를 이용하거나, 지문 정보를 이용하거나, 홍채 정보를 이용하는 방법 등이 시도 중이다.
그러나, 얼굴인식의 경우 아직까지 정확도 측면에서 만족할 만한 결과를 얻지 못하였으며, 지문 인식의 경우 특별한 하드웨어가 필요하며, 홍채 인식의 경우도 이를 위한 특정한 하드웨어(예컨대, 근접 카메라, 적외선 조명) 등이 필요하여 아직까지 현실화되지 못하고 있다.
또한, 기존의 생체 인식 방법으로는 지문, 정맥 패턴, 목소리, 손 모양, 손금을 이용한 방식을 들 수 있다. 그러나, 대부분의 종래의 방식들은 생체 정보를 획득하기 위한 별도의 하드웨어(예컨대, 지문 입력기, 정맥 입력기, 손 스케너, 마이크 등)의 도움을 받아야 한다. 접촉식 센서의 경우, 위생 문제와 접촉에 의한 잡음 문제를 해결할 수 있는 방법이 없다. 또한, 가짜 생체 정보(예컨대, 고무, 실리콘, 젤라틴 등)를 이용하여 생체 정보를 모방하였을 시, 보안상에 치명적인 결과를 초래한다.
이러한 문제점을 해결하기 위해, 현재 이동식/고정식 IT기기에 내장된 고화질의 카메라를 이용하여 비 접촉식으로 손의 생체 정보를 종합적으로 추출한 후, 이를 이용하여 모방이 불가능하며 높은 수준의 보안 효과를 갖는 새로운 방식의 인증 기술이 요구된다.
본 발명과 관련되는 선행기술로는, 대한민국 공개특허 제2008-0025340호(생체 인증 장치의 생체 유도 제어 방법 및 생체 인증 장치), 대한민국 등록특허 제1327939호(손가락의 기하학적 특징에 대한 상대적인 비율 정보를 이용한 생체인식 시스템 및 그 방법), 대한민국 공개특허 제2006-0057085호(사용자 인증을 위한 이동통신 단말기 및 방법)가 있다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 스마트 폰이나 패드 같은 이동이 가능한 카메라 및 PC에 내장된 고 해상도의 고정식 카메라를 이용해서 손등 및/또는 손바닥을 촬영하고 촬영된 영상부터 다양한 생체정보를 추출한 후 이를 등록하고 신규로 새로운 영상이 입력되면 이를 인증하는 장치를 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 사용자 인증 장치는, 입력받은 손 영상에서 손 영역을 검출하는 손 영역 검출부; 상기 검출된 손영역을 이진화하고 이진화된 손 영역을 정규화하는 손 영역 정규화부; 상기 정규화된 손 영역에서 고유의 손 생체정보를 추출하는 손 생체정보 추출부; 및 상기 추출된 손 생체정보를 등록하고, 등록된 손 생체정보를 근거로 해당 사용자에 대한 인증을 수행하는 손 생체정보 등록 및 인증부;를 포함한다.
상기 손 영역 검출부는 피부색 기반으로 손 영역을 검출할 수 있다.
상기 손 영역 정규화부는 상기 검출된 손 영역의 중심점의 일부 영역을 샘플링하여 피부색 컬러를 획득하고, 이를 이용하여 손 영역을 이진화하고, 이진화된 손 영역의 테두리에서 손의 주요 포인트를 검출하고, 손의 주요 포인트에서 중지를 검출하여 중지가 영상의 중심이 되도록 영상을 회전시키고, 손목 영역의 경계선을 확정할 수 있다.
상기 손 생체정보 추출부는 손등 생체정보 및 손바닥 생체정보를 손 생체정보로 추출할 수 있다.
상기 손 생체정보 추출부는 상기 정규화된 손 영역내의 피부 패턴을 분석하여 손금이 없는 영상을 손등 영상으로 구분할 수 있다.
상기 손 생체정보 추출부는 상기 손등 영상을 근거로 손 둘레 형태, 손가락과 손목 및 손등의 길이 및 두께의 비, 손톱의 모양과 길이 및 두께의 비, 손마디의 지문 패턴, 손 털의 위치와 형태 및 분포의 비, 점의 위치와 형태 및 분포의 비, 피부색 변형 위치와 형태 및 분포의 비, 및 손 영역을 이루는 전체 피부색 영역의 특징중에서 하나 이상을 손등 생체정보로 추출할 수 있다.
상기 하나 이상의 손등 생체정보는 각각 가중치가 결합될 수 있다.
상기 손 생체정보 추출부는 상기 정규화된 손 영역내의 피부 패턴을 분석하여 손금이 있는 영상을 손바닥 영상으로 구분할 수 있다.
상기 손 생체정보 추출부는 상기 손바닥 영상을 근거로 손 둘레 형태, 손가락과 손목 및 손바닥의 길이 및 두께의 비, 손마디의 지문 패턴, 손목의 지문 패턴, 손금 영역의 지문 패턴, 및 손 영역을 이루는 전체 피부색 영역의 특징중에서 하나 이상을 손바닥 생체정보로 추출할 수 있다.
상기 하나 이상의 손바닥 생체정보는 각각 가중치가 결합될 수 있다.
이러한 구성의 본 발명에 따르면, 특별한 입력 장치 없이 카메라가 내장된 이동이 가능한 일반적인 IT 기기를 이용해서 등록된 사용자의 손 모양을 획득하고 신원을 인식할 수 있다.
이 경우, 얼굴 영상에 비해 보다 더 편리하게 생체 정보를 입력할 수 있고, 지문 인식과 같이 특별한 입력 장치가 필요 없으며, 동영상 처리로 인해 가짜 생체 정보에 강인하다. 즉, 각 개인이 가지고 있는 손 모양이라는 고유의 생체 특징은 쉽게 획득가능하며, 정확한 인증 결과를 가지며, 타 생체정보에 비해 보다 모방이나 위조가 어려우므로, 높은 정보 보안성을 갖는다.
도 1은 본 발명의 실시예에 따른 사용자 인증 장치의 구성도이다.
도 2는 도 1에 도시된 손영역 검출부 및 손영역 정규화부의 동작을 설명하는 흐름도이다.
도 3 내지 도 10은 도 2의 설명에 채용되는 도면들이다.
도 11은 도 1에 도시된 손등 생체정보 추출부의 동작을 설명하는 흐름도이다.
도 12 내지 도 19는 도 11의 설명에 채용되는 도면들이다.
도 20은 도 1에 도시된 손바닥 생체정보 추출부의 동작을 설명하는 흐름도이다.
도 21 내지 도 26은 도 20의 설명에 채용되는 도면들이다.
도 27은 본 발명의 실시예가 구현된 컴퓨터 시스템을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 사용자 인증 장치의 구성도이다.
본 발명의 실시예에 따른 사용자 인증 장치는, 입력부(10), 손 영역 검출부(20), 손 영역 정규화부(30), 손등 생체정보 추출부(40), 손바닥 생체정보 추출부(50), 및 손 생체정보 등록 및 인증부(60)를 포함한다.
입력부(10)는 카메라를 통해 손등 및/또는 손바닥 영상을 포함하는 손 영상을 입력받는다. 입력부(10)는 스마트폰 또는 패드와 같은 이동이 가능한 카메라 및 PC에 내장된 고해상도의 고정식 카메라를 포함한다.
손 영역 검출부(20)는 입력부(10)에서 입력받은 손 영상에 대해 피부색 기반으로 손 영역을 검출한다.
손 영역 정규화부(30)는 손영역 검출부(20)에서 검출된 손 영역의 보다 정확한 형태를 구하기 위해, 검출된 손영역을 이진화하고 이진화된 손 영역을 정규화한다.
손등 생체정보 추출부(40)는 손 영역 정규화부(30)에 의해 정규화된 손 영역내의 피부 패턴을 분석하여 손등 영상을 구분해 내고, 구분해 낸 손등 영상을 근거로 고유의 생체 정보를 추출한다.
손바닥 생체정보 추출부(50)는 손영역 정규화부(30)에 의해 정규화된 손 영역내의 피부 패턴을 분석하여 손바닥 영상을 구분해 내고, 구분해 낸 손바닥 영상을 근거로 고유의 생체 정보를 추출한다.
손등 생체정보 추출부(40) 및 손바닥 생체정보 추출부(50)를 손 생체정보 추출부로 통칭할 수 있다.
손 생체정보 등록 및 인증부(60)는 손등 생체정보 추출부(40) 및 손바닥 생체정보 추출부(50)로부터 손등 및 손바닥의 생체정보를 제공받아 등록하고, 등록된 손등 및 손바닥의 생체정보를 근거로 해당 사용자에 대한 인증을 수행한다.
도 2는 도 1에 도시된 손영역 검출부(20) 및 손영역 정규화부(30)의 동작을 설명하는 흐름도이고, 도 3 내지 도 10은 도 2의 설명에 채용되는 도면들이다.
먼저, 입력부(10)는 카메라를 통해 손등 및/또는 손바닥 영상을 입력받는다. 이때, 휴대폰을 들고 손 영역을 찍는다고 가정하면 대략 카메라로부터 20 ~ 50cm 이내의 거리에서 찍게 되고 손이 영상의 중심에 위치하도록 입력받는다. 또한 고화질로 손 영역을 찍어야 이후 단계에서 검출하고자 하는 손에서 나타나는 특징 정보들을 원활하게 추출할 수 있다. 손 영역을 찍는 카메라는 기본적으로는 현재 시판되는 휴대폰(혹은 패드)에 일상적으로 적용되는 카메라 외에, 향후 적용이 예상되는 3D depth 카메라나 스테레오 카메라 등도 활용 가능하다. 이 같은 카메라를 사용시에는 3D 정보를 활용하여 손 영역 검출부(20)의 역할을 쉽고 정확하게 처리 할 수 있는 장점이 있으며, 손 영역 생체정보 추출부(손등 생체정보 추출부(40) 및 손바닥 생체정보 추출부(50)를 포함)에서도 3D 형태의 특징을 쉽게 추출 및 이용할 수 있는 장점이 있다.
이와 같이 손 영상이 입력되면 손 영역 검출부(20)가 손 영역을 검출하게 된다. 손 영역 검출 동작은 도 2의 흐름도에 자세히 기술하였다.
도 2에서, 손 영상(도 3 참조)이 입력되면, 일반적인 피부색 기반 손 영역 검출방법, 예를 들면 RGB 신호를 YCbCr 신호로 변경하고, Cbmin < I(x,y) < Cbmax, Crmin < I(x,y) < Crmax 조건에 만족하는 화소 I(x,y)를 피부색 영역으로 판정하거나, 영상에서 에지 정보를 검출하고 이를 분석해서 손 영역을 판정하거나, 영상을 동일한 색상을 가진 영역끼리 세그멘테이션(Segmentation)해서 분리하는 등 다양한 이진화 방법(도 4 참조)을 사용해서 배경과 손 영역을 분리한다(S10).
배경과 손 영역이 분리되면 분리된 손 영역이 일반적인 손의 형태를 가지고 있는지 검증하는 과정을 거친다(S12). 즉, 손 영역이 5개의 손가락과 손등 및 손목의 형태를 가지고 있는지를 검증한다. 이와 같은 검증 과정을 통과하지 못하면 손 영역이 입력되지 않은 것으로 보고 처음으로 돌아가 다시 영상을 입력받는다.
검증 과정을 통과하면 손 영역 정규화부(30)에서의 손 영역 정규화 과정(S14 ~ S24)을 거치게 된다. 손 영역 정규화 과정에서는 먼저, 기 검출된 손 영역의 보다 정확한 형태를 구하기 위해서, 검출된 손 영역의 중심점의 일부 영역을 샘플링하여 입력된 환경에 맞는 손 영역의 피부색 컬러(예컨대, 살색)를 획득한다(S14). 이후, 이를 이용해 다시 손 영역을 좀 더 정확하게 이진화한다(S16). 이진화된 손 영역의 중심점을 찾는 방법은 전체 이진화된 영역의 평균 x, y정보를 이용하면 된다. 그리고, 중심점에서 얻어진 손 영역의 피부색 정보를 이용하는 방법은 기존의 피부색 이진화 정보 Cbmin, Cbmax, Crmin, Crmax를 보조하는 방법을 활용한다.
손 영역 이진화가 완성되면, 다음은 이진화된 손 영역의 테두리를 추출하고, 추출된 손 영역의 테두리에서 급격하게 변화가 발생하는 위치들을 손의 주요 포인트로 검출한다(S18). 이때, 손의 주요 포인트들은 일반적인 손 모양을 이미 알고 있으므로, 손의 형태를 충분히 확인할 수 있도록 각 요소 위치를 미리 사전에 정의하고 찾는 방식을 취한다. 도 6에서 사전에 정의된 주요 포인트를 볼 수 있다. 본 발명의 실시예에서는 주요 포인트들의 위치를 도 6에 나타난 위치로 한정하지 않으며, 향후 필요에 따라 확장되거나 줄어들 수 있다.
손의 주요 포인트가 검출되면 다음 단계는 중지 및 중지의 중심선을 검출한다(S20). 이미 손 모양을 알고 있고, 손의 주요 포인트 정보를 알고 있으므로 중지를 이루는 주요 포인트 정보를 이용하여 도 7과 같이 중지를 가로 지르는 중심선을 구할 수 있다.
다음 단계는 도 8과 같이 중지가 영상의 중심이 되도록 영상을 회전시켜 각도를 정규화한다(S22). 이때, 중지의 각도는 수평으로 정규화할 수도 있고, 수직으로 정규화할 수도 있는데, 본 발명의 실시예에서는 수직으로 정규화하는 방법을 예시한다.
각도가 정규화되면 정규화의 마지막 단계로서, 입력된 손목의 크기를 잘라내는 정규화를 수행한다(S24). 예를 들어, 도 9에서와 같이 손목 정규화의 크기는 중지의 1/3 크기를 추출한 후, 손목이 시작되는 부분에서 중지의 3/1 크기만큼 아래로 확장해서 잘라내는 방식을 제시한다. 이를 통해, 최종적으로 정규화된 손 영역을 도 10에서 볼 수 있다. 이때, 주의할 점은 일반적으로 손가락을 굽혀 영상을 촬영하면 손가락의 크기가 작아진다. 그러므로, 손가락의 길이를 사용하기 전에 굽혀진 손가락을 영상처리 기법을 이용하여 펴서 정확한 손가락의 길이나 나오도록 하는 정규화가 필요하다. 굽혀진 손가락을 피는 방법은 손의 둘레 정보를 분석해서 손의 둘레가 곡선에서 직선이 되도록 보간 기법을 이용하면 된다.
이번에는, 정규화된 손 영역을 근거로 손등 생체정보 추출부(40) 및 손바닥 생체정보 추출부(50)에서 손등 생체정보 및 손바닥 생체정보를 추출하는 과정에 대해 설명한다. 도 11은 도 1에 도시된 손등 생체정보 추출부의 동작을 설명하는 흐름도이고, 도 12 내지 도 19는 도 11의 설명에 채용되는 도면들이다.
정규화된 손 영역내의 피부 패턴을 분석하여, 손금이 있는 영상은 손바닥 영상으로 구분할 수 있고, 손금이 없는 영상은 손등 영상으로 구분할 수 있다. 만약, 입력된 영상이 손등 영상이면 손등에 적합한 특징들을 정의하고 추출하는 과정을 거치며, 손바닥 영상이면 손바닥에 적합한 특징들을 정의하고 추출하는 과정을 거치게 된다.
먼저, 입력 영상이 손등 영상일 경우, 손등 생체정보 추출부(40)에 의한 손등 생체정보 추출이 이루어진다. 도 11의 흐름도에 따르면, 본 발명의 실시예에서는 손등에서 총 8가지 특징을 추출할 수 있다. 각 특징들은 각각 고유의 생체정보들을 가지며, 실제 사람마다 손등에서 각각 얼마나 다른 값을 갖는지, 얼마나 추출 정확도가 높은지 등에 따라 각 특징의 중요도가 가중치(W1 ~ W8)로 결합되어 최종 인증 모듈(즉, 손 생체정보 등록 및 인증부(60))에 활용된다. 즉, 손등 생체특징들은 아래의 공식에 의해 각 사람의 고유 생체정보로 융합될 수 있다.
PersonHandUp = HandUp_Contour * W1 + HandUp_LengthRate * W2 + HandUp_Nail * W3 + HandUp_Finger_Joint * W4 + HandUp_Hair * W5 + HandUp_Spot * W6 + HandUp_SkinNoise * W7 + HandUp_SkinFullRegion * W8
먼저, 손 둘레 형태(HandUp_Contour)를 추출한다(S30). 위 공식에서 손 둘레 형태(HandUp_Contour)의 특징은 도 12와 같이 손 둘레 정보의 특징을 의미한다. 사람마다 손 둘레 형태는 각각 고유하며 이 손 둘레 형태로부터 고유의 생체정보의 획득이 가능하다.
그리고, 손가락 및 손등 길이와 두께의 비(HandUp_LengthRate)는 중지의 길이를 "1"로 정규화하고, 이 중지의 길이에 비례한 손가락 및 손목, 손등 길이 비를 특징으로 추출한다(S32). 본 발명의 실시예에서는 도 13에 예시된 길이의 비 뿐만 아니라 손 영역 내에 존재하는 각 사람마다 다르게 존재하는 길이의 비 모두를 활용한다.
그리고, 각각의 손가락에 존재하는 손톱의 모양과 길이 및 두께의 비(HandUp_Nail)를 고유의 생체 특징으로 추출한다(S34). 도 14에서는 각각의 손가락에 존재하는 손톱의 모양과 길이 및 두께의 비를 고유의 생체 특징(HandUp_Nail)으로 추출하는 방법을 보여준다. 여성의 경우 손톱 내부에 다양한 네일 아트 형상을 붙일 수 있으므로 손톱 내부의 형태를 제외한 둘레 모양 및 손톱이 이루고 있는 두께 길이 등을 특징으로 활용할 수 있다.
그리고, 손마디에 나타나는 지문 패턴(HandUp_Finger_Joint)을 특징으로 추출한다(S36). 도 15에서는 손마디에 나타나는 지문 패턴(HandUp_Finger_Joint)을 특징으로 추출하는 방법을 제시하고 있다. 사람마다 각 손마디에 나타나는 지문 패턴은 고유하며, 이를 정확히 분석하면 사람을 인증할 수 있는 특징의 추출이 가능하다.
그리고, 손가락과 손등의 특정 위의 털의 형태 및 분포를 특징(HandUp_Hair)으로 추출한다(S38). 도 16에서는 손가락과 손등의 특정 부위의 털의 형태 및 분포를 특징(HandUp_Hair)으로 활용하는 방법을 보여준다. 사람마다 특정 위치에 털들이 존재하고 각 털의 분포 및 형태는 고유의 특징을 갖는다. 본 발명의 실시예에서는 이러한 털에 관한 정보를 고유 생체 정보로 추출하고 이용한다. 도 16에서 정의한 위치만을 본 발명의 실시예에서 한정하지 아니하고 각 개인을 구별할 수 있는 모든 손 등 영역의 털의 위치를 활용할 수 있다.
다음은, 손에 위치한 특정한 점의 크기 및 형태(HandUp_Spot)를 특징으로 추출한다(S40). 도 17에서는 손에 위치한 특정한 점의 크기 및 형태를 특징(HandUp_Spot)으로 정의하는 방법을 보여준다. 사람마다 특정한 위치에 고유의 점들이 존재할 수 있으며, 피부색 정보와 다르기 때문에 영상처리 기법을 이용하여 검출이 가능하다. 이러한 검출된 점들의 크기 및 위치는 각 개인을 구별하는 고유의 생체 정보로 활용이 가능하다.
그리고, 피부색 변형 위치(HandUp_SkinNoise)를 특징으로 추출한다(S42). 도 18에서는 점을 제외하고 흉터나 상처로 인한 피부색과 구별되는 피부색 변형 위치(HandUp_SkinNoise)를 특징으로 추출한 결과를 보여준다. 점들과 동일하게 피부색 정보와 다른 이러한 피부색 변형 위치 및 형태는 각 개인을 구별할 수 있는 중요한 특징 정보가 된다.
이후, 손 영역을 이루는 전체 피부색 영역의 특징(HandUp_SkinFullRegion)을 추출한다(S44). 도 19에서는 손 영역을 이루는 전체 피부색 영역의 특징(HandUp_SkinFullRegion)을 개인을 구별하는 특징 정보로 활용하는 방법을 보여준다. 이전까지의 특징은 손등 영역 내에서 각각 지역적인 특징 정보들을 추출한 것이다. 그러나, 손 영역 전체 특징 정보(HandUp_SkinFullRegion)는 전체 손 영역을 하나의 표준 손 형태로 매핑시킨 후, 표준 영역 내의 전체 스킨 정보의 분포를 PCA(주 성분 분석) 등의 기법을 이용하여 통계적으로 특징을 추출하는 방법을 제시한다. 본 발명의 실시예에서는 통계적으로 특징을 추출하는 방법을, 예시된 PCA, ICA, LDA 기법으로 한정하지 아니하고 기존의 패턴인식에서 활용되는 모든 활용 가능한 통계적인 방법을 사용하여도 무방하다.
한편, 앞서 설명한 바와 같이 입력영상에 손바닥이 입력되면 손바닥 생체정보 추출부(50)의 손바닥 생체정보 추출 동작이 행해진다. 도 20은 도 1에 도시된 손바닥 생체정보 추출부(50)의 동작을 설명하는 흐름도이고, 도 21 내지 도 26은 도 20의 설명에 채용되는 도면들이다.
도 20의 흐름도에 따르면, 본 발명의 실시예에서는 손바닥에서 총 6가지 특징을 추출할 수 있다. 손등의 특징들과 동일하게 각 특징들은 각각 고유의 값들을 가지며, 실제 사람마다 손바닥에서 각각 얼마나 다른 값을 갖는지, 얼마나 추출 정확도가 높은지 등에 따라 각 특징의 중요도가 가중치(W1 ~ W6)로 결합되어 인증에 활용된다. 즉, 특징들은 아래의 공식에 의해 각 사람의 고유 생체 정보를 융합될 수 있다.
PersonHandParm = HandParm_Contour * W1 + HandParm_Length_Rate * W2 + HandParm_Finger_Joint_Print * W3 + HandParm_Hand_Neck_Print * W4 + HandParm_Line * W5 + HandParm_SkinFullRegion * W6
먼저, 손 둘레 모양 특징(HandParm_Contour)과 손가락/손목/손바닥 길이 두께 비(HandParm_Length_Rate)를 추출한다. 도 21 및 도 22에서 설명하는 손 둘레 모양 특징(HandParm_Contour)과 손가락/손목/손바닥 길이 두께 비(HandParm_Length_Rate)는 앞서 설명한 손등에서 추출하는 방법과 동일하다(S50, S52).
그리고, 손마디의 지문 패턴(HandParm_Finger_Joint_Print)을 추출한다(S54). 도 23에서는 손마디의 지문 패턴(HandParm_Finger_Joint_Print)의 형태를 이용한 특징 추출을 기술한다. 사람마다 지문과 동일하게 손마디 패턴은 고유의 형태를 갖는다.
그리고, 손목의 지문 패턴(HandParm_Hand_Neck_Print)을 추출한다(S56). 도 24에서는 손목의 지문 패턴(HandParm_Hand_Neck_Print)을 이용한 특징 추출을 설명한다. 사람마다 손목에는 고유의 지문 패턴이 있으며 이를 영상처리 기법을 활용하여 특징을 추출한다.
그리고, 손금 영역의 지문을 영상처리 기법을 이용하여 특징으로 추출한다(S58). 도 25에서는 일반적으로 많이 사용하는 손금 영역의 지문을 영상처리 기법을 이용해 특징으로 추출한 결과를 보인다. 손금을 이용한 사용자 인증은 기존의 연구나 특허에서도 활용되었으므로 굳이 본 발명의 특허청구의 대상으로 하지 않아도 된다.
마지막으로, 손바닥을 이루는 전체 피부색 영역의 통계적인 특징(HandUp_SkinFullRegion)을 추출한다(S60). 도 26에서는 손바닥을 이루는 전체 피부색 영역의 통계적인 특징(HandUp_SkinFullRegion)을 개인을 구별하는 특징 정보로 활용하는 방법을 보여준다. 이 방법은 앞서 설명한 손등에서의 특징 추출 방법과 동일하나, 손등이 아니라 손바닥을 대상으로 한다.
상술한 바와 같이 각각의 사람들로부터 각 개인의 고유 생체정보를 손등과 손바닥으로부터 얻을 수 있다.
보다 높은 정확도 및 보안의 중요성을 위해, 손 생체정보 등록 및 인증부(60)는 아래 식과 같이 손등과 손바닥 정보를 합쳐서 개인 인증에 활용할 수도 있고, 보완의 중요성보다 활용의 편의성을 우선시 될 때는 손등이나 손바닥 각각 만을 활용하여 인증을 시도할 수 있다.
PersonID = PersonHandUp + PersonHandParm
손 영역의 생체정보를 이용하여 개인 인증을 시도할 때, 가짜 생체정보(고무, 실리콘, 젤라틴 등)를 이용하여 생체정보를 모방하였을 시를 대비하기 위해서, 손 영역의 피부색 변화를 일정시간 동안 관찰하면 맥박 정보를 추출할 수 있다. 그에 따라, 본 발명의 실시예에서는 손 영역의 피부색 변화를 관찰하기 위해 영상을 입력할 시, 하나의 프레임만을 입력하는 것이 아니라 맥박이 추출 가능한 1~3초간의 여러 프레임을 입력받는 방식을 제안한다. 또한, 하나의 프레임을 입력받는 것이 아니라 여러 프레임을 입력받으면 여러 프레임을 통해 각각의 생체 특징 정보들을 좀 더 정확히 추출할 수 있는 장점이 존재하나 시간이 오래 걸리는 단점 또한 존재한다.
한편, 상술한 본 발명의 실시예는 컴퓨터 시스템에서 구현될 수 있다. 도 27에 도시된 바와 같이, 컴퓨터 시스템(120)은 버스(122)를 통하여 서로 통신하는 하나 이상의 프로세서(121), 메모리(123), 사용자 인터페이스 입력 장치(126), 사용자 인터페이스 출력 장치(127) 및 스토리지(128)를 포함할 수 있다. 또한, 컴퓨터 시스템(120)은 네트워크(130)에 연결되는 하나 이상의 네트워크 인터페이스(129)를 더 포함할 수 있다. 프로세서(121)는 중앙 처리 장치 또는 메모리(123) 또는 스토리지(128)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(123) 및 스토리지(128)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리(123)는 ROM(124)이나 RAM(125)을 포함할 수 있다.
그리고, IoT 시대를 대비하여 컴퓨터 시스템(120)을 소형의 컴퓨팅 디바이스로 구현시킨 경우, 컴퓨팅 디바이스에 이더넷(Ethernet) 케이블을 연결하면 무선 공유기처럼 동작해서 모바일 디바이스가 무선으로 게이트웨이에 붙어서 암복호화 기능을 할 수 있으므로, 이를 위해 컴퓨터 시스템(120)은 무선 통신 칩(와이파이 칩)(131)을 추가로 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 입력부 20 : 손 영역 검출부
30 : 손 영역 정규화부 40 : 손등 생체정보 추출부
50 : 손바닥 생체정보 추출부 60 : 손 생체정보 등록 및 인증부

Claims (10)

  1. 입력받은 손 영상에서 손 영역을 검출하는 손 영역 검출부;
    상기 검출된 손영역을 이진화하고 이진화된 손 영역을 정규화하는 손 영역 정규화부;
    상기 정규화된 손 영역에서 고유의 손 생체정보를 추출하는 손 생체정보 추출부; 및
    상기 추출된 손 생체정보를 등록하고, 등록된 손 생체정보를 근거로 해당 사용자에 대한 인증을 수행하는 손 생체정보 등록 및 인증부;를 포함하고,
    상기 손 생체정보 추출부는
    상기 정규화된 손 영역내의 피부 패턴을 분석하여 손금이 없는 영상을 손등 영상으로 구분하고 손금이 있는 영상을 손바닥 영상으로 구분하는 것을 특징으로 하는 사용자 인증 장치.
  2. 청구항 1에 있어서,
    상기 손 영역 검출부는
    피부색 기반으로 손 영역을 검출하는 것을 특징으로 하는 사용자 인증 장치.
  3. 청구항 1에 있어서,
    상기 손 영역 정규화부는
    상기 검출된 손 영역의 중심점의 일부 영역을 샘플링하여 피부색 컬러를 획득하고, 이를 이용하여 손 영역을 이진화하고, 이진화된 손 영역의 테두리에서 손의 주요 포인트를 검출하는 것을 특징으로 하는 사용자 인증 장치.
  4. 청구항 3에 있어서,
    상기 손 영역 정규화부는
    상기 이진화된 손 영역의 테두리에서 기설정된 값 이상의 변화가 발생하는 위치를 상기 손의 주요 포인트로 검출하는 것을 특징으로 하는 사용자 인증 장치.
  5. 청구항 4에 있어서,
    상기 손 영역 정규화부는
    상기 손의 주요 포인트에서 중지를 검출하여 중지가 영상의 중심이 되도록 영상을 회전시켜 상기 중지의 각도를 정규화하는 것을 특징으로 하는 사용자 인증 장치.
  6. 청구항 5에 있어서,
    상기 손 영역 정규화부는
    상기 중지에서 기설정된 크기만큼 중지 일부 영역을 잘라내고, 상기 중지 일부 영역의 크기만큼 손목 영역의 크기를 확정하여 상기 이진화된 손 영역을 정규화하는 것을 특징으로 하는 사용자 인증 장치.
  7. 삭제
  8. 청구항 6에 있어서,
    상기 손 생체정보 추출부는
    상기 손등 영상을 근거로 손 둘레 형태, 손가락과 손목 및 손등의 길이 및 두께의 비, 손톱의 모양과 길이 및 두께의 비, 손마디의 지문 패턴, 손 털의 위치와 형태 및 분포의 비, 점의 위치와 형태 및 분포의 비, 피부색 변형 위치와 형태 및 분포의 비, 및 손 영역을 이루는 전체 피부색 영역의 특징 중에서 하나 이상을 손등 생체정보로 추출하는 것을 특징으로 하는 사용자 인증 장치.
  9. 청구항 6에 있어서,
    상기 손 생체정보 추출부는
    상기 손바닥 영상을 근거로 손 둘레 형태, 손가락과 손목 및 손바닥의 길이 및 두께의 비, 손마디의 지문 패턴, 손목의 지문 패턴, 손금 영역의 지문 패턴, 및 손 영역을 이루는 전체 피부색 영역의 특징 중에서 하나 이상을 손바닥 생체정보로 추출하는 것을 특징으로 하는 사용자 인증 장치.
  10. 사용자 인증 장치의 사용자 인증 방법에 있어서,
    입력받은 손 영상에서 손 영역을 검출하는 단계;
    상기 검출된 손영역을 이진화하고 이진화된 손 영역을 정규화하는 단계;
    상기 정규화된 손 영역에서 고유의 손 생체정보를 추출하는 단계; 및
    상기 추출된 손 생체정보를 등록하고, 등록된 손 생체정보를 근거로 해당 사용자에 대한 인증을 수행하는 단계;를 포함하고,
    상기 손 생체정보를 추출하는 단계는
    상기 정규화된 손 영역내의 피부 패턴을 분석하여 손금이 없는 영상을 손등 영상으로 구분하고 손금이 있는 영상을 손바닥 영상으로 구분하는 것을 특징으로 하는 사용자 인증 방법.
KR1020150085598A 2015-06-17 2015-06-17 사용자 인증 장치 KR102429865B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150085598A KR102429865B1 (ko) 2015-06-17 2015-06-17 사용자 인증 장치
US15/076,767 US10044711B2 (en) 2015-06-17 2016-03-22 User middle finger—wrist biometric authentication apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150085598A KR102429865B1 (ko) 2015-06-17 2015-06-17 사용자 인증 장치

Publications (2)

Publication Number Publication Date
KR20160148863A KR20160148863A (ko) 2016-12-27
KR102429865B1 true KR102429865B1 (ko) 2022-08-05

Family

ID=57587152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150085598A KR102429865B1 (ko) 2015-06-17 2015-06-17 사용자 인증 장치

Country Status (2)

Country Link
US (1) US10044711B2 (ko)
KR (1) KR102429865B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102429865B1 (ko) * 2015-06-17 2022-08-05 한국전자통신연구원 사용자 인증 장치
JP6658188B2 (ja) * 2016-03-24 2020-03-04 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9958951B1 (en) * 2016-09-12 2018-05-01 Meta Company System and method for providing views of virtual content in an augmented reality environment
JP6798285B2 (ja) * 2016-11-30 2020-12-09 富士通株式会社 生体認証装置、生体認証方法及びプログラム
JP6955369B2 (ja) * 2017-05-22 2021-10-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
US10398370B2 (en) 2017-06-30 2019-09-03 Apple Inc. Wearable electronic device including wrist biometric sensor for acquiring skin texture pattern images and related methods
US10878214B2 (en) 2018-04-09 2020-12-29 Electronics And Telecommunications Research Institute Complex biometric sensor including color conversion layer
US20190362128A1 (en) * 2018-05-23 2019-11-28 Wen-Kuei Liu Knuckle-print identification system
EP4510092A1 (en) * 2022-05-27 2025-02-19 Tencent Technology (Shenzhen) Company Limited Palm contour extraction method and apparatus, and control instruction generation method and apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101105872B1 (ko) * 2010-08-20 2012-01-16 세종대학교산학협력단 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치
US20140068740A1 (en) * 2012-09-05 2014-03-06 Element, Inc. System and method for biometric authentication in connection with camera equipped devices

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100427181B1 (ko) * 2001-12-19 2004-04-28 한국전자통신연구원 에지/컬러정보를 이용한 얼굴 피부색 영역 추출시스템 및그 방법
US20070249540A1 (en) * 2004-05-24 2007-10-25 Adonia Papathanassiu Methods for Inhibiting Proteasome and Heat Shock Protein 90
KR20060057085A (ko) 2004-11-23 2006-05-26 주식회사 팬택 사용자 인증을 위한 이동통신 단말기 및 방법
KR20060093444A (ko) 2005-02-21 2006-08-25 (주)링스텔레콤 손의 정맥 패턴을 이용한 개인 인식 장치
JP4813109B2 (ja) * 2005-06-30 2011-11-09 富士通株式会社 生体認証方法及び生体認証システム
JP4855727B2 (ja) * 2005-07-22 2012-01-18 富士通株式会社 生体認証装置の委任事項変更方法、生体認証方法及び生体認証装置
JP4937607B2 (ja) * 2006-03-14 2012-05-23 富士通株式会社 生体認証方法及び生体認証装置
JP4786483B2 (ja) 2006-09-14 2011-10-05 富士通株式会社 生体認証装置の生体誘導制御方法及び生体認証装置
JP5003092B2 (ja) * 2006-10-17 2012-08-15 ソニー株式会社 登録装置、照合装置、認証方法及び認証プログラム
CN101169812A (zh) * 2006-10-25 2008-04-30 知网生物识别科技股份有限公司 视窗操作系统的多因子认证系统与登录方法
JP5098973B2 (ja) * 2008-11-27 2012-12-12 富士通株式会社 生体認証装置、生体認証方法及び生体認証プログラム
US20120032781A1 (en) 2010-08-09 2012-02-09 Electronics And Telecommunications Research Institute Remote personal authentication system and method using biometrics
KR20120067761A (ko) 2010-12-16 2012-06-26 한국전자통신연구원 사용자 단말을 이용한 생체정보 측정 장치 및 그 방법
US8548206B2 (en) * 2011-01-20 2013-10-01 Daon Holdings Limited Methods and systems for capturing biometric data
US20140347479A1 (en) * 2011-11-13 2014-11-27 Dor Givon Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response
JP2013171325A (ja) * 2012-02-17 2013-09-02 Fujitsu Frontech Ltd 照合対象決定装置、照合対象決定プログラム、および照合対象決定方法
KR101327939B1 (ko) 2012-08-02 2013-11-13 한국기술교육대학교 산학협력단 손가락의 기하학적 특징에 대한 상대적인 비율 정보를 이용한 생체인식 시스템 및 그 방법
KR102429865B1 (ko) * 2015-06-17 2022-08-05 한국전자통신연구원 사용자 인증 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101105872B1 (ko) * 2010-08-20 2012-01-16 세종대학교산학협력단 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치
US20140068740A1 (en) * 2012-09-05 2014-03-06 Element, Inc. System and method for biometric authentication in connection with camera equipped devices

Also Published As

Publication number Publication date
US20160373438A1 (en) 2016-12-22
US10044711B2 (en) 2018-08-07
KR20160148863A (ko) 2016-12-27

Similar Documents

Publication Publication Date Title
KR102429865B1 (ko) 사용자 인증 장치
US11188734B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP7242528B2 (ja) モバイルデバイスを用いてキャプチャした画像を使用する、指紋によるユーザ認証を実施するためのシステムおよび方法
US20220215686A1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US10339362B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US9361507B1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
Wild et al. Comparative test of smartphone finger photo vs. touch-based cross-sensor fingerprint recognition
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
KR102389066B1 (ko) 얼굴 인식을 위한 얼굴영상 생성 방법
De et al. Dual Authentication of a Human Being from Simultaneous Study of Palm Pattern and IRIS Recognition

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150617

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200417

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150617

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210525

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20211104

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220519

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220802

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220803

End annual number: 3

Start annual number: 1

PG1601 Publication of registration