KR102278069B1 - 근전도 신호 기반 사용자 인증 장치 및 인증 방법 - Google Patents

근전도 신호 기반 사용자 인증 장치 및 인증 방법 Download PDF

Info

Publication number
KR102278069B1
KR102278069B1 KR1020190131278A KR20190131278A KR102278069B1 KR 102278069 B1 KR102278069 B1 KR 102278069B1 KR 1020190131278 A KR1020190131278 A KR 1020190131278A KR 20190131278 A KR20190131278 A KR 20190131278A KR 102278069 B1 KR102278069 B1 KR 102278069B1
Authority
KR
South Korea
Prior art keywords
parameter
emg signal
emg
parameters
value
Prior art date
Application number
KR1020190131278A
Other languages
English (en)
Other versions
KR20210047539A (ko
Inventor
김윤태
정재효
신시호
강민구
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020190131278A priority Critical patent/KR102278069B1/ko
Priority to US16/870,251 priority patent/US11436308B2/en
Publication of KR20210047539A publication Critical patent/KR20210047539A/ko
Application granted granted Critical
Publication of KR102278069B1 publication Critical patent/KR102278069B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/263Bioelectric electrodes therefor characterised by the electrode materials
    • A61B5/266Bioelectric electrodes therefor characterised by the electrode materials containing electrolytes, conductive gels or pastes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30Input circuits therefor
    • A61B5/307Input circuits therefor specially adapted for particular uses
    • A61B5/313Input circuits therefor specially adapted for particular uses for electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • A61B5/397Analysis of electromyograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 근전도 신호 기반 사용자 인증 장치 및 인증 방법에 관한 것이다. 본 장치는 근전도 센서를 이용하여 측정된 근전도 신호를 수신하는 근전도 신호 수신부, 수신된 근전도 신호에서, 기설정된 주파수 대역에 따라 일부신호를 제거하는 전처리부 및 기저장된 근전도 신호와 일부신호가 제거된 근전도 신호를 비교하여 사용자를 인증하는 제어부를 포함할 수 있다.

Description

근전도 신호 기반 사용자 인증 장치 및 인증 방법{EMG-based user authentication device and authentication method}
본 발명은 근전도 신호 기반 사용자 인증 장치 및 인증 방법에 관한 것으로, 더욱 상세하게는 근전도 신호로부터 파라미터들을 추출하고, 추출된 파라미터들을 기저장된 파라미터들과 비교함으로써 사용자를 인증하는 근전도 신호 기반 사용자 인증 장치 및 인증 방법에 관한 것이다.
최근 건강과 편의에 대한 관심이 높아지면서 생체 신호 측정, 통신, 센서 기술이 비약적으로 발전하고 있다. 생체 신호를 이용하여 운동량을 계산하거나 지문으로 개인을 인증하고 제스처를 통해 사물을 제어한다. 이러한 생체 신호는 언제 어디서든 측정할 수 있으며 신체의 일부를 하나의 패스워드로 이용하기 때문에 편리하다.
하지만 과학 기술의 발전으로 이를 악용하는 경우가 증가하고 있다. 예를 들어, 지문, 홍채를 복사하거나 패스워드를 해킹하여 타인이 개인 정보를 취득한 후 부당한 이익을 얻는 경우가 발생하고 있다.
종래 기술에 따른 근전도 기반 개인 인증 시스템의 경우 시스템의 크기가 커서 사용이 불편하거나 개인 인증기능만 존재하기 때문에 시스템 활용도가 저하되는 문제점을 가지고 있다.
[특허문헌 1] 한국공개특허 제10-2016-0009741호. 2016.01.27. 공개.
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 근전도 신호 기반 사용자 인증 장치 및 인증 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 근전도 신호 기반 사용자 인증 장치 및 그의 인증 방법이 개시된다. 상기 장치는 근전도 센서를 이용하여 측정된 근전도 신호를 수신하는 근전도 신호 수신부, 수신된 근전도 신호에서, 기설정된 주파수 대역에 따라 일부신호를 제거하는 전처리부 및 기저장된 근전도 신호와 일부신호가 제거된 근전도 신호를 비교하여 사용자를 인증하는 제어부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 근전도 신호는 2개의 채널 및 하이드로겔 성분이 함유된 젤이 도포된 습식 전극을 포함하는 근전도 센서를 이용하여 측정하는 신호일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제어부는 일부신호가 제거된 근전도 신호를 분석하기 위한 파라미터들을 도출하고, 도출된 파라미터들의 결과값과 기저장된 근전도 신호의 파라미터들의 기준값을 비교하여 사용자를 인증할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제어부는 도출된 파라미터들의 결과값을 인공신경망(ANN: Artificial Neural Network) 및 서포트벡터머신(SVM: Support Vector Machine)을 결합한 모델에 입력하여, 도출된 파라미터들의 결과값을 분류하여 저장할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 파라미터들은 제1 파라미터, 제2 파라미터, 제3 파라미터, 제4 파라미터 및 제5 파라미터를 포함할 수 있고, 제1 파라미터는 근전도 신호의 면적에 대한 파라미터이고, 제2 파라미터는 일정 시간동안 근전도 신호 파형이 축적된 길이에 대한 파라미터이고, 제3 파라미터는 근전도 신호의 실효치에 대한 파라미터이고, 제4 파라미터는 근전도 신호의 제곱 값의 누적값에 대한 파라미터이며, 제5 파라미터는 근전도 신호의 분산값에 대한 파라미터일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 근전도 센서를 이용하여 측정된 근전도 신호를 수신하는 근전도 신호 수신단계, 수신된 근전도 신호에서, 기설정된 주파수 대역에 따라 일부신호를 제거하는 전처리단계 및 기저장된 근전도 신호와 일부신호가 제거된 근전도 신호를 비교하여 사용자를 인증하는 사용자 인증 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 근전도 신호는 2개의 채널 및 하이드로겔 성분이 함유된 젤이 도포된 습식 전극을 포함하는 근전도 센서를 이용하여 측정하는 신호일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 사용자 인증 단계는 일부신호가 제거된 근전도 신호를 분석하기 위한 파라미터들을 도출하고, 도출된 파라미터들의 결과값과 기저장된 근전도 신호의 파라미터들의 기준값을 비교하여 사용자를 인증하는 단계일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 사용자 인증 단계는 도출된 파라미터들의 결과값을 인공신경망(ANN: Artificial Neural Network) 및 서포트벡터머신(SVM: Support Vector Machine)을 결합한 모델에 입력하여, 도출된 파라미터들의 결과값을 분류하여 저장하는 단계일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 파라미터들은 제1 파라미터, 제2 파라미터, 제3 파라미터, 제4 파라미터 및 제5 파라미터를 포함할 수 있고, 제1 파라미터는 근전도 신호의 면적에 대한 파라미터이고, 제2 파라미터는 일정 시간동안 근전도 신호 파형이 축적된 길이에 대한 파라미터이고, 제3 파라미터는 근전도 신호의 실효치에 대한 파라미터이고, 제4 파라미터는 근전도 신호의 제곱 값의 누적값에 대한 파라미터이며, 제5 파라미터는 근전도 신호의 분산값에 대한 파라미터일 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 2개의 채널을 통해 근전도 신호를 수신함으로써, 미세한 신호도 보다 명확하게 구분할 수 있어서 신호 측정의 정확도를 높일 수 있다.
또한, 본 발명의 일 실시예에 의하면, 생체 신호 기반 개인 인증 관련 보안의 허점을 보완할 수 있으며 사용량이 증가하고 있는 스마트워치와 융합하여 활용성을 높일 수 있다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기 언급된 본 발명 내용의 특징들이 상세하게, 보다 구체화된 설명으로, 이하의 실시예들을 참조하여 이해될 수 있도록, 실시예들 중 일부는 첨부되는 도면에서 도시된다. 또한, 도면과의 유사한 참조번호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭하는 것으로 의도된다. 그러나 첨부된 도면들은 단지 본 발명 내용의 특정한 전형적인 실시예들만을 도시하는 것일 뿐, 본 발명의 범위를 한정하는 것으로 고려되지는 않으며, 동일한 효과를 갖는 다른 실시예들이 충분히 인식될 수 있다는 점을 유의하도록 한다.
도 1은 본 발명의 일 실시예에 따른 개인 인증을 위한 근전도 기반 사용자 인증 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 근전도 데이터를 취득하기 위한 습식 전극을 부착한 모습을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 근전도 데이터 취득용 모듈과 이 모듈에 의해 취득된 근전도 신호를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 근전도 신호로부터 추출된 파라미터를 이용하여 손동작에 따른 결과값을 도시한 도면이다.
도 5는 본 발명에 따른 손동작을 이용하여 도어락과 전등을 제어하는 실시예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 근전도 데이터의 분포를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 근전도 신호의 특징점을 도시한 도면이다.
도8은 본 발명의 일 실시예에 따른 근전도 신호 기반 사용자 인증 방법의 순서도이다.
도 9는 본 발명의 일 실시예에 따른 근전도를 이용하여 개인을 인증하기 위한 과정을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 근전도 신호 기반 사용자 인증 장치 및 인증 방법을 설명한다.
도 1은 본 발명의 일 실시예에 따른 개인 인증을 위한 근전도 기반 사용자 인증 장치를 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 근전도 데이터를 취득하기 위한 습식 전극을 부착한 모습을 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 근전도 데이터 취득용 모듈과 이 모듈에 의해 취득된 근전도 신호를 도시한 도면이다.
또한, 도 4는 본 발명의 일 실시예에 따른 근전도 신호로부터 추출된 파라미터를 이용하여 손동작에 따른 결과값을 도시한 도면이고, 도 5는 본 발명에 따른 손동작을 이용하여 도어락과 전등을 제어하는 실시예를 도시한 도면이다.
또한, 도 6은 본 발명의 일 실시예에 따른 근전도 데이터의 분포를 도시한 도면이고, 도 7은 본 발명의 일 실시예에 따른 근전도 신호의 특징점을 도시한 도면이다.
도 1 내지 도 7을 참조하면, 사용자 인증 장치(100)는 근전도 신호 수신부(110), 전처리부(130) 및 제어부(150)를 포함할 수 있다.
일 실시예에서, 근전도 신호 수신부(110)는 신체에 부착된 근전도 센서에서 측정된 근전도 신호를 수신할 수 있다. 보다 구체적으로, 근전도 센서는 2개의 채널 및 습식 전극을 포함할 수 있다. 근전도 센서는 2개의 채널을 통해 신호를 취득함으로써 보다 정확한 근전도 신호를 측정할 수 있고, 미세한 근전도 신호까지 측정할 수 있다. 근전도 센서에 포함된 습식 전극은 하이드로겔 성분이 포함된 젤이 전극에 도포된 전극일 수 있다.
예를 들어, 도 2를 참조하면, 근전도 신호는 근전도 센서를 통해 우측 팔의 하박 부위에 2개의 채널로 구성된 전극을 부착하여 취득할 수 있다. 손동작은 주먹을 쥐거나 손가락을 전부 펴는 등 여러 동작을 반복적으로 수행하여 같은 동작의 다양한 신호를 취득할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
근전도는 신체가 움직일 때 근육의 수축 및 이완운동으로 인하여 발생하는 전기 신호이다. 근전도 신호를 이용하면 신체의 움직임을 측정할 수 있으며 이를 이용하여 사물을 제어할 수 있다.
일 실시예에서, 전처리부(130)는 수신된 근전도 신호에서, 기설정된 주파수 대역에 따라 일부신호를 제거할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 전처리부(130)는 디지털 필터를 설계한 뒤 근전도 센서를 통해 측정된 근전도 신호에 적용하여 일부신호를 제거할 수 있다. 수신된 근전도 신호는 최소 5Hz 내지 최대 450Hz의 주파수 대역에 존재할 수 있다. 이 주파수 대역의 신호를 검출하기 위하여 버터워스(Butterworth) 방식의 고역통과필터(High Pass Filter), 저역통과필터(Low Pass Filter)를 설계하였으며, 60Hz의 전원 잡음을 감소시키기 위해 대역통과필터(Band Pass Filter)를 적용할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
또한, 도 3을 참조하면, 근전도 신호를 수신하기 위한 EMG 모듈은 셀런키(Sallen-key) 필터를 중심으로 아날로그 회로로 구성될 수 있다. 셀런키(Sallen-key) 필터는 신호를 가공하는 필터 특성이 뛰어나며 필터링과 동시에 신호의 크기를 증폭할 수 있다. 따라서 셀런키(Sallen-key) 필터를 이용함으로써 단순하지만 성능이 뛰어난 회로를 구성할 수 있다. EMG 모듈은 57*35mm의 사이즈로 제작될 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
일 실시예에서, 제어부(150)는 기저장된 근전도 신호와 전처리부(130)를 통해 일부신호가 제거된 근전도 신호를 비교하여 사용자를 인증할 수 있다. 보다 구체적으로, 제어부(150)는 일부신호가 제거된 근전도 신호를 분석하기 위한 파라미터들을 도출하고, 도출된 파라미터들의 결과값과 기저장된 근전도 신호의 파라미터들의 기준값을 비교하여 사용자를 인증할 수 있다.
또한, 제어부(150)는 도출된 파라미터들의 결과값을 인공신경망(ANN: Artificial Neural Network) 및 서포트벡터머신(SVM: Support Vector Machine)을 결합한 모델에 입력하여, 도출된 파라미터들의 결과값을 분류하여 저장할 수 있다. 파라미터들은 손동작 구분 및 개인 인증을 위한 것으로, 필터링 된 근전도 신호로부터 추출할 수 있다.
여기서, 파라미터들은 제1 파라미터(IEMG: Integrated EMG), 제2 파라미터(WL: Waveform Length), 제3 파라미터(RMS: Root Mean Square), 제4 파라미터(SSI: Simple Square Integral) 및 제5 파라미터(VAR: Variance)를 포함할 수 있다.
보다 구체적으로, 제1 파라미터인, IEMG는 근전도 신호의 면적에 대한 파라미터로, 근육의 사용 여부와 근육이 발휘하는 힘을 추정하기 위해 사용하는 파라미터일 수 있다. 제1 파라미터인, IEMG의 수식은 아래와 같다.
Figure 112019107768328-pat00001
여기서, xn은 전처리부(130)를 통해 일부신호가 제거된 근전도 신호 그래프에서 n주파수에 해당하는 x축의 값을 의미한다.
또한, 제2 파라미터인, WL은 표면 근전도 신호의 복잡성을 나타내는 파리미터로, 일정 시간동안 근전도 신호 파형이 축적된 길이에 대한 파라미터일 수 있다. 제2 파라미터인, WL의 수식은 아래와 같다.
Figure 112019107768328-pat00002
여기서, xn은 전처리부(130)를 통해 일부신호가 제거된 근전도 신호 그래프에서 n주파수에 해당하는 x축의 값을 의미한다.
또한, 제3 파라미터인, RMS는 근전도 신호를 제곱*평균*제곱근 연산을 수행하여 얻은 파라미터이고, 근전도 측정자의 힘과 연관성이 높게 나타나는 변수로써, 근전도 신호의 실효치에 대한 파라미터일 수 있다. 제3 파라미터인, RMS의 수식은 아래와 같다.
Figure 112019107768328-pat00003
여기서, xn은 전처리부(130)를 통해 일부신호가 제거된 근전도 신호 그래프에서 n주파수에 해당하는 x축의 값을 의미한다.
또한, 제4 파라미터인, SSI는 표면 근전도의 에너지와 관련된 파라미터로, 근전도 신호의 제곱 값의 누적값을 의미하는 파라미터일 수 있다. 제4 파라미터인, SSI의 수식은 아래와 같다.
Figure 112019107768328-pat00004
여기서, xn은 전처리부(130)를 통해 일부신호가 제거된 근전도 신호 그래프에서 n주파수에 해당하는 x축의 값을 의미한다.
또한, 제5 파라미터인, VAR은 근전도 신호의 분산값으로써 데이터의 분포를 나타내는 파라미터일 수 있다. 제5 파라미터인, VAR의 수식은 아래와 같다.
Figure 112019107768328-pat00005
여기서, xn은 전처리부(130)를 통해 일부신호가 제거된 근전도 신호 그래프에서 n주파수에 해당하는 x축의 값을 의미한다.
예를 들어, 개인 인증 및 사물 제어를 위해 근전도 데이터로부터 추출된 파라미터들은 평균적으로 제1 파라미터인, IEMG(2.51E-6), 제2 파라미터인, WL(3.7E+4), 제3 파라미터인, RMS(3.5E+5), 제4 파라미터인, SSI(4.59E-02) 및 제5 파라미터인, VAR(3.97E-3)의 값을 얻을 수 있다. 상기의 측정한 평균값이 다음 측정시 사람을 인증하기 위한 기준값이 될 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
또한, 도 4는 본 발명의 일 실시예에 따른 그래프로, 근전도 신호로부터 추출된 파라미터를 이용하여 손동작을 구분한 결과값이고, 도 5는 본 발명의 일 실시예에 따른 인식된 손동작을 이용하여 도아락과 전등을 제어하는 실시예이다. 또한, 도 6은 본 발명의 일 실시예에 따른 근전도 신호 데이터의 분포를 나타낸 것으로, 14명으로부터 근전도 신호 데이터를 취득한 결과값이다. 도 7은 본 발명의 일 실시예에 따른 근전도 신호의 특징점을 도시한 도면으로, 측정된 근전도 신호로부터 파라미터를 추출하여 raw 근전도 신호로부터 한계값을 설정하여 한계값을 초과 시 활동영역으로 판별할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
도 8은 본 발명의 일 실시예에 따른 근전도 신호 기반 사용자 인증 방법의 순서도이고, 도 9는 본 발명의 일 실시예에 따른 근전도를 이용하여 개인을 인증하기 위한 과정을 도시한 도면이다.
도 8 및 도 9를 참조하면, 본 발명의 일 실시예에 따른 사용자 인증 방법(S800)은 근전도 센서를 이용하여 측정된 근전도 신호를 수신하는 근전도 신호 수신단계(S801), 수신된 근전도 신호에서, 기설정된 주파수 대역에 따라 일부신호를 제거하는 전처리단계(S803) 및 기저장된 근전도 신호와 일부신호가 제거된 근전도 신호를 비교하여 사용자를 인증하는 사용자 인증 단계(S805)를 포함할 수 있다.
일 실시예에서, 근전도 신호 수신단계(S801)는 근전도 센서를 이용하여 측정된 근전도 신호를 수신하는 단계일 수 있다. 보다 구체적으로, 근전도 센서는 2개의 채널 및 습식 전극을 포함할 수 있다. 근전도 센서는 2개의 채널을 통해 신호를 취득함으로써 보다 정확한 근전도 신호를 측정할 수 있고, 미세한 근전도 신호까지 측정할 수 있다. 근전도 센서에 포함된 습식 전극은 하이드로겔 성분이 포함된 젤이 전극에 도포된 전극일 수 있다. 근전도는 신체가 움직일 때 근육의 수축 및 이완운동으로 인하여 발생하는 전기 신호이다. 근전도 신호를 이용하면 신체의 움직임을 측정할 수 있으며 이를 이용하여 사물을 제어할 수 있다.
일 실시예에서, 전처리단계(S803)는 수신된 근전도 신호에서, 기설정된 주파수 대역에 따라 일부신호를 제거하는 단계일 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따른 전처리단계(S803)는 디지털 필터를 설계한 장치의 근전도 센서를 통해 측정된 근전도 신호에 적용하여 일부신호를 제거하는 단계일 수 있다. 근전도 신호 수신단계(S801)에서 수신된 근전도 신호는 최소 5Hz 내지 최대 450Hz의 주파수 대역에 존재할 수 있다. 이 주파수 대역의 신호를 검출하기 위하여 버터워스(Butterworth) 방식의 고역통과필터(High Pass Filter), 저역통과필터(Low Pass Filter)를 설계하였으며, 60Hz의 전원 잡음을 감소시키기 위해 대역통과필터(Band Pass Filter)를 적용하는 단계를 거칠 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
일 실시예에서, 사용자 인증 단계(S805)는 기저장된 근전도 신호와 일부신호가 제거된 근전도 신호를 비교하여 사용자를 인증하는 단계일 수 있다. 보다 구체적으로, 사용자 인증 단계(S805)는 일부신호가 제거된 근전도 신호를 분석하기 위한 파라미터들을 도출하고, 도출된 파라미터들의 결과값과 기저장된 근전도 신호의 파라미터들의 기준값을 비교하여 사용자를 인증하는 단계일 수 있다.
또한, 사용자 인증 단계(S805)는 도출된 파라미터들의 결과값을 인공신경망(ANN: Artificial Neural Network) 및 서포트벡터머신(SVM: Support Vector Machine)을 결합한 모델에 입력하여, 도출된 파라미터들의 결과값을 분류하여 저장하는 단계일 수 있다. 파라미터들은 손동작 구분 및 개인 인증을 위한 것으로, 필터링 된 근전도 신호로부터 추출할 수 있다.
여기서, 파라미터들은 제1 파라미터(IEMG: Integrated EMG), 제2 파라미터(WL: Waveform Length), 제3 파라미터(RMS: Root Mean Square), 제4 파라미터(SSI: Simple Square Integral) 및 제5 파라미터(VAR: Variance)를 포함할 수 있다.
보다 구체적으로, 제1 파라미터인, IEMG는 근전도 신호의 면적에 대한 파라미터로, 근육의 사용 여부와 근육이 발휘하는 힘을 추정하기 위해 사용하는 파라미터일 수 있다. 제1 파라미터인, IEMG의 수식은 아래와 같다.
Figure 112019107768328-pat00006
여기서, xn은 전처리단계(S803)를 통해 일부신호가 제거된 근전도 신호 그래프에서 n주파수에 해당하는 x축의 값을 의미한다.
또한, 제2 파라미터인, WL은 표면 근전도 신호의 복잡성을 나타내는 파리미터로, 일정 시간동안 근전도 신호 파형이 축적된 길이에 대한 파라미터일 수 있다. 제2 파라미터인, WL의 수식은 아래와 같다.
Figure 112019107768328-pat00007
여기서, xn은 전처리단계(S803)를 통해 일부신호가 제거된 근전도 신호 그래프에서 n주파수에 해당하는 x축의 값을 의미한다.
또한, 제3 파라미터인, RMS는 근전도 신호를 제곱*평균*제곱근 연산을 수행하여 얻은 파라미터이고, 근전도 측정자의 힘과 연관성이 높게 나타나는 변수로써, 근전도 신호의 실효치에 대한 파라미터일 수 있다. 제3 파라미터인, RMS의 수식은 아래와 같다.
Figure 112019107768328-pat00008
여기서, xn은 전처리단계(S803)를 통해 일부신호가 제거된 근전도 신호 그래프에서 n주파수에 해당하는 x축의 값을 의미한다.
또한, 제4 파라미터인, SSI는 표면 근전도의 에너지와 관련된 파라미터로, 근전도 신호의 제곱 값의 누적값을 의미하는 파라미터일 수 있다. 제4 파라미터인, SSI의 수식은 아래와 같다.
Figure 112019107768328-pat00009
여기서, xn은 전처리단계(S803)를 통해 일부신호가 제거된 근전도 신호 그래프에서 n주파수에 해당하는 x축의 값을 의미한다.
또한, 제5 파라미터인, VAR은 근전도 신호의 분산값으로써 데이터의 분포를 나타내는 파라미터일 수 있다. 제5 파라미터인, VAR의 수식은 아래와 같다.
Figure 112019107768328-pat00010
여기서, xn은 전처리단계(S803)를 통해 일부신호가 제거된 근전도 신호 그래프에서 n주파수에 해당하는 x축의 값을 의미한다.
예를 들어, 개인 인증 및 사물 제어를 위해 근전도 데이터로부터 추출된 파라미터들은 평균적으로 제1 파라미터인, IEMG(2.51E-6), 제2 파라미터인, WL(3.7E+4), 제3 파라미터인, RMS(3.5E+5), 제4 파라미터인, SSI(4.59E-02) 및 제5 파라미터인, VAR(3.97E-3)의 값을 얻을 수 있다. 상기의 측정한 평균값이 다음 측정시 사람을 인증하기 위한 기준값이 될 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.

Claims (10)

  1. 사용자 손에 부착되며, 2개의 채널 및 하이드로겔 성분이 함유된 젤이 도포된 습식 전극을 포함하는 근전도 센서를 이용하여 측정된 근전도 신호를 수신하는 근전도 신호 수신부;
    상기 수신된 근전도 신호에서, 필터를 이용하여 기설정된 주파수 대역에 따라 일부신호를 제거하는 전처리부; 및
    근전도 신호를 분석하기 위해서, 상기 일부신호가 제거된 근전도 신호로부터 파라미터들을 도출하고, 상기 도출된 파라미터들의 결과값과 기저장된 근전도 신호의 파라미터들의 기준값을 비교하여 사용자를 인증하는 제어부를 포함하고,
    상기 제어부는,
    상기 도출된 파라미터들의 결과값을 인공신경망(ANN: Artificial Neural Network) 및 서포트벡터머신(SVM: Support Vector Machine)을 결합한 모델에 입력하여, 상기 도출된 파라미터들의 결과값을 분류하여 저장하는,
    사용자 인증 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 파라미터들은,
    제1 파라미터, 제2 파라미터, 제3 파라미터, 제4 파라미터 및 제5 파라미터를 포함하고,
    상기 제1 파라미터는 근전도 신호의 면적에 대한 파라미터이고,
    상기 제2 파라미터는 일정 시간동안 근전도 신호 파형이 축적된 길이에 대한 파라미터이고,
    상기 제3 파라미터는 근전도 신호의 실효치에 대한 파라미터이고,
    상기 제4 파라미터는 근전도 신호의 제곱 값의 누적값에 대한 파라미터이며,
    상기 제5 파라미터는 근전도 신호의 분산값에 대한 파라미터인,
    사용자 인증 장치.
  6. 2개의 채널 및 하이드로겔 성분이 함유된 젤이 도포된 습식 전극을 포함하는 근전도 센서를 이용하여 측정된 근전도 신호를 수신하는 근전도 신호 수신단계;
    상기 수신된 근전도 신호에서, 기설정된 주파수 대역에 따라 일부신호를 제거하는 전처리단계; 및
    상기 일부신호가 제거된 근전도 신호를 분석하기 위한 파라미터들을 도출하고, 도출된 파라미터들의 결과값과 기저장된 근전도 신호의 파라미터들의 기준값을 비교하여 사용자를 인증하는 사용자 인증 단계를 포함하고,
    상기 사용자 인증 단계는,
    상기 도출된 파라미터들의 결과값을 인공신경망(ANN: Artificial Neural Network) 및 서포트벡터머신(SVM: Support Vector Machine)을 결합한 모델에 입력하여, 상기 도출된 파라미터들의 결과값을 분류하여 저장하는 단계인,
    사용자 인증 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제6항에 있어서,
    상기 파라미터들은,
    제1 파라미터, 제2 파라미터, 제3 파라미터, 제4 파라미터 및 제5 파라미터를 포함하고,
    상기 제1 파라미터는 근전도 신호의 면적에 대한 파라미터이고,
    상기 제2 파라미터는 일정 시간동안 근전도 신호 파형이 축적된 길이에 대한 파라미터이고,
    상기 제3 파라미터는 근전도 신호의 실효치에 대한 파라미터이고,
    상기 제4 파라미터는 근전도 신호의 제곱 값의 누적값에 대한 파라미터이며,
    상기 제5 파라미터는 근전도 신호의 분산값에 대한 파라미터인,
    사용자 인증 방법.
KR1020190131278A 2019-10-22 2019-10-22 근전도 신호 기반 사용자 인증 장치 및 인증 방법 KR102278069B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190131278A KR102278069B1 (ko) 2019-10-22 2019-10-22 근전도 신호 기반 사용자 인증 장치 및 인증 방법
US16/870,251 US11436308B2 (en) 2019-10-22 2020-05-08 Electromyogram signal-based user authentication apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190131278A KR102278069B1 (ko) 2019-10-22 2019-10-22 근전도 신호 기반 사용자 인증 장치 및 인증 방법

Publications (2)

Publication Number Publication Date
KR20210047539A KR20210047539A (ko) 2021-04-30
KR102278069B1 true KR102278069B1 (ko) 2021-07-14

Family

ID=75492016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190131278A KR102278069B1 (ko) 2019-10-22 2019-10-22 근전도 신호 기반 사용자 인증 장치 및 인증 방법

Country Status (2)

Country Link
US (1) US11436308B2 (ko)
KR (1) KR102278069B1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
WO2019079757A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器系统的自动校准的方法和装置
KR20210078283A (ko) * 2019-12-18 2021-06-28 삼성전자주식회사 센서 신호로부터 사용자의 제스처를 인식하는 전자 장치 및 이를 이용한 제스처 인식 방법
KR102476801B1 (ko) * 2020-07-22 2022-12-09 조선대학교산학협력단 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
KR102630840B1 (ko) * 2021-05-24 2024-01-29 조선대학교산학협력단 근전도 신호 기반 인식 정보 추출 시스템과 이를 이용한 근전도 신호 기반 인식 정보 추출 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018101168A (ja) * 2016-12-19 2018-06-28 日本電信電話株式会社 認証装置および認証方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050114654A1 (en) * 2003-11-26 2005-05-26 Brackett Charles C. Method and apparatus for wireless biometric login
CN100471445C (zh) * 2005-08-01 2009-03-25 周常安 贴片式生理监测装置
US8838215B2 (en) * 2006-03-01 2014-09-16 Angel Medical Systems, Inc. Systems and methods of medical monitoring according to patient state
US20070149892A1 (en) * 2005-12-22 2007-06-28 Neurotron Medical Inc. Apparatus for neuromuscular function signal acquisition
ITMI20120494A1 (it) * 2012-03-27 2013-09-28 B10Nix S R L Apparato e metodo per l'acquisizione ed analisi di una attivita' muscolare
US9672339B2 (en) * 2012-12-12 2017-06-06 Intel Corporation Electro-biometric authentication
US20190001129A1 (en) * 2013-01-21 2019-01-03 Cala Health, Inc. Multi-modal stimulation for treating tremor
US9589120B2 (en) * 2013-04-05 2017-03-07 Microsoft Technology Licensing, Llc Behavior based authentication for touch screen devices
RU2016133951A (ru) * 2014-01-21 2018-03-02 Сёркарр Пти Лтд Система и способ персональной идентификации
KR20160009741A (ko) 2014-07-16 2016-01-27 (주)이미지스테크놀로지 착용형 제어장치 및 이를 위한 인증 및 페어링 방법
KR102299819B1 (ko) * 2014-12-30 2021-09-08 삼성전자주식회사 생체 신호를 이용한 사용자 인증 방법 및 장치
KR102460393B1 (ko) * 2015-04-30 2022-11-01 삼성전자주식회사 사운드 출력 기기, 전자 장치 및 그 제어 방법
KR20180055660A (ko) * 2016-11-16 2018-05-25 삼성전자주식회사 전자 장치 및 그 제어 방법
GB2561537B (en) * 2017-02-27 2022-10-12 Emteq Ltd Optical expression detection
GB2566101A (en) * 2017-09-05 2019-03-06 B Secur Ltd Wearable authentication device
US11481030B2 (en) * 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11045137B2 (en) * 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
US11596339B2 (en) * 2019-03-13 2023-03-07 Case Western Reserve University Determining intended user movement to control an external device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018101168A (ja) * 2016-12-19 2018-06-28 日本電信電話株式会社 認証装置および認証方法

Also Published As

Publication number Publication date
US11436308B2 (en) 2022-09-06
US20210117523A1 (en) 2021-04-22
KR20210047539A (ko) 2021-04-30

Similar Documents

Publication Publication Date Title
KR102278069B1 (ko) 근전도 신호 기반 사용자 인증 장치 및 인증 방법
US12067097B2 (en) Biometric system
Abo-Zahhad et al. A new EEG acquisition protocol for biometric identification using eye blinking signals
CN107708546B (zh) 使用神经及神经机械指纹的本地用户认证
Benatti et al. A versatile embedded platform for EMG acquisition and gesture recognition
CN107708525B (zh) 使用神经及神经机械指纹来确定用户的健康改变
CN101980106B (zh) 一种脑机接口的二维光标控制方法及装置
KR101293446B1 (ko) 움직임을 상상하는 뇌파 분류 방법 및 그 장치
Manimegalai Hand gesture recognition based on EMG signals using ANN
WO2019192235A1 (zh) 一种基于移动设备的用户身份认证方法及系统
Shin et al. A study of an EMG-based authentication algorithm using an artificial neural network
EP1934677A1 (en) Method and system for detecting and classifying facial muscle movements
CN105243312B (zh) 一种密码系统及加解密方法
Javaid et al. Comparative analysis of emg signal features in time-domain and frequency-domain using myo gesture control
Kumari et al. Brainwave's energy feature extraction using wavelet transform
KR20190098806A (ko) 동작 인식을 위한 지능형 장치 및 그 제어 방법
KR20130073361A (ko) 근전도 신호의 패턴 분류 장치 및 방법
EP3437005A1 (en) Biometric recognition system
Yu et al. Real-time multiple gesture recognition: Application of a lightweight individualized 1D CNN model to an edge computing system
CN112069483A (zh) 一种智能可穿戴设备的用户识别认证方法
Too et al. Exploring the relation between EMG pattern recognition and sampling rate using spectrogram
He et al. Improved discrete fourier transform based spectral feature for surface electromyogram signal classification
Cannan et al. Automatic user identification by using forearm biometrics
Herman et al. Design and on-line evaluation of type-2 fuzzy logic system-based framework for handling uncertainties in BCI classification
CN106020453B (zh) 一种基于灰色理论的脑-机接口方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant