KR102521180B1 - 유사 심전도 기반 개인 인증 시스템, 개인 인증 방법 및 개인 인증 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램 - Google Patents
유사 심전도 기반 개인 인증 시스템, 개인 인증 방법 및 개인 인증 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR102521180B1 KR102521180B1 KR1020210073992A KR20210073992A KR102521180B1 KR 102521180 B1 KR102521180 B1 KR 102521180B1 KR 1020210073992 A KR1020210073992 A KR 1020210073992A KR 20210073992 A KR20210073992 A KR 20210073992A KR 102521180 B1 KR102521180 B1 KR 102521180B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- component
- personal authentication
- similar
- artificial intelligence
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/28—Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Abstract
개시된 발명의 일 측면에 의하면, 사용자의 귀 주변에 용이하게 착용 가능하고 이어러블 디바이스(earable device)에 장착되어 무구속, 무접촉으로 개인 인증이 가능하여 개인 인증 시의 편의성을 높일 수 있는 개인 인증 시스템 및 개인 인증 방법이 제공된다.
일 실시예에 따른 유사 심전도 신호에 기초하여 사용자의 신분을 인증하는 개인 인증 시스템은, 유사 심전도 신호에 기초하여 사용자의 신분을 인증하는 개인 인증 시스템에 있어서, 사용자의 귀 주변에서 상기 유사 심전도 신호를 획득하도록 구성되는 유사 심전도 획득부; 및 상기 유사 심전도 신호로부터 개인 인증을 위한 유사 심전도 특징을 추출하고, 상기 유사 심전도 특징을 기초로 인공지능 모델을 이용하여 사용자가 미리 등록된 사람인지 여부를 판단하도록 구성되는 개인 인증부;를 포함할 수 있다.
일 실시예에 따른 유사 심전도 신호에 기초하여 사용자의 신분을 인증하는 개인 인증 시스템은, 유사 심전도 신호에 기초하여 사용자의 신분을 인증하는 개인 인증 시스템에 있어서, 사용자의 귀 주변에서 상기 유사 심전도 신호를 획득하도록 구성되는 유사 심전도 획득부; 및 상기 유사 심전도 신호로부터 개인 인증을 위한 유사 심전도 특징을 추출하고, 상기 유사 심전도 특징을 기초로 인공지능 모델을 이용하여 사용자가 미리 등록된 사람인지 여부를 판단하도록 구성되는 개인 인증부;를 포함할 수 있다.
Description
본 발명은 사용자의 신분을 인증하는 개인 인증 시스템 및 방법에 관한 발명으로, 상세하게는 사용자의 귀 주변에서 획득된 유사 심전도 신호의 특징을 추출하고, 유사 심전도 특징에 기초하여 인공지능 모델을 통해 개인 인증을 수행할 수 있는 개인 인증 시스템 및 개인 인증 방법에 관한 것이다.
최근에 들어 정보 유출에 대한 보안을 강화하기 위해 열쇠나 비밀번호 기반의 전통적인 인증 시스템에 비하여 상대적으로 분실이나 위조가 어려운 지문, 홍채 등과 같은 생체신호를 이용한 인증 시스템이 널리 이용되고 있다.
생체신호 기반 인증 시스템은 크게 정적 생체신호 기반의 인증 시스템과 동적 생체신호 기반의 인증 시스템으로 구분되며, 대표적인 동적 생체신호 기반의 인증 시스템으로는 심전도 기반 인증 시스템이 있다.
심전도는 기타 다른 동적 생체신호에 비하여 외부 환경 변화에 강인하고, 상대적으로 신호대비잡음비가 좋으며, 피부에 쉽게 탈부착 가능한 스티커형 전극을 이용하여 측정이 가능해 사용성이 용이하다는 강점이 있다. 또한, mV 단위의 신호 측정이 가능하여 육안으로 신호의 변화가 관찰 가능할 만큼 신호의 특성이 명확하다.
이러한 심전도의 특성을 이용하여 손가락이나 손목 등에 측정 디바이스를 착용하여 심전도 신호를 수집하여 심전도 기반의 생체 인증을 수행하는 기술이 연구되고 있다. 이러한 종래의 심전도 기반 인증 방식은 사용자가 손가락이나 손목 등에 측정 디바이스를 착용 또는 부착하거나 얹는 등의 행위를 취해야 하므로, 사용자가 생체 인증을 하는 과정에 불편함을 느끼게 되는 등 사용성에 한계가 있다.
개시된 발명의 일 측면에 의하면, 사용자의 귀 주변에 용이하게 착용 가능하고 이어러블 디바이스(earable device)에 장착되어 무구속, 무접촉으로 개인 인증이 가능하여 개인 인증 시의 편의성을 높일 수 있는 개인 인증 시스템 및 방법이 제공된다.
또한, 개시된 발명의 일 측면에 의하면, 손가락이나 손목 등에서 심전도 신호를 수집하는 종래의 심전도 기반 인증 시스템 보다 사용성이 우수함과 동시에, 사용자의 귀 주변에서 측정된 유사 심전도 신호를 인공지능 모델에 기초하여 분석한 결과에 따라 해당 사용자가 미리 등록된 사람인지 여부를 높은 정확도로 인증할 수 있는 개인 인증 시스템 및 방법이 제공된다.
개시된 발명의 일 측면에 따른 유사 심전도 신호에 기초하여 사용자의 신분을 인증하는 개인 인증 시스템은, 사용자의 귀 주변에서 상기 유사 심전도 신호를 획득하도록 구성되는 유사 심전도 획득부; 및 상기 유사 심전도 신호로부터 개인 인증을 위한 유사 심전도 특징을 추출하고, 상기 유사 심전도 특징을 기초로 인공지능 모델을 이용하여 사용자가 미리 등록된 사람인지 여부를 판단하도록 구성되는 개인 인증부;를 포함할 수 있다.
상기 개인 인증부는, 상기 유사 심전도 신호에 대해 0.5 - 40 Hz 주파수 대역을 통과시키는 대역 통과 필터를 적용하여 상기 유사 심전도 신호를 전처리하고, 상기 전처리된 유사 심전도 신호로부터 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 추출하고, 상기 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 기초로 상기 인공지능 모델을 이용하여 사용자가 상기 미리 등록된 사람인지 여부를 판단하도록 구성될 수 있다. 상기 R성분의 진폭은 상기 유사 심전도 신호의 한 주기에서의 피크 발생 구간에 해당하는 QRS파의 최대 전압값이고, 상기 Q성분의 진폭은 상기 QRS파의 시작 구간 성분인 Q성분의 최저 전압값이고, 상기 S성분의 진폭은 상기 QRS파의 종료 구간 성분인 S성분의 최저 전압값일 수 있다.
상기 개인 인증부는, 상기 QRS파의 피크 외에도, 상기 사용자의 귀 주변에서 획득된 원신호를 포함하는 특징들을 상기 인공지능 모델에 입력하여 상기 사용자의 인증을 수행할 수도 있다.
또한, 상기 유사 심전도 획득부는, 사용자의 왼쪽 귀 주변에서 상기 유사 심전도 신호를 획득하기 위한 3개의 좌측 전극 및 사용자의 오른쪽 귀 주변에서 상기 유사 심전도 신호를 획득하기 위한 3개의 우측 전극을 포함할 수 있다.
개시된 발명의 일 측면에 따른 개인 인증 시스템은, 학습용 유사 심전도 데이터로부터 추출된 학습용 유사 심전도 특징을 상기 인공지능 모델에 입력하여 상기 인공지능 모델을 학습하도록 구성되는 인공지능 학습부;를 더 포함할 수 있다.
또한, 상기 인공지능 모델은 합성곱 신경망(CNN; Convolutional Neural Network) 모델을 포함하고, 상기 인공지능 학습부는 상기 합성곱 신경망 모델을 학습하도록 구성될 수 있다.
또한, 상기 개인 인증부는, 상기 획득된 유사 심전도 신호에 대응되는 특징 벡터를 산출하고, 상기 산출된 특징 벡터를 상기 합성곱 신경망 모델에 입력하여 사용자가 미리 등록된 사람인지 여부를 판단하도록 구성될 수 있다.
또한, 상기 개인 인증부는, 상기 추출된 유사 심전도 특징을 합성곱 필터와 합성곱 연산(Convolution)하여 합성곱 데이터를 산출하고, 상기 합성곱 데이터를 맥스 풀링(Max Pooling)하여 상기 사용자의 인증을 수행하도록 구성될 수 있다.
개시된 발명의 다른 실시예에서, 상기 개인 인증부는, 서포트 벡터 머신(SVM; Support Vector Machine) 모델을 기반으로 하는 상기 인공지능 모델에 의해 상기 사용자의 인증을 수행할 수 있다.
상기 인공지능 학습부는, 학습용 유사 심전도 데이터로부터 추출된 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 서포트 벡터 머신 모델에 입력하여 상기 서포트 벡터 머신 모델을 학습할 수 있다.
상기 인공지능 학습부는, 상기 Q성분의 진폭, 상기 R성분의 진폭 및 상기 S성분의 진폭 정보 외에도, 상기 사용자의 귀 주변에서 획득된 원신호를 포함하는 특징들을 기반으로 상기 인공지능 모델을 학습할 수도 있다.
상기 개인 인증부는, 상기 유사 심전도 신호로부터 추출된 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 포함하는 상기 유사 심전도 특징을 상기 서포트 벡터 머신 모델에 입력하여 상기 서포트 벡터 머신 모델의 출력으로부터 상기 사용자의 인증을 수행할 수 있다.
개시된 발명의 일 측면에 따른 유사 심전도 신호에 기초하여 사용자의 신분을 인증하는 개인 인증 방법은, 유사 심전도 획득부에 의해, 사용자의 귀 주변에서 상기 유사 심전도 신호를 획득하는 단계; 개인 인증부에 의해, 상기 유사 심전도 신호로부터 개인 인증을 위한 유사 심전도 특징을 추출하는 단계; 및 상기 개인 인증부에 의해, 상기 유사 심전도 특징을 기초로 인공지능 모델을 이용하여 사용자가 미리 등록된 사람인지 여부를 판단하는 단계;를 포함할 수 있다.
상기 사용자가 미리 등록된 사람인지 여부를 판단하는 단계는, 상기 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 기초로 상기 인공지능 모델을 이용하여 사용자가 상기 미리 등록된 사람인지 여부를 판단하는 단계;를 포함할 수 있다. 상기 R성분의 진폭은 상기 유사 심전도 신호의 한 주기에서의 피크 발생 구간에 해당하는 QRS파의 최대 전압값이고, 상기 Q성분의 진폭은 상기 QRS파의 시작 구간 성분인 Q성분의 최저 전압값이고, 상기 S성분의 진폭은 상기 QRS파의 종료 구간 성분인 S성분의 최저 전압값일 수 있다.
상기 사용자의 귀 주변에서 유사 심전도 신호를 획득하는 단계는, 상기 유사 심전도 획득부가 3개의 좌측 전극을 통하여 사용자의 왼쪽 귀 주변에서 상기 유사 심전도 신호를 획득하는 단계; 및 상기 유사 심전도 획득부가 3개의 우측 전극을 통하여 사용자의 오른쪽 귀 주변에서 상기 유사 심전도 신호를 획득하는 단계;를 포함할 수 있다.
또한, 상기 유사 심전도 특징을 추출하는 단계는, 상기 유사 심전도 신호에 대해 0.5 - 40 Hz 주파수 대역을 통과시키는 대역 통과 필터를 적용하여 상기 유사 심전도 신호를 전처리하는 단계; 및 상기 전처리된 유사 심전도 신호로부터 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 추출하는 단계;를 포함할 수 있다.
개시된 발명의 일 측면에 따른 개인 인증 방법은, 인공지능 학습부에 의해, 학습용 유사 심전도 데이터로부터 추출된 학습용 유사 심전도 특징을 상기 인공지능 모델에 입력하여 상기 인공지능 모델을 학습하는 단계;를 더 포함할 수 있다.
또한, 상기 인공지능 모델은 합성곱 신경망(CNN; Convolutional Neural Network) 모델을 포함하고, 상기 인공지능 모델을 학습하는 단계는, 상기 인공지능 학습부가 상기 합성곱 신경망 모델을 학습하는 단계;를 포함할 수 있다.
또한, 상기 사용자가 미리 등록된 사람인지 여부를 판단하는 단계는, 상기 개인 인증부에 의해, 상기 상기 유사 심전도 신호에 대응되는 특징 벡터를 산출하는 단계; 및 상기 개인 인증부에 의해, 상기 산출된 특징 벡터를 상기 합성곱 신경망 모델에 입력하여 사용자가 미리 등록된 사람인지 여부를 판단하는 단계;를 포함할 수 있다.
또한, 상기 사용자가 미리 등록된 사람인지 여부를 판단하는 단계는, 상기 개인 인증부에 의해, 상기 추출된 유사 심전도 특징을 합성곱 필터와 합성곱 연산하여 합성곱 데이터를 산출하고, 상기 합성곱 데이터를 맥스 풀링(Max Pooling)하여 상기 사용자의 인증을 수행하는 단계;를 포함할 수 있다.
개시된 발명의 일 측면에 따른 개인 인증 방법은, 인공지능 학습부에 의해, 학습용 유사 심전도 데이터로부터 추출된 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 상기 서포트 벡터 머신 모델에 입력하여 상기 서포트 벡터 머신 모델을 학습하는 단계;를 포함할 수 있다.
상기 인공지능 학습부는, 상기 Q성분의 진폭, 상기 R성분의 진폭 및 상기 S성분의 진폭 정보 외에도, 상기 사용자의 귀 주변에서 획득된 원신호를 포함하는 특징들을 기반으로 상기 서포트 벡터 머신 모델을 학습할 수도 있다.
상기 사용자가 미리 등록된 사람인지 여부를 판단하는 단계는, 상기 서포트 벡터 머신(SVM; Support Vector Machine) 모델을 기반으로 하는 상기 인공지능 모델에 의해 상기 사용자의 인증을 수행하는 단계;를 포함할 수 있다.
상기 사용자가 미리 등록된 사람인지 여부를 판단하는 단계는, 상기 개인 인증부에 의해, 상기 유사 심전도 신호로부터 추출된 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 포함하는 상기 유사 심전도 특징을 상기 서포트 벡터 머신 모델에 입력하여 상기 서포트 벡터 머신 모델의 출력으로부터 상기 사용자의 인증을 수행하는 단계;를 포함할 수 있다.
상기 사용자가 미리 등록된 사람인지 여부를 판단하는 단계는, 상기 개인 인증부에 의해, 상기 Q성분의 진폭, 상기 R성분의 진폭 및 상기 S성분의 진폭 정보 외에도, 상기 사용자의 귀 주변에서 획득된 원신호를 포함하는 특징들을 상기 서포트 벡터 머신 모델에 입력하여 상기 사용자의 인증을 수행할 수도 있다.
개시된 발명의 일 측면에 따르면, 상기 개인 인증 방법을 실행시키도록 컴퓨터로 판독 가능한 기록매체에 저장되는 컴퓨터 프로그램이 제공될 수 있다.
개시된 발명의 일 측면에 따르면, 사용자의 귀 주변에 용이하게 착용 가능하고 이어러블 디바이스(earable device)에 장착되어 무구속, 무접촉으로 개인 인증이 가능하여 개인 인증 시의 편의성을 높일 수 있는 개인 인증 시스템 및 방법이 제공된다.
또한, 개시된 발명의 일 측면에 의하면, 손가락이나 손목 등에서 심전도 신호를 수집하는 종래의 심전도 기반 인증 시스템 보다 사용성이 우수함과 동시에, 사용자의 귀 주변에서 획득된 유사 심전도 신호를 기초로 인공지능 모델을 이용하여 사용자가 미리 등록된 사람인지 여부를 판단해서 높은 정확도로 개인 인증을 수행할 수 있다.
본 발명의 실시예에 의하면, 사용자가 일상 생활 중에 귀에 착용한 이어러블 디바이스와 연동하여 특별한 인증 행위 없이도 원하는 때에 자연스러운 무구속, 무자각 생체 인증 환경을 구축할 수 있다.
도 1은 본 발명의 실시예에 따른 개인 인증 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 유사 심전도 획득부를 도시한 도면이다.
도 3은 유사 심전도 신호와 일반 심전도 신호(Lead 1 기반 ECG)의 패턴을 비교하여 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 유사 심전도의 대표적 특징을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 유사 심전도 기반 개인 인증 시스템을 구성하는 합성곱 신경망(CNN; Convolutional Neural Network) 모델의 구성도이다.
도 6은 본 발명의 실시예에 따라 유사 심전도 신호를 기반으로 획득된 평균 개인 인증 정확도를 Lead-I ECG 방식과 비교하여 나타낸 그래프이다.
도 7은 본 발명의 실시예에 따른 인공지능 모델 기반 개인 인증 방법의 순서도이다.
도 2는 본 발명의 실시예에 따른 유사 심전도 획득부를 도시한 도면이다.
도 3은 유사 심전도 신호와 일반 심전도 신호(Lead 1 기반 ECG)의 패턴을 비교하여 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 유사 심전도의 대표적 특징을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 유사 심전도 기반 개인 인증 시스템을 구성하는 합성곱 신경망(CNN; Convolutional Neural Network) 모델의 구성도이다.
도 6은 본 발명의 실시예에 따라 유사 심전도 신호를 기반으로 획득된 평균 개인 인증 정확도를 Lead-I ECG 방식과 비교하여 나타낸 그래프이다.
도 7은 본 발명의 실시예에 따른 인공지능 모델 기반 개인 인증 방법의 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서에서 사용되는 '~부'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 본 명세서에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. 본 명세서의 '~부'는 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. '~부'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다. 각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. 이하 첨부된 도면들을 참고하여 개시된 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 개인 인증 시스템의 구성도이다.
심전도 기반 인증 방식의 장점을 얻으면서 동시에 생체 인증 과정에서의 사용자의 불편함을 해소하기 위하여, 본 발명의 실시예에 따른 개인 인증 시스템 및 방법은 사용자의 귀 주변에서 유사 심전도 신호를 수집하여 개인 인증을 수행할 수 있다. 도 1을 참조하면, 본 발명의 실시예에 따른 개인 인증 시스템(100)은, 유사 심전도 획득부(110), 개인 인증부(120), 인공지능 학습부(130)를 포함할 수 있다.
유사 심전도 획득부(110)는 사용자의 귀 주변에서 유사 심전도 신호를 획득할 수 있다. 유사 심전도 획득부(110)는 사용자의 귀에 착용될 수 있는 이어러블(earable) 디바이스에 구비될 수 있다.
유사 심전도 신호는 일반적으로 알려진 표준사지 유도(standard limb lead) 방식의 심전도 측정법이 아니라, 다른 신체 부위에서 측정한 심전도의 특징을 가지는 생체신호일 수 있다. 구체적으로, 유사 심전도 신호는 귀 주변에서 측정된 생체신호일 수 있다.
개인 인증부(120)는 전처리부(122)와 인공지능 모델(124)을 포함할 수 있다. 전처리부(122)는 심전도 특징을 잘 반영하는 1 - 40 Hz 대역을 포함하도록 유사 심전도 신호에 대해 0.5 - 40 Hz 주파수 대역을 통과시키는 대역 통과 필터를 적용할 수 있다. 개인 인증부(120)는 유사 심전도 신호로부터 개인 인증을 위한 유사 심전도 특징을 추출할 수 있다.
유사 심전도 특징은 인공지능 모델(124)을 학습시키거나, 사용자의 개인 인증을 수행할 때 이용하기 위하여 유사 심전도 신호로부터 추출된 특징일 수 있다. 즉, 유사 심전도 특징은 유사 심전도 신호 중에서 개인 별로 차이가 있는 특징일 수 있다.
개인 인증부(120)는 유사 심전도 특징을 기초로 인공지능 모델을 이용하여 사용자가 미리 등록된 사람인지 여부를 판단할 수 있다. 이때, 개인 인증부(120)는 사용자가 미리 등록된 사람이라고 판단되면 개인 인증을 완료할 수 있다. 이와 달리, 개인 인증부(120)는 사용자가 미리 등록된 사람이 아니라고 판단되면 다시 개인 인증을 수행하거나, 경고 신호를 미리 등록된 사용자의 단말로 전송하도록 통신 모듈을 제어할 수 있다. 이때, 개인 인증부(120)에 의해 유사 심전도 기반 생체 인증에 실패하게 되면, 사용자에게 다른 인증 방식으로 인증을 수행할 것을 요청할 수 있다.
인공 지능 모델(124)은 유사 심전도 특징을 입력 변수로 하고, 인증된 사용자 정보를 출력 변수로 설정한 모델일 수 있다. 인공 지능 모델(124)은 개인 인증 시스템(100)에 포함된 메모리에 저장될 수 있다.
개인 인증부(120) 및 메모리는 사용자에 대한 신속한 개인 인증을 위하여 특정한 개인 인증 장치 내부에 마련될 수 있다. 하지만, 반드시 개인 인증부(120) 및 메모리가 특정한 개인 인증 장치 내부에 마련되어야 하는 것은 아니며, 사용자에 대한 개인 인증을 수행할 수 있다면, 개인 인증부(120) 및 메모리가 어떠한 방식으로 구현되더라도 상관없다. 예를 들어, 개인 인증부(120) 및 메모리는 서버에 마련되어, 메모리에 저장된 인공지능 모델에 기초하여 사용자에 대한 개인 인증을 수행할 수도 있다.
도 1을 참조하면, 인공지능 학습부(130)는 학습용 유사 심전도 데이터로부터 추출된 학습용 유사 심전도 특징을 입력 변수로 하고, 인증된 사용자 정보를 출력 변수로 설정하여 딥 러닝(Deep learning), 기계 학습(Machine Learning) 등의 방식으로 인공지능 모델을 학습할 수 있다. 이때, 학습용 유사 심전도 데이터는 유사 심전도 획득부(110)를 통하여 미리 등록(인증)하려는 사람의 유사 심전도 신호를 획득하여 생성할 수 있다.
기계 학습이란 다수의 파라미터로 구성된 모델을 이용하며, 주어진 데이터로 파라미터를 최적화하는 것을 의미할 수 있다. 인공지능 학습부(130)는 입력에 따라 인공지능 모델을 통해 최종적으로 나온 결과물(output)인 출력과, 입력에 대한 레이블(정답)을 이용하여 인공지능 모델을 학습할 수 있다.
인공지능 학습부(130)는 기계 학습 방식뿐만 아니라 딥 러닝 방식을 통해서도 개인 인증을 수행할 수 있으며, 다양한 방식으로 사용자에 대한 개인 인증을 수행할 수 있다. 일 실시예에서, 인공지능 학습부(130)는 학습용 유사 심전도 특징을 합성곱 신경망 (CNN; Convolutional Neural Network) 알고리즘 기반으로 학습하여 합성곱 신경망 모델을 생성할 수 있다. 이 경우, 인공지능 모델은 합성곱 신경망 모델로 구현될 수 있다.
개시된 발명의 다른 실시예에서, 인공지능 학습부(130)는 학습용 유사 심전도 특징을 서포트 벡터 머신 (SVM; Support Vector Machine) 알고리즘 기반으로 학습하여 서포트 벡터 머신 모델을 생성할 수 있다. 이 경우, 인공지능 모델은 서포트 벡터 머신 모델로 구현될 수 있다.
개인 인증부(120) 및 인공지능 학습부(130)는 프로세서를 포함할 수 있다. 또한, 지금까지 설명된 본 발명의 실시예 및 앞으로 설명할 실시예에 따른 정보 표시 방법은, 개인 인증부(120) 및 인공지능 학습부(130)의 프로세서에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다.
여기서 프로그램은, 프로그램 명령, 데이터 파일 및 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 부호 수정을 위한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 전술한 정보 표시 방법을 구현하기 위한 프로그램은, 개인 인증부(120) 및 인공지능 학습부(130)에 의해 판독 가능한 기록매체에 기록될 수 있다. 이때, 기록매체는 메모리일 수 있다.
서버는 전술한 방법 및 후술한 방법을 실행하기 위한 프로그램을 저장할 수 있다. 서버에 저장된 프로그램은 개인 인증 장치에 다운로드 되는 방식으로 서버의 메모리에 저장할 수 있다. 즉, 사용자는 서버로부터 전술한 방법 및 후술한 방법을 실행하기 위한 프로그램 또는 애플리케이션을 다운로드 받아 개인 인증 장치를 통해 이용할 수 있다.
메모리는 전술한 동작 및 후술하는 동작을 수행하는 프로그램을 저장할 수 있으며, 메모리는 저장된 프로그램을 실행시킬 수 있다. 개인 인증부(120) 및 인공지능 학습부(130)의 프로세서와 메모리가 복수인 경우에, 이들이 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리된 위치에 마련되는 것도 가능하다. 메모리는 데이터를 일시적으로 기억하기 위한 S램(Static Random Access Memory, S-RAM), D램(Dynamic Random Access Memory) 등의 휘발성 메모리를 포함할 수 있다. 또한, 메모리는 제어 프로그램 및 제어 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등의 비휘발성 메모리를 포함할 수 있다. 개인 인증부(120) 및 인공지능 학습부(130)의 프로세서는 각종 논리 회로와 연산 회로를 포함할 수 있으며, 메모리로부터 제공된 프로그램에 따라 데이터를 처리하고, 처리 결과에 따라 제어 신호를 생성할 수 있다.
도 2는 본 발명의 실시예에 따른 유사 심전도 획득부를 도시한 도면이다. 도 2를 참조하면, 유사 심전도 획득부(110)는 좌측 전극(111) 및 우측 전극(112)을 포함할 수 있다.
좌측 전극(111) 및 우측 전극(112)은 피부에 쉽게 탈부착이 가능한 스티커형 혹은 건식 전극일 수 있다. 이때, 좌측 전극(111) 및 우측 전극(112) 각각은 복수개의 전극으로 구성될 수 있다.
구체적으로, 유사 심전도 획득부(110)는 사용자의 왼쪽 귀 주변에서 유사 심전도 신호를 획득하기 위한 3개의 좌측 전극(111) 및 사용자의 오른쪽 귀 주변에서 유사 심전도 신호를 획득하기 위한 3개의 우측 전극(112)을 포함할 수 있다.
하지만, 반드시 좌측 전극(111) 및 우측 전극(112)이 각각 3개의 전극으로 구성되어야 하는 것은 아니며, 사용자의 귀 주변에 부착되어 유사 심전도 신호를 획득할 수 있다면, 어떠한 방식으로 구현되더라도 상관없다. 예를 들어, 유사 심전도 획득부(110)는 사용자의 한쪽 귀에서만 유사 심전도 신호를 획득할 수도 있으며, 이때 전극의 개수는 1개, 2개 또는 4개 이상이 될 수도 있다.
도 3은 유사 심전도 신호와 일반 심전도 신호(Lead 1 기반 ECG)의 패턴을 비교하여 도시한 도면이다. 도 4는 본 발명의 실시예에 따른 유사 심전도의 대표적 특징을 설명하기 위한 도면이다.
도 3 및 도 4를 참고하면, 대표적으로 실험을 수행한 피험자 한 명의 Lead I-ECG 채널(도3의 (a)) 및 유사 심전도 6개 채널(도 3의 (b) 내지 (g))의 신호 검출 결과를 확인할 수 있다.
도 4에서, R성분의 진폭은 유사 심전도 신호의 한 주기에서의 피크 발생 구간에 해당하는 QRS파의 최대 전압값이고, Q성분의 진폭은 QRS파의 시작 구간 성분인 Q성분의 최저 전압값이고, S성분의 진폭은 QRS파의 종료 구간 성분인 S성분의 최저 전압값이다.
하지만, 반드시 QRS파의 성분을 유사 심전도 신호의 특징으로 추출해야 하는 것은 아니며, 미리 등록된 사용자의 심전도와 다른 사용자의 유사 심전도 신호를 구별할 수 있다면, 유사 심전도 신호에 포함된 다른 성분(예를 들어,유사 심전도 신호에 포함된 P파 성분 및/또는 T파 성분) 또는 다른 파형 특징을 이용할 수도 있다. 또한, QRS파의 피크 외에도, 사용자의 귀 주변에서 획득된 원신호를 포함하는 특징들을 인공지능 모델에 입력하여 사용자의 인증을 수행할 수도 있다.
유사 심전도의 경우, 한 주기에서 R성분이 일반적인 표준 심전도 측정 방법으로 측정한 Lead I-ECG와 비해서 약간 지연되어 검출이 되지만, 유사 심전도 신호의 검출 결과에서도 심전도의 R성분이 잘 검출되는 것을 확인할 수 있다.
따라서, 개인 인증부(120)는 유사 심전도 신호로부터 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 추출할 수 있다. 유사 심전도 신호는 사람마다 다른 패턴을 나타낸다. 예를 들어, 유사 심전도 신호는 사용자에 따라 R성분의 진폭이 더 크거나 작을 수 있다. 또한, 사람마다 유사 심전도의 각 성분의 진폭뿐 아니라, 유사 심전도의 파형도 다르게 나타난다.
따라서, 인공지능 학습부(130)는 다량의 유사 심전도 데이터로부터 전술한 각 성분의 진폭 및 파형 등과 같은 유사 심전도 특징을 추출하고, 추출된 유사 심전도 특징을 입력 변수로 설정하여 생체 인증을 위한 인공지능 모델을 학습할 수 있다.
개인 인증부(120)는 유사 심전도 획득부(110)가 획득한 사용자의 유사 심전도 신호로부터 전술한 각 성분의 진폭 및 파형 등과 같은 유사 심전도 특징을 추출하고, 추출된 특징을 인공지능 모델을 이용하여 분석해서 사용자가 미리 등록된 사람인지 여부를 판단할 수 있다.
도 5는 본 발명의 실시예에 따른 유사 심전도 기반 개인 인증 시스템을 구성하는 합성곱 신경망(CNN; Convolutional Neural Network) 모델의 개념도이다. 합성곱 신경망 모델은 다수의 컨볼루션층(convolution layer)과, 다수의 풀링층(pooling layer) 및 완전 연결층(fully connected layer)을 포함할 수 있다. 다수의 컨볼루션층은 유사 심전도 신호로부터 추출된 특징들을 기반으로 합성곱 필터를 이용하여 시간 축 및/또는 공간 축 합성곱(convolution) 처리를 수행하여 합성곱 데이터(특징 맵)를 생성할 수 있다.
다수의 풀링층은 학습 데이터 손실을 최소화하기 위하여 입력값의 특징을 최대한 부각시킬 수 있는 방향으로 학습하도록 풀링(pooling) 처리를 수행할 수 있다. 풀링층은 예를 들어, 최대 풀링(max pooling) 또는 평균 풀링(average pooling) 등의 풀링 처리를 수행할 수 있다.
완전 연결층은 학습 데이터로부터 추출된 특징들을 기반으로 사용자 인증 기능을 수행할 수 있다. 완전 연결층은 사용자가 인증된 사용자에 해당하는지 여부를 분류하기 위해, 이전 단에서 도출된 결과를 1차원 배열로 풀어내어 마지막 출력으로 분류(classification)를 통해 사용자가 인증된 사용자에 해당하는지 아닌지를 분류할 수 있다.
개인 인증부(120)는 추출된 유사 심전도 특징을 합성곱 신경망 모델에 입력하여 생체 신호 기반의 개인 인증을 수행할 수 있다. 즉, 개인 인증부(120)는 산출된 특징 벡터를 인공지능 모델에 입력하여 인공지능 모델의 출력으로부터 사용자가 미리 등록된 사람인지 여부를 판단할 수 있다. 개인 인증부(120)는 추출된 유사 심전도 특징을 미리 설정된 합성곱 필터와 합성곱 연산(Convolution)하여 합성곱 데이터를 산출하고, 합성곱 데이터를 완전 연결층에 입력하여 완전 연결층의 출력으로부터 개인 인증을 수행할 수 있다.
도 6은 본 발명의 실시예에 따라 유사 심전도 신호를 기반으로 획득된 평균 개인 인증 정확도를 Lead-I ECG 방식과 비교하여 나타낸 그래프이다. 도6을 참조하면, 서포트 벡터 머신(SVM) 알고리즘을 통해 유사 심전도 신호를 분석하여 개인 인증을 수행하면, 약 80% 이상의 분류정확도를 얻을 수 있음을 알 수 있다.
한편, 합성곱 신경망(CNN; Convolutional Neural Network) 알고리즘을 통해 유사 심전도 신호를 분석하여 개인 인증을 수행하면, 서포트 벡터 머신(SVM) 알고리즘을 이용하는 방식 보다 높은 분류 정확도를 얻을 수 있으며, Lead-I ECG를 이용한 방식 보다 높은 약 95% 이상의 분류 정확도 성능을 보여주는 것을 확인할 수 있다. 한편, 합성곱 인공신경망과 서포트 벡터 머신을 동시에 이용하여 개인 인증을 수행하는 것도 가능하다.
인공지능 학습부(130)는 학습용 유사 심전도 데이터로부터 추출된 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 입력 변수로 설정하여 서포트 벡터 머신 모델 및/또는 합성곱 신경망 모델을 학습할 수 있다. 인공지능 학습부(130)는 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보 외에도, 사용자의 귀 주변에서 획득된 원신호를 포함하는 특징들을 기반으로 인공지능 모델을 학습할 수도 있다. 인공지능 학습부(130)는 하나의 학습용 심전도 데이터로부터 두 개의 상이한 인공지능 모델을 생성할 수도 있다.
개인 인증부(120)는 서포트 벡터 머신 모델 및/또는 합성곱 신경망 모델에 기초하여 사용자가 미리 등록된 사람인지 여부를 판단할 수 있다. 개인 인증부(120)는 하나의 유사 심전도 신호를 분석하기 위하여 두 개의 인공지능 모델을 이용할 수도 있다.
이상에서 설명된 구성요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 7은 본 발명의 실시예에 따른 인공지능 모델 기반 개인 인증 방법의 순서도이다. 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성이 추가되거나 삭제될 수 있음은 물론이다.
도 7을 참조하면, 본 발명의 실시예에 따른 인공지능 모델 기반 개인 인증 방법은 인공지능 모델 학습 단계(1000 ~ 1002)와, 개인 인증 단계(1003 ~ 1006)를 포함할 수 있다. 인공지능 모델 학습 단계(1000 ~ 1002)에서, 인공지능 학습부(130)는 학습용 유사 심전도 데이터를 이용하여 딥 러닝, 기계 학습 등의 다양한 방식으로 인공지능 모델을 학습할 수 있다.
개인 인증 단계(1003 ~ 1006)에서, 개인 인증부(120)는 학습된 인공지능 모델을 이용하여 유사 심전도 기반의 개인 생체 인증을 수행할 수 있다. 개인 인증부(120)는 예를 들어, 합성곱 신경망, 서포트 벡터 머신 등의 인공지능 모델을 이용하여 개인 인증을 수행할 수 있으나, 이에 한정되는 것은 아니다.
인공지능 학습부(130)는 심전도 특징을 잘 반영하는 1 - 40 Hz 대역을 포함하도록 학습용 유사 심전도 신호에 대해 0.5 - 40 Hz 주파수 대역을 통과시키는 대역 통과 필터를 적용할 수 있다(1000). 인공지능 학습부(130)는 대역 통과 필터에 의해 전처리된 학습용 유사 심전도 데이터로부터 학습용 유사 심전도 특징을 추출할 수 있다(1001).
인공지능 학습부(130)는 학습용 유사 심전도 특징을 입력 변수로 설정하여 인공지능 모델을 학습할 수 있다(1002). 이때, 인공지능 모델은 합성곱 신경망 모델 및 서포트 벡터 머신 모델 중 어느 하나 이상의 모델을 포함할 수 있다.
유사 심전도 획득부(110)는 사용자의 귀 주변에서 유사 심전도 신호를 획득할 수 있다(1003). 이때, 사용자는 인증을 수행하고자 하는 사람일 수 있다. 개인 인증부(120)는 심전도 특징을 잘 반영하는 1 - 40 Hz 대역을 포함하도록 유사 심전도 신호에 대해 0.5 - 40 Hz 주파수 대역을 통과시키는 대역 통과 필터를 적용할 수 있다(1004). 개인 인증부(120)는 전처리된 유사 심전도 신호로부터 유사 심전도 특징을 추출할 수 있다(1005).
개인 인증부(120)는 유사 심전도 특징을 기초로 인공지능 모델을 이용하여 사용자가 미리 등록된 사람인지 여부를 판단할 수 있다(1006). 이때, 개인 인증부(120)는 합성곱 신경망 알고리즘 및 서포트 벡터 알고리즘 중 어느 하나 이상의 알고리즘을 이용하여 사용자가 미리 등록된 사람인지 여부를 판단할 수 있다.
이하에서, 합성곱 신경망 모델을 기반으로 개인 인증을 수행하는 실시예에 대해 설명한다. 인공지능 학습부(130)는 심전도 특징을 잘 반영하는 1 - 40 Hz 대역을 포함하도록 학습용 유사 심전도 신호에 대해 0.5 - 40 Hz 주파수 대역을 통과시키는 대역 통과 필터를 적용할 수 있다. 인공지능 학습부(130)는 학습용 유사 심전도 데이터로부터 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 추출할 수 있다. 인공지능 학습부(130)는 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보에 기초하여 합성곱 신경망 모델을 학습할 수 있다.
유사 심전도 획득부(110)는 사용자의 귀 주변에서 유사 심전도 신호를 획득할 수 있다. 개인 인증부(120)는 심전도 특징을 잘 반영하는 1 - 40 Hz 대역을 포함하도록 유사 심전도 신호에 대해 0.5 - 40 Hz 주파수 대역을 통과시키는 대역 통과 필터를 적용할 수 있다. 개인 인증부(120)는 유사 심전도 신호로부터 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 추출할 수 있다. 개인 인증부(120)는 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 합성곱 신경망 모델에 입력하여 사용자 인증을 수행할 수 있다.
본 발명의 개인 인증 방법은 합성곱 신경망 모델을 기반으로 개인 인증을 수행하는 실시예로 한정되지 않으며, 서포트 벡터 머신 등의 다른 인공지능 모델을 이용하여 유사 심전도 기반의 개인 인증을 수행하는 것도 가능하다. 이하에서 본 발명의 실시예에 따른 개인 인증 시스템 및 방법의 성능 검증을 위한 실험 과정 및 실험 결과에 대해 설명한다.
본 발명의 실시예에 따른 유사 심전도 신호에 기초하여 사용자의 신분을 인증하는 개인 인증 시스템(100)의 성능을 검증하기 위하여 자발적으로 참여 의사를 밝힌 30명의 대학생(남자 21명, 여자 9명; 23.8 ± 1.3세)을 대상으로 연구를 진행하였다. 모든 피험자들은 심전도 측정에 영향을 미칠 수 있는 심장 관련 질환이 없었으며, 실험 전 본 연구의 목적, 실험 과정 등에 관한 충분한 설명과 주의 사항을 실험자로부터 전달받아 숙지하였다. 또한 모든 피험자들은 본 실험 참여동의서에 서명하였고, 실험 참가 후 적절한 보상을 받았다. 본 연구는 금오공과대학교 생명윤리심의위원회의 승인을 받아 수행되었다.
피험자들은 편안한 의자에 앉아 1 m 앞의 실험 자극 제시용 모니터를 응시하며 안정상태를 유지하였다. 본 연구에서는 실제 인증 환경의 모사를 위해 단시간 눈을 뜨고 있는 동안 유사 심전도를 수 차례 단일 시행으로 반복 측정하도록 실험 프로토콜을 설계하였다.
사용자가 눈을 뜨고 심전도를 측정하는 상황이 실제 심전도 기반 인증 시스템을 사용할 때의 일반적인 상황이므로, 본 연구에서는 피험자들이 편안한 상태로 눈을 뜨고 있는 상태에서 측정한 유사 심전도 신호를 이용하였다.
본 실험에서는‘OPEN’ 이라는 자극이 피험자에게 제시되면 10초간 눈을 뜨고 있는 상태(이하 개안)를 유지하고, ‘CLOSE’ 라는 자극이 제시되면 다음 10초간 눈을 감은 상태(이하 폐안)를 유지하는 것을 단일 시행으로 간주하였으며, 피험자들은 모니터에 제시되는 지시에 따라 각각 30번씩 개안과 폐안을 반복 수행하였다. 또한, 정확한 시각 자극 전환 시점 제공을 위해 시각 자극이 전환될 때마다 짧은 청각 자극(beep sound)을 함께 제시하였다. 데이터 측정 시 동잡음 유입을 방지하기 위해 개안 상태에서 발생하는 자연스러운 눈 깜빡임 외에 다른 불필요한 움직임은 최소화할 것을 지시하였다. 이 때 피험자의 과도한 피로감을 방지하기 위해 15회 연속 개안/폐안 데이터 측정 후 충분한 휴식을 취한 다음 나머지 15회의 개안/폐안 데이터를 반복 측정하였다.
유사 심전도를 측정하기 위해 양 귀 뒤쪽 피부 표면에 각 3개씩 심전도 측정 센서를 부착하였으며, 접지/기준 전극은 근전도 및 안구 전도와 같은 다른 생체 신호의 영향을 최소화하면서, 양 귀에 부착한 전극 사이 가운데 위치하도록 정수리 부근 두피 표면에 부착하였다.
두피에 부착한 접지/기준 전극의 객관적 부착 위치는 뇌파 표준 부착법인 국제 10-20 전극 배치법(international 10-20 system) 기준으로는 각각 Fpz와 FCz 위치이다. 이 때, 부착 전극과 피부 간의 저항을 최소화하기 위해 전도성 젤을 이용하여 모든 전극의 저항을 10 KΩ 이하로 조정하여 실험을 진행하였다. 또한, 유사 심전도 데이터의 신뢰성 확보 및 인증 시스템 성능 비교를 위해 표준사지 유도 심전도 측정법 가운데 유도 I(이하 Lead I-ECG)에 근거하여 오른쪽 및 왼쪽 손목의 전위차를 동시 측정하였다. 모든 데이터는 1000 Hz 표본추출 비율로 수집하였다.
주변 6개의 전극에서 측정된 원신호(raw data)에 공통 평균 기준 도출법(common average reference: 이하 CAR)을 적용하여 데이터 측정 당시 유입된 공통 잡음 성분을 제거함과 동시에 귀 주변 신호만을 이용하여 기준 전극을 재참조(rereferencing)함으로써 두피에 부착한 기준 전극(FCz)의 영향을 완전히 제거하였다. CAR을 적용한 유사 심전도 데이터와 Lead I-ECG 데이터를 이용하여 심전도 특징을 잘 반영하는 1-40 Hz 대역을 포함하도록 0.5-40 Hz 주파수 대역에 대해 대역 통과 필터(4th order Butterworth band pass filter)를 적용하였다. 개안 구간만 분석에 사용하기 위해 개안 구간 10초 데이터를 필터링한 데이터에서 추출하였다(epoching).
본 연구에서는 심전도를 구성하는 P, Q, R, S, T 대표 성분 가운데 Q, R, S 성분의 진폭(amplitude)을 특징으로 활용하였다. 특징 추출을 위해 먼저 상대적으로 심전도 파형이 명확한 Lead I-ECG 데이터로부터 R 성분의 진폭을 검출한 후, 검출된 R 성분 전, 후의 최소 진폭을 각각 Q와 S 성분의 진폭으로 정의하였다.
추출한 특징은 개인별 인증 정확도를 산출하였으며, 이 때 분류기로는 합성곱 신경망(CNN; Convolutional Neural Network) 및 서포트 벡터 머신(support vector machine: SVM)을 각각 사용하였다(일 대 다 분류). 최종적으로 Lead I-ECG 및 유사 심전도 신호의 분석결과(Ear-ECG) 각각에 대해 산출한 30명의 개인별 인증 정확도를 대응 t-검정을 통해 통계적 유의성을 검토하였다.
결과적으로 30명의 개인별 인증 정확도를 나타낸 그래프는 도 6의 그래프와 같다. 서포트 벡터 머신(SVM) 알고리즘을 통해 유사 심전도 신호를 분석하면, 약 80% 이상의 분류정확도가 도출되었으며, 합성곱 신경망(CNN) 알고리즘을 통해 유사 심전도 신호를 분석하면, 기존의 심전도기반 개인 인증 방식인 Lead-I ECG를 이용한 방식 보다 높은 수준의 분류 성능을 나타내는 것을 확인할 수 있다.
상술한 바와 같은 본 발명의 실시예에 의하면, 사용자가 일상 생활 중에 귀에 착용한 이어러블 디바이스(earable device)와 연동하여 특별한 인증 행위 없이도 원하는 때에 자연스러운 무구속, 무자각 생체 인증 환경을 구축할 수 있다.
이상에서 CNN, SVM 알고리즘을 기반으로 하는 인공지능 모델을 이용하여 심전도 기반 생체 인증을 수행하는 실시예들에 대해 설명하였으나, 예시된 CNN, SVM 알고리즘 외에도 DNN(deep neural network), RNN(recurrent neural network) 등의 다양한 알고리즘을 기반으로 심전도 기반 생체 인증을 수행하는 것도 가능하다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 개인 인증 시스템
110: 유사 심전도 획득부
111: 좌측 전극
112: 우측 전극
120: 개인 인증부
130: 인공지능 학습부
110: 유사 심전도 획득부
111: 좌측 전극
112: 우측 전극
120: 개인 인증부
130: 인공지능 학습부
Claims (19)
- 유사 심전도 신호에 기초하여 사용자의 신분을 인증하는 개인 인증 시스템에 있어서,
사용자의 귀 주변에서 상기 유사 심전도 신호를 획득하도록 구성되는 유사 심전도 획득부;
상기 유사 심전도 신호로부터 개인 인증을 위한 유사 심전도 특징을 추출하고, 상기 유사 심전도 특징을 기초로 인공지능 모델을 이용하여 사용자가 미리 등록된 인증된 사용자인지 여부를 판단하도록 구성되는 개인 인증부; 및
상기 사용자의 귀 주변에서 획득된 원신호를 포함하는 특징들을 입력 변수로 설정하거나, 학습용 유사 심전도 데이터로부터 추출된 학습용 유사 심전도 특징을 입력 변수로 설정하여 상기 인공지능 모델을 학습하도록 구성되는 인공지능 학습부를 포함하고,
상기 유사 심전도 획득부는 상기 사용자의 왼쪽 귀 주변에서 상기 유사 심전도 신호를 획득하기 위한 좌측 전극 및 상기 사용자의 오른쪽 귀 주변에서 상기 유사 심전도 신호를 획득하기 위한 우측 전극을 포함하고, 상기 좌측 전극 및 상기 우측 전극은 상기 사용자의 귀 주변 피부에 탈부착이 가능하게 제공되고,
상기 인공지능 학습부는 합성곱 신경망 모델을 학습하도록 구성되고, 상기 인공지능 모델은 상기 인공지능 학습부에 의해 학습된 합성곱 신경망 모델을 포함하고,
상기 개인 인증부는 상기 유사 심전도 신호에 대응되는 특징 벡터를 산출하고, 상기 산출된 특징 벡터 또는 상기 사용자의 귀 주변에서 획득된 원신호를 포함하는 특징들을 상기 합성곱 신경망 모델에 입력하여 상기 사용자가 미리 등록된 인증된 사용자인지 여부를 판단하도록 구성되고,
상기 합성곱 신경망 모델은:
상기 유사 심전도 신호로부터 추출된 특징들을 기반으로 합성곱 필터를 이용하여 시간 축 및 공간 축 합성곱 연산 처리를 수행하여 합성곱 데이터를 산출하는 다수의 컨볼루션층;
상기 다수의 컨볼루션층에 의해 생성된 상기 합성곱 데이터를 풀링 처리하는 다수의 풀링층; 및
상기 다수의 풀링층의 출력들을 1차원 배열로 풀어내어 상기 사용자가 인증된 사용자인지 여부에 관해 분류를 수행하는 완전 연결층을 포함하는 개인 인증 시스템. - 제1항에 있어서,
상기 개인 인증부는,
상기 유사 심전도 신호에 대해 0.5 - 40 Hz 주파수 대역을 통과시키는 대역 통과 필터를 적용하여 상기 유사 심전도 신호를 전처리하고;
상기 전처리된 유사 심전도 신호로부터 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 추출하고; 그리고
상기 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 기초로 상기 인공지능 모델을 이용하여 사용자가 상기 미리 등록된 사람인지 여부를 판단하도록 구성되고,
상기 R성분의 진폭은 상기 유사 심전도 신호의 한 주기에서의 피크 발생 구간에 해당하는 QRS파의 최대 전압값이고,
상기 Q성분의 진폭은 상기 QRS파의 시작 구간 성분인 Q성분의 최저 전압값이고,
상기 S성분의 진폭은 상기 QRS파의 종료 구간 성분인 S성분의 최저 전압값인, 개인 인증 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 유사 심전도 신호에 기초하여 사용자의 신분을 인증하는 개인 인증 방법에 있어서,
인공지능 학습부에 의해, 상기 사용자의 귀 주변에서 획득된 원신호를 포함하는 특징들을 입력 변수로 설정하거나, 학습용 유사 심전도 데이터로부터 추출된 학습용 유사 심전도 특징을 입력 변수로 설정하여 상기 사용자의 신분을 인증하기 위한 인공지능 모델을 학습하는 단계;
유사 심전도 획득부에 의해, 사용자의 귀 주변에서 상기 유사 심전도 신호를 획득하는 단계;
개인 인증부에 의해, 상기 유사 심전도 신호로부터 개인 인증을 위한 유사 심전도 특징을 추출하는 단계; 및
상기 개인 인증부에 의해, 상기 유사 심전도 특징을 기초로 상기 인공지능 모델을 이용하여 사용자가 미리 등록된 사람인지 여부를 판단하는 단계;를 포함하고,
상기 유사 심전도 획득부는 상기 사용자의 왼쪽 귀 주변에서 상기 유사 심전도 신호를 획득하기 위한 좌측 전극 및 상기 사용자의 오른쪽 귀 주변에서 상기 유사 심전도 신호를 획득하기 위한 우측 전극을 포함하고, 상기 좌측 전극 및 상기 우측 전극은 상기 사용자의 귀 주변 피부에 탈부착이 가능하게 제공되고,
상기 인공지능 학습부는 합성곱 신경망 모델을 학습하도록 구성되고, 상기 인공지능 모델은 상기 인공지능 학습부에 의해 학습된 합성곱 신경망 모델을 포함하고,
상기 사용자가 미리 등록된 사람인지 여부를 판단하는 단계는 상기 유사 심전도 신호에 대응되는 특징 벡터 또는 상기 사용자의 귀 주변에서 획득된 원신호를 포함하는 특징들을 상기 합성곱 신경망 모델에 입력하여 상기 사용자가 미리 등록된 인증된 사용자인지 여부를 판단하는 단계를 포함하고,
상기 합성곱 신경망 모델은:
상기 유사 심전도 신호로부터 추출된 특징들을 기반으로 합성곱 필터를 이용하여 시간 축 및 공간 축 합성곱 연산 처리를 수행하여 합성곱 데이터를 산출하는 다수의 컨볼루션층;
상기 다수의 컨볼루션층에 의해 생성된 상기 합성곱 데이터를 풀링 처리하는 다수의 풀링층; 및
상기 다수의 풀링층의 출력들을 1차원 배열로 풀어내어 상기 사용자가 인증된 사용자인지 여부에 관해 분류를 수행하는 완전 연결층을 포함하는, 개인 인증 방법. - 제10항에 있어서,
상기 유사 심전도 특징을 추출하는 단계는,
상기 유사 심전도 신호에 대해 0.5 - 40 Hz 주파수 대역을 통과시키는 대역 통과 필터를 적용하여 상기 유사 심전도 신호를 전처리하는 단계; 및
상기 전처리된 유사 심전도 신호로부터 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 추출하는 단계;를 포함하고,
상기 사용자가 미리 등록된 사람인지 여부를 판단하는 단계는,
상기 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 기초로 상기 인공지능 모델을 이용하여 사용자가 상기 미리 등록된 사람인지 여부를 판단하는 단계;를 포함하고,
상기 R성분의 진폭은 상기 유사 심전도 신호의 한 주기에서의 피크 발생 구간에 해당하는 QRS파의 최대 전압값이고,
상기 Q성분의 진폭은 상기 QRS파의 시작 구간 성분인 Q성분의 최저 전압값이고,
상기 S성분의 진폭은 상기 QRS파의 종료 구간 성분인 S성분의 최저 전압값인, 개인 인증 방법. - 삭제
- 삭제
- 제10항에 있어서,
상기 인공지능 모델을 학습하는 단계는,
상기 인공지능 학습부에 의해, 학습용 유사 심전도 데이터로부터 추출된 Q성분의 진폭, R성분의 진폭 및 S성분의 진폭 정보를 상기 인공지능 모델에 입력하거나 상기 원신호를 포함하는 특징들을 상기 인공지능 모델에 입력하여 상기 인공지능 모델을 학습하는 단계;를 포함하는, 개인 인증 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 제10항, 제11항 및 제14항 중 어느 한 항의 개인 인증 방법을 실행시키도록 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210026874 | 2021-02-26 | ||
| KR20210026874 | 2021-02-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220122437A KR20220122437A (ko) | 2022-09-02 |
| KR102521180B1 true KR102521180B1 (ko) | 2023-04-13 |
Family
ID=83281170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210073992A KR102521180B1 (ko) | 2021-02-26 | 2021-06-08 | 유사 심전도 기반 개인 인증 시스템, 개인 인증 방법 및 개인 인증 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102521180B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017228132A (ja) * | 2016-06-23 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108306736B (zh) * | 2017-01-11 | 2023-02-03 | 北京三星通信技术研究有限公司 | 使用心电信号进行身份认证的方法及设备 |
-
2021
- 2021-06-08 KR KR1020210073992A patent/KR102521180B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017228132A (ja) * | 2016-06-23 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220122437A (ko) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Singh et al. | Bioelectrical signals as emerging biometrics: Issues and challenges | |
| WO2021143353A1 (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
| Wahabi et al. | On evaluating ECG biometric systems: Session-dependence and body posture | |
| CA2445505C (en) | Methods and apparatus for analysing the behaviour of a subject | |
| Pal et al. | Evaluation of bioelectric signals for human recognition | |
| Gravina et al. | Automatic methods for the detection of accelerative cardiac defense response | |
| EP4024351A1 (en) | Biometric system | |
| KR102143900B1 (ko) | 사용자 독립적 뇌-컴퓨터 인터페이스 제공 시스템 및 그 방법 | |
| Silva et al. | ECG biometrics: Principles and applications | |
| Sasikala et al. | Identification of individuals using electrocardiogram | |
| Pradhan et al. | Performance optimization of surface electromyography based biometric sensing system for both verification and identification | |
| Serwadda et al. | fNIRS: A new modality for brain activity-based biometric authentication | |
| Maiorana | A survey on biometric recognition using wearable devices | |
| Suresh et al. | GMM modeling of person information from EMG signals | |
| Valsaraj et al. | Motor imagery based multimodal biometric user authentication system using EEG | |
| Wang et al. | Stable EEG Biometrics Using Convolutional Neural Networks and Functional Connectivity. | |
| Liew et al. | Identifying visual evoked potential (VEP) electrodes setting for person authentication | |
| KR102521180B1 (ko) | 유사 심전도 기반 개인 인증 시스템, 개인 인증 방법 및 개인 인증 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램 | |
| Belle et al. | Frustration detection with electrocardiograph signal using wavelet transform | |
| CN114098768B (zh) | 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法 | |
| CN112932508B (zh) | 一种基于手臂肌电网络的手指活动识别系统 | |
| Sahadat et al. | Hardware-efficient robust biometric identification from 0.58 second template and 12 features of limb (Lead I) ECG signal using logistic regression classifier | |
| Pinto et al. | ECG biometrics | |
| Abdulrahman et al. | A survey of biometrics using electroencephalogram EEG | |
| Fayaz et al. | Real time data evaluation with wearable devices: An Impact of Artifact Calibration Method on Emotion Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |