WO2019208933A1 - 사용자 인증을 위한 장치 및 방법 - Google Patents

사용자 인증을 위한 장치 및 방법 Download PDF

Info

Publication number
WO2019208933A1
WO2019208933A1 PCT/KR2019/003293 KR2019003293W WO2019208933A1 WO 2019208933 A1 WO2019208933 A1 WO 2019208933A1 KR 2019003293 W KR2019003293 W KR 2019003293W WO 2019208933 A1 WO2019208933 A1 WO 2019208933A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
deep learning
ecg signal
face image
representative waveform
Prior art date
Application number
PCT/KR2019/003293
Other languages
English (en)
French (fr)
Inventor
반성범
김민구
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Publication of WO2019208933A1 publication Critical patent/WO2019208933A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an apparatus and method for user authentication, and more particularly, to an apparatus and method for authenticating a user based on an electrocardiogram signal and a face image.
  • a user authentication method using a key, a card key, a password, and the like has been used.
  • a user authentication method using a key or a card key is inconvenient because it must carry a tool necessary for authentication, and a user authentication method using a password has a problem in that a password is leaked.
  • biometric authentication method using biometrics such as voice recognition, fingerprint recognition, iris recognition, and vascular recognition
  • voice recognition has a relatively simple structure, but there is a problem in that an authentication error may occur.
  • biometric authentication method using fingerprint recognition, iris recognition, and vascular recognition has relatively few errors in authentication. There is a problem that the structure of the device is very complicated.
  • the present invention was created to solve the above-mentioned problem, and an object thereof is to provide an apparatus and method for authenticating a user based on an ECG signal and a face image.
  • Another object of the present invention is to provide an apparatus and method for authenticating a user by applying representative waveform information and one-dimensional face information of an ECG signal to a deep learning model.
  • an operation method of an electronic device comprises the steps of acquiring an ECG signal and a face image of a user; Performing deep learning based on the acquired electrocardiogram signal and face image; Authenticating the user based on an output value of the deep learning; It may include.
  • the method of operating the electronic device may include obtaining representative waveform information from the ECG signal; And converting the face image into one-dimensional face information. It may include.
  • the deep learning may include: arranging the representative waveform information and the one-dimensional face information in a line; And applying the aligned representative waveform information and the one-dimensional face information to a deep learning model. It may include.
  • obtaining the representative waveform information from the ECG signal may include: detecting an R-peak of the ECG signal; And dividing the ECG signal on a periodic basis based on the detected R-peak to obtain the representative waveform information. It may include.
  • the converting the face image into the one-dimensional face information may include extracting feature information from the face image by applying a principal component analysis (PCA); And converting the extracted feature information into one dimension to obtain the one-dimensional face information. It may include.
  • PCA principal component analysis
  • the deep learning may include a convolution layer, a pooling layer, and a fully connected layer.
  • the electronic device comprises: an electrocardiogram measurement module for obtaining an electrocardiogram signal of a user; A camera module for obtaining a face image of the user; And a processor configured to perform deep learning based on the acquired electrocardiogram signal and a face image, and authenticate the user based on an output value of the deep learning. It may include.
  • the processor may obtain representative waveform information from the ECG signal and convert the face image into one-dimensional face information.
  • the processor may align the representative waveform information and the 1D face information in a line and apply the aligned representative waveform information and the 1D face information to a deep learning model.
  • the processor may detect the R-peak of the ECG signal and obtain the representative waveform information by dividing the ECG signal by period based on the detected R-peak.
  • the processor may apply PCA to extract feature information from the face image, and convert the extracted feature information into one dimension to obtain the one-dimensional face information.
  • the deep learning may include a convolutional layer, a pulling layer, and a fully connected layer.
  • the present invention is not limited to the embodiments disclosed below, but may be configured in a variety of different forms, to make the disclosure of the present invention complete and those skilled in the art to which the present invention belongs ( In the following, the description is provided to fully inform the scope of the invention to the ordinary technician.
  • the ECG signal which is a biosignal for user authentication
  • it is measurable from all living people (universality)
  • the waveform of the signal does not change significantly over time so that registration is not necessary frequently ( Permanence), and the distinction between individuals because of their unique characteristics (uniqueness)
  • biometric face images for user authentication
  • FIG. 1 is a diagram illustrating a functional configuration of an electronic device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of operating an electronic device according to an embodiment of the present disclosure.
  • FIG 3 is another flowchart of a method of operating an electronic device according to an embodiment of the present disclosure.
  • 4A is an electrocardiogram signal graph according to an embodiment of the present invention.
  • FIG. 5 is a conceptual diagram of a deep learning model according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a functional configuration of an electronic device 100 according to an embodiment of the present invention.
  • the electronic device 100 may include an electrocardiogram measuring module 110, a camera module 120, a display 130, a memory 140, and a processor 150.
  • the ECG measurement module 110 may measure an ECG signal from a user.
  • electrocardiography refers to a signal recorded through the electrode attached to the skin electrical signal generated from the heart.
  • the electrocardiogram signal may refer to an electrical signal caused by electrical activity of the heart in one period.
  • the ECG measurement module 110 may include at least one electrode attached to a surface of a body capable of measuring an ECG signal.
  • the ECG measurement module 110 includes an amplifier for amplifying the ECG signal, a converter for converting the amplified ECG signal from an analog signal to a digital signal, and a filter for removing noise of the ECG signal. (filter) may be included.
  • the camera module 120 is a device capable of capturing still images and videos.
  • the camera module 120 may include one or more image sensors (eg, a front sensor or a rear sensor), a lens, an image signal processor (ISP), Or a flash (eg, a neon lamp).
  • the camera module 120 may capture a face image of the user.
  • the display 130 may be a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical system (MEMS). Display, or electronic paper display.
  • the display 130 may display, for example, various contents (eg, text, images, videos, icons, and / or symbols, etc.) to the user.
  • the display 130 may include a touch screen and, for example, may receive a touch, gesture, proximity, or hovering input using an electronic pen or a part of a user's body.
  • the display 130 may display in real time a face image of a user belonging to a capture area of the camera module 120.
  • the display 130 may display a face image of the user captured by the camera module 120.
  • Memory 140 may include volatile and / or nonvolatile memory.
  • the memory 130 may store, for example, commands or data related to at least one other element of the electronic device 100.
  • the memory 140 may provide stored data at the request of the processor 150.
  • the processor 150 may include one or more of a central processing unit, an application processor, or a communication processor (CP).
  • the processor 150 may execute, for example, an operation or data processing related to control and / or communication of at least one other component of the electronic device 100.
  • the processor 150 may authenticate the user based on the ECG signal information and the facial feature information.
  • the electronic device 100 includes an electrocardiogram measurement module 110, a camera module 120, a display 130, a memory 140, and a processor 150. 100 may not be essential as the components shown in FIG. 1 may be implemented to have more or less configurations than those shown in FIG. 1.
  • FIG. 2 is a flowchart illustrating a method of operating the electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 obtains an ECG signal and a face image of a user.
  • the electronic device 100 may measure an ECG signal through the ECG module 110 and capture a face image through the camera module 120.
  • the measured ECG signal may be one-dimensional data.
  • the electronic device 100 performs deep learning based on the ECG signal and the face image. Specifically, the electronic device 100 obtains representative waveform information of the ECG signal by dividing the ECG signal on a periodic basis based on the R-peak of the ECG signal, and applies a principal component analysis (PCA) from the feature information of the face image. One-dimensional face information can be generated. Thereafter, the electronic device 100 may combine the representative waveform information and the one-dimensional face information and apply the deep learning model to the deep learning model.
  • PCA principal component analysis
  • the electronic device 100 authenticates a user based on an output value of deep learning. According to an embodiment, when the output value of the deep learning is classified into a predetermined category, the electronic device 100 may authenticate the user of the corresponding ECG signal and the face image.
  • FIG 3 is another flowchart of a method of operating the electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may acquire an electrocardiogram signal.
  • the electronic device 100 may measure an ECG signal through the ECG module 110.
  • the electronic device 100 may detect an R-peak of the ECG signal. That is, the electronic device 100 may detect the RR interval of the ECG signal using the autocorrelation function.
  • the autocorrelation function represents the correlation between the signal value at time and the signal value at another time
  • the autocorrelation function R xx ( ) Is the signal value x (t) at time t and the time delay by t, that is, time (t + Signal at x (t + As an average of the product of) can be defined as shown in Equation 1 below.
  • the electronic device 100 may obtain the maximum value of the ECG signal using the autocorrelation function, take 1/3 of the maximum value, and extract only a value larger than this value to measure the R-peak.
  • the electronic device 100 may divide the ECG signal by periods based on the R-peak. That is, the electronic device 100 may obtain representative waveform information of the ECG signal based on the R-peak. In detail, after detecting the R-peak, the electronic device 100 may divide a signal consisting of P, QRS, and T waves for each period. In one embodiment, the representative waveform information may mean a one-dimensional feature vector for the representative waveform of the ECG signal.
  • a plurality of P-peaks may be detected from a waveform of an ECG signal, and the ECG signal may be divided by periods based on a period of the ECG signal, which is an interval between consecutive R-peaks. have. That is, a representative waveform of the ECG signal can be obtained.
  • the electronic device 100 may obtain a face image of the user.
  • the electronic device 100 may obtain a face image of the user through the camera module 120.
  • the electronic device 100 may extract feature information of the face image.
  • the electronic device 100 may extract feature information of a face image using principal component analysis (PCA).
  • PCA principal component analysis
  • Principal component analysis technology in the field of face recognition can be referred to as eigenface technology because it is similar to face when eigenvectors constituting a new space are imaged.
  • the electronic device 100 may convert feature information extracted using the PCA into one-dimensional data. That is, the electronic device 100 may obtain one-dimensional face information based on the extracted feature information. For example, the electronic device 100 may convert feature information into one-dimensional data as shown in Equation 3 below.
  • x is an input vector
  • y is a transformed vector
  • A is a transformation matrix having rows of eigenvectors obtained from the covariance matrix of x.
  • Equation 4 Equation 4 may be satisfied.
  • x is an input vector
  • y is a transformed vector
  • A is a transformation matrix with rows of eigenvectors obtained from the covariance matrix of x
  • N is the dimension of the input vector
  • k ( ⁇ N) is the number of eigenvectors used
  • the electronic device 100 may combine representative waveform information and one-dimensional face information.
  • the electronic device 100 may postprocess the representative waveform information and the one-dimensional face information to be aligned in a line.
  • the electronic device 100 may apply the combined representative waveform information and the 1D face information to the deep learning model.
  • the running model may include a convolution layer, a pooling layer, and a fully connected layer, which will be described in detail later with reference to FIG. 5.
  • the electronic device 100 may classify an output value according to the application of the deep learning model for each category of the object to perform user authentication.
  • each step of FIG. 3 may be performed in any order or simultaneously, and some steps of FIG. 3 may be omitted.
  • FIG. 5 is a conceptual diagram of a deep learning model according to an embodiment of the present invention.
  • the deep learning model may include a convolutional layer 501, a pulling layer 503, and a fully connected layer 505.
  • the convolution layer 501 may extract a feature map by performing a convolution operation on all input data.
  • the pooling layer 503 may extract only the strong features by ignoring the weak features through dimensional reduction and abstraction of the input space by using subsampling based on the extracted feature map.
  • the fully connected layer 505 is used to classify the object by using the features extracted through the repetition of the previous layers, and represents a class score for classification.
  • the deep learning model may increase the performance of the neural network by deeply stacking three layers such as the convolutional layer 501, the pulling layer 503, and the fully connected layer 505.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 사용자 인증을 위한 장치 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 전자 장치의 동작 방법은 사용자의 심전도 신호 및 얼굴 이미지를 획득하는 단계, 상기 획득된 심전도 신호 및 얼굴 이미지에 기반하여 딥 러닝(deep learning)을 수행하는 단계 및 상기 딥 러닝의 출력 값에 기반하여 상기 사용자를 인증하는 단계를 포함할 수 있다.

Description

사용자 인증을 위한 장치 및 방법
본 발명은 사용자 인증을 위한 장치 및 방법에 관한 것으로, 더욱 상세하게는 심전도 신호 및 얼굴 이미지에 기반하여 사용자를 인증하기 위한 장치 및 방법에 관한 것이다.
종래에는 열쇠, 카드 키, 및 패스워드 등을 사용하는 사용자 인증 방법이 사용되었다. 하지만, 열쇠나 카드 키를 사용하는 사용자 인증 방법은 인증에 필요한 도구를 휴대하여야 하기 때문에 불편하고, 패스워드를 사용하는 사용자 인증 방법은 패스워드가 누출될 위험성이 있다는 문제점이 있다.
이러한 문제를 해결하기 위하여 음성 인식, 지문 인식, 홍채 인식, 및 혈관 인식 등과 같은 생체 인식을 사용한 생체 인증 방법이 등장하였다. 음성 인식을 사용한 생체 인증 방법은 장치의 구조가 비교적 간단하지만, 인증에 오류가 발생할 수 있다는 문제점이 있으며, 지문 인식, 홍채 인식, 및 혈관 인식을 사용한 생체 인증 방법은 인증에 오류가 비교적 적지만, 장치의 구조가 매우 복잡하다는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 심전도 신호 및 얼굴 이미지에 기반하여 사용자를 인증하기 위한 장치 및 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 심전도 신호의 대표 파형 정보 및 1차원 얼굴 정보를 딥 러닝(deep learning) 모델에 적용하여 사용자를 인증하기 위한 장치 및 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 전자 장치의 동작 방법은 사용자의 심전도 신호 및 얼굴 이미지를 획득하는 단계; 상기 획득된 심전도 신호 및 얼굴 이미지에 기반하여 딥 러닝(deep learning)을 수행하는 단계; 및 상기 딥 러닝의 출력 값에 기반하여 상기 사용자를 인증하는 단계; 를 포함할 수 있다.
일 실시예에서, 상기 전자 장치의 동작 방법은 상기 심전도 신호로부터 대표 파형 정보를 획득하는 단계; 및 상기 얼굴 이미지를 1차원 얼굴 정보로 변환하는 단계; 를 포함할 수 있다.
일 실시예에서, 상기 딥 러닝을 수행하는 단계는, 상기 대표 파형 정보와 상기 1차원 얼굴 정보를 일렬로 정렬하는 단계; 및 상기 정렬된 대표 파형 정보 및 상기 1차원 얼굴 정보를 딥 러닝 모델에 적용하는 단계; 를 포함할 수 있다.
일 실시예에서, 상기 심전도 신호로부터 상기 대표 파형 정보를 획득하는 단계는, 상기 심전도 신호의 R-피크를 검출하는 단계; 및 상기 검출된 R-피크에 기반하여 상기 심전도 신호를 주기별로 분할하여 상기 대표 파형 정보를 획득하는 단계; 를 포함할 수 있다.
일 실시예에서, 상기 얼굴 이미지를 상기 1차원 얼굴 정보로 변환하는 단계는, PCA(principal component analysis)를 적용하여 상기 얼굴 이미지로부터 특징 정보를 추출하는 단계; 및 상기 추출된 특징 정보를 1차원으로 변환하여 상기 1차원 얼굴 정보를 획득하는 단계; 를 포함할 수 있다.
일 실시예에서, 상기 딥 러닝은, 컨벌루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함할 수 있다.
일 실시예에서, 전자 장치는, 사용자의 심전도 신호를 획득하는 심전도 측정 모듈; 상기 사용자의 얼굴 이미지를 획득하는 카메라 모듈; 및 상기 획득된 심전도 신호 및 얼굴 이미지에 기반하여 딥 러닝을 수행하고, 상기 딥 러닝의 출력 값에 기반하여 상기 사용자를 인증하는 프로세서; 를 포함할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 심전도 신호로부터 대표 파형 정보를 획득하고, 상기 얼굴 이미지를 1차원 얼굴 정보로 변환할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 대표 파형 정보와 상기 1차원 얼굴 정보를 일렬로 정렬하고, 상기 정렬된 대표 파형 정보 및 상기 1차원 얼굴 정보를 딥 러닝 모델에 적용할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 심전도 신호의 R-피크를 검출하고, 상기 검출된 R-피크에 기반하여 상기 심전도 신호를 주기별로 분할하여 상기 대표 파형 정보를 획득할 수 있다.
일 실시예에서, 상기 프로세서는, PCA를 적용하여 상기 얼굴 이미지로부터 특징 정보를 추출하고, 상기 추출된 특징 정보를 1차원으로 변환하여 상기 1차원 얼굴 정보를 획득할 수 있다.
일 실시예에서, 상기 딥 러닝은, 컨벌루션 레이어, 풀링 레이어 및 완전 연결 레이어를 포함할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 사용자 인증을 위해 생체 신호인 심전도 신호를 이용함으로써, 살아있는 모든 사람들로부터 측정 가능하고(보편성), 시간이 지나도 신호의 파형이 크게 변하지 않아 등록을 자주 해주지 않아도 되며(영속성), 개인 고유의 특성을 가지므로 개인 간의 구별이 뚜렷하다는(고유성) 장점과 함께, 사용자 인증을 위해 생체 정보인 얼굴 이미지를 추가적으로 이용함으로써, 위조/변조의 가능성을 보다 크게 낮출 수 있다(보안성).
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 전자 장치의 기능적 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 동작 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 전자 장치의 동작 방법의 다른 흐름도이다.
도 4(a)는 본 발명의 일 실시예에 따른 심전도 신호 그래프이다.
도 4(b)는 본 발명의 일 실시예에 따른 심전도 신호 그래프이다.
도 5는 본 발명의 일 실시예에 따른 딥 러닝(deep learning) 모델의 개념도이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 사용자 인증을 위한 장치 및 방법을 설명한다.
도 1은 본 발명의 일 실시예에 따른 전자 장치(100)의 기능적 구성을 도시한 도면이다.
도 1을 참고하면, 전자 장치(100)는 심전도 측정 모듈(110), 카메라 모듈(120), 디스플레이(130), 메모리(140) 및 프로세서(150)를 포함할 수 있다.
심전도 측정 모듈(110)은 사용자로부터 심전도 신호를 측정할 수 있다. 여기서, 심전도 신호(electrocardiography, ECG)는 심장에서 발생한 전기적 신호를 피부에 부착한 전극을 통해 기록한 신호를 의미한다. 심전도 신호는 한 주기(period)의 심장의 전기적 활동에 의한 전기적 신호를 의미할 수 있다. 일 실시예에서, 심전도 측정 모듈(110)은 심전도 신호를 측정할 수 있는 신체의 표면에 부착된 적어도 하나의 전극(electrode)을 포함할 수 있다. 또한, 심전도 측정 모듈(110)은 심전도 신호를 증폭시키는 증폭기(amplifier)와, 증폭된 심전도 신호를 아달로그 신호에서 디지털 신호로 변환시키는 컨버터(converter)와, 심전도 신호의 잡음을 제거할 수 있는 필터(filter)를 포함할 수 있다.
카메라 모듈(120)은 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 일 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(image signal processor, ISP), 또는 플래시(예: 네온 램프)를 포함할 수 있다. 카메라 모듈(120)은 사용자의 얼굴 이미지를 캡쳐할 수 있다.
디스플레이(130)는 액정 디스플레이(liquid crystal display, LCD), 발광 다이오드(light emitting diode, LED) 디스플레이, 유기 발광 다이오드(organic light emitting diode, OLED) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical system, MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(130)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(130)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 일 실시예에서, 디스플레이(130)는 카메라 모듈(120)의 캡쳐 영역에 속한 사용자의 얼굴 이미지를 실시간으로 디스플레이할 수 있다. 일 실시예에서, 디스플레이(130)는 카메라 모듈(120)에 의해 캡쳐된 사용자의 얼굴 이미지를 디스플레이할 수 있다.
메모리(140)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 메모리(140)는 프로세서(150)의 요청에 따라 저장된 데이터를 제공할 수 있다.
프로세서(150)는 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor, CP) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(150)는, 예를 들면, 전자 장치(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 일 실시예에서, 프로세서(150)는 심전도 신호 정보 및 얼굴 특징 정보에 기반하여 사용자를 인증할 수 있다.
도 1에서, 전자 장치(100)는 심전도 측정 모듈(110), 카메라 모듈(120), 디스플레이(130), 메모리(140) 및 프로세서(150)를 포함하는데, 본 발명의 다양한 실시 예들에서 전자 장치(100)는 도 1에 도시된 구성들이 필수적인 것은 아니어서, 도 1에 도시된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 전자 장치(100)의 동작 방법의 흐름도이다.
도 2를 참고하면, S201 단계에서, 전자 장치(100)는 사용자의 심전도 신호 및 얼굴 이미지를 획득한다. 일 실시예에서, 전자 장치(100)는 심전도 측정 모듈(110)을 통해 심전도 신호를 측정하고, 카메라 모듈(120)을 통해 얼굴 이미지를 캡쳐할 수 있다. 이 경우, 측정된 심전도 신호는 1차원 데이터일 수 있다.
S203 단계에서, 전자 장치(100)는 심전도 신호 및 얼굴 이미지에 기반하여 딥 러닝을 수행한다. 구체적으로, 전자 장치(100)는 심전도 신호의 R-피크에 기반하여 심전도 신호를 주기별로 분할하여 심전도 신호의 대표 파형 정보를 획득하고, PCA(principal component analysis)를 적용하여 얼굴 이미지의 특징 정보로부터 1차원 얼굴 정보를 생성할 수 있다. 이후, 전자 장치(100)는 대표 파형 정보 및 1차원 얼굴 정보를 결합하여 딥 러닝(deep learning) 모델에 적용할 수 있다.
S205 단계에서, 전자 장치(100)는 딥 러닝의 출력 값에 기반하여 사용자를 인증한다. 일 실시예에서, 딥 러닝의 출력 값이 미리 설정된 특정 카테고리로 분류되는 경우, 전자 장치(100)는 해당 심전도 신호 및 얼굴 이미지의 사용자를 인증할 수 있다.
도 3은 본 발명의 일 실시예에 따른 전자 장치(100)의 동작 방법의 다른 흐름도이다.
도 3을 참고하면, S301 단계에서, 전자 장치(100)는 심전도 신호를 획득할 수 있다. 일 실시예에서, 전자 장치(100)는 심전도 측정 모듈(110)을 통해 심전도 신호를 측정할 수 있다.
S303 단계에서, 전자 장치(100)는 심전도 신호의 R-피크를 검출할 수 있다. 즉, 전자 장치(100)는 자기상관함수를 이용하여 심전도 신호의 R-R 간격을 검출할 수 있다. 여기서, 자기상관함수는 시간에서의 신호값과 다른 시간에서의 신호값과의 상관성을 나타내는 것으로, 자기상관함수 Rxx(
Figure PCTKR2019003293-appb-I000001
)는 시간 t에서의 신호값 x(t)와 t만큼의 시간 지연이 있을 때, 즉, 시간 (t+
Figure PCTKR2019003293-appb-I000002
)에서의 신호값 x(t+
Figure PCTKR2019003293-appb-I000003
)의 곱에 대한 평균으로 하기 <수학식 1>과 같이 정의될 수 있다.
Figure PCTKR2019003293-appb-M000001
자기상관함수는 항상 실수값을 갖는 우함수이고
Figure PCTKR2019003293-appb-I000004
=0에서 최대값을 가지며, 이는 하기 <수학식 2>와 같이 정의될 수 있다.
Figure PCTKR2019003293-appb-M000002
즉, 전자 장치(100)는 자기상관함수를 이용하여 심전도 신호의 최대값을 구한 후 최대값의 1/3을 취하여, 이 수치보다 큰 값만을 추출하여 R-피크를 측정할 수 있다.
S305 단계에서, 전자 장치(100)는 R-피크에 기반하여 심전도 신호를 주기별로 분할할 수 있다. 즉, 전자 장치(100)는 R-피크에 기반하여 심전도 신호의 대표 파형 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 R-피크를 검출한 후, P, QRS, T 파로 구성된 신호를 주기별로 분할할 수 있다. 일 실시예에서, 대표 파형 정보는 심전도 신호의 대표 파형에 대한 1차원 특징 벡터를 의미할 수 있다.
예를 들어, 도 4a 및 도 4b를 참고하면, 심전도 신호의 파형으로부터 복수의 P-피크들이 검출되고, 연속적인 R-피크 간의 간격인 심전도 신호의 주기를 기준으로 심전도 신호가 주기별로 분할될 수 있다. 즉, 심전도 신호의 대표 파형이 획득될 수 있다.
S307 단계에서, 전자 장치(100)는 사용자의 얼굴 이미지를 획득할 수 있다. 일 실시예에서, 전자 장치(100)는 카메라 모듈(120)을 통해 사용자의 얼굴 이미지를 획득할 수 있다.
S309 단계에서, 전자 장치(100)는 얼굴 이미지의 특징 정보를 추출할 수 있다. 일 실시예에서, 전자 장치(100)는 주성분 분석 기술인 PCA(principal component analysis)를 이용하여 얼굴 이미지의 특징 정보를 추출할 수 있다. 얼굴 인식 분야에서 주성분 분석 기술은 새로운 공간을 구성하는 고유 벡터를 이미지화 하였을 때 마치 얼굴과 비슷하다고 하여 고유 얼굴 기술로 지칭될 수 있다.
S311 단계에서, 전자 장치(100)는 PCA를 이용하여 추출된 특징 정보를 1차원 데이터로 변환할 수 있다. 즉, 전자 장치(100)는 추출된 특징 정보에 기반하여 1차원 얼굴 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 하기 <수학식 3>과 같이 특징 정보를 1차원 데이터로 변환할 수 있다.
Figure PCTKR2019003293-appb-M000003
여기서, x는 입력 벡터, y는 변환된 벡터, A는 x의 공분산 행렬로부터 구한 고유 벡터를 행으로 가지는 변환 행렬을 나타낸다. 이 중 값이 큰 고유값에 대응하는 벡터들만을 이용하면 얼굴을 저차원에서도 효과적으로 나타낼 수 있다. 이 경우, 고유 벡터의 순서는 대응되는 고유 값의 크기에 따라 정렬될 수 있다. 따라서, A를 구성하는 고유 벡터의 개수에 따라 y의 차원이 결정될 수 있다.
PCA의 경우, 적은 수의 고유 벡터를 사용하여 원래 데이터 x를 표현할 수 있다. 즉, 작은 값
Figure PCTKR2019003293-appb-I000005
에 대하여, 하기 <수학식 4>가 만족될 수 있다.
Figure PCTKR2019003293-appb-M000004
여기서, x는 입력 벡터, y는 변환된 벡터, A는 x의 공분산 행렬로부터 구한 고유 벡터를 행으로 가지는 변환 행렬, N은 입력 벡터의 차원, k(<<N)는 사용한 고유 벡터의 수,
Figure PCTKR2019003293-appb-I000006
는 i 번째 고유 값을 나타낸다. 즉, 특징 정보는 상기 <수학식 4>를 통해 1 차원의 특징 벡터로 변환될 수 있다.
S313 단계에서, 전자 장치(100)는 대표 파형 정보 및 1차원 얼굴 정보를 결합할 수 있다. 예를 들어, 전자 장치(100)는 대표 파형 정보와 1차원 얼굴 정보가 일렬로 정렬되도록 후처리(postprocess)할 수 있다.
S315 단계에서, 전자 장치(100)는 결합된 대표 파형 정보 및 1차원 얼굴 정보를 딥 러닝 모델에 적용할 수 있다. 러닝 모델은 컨벌루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함할 수 있으며, 구체적인 내용은 하기 도 5에서 후술된다.
S317 단계에서, 전자 장치(100)는 딥 러닝 모델의 적용에 따른 출력 값을 객체의 카테고리 별로 분류하여 사용자 인증을 수행할 수 있다.
일 실시예에서, 도 3의 각 단계는 순서에 관계없이 또는 동시에 수행될 수 있으며, 도 3의 일부 단계는 생략될 수 있다.
도 5는 본 발명의 일 실시예에 따른 딥 러닝 모델의 개념도이다.
도 5를 참고하면, 딥 러닝 모델은 컨벌루션 레이어(501), 풀링 레이어(503) 및 완전 연결 레이어(505)를 포함할 수 있다.
컨벌루션 레이어(501)는 입력되는 전체 데이터에 대해 컨벌루션 연산을 수행하여 특징 맵을 추출할 수 있다. 풀링 레이어(503)는 추출된 특징 맵을 기반으로 서브 샘플링을 이용하여 차원 축소와 입력 공간의 추상화를 통해 약한 특징은 무시하고 강한 특징만을 추출할 수 있다.
완전 연결 레이어(505)는 앞의 레이어들의 반복을 통해 추출된 특징들을 이용한 객체의 카테고리 별 분류를 위해 사용되며, 분류를 위한 클래스 점수(class score)를 나타낸다. 이와 같이, 딥 러닝 모델은 컨벌루션 레이어(501), 풀링 레이어(503) 및 완전 연결 레이어(505)와 같은 3가지 계층을 깊게 쌓아 신경망의 성능을 높일 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.

Claims (12)

  1. 전자 장치의 동작 방법에 있어서,
    사용자의 심전도 신호 및 얼굴 이미지를 획득하는 단계;
    상기 획득된 심전도 신호 및 얼굴 이미지에 기반하여 딥 러닝(deep learning)을 수행하는 단계; 및
    상기 딥 러닝의 출력 값에 기반하여 상기 사용자를 인증하는 단계;
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 심전도 신호로부터 대표 파형 정보를 획득하는 단계; 및
    상기 얼굴 이미지를 1차원 얼굴 정보로 변환하는 단계;
    를 포함하는 방법.
  3. 제2항에 있어서,
    상기 딥 러닝을 수행하는 단계는,
    상기 대표 파형 정보와 상기 1차원 얼굴 정보를 일렬로 정렬하는 단계; 및
    상기 정렬된 대표 파형 정보 및 상기 1차원 얼굴 정보를 딥 러닝 모델에 적용하는 단계;
    를 포함하는 방법.
  4. 제2항에 있어서,
    상기 심전도 신호로부터 상기 대표 파형 정보를 획득하는 단계는,
    상기 심전도 신호의 R-피크를 검출하는 단계; 및
    상기 검출된 R-피크에 기반하여 상기 심전도 신호를 주기별로 분할하여 상기 대표 파형 정보를 획득하는 단계;
    를 포함하는 방법.
  5. 제2항에 있어서,
    상기 얼굴 이미지를 상기 1차원 얼굴 정보로 변환하는 단계는,
    PCA(principal component analysis)를 적용하여 상기 얼굴 이미지로부터 특징 정보를 추출하는 단계; 및
    상기 추출된 특징 정보를 1차원으로 변환하여 상기 1차원 얼굴 정보를 획득하는 단계;
    를 포함하는 방법.
  6. 제1항에 있어서,
    상기 딥 러닝은, 컨벌루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하는 방법.
  7. 전자 장치에 있어서,
    사용자의 심전도 신호를 획득하는 심전도 측정 모듈;
    상기 사용자의 얼굴 이미지를 획득하는 카메라 모듈; 및
    상기 획득된 심전도 신호 및 얼굴 이미지에 기반하여 딥 러닝(deep learning)을 수행하고, 상기 딥 러닝의 출력 값에 기반하여 상기 사용자를 인증하는 프로세서;
    를 포함하는 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 심전도 신호로부터 대표 파형 정보를 획득하고,
    상기 얼굴 이미지를 1차원 얼굴 정보로 변환하는 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 대표 파형 정보와 상기 1차원 얼굴 정보를 일렬로 정렬하고,
    상기 정렬된 대표 파형 정보 및 상기 1차원 얼굴 정보를 딥 러닝 모델에 적용하는 장치.
  10. 제8항에 있어서,
    상기 프로세서는,
    상기 심전도 신호의 R-피크를 검출하고,
    상기 검출된 R-피크에 기반하여 상기 심전도 신호를 주기별로 분할하여 상기 대표 파형 정보를 획득하는 장치.
  11. 제8항에 있어서,
    상기 프로세서는,
    PCA(principal component analysis)를 적용하여 상기 얼굴 이미지로부터 특징 정보를 추출하고,
    상기 추출된 특징 정보를 1차원으로 변환하여 상기 1차원 얼굴 정보를 획득하는 장치.
  12. 제7항에 있어서,
    상기 딥 러닝은, 컨벌루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 완전 연결 레이어(fully connected layer)를 포함하는 장치.
PCT/KR2019/003293 2018-04-24 2019-03-21 사용자 인증을 위한 장치 및 방법 WO2019208933A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180047261A KR102021491B1 (ko) 2018-04-24 2018-04-24 사용자 인증을 위한 장치 및 방법
KR10-2018-0047261 2018-04-24

Publications (1)

Publication Number Publication Date
WO2019208933A1 true WO2019208933A1 (ko) 2019-10-31

Family

ID=68067105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/003293 WO2019208933A1 (ko) 2018-04-24 2019-03-21 사용자 인증을 위한 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102021491B1 (ko)
WO (1) WO2019208933A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882559A (zh) * 2020-01-20 2020-11-03 深圳数字生命研究院 Ecg信号的获取方法及装置、存储介质、电子装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102498835B1 (ko) * 2020-12-16 2023-02-09 조선대학교산학협력단 심전도 신호 분석 시스템 및 이를 이용한 심전도 신호 분석 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101494874B1 (ko) * 2014-05-12 2015-02-23 김호 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
KR20160024600A (ko) * 2014-08-26 2016-03-07 삼성전자주식회사 심전도 신호를 이용한 사용자 인증 방법 및 장치
KR20170082024A (ko) * 2016-01-05 2017-07-13 한국전자통신연구원 얼굴 인식 장치 및 방법
KR20170082440A (ko) * 2016-01-06 2017-07-14 삼성전자주식회사 심전도 인증 방법 및 장치
KR20170091318A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 심전도 신호를 이용한 인증 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102010304B1 (ko) 2012-06-14 2019-10-21 삼성전자주식회사 심전도 신호를 이용한 사용자 인증 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101494874B1 (ko) * 2014-05-12 2015-02-23 김호 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
KR20160024600A (ko) * 2014-08-26 2016-03-07 삼성전자주식회사 심전도 신호를 이용한 사용자 인증 방법 및 장치
KR20170082024A (ko) * 2016-01-05 2017-07-13 한국전자통신연구원 얼굴 인식 장치 및 방법
KR20170082440A (ko) * 2016-01-06 2017-07-14 삼성전자주식회사 심전도 인증 방법 및 장치
KR20170091318A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 심전도 신호를 이용한 인증 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882559A (zh) * 2020-01-20 2020-11-03 深圳数字生命研究院 Ecg信号的获取方法及装置、存储介质、电子装置
CN111882559B (zh) * 2020-01-20 2023-10-17 深圳数字生命研究院 Ecg信号的获取方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
KR102021491B1 (ko) 2019-09-16

Similar Documents

Publication Publication Date Title
JP4578529B2 (ja) 手書き署名の取得、分析および認証のためのシステムと方法
WO2019088462A1 (ko) 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법
Zhu et al. Biometric personal identification based on iris patterns
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
WO2019208933A1 (ko) 사용자 인증을 위한 장치 및 방법
WO2017069596A1 (ko) Cad기반 디지털 엑스레이의 자동 결핵 진단 예측 시스템
WO2018151357A1 (ko) 향상된 다중채널 가버 필터 기반 휴먼 얼굴 인식 방법
WO2022145519A1 (ko) 딥러닝을 이용한 심전도 시각화 방법 및 장치
WO2012153965A2 (ko) 뇌-컴퓨터 접속 장치, 그리고 그의 분류 방법
WO2018151503A2 (ko) 제스처 인식 방법 및 장치
WO2020184763A1 (ko) 지문 센서를 포함하는 디바이스의 안티-스푸핑 방법 및 시스템
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
WO2017183867A1 (ko) 생체의 심장 박동에 따른 지문 이미지의 미세한 밝기 변화에 기초하여 위조지문을 판별할 수 있는 위조지문 판별 장치 및 그 방법
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2016126147A1 (ko) 코골이 검출 장치 및 방법
WO2021096162A1 (ko) 심장신호 처리장치 및 방법, 이를 포함하는 모니터링 시스템
Tiwari et al. A review of advancements in biometric systems
CN109446940A (zh) 指纹识别方法、电子装置及计算机可读取介质
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2014185753A1 (ko) 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
CN105118104A (zh) 基于步态识别功能的多功能考勤机
Raut et al. Biometric palm prints feature matching for person identification
WO2021002527A1 (ko) 광학식 비문 이미지 획득장치 및 비문 등록방법
WO2024014853A1 (ko) 반자동 라벨링에 따라 학습된 딥러닝 기반 주름 검출 모델을 이용하여 얼굴 주름을 검출하기 위한 방법 및 장치
WO2018212380A1 (ko) 개인인증을 위한 웨어러블 디바이스의 ecg 템플릿 검출 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19793981

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19793981

Country of ref document: EP

Kind code of ref document: A1