KR102307759B1 - Apparatus and method for generating feature information and method for transferring biomedical signal comprising the same - Google Patents

Apparatus and method for generating feature information and method for transferring biomedical signal comprising the same Download PDF

Info

Publication number
KR102307759B1
KR102307759B1 KR1020190126712A KR20190126712A KR102307759B1 KR 102307759 B1 KR102307759 B1 KR 102307759B1 KR 1020190126712 A KR1020190126712 A KR 1020190126712A KR 20190126712 A KR20190126712 A KR 20190126712A KR 102307759 B1 KR102307759 B1 KR 102307759B1
Authority
KR
South Korea
Prior art keywords
characteristic information
information
generating
fully connected
learning
Prior art date
Application number
KR1020190126712A
Other languages
Korean (ko)
Other versions
KR20210043862A (en
Inventor
변혜란
황선희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190126712A priority Critical patent/KR102307759B1/en
Publication of KR20210043862A publication Critical patent/KR20210043862A/en
Application granted granted Critical
Publication of KR102307759B1 publication Critical patent/KR102307759B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

본 발명의 프로세서 및 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되는 특징정보 생성 방법은, 피검사체로부터 획득한 트레이닝 생체 신호의 속성을 구분할 수 있는 레이블 정보를 이용하여 학습함에 따라 풀리 커넥티드(FC) 특징정보를 생성하는 단계 및 상기 트레이닝 생체 신호를 획득하고자 하는 타겟 생체 신호로 변환하기 위하여, 특징정보 생성 모델에 상기 풀리 커넥티드 특징정보를 입력하여 학습함에 따라 변환 특징정보를 생성하는 단계를 포함할 수 있다.The feature information generation method performed by the computing device including the processor and the memory of the present invention is a fully connected (FC) feature by learning by using label information that can distinguish properties of training biosignals obtained from a subject. Generating the information and converting the training bio-signal into a target bio-signal to be obtained, inputting the fully connected feature information to a feature information generation model and generating the transformed feature information as it learns have.

Description

특징정보 생성 장치, 방법 및 이를 포함하는 생체 신호 변환 장치{Apparatus and method for generating feature information and method for transferring biomedical signal comprising the same}Apparatus and method for generating feature information and method for transferring biomedical signal comprising the same}

본 발명은 특징정보 생성 장치, 방법 및 이를 포함하는 생체 신호 변환 장치에 관한 것이다.The present invention relates to an apparatus and method for generating feature information, and a biosignal conversion apparatus including the same.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information for the present embodiment and does not constitute the prior art.

뇌파 신호는 뇌 신경 사이의 신호가 전달될 때 생기는 전기의 흐름으로, 인체에서 측정하여 인체에 대한 에너지나 정보를 보유하고 있는 전기적인 신호를 나타내는 생체신호의 한 종류를 나타내며, 뇌 신경 세포의 전기적 활동을 두뇌의 표면에서 측정한 매우 작은 신호를 나타낸다. An EEG signal is a flow of electricity generated when signals are transmitted between brain nerves, and represents a type of biosignal that is measured in the human body and represents an electrical signal that holds energy or information about the human body. It represents a very small signal that measures activity on the surface of the brain.

뇌파 신호는 사용자들에게 자극을 주고 감정이 유도된 상태에서 뇌 피질 표면에서 발생하는 신경 세포들의 동기화된 활동으로 인해 발생하는 생체 내부의 전류 흐름을 전극(electrode)을 이용하여 일정 시간 측정하는 것으로, 두피의 피부에 부착하거나 수술적으로 두개강 내에 뇌전도 전극을 삽입하여 측정할 수 있다. The EEG signal is to measure the current flow in the living body generated by the synchronized activity of nerve cells occurring on the surface of the brain cortex in a state where stimulation is given to users and emotions are induced using electrodes for a certain period of time. It can be measured by attaching it to the skin of the scalp or by surgically inserting an electroencephalogram electrode into the cranial cavity.

또한, 뇌파 신호는 전위 변화가 파동 형태로 표시되며, 파동의 진폭과 주파수를 분석하여 뇌의 활동 정도를 파악할 수 있다.In addition, the change in potential of the EEG signal is displayed in the form of a wave, and the degree of brain activity can be determined by analyzing the amplitude and frequency of the wave.

일반적으로, 뇌파 신호를 이용한 연구는 데이터의 부족으로 연구에 어려움이 존재하며, 생명에 위협을 가하는 위험한 상황이나 정신적으로 충격을 받을 수 있는 상황에서 실질적으로 뇌파 신호 데이터를 수집할 수 없는 어려움이 있다.In general, research using EEG signals has difficulties in research due to the lack of data, and it is difficult to actually collect EEG signal data in a dangerous situation that threatens life or a situation that may receive a psychological shock. .

한국 공개 특허 제10-2019-0062174호 (공개)Korean Patent Publication No. 10-2019-0062174 (published)

본 발명은 상기 전술한 종래의 문제점을 해결하기 위해 보유하고 있는 생체 신호들을 이용하여 부족한 생체 신호의 속성에 따른 타겟 생체 신호 데이터를 획득할 수 있는 특징정보 생성 장치 및 생체 신호 변환 장치를 제공한다.SUMMARY OF THE INVENTION The present invention provides a feature information generating apparatus and a biosignal conversion apparatus capable of acquiring target biosignal data according to the insufficient properties of biosignals by using the biosignals possessed in order to solve the problems of the prior art.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 프로세서 및 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되는 특징정보 생성 방법은, 피검사체로부터 획득한 트레이닝 생체 신호의 속성을 구분할 수 있는 레이블 정보를 이용하여 학습함에 따라 풀리 커넥티드(FC) 특징정보를 생성하는 단계 및 상기 트레이닝 생체 신호를 획득하고자 하는 타겟 생체 신호로 변환하기 위하여, 특징정보 생성 모델에 상기 풀리 커넥티드 특징정보를 입력하여 학습함에 따라 변환 특징정보를 생성하는 단계를 포함할 수 있다.In a feature information generation method performed by a computing device including a processor and a memory according to an embodiment of the present invention for achieving the above object, using label information capable of distinguishing the properties of the training bio-signal obtained from the subject, Generating fully connected (FC) feature information as learning and converting the training biosignal into a target biosignal to be obtained, inputting the fully connected feature information into a feature information generation model and learning It may include the step of generating characteristic information.

또한, 상기 생체 신호는 상기 피검사체의 뇌에 부위별로 부착된 복수개의 뇌파 전극 채널들을 이용하여 획득되는 뇌파(EEG) 신호이고, 상기 풀리 커넥티드 특징정보를 생성하는 단계는, 음향(sound) 신호 또는 영상(image) 신호인 상기 트레이닝 생체 신호를 입력 받는 단계; 및 상기 트레이닝 생체 신호를 레이블링(labeling)하여 상기 레이블 정보를 생성하는 단계를 더 포함할 수 있다.In addition, the biosignal is an EEG signal obtained by using a plurality of EEG electrode channels attached to each part of the brain of the subject, and the generating of the fully connected feature information includes: a sound signal or receiving the training bio-signal as an image signal; and generating the label information by labeling the training biosignal.

또한, 상기 풀리 커넥티드 특징정보를 생성하는 단계는, 상기 레이블 정보를 적어도 하나의 컨볼루션 커널을 이용하여 컨볼루션 필터링함에 따라 상기 풀리 커넥티드 특징정보를 출력하는 단계 및 상기 컨볼루션 커널을 이용하여 출력된 풀리 커넥티드 특징정보에 상기 타겟과 관련된 태그 정보를 결합시켜 타겟 풀리 커넥티드 특징정보를 생성하는 단계를 더 포함하고, 상기 변환 특징정보를 생성하는 단계는, 상기 태그 정보가 결합된 타겟 풀리 커넥티드 특징정보를 이용하여 학습함에 따라 상기 변환 특징정보를 생성할 수 있다. In addition, the generating of the fully connected feature information includes: outputting the fully connected feature information as the label information is convolutionally filtered using at least one convolution kernel, and using the convolution kernel The method further includes generating target pulley connected characteristic information by combining the outputted pulley connected characteristic information with tag information related to the target, wherein the generating of the converted characteristic information includes: the target pulley to which the tag information is combined As learning is performed using the connected characteristic information, the transformed characteristic information may be generated.

또한, 상기 변환 특징정보를 생성하는 단계는, 상기 특징정보 생성 모델을 이용하여 상기 타겟 풀리 커넥티드 특징정보를 기반으로 학습하여 변환 특징정보를 생성하는 단계 및 상기 특징정보 생성 모델을 통해 생성된 변환 특징정보를 특징정보 판별 모델에 입력하여 학습함에 따라 상기 변환 특징정보가 상기 풀리 커넥티드 특징정보인지 판별하는 단계를 더 포함할 수 있다. In addition, the generating of the transformation characteristic information includes the steps of generating transformation characteristic information by learning based on the target fully connected characteristic information using the characteristic information generation model and the transformation generated through the characteristic information generation model The method may further include determining whether the transformed characteristic information is the fully connected characteristic information as the characteristic information is input into the characteristic information determination model and learned.

또한, 상기 변환 특징정보를 생성하는 단계는, 상기 특징정보 생성 모델 및 상기 특징정보 판별 모델을 통해 상기 타겟 풀리 커넥티드 특징정보를 학습하여 변환 특징정보를 생성하되, 서로 다른 학습 알고리즘으로 학습을 수행하는 복수번의 학습 단계를 통해 상기 타겟 풀리 커넥티드 특징정보를 기반으로 상기 변환 특징정보를 생성할 수 있다. In addition, the generating of the transformation characteristic information includes learning the target fully connected characteristic information through the characteristic information generation model and the characteristic information determination model to generate transformation characteristic information, but learning is performed with different learning algorithms Through a plurality of learning steps, the transformation characteristic information may be generated based on the target fully connected characteristic information.

또한, 상기 복수번의 학습 단계 중 제1 학습 단계는, 상기 타겟 풀리 커넥티드 특징정보를 상기 특징정보 생성 모델에 입력하고, 상기 타겟 풀리 커넥티드 특징정보에 비해 차원이 축소된 제1 변환 특징정보를 출력하는 단계 및 상기 제1 변환 특징정보를 상기 특징정보 판별 모델에 입력하여, 상기 제1 변환 특징정보가 실제 정보인 제1 정보로 판별하는 확률이 증가하도록 학습하는 단계를 더 포함할 수 있다.In addition, in the first learning step among the plurality of learning steps, the target fully connected characteristic information is input to the characteristic information generation model, and the first transformed characteristic information with a reduced dimension compared to the target fully connected characteristic information is obtained. The method may further include outputting and inputting the first transformed characteristic information into the characteristic information discrimination model, and learning to increase a probability that the first transformed characteristic information is determined as first information that is actual information.

또한, 상기 복수번의 학습 단계 중 제2 학습 단계는, 상기 타겟 풀리 커넥티드 특징정보를 상기 특징정보 생성 모델에 입력하여 학습함에 따라 제2 변환 특징정보를 생성하는 단계 및 상기 제2 변환 특징정보를 상기 특징정보 판별 모델에 입력하여, 상기 제2 변환 특징정보가 거짓 정보인 제2 정보로 판별하는 확률이 증가하도록 학습하고, 상기 타겟 풀리 커넥티드 특징정보를 실제 정보인 제1 정보로 판별하는 확률이 증가하도록 학습하는 단계를 더 포함할 수 있다.In addition, the second learning step of the plurality of learning steps includes the steps of inputting the target fully connected feature information into the feature information generation model and generating second transformed feature information as the learning is performed and the second transform feature information The probability of inputting the characteristic information determination model to learn to increase the probability that the second transformation characteristic information is determined as false information as second information, and the probability of determining the target fully connected characteristic information as first information that is real information It may further include the step of learning to increase.

또한, 상기 복수번의 학습 단계 중 제3 학습 단계는, 상기 타겟 풀리 커넥티드 특징정보를 상기 특징정보 생성 모델에 입력하여 학습함에 따라 제3 변환 특징정보를 생성하는 단계, 상기 생성된 제3 변환 특징정보에 상기 타겟과 관련된 태그 정보를 결합하는 단계 및 상기 태그 정보가 결합된 제3 변환 특징정보를 상기 특징정보 생성 모델에 다시 입력하여 학습함에 따라 변환된 제3 변환 특징정보를 생성하는 단계를 더 포함할 수 있다.In addition, the third learning step among the plurality of learning steps includes generating third transformed characteristic information by inputting the target fully connected characteristic information into the characteristic information generation model and learning, and the generated third transformed characteristic information. The step of combining the tag information related to the target to information and the third transformation characteristic information combined with the tag information is input again into the characteristic information generation model to generate the transformed third transformation characteristic information as it is learned may include

또한, 상기 복수번의 학습 단계 중 제3 학습 단계는, 상기 타겟 풀리 커넥티드 특징정보를 학습함에 따라 생성된 제3 변환 특징정보를 다시 상기 특징정보 생성 모델로 입력하기 위해 상기 생성된 제3 변환 특징정보를 제1 경로로 전달하는 단계 및 상기 생성된 제3 변환 특징정보를 상기 특징정보 변환 모델로 입력시키기 위한 제2 경로로 전달하는 단계를 더 포함할 수 있고, 상기 태그 정보를 결합하는 단계는, 상기 제1 경로를 통해 전달된 제3 변환 특징정보에 상기 태그 정보를 결합할 수 있다.In addition, in the third learning step among the plurality of learning steps, the generated third transformed characteristic information is input again to the feature information generation model, the third transformed characteristic information generated by learning the target fully connected characteristic information. The method may further include transmitting information through a first path and transmitting the generated third transformation characteristic information to a second path for inputting the characteristic information transformation model into the characteristic information transformation model, and combining the tag information includes: , the tag information may be combined with the third transformation characteristic information transmitted through the first path.

상술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 프로세서 및 메모리를 포함하는 특징정보 생성 장치의 프로세서는, 피검사체로부터 획득한 트레이닝 생체 신호의 속성을 구분할 수 있는 레이블 정보를 이용하여 학습함에 따라 풀리 커넥티드(FC) 특징정보를 생성하는 단계 및 상기 트레이닝 생체 신호를 획득하고자 하는 타겟 생체 신호로 변환하기 위하여, 특징정보 생성 모델에 상기 풀리 커넥티드 특징정보를 입력하여 학습함에 따라 변환 특징정보를 생성하는 단계를 포함할 수 있다.The processor of the feature information generating apparatus including a processor and a memory according to another embodiment of the present invention for achieving the above object learns using label information that can distinguish the properties of the training bio-signals obtained from the subject. In order to generate the fully connected (FC) characteristic information and convert the training biological signal into a target biological signal to be obtained, the fully connected characteristic information is input to the characteristic information generation model to learn and transform characteristic information It may include the step of generating

상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 프로세서 및 메모리를 포함하는 생체 신호 변환 장치의 프로세서는, 피검사체로부터 획득한 트레이닝 생체 신호의 속성을 구분할 수 있는 레이블 정보를 이용하여 학습함에 따라 풀리 커넥티드(FC) 특징정보를 생성하는 단계 및 상기 풀리 커넥티드 특징정보를 기반으로 학습하여 변환 특징정보를 생성하는 특징정보 생성 모델을 이용하여, 상기 트레이닝 생체 신호를 획득하고자 하는 타겟 생체 신호로 변환하는 단계를 포함할 수 있다.A processor of a biosignal conversion device including a processor and a memory according to another embodiment of the present invention for achieving the above object learns by using label information capable of distinguishing the properties of a training biosignal obtained from a subject A target living body to obtain the training bio-signal by using a feature information generation model that generates the fully connected (FC) feature information and generates transformed feature information by learning based on the fully connected feature information It may include converting to a signal.

본 발명의 실시예에 따른 특징정보 생성 장치 및 생체 신호 변환 장치는 보유하고 있는 생체 신호들을 이용하여 부족한 생체 신호의 속성에 따른 타겟 생체 신호 데이터를 획득할 수 있는 효과가 있다.The feature information generating apparatus and the biosignal conversion apparatus according to an embodiment of the present invention have an effect of obtaining target biosignal data according to the property of the insufficient biosignal by using the possessed biosignals.

도1은 본 발명의 일 실시예에 따른 생체 신호 변환 장치의 구성을 개략적으로 도시한 블록도이다.
도2는 본 발명의 일 실시예에 따른 프로세서가 생체 신호 변환을 위해 수행하는 동작 개념을 설명하기 위해 도시한 블록도이다.
도3은 본 발명의 일 실시예에 따른 FC 특징정보 생성부의 세부적인 동작 개념을 설명하기 위해 도시한 블록도이다.
도4는 본 발명의 일 실시예에 따른 생체 신호 변환 장치의 FC 특징정보 생성을 위한 합성곱 신경망을 예시한 도면이다.
도5는 본 발명의 일 실시예에 따른 생체 신호 변환부의 세부적인 동작 개념을 설명하기 위해 도시한 블록도이다.
도6은 본 발명의 일 실시예에 따른 생체 신호 변환부가 수행하는 복수번의 학습 단계들 중 제1 학습 단계에 대하여 설명하기 위해 도시한 참고도이다.
도7은 본 발명의 일 실시예에 따른 생체 신호 변환부가 수행하는 복수번의 학습 단계들 중 제2 학습 단계에 대하여 설명하기 위해 도시한 참고도이다.
도8은 본 발명의 일 실시예에 따른 생체 신호 변환부가 수행하는 복수번의 학습 단계들 중 제3 학습 단계에 대하여 설명하기 위해 도시한 참고도이다.
도9는 본 발명의 일 실시예에 따른 생체 신호 변환 방법을 시간의 흐름에 따라 개략적으로 도시한 흐름도이다.
도10은 본 발명의 일 실시예인 도9의 S920 단계를 구체화한 흐름도이다.
도11은 본 발명의 일 실시예인 도9의 S940 단계를 구체화한 흐름도이다.1 is a block diagram schematically showing the configuration of a biosignal conversion apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating an operation concept performed by a processor for biosignal conversion according to an embodiment of the present invention.
3 is a block diagram illustrating a detailed operation concept of an FC characteristic information generating unit according to an embodiment of the present invention.
4 is a diagram illustrating a convolutional neural network for generating FC feature information of a biosignal conversion device according to an embodiment of the present invention.
5 is a block diagram illustrating a detailed operation concept of a biosignal converter according to an embodiment of the present invention.
6 is a reference diagram illustrating a first learning step among a plurality of learning steps performed by the biosignal converter according to an embodiment of the present invention.
7 is a reference diagram illustrating a second learning step among a plurality of learning steps performed by the biosignal converter according to an embodiment of the present invention.
8 is a reference diagram illustrating a third learning step among a plurality of learning steps performed by the biosignal converter according to an embodiment of the present invention.
9 is a flowchart schematically illustrating a biosignal conversion method over time according to an embodiment of the present invention.
10 is a flow chart embodying step S920 of FIG. 9, which is an embodiment of the present invention.
11 is a flow chart embodying step S940 of FIG. 9, which is an embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계 없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention may be embodied in various different forms, and is not limited to the described embodiments. In addition, in order to clearly explain the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록"등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로구현될 수 있다.Throughout the specification, when a part "includes" a certain component, this does not exclude other components unless otherwise stated, but means that other components may be further included. In addition, terms such as "...unit", "...group", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware, software, or hardware. and a combination of software.

이하, 본 발명의 일 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description may be omitted.

이하에서는 본 발명의 실시예에 따른 특징정보 생성 장치 및 방법, 그리고 이를 포함하는 생체 신호 변환 장치의 구성을 관련된 도면을 참조하여 상세히 설명한다. 본 발명의 특징정보 생성 장치는 생체 신호 변환 장치에 포함되거나, 포함하는 개념이므로 아래 도면을 참조하는 설명에서는 생체 신호 변환 장치의 동작을 위주로 설명한다.Hereinafter, an apparatus and method for generating feature information according to an embodiment of the present invention, and a configuration of a biosignal conversion apparatus including the same will be described in detail with reference to related drawings. Since the feature information generating device of the present invention is included in, or includes, the biosignal conversion device, the description with reference to the drawings below will mainly focus on the operation of the biosignal conversion device.

도1은 본 발명의 일 실시예에 따른 생체 신호 변환 장치의 구성을 개략적으로 도시한 블록도이다. 본 발명의 생체 신호 변환 장치(100)는 도1에 도시된 바와 같이 통신 모듈(110), 프로세서(120), 및 메모리(130)를 포함하는 컴퓨팅 디바이스로 구현될 수 있다. 1 is a block diagram schematically showing the configuration of a biosignal conversion apparatus according to an embodiment of the present invention. The biosignal conversion apparatus 100 of the present invention may be implemented as a computing device including a communication module 110 , a processor 120 , and a memory 130 as shown in FIG. 1 .

통신 모듈(110)은 생체 신호 변환 장치(100)와 외부 전자 장치(예: 전자 장치(컴퓨팅 장치), 또는 서버간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(110)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(130)은 무선 통신 모듈 (예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈 (예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크 (예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈은 가입자 식별 모듈에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크 또는 제 2 네트워크와 같은 통신 네트워크 내에서 생체 신호 변환 장치를 확인 및 인증할 수 있다.The communication module 110 establishes a direct (eg, wired) communication channel or a wireless communication channel between the biosignal conversion device 100 and an external electronic device (eg, an electronic device (computing device), or a server, and the established communication channel) The communication module 110 operates independently of the processor 120 (eg, an application processor) and includes one or more communication processors that support direct (eg, wired) communication or wireless communication. According to one embodiment, the communication module 130 may be a wireless communication module (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (eg, a LAN). (local area network) communication module, or a power line communication module) A corresponding communication module among these communication modules is a first network (eg, a short-range communication network such as Bluetooth, WiFi direct, or infrared data association (IrDA)) Alternatively, it may communicate with an external electronic device via a second network (eg, a cellular network, the Internet, or a telecommunication network such as a computer network (eg, LAN or WAN)). (eg, a single chip), or may be implemented as a plurality of components separate from each other (eg, multiple chips) The wireless communication module provides subscriber information stored in the subscriber identification module (eg, international mobile subscriber identifier ( IMSI)) may be used to identify and authenticate the biosignal conversion device within a communication network such as the first network or the second network.

프로세서(120)는 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(120)에 연결된 전자 장치의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈 또는 통신 모듈)로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서 (예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. The processor 120 may, for example, execute software (eg, a program) to control at least one other component (eg, a hardware or software component) of the electronic device connected to the processor 120, and may perform various data It can perform processing or operation. According to an embodiment, as at least part of data processing or operation, the processor 120 loads a command or data received from another component (eg, a sensor module or a communication module) into a volatile memory, and a command stored in the volatile memory. Alternatively, the data may be processed and the resulting data stored in non-volatile memory. According to an embodiment, the processor 120 includes a main processor (eg, a central processing unit or an application processor), and a secondary processor 123 (eg, a graphics processing unit, an image signal processor, and a sensor hub) that can be operated independently or together with the main processor. processor, or communication processor). Additionally or alternatively, the auxiliary processor may be configured to use less power than the main processor or to specialize in a designated function.

메모리(130)는, 컴퓨팅 장치(100)인 생체 신호 변환 장치의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈)에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다The memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module) of the biosignal conversion device that is the computing device 100 . Data may include, for example, input data or output data for software (eg, a program) and instructions related thereto. The memory 130 may include a volatile memory or a non-volatile memory.

도2는 본 발명의 일 실시예에 따른 프로세서가 생체 신호 변환을 위해 수행하는 동작 개념을 설명하기 위해 도시한 블록도이다. 도2의 블록도에는 FC 특징정보 생성부(210), 및 생체 신호 변환부(220)가 도시되어 있다. 본 발명의 일 실시예에 따르면, 도2에 개시된 구성요소들은 소프트웨어적으로 마련되어 메모리에 저장되고, 프로세서에 의하여 일련의 절차가 실행되도록 구현될 수 있다. 또한, 위 구성요소들 중 적어도 일부는 하드웨어적으로도 구현될 수 있음은 자명하다.2 is a block diagram illustrating an operation concept performed by a processor for biosignal conversion according to an embodiment of the present invention. The block diagram of FIG. 2 shows the FC characteristic information generating unit 210 and the biosignal converting unit 220 . According to an embodiment of the present invention, the components shown in FIG. 2 may be provided by software, stored in a memory, and implemented such that a series of procedures are executed by a processor. In addition, it is apparent that at least some of the above components may be implemented in hardware.

본 발명의 실시예에 따른 FC 특징정보 생성부(210)는 피검사체로부터 획득한 트레이닝 생체 신호의 속성을 구분할 수 있는 레이블 정보를 이용하여 학습함에 따라 풀리 커넥티드(FC, Fully connected) 특징정보를 생성할 수 있다.The FC feature information generating unit 210 according to an embodiment of the present invention generates fully connected (FC) feature information as it learns using label information that can distinguish the properties of the training biosignals acquired from the subject. can create

그리고, 본 발명의 실시예에 따른 생체 신호 변환부(220)는 트레이닝 생체 신호를 획득하고자 하는 타겟 생체 신호로 변환하기 위해, FC 특징정보 생성부(210)로부터 생성된 풀리 커넥티드 특징정보를 기반으로 학습하여 변환 특징정보를 생성하고, 이에 따라 트레이닝 생체 신호를 타겟 생체 신호로 변환할 수 있다.In addition, the biosignal converter 220 according to an embodiment of the present invention converts the training biosignal into a target biosignal to be obtained, based on the fully connected feature information generated by the FC feature information generator 210 . It is possible to generate transformation characteristic information by learning with , and thus convert the training bio-signal into a target bio-signal.

본 발명의 생체 신호 변환 장치는, 피검사체들로부터 획득되는 생체 신호들은 여성, 남성, 아동, 노인, 긍정적 감정, 중립상태, 부정적 감정, 등과 같은 속성에 따라 분류할 수 있다. 다만, 이때 특정 속성에 따른 생체 신호의 데이터가 부족한 경우, 확보하고자 하는 목표 생체 신호를 얻기 위해 이미 충분히 보유하고 있는 다른 속성들의 생체 신호들을 기반으로 얻고자 하는 목표 생체 신호를 생성할 수 있다. The biosignal conversion apparatus of the present invention may classify biosignals obtained from subjects according to attributes such as female, male, child, elderly, positive emotion, neutral state, negative emotion, and the like. However, in this case, when data of a biosignal according to a specific attribute is insufficient, a target biosignal to be obtained may be generated based on biosignals of other properties that are already sufficiently possessed to obtain a target biosignal to be secured.

여기서, 생체 신호란, 피검사체의 뇌에 부위별로 부착된 복수개의 뇌파 전극 채널들을 이용하여 획득되는 뇌파(EEG) 신호일 수 있다. Here, the biosignal may be an EEG signal obtained by using a plurality of EEG electrode channels attached to each part of the brain of the subject.

도3은 본 발명의 일 실시예에 따른 FC 특징정보 생성부의 세부적인 동작 개념을 설명하기 위해 도시한 블록도이다. 도3의 블록도에는, 입력부(310), 인코더(320), 합성곱 신경망(330), 및 태그 정보 결합부(340)가 도시되어 있다.3 is a block diagram illustrating a detailed operation concept of an FC characteristic information generating unit according to an embodiment of the present invention. In the block diagram of FIG. 3 , an input unit 310 , an encoder 320 , a convolutional neural network 330 , and a tag information combining unit 340 are illustrated.

본 발명의 실시예에 따른 입력부(310)는 통신 모듈(110)을 통해 외부의 전자 장치로부터 생성 또는 획득된 생체 신호들 중 적어도 하나의 트레이닝 생체 신호를 입력 받을 수 있다. 일 실시예로, 입력부(310)는 통신 모듈(110)을 통해 외부의 전자 장치로부터 상기 트레이닝 생체 신호를 입력 받을 수도 있지만, 또 다른 일 예로 복수의 생체 신호들을 본 발명의 생체 신호 변환 장치의 데이터베이스(DB)에 저장되어 있을 수 있고, 데이터베이스에 저장되어 있는 복수의 생체 신호들 중 일부를 입력 받는 것으로 구현될 수도 있다.The input unit 310 according to an embodiment of the present invention may receive at least one training bio-signal from among bio-signals generated or obtained from an external electronic device through the communication module 110 . In an embodiment, the input unit 310 may receive the training bio-signals from an external electronic device through the communication module 110, but as another example, a plurality of bio-signals are converted into a database of the bio-signal conversion device of the present invention. It may be stored in the DB, and may be implemented by receiving some of the plurality of biosignals stored in the database.

이때, 입력부(310)는 상기 트레이닝 생체 신호를 음향 신호(sound signal), 영상 신호(image signal), 및 동영상 신호(video signal) 중 적어도 하나의 형태로 입력 받을 수 있다.In this case, the input unit 310 may receive the training bio-signal in the form of at least one of a sound signal, an image signal, and a video signal.

본 발명의 실시예에 따른 인코더(320)는 입력부(310)에 입력된 트레이닝 생체 신호를 레이블링(labeling)하여, 상기 트레이닝 생체 신호를 레이블 정보로 변환할 수 있다. 여기서, 레이블 정보란 0 또는 1의 논리값들로 구성되는 정보일 수 있고, 또 다른 예로 0 내지 1 사이의 신호값들로 구성되는 정보일 수 있다. 각 생체 신호의 속성별 레이블 정보가 구성하는 논리값 또는 신호값들은 다르게 구성될 수 있다.The encoder 320 according to an embodiment of the present invention may label the training bio-signal input to the input unit 310 and convert the training bio-signal into label information. Here, the label information may be information composed of logical values of 0 or 1, and as another example, may be information composed of signal values between 0 and 1. Logic values or signal values included in the label information for each property of each biosignal may be configured differently.

그리고, 본 발명의 실시예에 따른 합성곱 신경망(330)은 상기 인코더(320)를 통해 생성된 레이블 정보를 적어도 하나의 컨볼루션 커널(convolution kernel)을 이용하여 컨볼루션 필터링함에 따라 상기 풀리 커넥티드(FC) 특징정보를 출력할 수 있다.In addition, the convolutional neural network 330 according to an embodiment of the present invention convolutionally filters the label information generated through the encoder 320 using at least one convolution kernel, so that the fully connected (FC) Characteristic information can be output.

도4는 본 발명의 일 실시예에 따른 생체 신호 변환 장치의 FC 특징정보 생성을 위한 합성곱 신경망을 예시한 도면이다.4 is a diagram illustrating a convolutional neural network for generating FC feature information of a biosignal conversion device according to an embodiment of the present invention.

본 발명의 실시예에 따른 합성곱 신경망(330)은 복수의 컨볼루션 커널(kernel)들을 이용하여 컨볼루션 연산자를 통해 입력받은 레이블 정보의 특징을 추출하여 FC 특징정보를 생성할 수 있다. The convolutional neural network 330 according to an embodiment of the present invention may generate FC feature information by extracting features of label information input through a convolution operator using a plurality of convolution kernels.

여기서, 합성곱 신경망(330)의 하나 이상의 레이어의 노드들은 네트워크로 연결된다. 하나의 레이어에서 추출한 특징은 다른 레이어에 전달되고, 서브샘플링을 통해 추출한 특징을 통합하여 공간적 차원을 축소시키는 과정을 수행한다. 레이어는 파라미터를 포함할 수 있고, 레이어의 파라미터는 학습 가능한 필터(커널) 집합을 포함할 수 있다. 파라미터는 노드 간의 가중치 및/또는 바이어스를 포함할 수 있다. 합성곱 신경망(330)는 복수의 파라미터를 학습하며, 일부 파라미터는 공유될 수 있다. 또한, 합성곱 신경망(330)은 소프트맥스(softmax) 함수 및 손실 함수를 포함할 수 있다.Here, nodes of one or more layers of the convolutional neural network 330 are connected by a network. Features extracted from one layer are transferred to another layer, and the spatial dimension is reduced by integrating features extracted through subsampling. A layer may include a parameter, and the parameter of the layer may include a set of learnable filters (kernel). The parameters may include weights and/or biases between nodes. The convolutional neural network 330 learns a plurality of parameters, and some parameters may be shared. Also, the convolutional neural network 330 may include a softmax function and a loss function.

본 발명의 일 실시예에 따른 합성곱 생성망(330)은 입력 레이어(Input layer), 제1 컨볼루션 레이어(Convolution layer), 제1 풀링 레이어(Pooling layer), 제2 컨볼루션 레이어, 제2 풀링 레이어, 풀리 커넥티드 레이어(Fully connected layer), 및 출력 레이어(Output layer)를 포함할 수 있다. 본 발명의 일 실시예에 따른 풀리 커넥티드 레이어는 4개의 히든 레이어(hidden layer)를 포함하는 것으로 나타내었으나, 상술한 예시는 본 발명의 일 실시예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.The convolution generating network 330 according to an embodiment of the present invention includes an input layer, a first convolution layer, a first pooling layer, a second convolution layer, and a second It may include a pooling layer, a fully connected layer, and an output layer. The fully connected layer according to an embodiment of the present invention has been shown to include four hidden layers, but the above-described example is only an example for explaining an embodiment of the present invention, but is not limited thereto .

도4를 참조하여 보다 구체적으로 설명하면, 먼저 본 발명의 FC 특징정보 생성부는 입력부로 트레이닝 생체 신호(41)를 입력 받아, 인코더를 통해 트레이닝 생체 신호를 레이블 정보(42)로 변환하고, 변환된 레이블 정보(42)를 컨불루션 필터링하기 위한 매핑 데이터(43)로 매핑함에 따라 인코딩한다. 합성곱 신경망(330)은 이렇게 생성된 매핑 데이터(43)을 입력 레이어에서 입력 받아, 입력 받은 매핑 데이터가 제1 컨볼루션 레이어(331), 제1 풀링 레이어(332), 제2 컨볼루션 레이어(333), 제2 풀링 레이어(334), 및 풀리 커넥티드 레이어(335)를 통과하여 출력 레이어(336)에 전달되면서, 출력 레이어에서 트레이닝 생체 신호에 대한 특징을 추출한 FC 특징정보를 출력할 수 있다.4, first, the FC feature information generating unit of the present invention receives the training bio-signal 41 as an input unit, converts the training bio-signal into label information 42 through an encoder, and converts the It is encoded by mapping the label information 42 to the mapping data 43 for convolutional filtering. The convolutional neural network 330 receives the mapping data 43 generated in this way from the input layer, and the received mapping data is a first convolutional layer 331, a first pooling layer 332, and a second convolutional layer ( 333), the second pooling layer 334, and the fully connected layer 335 and transmitted to the output layer 336, the FC feature information obtained by extracting the features of the training biosignal from the output layer may be output. .

다시 도3을 참조하면, 본 발명의 실시예에 따른 태그 정보 결합부(340)는 합성곱 신경망(330)의 컨볼루션 커널을 이용하여 출력된 풀리 커넥티드 특징정보에 타겟과 관련된 태그 정보를 결합시켜 타겟 풀리 커넥티드 특징정보를 생성할 수 있다. 여기서, 타겟이란 획득하고자 하는 목표 생체 신호를 의미한다. Referring back to FIG. 3 , the tag information combining unit 340 according to an embodiment of the present invention combines target-related tag information with the fully connected feature information output using the convolution kernel of the convolutional neural network 330 . to generate target pulley connected feature information. Here, the target means a target biosignal to be acquired.

예컨대, 목표 생체 신호인 아동의 생체 신호를 획득하고자 하는 경우, 태그 정보 결합부(340)는 아동의 속성 정보를 나타내는 태그 정보를 상기 풀리 커넥티드 특징정보에 결합시킬 수 있고, 성인 여성의 생체 신호를 획득하고자 하는 경우, 태그 정보 결합부(340)는 성인 여성의 속성 정보를 나타내는 태그 정보를 상기 풀리 커넥티드 특징정보에 결합시킬 수 있다. 이렇게, 태그 정보가 결합됨에 따라 생성되는 타겟 풀리 커넥티드 특징정보는 생체 신호 변환부에서 수행될 복수의 학습 단계들에서 이용된다.For example, when it is desired to acquire a child's biosignal, which is a target biosignal, the tag information combining unit 340 may combine tag information representing the child's attribute information with the fully connected feature information, and the adult female's biosignal. To obtain , the tag information combining unit 340 may combine tag information representing attribute information of an adult woman with the fully connected feature information. In this way, the target fully connected feature information generated as the tag information is combined is used in a plurality of learning steps to be performed by the biosignal converter.

도5는 본 발명의 일 실시예에 따른 생체 신호 변환부의 세부적인 동작 개념을 설명하기 위해 도시한 블록도이다. 일 실시예인 도5의 블록도에는, 특징정보 생성 모델(510), 특징정보 변환 모델(520), 분기부(530), 태그 정보 추가부(540), 및 디코더(550)가 도시되어 있다.5 is a block diagram illustrating a detailed operation concept of a biosignal converter according to an embodiment of the present invention. In the block diagram of FIG. 5 , which is an embodiment, a feature information generation model 510 , a feature information transformation model 520 , a branching unit 530 , a tag information adding unit 540 , and a decoder 550 are illustrated.

본 발명의 생체 신호 변환부(500)는 생성적 적대 신경망(GAN, Generative Adversarial Network)의 딥러닝 알고리즘으로 동작하는 특징정보 생성 모델(510) 및 특징정보 변환 모델(520)으로 구성되어 복수의 학습 단계를 통해 입력된 타겟 풀리 커넥티드 특징정보를 변환할 수 있다. 즉, 특징정보 생성 모델(510)은 트레이닝 생체 신호를 타겟 생체 신호로 변환하기 위해 학습하여 타겟 풀리 커넥티드 특징정보를 변환 특징정보로 생성하고, 특징정보 변환 모델(520)은 특징정보 생성 모델(510)로부터 생성된 변환 특징정보가, FC 특징정보 생성부에서 생성된 풀리 커넥티드 특징 정보인지 판별할 수 있다. 이때, 본 발명의 특징정보 생성 모델(510) 및 특징정보 판별 모델(520)은 다양한 신경망 구조로 구현될 수 있으며, 구체적으로는 컨볼루션 신경망(CNN) 또는 순환 신경망(RNN)의 구조로 설계될 수 있다.The biosignal conversion unit 500 of the present invention is composed of a feature information generation model 510 and a feature information conversion model 520 operating with a deep learning algorithm of a generative adversarial network (GAN), and a plurality of learning The input target pulley connected feature information can be converted through the steps. That is, the feature information generation model 510 learns to convert the training bio-signal into the target bio-signal to generate the target fully connected feature information into the transformed feature information, and the feature information conversion model 520 uses the feature information generation model ( 510), it may be determined whether the converted characteristic information generated by the FC characteristic information generating unit is fully connected characteristic information. At this time, the feature information generation model 510 and the feature information discrimination model 520 of the present invention may be implemented in various neural network structures, and specifically designed as a structure of a convolutional neural network (CNN) or a recurrent neural network (RNN). can

도6은 본 발명의 일 실시예에 따른 생체 신호 변환부가 수행하는 복수번의 학습 단계들 중 제1 학습 단계에 대하여 설명하기 위해 개략적으로 도시한 참조도이다. 도6을 참조하면, 제1 학습 단계에서 본 발명의 FC 특징정보 생성부(620)는 피검사체의 뇌 활동(61)에 따른 트레이닝 생체 신호(62)를 입력 받아, 전술한 바와 같이 타겟에 대한 태그 정보가 결합된 타겟 풀리 커넥티드(FC) 특징정보를 생성할 수 있다. 그리고, 본 발명의 생체 신호 변환부(640)는 상기 생성된 타겟 FC 특징정보를 입력 받아, 특징정보 생성 모델(642) 및 특징정보 판별 모델(644)을 이용하여 학습한다.6 is a reference diagram schematically illustrating a first learning step among a plurality of learning steps performed by the biosignal converter according to an embodiment of the present invention. Referring to FIG. 6 , in the first learning step, the FC feature information generating unit 620 of the present invention receives the training biosignal 62 according to the brain activity 61 of the subject, and receives the training biosignal 62 for the target as described above. It is possible to generate target fully connected (FC) characteristic information combined with tag information. Then, the biosignal converter 640 of the present invention receives the generated target FC characteristic information, and learns it using the characteristic information generation model 642 and the characteristic information discrimination model 644 .

보다 구체적으로, 특징정보 생성 모델(642)은 타겟 FC 특징정보를 입력 받아 학습함에 따라 상기 타겟 FC 특징정보에 비해 차원이 축소된 제1 변환 특징정보를 생성하여 출력할 수 있다. 그리고, 특징정보 판별 모델(644)은 상기 특징정보 생성 모델(642)로부터 생성된 제1 변환 특징정보를 입력 받아, 상기 제1 변환 특징정보가 실제 정보(제1 정보)로 판별하는 확률이 증가하도록 학습할 수 있다.More specifically, the feature information generation model 642 may generate and output first transformed feature information having a reduced dimension compared to the target FC feature information as the target FC feature information is received and learned. And, the characteristic information determination model 644 receives the first transformation characteristic information generated from the characteristic information generation model 642, and the probability that the first transformation characteristic information is determined as actual information (first information) increases. can learn to do it.

이처럼, 제1 학습 단계에서 특징정보 생성 모델(642)은, 상기 입력된 타겟 FC 특징정보의 뇌파 속성정보(예를 들어, 여성, 남성, 아동, 노인, 긍정적 등)를 인식/분류하는 학습을 한다. As such, in the first learning step, the feature information generation model 642 learns to recognize/classify EEG attribute information (eg, female, male, child, elderly, positive, etc.) of the input target FC characteristic information. do.

또한, 특징정보 판별 모델(644)은 제1 학습 단계를 통해 특징정보 생성 모델(642)이 실제 특징과 유사한 특징정보를 생성해내도록 적대적 학습을 수행한다. 학습 수행 단계에 대하여 보다 구체적으로 설명하면, 제1 학습 단계에서의 특징정보 판별 모델(644)은 먼저, 특징 정보 생성 모델(642)로부터 생성된 제1 변환 특징정보를 실제 정보로 인식하도록 학습한다. In addition, the feature information discrimination model 644 performs adversarial learning so that the feature information generation model 642 generates feature information similar to the actual feature through the first learning step. In more detail with respect to the learning execution step, the feature information discrimination model 644 in the first learning step first learns to recognize the first transformed feature information generated from the feature information generation model 642 as real information. .

본 발명에서 특징정보란 특징 벡터들로 이루어진 특징 행렬일 수 있다. 일 실시예로, 특징정보 생성 모델(642)이 입력 받는 타겟 FC 특징정보는 1X105 크기의 특징행렬일 수 있고, 특징정보 생성 모델(642)이 생성하여 출력하는 제1 변환 특징정보는 1X100 크기의 특징행렬일 수 있다.In the present invention, the feature information may be a feature matrix composed of feature vectors. In one embodiment, the target FC characteristic information input to the characteristic information generation model 642 may be a 1X105 size feature matrix, and the first transformation characteristic information generated and output by the characteristic information generation model 642 is 1X100 size. It may be a feature matrix.

제1 학습 단계에서 특징정보 생성 모델(642) 및 특징정보 판별 모델(644)은 상기와 같은 학습 및 역전파(back propagation) 학습을 통해 각각 내부에 설계된 학습 레이어들의 필터계수를 변경하여 설정할 수 있다.In the first learning step, the feature information generation model 642 and the feature information discrimination model 644 can be set by changing the filter coefficients of the learning layers designed therein, respectively, through the learning and back propagation learning as described above. .

다음으로, 도7은 본 발명의 일 실시예에 따른 생체 신호 변환부가 수행하는 복수번의 학습 단계들 중 제2 학습 단계에 대하여 설명하기 위해 개략적으로 도시한 참조도이다. Next, FIG. 7 is a reference diagram schematically illustrating a second learning step among a plurality of learning steps performed by the biosignal converter according to an embodiment of the present invention.

도7을 참조하면, 제2 학습 단계에서 특징정보 생성 모델(742)은 제1 학습 단계에서와 마찬가지로 FC 특징정보 생성부(720)로부터 생성된 타겟 FC 특징정보를 입력 받아, 타겟 FC 특징정보를 기반으로 학습하여 획득하고자 하는 타겟 생체 신호로 변환하기 위한 제2 변환 특징정보를 생성할 수 있다. 즉, 제2 학습 단계에서 특징정보 생성 모델(742)이 생성하는 제2 변환 특징정보는 타겟 생체 신호를 출력하기 위한 타겟 특징정보를 모사한 특징정보이다. 이때, 제2 학습 단계에서 특징정보 생성 모델(742)이 입력 받는 타겟 FC 특징정보의 크기는 1X105의 특징행렬이고, 특징정보 생성 모델(742)이 생성하는 제2 변환 특징정보는 1X100의 특징행렬일 수 있다.Referring to FIG. 7 , in the second learning step, the feature information generation model 742 receives the target FC feature information generated from the FC feature information generator 720 as in the first learning step, and generates the target FC feature information. Based on the learning, it is possible to generate second transformation characteristic information for converting into a target biosignal to be acquired. That is, the second transformation characteristic information generated by the characteristic information generation model 742 in the second learning step is characteristic information simulating target characteristic information for outputting a target biosignal. In this case, the size of the target FC feature information input to the feature information generating model 742 in the second learning step is a 1X105 feature matrix, and the second transform feature information generated by the feature information generating model 742 is a 1X100 feature matrix can be

그리고, 제2 학습 단계에서 특징정보 판별 모델(744)은 특징정보 생성 모델(742)로부터 생성된 제2 변환 특징정보와, 미리 저장되어 있는 타겟 특징정보를 함께 입력 받을 수 있다. 특징정보 판별 모델(744)은 상기 제2 변환 특징정보와, 타겟 특징정보를 판별을 위한 신경망을 구성하는 레이어들을 이용하여 타겟 특징정보는 실제 정보(제1 정보)로 판별하도록, 그리고 제2 변환 특징정보는 거짓 정보(제2 정보)로 판별하도록 학습할 수 있다. And, in the second learning step, the characteristic information determination model 744 may receive the second transformed characteristic information generated from the characteristic information generation model 742 and the target characteristic information stored in advance together. The characteristic information discrimination model 744 uses the second transformation characteristic information and the layers constituting the neural network for determining the target characteristic information to determine the target characteristic information as actual information (first information), and the second transformation The characteristic information may be learned to be identified as false information (second information).

여기서, 타겟 특징정보란 본 발명의 생체 신호 변환 장치가 획득하고자 하는 생체 신호의 속성에 속하는 생체 신호 중 적어도 하나일 수 있으며, 특징정보 판별 모델(744)이 제2 변환 특징정보를 거짓 정보로 판별하기 위한 학습자료(Real data)로 이용될 수 있다.Here, the target feature information may be at least one of biosignals belonging to the properties of a biosignal to be acquired by the biosignal conversion device of the present invention, and the feature information determination model 744 determines the second converted feature information as false information. It can be used as real data for

예컨대, 특징정보 판별 모델(744)은 학습한 특징정보가 실제 정보(제1 정보)인 것으로 판별하면 1에 가까운 값이 되도록 결과를 도출하고, 학습한 특징정보가 거짓 정보(제2 정보)인 것으로 판별하면 2에 가까운 값이 되도록 결과를 도출할 수 있다.For example, if the feature information discrimination model 744 determines that the learned feature information is real information (first information), it derives a result to be a value close to 1, and the learned feature information is false information (second information). If it is determined that it is, the result can be derived so that it becomes a value close to 2.

즉, 특징정보 변환 모델(744)은 타겟 특징정보 및 제2 변환 특징정보를 입력 받아, 내부의 신경망 레이어들을 이용하여 각각의 특징정보에 대하여 판별함으로써 0 내지 1 사이의 값을 도출할 수 있다. 특징정보 생성 모델(742)은 특징정보 판별 모델(744)로부터 제2 변환 특징정보에 대한 출력값이 1에 수렴할 수 있도록 이후 학습단계에서는 내부 레이어들의 필터 계수(가중치)들을 변경하여 설정할 수 있다.That is, the characteristic information transformation model 744 may derive a value between 0 and 1 by receiving the target characteristic information and the second transformation characteristic information and determining each characteristic information using internal neural network layers. The feature information generation model 742 may be set by changing the filter coefficients (weights) of the internal layers in a subsequent learning step so that the output value for the second transformed feature information from the feature information discrimination model 744 converges to 1.

본 실시예에서 상술한 바와 같은, 제2 학습 단계에서의 특징정보 생성 모델(742) 및 특징정보 판별 모델(744)은 LSGANs의 최소 제곱법을 기반으로 하는 손실 함수(least square loss function)을 사용하여 역전파(back propagation)을 통해 학습되며, 학습에 필요한 손실 함수는 아래와 같다. As described above in this embodiment, the feature information generation model 742 and the feature information discrimination model 744 in the second learning step use a least square loss function based on the least squares method of LSGANs. Thus, it is learned through back propagation, and the loss function required for learning is as follows.

아래 <수학식1>은 특징정보 판별 모델이 입력되는 특징정보가 실제 정보인지 거짓 정보인지 판별하기 위한 적대적 학습의 손실 함수(Ladversarial)를 나타낸다.The following <Equation 1> represents the adversarial loss function of adversarial learning for determining whether the feature information input by the feature information discrimination model is real information or false information.

Figure 112019104171851-pat00001
Figure 112019104171851-pat00001

여기서, x는 타겟 특징정보이고, ct는 특징정보 생성 모델(742)이 생성한 제2 변환 특징정보이며, D는 특징정보 판별 모델을 나타낸다. 즉, 본 발명의 특징정보 판별 모델(744)은 <수학식1>을 통해 FC 특징정보는 실제 정보를 나타내는 1을 출력하도록, 제2 변환 특징정보는 거짓 정보를 나타내는 0을 출력하도록 학습한다.Here, x is the target characteristic information, c t is the second transformed characteristic information generated by the characteristic information generation model 742, and D indicates the characteristic information discrimination model. That is, the characteristic information discrimination model 744 of the present invention learns to output 1 indicating real information for FC characteristic information and 0 indicating false information for the second transformation characteristic information through <Equation 1>.

또한, 특징정보 판별 모델(744)은 아래 <수학식2>를 이용하여 타겟 FC 특징정보 및 제2 변환 특징정보에 대하여 정확히 학습할 수 있다.In addition, the feature information discrimination model 744 may accurately learn the target FC feature information and the second transformed feature information using Equation 2 below.

Figure 112019104171851-pat00002
Figure 112019104171851-pat00002

여기서, x는 타겟 특징정보이고, ct는 특징정보 생성 모델(742)이 생성한 제2 변환 특징정보이다.Here, x is the target characteristic information, and c t is the second transformed characteristic information generated by the characteristic information generation model 742 .

다음으로, 도8은 본 발명의 일 실시예에 따른 생체 신호 변환부가 수행하는 복수번의 학습 단계들 중 제3 학습 단계에 대하여 설명하기 위해 개략적으로 도시한 참조도이다. Next, FIG. 8 is a reference diagram schematically illustrating a third learning step among a plurality of learning steps performed by the biosignal converter according to an embodiment of the present invention.

도8을 참조하면, 제2 학습 단계에서 특징정보 생성 모델(842)은 제1 및 제2 학습 단계에서와 마찬가지로 FC 특징정보 생성부(820)로부터 생성된 타겟 FC 특징정보를 입력 받아, 타겟 FC 특징정보를 기반으로 학습하여 획득하고자 하는 타겟 생체 신호로 변환하기 위한 제3 변환 특징정보를 생성할 수 있다. Referring to FIG. 8 , in the second learning step, the feature information generation model 842 receives the target FC feature information generated from the FC feature information generator 820 as in the first and second learning steps, and receives the target FC The third transformation characteristic information for converting into a target bio-signal to be acquired by learning based on the characteristic information may be generated.

일 실시예로, 제3 학습 단계에서 특징정보 생성 모델(842)이 생성하는 제3 변환 특징정보는 제2 변환 특징정보와 같이, 타겟 생체 신호를 출력하기 위한 타겟 특징정보를 모사한 특징정보일 수 있다. 또한, 제3 학습 단계에서 특징정보 생성 모델(842)이 입력 받는 타겟 FC 특징정보의 크기는 1X105의 특징행렬이고, 특징정보 생성 모델(842)이 생성하는 제3 변환 특징정보는 1X100의 특징행렬일 수 있다.In one embodiment, the third transformation characteristic information generated by the characteristic information generation model 842 in the third learning step is characteristic information simulating target characteristic information for outputting a target biosignal, like the second transformation characteristic information. can In addition, the size of the target FC feature information input to the feature information generating model 842 in the third learning step is a 1X105 feature matrix, and the third transform feature information generated by the feature information generating model 842 is a 1X100 feature matrix can be

그리고, 본 발명의 분기부(846)가 이렇게 생성된 제3 변환 특징정보를 특징정보 판별 모델(844)로 바이패스(by-pass)로 전달함과 동시에, 제3 변환 특징정보를 태그정보 추가부(848)로 전달한다. 태그정보 추가부(848)는 분기부(846)로부터 전달 받은 제3 변환 특징정보에 타겟과 관련된 태그정보를 결합시킬 수 있다.Then, the branching unit 846 of the present invention transfers the generated third transformation characteristic information to the characteristic information determination model 844 by-pass, and at the same time, adds the third transformation characteristic information to tag information. forwarded to unit 848 . The tag information adding unit 848 may combine the target-related tag information with the third transformation characteristic information received from the branching unit 846 .

보다 구체적으로, 분기부(846)는 제1 경로를 통해 1X100 크기의 제3 변환 특징정보를 특징정보 판별 모델(844)로 전달하고, 제2 경로를 통해 1X100 크기의 제3 변환 특징정보를 태그정보 추가부(848)로 전달하여, 태그정보 추가부(848)가 상기 1X100 크기의 제3 변환 특징정보에 1X5 크기의 타겟과 관련된 태그 정보를 결합시킬 수 있다. More specifically, the branching unit 846 transmits the third transformation characteristic information of the size of 1X100 to the feature information determination model 844 through the first path, and tags the third transformation characteristic information of the size of 1X100 through the second path. By transferring the information to the information adding unit 848, the tag information adding unit 848 may combine the tag information related to the 1X5 target with the third transformation characteristic information of the 1X100 size.

예컨대, 본 실시예에서의 생체 신호 변환 장치가 획득하고자 하는 생체 신호가 아동의 생체 신호인 경우, 태그정보 추가부(848)는 '아동' 속성을 표시하는 1X5 크기의 태그 정보를 상기 제3 변환 특징정보에 결합하는 것이다. 또한, 태그정보 추가부(848)가 제3 변환 특징정보에 추가 결합시키는 타겟에 대한 태그 정보는 FC 특징정보 생성부의 태그 정보 결합부에서 합성곱 신경망으로부터 생성된 FC 특징정보에 결합시키는 타겟에 대한 태그 정보와 동일한 것일 수 있다. For example, when the biosignal to be obtained by the biosignal conversion device in the present embodiment is a biosignal of a child, the tag information adding unit 848 converts the tag information of 1X5 size indicating the 'child' attribute to the third conversion binding to the feature information. In addition, the tag information on the target that the tag information adding unit 848 additionally combines with the third transformation characteristic information is about the target that is combined with the FC characteristic information generated from the convolutional neural network in the tag information combining unit of the FC characteristic information generation unit. It may be the same as the tag information.

그리고, 특징정보 생성 모델(842)은 태그 정보가 결합된 제3 변환 특징정보를 다시 입력 받아 학습함에 따라 또다시 변환된 제3 변환 특징정보를 생성하고, 분기부(846) 새롭게 생성된 제3 변환 특징정보를 제1 경로 및 제2 경로로 전달함에 따라, 특징정보 판별 모델(844)은 전달 받은 제3 변환 특징정보가 타겟 FC 특징정보인지 판별하며, 태그정보 추가부(848)는 전달 받은 제3 변환 특징정보에 다시 타겟에 대한 태그 정보를 추가하여 특징정보 생성 모델(842)로 전달할 수 있다. Then, the characteristic information generation model 842 receives the third transformation characteristic information combined with the tag information again and generates the transformed third transformation characteristic information again as it learns, and the branching unit 846 newly generated third transformation characteristic information As the transformation characteristic information is transmitted to the first path and the second path, the characteristic information determination model 844 determines whether the received third transformation characteristic information is the target FC characteristic information, and the tag information adding unit 848 receives the transmitted The third transformation characteristic information may be transmitted to the characteristic information generation model 842 by adding tag information about the target again.

특징정보 생성 모델(842)은 아래 <수학식3>을 이용하여 제3 변환 특징정보에 타겟과 과련된 태그 정보를 추가함으로써 다시 원본 특징정보로 복원하여 타겟 특징정보와의 차이를 최소화하도록 학습할 수 있다.The characteristic information generation model 842 is to learn to minimize the difference with the target characteristic information by restoring it back to the original characteristic information by adding the tag information related to the target to the third transformation characteristic information by using the <Equation 3> below. can

Figure 112019104171851-pat00003
Figure 112019104171851-pat00003

여기서, x는 타겟 특징정보이고, ct는 특징정보 생성 모델(842)이 생성한 제3 변환 특징정보이다.Here, x is the target characteristic information, and c t is the third transformed characteristic information generated by the characteristic information generation model 842 .

이와 같은 학습을 반복함에 따라 특징정보 판별 모델(844)이 특징정보 생성 모델(842)로부터 생성된 제3 변환 특징정보를 판별한 결과 실제 정보로 판별하는 1에 가까운 값을 출력하게 되면, 학습을 중단하고 특징정보 생성 모델(842)은 디코더(850)로 최종 생성된 제3 변환 특징정보를 전달할 수 있다. As a result of repeating this learning, the characteristic information determination model 844 determines the third transformed characteristic information generated from the characteristic information generation model 842 and outputs a value close to 1 that is determined as actual information, learning is After stopping, the feature information generation model 842 may transmit the finally generated third transformed feature information to the decoder 850 .

디코더(850)는 전달 받은 제3 변환 특징정보를 타겟 생체 신호로 변환하기 위해 내부에 설계된 풀리 커넥티드 레이어를 이용하여 상기 제3 변환 특징정보를 타겟 생체 신호(83)로 변환할 수 있다.The decoder 850 may convert the third transformed characteristic information into the target bio-signal 83 using a fully connected layer designed therein to convert the received third transformed characteristic information into the target bio-signal.

도9는 본 발명의 일 실시예에 따른 생체 신호 변환 방법을 시간의 흐름에 따라 개략적으로 도시한 흐름도이다.9 is a flowchart schematically illustrating a biosignal conversion method over time according to an embodiment of the present invention.

먼저, S920 단계에서 FC 특징정보 생성부는, 피검사체로부터 획득한 트레이닝 생체 신호의 속성을 구분할 수 있는 레이블 정보를 이용하여 학습함에 따라 FC 특징정보를 생성한다.First, in step S920, the FC characteristic information generating unit generates FC characteristic information as it learns using label information that can distinguish the properties of the training bio-signal acquired from the subject.

그리고, S940 단계에서 생체 신호 변환부는, 특징정보 생성 모델 및 특징정보 변환 모델을 이용하여 FC 특징정보 생성부로부터 생성된 FC 특징정보를 학습함에 따라 변환 특징정보를 생성하여, 트레이닝 생체 신호를 타겟 생체 신호로 변환할 수 있다.Then, in step S940, the biosignal conversion unit generates converted characteristic information by learning the FC characteristic information generated from the FC characteristic information generation unit using the characteristic information generation model and the characteristic information conversion model, and converts the training biological signal into a target biometric signal. can be converted into a signal.

도10은 본 발명의 일 실시예인 도9의 S920 단계를 구체화한 흐름도이다. S920 단계를 보다 구체적으로 설명하면, S1020 단계에서 FC 특징정보 생성부는 외부의 전자장치 또는 사용자로부터 트레이닝 생체 신호를 입력 받을 수 있다. 이에 따라 S1040 단계에서 FC 특징정보 생성부는 입력 받은 트레이닝 생체 신호를 레이블링하여 레이블 정보로 생성할 수 있다. S1060 단계에서 레이블 정보를 학습하기 위해 매핑 데이터로 인코딩한 후, 인코딩된 매핑 데이터를 컨볼루션 커널을 이용하여 컨볼루션 연산을 함에 따라 풀리 커넥티드(FC) 특징정보를 생성한다. 그리고, S1080 단계에서 FC 특징정보 생성부는, 상기 생성된 FC 특징정보에 타겟과 관련된 태그 정보가 결합된 타겟 FC 특징정보를 생성할 수 있다.10 is a flow chart embodying step S920 of FIG. 9, which is an embodiment of the present invention. To describe step S920 in more detail, in step S1020, the FC characteristic information generating unit may receive a training bio-signal from an external electronic device or a user. Accordingly, in step S1040, the FC feature information generating unit may label the received training bio-signal to generate the label information. After encoding into mapping data to learn label information in step S1060, a convolution operation is performed on the encoded mapping data using a convolution kernel to generate fully connected (FC) feature information. In step S1080, the FC characteristic information generating unit may generate target FC characteristic information in which tag information related to a target is combined with the generated FC characteristic information.

도11은 본 발명의 일 실시예인 도9의 S940 단계를 구체화한 흐름도이다. 도11을 참조하여 도9의 S940 단계에 대하여 보다 구제적으로 설명한다. S1120 단계에서 생체 신호 변환부는 상기 FC 특징정보 생성부로부터 생성된 타겟 FC 특징정보를 기반으로 제1 학습 단계를 수행한다. 그리고, S1140 단계에서 생체 신호 변환부는 타겟 FC 특징정보 및 미리 저장된 타겟 특징정보를 기반으로 제2 학습 단계를 수행할 수 있다. 그 후, S1160 단계에서 생체 신호 변환부는 타겟 FC 특징정보를 기반으로 제3 학습 단계를 수행할 수 있다. 여기서, 상기 제1 내지 제3 학습 단계에 대하여 도1 내지 도8을 참조한 설명에서 구체적으로 설명한 바 중복되므로 여기서는 자세한 설명은 생략한다.11 is a flow chart embodying step S940 of FIG. 9, which is an embodiment of the present invention. Step S940 of FIG. 9 will be described in more detail with reference to FIG. 11 . In step S1120, the biosignal converter performs a first learning step based on the target FC feature information generated by the FC feature information generator. Then, in step S1140, the biosignal converter may perform a second learning step based on the target FC characteristic information and the pre-stored target characteristic information. Thereafter, in step S1160 , the biosignal converter may perform a third learning step based on the target FC characteristic information. Here, since the first to third learning steps have been described in detail in the description with reference to FIGS. 1 to 8 , a detailed description thereof will be omitted.

이에 따라 S1180 단계에서 생체 신호 변환부는 제3 학습 단계를 통해 최종 생성된 제3 변환 특징 정보를 디코딩하여 얻고자 하는 타겟 속성에 따른 타겟 생체 신호를 생성할 수 있게 된다.Accordingly, in step S1180, the biosignal converter can generate a target biosignal according to a target attribute to be obtained by decoding the third transform characteristic information finally generated through the third learning step.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.Even if all the components constituting the embodiment of the present invention described above are described as being combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more. In addition, although all of the components may be implemented as one independent hardware, some or all of the components are selectively combined to perform some or all of the functions of one or a plurality of hardware programs It may be implemented as a computer program having In addition, such a computer program is stored in a computer readable media such as a USB memory, a CD disk, a flash memory, etc., read and executed by a computer, thereby implementing the embodiment of the present invention. The computer program recording medium may include a magnetic recording medium, an optical recording medium, and the like.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions are possible within the range that does not depart from the essential characteristics of the present invention by those of ordinary skill in the art to which the present invention pertains. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are for explaining, not limiting, the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings. . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100, 200: 생체 신호 변환 장치
300: FC 특징정보 생성부
500: 생체 신호 변환부100, 200: biosignal conversion device
300: FC characteristic information generation unit
500: biosignal conversion unit

Claims (14)

프로세서 및 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되는 특징정보 생성 방법으로서,
피검사체로부터 획득한 트레이닝 생체 신호로부터 상기 트레이닝 생체 신호의 속성을 구분할 수 있는 레이블 정보를 이용하여 풀리 커넥티드(FC) 특징정보를 생성하는 단계; 및
상기 트레이닝 생체 신호를 획득하고자 하는 타겟 생체 신호로 변환하기 위하여, 특징정보 생성 모델에 상기 풀리 커넥티드 특징정보를 입력하여 변환 특징정보를 생성하는 단계;를 포함하며,
상기 풀리 커넥티드 특징정보를 생성하는 단계는, 상기 레이블 정보를 적어도 하나의 컨볼루션 커널을 이용하여 컨볼루션 필터링을 수행하여 상기 풀리 커넥티드 특징정보를 출력하는 단계; 및 상기 컨볼루션 커널을 이용하여 출력된 풀리 커넥티드 특징정보에 상기 타겟과 관련된 태그 정보를 결합시켜 타겟 풀리 커넥티드 특징정보를 생성하는 단계;를 더 포함하고,
상기 변환 특징정보를 생성하는 단계는, 상기 태그 정보가 결합된 타겟 풀리 커넥티드 특징정보를 이용하여 상기 변환 특징정보를 생성하고,
상기 변환 특징정보를 생성하는 단계는, 상기 특징정보 생성 모델을 이용하여 상기 타겟 풀리 커넥티드 특징정보를 기반으로 학습하여 변환 특징정보를 생성하는 단계; 및 상기 특징정보 생성 모델을 통해 생성된 변환 특징정보를 특징정보 판별 모델에 입력하여 상기 변환 특징정보가 상기 풀리 커넥티드 특징정보인지 판별하는 단계;를 더 포함하고,
상기 변환 특징정보를 생성하는 단계는, 서로 다른 학습 알고리즘으로 학습을 수행하는 복수번의 학습 단계를 통해 상기 타겟 풀리 커넥티드 특징정보를 기반으로 상기 변환 특징정보를 생성하며,
상기 복수번의 학습 단계는 (i) 제1 변환 특징정보를 이용한 제1 학습 단계, (ii) 제2 변환 특징정보를 이용한 제2 학습 단계, (iii) 제3 변환 특징정보를 이용한 제3 학습 단계를 포함하는 것을 특징으로 하는 특징정보 생성 방법.A method for generating characteristic information performed by a computing device including a processor and a memory, the method comprising:
generating fully connected (FC) characteristic information by using label information capable of distinguishing the properties of the training bio-signal from the training bio-signal obtained from the subject; and
In order to convert the training bio-signal into a target bio-signal to be obtained, inputting the fully connected feature information to a feature information generation model to generate converted feature information;
The generating of the fully connected feature information may include: outputting the fully connected feature information by performing convolution filtering on the label information using at least one convolution kernel; and generating target fully connected characteristic information by combining tag information related to the target with the fully connected characteristic information output using the convolution kernel;
The generating of the transformation characteristic information includes generating the transformation characteristic information using the target fully connected characteristic information combined with the tag information,
The generating of the transformation characteristic information may include: generating transformation characteristic information by learning based on the target fully connected characteristic information using the characteristic information generation model; and inputting the transformed characteristic information generated through the characteristic information generation model into the characteristic information determination model to determine whether the transformed characteristic information is the fully connected characteristic information;
The generating of the transformation characteristic information includes generating the transformation characteristic information based on the target fully connected characteristic information through a plurality of learning steps of performing learning with different learning algorithms,
The plurality of learning steps include (i) a first learning step using the first transform feature information, (ii) a second learning step using the second transform feature information, and (iii) a third learning step using the third transform feature information. A method for generating feature information, comprising: 제1항에 있어서,
상기 생체 신호는 상기 피검사체의 뇌에 부위별로 부착된 복수개의 뇌파 전극 채널들을 이용하여 획득되는 뇌파(EEG) 신호이고,
상기 풀리 커넥티드 특징정보를 생성하는 단계는, 음향(sound) 신호 또는 영상(image) 신호인 상기 트레이닝 생체 신호를 입력 받는 단계; 및 상기 트레이닝 생체 신호를 레이블링(labeling)하여 상기 레이블 정보를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 특징정보 생성 방법.According to claim 1,
The biosignal is an EEG signal obtained by using a plurality of EEG electrode channels attached to each part of the brain of the subject,
The generating of the fully connected feature information may include: receiving the training bio-signal, which is a sound signal or an image signal; and generating the label information by labeling the training bio-signal. 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 복수번의 학습 단계 중 상기 제1 학습 단계는,
상기 타겟 풀리 커넥티드 특징정보를 상기 특징정보 생성 모델에 입력하고, 상기 타겟 풀리 커넥티드 특징정보에 비해 차원이 축소된 상기 제1 변환 특징정보를 출력하는 단계; 및
상기 제1 변환 특징정보를 상기 특징정보 판별 모델에 입력하여, 상기 제1 변환 특징정보가 실제 정보인 제1 정보로 판별하는 확률이 증가하도록 학습하는 단계;를 더 포함하는 것을 특징으로 하는 특징정보 생성 방법.According to claim 1,
The first learning step among the plurality of learning steps,
inputting the target pulley connected feature information into the feature information generation model, and outputting the first transformed feature information with a reduced dimension compared to the target pulley connected feature information; and
The step of inputting the first transformation characteristic information into the characteristic information discrimination model, and learning to increase the probability that the first transformation characteristic information is determined as the first information that is actual information; Characteristic information characterized by further comprising: creation method. 제1항에 있어서,
상기 복수번의 학습 단계 중 상기 제2 학습 단계는,
상기 타겟 풀리 커넥티드 특징정보를 상기 특징정보 생성 모델에 입력하여 상기 제2 변환 특징정보를 생성하는 단계; 및
상기 제2 변환 특징정보를 상기 특징정보 판별 모델에 입력하여, 상기 제2 변환 특징정보가 거짓 정보인 제2 정보로 판별하는 확률이 증가하도록 학습하고, 상기 타겟 풀리 커넥티드 특징정보를 실제 정보인 제1 정보로 판별하는 확률이 증가하도록 학습하는 단계;를 더 포함하는 것을 특징으로 하는 특징정보 생성 방법.According to claim 1,
Among the plurality of learning steps, the second learning step is
generating the second transformed characteristic information by inputting the target fully connected characteristic information into the characteristic information generation model; and
By inputting the second transformation characteristic information into the characteristic information determination model, learning is performed so that the probability of determining that the second transformation characteristic information is false information is increased, and the target fully connected characteristic information is real information. The method of generating feature information, characterized in that it further comprises; learning to increase the probability of determining the first information. 제1항에 있어서,
상기 복수번의 학습 단계 중 상기 제3 학습 단계는,
상기 타겟 풀리 커넥티드 특징정보를 상기 특징정보 생성 모델에 입력하여 상기 제3 변환 특징정보를 생성하는 단계;
상기 생성된 제3 변환 특징정보에 상기 타겟과 관련된 태그 정보를 결합하는 단계; 및
상기 태그 정보가 결합된 제3 변환 특징정보를 상기 특징정보 생성 모델에 다시 입력하여 변환된 제3 변환 특징정보를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 특징정보 생성 방법.According to claim 1,
The third learning step among the plurality of learning steps,
generating the third transformed characteristic information by inputting the target fully connected characteristic information into the characteristic information generation model;
combining the generated third transformation characteristic information with tag information related to the target; and
The method further comprising: inputting the third transformed characteristic information combined with the tag information into the characteristic information generation model again to generate transformed third transformed characteristic information. 제8항에 있어서,
상기 복수번의 학습 단계 중 제3 학습 단계는,
상기 타겟 풀리 커넥티드 특징정보를 다시 상기 특징정보 생성 모델로 입력하기 위해 상기 생성된 제3 변환 특징정보를 제1 경로로 전달하는 단계; 및
상기 생성된 제3 변환 특징정보를 특징정보 변환 모델로 입력시키기 위한 제2 경로로 전달하는 단계;를 더 포함하고,
상기 태그 정보를 결합하는 단계는, 상기 제1 경로를 통해 전달된 제3 변환 특징정보에 상기 태그 정보를 결합하는 것을 특징으로 하는 특징정보 생성 방법.9. The method of claim 8,
The third learning step among the plurality of learning steps is,
transmitting the generated third transformed characteristic information to a first path to input the target fully connected characteristic information back to the characteristic information generation model; and
The method further includes; transmitting the generated third transformation characteristic information to a second path for inputting the characteristic information transformation model;
The combining of the tag information comprises combining the tag information with the third transformed characteristic information transmitted through the first path. 프로세서 및 메모리를 포함하는 특징정보 생성 장치에 있어서,
상기 프로세서는,
피검사체로부터 획득한 트레이닝 생체 신호로부터 상기 트레이닝 생체 신호의 속성을 구분할 수 있는 레이블 정보를 이용하여 풀리 커넥티드(FC) 특징정보를 생성하는 단계; 및
상기 트레이닝 생체 신호를 획득하고자 하는 타겟 생체 신호로 변환하기 위하여, 특징정보 생성 모델에 상기 풀리 커넥티드 특징정보를 입력하여 변환 특징정보를 생성하는 단계;를 수행하며,
상기 풀리 커넥티드 특징정보를 생성하는 단계는, 상기 레이블 정보를 적어도 하나의 컨볼루션 커널을 이용하여 컨볼루션 필터링을 수행하여 상기 풀리 커넥티드 특징정보를 출력하는 단계; 및 상기 컨볼루션 커널을 이용하여 출력된 풀리 커넥티드 특징정보에 상기 타겟과 관련된 태그 정보를 결합시켜 타겟 풀리 커넥티드 특징정보를 생성하는 단계;를 더 포함하고,
상기 변환 특징정보를 생성하는 단계는, 상기 태그 정보가 결합된 타겟 풀리 커넥티드 특징정보를 이용하여 상기 변환 특징정보를 생성하고,
상기 변환 특징정보를 생성하는 단계는, 상기 특징정보 생성 모델을 이용하여 상기 타겟 풀리 커넥티드 특징정보를 기반으로 학습하여 변환 특징정보를 생성하는 단계; 및 상기 특징정보 생성 모델을 통해 생성된 변환 특징정보를 특징정보 판별 모델에 입력하여 상기 변환 특징정보가 상기 풀리 커넥티드 특징정보인지 판별하는 단계;를 더 포함하고,
상기 변환 특징정보를 생성하는 단계는, 서로 다른 학습 알고리즘으로 학습을 수행하는 복수번의 학습 단계를 통해 상기 타겟 풀리 커넥티드 특징정보를 기반으로 상기 변환 특징정보를 생성하며,
상기 복수번의 학습 단계는 (i) 제1 변환 특징정보를 이용한 제1 학습 단계, (ii) 제2 변환 특징정보를 이용한 제2 학습 단계, (iii) 제3 변환 특징정보를 이용한 제3 학습 단계를 포함하는 것을 특징으로 하는 특징정보 생성 장치.In the feature information generating device comprising a processor and a memory,
The processor is
generating fully connected (FC) characteristic information by using label information capable of distinguishing the properties of the training bio-signal from the training bio-signal obtained from the subject; and
In order to convert the training bio-signal into a target bio-signal to be obtained, inputting the fully connected feature information to a feature information generation model to generate converted feature information;
The generating of the fully connected feature information may include: outputting the fully connected feature information by performing convolution filtering on the label information using at least one convolution kernel; and generating target fully connected characteristic information by combining tag information related to the target with the fully connected characteristic information output using the convolution kernel;
The generating of the transformation characteristic information includes generating the transformation characteristic information using the target fully connected characteristic information combined with the tag information,
The generating of the transformation characteristic information may include: generating transformation characteristic information by learning based on the target fully connected characteristic information using the characteristic information generation model; and inputting the transformed characteristic information generated through the characteristic information generation model into the characteristic information determination model to determine whether the transformed characteristic information is the fully connected characteristic information;
The generating of the transformation characteristic information includes generating the transformation characteristic information based on the target fully connected characteristic information through a plurality of learning steps of performing learning with different learning algorithms,
The plurality of learning steps include (i) a first learning step using the first transform feature information, (ii) a second learning step using the second transform feature information, and (iii) a third learning step using the third transform feature information. Characteristic information generating device comprising a. 제10항에 있어서,
상기 생체 신호는 상기 피검사체의 뇌에 부위별로 부착된 복수개의 뇌파 전극 채널들을 이용하여 획득되는 뇌파(EEG) 신호이고,
상기 풀리 커넥티드 특징정보를 생성하는 단계는, 음향(sound) 신호 또는 영상(image) 신호인 상기 트레이닝 생체 신호를 입력 받는 단계; 및 상기 트레이닝 생체 신호를 레이블링(labeling)하여 상기 레이블 정보를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 특징정보 생성 장치.11. The method of claim 10,
The biosignal is an EEG signal obtained by using a plurality of EEG electrode channels attached to each part of the brain of the subject,
The generating of the fully connected feature information may include: receiving the training bio-signal, which is a sound signal or an image signal; and generating the label information by labeling the training bio-signal. 삭제delete 삭제delete 삭제delete
KR1020190126712A 2019-10-14 2019-10-14 Apparatus and method for generating feature information and method for transferring biomedical signal comprising the same KR102307759B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190126712A KR102307759B1 (en) 2019-10-14 2019-10-14 Apparatus and method for generating feature information and method for transferring biomedical signal comprising the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190126712A KR102307759B1 (en) 2019-10-14 2019-10-14 Apparatus and method for generating feature information and method for transferring biomedical signal comprising the same

Publications (2)

Publication Number Publication Date
KR20210043862A KR20210043862A (en) 2021-04-22
KR102307759B1 true KR102307759B1 (en) 2021-09-30

Family

ID=75731026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190126712A KR102307759B1 (en) 2019-10-14 2019-10-14 Apparatus and method for generating feature information and method for transferring biomedical signal comprising the same

Country Status (1)

Country Link
KR (1) KR102307759B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023048470A2 (en) * 2021-09-25 2023-03-30 주식회사 메디컬에이아이 Medical data analysis method based on explainable artificial intelligence, program, and device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062174A (en) 2017-11-27 2019-06-05 고려대학교 산학협력단 Apparatus and method for providing classification results from brain signals based on brain-computer interface

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
장선우 et al., 초기설계 단계 사용자의 감정 인식을 위한 뇌파기반 딥러닝 분류모델, 대한건축학회 논문집, 85-94pages*

Also Published As

Publication number Publication date
KR20210043862A (en) 2021-04-22

Similar Documents

Publication Publication Date Title
US20200187841A1 (en) System and Method for Measuring Perceptual Experiences
Zhang et al. Cascade and parallel convolutional recurrent neural networks on EEG-based intention recognition for brain computer interface
CN109199414B (en) Audio-visual evoked emotion recognition method and system based on electroencephalogram signals
WO2022179548A1 (en) Electroencephalogram signal classification method and apparatus, and device, storage medium and program product
Shamwell et al. Single-trial EEG RSVP classification using convolutional neural networks
CN109871831B (en) Emotion recognition method and system
Dao et al. Collaborative multi-sensor classification via sparsity-based representation
CN110751032A (en) Training method of brain-computer interface model without calibration
CN116189681B (en) Intelligent voice interaction system and method
CN113712573A (en) Electroencephalogram signal classification method, device, equipment and storage medium
Rayatdoost et al. Subject-invariant EEG representation learning for emotion recognition
KR102307759B1 (en) Apparatus and method for generating feature information and method for transferring biomedical signal comprising the same
CN111798980A (en) Complex medical biological signal processing method and device based on deep learning network
KR20180100780A (en) System and method of diagnosing linguistic ability for early detection of neurodegenerative diseases, and computer readable medium for performing the method
CN117100267A (en) Child emotion ability assessment training system and method
Ciaccio et al. Biosignal pattern recognition and interpretation systems
KR102174232B1 (en) Bio-signal class classification apparatus and method thereof
Havugimana et al. Predicting cognitive load using parameter-optimized cnn from spatial-spectral representation of eeg recordings
CN116421200A (en) Brain electricity emotion analysis method of multi-task mixed model based on parallel training
Zhang et al. Affective EEG-based person identification using channel attention convolutional neural dense connection network
CN113627391A (en) Cross-mode electroencephalogram signal identification method considering individual difference
Fan et al. Group feature learning and domain adversarial neural network for aMCI diagnosis system based on EEG
US20230169312A1 (en) Artificial intelligence system decoding user&#39;s thoughts and method for controlling thereof
CN117708682B (en) Intelligent brain wave acquisition and analysis system and method
CN110765978B (en) Channel selection method based on fractal dimension

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant