KR20230062109A - Biosignal processing device and method - Google Patents

Biosignal processing device and method Download PDF

Info

Publication number
KR20230062109A
KR20230062109A KR1020210147057A KR20210147057A KR20230062109A KR 20230062109 A KR20230062109 A KR 20230062109A KR 1020210147057 A KR1020210147057 A KR 1020210147057A KR 20210147057 A KR20210147057 A KR 20210147057A KR 20230062109 A KR20230062109 A KR 20230062109A
Authority
KR
South Korea
Prior art keywords
biosignal
signal
bio
processing device
noise
Prior art date
Application number
KR1020210147057A
Other languages
Korean (ko)
Inventor
권지훈
정종욱
이창호
김영학
박근우
백인욱
Original Assignee
재단법인 아산사회복지재단
울산대학교 산학협력단
주식회사 에이티센스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단, 울산대학교 산학협력단, 주식회사 에이티센스 filed Critical 재단법인 아산사회복지재단
Priority to KR1020210147057A priority Critical patent/KR20230062109A/en
Priority to PCT/KR2021/018400 priority patent/WO2023075010A1/en
Publication of KR20230062109A publication Critical patent/KR20230062109A/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms

Abstract

일실시예에 따른 생체 신호 처리 장치는 생체 신호를 수집하는 기기로부터 사용자의 생체 신호를 수신하는 통신부 및 상기 수신된 생체 신호로부터 분할된 복수의 부분 생체 신호들 중 대상 생체 신호에 대해 제1 기계 학습 모델을 적용함으로써 출력된 출력 데이터에 기초하여 상기 대상 생체 신호에 포함된 노이즈 성분을 유발한 노이즈 소스(source)를 식별하는 프로세서를 포함할 수 있다.A biosignal processing apparatus according to an embodiment includes a communication unit that receives a user's biosignal from a device that collects biosignals, and first machine learning for a target biosignal among a plurality of partial biosignals divided from the received biosignal. and a processor for identifying a noise source that causes a noise component included in the target physiological signal based on output data output by applying the model.

Figure P1020210147057
Figure P1020210147057

Description

생체 신호 처리 장치 및 방법{Biosignal processing device and method}Biosignal processing device and method {Biosignal processing device and method}

이하, 수신된 생체 신호를 처리하는 장치 및 방법과 관련된 기술이 개시된다.Hereinafter, technologies related to devices and methods for processing received bio-signals are disclosed.

생체 신호를 측정하기 위한 웨어러블 디바이스는 시계, 반지, 밴드, 패치 등 다양한 형태들로 개발된다. 개인은 이러한 웨어러블 디바이스를 통하여 생체 신호를 측정하고 모니터링할 수 있다. 예를 들어, AliveCor사 등은 심전도 측정 기능을 통하여 병원을 방문하지 않고도 부정맥을 진단할 수 있는 기회를 사용자들에게 제공하고, FDA 승인을 통해 의료기기로서 인증을 받은 기기를 판매하기도 하였다. 특히, 패치 기반의 심전도 측정 기술을 통해 PPG 센서가 가진 정확도의 한계를 극복하고 2주간의 기간 동안 연속적인 모니터링을 가능하게 하고, 미국 내에서는 Zio-Patch 사 등에 의하여 부정맥 진단 서비스가 제공되고 있는 상황이다. 국내에서는 5개 기업이 홀터 심전계(2등급 의료기기)에 대한 식약처 인허가를 획득하였으며, 3개 기업의 제품이 보험 등재가 되는 등 국내 의료 시스템으로 편입되는 과정에 있다. 심전도의 경우, 심전도 측정 기기는 긴 전선으로 이어진 무겁고 불편한 홀터 장비를 대체할 수 있는 점에서 큰 의의를 가질 수 있다.Wearable devices for measuring bio-signals are developed in various forms such as watches, rings, bands, and patches. Individuals can measure and monitor biosignals through these wearable devices. For example, AliveCor and the like provided users with an opportunity to diagnose arrhythmia without visiting a hospital through an electrocardiogram measurement function, and also sold devices certified as medical devices through FDA approval. In particular, patch-based electrocardiogram measurement technology overcomes the limits of accuracy of the PPG sensor and enables continuous monitoring for a period of two weeks. am. In Korea, five companies have obtained approval from the Ministry of Food and Drug Safety for Holter electrocardiographs (class 2 medical devices), and the products of three companies are in the process of being incorporated into the domestic medical system, such as being listed in insurance. In the case of an electrocardiogram, an electrocardiogram measuring device can be of great significance in that it can replace the heavy and inconvenient Holter equipment connected with a long wire.

생체 신호의 수집을 위해 설계된 센서는 전자기적 특성에 기반한다. 이러한 점 때문에, 센서로부터 수집된 생체 신호는 외부의 자력, 전자파, 온도 변화 등에 따라 노이즈 성분을 포함할 수 있다. 노이즈 성분을 포함하는 생체 신호의 진폭은 노이즈 성분을 포함하지 않는 생체 신호의 진폭보다 클 수 있고, 대응하는 구간에서 수집된 생체 신호에 관한 정보는 활용되기 어려운 문제점을 갖는다. 생체 신호가 수집된 이후에 수행되는 생체 신호의 분석 과정에서도 주파수 분석 등을 통해 노이즈 성분을 포함하는 생체 신호에 대응하는 구간을 제거하는 방식을 활용하고 있으나, 모든 노이즈 성분을 포함하는 생체 신호들을 구분하는 것은 매우 어려운 일이다. 무엇보다도 수집의 대상인 생체 신호가 노이즈로 인하여 분석하기 어려운 경우에 중요한 정보를 놓칠 수 있다는 것은 큰 문제일 수 있다. 휴대전화의 사용이 빈번히 이뤄지고 다양한 전자기기를 주변에 두고 활용하는 현대인의 생활 패턴은 생체 신호의 수집을 어렵게 만드는 요인일 수 있다.Sensors designed to collect vital signals are based on electromagnetic properties. Because of this, the biological signal collected from the sensor may include noise components due to external magnetic force, electromagnetic waves, temperature change, and the like. The amplitude of the biosignal including the noise component may be greater than the amplitude of the biosignal not including the noise component, and information about the biosignal collected in a corresponding section has a problem in that it is difficult to utilize. In the bio-signal analysis process performed after the bio-signals are collected, a method of removing sections corresponding to bio-signals including noise components through frequency analysis is used, but bio-signals including all noise components are classified. It is a very difficult thing to do. Above all, it can be a big problem that important information can be missed when it is difficult to analyze biosignals, which are objects of collection, due to noise. The lifestyle of modern people, who frequently use mobile phones and have various electronic devices around them, may be a factor that makes it difficult to collect biosignals.

일실시예에 따른 생체 신호 처리 장치는 생체 신호를 수집하는 기기로부터 사용자의 생체 신호를 수신하는 통신부 및 상기 수신된 생체 신호로부터 분할된 복수의 부분 생체 신호들 중 대상 생체 신호에 대해 제1 기계 학습 모델을 적용함으로써 출력된 출력 데이터에 기초하여 상기 대상 생체 신호에 포함된 노이즈 성분을 유발한 노이즈 소스(source)를 식별하는 프로세서를 포함할 수 있다.A biosignal processing apparatus according to an embodiment includes a communication unit that receives a user's biosignal from a device that collects biosignals, and first machine learning for a target biosignal among a plurality of partial biosignals divided from the received biosignal. and a processor for identifying a noise source that causes a noise component included in the target physiological signal based on output data output by applying the model.

상기 프로세서는 상기 노이즈 소스를 전기장, 자기장, 운동, 및 온도 중 하나 또는 둘 이상의 조합으로 결정할 수 있다.The processor may determine the noise source as one or a combination of two or more of electric field, magnetic field, motion, and temperature.

일실시예에 따른 생체 신호 처리 장치는 상기 프로세서에 의하여 식별된 상기 노이즈 소스와 매핑된 텍스트 안내 메시지, 행동 교정 가이드, 및 그래픽 객체 중 적어도 하나 또는 둘 이상의 조합을 표시하는 디스플레이를 더 포함할 수 있다.The biosignal processing apparatus according to an embodiment may further include a display displaying at least one or a combination of two or more of a text guidance message mapped with the noise source identified by the processor, a behavior correction guide, and a graphic object. .

일실시예에 따른 생체 신호 처리 장치는 상기 프로세서에 의하여 식별된 상기 노이즈 소스와 매핑된 음성 안내 메시지, 행동 교정 가이드, 및 알람 중 하나 또는 둘 이상의 조합을 재생하는 스피커를 더 포함할 수 있다.The biosignal processing apparatus according to an embodiment may further include a speaker that reproduces one or a combination of two or more of a voice guide message mapped with the noise source identified by the processor, a behavior correction guide, and an alarm.

일실시예에 따른 생체 신호 처리 장치는 상기 프로세서에 의하여 식별된 상기 노이즈 소스와 매핑된 색상을 표시하는 조명부를 더 포함할 수 있다.The biosignal processing device according to an embodiment may further include a lighting unit displaying a color mapped with the noise source identified by the processor.

상기 통신부는 상기 생체 신호와 함께 가속도계로부터 상기 사용자의 가속도 데이터를 더 수신할 수 있고, 상기 프로세서는 상기 출력 데이터와 함께 상기 가속도 데이터에 더 기초하여 상기 가속도 데이터에 대응하는 부분 생체 신호에 대하여 상기 노이즈 소스를 운동으로 결정할 수 있다.The communication unit may further receive acceleration data of the user from an accelerometer together with the biosignal, and the processor may generate noise for a partial biosignal corresponding to the acceleration data based on the acceleration data together with the output data. The source can be determined by exercise.

상기 프로세서는 상기 복수의 부분 생체 신호들의 각각에 제2 기계 학습 모델을 적용함으로써 출력된 가능성 점수들에 기초하여 상기 복수의 부분 생체 신호들 중에서 상기 대상 생체 신호를 선택할 수 있다.The processor may select the target biosignal from among the plurality of partial biosignals based on probability scores output by applying a second machine learning model to each of the plurality of partial biosignals.

상기 프로세서는 통제된 임상환경에서 측정된 유효 신호 및 생체 신호 수집 기기로부터 획득된 노이즈 성분이 포함된 노이즈 신호를 포함하는 트레이닝 생체 신호에 대한 상기 제2 기계 학습 모델의 적용에 따라 생성된 임시 가능성 점수 및 참값(ground truth) 간의 목적 함수 값을 산출하고, 상기 산출된 목적 함수 값이 수렴하도록 상기 제2 기계 학습 모델의 파라미터의 업데이트를 반복할 수 있다.The processor is a provisional likelihood score generated by applying the second machine learning model to a training biosignal including a valid signal measured in a controlled clinical environment and a noise signal including a noise component obtained from a biosignal collection device. An objective function value between the ground truth and the ground truth may be calculated, and updating of parameters of the second machine learning model may be repeated so that the calculated objective function value converges.

상기 프로세서는 상기 유효 신호 및 상기 노이즈 신호와 함께 상기 유효 신호에 노이즈 성분을 부가함으로써 생성된 합성 신호에 더 기초하여 상기 목적 함수 값을 산출할 수 있다.The processor may calculate the objective function value further based on a composite signal generated by adding a noise component to the valid signal together with the valid signal and the noise signal.

상기 프로세서는 상기 제2 기계 학습 모델에 의하여 출력된 상기 가능성 점수에 대한 신뢰도에 기초하여 선별된 트레이닝 부분 생체 신호를 이용하여 새로운 제2 기계 학습 모델을 트레이닝시킬 수 있다.The processor may train a new second machine learning model using a training partial bio-signal selected based on the reliability of the probability score output by the second machine learning model.

일실시예에 따른 생체 신호 처리 방법은 생체 신호를 수집하는 기기로부터 사용자의 생체 신호를 수신하는 단계 및 상기 수신된 생체 신호로부터 분할된 복수의 부분 생체 신호들 중 대상 생체 신호에 대해 제1 기계 학습 모델을 적용함으로써 출력된 출력 데이터에 기초하여 상기 대상 생체 신호에서 발생한 노이즈 소스를 식별하는 단계를 포함할 수 있다.A biosignal processing method according to an embodiment includes the steps of receiving a biosignal of a user from a device that collects biosignals, and performing first machine learning on a target biosignal among a plurality of partial biosignals divided from the received biosignal. The method may further include identifying a noise source generated in the target physiological signal based on output data output by applying the model.

도 1은 일실시예에 따른 생체 신호 처리 장치를 도시한다.
도 2는 생체 신호에 제1 기계 학습 모델을 적용하여 생체 신호에 포함된 노이즈 성분을 유발하는 노이즈 소스를 식별하는 것을 도시한다.
도 3는 제2 기계 학습 모델을 적용함으로써 대상 생체 신호를 선택하는 것을 도시한다.
도 4는 일실시예에 따른 제2 기계 학습 모델의 트레이닝을 도시한다.
도 5는 일실시예에 따른 선별된 트레이닝 부분 생체 신호들에 기초하여 새로운 제2 기계 학습 모델을 트레이닝시키는 것을 도시한다.
도 6은 노이즈 소스에 관한 정보를 사용자에게 제시하는 생체 신호 처리 장치를 나타낸다.
도 7a 및 도 7b는 노이즈 소스 및 노이즈 강도에 관한 정보를 사용자에게 제시하는 생체 신호 처리 장치를 도시한다.
도 8는 생체 신호 수집 기기와 함께 가속도계를 이용하여 노이즈 소스를 식별하는 것을 도시한다.
1 illustrates a biosignal processing device according to an exemplary embodiment.
2 illustrates identifying a noise source that causes a noise component included in a biosignal by applying a first machine learning model to the biosignal.
3 illustrates selecting a target bio-signal by applying a second machine learning model.
4 illustrates training of a second machine learning model according to one embodiment.
5 illustrates training a new second machine learning model based on selected training partial biosignals according to an embodiment.
6 shows a biosignal processing device that presents information about a noise source to a user.
7A and 7B show a biosignal processing device that presents information about a noise source and noise intensity to a user.
8 illustrates identifying a noise source using an accelerometer together with a biosignal collection device.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only, and may be changed and implemented in various forms. Therefore, the form actually implemented is not limited only to the specific embodiments disclosed, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical idea described in the embodiments.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, such terms should only be construed for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, but one or more other features or numbers, It should be understood that the presence or addition of steps, operations, components, parts, or combinations thereof is not precluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this specification, it should not be interpreted in an ideal or excessively formal meaning. don't

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted.

도 1은 일실시예에 따른 생체 신호 처리 장치를 도시한다.1 illustrates a biosignal processing device according to an exemplary embodiment.

생체 신호 처리 장치(100)는 프로세서(110), 통신부(120), 출력부(105)를 포함할 수 있다.The biosignal processing device 100 may include a processor 110, a communication unit 120, and an output unit 105.

통신부(120)는 외부 장치와 유선 통신 및/또는 무선 통신을 수립하고, 외부 장치로부터 데이터를 수신할 수 있다. 예를 들어, 통신부(120)는 생체 신호를 수집하는 기기로부터 사용자의 생체 신호 및 생체 신호에 대응하는 데이터 중 하나 이상을 수신할 수 있다. 생체 신호를 수집하는 기기는 사용자의 생체 신호를 수집하기 위한 웨어러블 디바이스일 수 있다. 웨어러블 디바이스는 예를 들어, 시계, 반지, 밴드, 및/또는 패치의 형태로 사용자의 신체에 착용되거나 부착되는 디바이스일 수 있다.The communication unit 120 may establish wired communication and/or wireless communication with an external device and receive data from the external device. For example, the communication unit 120 may receive one or more of a user's bio-signal and data corresponding to the bio-signal from a device that collects the bio-signal. A device that collects bio-signals may be a wearable device for collecting user's bio-signals. A wearable device may be, for example, a device worn or attached to a user's body in the form of a watch, ring, band, and/or patch.

생체 신호는 살아있는 세포의 활동에서 발생되는 생물학적 신호로서, 예시적으로 체온, 맥박, 혈압, 호흡, 혈당, 뇌파, 심전도, 및 산소 포화도를 포함할 수 있다. 생체 신호 수집 기기에 의하여 수집된 생체 신호는 사용자의 실제 생체 신호에 대응하는 생체 신호 성분뿐만 아니라, 생체 신호 수집 기기의 주변 환경(예를 들어, 전기장, 자기장, 온도 변화 등) 및 사용자의 활동(예를 들어, 운동 등)에 의하여 유발된 노이즈 성분을 포함할 수 있다. 전기장에 의하여 영향을 받는 생체 신호 수집 기기로부터 수신된 심전도 신호는, 심장의 전위 값들에 의한 심전도 성분 및 전기장으로 인한 노이즈 성분이 결합된 신호일 수 있다. 전기장에 의한 노이즈 성분은, 생체 신호 수집 기기로부터 수신된 심전도 신호와 심전도 신호 성분(예를 들어, 사용자의 심장 전위 값들)의 차이를 나타낼 수 있다.Biological signals are biological signals generated from activities of living cells, and may include, for example, body temperature, pulse, blood pressure, respiration, blood sugar, brain waves, electrocardiogram, and oxygen saturation. The bio-signal collected by the bio-signal collection device includes not only a bio-signal component corresponding to the user's actual bio-signal, but also the environment around the bio-signal collection device (eg, electric field, magnetic field, temperature change, etc.) and the user's activity ( For example, noise components caused by exercise, etc.) may be included. An electrocardiogram signal received from a biosignal collection device affected by an electric field may be a signal in which an electrocardiogram component based on potential values of the heart and a noise component due to the electric field are combined. The noise component caused by the electric field may represent a difference between the ECG signal received from the biosignal collection device and the ECG signal component (eg, heart potential values of the user).

참고로, 본 명세서에서는 생체 신호가 심전도 신호인 예시를 주로 설명하며, 예를 들어, 심전도(electrocardiogram; ECG) 신호는, 사용자의 심장박동과 관련하여 나타나는 심장의 전위 값들을 샘플링 레이트로 샘플링한 데이터를 나타낼 수 있다. 예를 들어, 샘플링 레이트는 분당 300회일 수 있다.For reference, in the present specification, an example in which a biosignal is an electrocardiogram signal is mainly described. For example, an electrocardiogram (ECG) signal is data obtained by sampling potential values of the heart appearing in relation to a user's heartbeat at a sampling rate. can indicate For example, the sampling rate may be 300 times per minute.

프로세서(110)는 통신부(120)에 의하여 수신된 생체 신호 및 가속도 데이터 중 적어도 하나를 처리할 수 있다. 프로세서(110)는 수신된 생체 신호 및 가속도 데이터 중 적어도 하나를 처리함으로써 생체 신호에 포함된 노이즈 성분을 유발한 노이즈 소스를 식별할 수 있다. 노이즈 소스는 생체 신호 수집 기기에 영향을 미치는 주변 환경 또는 사용자의 활동으로서, 예를 들어, 전기장, 자기장, 온도 변화, 운동일 수 있다. 프로세서에 의하여 노이즈 소스를 식별하는 동작은 도 2 내지 도5에서 후술한다.The processor 110 may process at least one of biosignals and acceleration data received by the communication unit 120 . The processor 110 may identify a noise source that causes a noise component included in the biosignal by processing at least one of the received biosignal and acceleration data. The noise source is a surrounding environment or a user's activity that affects the bio-signal collection device, and may be, for example, an electric field, a magnetic field, a change in temperature, or motion. An operation of identifying a noise source by the processor will be described later with reference to FIGS. 2 to 5 .

출력부(105)는 프로세서(110)에 의하여 노이즈 소스가 식별된 경우, 복수의 노이즈 소스들 각각마다 해당 노이즈 소스와 매핑된 컨텐츠 요소를 사용자에게 안내할 수 있다. 출력부(105)는 예시적으로 디스플레이(130), 조명부(140), 및 스피커(150)를 포함할 수 있다. 노이즈 소스와 매핑된 컨텐츠 요소를 사용자에게 제시하는 디스플레이(130), 조명부(140), 및 스피커(150)에 의한 동작은 하기 도 6, 도7a 및 도 7b에서 후술한다.When a noise source is identified by the processor 110, the output unit 105 may guide a user to a content element mapped with a corresponding noise source for each of a plurality of noise sources. The output unit 105 may include, for example, a display 130 , a lighting unit 140 , and a speaker 150 . Operations by the display 130, the lighting unit 140, and the speaker 150 presenting the content elements mapped with the noise source to the user will be described later with reference to FIGS. 6, 7A, and 7B.

도 2는 생체 신호에 제1 기계 학습 모델을 적용하여 생체 신호에 포함된 노이즈 성분을 유발하는 노이즈 소스를 식별하는 것을 도시한다.2 illustrates identifying a noise source that causes a noise component included in a biosignal by applying a first machine learning model to the biosignal.

단계(210)에서 통신부는 생체 신호 수집 기기로부터 사용자의 생체 신호를 수신할 수 있다. 예시적으로, 생체 신호를 측정하는 동안 생체 신호 수집 기기가 노이즈 소스에 의하여 영향을 받은 경우, 생체 신호 수집 기기에 의해 측정된 생체 신호는 노이즈 성분을 포함할 수 있다. 통신부는 노이즈 성분을 포함하는 생체 신호를 수신할 수 있다.In step 210, the communication unit may receive the user's biosignal from the biosignal collection device. For example, when a bio-signal collection device is affected by a noise source while measuring a bio-signal, the bio-signal measured by the bio-signal collection device may include a noise component. The communication unit may receive a bio signal including a noise component.

단계(220)에서, 프로세서는 대상 생체 신호에 제1 기계 학습 모델(221)을 적용하여 출력된 출력 데이터에 기초하여 생체 신호의 노이즈 소스를 식별할 수 있다. 제1 기계 학습 모델(221)은 대상 생체 신호로부터 출력 데이터를 출력하도록 설계 및 트레이닝된 모델로서, 예시적으로 뉴럴 네트워크를 포함할 수 있다. 뉴럴 네트워크의 개략적인 구조에 대해 하기와 같이 설명한다. 일실시예에 따르면 뉴럴 네트워크는 복수의 노드들로 구성되는 복수의 레이어들을 포함할 수 있다. 또한, 뉴럴 네트워크는 복수의 레이어들의 각각에 포함된 복수의 노드들을 다른 레이어에 포함된 노드에 연결시키는 연결 가중치들을 포함할 수 있다. 예를 들어, 뉴럴 네트워크는 연결선(edge)으로 연결된 많은 수의 노드들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 인식 모델을 나타낼 수 있다. 뉴럴 네트워크는 복수의 레이어들을 포함할 수 있다. 예를 들어, 뉴럴 네트워크는 입력 레이어(input layer), 히든 레이어(hidden layer), 출력 레이어(output layer)을 포함할 수 있다.In operation 220, the processor may apply the first machine learning model 221 to the target biosignal and identify a noise source of the biosignal based on the output data. The first machine learning model 221 is a model designed and trained to output output data from target biosignals, and may include, for example, a neural network. A schematic structure of a neural network will be described as follows. According to an embodiment, a neural network may include a plurality of layers composed of a plurality of nodes. Also, the neural network may include connection weights for connecting a plurality of nodes included in each of a plurality of layers to a node included in another layer. For example, a neural network may represent a recognition model that mimics the computational capability of a biological system by using a large number of nodes connected by edges. A neural network may include a plurality of layers. For example, a neural network may include an input layer, a hidden layer, and an output layer.

일실시예에 따른 생체 신호 처리 장치는 뉴럴 네트워크를 포함하는 제1 기계 학습 모델을 대상 생체 신호에 대응하는 데이터에 적용함으로써 전술한 출력 데이터를 출력할 수 있다. 출력 데이터는 대상 생체 신호가 유효 신호일 가능성 및 복수의 노이즈 소스들 각각마다 해당 노이즈 소스가 대상 생체 신호에 포함된 노이즈 성분을 유발했을 가능성을 나타낼 수 있다. The biosignal processing apparatus according to an embodiment may output the aforementioned output data by applying a first machine learning model including a neural network to data corresponding to a target biosignal. The output data may indicate a possibility that the target bio-signal is a valid signal and a possibility that the corresponding noise source has caused a noise component included in the target bio-signal for each of a plurality of noise sources.

예를 들어, 출력 데이터는 대상 생체 신호가 유효 신호일 가능성을 나타내는 가능성 점수를 포함할 수 있다. 유효 신호는, 사용자의 실제 생체 신호에 대응하는 생체 신호 성분을 포함하면서 노이즈 성분을 포함하지 않는 신호로서, 수집된 후 분석됨으로써 사용자의 건강 상태에 관한 유의미한 결과를 도출할 수 있는 신호를 나타낼 수 있다. 참고로, 수집된 생체 신호가 생체 신호 성분과 함께 노이즈 성분을 포함하는 경우에는, 생체 신호를 분석할 수 없거나 분석하더라도 유의미한 결과를 도출할 수 없을 수 있다. 유효 신호는, 생체 신호 성분 및 임계 값 이하의 노이즈 성분을 포함하는 신호를 나타낼 수 있다. 임계 값 이하의 노이즈 성분은 무시될 수 있을 만큼 작은 값일 수 있다. 예를 들어, 유효 신호는 통제된 임상 환경에서 수집된 신호를 포함할 수 있다. 또한, 출력 데이터는 대상 생체 신호에 포함된 노이즈 성분을 유발하는 노이즈 소스가 전기장일 가능성을 나타내는 가능성 점수를 더 포함할 수 있다.For example, the output data may include a probability score representing the possibility that the target bio-signal is a valid signal. A valid signal is a signal that includes a biosignal component corresponding to a user's actual biosignal and does not include a noise component, and may represent a signal capable of deriving a meaningful result on the user's health status by being collected and then analyzed. . For reference, when the collected bio-signal includes a noise component along with the bio-signal component, the bio-signal cannot be analyzed or a meaningful result may not be derived even if analyzed. A valid signal may represent a signal including a biosignal component and a noise component below a threshold value. A noise component below the threshold value may be a value small enough to be ignored. For example, valid signals may include signals collected in a controlled clinical environment. In addition, the output data may further include a probability score indicating a possibility that a noise source causing a noise component included in the target bio-signal is an electric field.

예시적으로, 생체 신호 처리 장치는 뉴럴 네트워크의 입력 레이어에 대상 생체 신호에 대응하는 데이터를 입력할 수 있다. 생체 신호 처리 장치는 입력 레이어부터 출력 레이어까지 하나 이상의 레이어를 거쳐 대상 생체 신호에 대응하는 데이터를 전파시킬 수 있다. 대상 생체 신호에 대응하는 데이터는 전파되는 동안 추상화된 특징 데이터(예를 들어, 특징 벡터)로서 추출될 수 있고, 생체 신호 처리 장치는 특징 데이터로부터 출력 데이터를 생성할 수 있다. 다만, 이는 순전한 예시로서, 제1 기계 학습 모델의 구조를 전술한 뉴럴 네트워크로 한정하는 것은 아니다.Exemplarily, the biosignal processing apparatus may input data corresponding to a target biosignal to an input layer of a neural network. The biosignal processing apparatus may propagate data corresponding to a target biosignal through one or more layers from an input layer to an output layer. Data corresponding to the target bio-signal may be extracted as abstracted feature data (eg, feature vector) while being propagated, and the bio-signal processing device may generate output data from the feature data. However, this is a pure example, and the structure of the first machine learning model is not limited to the aforementioned neural network.

프로세서는 제1 기계 학습 모델에 의하여 출력된 출력 데이터에 기초하여 노이즈 소스를 식별할 수 있다. 출력 데이터에 포함된 가능성 점수에 따라 프로세서는 노이즈 소스를 식별할 수 있다. 예를 들어, 복수의 가능성 점수들 중 대상 생체 신호가 유효 신호일 가능성 점수가 최대 가능성 점수인 경우, 프로세서는 대상 생체 신호를 유효 신호로 결정할 수 있다. 프로세서는 복수의 가능성 점수들 중 전기장에 대응하는 가능성 점수가 최대 가능성 점수인 경우, 노이즈 소스를 전기장으로 결정할 수 있다. 다른 예를 들어, 프로세서는 가능성 점수들을 각각 임계 값과 비교함으로써, 임계 값 이상인 가능성 점수에 대응하는 노이즈 소스를 대상 생체 신호에 대한 노이즈 소스로 결정할 수 있다.The processor may identify a noise source based on output data output by the first machine learning model. Depending on the likelihood scores included in the output data, the processor can identify noise sources. For example, when the probability score that the target biosignal is a valid signal among the plurality of likelihood scores is the maximum likelihood score, the processor may determine the target biosignal as a valid signal. When a likelihood score corresponding to the electric field among the plurality of likelihood scores is the maximum likelihood score, the processor may determine the noise source as the electric field. For another example, the processor may determine a noise source corresponding to a probability score equal to or greater than the threshold value as a noise source for the target biosignal by comparing each probability score with a threshold value.

프로세서는 수신된 생체 신호로부터 전처리함으로써 복수의 부분 생체 신호들을 획득할 수 있다. 각 부분 생체 신호는 생체 신호를 제1 기계 학습 모델의 입력 포맷으로 분할함으로써 생성된 신호를 나타낼 수 있다. 프로세서는 수신된 생체 신호로부터 미리 정의된 시간 길이(예를 들어, 1분)에 대응하는 하나 이상의 신호 값들(예를 들어, 샘플링레이트가 300회/min인 경우, 300개의 신호 값들)을 추출함으로써 각 부분 생체 신호를 획득할 수 있다. 통신부는 생체 신호 수집 기기에 의하여 5분 동안 수집된 생체 신호(예를 들어, 1500개의 심장 전위 값들을 포함하는 생체 신호)를 수신할 수 있다. 프로세서는 1분 간격으로 생체 신호를 분할함으로써, 각각 300개의 심장 전위 값을 포함하는 5개의 부분 생체 신호들을 획득할 수 있다.The processor may obtain a plurality of partial bio-signals by pre-processing the received bio-signal. Each partial bio-signal may represent a signal generated by dividing the bio-signal into an input format of the first machine learning model. The processor extracts one or more signal values (eg, 300 signal values when the sampling rate is 300 times/min) corresponding to a predefined time length (eg, 1 minute) from the received biosignal. Bio-signals of each part can be obtained. The communication unit may receive biosignals (eg, biosignals including 1500 heart potential values) collected for 5 minutes by the biosignal collection device. The processor may acquire 5 partial biosignals each including 300 heart potential values by dividing the biosignal at intervals of 1 minute.

참고로, 본 명세서에서 생체 신호 처리 장치의 프로세서에 의하여 생체 신호의 전처리가 수행되는 것으로 주로 설명하나, 이에 한정하는 것은 아니다. 예를 들어, 생체 신호 처리 장치는 생체 신호 수집 기기로부터 해당 기기에 의해 전처리되어 분할된 생체 신호를 수신할 수도 있다.For reference, in this specification, it is mainly described that pre-processing of a biosignal is performed by a processor of a biosignal processing device, but is not limited thereto. For example, the biosignal processing device may receive a biosignal preprocessed and divided by a biosignal collecting device from a biosignal collecting device.

프로세서는 복수의 부분 생체 신호들 중 적어도 일부를 선택함으로써 대상 생체 신호를 획득할 수 있다. 대상 생체 신호는 복수의 부분 생체 신호들 중 잠재적으로 노이즈 성분을 포함할 가능성이 있다고 판단된 신호로서, 1 기계 학습 모델의 적용 대상일 수 있다. 프로세서는 노이즈 성분을 유발한 노이즈 소스를 식별하기 위하여, 대상 생체 신호에 제1 기계 학습 모델을 적용할 수 있다. 복수의 부분 생체 신호들 중에서 대상 생체 신호를 선택하는 동작은 도 3에서 후술한다.The processor may obtain a target bio-signal by selecting at least some of a plurality of partial bio-signals. The target bio-signal is a signal determined to potentially include a noise component among a plurality of partial bio-signals, and may be an application target of one machine learning model. The processor may apply the first machine learning model to the target physiological signal in order to identify a noise source that causes the noise component. An operation of selecting a target bio-signal from among a plurality of partial bio-signals will be described later with reference to FIG. 3 .

도 3는 제2 기계 학습 모델을 적용함으로써 대상 생체 신호를 선택하는 것을 도시한다. 생체 신호 처리 장치는 복수의 부분 생체 신호들 전부에 대하여 노이즈 소스를 식별할 수 있으나, 복수의 부분 생체 신호들 중 일부에 대하여만 노이즈 소스를 식별할 수도 있다. 프로세서는 복수의 부분 생체 신호들(311) 중 노이즈 성분이 포함된 것으로 판단되는 일부를 대상 생체 신호(313)로서 선택할 수 있다.3 illustrates selecting a target bio-signal by applying a second machine learning model. The biosignal processing apparatus may identify a noise source for all of the plurality of partial biosignals, but may also identify a noise source for only some of the plurality of partial biosignals. The processor may select, as the target bio-signal 313 , a part determined to include a noise component among the plurality of partial bio-signals 311 .

단계(310)에서, 프로세서는 복수의 부분 생체 신호들 중에서 노이즈 소스를 식별할 대상 생체 신호를 선택할 수 있다. 대상 생체 신호는 노이즈 성분을 포함하는 것으로 판단되는 복수의 부분 생체 신호들 중 적어도 일부를 나타낼 수 있다. 프로세서는 제2 기계 학습 모델(312)에 기초하여 대상 생체 신호를 선택할 수 있다.In step 310, the processor may select a target biosignal to identify a noise source from among a plurality of partial biosignals. The target bio-signal may represent at least some of a plurality of partial bio-signals determined to include a noise component. The processor may select a target biosignal based on the second machine learning model 312 .

제2 기계 학습 모델은 부분 생체 신호로부터 가능성 점수를 출력하도록 설계 및 트레이닝된 모델로서, 예시적으로 뉴럴 네트워크를 포함할 수 있다. 일실시예에 따른 생체 신호 처리 장치는 뉴럴 네트워크를 포함하는 제2 기계 학습 모델을 부분 생체 신호에 대응하는 데이터에 적용함으로써 가능성 점수를 출력할 수 있다. 예시적으로, 생체 신호 처리 장치는 뉴럴 네트워크의 입력 레이어에 부분 생체 신호에 대응하는 입력 데이터를 입력할 수 있다. 생체 신호 처리 장치는 입력 데이터부터 출력 레이어까지 하나 이상의 레이어를 거쳐 부분 생체 신호에 대응하는 데이터를 전파시킬 수 있다. 부분 생체 신호에 대응하는 데이터는 전파되는 동안 추상화된 특징 데이터(예를 들어, 특징 벡터)로서 추출될 수 있고, 생체 신호 처리 장치는 특징 데이터로부터 가능성 점수를 생성할 수 있다. 다만, 이는 순전한 예시로서, 제2 기계 학습 모델의 구조를 전술한 뉴럴 네트워크로 한정하는 것은 아니다.The second machine learning model is a model designed and trained to output a probability score from partial bio-signals, and may include, for example, a neural network. The biosignal processing apparatus according to an embodiment may output a probability score by applying a second machine learning model including a neural network to data corresponding to partial biosignals. Exemplarily, the biosignal processing apparatus may input input data corresponding to a partial biosignal to an input layer of a neural network. The biosignal processing apparatus may propagate data corresponding to a partial biosignal from input data to an output layer through one or more layers. Data corresponding to the partial biosignal may be extracted as abstracted feature data (eg, feature vector) while propagating, and the biosignal processing device may generate a probability score from the feature data. However, this is a pure example, and the structure of the second machine learning model is not limited to the aforementioned neural network.

프로세서는 각 부분 생체 신호에 제2 기계 학습 모델을 적용함으로써 가능성 점수를 출력할 수 있다. 가능성 점수는 부분 생체 신호가 노이즈 성분을 포함하고 있을 가능성을 나타낼 수 있다. 프로세서는 가능성 점수에 기초하여 부분 생체 신호를 대상 생체 신호로 결정할 수 있다. 예를 들어, 프로세서는 가능성 점수를 임계 점수와 비교함으로써, 부분 생체 신호가 노이즈 성분을 포함하는 지 여부를 판단할 수 있다.The processor may output a probability score by applying the second machine learning model to each partial bio-signal. The likelihood score may indicate a possibility that the partial bio-signal includes a noise component. The processor may determine the partial bio-signal as the target bio-signal based on the likelihood score. For example, the processor may determine whether the partial biosignal includes a noise component by comparing the likelihood score with a threshold score.

프로세서는 제1 기계 학습 모델(314)에 기초하여 대상 생체 신호에 대한 노이즈 소스를 식별할 수 있다. 도 2의 단계(220)에서 전술한 바와 같이, 프로세서는 제1 기계 학습 모델(314)의 출력 데이터에 기초하여 대상 생체 신호의 노이즈 소스를 식별할 수 있다.The processor may identify a noise source for the target physiological signal based on the first machine learning model 314 . As described above in step 220 of FIG. 2 , the processor may identify a noise source of the target biosignal based on the output data of the first machine learning model 314 .

도 4는 일실시예에 따른 제2 기계 학습 모델의 트레이닝을 도시한다.4 illustrates training of a second machine learning model according to one embodiment.

제2 기계 학습 모델의 트레이닝 데이터는 유효 신호, 노이즈 신호, 및 합성 신호 중 하나 또는 둘 이상의 조합을 포함할 수 있다.Training data of the second machine learning model may include one or a combination of two or more of a valid signal, a noise signal, and a synthesized signal.

유효 신호는 사용자의 실제 생체 신호에 대응하는 생체 신호 성분으로 구성된 신호를 나타낼 수 있다. 유효 신호는 통제된 임상 환경에서 측정될 수 있다. 예를 들어, 유효 신호는 생체 신호 성분으로 구성된 심전도 신호로서, 생체 신호 성분과 함께 임계 이하의 노이즈 성분을 포함하는 심전도 신호(예를 들어, 사용자의 심장 전위 값과 수신된 생체 신호의 차이가 임계 이하인 신호)를 나타낼 수 있다. 유효 신호는 수집될 때 유효 신호로 라벨링될 수 있다.The effective signal may represent a signal composed of biosignal components corresponding to the actual biosignal of the user. A valid signal can be measured in a controlled clinical environment. For example, the valid signal is an electrocardiogram signal composed of biosignal components, and an electrocardiogram signal including a noise component below a threshold (eg, the difference between the user's heart potential value and the received biosignal is a critical value) along with the biosignal components. signals below). A valid signal may be labeled a valid signal when collected.

노이즈 신호는, 사용자의 실제 생체 신호와 함께 임계 값 이상의 노이즈 성분을 포함하는 신호로서, 생체 신호 성분 및 노이즈 성분을 포함하는 생체 신호를 나타낼 수 있다. 예를 들어, 노이즈 신호는 노이즈 소스에 의하여 영향을 받는 생체 신호 수집 기기로부터 획득된 생체 신호를 나타낼 수 있다. 참고로, 생체 신호 수집 기기로부터 수신된 생체 신호는, 생체 신호 수집 기기가 노이즈 소스에 의하여 영향을 받는지에 따라, 생체 신호 성분과 함께 노이즈 성분을 포함할 수도 있고 포함하지 않을 수도 있다. 노이즈 신호는 노이즈 신호 및 노이즈 소스의 조합으로 라벨링될 수 있다. 예를 들어, 전기장에 의하여 영향을 받은 생체 신호 수집 패치로부터 수집된 생체 신호는, 노이즈 신호 및 전기장의 조합으로 라벨링될 수 있다.The noise signal is a signal including a noise component equal to or greater than a threshold value together with the user's actual biosignal, and may represent a biosignal including a biosignal component and a noise component. For example, the noise signal may represent a biosignal obtained from a biosignal collection device affected by a noise source. For reference, the biosignal received from the biosignal collection device may or may not include a noise component along with the biosignal component, depending on whether the biosignal collection device is affected by a noise source. A noise signal may be labeled as a combination of a noise signal and a noise source. For example, a biosignal collected from a biosignal collecting patch affected by an electric field may be labeled as a combination of a noise signal and an electric field.

합성 신호는 생체 신호 성분에 노이즈 성분을 부가함으로써 생성된 신호를 나타낼 수 있다. 노이즈 소스는, 노이즈 성분이 수집될 때 노이즈 성분으로 라벨링될 수 있다. 합성 신호는 합성 신호 및 노이즈 성분에 라벨링된 노이즈 소스의 조합으로 라벨링될 수 있다. 예를 들어, 유효 신호에 자기장으로 라벨링된 노이즈 성분을 부가함으로써 생성된 신호는, 합성 신호 및 자기장의 조합으로 라벨링될 수 있다. The synthesized signal may represent a signal generated by adding a noise component to a biosignal component. A noise source may be labeled as a noise component when the noise component is collected. A composite signal may be labeled with a combination of the composite signal and a noise source labeled noise components. For example, a signal generated by adding a noise component labeled as a magnetic field to a valid signal may be labeled as a combination of the composite signal and the magnetic field.

프로세서는 유효 신호 및 노이즈 신호를 이용하여 임시 제2 기계 학습 모델을 트레이닝시킬 수 있다. 프로세서는 유효 신호 및 노이즈 신호와 함께 합성 신호를 더 이용하여 임시 제2 기계 학습 모델을 트레이닝시킬 수도 있다. 임시 제2 기계 학습 모델은 트레이닝 중인 기계 학습 모델로서, 트레이닝이 완료되면 제2 기계 학습 모델로 결정될 수 있다.The processor may train the temporary second machine learning model using the valid signal and the noise signal. The processor may further use the synthesized signal along with the valid signal and the noise signal to train the temporary second machine learning model. The temporary second machine learning model is a machine learning model in training, and may be determined as the second machine learning model when training is completed.

제2 기계 학습 모델의 트레이닝의 구체적인 사항에 대해 하기와 같이 설명한다. 제2 기계 학습 모델은 뉴럴 네트워크를 포함할 수 있다. 트레이닝 장치는 뉴럴 네트워크를 메모리에 저장된 내부 데이터베이스로부터 획득하거나, 통신부를 통해 외부 서버로부터 수신하여 획득할 수 있다. 트레이닝 장치는 생체 신호 처리 장치와 독립적으로 구현되는 장치일 수 있으나 이로 한정하는 것은 아니고, 생체 신호 처리 장치에 통합될 수도 있다.Details of training of the second machine learning model will be described as follows. The second machine learning model may include a neural network. The training device may obtain the neural network from an internal database stored in a memory or receive the neural network from an external server through a communication unit. The training device may be implemented independently of the biosignal processing device, but is not limited thereto, and may be integrated into the biosignal processing device.

일실시예에 따른 트레이닝 장치는 뉴럴 네트워크의 적어도 일부를 감독 학습(supervised learning)을 통해 트레이닝시킬 수 있다. 트레이닝 장치는 소프트웨어 모듈, 하드웨어 모듈, 또는 이들의 조합으로 구현될 수 있다. 감독 학습은 트레이닝 데이터의 트레이닝 입력 그에 대응하는 트레이닝 출력을 함께 뉴럴 네트워크에 입력하고, 트레이닝 데이터의 트레이닝 출력에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 기법이다. 트레이닝 데이터는 복수의 트레이닝 쌍(training pair)들로 구성되는 데이터 셋트(data set)를 나타낼 수 있다. 예를 들어, 트레이닝 쌍은 트레이닝 입력 및 트레이닝 출력을 포함할 수 있고, 트레이닝 출력은 쌍을 이루는 트레이닝 입력으로부터 출력되어야 하는 값(예를 들어, 참값(ground truth)을 나타낼 수 있다. 따라서, 트레이닝 데이터는 복수의 트레이닝 입력들을 포함하고, 복수의 트레이닝 입력들의 각각에 매핑된 트레이닝 출력을 포함할 수 있다.A training apparatus according to an embodiment may train at least a portion of a neural network through supervised learning. The training device may be implemented as a software module, a hardware module, or a combination thereof. Supervised learning is a technique of inputting training inputs of training data and corresponding training outputs to a neural network, and updating connection weights of connection lines so that output data corresponding to the training outputs of the training data are output. The training data may represent a data set composed of a plurality of training pairs. For example, a training pair may include a training input and a training output, and the training output may indicate a value (eg, ground truth) that should be output from the paired training input. Thus, the training data may include a plurality of training inputs, and may include a training output mapped to each of the plurality of training inputs.

다만, 트레이닝을 감독 학습으로 한정하는 것은 아니며, 트레이닝 장치는 뉴럴 네트워크의 적어도 일부를 자율 학습(unsupervised learning)을 통해 트레이닝시킬 수도 있다. 자율 학습은 트레이닝 데이터의 트레이닝 입력을 전방 전파(forward propagate)한 출력에 기초하여 손실을 산출할 수 있고, 손실이 감소되도록 연결선들의 연결 가중치를 업데이트하는 기법을 나타낼 수 있다.However, training is not limited to supervised learning, and the training apparatus may train at least a portion of the neural network through unsupervised learning. Unsupervised learning may calculate a loss based on an output obtained by forward propagating a training input of training data, and may represent a technique of updating connection weights of connection lines so that the loss is reduced.

트레이닝 장치는 현재 설정된 연결 가중치들이 얼마나 최적에 가까운지를 측정하기 위해 정의된 목적 함수(objective function)의 결과에 기초하여 연결 가중치들을 계속 변경하고, 트레이닝을 반복적으로 수행할 수 있다. 예를 들어, 목적 함수는 뉴럴 네트워크가 트레이닝 데이터의 트레이닝 입력에 기초하여 실제 출력한 출력 값과 출력되기로 원하는 기대 값 사이의 손실을 계산하기 위한 손실 함수일 수 있다. 트레이닝 장치는 손실 함수의 값을 줄이는 방향으로 연결 가중치들을 업데이트할 수 있다.The training device may continuously change connection weights based on a result of an objective function defined to measure how close to optimum the currently set connection weights are, and repeatedly perform training. For example, the objective function may be a loss function for calculating a loss between an output value actually output by a neural network based on training input of training data and an expected value desired to be output. The training device may update connection weights in a direction of reducing the value of the loss function.

도 5는 일실시예에 따른 선별된 트레이닝 부분 생체 신호들에 기초하여 새로운 제2 기계 학습 모델을 트레이닝시키는 것을 도시한다.5 illustrates training a new second machine learning model based on selected training partial biosignals according to an embodiment.

새로운 제2 기계 학습 모델은 사용자의 생체 신호 수집 기기와 같은 종류의 생체 신호 수집 기기로부터 수집된 생체 신호들을 이용하여 트레이닝된 제2 기계 학습 모델일 수 있다. 생체 신호 수집 기기의 종류는 시계, 반지, 밴드, 패치 등을 포함할 수 있다. 다만 이에 한정하지 않고, 생체 신호 수집 기기와 같은 종류의 생체 신호 수집 기기는 사용자 몸의 부착 위치, 기기 모델, 생체 신호 수집 방식 등에 기초하여 결정될 수 있다.The new second machine learning model may be a second machine learning model trained using biosignals collected from a biosignal collection device of the same type as the user's biosignal collection device. Types of biosignal collection devices may include watches, rings, bands, and patches. However, it is not limited thereto, and the bio-signal collection device of the same type as the bio-signal collection device may be determined based on an attachment position of the user's body, a device model, a bio-signal collection method, and the like.

예를 들어, 새로운 제2 기계 학습 모델은 한 종류의 생체 신호 수집 기기를 위해 추가적으로 트레이닝될 수 있다. 생체 신호 처리 장치는, 전술된 한 종류의 생체 신호 수집 기기를 통해 수집된 데이터를 처리하기 위하여, 추가적으로 트레이닝된 새로운 제2 기계 학습 모델을 이용할 수 있다. 생체 신호 처리 장치는 다른 종류의 생체 신호 수집 기기로부터 수집된 데이터를 해당 종류의 생체 신호 수집 기기를 위한 제2 기계 학습 모델의 트레이닝 및/또는 추론으로부터 배제할 수 있다. 예를 들어, 스마트 워치에 의해 수집된 생체 신호는, 생체 신호 수집 패치를 위한 제2 기계 학습 모델의 적용으로부터 배제될 수 있다.For example, a new second machine learning model may be additionally trained for one type of biosignal collection device. The biosignal processing device may use a new, additionally trained second machine learning model in order to process data collected through the aforementioned one type of biosignal collection device. The biosignal processing device may exclude data collected from other types of biosignal collection devices from training and/or inference of the second machine learning model for the corresponding type of biosignal collection devices. For example, biosignals collected by the smart watch may be excluded from application of the second machine learning model for the biosignal collection patch.

프로세서는 제2 기계 학습 모델(예를 들어, 도 3에서 전술된 제2 기계 학습 모델(312))에 기초하여 복수의 트레이닝 부분 생체 신호들 중 적어도 일부를 새로운 제2 기계 학습 모델의 트레이닝 데이터로 선별할 수 있다. 트레이닝 부분 생체 신호들은 한 종류의 생체 신호 수집 기기를 위한 새로운 제2 기계 학습 모델의 트레이닝 데이터의 후보일 수 있다. 트레이닝 부분 생체 신호들은 해당 종류의 생체 신호 수집 기기로부터 수집된 신호들로 구성될 수 있다. 트레이닝 부분 생체 신호들은 제2 기계 학습 모델로부터의 신뢰도에 기초하여 선별될 수 있다. 신뢰도는 제2 기계 학습 모델로부터 출력된 가능성 점수에 기초하여 결정될 수 있다.Based on the second machine learning model (eg, the second machine learning model 312 described above in FIG. 3 ), the processor converts at least some of the plurality of training part biosignals into training data of a new second machine learning model. can be selected The training part biosignals may be candidates for training data of a new second machine learning model for a type of biosignal collecting device. The training part biosignals may be composed of signals collected from a corresponding type of biosignal collecting device. The training part biosignals may be selected based on reliability from the second machine learning model. Confidence may be determined based on the likelihood score output from the second machine learning model.

프로세서는 트레이닝 부분 생체 신호들 중에서 선별된 신호를 이용하여 새로운 임시 제2기계 학습 모델을 트레이닝시킬 수 있다. 새로운 임시 제2 기계 학습 모델의 트레이닝은 도 5에서 전술된 바와 유사하게 수행될 수 있다. 트레이닝 완료된 새로운 임시 제2 기계 학습 모델은 새로운 제2 기계 학습 모델로서 획득될 수 있다.The processor may train a new temporary second machine learning model using signals selected from among the physiological signals of the training portion. Training of the new temporary second machine learning model may be performed similarly to that described above in FIG. 5 . A new temporary second machine learning model that has been trained may be acquired as a new second machine learning model.

도 6은 노이즈 소스에 관한 정보를 사용자에게 제시하는 생체 신호 처리 장치를 나타낸다.6 shows a biosignal processing device that presents information about a noise source to a user.

생체 신호 처리 장치는 각각의 노이즈 소스에 대응하는 정보를 사용자에게 제시함으로써, 생체 신호 수집 기기로부터 유효한 생체 신호가 수집될 수 있는 환경을 구성할 수 있도록 사용자를 유도할 수 있다. 유효한 생체 신호는 사용자의 생체 신호 성분으로 구성된 신호로서, 생체 신호에 기초한 분석의 대상이 될 수 있는 신호를 나타낼 수 있다. 생체 신호 수집 기기는 생체 신호에 노이즈 성분이 포함되었다는 정보와 함께 노이즈 소스에 매핑된 정보(예를 들어, 노이즈 소스에 관한 정보, 행동 교정 등)도 제시함으로써, 전문가의 개입 없이 생체 신호 수집 기기에 대한 노이즈 성분을 제거하기 위하여 필요한 정보를 사용자에게 제시할 수 있다.The biosignal processing apparatus may induce the user to configure an environment in which an effective biosignal can be collected from the biosignal collecting device by presenting information corresponding to each noise source to the user. A valid bio-signal is a signal composed of components of the user's bio-signal, and may represent a signal that can be an analysis target based on the bio-signal. The bio-signal collection device presents information mapped to the noise source (eg, information on the noise source, behavior correction, etc.) along with information that the bio-signal contains noise components, so that the bio-signal collection device can be obtained without expert intervention. It is possible to present information necessary for removing the noise component to the user.

생체 신호 처리 장치는 노이즈 소스에 관한 정보를 사용자에게 제시하는 출력부(예를 들어, 도1의 출력부(105))를 더 포함할 수 있다. 출력부는 디스플레이, 조명부, 및 스피커 중 하나 또는 둘 이상의 조합을 포함할 수 있다.The biosignal processing apparatus may further include an output unit (eg, the output unit 105 of FIG. 1 ) presenting information about the noise source to the user. The output unit may include one or a combination of two or more of a display, a lighting unit, and a speaker.

일실시예에 따른 생체 신호 처리 장치는 디스플레이를 더 포함할 수 있다. 디스플레이는 식별된 노이즈 소스에 관한 정보를 사용자에게 시각적으로 제시할 수 있다. 각각의 노이즈 소스는 텍스트 안내 메시지, 행동 교정 가이드, 및 그래픽 객체 중 하나 또는 둘 이상의 조합에 매핑될 수 있다. 텍스트 안내 메시지는 디스플레이 상에 표시됨으로써 사용자에게 노이즈 소스, 노이즈 소스의 지속시간, 노이즈 소스의 강도 등과 같은 노이즈 소스에 관한 정보가 포함된 메시지를 나타낼 수 있다. 행동 교정 가이드는 생체 신호 수집 기기에 식별된 노이즈 소스의 영향을 제거하기 위한 사용자의 행동을 포함하는 가이드를 나타낼 수 있다. 그래픽 객체는 시각적으로 사용자에게 노이즈 소스를 설명하는 그래픽 객체를 나타낼 수 있다. 예를 들어, 노이즈 소스가 전기장으로 식별된 경우, 디스플레이는 전기장에 매핑된 텍스트 안내 메시지(611) 및 행동 교정 가이드(612)를 표시할 수 있다.A biosignal processing device according to an embodiment may further include a display. The display may visually present information to the user regarding the identified noise source. Each noise source may be mapped to one or a combination of two or more of a text guide message, a behavior correction guide, and a graphical object. The text guide message may be displayed on the display to indicate a message including information about the noise source, such as the noise source, the duration of the noise source, and the strength of the noise source, to the user. The behavior correction guide may indicate a guide including a user's behavior for removing the influence of the noise source identified in the biosignal collecting device. The graphical object may represent a graphical object that visually describes the noise source to the user. For example, when the noise source is identified as an electric field, the display may display a text guide message 611 and a behavior correction guide 612 mapped to the electric field.

일실시예에 따른 생체 신호 처리 장치는 스피커를 더 포함할 수 있다. 스피커는 식별된 노이즈 소스에 관한 정보를 사용자에게 청각적으로 제시할 수 있다. 각각의 노이즈 소스는 음성 안내 메시지, 행동 교정 가이드, 및 알람 중 하나 또는 둘 이상의 조합에 매핑될 수 있다. 음성 안내 메시지는 스피커에 의하여 재생됨으로써 노이즈 소스에 관한 정보를 포함하는 메시지를 사용자에게 제시할 수 있다. 행동 교정 가이드는 생체 신호 수집 기기에 식별된 노이즈 소스의 영향을 제거하기 위한 사용자의 행동을 포함하는 것으로, 스피커에 의하여 재생될 수 있다. 알람은 재생됨으로써 사용자에게 생체 신호에 노이즈 성분이 포함된 정보 및 노이즈 소스에 관한 정보를 직접적으로 또는 간접적으로 제시할 수 있다.The biosignal processing device according to an embodiment may further include a speaker. The speaker may aurally present information about the identified noise source to the user. Each noise source may be mapped to one or a combination of two or more of a voice guidance message, a behavioral correction guide, and an alarm. The voice guidance message is reproduced by the speaker, so that a message including information about the noise source can be presented to the user. The behavior correction guide includes the user's behavior for removing the influence of the noise source identified by the bio-signal collecting device, and can be reproduced by the speaker. The alarm may be reproduced to directly or indirectly present information including noise components in biosignals and information on noise sources to the user.

일실시예에 따른 생체 신호 처리 장치는 조명부를 더 포함할 수 있다. 조명부는 식별된 노이즈 소스에 매핑된 색상을 노이즈 소스에 매핑된 밝기로 표시할 수 있다. 노이즈 소스는 하나의 색상 또는 둘 이상의 색상들의 조합에 매핑될 수 있다. 예를 들어, 조명부는 매핑된 하나의 색상을 계속하여 표시할 수 있다. 다른 예를 들어, 조명부는 매핑된 하나의 색상을 점멸하여 표시할 수도 있다. 또 다른 예를 들어, 식별된 노이즈 소스에 둘 이상의 색상들의 조합이 매핑된 경우, 조명부는 각 색상을 교대로 점멸함으로써 색상들의 조합을 표시할 수도 있다. 다만, 이에 한정하는 것은 아니고 후술할 바와 같이 조명부는 노이즈 세기에 매핑된 색상을 표시할 수도 있다.A biosignal processing device according to an embodiment may further include a lighting unit. The lighting unit may display a color mapped to the identified noise source as brightness mapped to the noise source. A noise source can be mapped to one color or a combination of two or more colors. For example, the lighting unit may continuously display one mapped color. For another example, the lighting unit may blink and display one mapped color. As another example, when a combination of two or more colors is mapped to the identified noise source, the lighting unit may display the combination of colors by alternately flickering each color. However, it is not limited thereto, and as will be described later, the lighting unit may display a color mapped to noise intensity.

도 7a 및 도 7b는 노이즈 소스 및 노이즈 강도에 관한 정보를 사용자에게 제시하는 생체 신호 처리 장치를 도시한다.7A and 7B show a biosignal processing device that presents information about a noise source and noise intensity to a user.

생체 신호 처리 장치는, 노이즈 소스 및 노이즈 강도의 조합에 매핑된 정보를 사용자에게 제시할 수 있다. 노이즈 강도는 수집된 생체 신호 중 노이즈 성분의 비중을 나타낼 수 있다. 노이즈 강도는 복수의 레벨들로 분류될 수 있다. 생체 신호 처리 장치는 노이즈 소스가 동일하더라도 노이즈 강도에 따라 정보를 다르게 제시함으로써, 사용자에게 보다 더 구체적인 정보를 제공할 수 있다. 생체 신호 처리 장치는 노이즈 소스가 전기장으로 동일한 경우에도, 전기장의 레벨에 따라 다르게 정보를 사용자에게 제시할 수 있다.The biosignal processing apparatus may present information mapped to a combination of a noise source and noise intensity to a user. The noise intensity may indicate a weight of a noise component among collected bio-signals. Noise intensity can be classified into a plurality of levels. Even if the noise source is the same, the biosignal processing apparatus presents information differently according to noise intensity, thereby providing more specific information to the user. The biosignal processing device may present information to the user differently according to the level of the electric field even when the noise source is the same as the electric field.

일실시예에 따른 생체 신호 처리 장치는, 출력부를 포함할 수 있다. 출력부는, 예를 들어, 디스플레이, 스피커, 및 조명부는 도 6에서 전술된 바와 유사하게 노이즈 소스 및 노이즈 강도에 관한 정보를 사용자에게 제시할 수 있다.A biosignal processing device according to an embodiment may include an output unit. An output unit, for example, a display, speaker, and lighting unit may present information about a noise source and noise intensity to a user similar to that described above in FIG. 6 .

전기장의 제2 레벨에 의한 노이즈 성분이 생체 신호에 포함되는 경우(720b)가 전기장의 제1 레벨에 의한 노이즈 성분이 생체 신호에 포함되는 경우(710a)보다 생체 신호에서 노이즈 성분이 차지하는 비중이 높을 수 있다. 다시 말해, 전기장의 제2 레벨은 전기장의 제1 레벨보다 강한 노이즈 레벨을 나타낼 수 있다.The case in which the noise component due to the second level of the electric field is included in the biosignal (720b) has a higher proportion of the noise component in the biosignal than the case in which the noise component due to the first level of the electric field is included in the biosignal (710a). can In other words, the second level of the electric field may represent a stronger noise level than the first level of the electric field.

생체 신호 처리 장치는 전기장이 제2 레벨일 때, 전기장이 제1 레벨일 때와 다른 정보를 사용자에게 전달할 수 있다. 생체 신호 처리 장치는 전기장의 제1 레벨일 때보다 전기장의 제2 레벨일 때 사용자에게 더 구체적이고 즉각적인 정보를 제시함으로써 사용자의 행동을 유효한 생체 신호가 수집될 수 있도록 유도할 수 있다.The biosignal processing device may deliver different information to the user when the electric field is at the second level and when the electric field is at the first level. The biosignal processing device may guide the user's action so that a valid biosignal can be collected by presenting more specific and immediate information to the user at the second level of the electric field than at the first level of the electric field.

예를 들어, 텍스트 안내 메시지(711)는 전기장 및 제1 레벨의 조합에 매핑될 수 있다. 전기장 및 제2 레벨의 조합은 텍스트 안내 메시지(721), 행동 교정 가이드(722), 및 그래픽 객체(723)의 조합에 매핑될 수 있다. 전기장 및 제1 레벨의 조합의 경우와 달리, 전기장 및 제2 레벨의 조합의 경우에는 텍스트 안내 메시지와 함께 행동 교정 가이드(722) 및 그래픽 객체(723)가 제시됨으로써, 사용자의 주의를 집중시킬 수 있다. 동일한 노이즈 소스(예를 들어, 도 7a 및 도 7b에서 전기장)에서도, 제2 레벨에 매핑된 텍스트 안내 메시지(721)는 제1 레벨에 매핑된 텍스트 안내 메시지(711)보다 더 강한 강도 및 더 강한 노이즈로 인한 예상 피해를 가지는 것에 대한 정보를 포함할 수 있다. For example, the text guide message 711 may be mapped to a combination of an electric field and a first level. The combination of the electric field and the second level may be mapped to a combination of a text guide message 721 , a behavior correction guide 722 , and a graphic object 723 . Unlike the case of the combination of the electric field and the first level, in the case of the combination of the electric field and the second level, the behavior correction guide 722 and the graphic object 723 are presented together with a text guide message, so that the user's attention can be focused. there is. Even with the same noise source (e.g., the electric field in FIGS. 7A and 7B), the text guide message 721 mapped to the second level has a higher strength and stronger intensity than the text guide message 711 mapped to the first level. It may include information about having an expected damage due to noise.

스피커는 노이즈 소스 및 노이즈 강도에 매핑된 음성 안내 메시지, 행동 교정 가이드, 및 알람 중 하나 또는 둘 이상의 조합을 재생할 수 있다. 예를 들어, 스피커는 노이즈 강도에 매핑된 음량 또는 빈도로 알람을 재생할 수 있다. 전기장 및 제2 레벨의 조합에 매핑된 알람(724)은 전기장 및 제1 레벨의 조합에 매핑된 알람(714)보다 더 높은 음량으로 재생될 수 있다. The speaker may play one or a combination of two or more of a voice guidance message mapped to a noise source and noise intensity, a behavioral correction guide, and an alarm. For example, a speaker may play an alarm with a volume or frequency mapped to noise intensity. The alarm 724 mapped to the combination of the electric field and the second level may be played at a higher volume than the alarm 714 mapped to the combination of the electric field and the first level.

조명부는 노이즈 소스 및 노이즈 소스의 강도의 조합에 매핑된 색상 및 밝기의 조합을 표시할 수 있다. 노이즈 소스가 조명 색상에 매핑되고, 노이즈 소스의 강도가 조명 밝기에 매핑될 수 있다. 다만, 이에 한정하는 것은 아니고 노이즈 소스와 무관하게 노이즈 소스의 강도가 조명 색상에 매핑될 수도 있다.The lighting unit may display a combination of color and brightness mapped to a combination of a noise source and an intensity of the noise source. A noise source may be mapped to a light color, and the intensity of a noise source may be mapped to a light brightness. However, it is not limited thereto, and the intensity of the noise source may be mapped to the lighting color regardless of the noise source.

도 8는 생체 신호 수집 기기와 함께 가속도계를 이용하여 노이즈 소스를 식별하는 것을 도시한다.8 illustrates identifying a noise source using an accelerometer together with a biosignal collection device.

단계(810)에서, 통신부는 생체 신호 수집 기기로부터 수신된 생체 신호와 함께 가속도계로부터 사용자의 가속도 데이터를 더 수신할 수 있다. 가속도계는 사용자의 운동 가속을 측정하는 센서를 나타낼 수 있다. 가속도계는 가속도 데이터를 수집할 수 있다. 가속도 데이터는 사용자의 운동 상태를 나타내는 데이터를 포함할 수 있다. 프로세서는 가속도 데이터에 기초하여 사용자의 운동 상태를 결정할 수 있다. 예를 들어, 프로세서는 가속도 데이터로부터 산출된 가속도가 임계 가속도 이상인 경우, 사용자가 운동 중인 것으로 결정할 수 있다.In operation 810, the communication unit may further receive acceleration data of the user from the accelerometer together with the biosignal received from the biosignal collection device. An accelerometer may represent a sensor that measures user's movement acceleration. An accelerometer may collect acceleration data. The acceleration data may include data representing a user's motion state. The processor may determine the user's movement state based on the acceleration data. For example, the processor may determine that the user is exercising when the acceleration calculated from the acceleration data is greater than or equal to the critical acceleration.

단계(820)에서, 생체 신호 처리 장치는 제1 기계 학습 모델의 출력 데이터와 함께 가속도계로부터 수신된 가속도 데이터에 더 기초하여 대상 생체 신호에 대한 노이즈 소스를 식별할 수 있다. In operation 820, the biosignal processing apparatus may identify a noise source for the target biosignal based on the acceleration data received from the accelerometer together with the output data of the first machine learning model.

프로세서는 가속도 데이터 및 제1 기계 학습 모델의 출력 데이터 중 적어도 하나에 기초하여 노이즈 소스를 식별할 수 있다. The processor may identify a noise source based on at least one of the acceleration data and output data of the first machine learning model.

일실시예에 따른 프로세서는 가속도 데이터 및 제1 기계 학습 모델의 출력 데이터에 독립적으로 기초하여 노이즈 소스를 식별할 수 있다. 프로세서는 가속도 데이터에 기초하여 노이즈 소스를 운동으로 결정할 수 있다. 프로세서는 대상 생체 신호에 제1 기계 학습 모델을 적용함으로써 출력된 출력 데이터에 기초하여 노이즈 소스를 식별할 수 있다. 가속도 데이터에 기초하여 결정된 노이즈 소스 및 제1 기계 학습 모델의 출력 데이터에 기초하여 결정된 노이즈 소스는 모두 대상 생체 신호에 대한 노이즈 소스로 결정될 수 있다.The processor according to an embodiment may identify a noise source independently based on acceleration data and output data of the first machine learning model. The processor may determine the noise source as motion based on the acceleration data. The processor may identify a noise source based on output data output by applying the first machine learning model to the target bio-signal. Both the noise source determined based on the acceleration data and the noise source determined based on the output data of the first machine learning model may be determined as noise sources for the target biosignal.

다른 일실시예에 따른 프로세서는 가속도 데이터 및 제1 기계 학습 모델의 출력 데이터 중 하나에 기초하여 노이즈 소스를 식별할 수 있다. 예를 들어, 가속도 데이터에 기초하여 대상 생체 신호의 노이즈 소스가 운동으로 결정되는 경우에 응답하여, 제1 기계 학습 모델에 기초한 노이즈 소스의 식별은 생략될 수 있다. 다른 예를 들어, 제1 기계 학습 모델에 기초하여 대상 생체 신호의 노이즈 소스가 운동으로 결정되는 경우에 응답하여, 가속도 데이터에 기초한 노이즈 소스의 식별을 생략할 수 있다.The processor according to another embodiment may identify a noise source based on one of the acceleration data and the output data of the first machine learning model. For example, in response to a case where motion is determined as the noise source of the target biological signal based on acceleration data, identification of the noise source based on the first machine learning model may be omitted. For another example, in response to determining that the noise source of the target physiological signal is motion based on the first machine learning model, identification of the noise source based on acceleration data may be omitted.

다만, 본 개시에서 제1 기계 학습 모델에 기초한 노이즈 소스의 식별을 가속도 데이터에 기초한 노이즈 소스의 식별과 분리된 것으로 주로 설명하나, 이에 한정하지 않는다. 예를 들어, 프로세서는 대상 생체 신호와 함께 가속도 데이터를 제1 기계 학습 모델에 더 적용함으로써 출력 데이터를 출력할 수 있다.However, in the present disclosure, the identification of the noise source based on the first machine learning model is mainly described as being separated from the identification of the noise source based on the acceleration data, but is not limited thereto. For example, the processor may output output data by further applying the target biosignal and acceleration data to the first machine learning model.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on computer readable media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination, and the program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in the art of computer software. may be Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware device described above may be configured to operate as one or a plurality of software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on this. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

Claims (11)

생체 신호를 수집하는 기기로부터 사용자의 생체 신호를 수신하는 통신부; 및
상기 수신된 생체 신호로부터 분할된 복수의 부분 생체 신호들 중 대상 생체 신호에 대해 제1 기계 학습 모델을 적용함으로써 출력된 출력 데이터에 기초하여 상기 대상 생체 신호에 포함된 노이즈 성분을 유발한 노이즈 소스(source)를 식별하는 프로세서
를 포함하는 생체 신호 처리 장치.
a communication unit that receives a user's biosignal from a device that collects biosignals; and
A noise source that causes a noise component included in the target bio-signal based on output data output by applying a first machine learning model to a target bio-signal among a plurality of partial bio-signals divided from the received bio-signal ( source)
Biometric signal processing device comprising a.
제1항에 있어서,
상기 프로세서는,
상기 노이즈 소스를 전기장, 자기장, 운동, 및 온도 중 하나 또는 둘 이상의 조합으로 결정하는,
생체 신호 처리 장치.
According to claim 1,
the processor,
Determining the noise source as one or a combination of two or more of electric field, magnetic field, motion, and temperature,
Bio-signal processing device.
제1항에 있어서,
상기 생체 신호 처리 장치는,
상기 프로세서에 의하여 식별된 상기 노이즈 소스와 매핑된 텍스트 안내 메시지, 행동 교정 가이드, 및 그래픽 객체 중 적어도 하나 또는 둘 이상의 조합을 표시하는 디스플레이
를 더 포함하는 생체 신호 처리 장치.
According to claim 1,
The biosignal processing device,
A display displaying at least one or a combination of two or more of a text guide message, a behavior correction guide, and a graphic object mapped to the noise source identified by the processor.
Biometric signal processing device further comprising a.
제1항에 있어서,
상기 생체 신호 처리 장치는,
상기 프로세서에 의하여 식별된 상기 노이즈 소스와 매핑된 음성 안내 메시지, 행동 교정 가이드, 및 알람 중 하나 또는 둘 이상의 조합을 재생하는 스피커
를 더 포함하는 생체 신호 처리 장치.
According to claim 1,
The biosignal processing device,
A speaker that reproduces one or a combination of two or more of a voice guidance message mapped with the noise source identified by the processor, a behavior correction guide, and an alarm.
Biometric signal processing device further comprising a.
제1항에 있어서,
상기 생체 신호 처리 장치는,
상기 프로세서에 의하여 식별된 상기 노이즈 소스와 매핑된 하나의 색상 또는 둘 이상의 색상 조합을 표시하는 조명부
를 더 포함하는 생체 신호 처리 장치.
According to claim 1,
The biosignal processing device,
A lighting unit displaying one color or a combination of two or more colors mapped with the noise source identified by the processor
Biometric signal processing device further comprising a.
제1항에 있어서,
상기 통신부는,
상기 생체 신호와 함께 가속도계로부터 상기 사용자의 가속도 데이터를 더 수신하고,
상기 프로세서는,
상기 출력 데이터와 함께 상기 가속도 데이터에 더 기초하여 상기 가속도 데이터에 대응하는 부분 생체 신호에 대하여 상기 노이즈 소스를 운동으로 결정하는,
생체 신호 처리 장치.
According to claim 1,
The communication department,
Further receiving acceleration data of the user from an accelerometer together with the biosignal;
the processor,
Further based on the acceleration data together with the output data, determining the noise source as motion for a partial biosignal corresponding to the acceleration data.
Bio-signal processing device.
제1항에 있어서,
상기 프로세서는,
상기 복수의 부분 생체 신호들의 각각에 제2 기계 학습 모델을 적용함으로써 출력된 가능성 점수들에 기초하여 상기 복수의 부분 생체 신호들 중에서 상기 대상 생체 신호를 선택하는,
생체 신호 처리 장치.
According to claim 1,
the processor,
Selecting the target bio-signal from among the plurality of partial bio-signals based on probability scores output by applying a second machine learning model to each of the plurality of partial bio-signals;
Bio-signal processing device.
제7항에 있어서,
상기 프로세서는,
통제된 임상환경에서 측정된 유효 신호 및 생체 신호 수집 기기로부터 획득된 노이즈 성분이 포함된 노이즈 신호를 포함하는 트레이닝 생체 신호에 대한 상기 제2 기계 학습 모델의 적용에 따라 생성된 임시 가능성 점수 및 참값(ground truth) 간의 목적 함수 값을 산출하고,
상기 산출된 목적 함수 값이 수렴하도록 상기 제2 기계 학습 모델의 파라미터의 업데이트를 반복하는,
생체 신호 처리 장치.
According to claim 7,
the processor,
Provisional likelihood score and true value generated according to the application of the second machine learning model to a training biosignal including a valid signal measured in a controlled clinical environment and a noise signal containing a noise component obtained from a biosignal collection device ( calculate the objective function value between the ground truth),
Repeating updating parameters of the second machine learning model so that the calculated objective function value converges,
Bio-signal processing device.
제8항에 있어서,
상기 프로세서는,
상기 유효 신호 및 상기 노이즈 신호와 함께 생체 신호 성분에 노이즈 성분을 부가함으로써 생성된 합성 신호에 더 기초하여 상기 목적 함수 값을 산출하는,
생체 신호 처리 장치.
According to claim 8,
the processor,
calculating the objective function value further based on a synthesized signal generated by adding a noise component to a biosignal component together with the valid signal and the noise signal;
Bio-signal processing device.
제7항에 있어서,
상기 프로세서는,
상기 제2 기계 학습 모델에 의하여 출력된 상기 가능성 점수에 대한 신뢰도에 기초하여 선별된 트레이닝 부분 생체 신호를 이용하여 새로운 제2 기계 학습 모델을 트레이닝시키는,
생체 신호 처리 장치.
According to claim 7,
the processor,
Training a new second machine learning model using a training part biosignal selected based on the reliability of the likelihood score output by the second machine learning model,
Bio-signal processing device.
생체 신호 처리 방법에 있어서,
생체 신호를 수집하는 기기로부터 사용자의 생체 신호를 수신하는 단계; 및
상기 수신된 생체 신호로부터 분할된 복수의 부분 생체 신호들 중 대상 생체 신호에 대해 제1 기계 학습 모델을 적용함으로써 출력된 출력 데이터에 기초하여 상기 대상 생체 신호에서 발생한 노이즈 소스를 식별하는 단계;
를 포함하는 생체 신호 처리 방법.
In the biological signal processing method,
Receiving a user's biosignal from a device that collects biosignals; and
identifying a noise source generated in the target bio-signal based on output data output by applying a first machine learning model to a target bio-signal among a plurality of partial bio-signals divided from the received bio-signal;
Biometric signal processing method comprising a.
KR1020210147057A 2021-10-29 2021-10-29 Biosignal processing device and method KR20230062109A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210147057A KR20230062109A (en) 2021-10-29 2021-10-29 Biosignal processing device and method
PCT/KR2021/018400 WO2023075010A1 (en) 2021-10-29 2021-12-07 Apparatus and method for processing biosignal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210147057A KR20230062109A (en) 2021-10-29 2021-10-29 Biosignal processing device and method

Publications (1)

Publication Number Publication Date
KR20230062109A true KR20230062109A (en) 2023-05-09

Family

ID=86160071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210147057A KR20230062109A (en) 2021-10-29 2021-10-29 Biosignal processing device and method

Country Status (2)

Country Link
KR (1) KR20230062109A (en)
WO (1) WO2023075010A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101736976B1 (en) * 2010-07-05 2017-05-18 삼성전자주식회사 Apparatus and method for measuring biological signal
JP2012179305A (en) * 2011-03-02 2012-09-20 Terumo Corp Sphygmomanometer
US9724008B2 (en) * 2014-07-07 2017-08-08 Zoll Medical Corporation System and method for distinguishing a cardiac event from noise in an electrocardiogram (ECG) signal
JP6458387B2 (en) * 2014-07-29 2019-01-30 株式会社きもちラボ Bioelectric noise identification system and bioelectric noise removal system
JP7433987B2 (en) * 2020-03-05 2024-02-20 Hoya株式会社 electronic endoscope system

Also Published As

Publication number Publication date
WO2023075010A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
US20230181077A1 (en) Machine differentiation of abnormalities in bioelectromagnetic fields
US11627903B2 (en) Method for diagnosing cognitive disorder, and computer program
KR102141617B1 (en) Method, system and non-transitory computer-readable recording medium for estimating arrhythmia by using artificial neural network
CN107536599A (en) The System and method for of live signal segmentation and datum mark alignment framework is provided
KR20170087855A (en) Automated diagnosis based at least in part on pulse waveforms
Chakraborty et al. A multichannel convolutional neural network architecture for the detection of the state of mind using physiological signals from wearable devices
KR20140063100A (en) Apparatus and methods for remote cardiac disease management
Noman Potential Research Challenges in the Area of Plethysmography and Deep Learning
CN107438399A (en) Angiocarpy deteriorates early warning scoring
Luong et al. Towards real-time recognition of users mental workload using integrated physiological sensors into a VR HMD
Long et al. A scoping review on monitoring mental health using smart wearable devices
KR102379132B1 (en) device and method for providing digital therapeutics information
KR20200071647A (en) Biofeedback method based on virtual/augmented reality contents and bio-signal for diagnosis and healing of mental illness
US11617545B2 (en) Methods and systems for adaptable presentation of sensor data
Rosales et al. Physiological-based smart stress detector using machine learning algorithms
Faezipour et al. System dynamics modeling for smartphone-based healthcare tools: Case study on ECG monitoring
Qiu et al. Cuffless blood pressure estimation based on composite neural network and graphics information
Moscato et al. Automatic pain assessment on cancer patients using physiological signals recorded in real-world contexts
Gwak et al. Support for a clinical diagnosis of mild cognitive impairment using photoplethysmography and gait sensors
Sadek et al. Sensor data quality processing for vital signs with opportunistic ambient sensing
KR20230062109A (en) Biosignal processing device and method
WO2023281424A1 (en) Integrative system and method for performing medical diagnosis using artificial intelligence
Koteska et al. Machine learning based SpO2 prediction from PPG signal's characteristics features
Uribe et al. Physiological signals fusion oriented to diagnosis-A review
Zaeni et al. Fatigue detection using decision tree method based on PPG signal

Legal Events

Date Code Title Description
E902 Notification of reason for refusal