KR20230070431A - Functional electrical stimulation generate system using electromyogram signal - Google Patents
Functional electrical stimulation generate system using electromyogram signal Download PDFInfo
- Publication number
- KR20230070431A KR20230070431A KR1020230061741A KR20230061741A KR20230070431A KR 20230070431 A KR20230070431 A KR 20230070431A KR 1020230061741 A KR1020230061741 A KR 1020230061741A KR 20230061741 A KR20230061741 A KR 20230061741A KR 20230070431 A KR20230070431 A KR 20230070431A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- electrical stimulation
- muscle contraction
- emg
- functional electrical
- Prior art date
Links
- 230000000638 stimulation Effects 0.000 title claims abstract description 135
- 230000004118 muscle contraction Effects 0.000 claims abstract description 133
- 230000002747 voluntary effect Effects 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 19
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract description 8
- 210000002460 smooth muscle Anatomy 0.000 claims description 101
- 210000002027 skeletal muscle Anatomy 0.000 claims description 58
- 210000003205 muscle Anatomy 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 20
- 230000001186 cumulative effect Effects 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims 6
- 238000002567 electromyography Methods 0.000 description 71
- 238000010586 diagram Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000001629 suppression Effects 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 102100029768 Histone-lysine N-methyltransferase SETD1A Human genes 0.000 description 3
- 101000865038 Homo sapiens Histone-lysine N-methyltransferase SETD1A Proteins 0.000 description 3
- 101150117538 Set2 gene Proteins 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003387 muscular Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 230000004220 muscle function Effects 0.000 description 1
- 239000002086 nanomaterial Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36003—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of motor muscles, e.g. for walking assistance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/296—Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/0404—Electrodes for external use
- A61N1/0408—Use-related aspects
- A61N1/0452—Specially adapted for transcutaneous muscle stimulation [TMS]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/0404—Electrodes for external use
- A61N1/0472—Structure-related aspects
- A61N1/0492—Patch electrodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36014—External stimulators, e.g. with patch electrodes
- A61N1/3603—Control systems
- A61N1/36031—Control systems using physiological parameters for adjustment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physiology (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Neurosurgery (AREA)
- Psychiatry (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Developmental Disabilities (AREA)
- Physical Education & Sports Medicine (AREA)
- Mathematical Physics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
Description
본 발명은 기능적 전기자극 생성 시스템에 관한 것으로, 좀 더 자세하게는 근전도 신호를 기반으로 기능성 전기자극(FES) 신호를 생성하는 전기자극 생성 시스템에 관한 것이다.The present invention relates to a functional electrical stimulation generating system, and more particularly, to an electrical stimulation generating system for generating a functional electrical stimulation (FES) signal based on an EMG signal.
근육이 활성화될 때 근육 세포에서 발생하는 전위차를 측정함으로써 근육의 활성 정도를 측정하는 근전도 신호(Electromyography: EMG)는 의료 분야에서뿐만 아니라 바이오 메카닉스 분야까지 널리 사용된다. EMG 기술은 활성화된 근육의 전위차를 측정하는 전극의 구성에 따라 발전되어 왔으며, 보편적으로 활용되는 형태는 피부 표면에 부착되는 전극 형태의 EMG 장비이다. 더불어, 전기자극 기술은 정전류 혹은 정전압의 형태로 전기자극을 근육에 인가하여 인위적으로 근육의 수축을 유발하는 기술이다. 전기자극 기술은 주로 약화 또는 상실된 근육의 기능을 보완 및 대체하는 기능성 전기자극(Functional Electrical Stimulation: 이하, FES) 기술로 발전되어 왔다.Electromyography (EMG), which measures the degree of muscle activity by measuring the potential difference generated in muscle cells when muscles are activated, is widely used not only in the medical field but also in the biomechanics field. EMG technology has been developed according to the configuration of electrodes that measure the potential difference of activated muscles, and a commonly used form is EMG equipment in the form of electrodes attached to the skin surface. In addition, electrical stimulation technology is a technology that artificially induces muscle contraction by applying electrical stimulation to muscles in the form of constant current or constant voltage. Electrical stimulation technology has mainly been developed as a functional electrical stimulation (FES) technology that supplements and replaces weakened or lost muscle functions.
기능성 전기자극(FES)은 일반적으로 병원에서 시술 가능한 가장 효과적인 재활 치료법으로 알려져 왔다. 기능성 전기자극(FES)을 활용한 치료를 위해 재활 전문가들은 수의적 근수축(Voluntary muscle contraction)이 발생하는 동안 환부에 전기자극을 인가한다. 재활 전문가들은 환자가 근수축을 유지하고 있는지 혹은 시작하였는지 여부를 육안으로 판단하고, FES 장치의 전원을 키는 방식으로 시술이 이루어진다. 일반적인 FES 장비에서는 사용자가 일정 이상의 힘을 주었을 때, 전기자극이 나오는 방식으로 구동된다.Functional electrical stimulation (FES) has been known as the most effective rehabilitation therapy that can be generally performed in hospitals. For treatment using functional electrical stimulation (FES), rehabilitation experts apply electrical stimulation to the affected area while voluntary muscle contraction occurs. Rehabilitation experts perform the procedure by visually determining whether the patient is maintaining or starting muscle contraction and turning on the power of the FES device. In general FES equipment, when a user applies a certain amount of force, it is driven in such a way that electrical stimulation comes out.
따라서, FES를 이용한 재활 치료를 위해서, 한 명의 재활 전문가가 한 명의 환자를 감당할 수밖에 없다. 따라서, 다수의 환자들이 존재할 때에는 FES 장비를 사용하더라도 인력 부족은 불가피하다. FES 장치를 활용한 가정 환경에서의 재활 치료에서도 재활 전문가가 없이는 가장 효과적인 FES 재활 치료를 진행하기 어려운 실정이다. 재활 전문가는 환자가 수의적 근수축을 유지 중인지 혹은 시작하였는지 파악해야 하기 때문에 여러 명에 대해서 치료를 진행하는 것이 어렵다. 종래의 제품이나 기술에서는 사용자가 일정 이상의 힘을 주었을 때, 전기자극이 나오도록 제어되기 때문에, 전기자극이 출력된 이후 근수축 여부에 대해서는 장비가 인식하지 못한다. 환자의 수의적 근수축이 발생했을 때, 자동적으로 전기자극을 인가하는 장치가 필요하기 때문에, 입력된 신호를 분석 및 판단하는 기술이 요구된다. 따라서, 재활 전문가 없이도 환자 스스로 효과적인 FES 재활 치료가 가능할 수 있도록 하는 FES 기술에 대한 요구가 상존한다.Therefore, for rehabilitation treatment using FES, one rehabilitation specialist has no choice but to handle one patient. Therefore, when a large number of patients are present, even if the FES equipment is used, a shortage of manpower is unavoidable. Even in rehabilitation treatment in a home environment using an FES device, it is difficult to proceed with the most effective FES rehabilitation treatment without a rehabilitation specialist. It is difficult to treat several patients because the rehabilitation specialist must determine whether the patient is maintaining or starting voluntary muscle contraction. In conventional products or technologies, since electrical stimulation is controlled to come out when a user applies a certain force or more, the equipment does not recognize whether or not the muscle contracts after the electrical stimulation is output. Since a device for automatically applying electric stimulation when a patient's voluntary muscle contraction occurs is required, a technique for analyzing and determining an input signal is required. Therefore, there is a demand for FES technology that enables patients to perform effective FES rehabilitation treatment on their own without a rehabilitation expert.
본 발명은 상술한 기술적 과제를 해결하기 위한 것으로, 본 발명은 근자극 신호를 기반으로 기능성 전기자극(FES)을 생성하는 전기자극 생성 시스템을 제공하는 데 있다. 근육이 전기자극에 의해 자극되면 불수의적 근수축(Involuntary muscle contraction)도 발생하는데, 본 발명의 목적은 불수의적 근수축과 수의적 근수축(Voluntary muscle contraction)을 구분하기 위한 전처리 기술을 사용하여 수의적 근수축 신호를 이용한 효과적인 FES 생성 시스템을 제공하는데 있다. The present invention is to solve the above-described technical problem, the present invention is to provide an electrical stimulation generating system for generating functional electrical stimulation (FES) based on muscle stimulation signals. When muscles are stimulated by electrical stimulation, involuntary muscle contractions also occur. It is to provide an effective FES generation system using artificial muscle contraction signals.
본 발명의 실시 예에 따른 신체로부터 전기자극에 응답하여 생성되는 근전도 신호(EMG)를 수집하여, 기능성 전기자극 신호를 제어 및 생성하는 전기자극 생성 장치에 있어서: 상기 근전도 신호의 주파수 영역에서 특성 벡터를 추출하고, 인공지능 모델을 적용하여 상기 특성 벡터로부터 수의적 근수축 신호와 불수의적 근수축 신호를 구분하여 검출하는 수의적/불수의적 근수축 검출부; 상기 검출 결과에 따라 상기 근전도 신호로부터 상기 불수의적 근수축 신호를 제거하는 불수의적 근수축 신호 제거부; 상기 불수의적 근수축 신호가 제거된 근전도 신호에 기초하여 상기 신체에 인가될 상기 기능성 전기자극 신호를 생성하는 기능성 전기자극 제어부를 포함한다.In the electrical stimulation generating device for controlling and generating a functional electrical stimulation signal by collecting EMG signals (EMG) generated in response to electrical stimulation from the body according to an embodiment of the present invention: a characteristic vector in the frequency domain of the EMG signal a voluntary/involuntary muscle contraction detection unit that extracts and detects a voluntary muscle contraction signal and an involuntary muscle contraction signal separately from the feature vector by applying an artificial intelligence model; an involuntary muscle contraction signal removing unit configured to remove the involuntary muscle contraction signal from the EMG signal according to the detection result; and a functional electrical stimulation control unit generating the functional electrical stimulation signal to be applied to the body based on the EMG signal from which the involuntary muscle contraction signal has been removed.
이 실시 예에서 상기 장치는, 상기 불수의적 근수출 신호가 제거된 근전도 신호의 실효치(RMS: Root Mean Square)를 계산하는 근활성도 세기 계산부;를 더 포함하고, 상기 기능성 전기자극 제어부는, 상기 실효치와 문턱값을 비교하고, 비교 결과에 따라 상기 신체에 인가될 상기 기능성 전기자극 신호를 생성한다.In this embodiment, the device further includes a muscle activity intensity calculation unit for calculating a Root Mean Square (RMS) of the EMG signal from which the involuntary muscle export signal has been removed, and the functional electrical stimulation control unit comprises the An effective value and a threshold value are compared, and the functional electrical stimulation signal to be applied to the body is generated according to the comparison result.
이 실시 예에서 상기 특성벡터는 상기 근전도 신호(EMG)의 주파수 영역에서 검출되는 백분위 스펙트럼 누적합(PoSCS)과 로그 파워 스펙트럼(Log Power Spectrum) 중 적어도 하나를 포함한다.In this embodiment, the feature vector includes at least one of a percentile spectral cumulative sum (PoSCS) and a log power spectrum detected in the frequency domain of the EMG signal (EMG).
이 실시 예에서 상기 불수의적 근수축 신호 제거부는: 상기 근전도 신호(EMG)의 윈도우를 선택하는 윈도우부; 및 상기 선택된 윈도우에 포함되는 신호를 고속 푸리에 변환으로 처리하는 고속 푸리에 변환부; 를 포함한다.In this embodiment, the involuntary muscle contraction signal removal unit includes: a window unit selecting a window of the EMG signal (EMG); and a fast Fourier transform unit for processing signals included in the selected window through fast Fourier transform. includes
이 실시 예에서 상기 불수의적 근수축 신호 제거부는: 상기 고속 푸리에 변환부에서 출력되는 신호의 크기와 위상을 각각 계산하는 크기 및 위상 계산부; 를 더 포함한다.In this embodiment, the involuntary muscle contraction signal removal unit includes: a magnitude and phase calculation unit for calculating the magnitude and phase of the signal output from the fast Fourier transform unit; more includes
이 실시 예에서 상기 불수의적 근수축 신호 제거부는: 상기 신호의 크기에서 피크를 검출하는 피크 검출부; 및 상기 검출된 피크에 대응하는 노이즈 신호를 제거하는 피크 제거부; 를 더 포함한다.In this embodiment, the involuntary muscle contraction signal removal unit includes: a peak detection unit for detecting a peak in the magnitude of the signal; and a peak remover removing a noise signal corresponding to the detected peak. more includes
본 발명의 실시 예에 따른 전기자극 생성 시스템에 따르면, 근전도 신호(EMG)로부터 높은 정확도로 수의적 근수축 신호와 불수의적 근수축 신호를 구분하여 기능성 전기자극(FES) 신호를 생성할 수 있다. 따라서, 재활 전문가나 고비용의 장비가 없이도 높은 정확도의 기능성 전기자극(FES)을 제공하는 전기자극 생성 시스템을 구현할 수 있다.According to the electrical stimulation generating system according to an embodiment of the present invention, a functional electrical stimulation (FES) signal can be generated by distinguishing a voluntary muscle contraction signal and an involuntary muscle contraction signal from an EMG signal (EMG) with high accuracy. Therefore, it is possible to implement an electrical stimulation generating system that provides high-accuracy functional electrical stimulation (FES) without a rehabilitation specialist or expensive equipment.
도 1은 본 발명의 실시 예에 따른 전기자극 생성 시스템을 예시적으로 보여주는 블록도이다.
도 2는 도 1의 전기자극 생성 시스템의 구성을 예시적으로 보여주는 블록도이다.
도 3은 특성 추출의 예로서 백분위 스펙트럼 누적합(PoSCS)을 추출하기 위한 주파수 영역(Frequency domain)에서의 처리 방법을 보여주는 순서도이다.
도 4는 백분위 스펙트럼 누적합(PoSCS)을 추출하는 방법을 보여주는 그래프이다.
도 5는 근전도 신호(EMG)로부터 주파수별 백분위 스펙트럼 누적합(PoSCS)을 추출한 결과를 나타내는 확률밀도함수(PDF)들을 보여준다.
도 6은 본 발명의 실시 예에 따른 수의적 근수축 신호와 불수의적 근수축 신호를 분리하기 위한 인공지능 연산부의 학습 방법을 보여주는 순서도이다.
도 7은 본 발명의 시간 영역에서의 순차적인 근전도(EMG) 데이터를 통해서 수의적 근수축 신호와 불수의적 근수축 신호를 식별하기 위한 LSTM 알고리즘의 구조를 간략히 보여주는 도면이다.
도 8은 본 발명의 수의적/불수의적 근수축 검출부의 실제 동작 및 테스트 동작을 보여주는 순서도이다.
도 9는 도 2에 도시된 불수의적 근수축 신호 제거부를 예시적으로 보여주는 블록도이다.
도 10 및 도 11은 피크 검출부와 피크 억제부(1126)에서의 EMG 데이터의 주파수 분석 결과를 보여주는 그래프이다.
도 12는 역변환부에서의 전처리(Pre-processing) 과정이 있는 파형(빨간색)과 전처리 과정이 없는 파형(검정색)을 보여주는 그래프이다.
도 13 내지 도 14는 본 발명의 근자극 신호 기반의 기능성 전기자극(FES)을 생성하는 전기자극 생성 시스템의 성능을 테스트한 결과를 보여주는 도면들이다.1 is a block diagram exemplarily showing an electrical stimulation generating system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing the configuration of the electrical stimulation generating system of FIG. 1 as an example.
3 is a flowchart showing a processing method in a frequency domain for extracting a percentile spectral cumulative sum (PoSCS) as an example of feature extraction.
4 is a graph showing a method of extracting a percentile spectral cumulative sum (PoSCS).
5 shows probability density functions (PDFs) representing the result of extracting the percentile spectral cumulative sum (PoSCS) for each frequency from the EMG signal (EMG).
6 is a flowchart illustrating a learning method of an artificial intelligence operation unit for separating voluntary muscle contraction signals and involuntary muscle contraction signals according to an embodiment of the present invention.
7 is a diagram briefly showing the structure of the LSTM algorithm for identifying voluntary and involuntary muscle contraction signals through sequential electromyogram (EMG) data in the time domain of the present invention.
8 is a flowchart showing an actual operation and a test operation of the voluntary/involuntary muscle contraction detection unit of the present invention.
FIG. 9 is a block diagram showing the involuntary muscle contraction signal removal unit shown in FIG. 2 as an example.
10 and 11 are graphs showing frequency analysis results of EMG data in the peak detection unit and the
12 is a graph showing a waveform (red) with pre-processing and a waveform (black) without pre-processing in the inverse transform unit.
13 to 14 are diagrams showing results of testing the performance of the electrical stimulation generating system for generating functional electrical stimulation (FES) based on muscle stimulation signals according to the present invention.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.Hereinafter, embodiments of the present invention will be described clearly and in detail to the extent that those skilled in the art can easily practice the present invention.
도 1은 본 발명의 실시 예에 따른 전기자극 생성 시스템을 예시적으로 보여주는 블록도이다. 도 1을 참조하면, 전기자극 생성 시스템(1100)은 전기자극을 인가하여 획득되는 근전도 신호(EMG)를 통해 전처리를 수행하고, 전처리된 데이터를 이용하여 환자를 위한 기능성 전기자극(FES)을 생성한다.1 is a block diagram exemplarily showing an electrical stimulation generating system according to an embodiment of the present invention. Referring to FIG. 1 , the electrical
전기자극 생성 시스템(1100)은 환자의 근육이나 피부에 전기자극(ES)을 인가하고, 전기자극(ES)에 반응하여 제공되는 근전도 신호(EMG)를 기반으로 기능성 전기자극(FES)을 생성한다. 전기자극 생성 시스템(1100)은 일반적인 기능성 전기자극(FES) 신호와 달리, 근전도 신호(EMG)에서 불수의적 근수축 신호를 분리 및 제거하는 전처리 기술을 적용한다. 물론, 수집되는 근전도 신호(EMG)에는 전기자극(ES) 신호가 포함된다. 전기자극 생성 시스템(1100)은 근전도 신호(EMG)로부터 전기자극(ES) 신호와 불수의적 근수축 신호를 제거하여 수의적 근수축 신호를 추출하고, 수의적 근수축 신호를 기반으로 기능성 전기자극(FES) 신호를 생성할 수 있다. 따라서, 본 발명의 기능성 전기자극(FES) 신호가 근전도 신호(EMG)를 기반으로 생성된다는 점에서 이하에서는 근전도 기반의 기능성 전기자극(ECF: EMG-Controlled FES)라 칭하기로 한다.The electrical stimulation generating
전기자극 생성 시스템(1100)은 근수축에 따른 근활성도를 측정하는 근전도 신호(EMG)를 기반으로 기능성 전기자극(FES)을 조절할 수 있다. 전기자극 생성 시스템(1100)은 근전도 신호(EMG)의 실효치(RMS: Root Mean Square) 크기에 따라 전기자극의 세기를 조절할 수 있다. 이를 통해 전기자극 생성 시스템(1100)은 일정 이상의 힘을 주면 전기자극이 켜지고, 일정 이하로 힘이 떨어지면 전기자극이 꺼지는 서비스를 제공할 수 있다. 또한, 전기자극 생성 시스템(1100)은 특정 동작을 위해 주어야 할 힘을 주지 못할 때, 부족한 힘을 보조하기 위해 전기자극을 인가하여 보조해주는 서비스를 제공할 수 있다.The electrical stimulation generating
본 발명의 전기자극 생성 시스템(1100)은 근전도 기반의 기능성 전기자극(ECF)을 사용한다. 이를 위해 패드 형태의 전극들이 사용될 수 있다. 전기자극 패드(1111)는 전기자극(ES) 및 근전도 신호 기반의 기능성 전기자극(ECF)을 인가하는 전기자극 패드를 포함할 수 있다. 예를 들면, 전기자극 패드(1111)는 습식의 형태로 1회용 또는 다회용으로 사용될 수 있다. 또는, 전기자극 패드(1111)는 사용자의 생체 신호나 신경지배근의 전기자극 신호를 전달하기 위해 건식 고점착성 소재를 사용하여 제작될 수 있다. 예를 들어, 전기자극 패드(1111)는 탄소 나노 소재를 이용한 전도성 건식 점착 전극 패드로 제작될 수 있다. 전기자극 측정 패드(1112)는 근전도(EMG) 측정을 위해 사용된다. 전기자극 측정 패드(1112)는 허벅지 근전도 측정 센싱을 위한 EMG 센서를 포함할 수 있다. 더불어, 레퍼런스 패드(1113)는 전기자극 패드(1111)나 전기자극 측정 패드(1112)의 접지 레벨을 제공하기 위한 전극 패드로 제공된다.The electrical stimulation generating
도 2는 도 1의 전기자극 생성 시스템의 구성을 예시적으로 보여주는 블록도이다. 도 2를 참조하면, 전기자극 생성 시스템(1100)은 수의적/불수의적 근수축 검출부(1110), 불수의적 근수축 신호 제거부(1120), 근활성도 세기 계산부(1130), 그리고 기능성 전기자극 제어부(1140)를 포함할 수 있다.FIG. 2 is a block diagram showing the configuration of the electrical stimulation generating system of FIG. 1 as an example. Referring to FIG. 2 , the electrical
수의적/불수의적 근수축 검출부(1110)는 전기자극(ES)에 반응하여 수집되는 근전도 신호(EMG)를 입력받는다. 수의적/불수의적 근수축 검출부(1110)는 입력된 근전도 신호(EMG)에 포함되는 전기자극(ES)을 제거하고, 수의적 근수축 신호와 불수의적 근수축 신호를 구분할 수 있다. 수의적 근수축 신호와 불수의적 근수축 신호를 신호의 진폭만으로 구분하는 것은 어렵다. 따라서, 수의적 근수축 신호와 불수의적 근수축 신호를 분리하기 위해 인공지능(AI) 모델이 필요하다.The voluntary/involuntary muscle
고성능의 신호 분류를 위해, 고성능의 딥러닝 모델과 더불어, 모델의 성능을 향상시키기 위한 고성능 특성 벡터도 중요하다. 따라서, 본 발명에서는 특성 추출을 위해 850Hz의 샘플링 레이트(Sampling rate)와, 320 샘플의 프레임 사이즈, 20 샘플의 시프트 사이즈, 그리고 512의 FFT 사이즈가 적용될 수 있다. 프레임 사이즈의 크기는 320 샘플이기 때문에, 320 샘플이 순차적으로 버퍼에 저장될 것이다. 그리고, 320 샘플만큼의 시간이 지난 후에, 20 샘플씩 신호가 버퍼(buffer)에 순차적으로 저장될 수 있다. 버퍼를 업데이트한 후에 특성 추출 기술을 사용하여 특성 벡터가 추출될 것이다.For high-performance signal classification, in addition to a high-performance deep learning model, high-performance feature vectors to improve the performance of the model are also important. Therefore, in the present invention, a sampling rate of 850 Hz, a frame size of 320 samples, a shift size of 20 samples, and an FFT size of 512 may be applied for feature extraction. Since the size of the frame size is 320 samples, 320 samples will be sequentially stored in the buffer. In addition, after a time of 320 samples has passed, signals of 20 samples may be sequentially stored in a buffer. After updating the buffer, feature vectors will be extracted using feature extraction techniques.
불수의적 근수축 신호 제거부(1120)는 검출된 불수의적 근수축 신호를 제거한다. 근활성도 세기 계산부(1130)는 노이즈 제거가 된 상태에서 RMS를 계산하여 힘이 어느 정도 가해졌는지 직관적으로 파악할 수 있도록 해준다.The involuntary muscle contraction
기능성 전기자극 제어부(1140)는 근전도 기반의 기능성 전기자극(ECF)을 생성한다. 즉, 기능성 전기자극 제어부(1140)는 특정 문턱값(Threshold)과 RMS를 비교하여 기능성 전기자극을 인가하는 것을 온(ON) 또는 오프(OFF)할 수 있다. 예를 들면, 기능성 전기자극 제어부(1140)는 RMS가 문턱값보다 크거나 같으면 기능성 전기자극을 인가하고, 작으면 인가하지 않을 수 있다. 또는, 기능성 전기자극 제어부(1140)는 RMS에 따라 기능성 전기자극의 세기를 결정할 수 있다. 기능성 전기자극 제어부(1140)는 RMS가 커지면 전기자극도 세지고, 작아지면 약해지도록 제어할 수 있다. The functional
전기자극 생성 시스템(1100)은 근수축에 따른 근활성도를 측정하는 근전도 신호(EMG)를 기반으로 기능성 전기자극(FES)을 조절할 수 있다. 전기자극 생성 시스템(1100)은 EMG의 RMS 크기에 따라 전기자극의 세기를 조절할 수 있다. 이를 통해 전기자극 생성 시스템(1100)은 일정 이상의 힘을 주면 전기자극이 켜지고, 일정 이하로 힘이 떨어지면 전기자극이 꺼지는 서비스를 제공할 수 있다. 또한, 전기자극 생성 시스템(1100)은 특정 동작을 위해 주어야 할 힘을 주지 못할 때, 부족한 힘을 보조하기 위해 전기자극을 인가하여 보조해 주는 서비스를 제공할 수 있다.The electrical
도 3은 특성 추출의 예로서 백분위 스펙트럼 누적합(PoSCS)을 추출하기 위한 주파수 영역(Frequency domain)에서의 처리 방법을 보여주는 순서도이다. 도 3을 참조하면, 근전도 신호(EMG)에 대한 주파수 영역의 처리를 통해서 백분위 스펙트럼 누적합(Percentile of Spectral Cumulative Sum: 이하, PoSCS)을 추출할 수 있다.3 is a flowchart showing a processing method in a frequency domain for extracting a percentile spectral cumulative sum (PoSCS) as an example of feature extraction. Referring to FIG. 3 , a Percentile of Spectral Cumulative Sum (hereinafter referred to as PoSCS) may be extracted through frequency domain processing of an EMG signal.
S110 단계에서, 주파수 스펙트럼으로 변환할 근전도 신호(EMG)의 시간 영역에서의 윈도우(Window)가 선택된다. 예를 들면, 근전도 신호(EMG)의 윈도우가 섹터 단위로 또는 프레임 단위로 선택될 수 있을 것이다.In step S110, a window in the time domain of the EMG signal to be converted into a frequency spectrum is selected. For example, the window of the EMG signal (EMG) may be selected in sector units or frame units.
S120 단계에서, 선택된 구간의 근전도 신호(EMG)의 윈도우에 대한 고속 푸리에 변환(FFT) 및 절대값 연산이 수행된다.In step S120, fast Fourier transform (FFT) and absolute value calculation are performed on the window of the EMG signal (EMG) of the selected section.
S130 단계에서, 절대값 연산 결과에 기초하여 주파수 영역에서 스펙트럼 누적합(SCS)이 추출된다.In step S130, a spectral cumulative sum (SCS) is extracted in the frequency domain based on the absolute value calculation result.
S140 단계에서, 정규화(Normalization) 연산이 수행된다.In step S140, a normalization operation is performed.
S150 단계에서, 정규화된 데이터에 기초하여 주파수들 각각의 백분위 스펙트럼 누적합(PoSCS)이 추출된다.In step S150, a percentile spectral cumulative sum (PoSCS) of each of the frequencies is extracted based on the normalized data.
도 4는 백분위 스펙트럼 누적합(PoSCS)을 추출하는 방법을 보여주는 그래프이다. 도 4를 참조하면, 백분위 스펙트럼 누적합(PoSCS)의 추출은 예시적으로 다음과 같은 과정을 통해 수행될 수 있다.4 is a graph showing a method of extracting a percentile spectral cumulative sum (PoSCS). Referring to FIG. 4 , extraction of the percentile spectral cumulative sum (PoSCS) may be exemplarily performed through the following process.
먼저, 주파수 도메인(frequency domain)에서 x축 양의 방향으로 크기(magnitude)를 누적시킨 후, 최대 정규화(max-normalization) 데이터를 활용한다. 이어서, y축을 기준으로 0.05 단위로 0.05에서 0.30까지 수평선을 시프팅(Shifting)한 후, 수평선과 스펙트럼 누적합(SCS)과의 접점의 주파수 빈(frequency bin)을 특성(feature)으로 추출한다. 프레임(Frame) 별로 6차로 구성된 특성 벡터를 추출함으로써, 스펙트럼 누적합(SCS)의 사용은 불수의적 근수축과 수의적 근수축을 효과적으로 구분하는데 사용될 수 있다. 이러한 과정은 주파수 빈(frequency bin)을 추출된 특성을 도시하는 오른쪽 그래프에 나타난다.First, after accumulating the magnitude in the positive x-axis direction in the frequency domain, max-normalization data is utilized. Subsequently, after shifting the horizontal line from 0.05 to 0.30 by 0.05 units based on the y-axis, a frequency bin of a point of contact between the horizontal line and the spectral cumulative sum (SCS) is extracted as a feature. By extracting feature vectors consisting of 6 orders for each frame, the use of the spectral cumulative sum (SCS) can be used to effectively distinguish between involuntary and voluntary muscle contractions. This process is shown in the right graph showing the extracted characteristics of frequency bins.
불수의적 근수축으로 인해 발생하는 주파수 영역에서의 잡음 성분은 수의적 근수축의 주파수 성분과는 다르게 비정상적으로 튀어오르는 값을 갖는다. 따라서, 불수의적 근수축과 수의적 근수축이 동시에 존재할 때, 불수의적 근수축만 존재했을 때와는 다르게 스펙트럼 누적합(SCS)의 특징이 다르게 나타난다. 또한, 불수의적 근수축으로 인해 발생하는 주파수 영역에서의 잡음 성분은 전기자극(ES)의 주파수 파라미터에 따라 다르게 나타난다. 전기자극 환경에 따라 수의적 근수축 구간에서 두드러지게 나타나는 특성이 다르다. 따라서, 모든 전기자극 환경에 대해, 고성능 모델을 구성하기 위해서는 위에서 언급한 바와 같이 다차원(multi-dimension) 형태의 특성 벡터를 활용해야 한다. 결과적으로, 백분위 스펙트럼 누적합(PoSCS)은 수의적 근수축 구간에서 두드러지게 나타나는 것을 확인할 수 있다.A noise component in a frequency domain generated by involuntary muscle contraction has an abnormally bounced value, unlike a frequency component of voluntary muscle contraction. Therefore, when involuntary muscle contraction and voluntary muscle contraction exist simultaneously, the characteristics of the spectral cumulative sum (SCS) appear different from when only involuntary muscle contraction exists. In addition, noise components in the frequency domain generated due to involuntary muscle contraction appear differently depending on the frequency parameter of the electrical stimulation (ES). Depending on the electrical stimulation environment, the characteristics that appear prominently in the voluntary muscle contraction section are different. Therefore, in order to construct a high-performance model for all electrical stimulation environments, as mentioned above, a multi-dimensional feature vector should be used. As a result, it can be seen that the percentile spectral cumulative sum (PoSCS) appears prominently in the voluntary muscle contraction section.
도 5는 근전도 신호(EMG)로부터 주파수별 백분위 스펙트럼 누적합(PoSCS)을 추출한 결과를 보여주는 확률밀도함수(PDF)들이다. 도 5를 참조하면, 시간 영역에서의 근전도 신호(EMG)에서는 각 주파수 대역에서 불수의적 근수축과 수의적 근수축이 구분될 수는 있다. 하지만, 중첩되는 부분이 존재함을 알 수 있다. 따라서, 인공지능 알고리즘을 활용한 분리 연산이 필요함을 알 수 있다. 5 is probability density functions (PDFs) showing the results of extracting the percentile spectral cumulative sum (PoSCS) for each frequency from the EMG signal (EMG). Referring to FIG. 5 , in the EMG signal (EMG) in the time domain, involuntary muscle contraction and voluntary muscle contraction may be distinguished in each frequency band. However, it can be seen that overlapping parts exist. Therefore, it can be seen that separation operation using an artificial intelligence algorithm is necessary.
주파수별 백분위 스펙트럼 누적합(PoSCS)을 추출한 후, 불수의적 근수축 신호에 대한 특성의 활률밀도함수(PDF)는 각 주파수들(10Hz, 60Hz, 90Hz)에서 곡선들(C11, C12, C13)로 나타난다. 그리고 수의적 근수축 신호에 대한 특성의 확률밀도함수는 각 주파수들(10Hz, 60Hz, 90Hz)에서 곡선들(C21, C22, C23)로 나타난다. 백분위 스펙트럼 누적합(PoSCS)의 추출 결과에 따르면, 저주파에서의 불수의적 근수축 신호와 수의적 근수축 신호는 서로 다른 평균을 가지고 있어 상대적으로 뚜렷한 구분이 가능하다. 하지만, 추출된 특성이 상호 중첩되는 부분이 존재하기 때문에 어느 주파수에서든 높은 분류 해상도를 제공하기 위해서는 추출된 특성에 대한 딥러닝이나 인공지능 기법이 필요하게 된다. 특히, 본 발명에서는 롱텀 타임 시리즈 데이터에 대해서 가장 높은 성능을 제공하는 LSTM(Long Short Term Memory) 알고리즘이 사용될 것이다. After extracting the percentile spectral cumulative sum (PoSCS) for each frequency, the activity density function (PDF) of the characteristics for the involuntary muscle contraction signal is calculated as curves (C11, C12, and C13) at each frequency (10 Hz, 60 Hz, and 90 Hz). appear. In addition, the probability density function of the characteristics of the voluntary muscle contraction signal is represented by curves C21, C22, and C23 at each frequency (10 Hz, 60 Hz, and 90 Hz). According to the extraction result of the percentile spectral cumulative sum (PoSCS), the involuntary muscle contraction signal and the voluntary muscle contraction signal at low frequencies have different averages, so a relatively clear distinction is possible. However, since the extracted features overlap with each other, deep learning or artificial intelligence techniques for the extracted features are required to provide high classification resolution at any frequency. In particular, in the present invention, a Long Short Term Memory (LSTM) algorithm that provides the highest performance for long-term time series data will be used.
도 6은 본 발명의 실시 예에 따른 수의적 근수축 신호와 불수의적 근수축 신호를 분리하기 위한 인공지능 연산부의 학습 방법을 보여주는 순서도이다. 도 6을 참조하면, 수의적/불수의적 근수축 검출부(1110, 도 2 참조)는 입력되는 근전도 신호(EMG)를 이용하여 순환신경망(RNN)의 일종인 LSTM의 학습을 진행할 수 있다. 학습을 통해서 수의적 근수축 신호와 불수의적 근수축 신호에 대한 높은 해상도의 식별이 가능하다.6 is a flowchart illustrating a learning method of an artificial intelligence operation unit for separating voluntary muscle contraction signals and involuntary muscle contraction signals according to an embodiment of the present invention. Referring to FIG. 6 , the voluntary/involuntary muscle contraction detection unit 1110 (see FIG. 2 ) may perform learning of LSTM, which is a type of recurrent neural network (RNN), using an input EMG signal. High-resolution identification of voluntary muscle contraction signals and involuntary muscle contraction signals is possible through learning.
S210 단계에서, 수의적/불수의적 근수축 검출부(1110)는 근전도(EMG) 데이터를 수집할 수 있다. 수의적/불수의적 근수축 검출부(1110)는 신체 근육에 전기자극(ES)을 인가하고, 근전도(EMG) 데이터를 측정할 수 있다.In step S210, the voluntary/involuntary muscle
S220 단계에서, 수의적/불수의적 근수축 검출부(1110)는 근전도(EMG) 데이터를 분석하고, 특성 벡터를 추출할 수 있다. 수의적/불수의적 근수축 검출부(1110)는 근전도(EMG) 데이터에 포함된 노이즈 신호를 제거한 다음에, 근력이나 근지구력 등과 관련된 특성 벡터(feature vector)를 추출할 수 있다.In step S220, the voluntary/involuntary muscle
S230 단계에서, 수의적/불수의적 근수축 검출부(1110)는 특성 벡터를 기초로, 인공지능(AI) 모델의 학습을 수행한다. 수의적/불수의적 근수축 검출부(1110) 인공지능 학습을 위한 학습 데이터를 생성한다. 수의적/불수의적 근수축 검출부(1110)는 특성 벡터를 기초로, 학습용 데이터베이스(DB)를 생성할 수 있다(S231). 수의적/불수의적 근수축 검출부(1110)는 LSTM 가중치(Weight)를 초기화할 수 있다(S232). 수의적/불수의적 근수축 검출부(1110)는 학습용 데이터베이스(DB)를 셔플(shuffle)한다. 즉, 수의적/불수의적 근수축 검출부(1110)는 학습용 데이터를 FCNN(Fully connected Neural Network)에 제공하여 학습 연산으로 처리할 수 있다(S233). 수의적/불수의적 근수축 검출부(1110)는 현재 LSTM 모델 오차를 계산할 수 있다(S234). 수의적/불수의적 근수축 검출부(1110)는 현재까지 학습한 오류(Epoch)가 총 오류(total epoch)보다 작은지를 판단한다(S235). 수의적/불수의적 근수축 검출부(1110)는 현재까지 학습한 Epoch가 총 오류(total epoch)보다 작지 않으면(NO) 종료한다. 반면, 수의적/불수의적 근수축 검출부(1110)는 현재까지 학습한 Epoch가 총 오류(total epoch)보다 작으면(YES), LSTM 가중치를 업데이트하고(S236), S233 단계로 복귀한다.In step S230, the voluntary/involuntary muscle
도 7은 본 발명의 시간 영역에서의 순차적인 근전도(EMG) 데이터를 통해서 수의적 근수축 신호와 불수의적 근수축 신호를 식별하기 위한 LSTM 알고리즘의 구조를 간략히 보여주는 도면이다. 도 7을 참조하면, LSTM 알고리즘에 의해서 시간적으로 순차적으로 제공되는 근전도(EMG) 데이터에 대한 가중치들의 업데이트, 즉 학습이 수행된다.7 is a diagram briefly showing the structure of the LSTM algorithm for identifying voluntary and involuntary muscle contraction signals through sequential electromyogram (EMG) data in the time domain of the present invention. Referring to FIG. 7 , weights for electromyogram (EMG) data sequentially provided temporally by an LSTM algorithm are updated, that is, learning is performed.
LSTM 알고리즘의 구조는 순차적으로 입력되는 입력 데이터(Dt)를 처리하는 LSTM 셀들로 구성된다. LSTM 셀들 각각은 현재 시점의 상태를 기초로 과거 데이터를 얼마나 기억할지, 버릴지를 결정하고 그 결과에 현재의 출력을 반영하여 다음 LSTM 셀에 전달한다. 이러한 기능을 위해 하나의 LSTM 셀은 현재 입력 데이터(Dt)를 처리하기 위한 망각 게이트(Forget gate), 입력 게이트(Input gate), 그리고 출력 게이트(Output gate)로 구성된다.The structure of the LSTM algorithm is composed of LSTM cells that process sequentially input data (Dt). Each of the LSTM cells determines how much past data to store or discard based on the state at the current time, reflects the current output on the result, and transmits it to the next LSTM cell. For this function, one LSTM cell is composed of a forget gate for processing the current input data (Dt), an input gate, and an output gate.
도 8은 본 발명의 수의적/불수의적 근수축 검출부의 실제 동작 및 테스트 동작을 보여주는 순서도이다. 도 8을 참조하면, 수의적/불수의적 근수축 검출부(1110)는 입력되는 근전도 신호(EMG)를 기초로 도 7에서 학습된 LSTM을 이용하여 수의적 근수축 신호와 불수의적 근수축 신호를 구분할 수 있다.8 is a flowchart showing an actual operation and a test operation of the voluntary/involuntary muscle contraction detection unit of the present invention. Referring to FIG. 8 , the voluntary/involuntary muscle
S310 단계에서, 수의적/불수의적 근수축 검출부(1110)는 근전도(EMG) 데이터를 수집할 수 있다. 수의적/불수의적 근수축 검출부(1110)는 신체 근육에 전기자극(ES)을 인가하고, 근전도(EMG) 데이터를 측정할 수 있다.In step S310, the voluntary/involuntary
S320 단계에서, 수의적/불수의적 근수축 검출부(1110)는 근전도(EMG) 데이터를 분석하고, 특성 벡터를 추출할 수 있다. 수의적/불수의적 근수축 검출부(1110)는 근전도(EMG) 데이터에 포함된 노이즈 전기 신호를 제거한 다음에, 근력이나 근지구력 등과 관련된 특성 벡터(feature vector)를 추출할 수 있다.In step S320, the voluntary/involuntary muscle
S330 단계에서, 수의적/불수의적 근수축 검출부(1110)는 시계열적으로 순차적으로 입력되는 특성 벡터를 기초로 LSTM 연산을 수행한다. S340 단계에서, LSTM 연산의 결과로 제공되는 출력 계층의 파라미터(Wo)가 제공된다. 수의적/불수의적 근수축 검출부(1110)는 파라미터(Wo)를 이용하여 출력값(y)을 제공한다. S350 단계에서, 수의적/불수의적 근수축 검출부(1110)는 최종적으로 출력값(y)을 이용하여 문턱값(threshold)을 이용한 분류(classification)을 수행하고, 결과를 출력한다.In step S330, the voluntary/involuntary muscle
도 9는 도 2에 도시된 불수의적 근수축 신호 제거부를 예시적으로 보여주는 블록도이다. 도 9를 참조하면, 불수의적 근수축 신호 제거부(1120)는 윈도우부(1121), 고속 푸리에 변환부(FFT: Fast Fourier Transform, 1122), 크기(magnitude)와 위상(phase) 계산부(1123, 1124), 피크 검출부(1125), 피크 제거부(1126), 그리고 역변환부(IFFT: inverse FFT, 1127)를 포함할 수 있다.FIG. 9 is a block diagram showing the involuntary muscle contraction signal removal unit shown in FIG. 2 as an example. Referring to FIG. 9, the involuntary muscle contraction
윈도우부(1121)는 타임 도메인(time domain)의 입력 신호(예를 들면, EMG 신호)를 주파수 도메인(frequency domain)의 신호로 윈도윙(windowing)을 수행한다. 윈도우부(1121)는 실시간으로 20 샘플(samples) 단위로 시프트하고, 512 샘플 단위로 프레임을 구성하며, 512 크기의 FFT 사이즈로 동작할 수 있다. 고속 푸리에 변환부(1122)는 푸리에 변환을 수행하고, 계산부(1123, 1124)는 크기(magnitude)와 위상(phase)을 계산한다. 피크 검출부(1125) 및 피크 제거부(1126)는 파형의 피크를 검출함으로 노이즈를 검출하고, 치환을 통해 피크 제거(peak suppression)를 수행한다. 불수의적 근수축 성분은 임펄스(Impulse)처럼 피크 형태의 크기(magnitude)로 나타난다. 따라서, 피크 검출부(1125)는 크기(magnitude)가 임펄스(Impulse)처럼 나타나는 불수의적 근수축 성분을 검출한다. 피크 제거부(1126)는 검출된 피크를 eps (= 2.2204e-16) 값으로 치환한 후, IFFT를 수행하여, 불수의적 근수축 성분이 제거된 신호를 얻을 수 있다. 역변환부(1127)는 피크 검출부(1125)와 피크 제거부(1126)를 거친 파형의 크기(magnitude)와, 앞에서 계산한 파형의 위상(phase)을 이용하여 역변환을 수행하고, 출력 신호를 발생한다.The
결국, 불수의적 근수축 신호 제거부(1120)는 주파수 영역에서의 불수의적 근수축 신호와 관련된 피크 신호를 검출한 후에 제거하는 방식의 적응형 잡음 억압 알고리즘(Adaptive noise suppression algorithm)을 사용한다. 전기자극(ES)의 주파수가 변함에 따라 불수의적 근수축 신호의 주파수 성분도 변하게 된다. 이러한 적응형 잡음 억압 알고리즘을 사용하여 가변되는 주파수의 불수의적 근수축 신호를 효과적으로 제거할 수 있다. 필터 대역이 고정된 방식을 사용하는 경우, 상황에 따라 또는 사용자에 따라 성능 편차가 발생할 수 있기 때문에 적응형 잡음 억압 알고리즘을 사용하는 불수의적 근수축 신호 제거부(1120)는 안정적인 성능을 제공할 수 있다.As a result, the involuntary muscle contraction
도 10 및 도 11은 피크 검출부(1125)와 피크 억제부(1126)에서의 EMG 데이터의 주파수 분석 결과를 보여주는 그래프이다. 도 12는 역변환부(1127)에서의 전처리(Pre-processing) 과정이 있는 파형(빨간색)과 전처리 과정이 없는 파형(검정색)을 보여주는 그래프이다.10 and 11 are graphs showing frequency analysis results of EMG data in the
불수의적 근수축 신호 제거부(1120)는 주파수 영역에서 불수의적 근수축(즉, 노이즈)과 관련된 피크 신호를 찾은 뒤, 제거하는 형태의 적응형 잡음 억압 알고리즘(Adaptive noise suppression algorithm)으로 구현될 수 있다. 전기자극의 주파수가 변함에 따라, 비자발 근수축의 주파수 성분이 변하게 된다. 불수의적 근수축 신호 제거부(1120)는 이를 효과적으로 제거하기 위해, 적응적으로(Adaptively) 불수의적 근수축 성분을 제거할 수 있다.The involuntary muscle contraction
고정된 필터를 사용하면 상황에 따라 혹은 사람에 따라 성능 편차가 발생할 수 있다. 불수의적 근수축 신호 제거부(1120)는 이러한 문제를 해결하기 위한 것으로, 상황이나 사람에 따른 성능 편차를 줄일 수 있다.If a fixed filter is used, performance deviation may occur depending on the situation or person. The involuntary muscle contraction
불수의적 근수축 신호 제거부(1120)는 다음과 같은 방식으로 동작할 수 있다. 예를 들면, 불수의적 근수축 신호 제거부(1120)는 실시간으로 20 samples 단위로 쉬프트(shift)를 하고, 512 samples 단위로 프레임(frame)을 구성하며, FFT 크기는 512로 설정하여 알고리즘을 구동할 수 있다. 불수의적 근수축 신호 제거부(1120)는 미리 정의된 프레임(frame)을 FFT한 후, 크기(magnitude)와 위상(phase)을 계산하고, 크기(magnitude)에서 임펄스처럼 나타나는 불수의적 근수축 성분을 찾기 위해 피크를 검출할 수 있다.The involuntary muscle contraction
불수의적 근수축 신호 제거부(1120)는 불수의적 근수축 성분을 제거하기 위해 피크를 eps (= 2.2204e-16) 값으로 치환한 후, IFFT를 수행하여, 불수의적 근수축 성분이 제거된 신호를 얻을 수 있다. 불수의적 근수축 신호 제거부(1120)는 최종적으로 불수의적 근수축 신호 제거 알고리즘을 통해 불수의적 근수축으로 분류되어 수축 구간이 아닌 경우에는 크기(magnitude)를 6dB 만큼 제거하여 신호를 얻을 수 있다.The involuntary muscle contraction
도 12를 참조하면, 본 발명의 근전도 기반의 기능성 전기자극(ECF)을 사용하는 전기자극 생성 시스템(1100)은 높은 불수의적 근수축 신호의 제거 효율을 제공할 수 있다. 시간 영역에서의 근전도 신호(EMG)에 포함된 불수의적 근수축 신호를 적응형 잡음 억압 알고리즘(Adaptive noise suppression algorithm)을 적용함에 따라 효과적으로 제거할 수 있다. 따라서, 본 발명의 전기자극 생성 시스템(1100, 도 1 참조)은 저잡음의 수의적성 근수축 신호를 기반으로 기능성 전기자극(ECF)을 생성할 수 있다. 따라서, 전문가나 고비용의 장치에 의존하지 않고도 높은 신뢰성의 기능성 전기자극 생성이 가능하다.Referring to FIG. 12 , the electrical
도 13 내지 도 14는 본 발명의 근자극 신호 기반의 기능성 전기자극(FES)을 생성하는 전기자극 생성 시스템의 성능을 테스트한 결과를 보여주는 도면들이다. 본 발명의 전기자극 생성 시스템(1100)의 테스트를 위해 전기자극(ES)은 10Hz에서 90Hz까지 5Hz 단위로 주파수를 증가시키면서 인가되었다. 그리고 전기자극(ES)이 제공되는 중에 근전도 신호(EMG)를 수집하면서, 측정 대상자로는 10초 동안 휴식하고, 20초 동안 수의적 근수축을 진행하고, 다시 10초 동안 휴식하는 패턴을 반복하였다. 한 사람당 총 40초 가량의 데이터가 수집되며, 총 6명에 대해 동일한 방식으로 수집된 데이터를 이용하여 데이터베이스를 구축하였다. 그리고 수의적 근수축이 유지되는 구간은 '1'로, 비자발 근수축만이 존재하는 구간은 '0'으로 레벨링 하였다.13 to 14 are diagrams showing results of testing the performance of the electrical stimulation generating system for generating functional electrical stimulation (FES) based on muscle stimulation signals according to the present invention. For the test of the electrical
인공지능 모델은, 추출된 특성들을 모두 입력으로 사용하고, 더불어, 인공지능 모델의 초기화는 랜덤 초기화(Random initialization) 방식을 적용하고, 파인-튜닝(Fine-Tuning)은 오류역전파(Backpropagation) 방식으로, 풀리 커넥티드 레이어(Fully Connected layer)의 수는 1개, 유닛 수도 1로 설정하였다. 더불어, 가중치의 업데이트 방식을 결정하는 최적화 알고리즘(Optimization algorithm)으로는 적응형 모멘트 추정(Adam: Adaptive Momentum Estimation) 방식을 사용하였다. 더불어, 비용 함수(Cost function)로는 이진 교차 엔트로피(Binary cross entropy)를, 그리고 활성화 함수(Active function)로는 하이퍼블릭 탄젠트(Hyperbolic tangent)를, 셀의 수는 3개, 각 셀당 히든 유닛들은 각각 128, 64, 32개가 사용되었다.The artificial intelligence model uses all extracted features as inputs, and in addition, the random initialization method is applied to the initialization of the artificial intelligence model, and the fine-tuning method is backpropagation. , the number of fully connected layers is set to 1, and the number of units is also set to 1. In addition, the adaptive moment estimation method (Adam: Adaptive Momentum Estimation) was used as an optimization algorithm for determining the weight update method. In addition, Binary cross entropy is used as the cost function, and hyperbolic tangent is used as the active function. The number of cells is 3, and the hidden units per cell are 128. , 64 and 32 were used.
도 13을 참조하면, 본 발명의 인공지능 모델인 LSTM을 사용하는 경우와, 일반적인 인공지능 모델들(SVM, ANN, DNN)을 적용했을 경우들 각각에서의 불수의적 근수축 신호의 제거 성능이 테이블로 도시되어 있다. 총 2개 그룹(Set1, Set2)에 대한 테스트 결과에 따르면, LSTM 모델을 사용하는 경우에서 총 정확도(TA)가 각각 90.01%, 82.82%로 가장 우수하였다.Referring to FIG. 13, the removal performance of involuntary muscle contraction signals in the case of using the artificial intelligence model of the present invention, LSTM, and the case of applying general artificial intelligence models (SVM, ANN, DNN), is shown in Table is shown as According to the test results for a total of two groups (Set1, Set2), the total accuracy (TA) in the case of using the LSTM model was the best at 90.01% and 82.82%, respectively.
도 14를 참조하면, 2개 그룹(Set1, Set2)에 대한 인공지능 모델들의 주파수별 성능(AUC: Area under the Curve) 평가의 결과를 그래프로 보여준다. 2개 그룹(Set1, Set2)들 각각에 대해서 LSTM 모델을 사용하는 경우에서 전체 실험 주파수들에 걸쳐 신뢰도(AUV)가 가장 높은 것으로 관찰되었다.Referring to FIG. 14, a graph shows results of area under the curve (AUC) evaluation of artificial intelligence models for two groups (Set1 and Set2). In the case of using the LSTM model for each of the two groups (Set1 and Set2), it was observed that the reliability (AUV) was the highest across all experimental frequencies.
상술한 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술한 실시 예들 이외에도, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들도 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술한 실시 예들에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.The foregoing are specific examples for carrying out the present invention. In addition to the above-described embodiments, the present invention will also include embodiments that can be simply or easily changed in design. In addition, the present invention will also include techniques that can be easily modified and practiced using the embodiments. Therefore, the scope of the present invention should not be limited to the above-described embodiments and should not be defined, and should be defined by those equivalent to the claims of this invention as well as the claims to be described later.
Claims (6)
상기 근전도 신호의 주파수 영역에서 특성 벡터를 추출하고, 인공지능 모델을 적용하여 상기 특성 벡터로부터 수의적 근수축 신호와 불수의적 근수축 신호를 구분하여 검출하는 수의적/불수의적 근수축 검출부;
상기 검출 결과에 따라 상기 근전도 신호로부터 상기 불수의적 근수축 신호를 제거하는 불수의적 근수축 신호 제거부;
상기 불수의적 근수축 신호가 제거된 근전도 신호에 기초하여 상기 신체에 인가될 상기 기능성 전기자극 신호를 생성하는 기능성 전기자극 제어부를 포함하는,
기능성 전기자극 신호 생성 장치.In the electrical stimulation generating device for controlling and generating a functional electrical stimulation signal by collecting electromyographic signals (EMG) generated in response to electrical stimulation from the body:
a voluntary/involuntary muscle contraction detection unit that extracts a feature vector from the frequency domain of the EMG signal, applies an artificial intelligence model, and classifies and detects a voluntary muscle contraction signal and an involuntary muscle contraction signal from the feature vector;
an involuntary muscle contraction signal removing unit configured to remove the involuntary muscle contraction signal from the EMG signal according to the detection result;
Including a functional electrical stimulation control unit for generating the functional electrical stimulation signal to be applied to the body based on the EMG signal from which the involuntary muscle contraction signal has been removed.
Functional electrical stimulation signal generation device.
상기 불수의적 근수출 신호가 제거된 근전도 신호의 실효치(RMS: Root Mean Square)를 계산하는 근활성도 세기 계산부;
를 더 포함하고,
상기 기능성 전기자극 제어부는, 상기 실효치와 문턱값을 비교하고, 비교 결과에 따라 상기 신체에 인가될 상기 기능성 전기자극 신호를 생성하는,
기능성 전기자극 신호 생성 장치.The method of claim 1, wherein the device,
a muscle activity intensity calculation unit that calculates a Root Mean Square (RMS) of the EMG signal from which the involuntary muscle export signal has been removed;
Including more,
The functional electrical stimulation controller compares the effective value with the threshold value and generates the functional electrical stimulation signal to be applied to the body according to the comparison result.
Functional electrical stimulation signal generation device.
기능성 전기자극 신호 생성 장치.The method of claim 1, wherein the feature vector includes at least one of a percentile spectral cumulative sum (PoSCS) and a log power spectrum detected in a frequency domain of the EMG signal (EMG).
Functional electrical stimulation signal generation device.
상기 불수의적 근수축 신호 제거부는:
상기 근전도 신호(EMG)의 윈도우를 선택하는 윈도우부; 및
상기 선택된 윈도우에 포함되는 신호를 고속 푸리에 변환으로 처리하는 고속 푸리에 변환부;
를 포함하는,
기능성 전기자극 신호 생성 장치.According to claim 1,
The involuntary muscle contraction signal removal unit:
a window unit that selects a window of the electromyogram signal (EMG); and
a fast Fourier transform unit for processing signals included in the selected window through fast Fourier transform;
including,
Functional electrical stimulation signal generation device.
상기 불수의적 근수축 신호 제거부는:
상기 고속 푸리에 변환부에서 출력되는 신호의 크기와 위상을 각각 계산하는 크기 및 위상 계산부;
를 더 포함하는,
기능성 전기자극 신호 생성 장치.According to claim 4,
The involuntary muscle contraction signal removal unit:
Magnitude and phase calculation unit to calculate the magnitude and phase of the signal output from the fast Fourier transform unit, respectively;
Including more,
Functional electrical stimulation signal generation device.
상기 불수의적 근수축 신호 제거부는:
상기 신호의 크기에서 피크를 검출하는 피크 검출부; 및
상기 검출된 피크에 대응하는 노이즈 신호를 제거하는 피크 제거부;
를 더 포함하는,
기능성 전기자극 신호 생성 장치.
According to claim 5,
The involuntary muscle contraction signal removal unit:
a peak detector for detecting a peak in the magnitude of the signal; and
a peak remover removing a noise signal corresponding to the detected peak;
Including more,
Functional electrical stimulation signal generation device.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210059401 | 2021-05-07 | ||
KR20210059401 | 2021-05-07 | ||
KR1020220030403A KR102538154B1 (en) | 2021-05-07 | 2022-03-11 | Functional electrical stimulation generate system using electromyogram signal |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220030403A Division KR102538154B1 (en) | 2021-05-07 | 2022-03-11 | Functional electrical stimulation generate system using electromyogram signal |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230070431A true KR20230070431A (en) | 2023-05-23 |
Family
ID=86544741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020230061741A KR20230070431A (en) | 2021-05-07 | 2023-05-12 | Functional electrical stimulation generate system using electromyogram signal |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230070431A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180074597A (en) | 2016-12-23 | 2018-07-03 | 순천향대학교 산학협력단 | Apparatus and method for diagnosing sarcopenia based fat free mass index |
-
2023
- 2023-05-12 KR KR1020230061741A patent/KR20230070431A/en not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180074597A (en) | 2016-12-23 | 2018-07-03 | 순천향대학교 산학협력단 | Apparatus and method for diagnosing sarcopenia based fat free mass index |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Abbaspour et al. | Evaluation of surface EMG-based recognition algorithms for decoding hand movements | |
Cao et al. | A novel data augmentation method to enhance deep neural networks for detection of atrial fibrillation | |
Khushaba et al. | A framework of temporal-spatial descriptors-based feature extraction for improved myoelectric pattern recognition | |
Thomas et al. | Automatic ECG arrhythmia classification using dual tree complex wavelet based features | |
US6192273B1 (en) | Non-programmable automated heart rhythm classifier | |
Nazarpour et al. | Application of higher order statistics to surface electromyogram signal classification | |
US10524734B2 (en) | Method and system for measuring beat parameters | |
Wołczowski et al. | Electromyography and mechanomyography signal recognition: Experimental analysis using multi-way array decomposition methods | |
Jose et al. | Classification of forearm movements from sEMG time domain features using machine learning algorithms | |
AlOmari et al. | Analysis of extracted forearm sEMG signal using LDA, QDA, K-NN classification algorithms | |
CN114052744B (en) | Electrocardiosignal classification method based on impulse neural network | |
CN113111831A (en) | Gesture recognition technology based on multi-mode information fusion | |
Koch et al. | Recurrent neural network based early prediction of future hand movements | |
Veisi et al. | Fast and robust detection of epilepsy in noisy EEG signals using permutation entropy | |
CN115211858A (en) | Emotion recognition method and system based on deep learning and storable medium | |
Rong et al. | Classification of surface EMGs using wavelet packet energy analysis and a genetic algorithm-based support vector machine | |
Naik et al. | Evaluation of higher order statistics parameters for multi channel sEMG using different force levels | |
Joo et al. | Prediction of ventricular tachycardia by a neural network using parameters of heart rate variability | |
KR102538154B1 (en) | Functional electrical stimulation generate system using electromyogram signal | |
CN110226918B (en) | Electrocardiosignal type detection method and device, computer equipment and storage medium | |
KR20230070431A (en) | Functional electrical stimulation generate system using electromyogram signal | |
TW201838587A (en) | Method of analyzing ballistocardiogram signal to calculate short-term heart rate value capable of fast and accurately obtaining the short term average heart rate under a low calculation amount condition | |
Jeong et al. | Comparison of wrist motion classification methods using surface electromyogram | |
Tomczyński et al. | Hand gesture-based interface with multichannel sEMG band enabling unknown gesture discrimination | |
CN115607167A (en) | Lightweight model training method, atrial fibrillation detection method, device and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal |