KR102441763B1 - Multi-sensor bio-signal processing apparatus and method for frequency estimation and signal reconstruction - Google Patents
Multi-sensor bio-signal processing apparatus and method for frequency estimation and signal reconstruction Download PDFInfo
- Publication number
- KR102441763B1 KR102441763B1 KR1020220044008A KR20220044008A KR102441763B1 KR 102441763 B1 KR102441763 B1 KR 102441763B1 KR 1020220044008 A KR1020220044008 A KR 1020220044008A KR 20220044008 A KR20220044008 A KR 20220044008A KR 102441763 B1 KR102441763 B1 KR 102441763B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- module
- sensor
- recurrent
- feature vector
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 title abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 114
- 230000000306 recurrent effect Effects 0.000 claims abstract description 71
- 230000004927 fusion Effects 0.000 claims abstract description 59
- 230000010365 information processing Effects 0.000 claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims description 14
- 238000003672 processing method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 40
- 230000000694 effects Effects 0.000 description 15
- 238000007781 pre-processing Methods 0.000 description 10
- 230000029058 respiratory gaseous exchange Effects 0.000 description 9
- 230000002787 reinforcement Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000002596 correlated effect Effects 0.000 description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000000537 electroencephalography Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011425 standardization method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000288105 Grus Species 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1102—Ballistocardiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
Abstract
Description
본 발명은 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치 및 방법에 관한 것이다. The present invention relates to a multi-sensor biosignal information processing apparatus and method for frequency estimation and signal reconstruction.
최근 자동차에 대한 기술이 진일보하고 전기차의 급성장에 의해 차량 내 충분한 전력이 공급되게 되었으며 테슬라(Tesla)의 통합 ECU를 시작으로 차량 내 고차원적인 시스템이 충분히 갖추어질 수 있는 환경이 조성됨에 따라, 운전자의 상태를 모니터링하고 사고를 미연에 방지하기 위한 시스템들이 개발되고 있다. 예를 들어, 운전자의 건강상태, 피로, 주의력, 음주 상태, 졸음 상태 등에 대한 정보를 획득함으로써 운전자의 사고를 예방하는데에 이러한 생체 신호 모니터링 기술이 연구되고 있다. With the recent advancement in automobile technology and the rapid growth of electric vehicles, sufficient power has been supplied to the vehicle. Systems are being developed to monitor conditions and prevent accidents in advance. For example, this bio-signal monitoring technology is being studied to prevent an accident of a driver by acquiring information on the driver's health state, fatigue, attention, drinking state, drowsiness state, and the like.
생체 신호 인식(Bio-signal recognition)이란 사람의 몸에서 발생하는 전기적 신호를 수집하여 해당 사람의 신체 상태를 추정하고 인식하는 기술을 의미한다. 현재까지 활용되는 생체 신호의 종류로는 ECG(Electrocardiogram, 심전도), PPG(Photoplethysmogram, 용적 맥파), GSR(Galvanic Skin Response, 피부 전기전도성), EEG(Electroencephalography, 뇌전도), FSR(Force Sensing Resistor), BCG(Ballistocardiogram) 등이 있으며, 이러한 생체 신호를 통해 심전도, 심박수, 스트레스 수치, 뇌파 등을 획득하게 된다. Bio-signal recognition refers to a technology for estimating and recognizing a person's body state by collecting electrical signals generated from a person's body. The types of biosignals used so far include electrocardiogram (ECG), photoplethysmogram (PPG), galvanic skin response (GSR), electroencephalography (EEG), force sensing resistor (FSR), There is a BCG (Ballistocardiogram), and the like, and an electrocardiogram, a heart rate, a stress level, an EEG, etc. are acquired through these biosignals.
본 발명의 목적은 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치 및 방법을 제공하는 데에 있다. An object of the present invention is to provide an apparatus and method for processing biosignal information of multiple sensors for frequency estimation and signal reconstruction.
이하 본 발명의 목적을 달성하기 위한 구체적 수단에 대하여 설명한다.Hereinafter, specific means for achieving the object of the present invention will be described.
본 발명의 목적은, 차량의 내부에 구성되고, 복수의 센서를 포함하며, 각각의 상기 센서를 통해 상기 차량의 탑승자의 생체 시그널 정보를 생성하는 센서 모듈; 상기 생체 시그널 정보를 입력 데이터로 하고 상기 생체 시그널 정보의 차원이 축소된 인코딩 정보를 출력 데이터로 출력하는 인코딩 인공신경망 모듈인 인코더; 각각의 상기 센서에서 생성된 상기 생체 시그널 정보가 상기 인코더에 입력되어 생성된 복수의 상기 인코딩 정보를 입력 데이터로 하고 복수의 상기 인코딩 정보가 조합(concatenate)된 하나의 퓨전 벡터를 출력 데이터로 하는 인공신경망 모듈인 퓨전 모듈; 및 상기 퓨전 모듈에서 출력된 상기 퓨전 벡터 및 이전 스텝의 hidden state를 입력 데이터로 하고, 리커런트 특징 벡터를 출력 데이터로 하는 순환 인공신경망 모듈인 리커런트 모듈;을 포함하고, 상기 리커런트 특징 벡터를 기초로 상기 리커런트 특징 벡터의 차원이 확대된 재건 시그널 정보 또는 상기 리커런트 특징 벡터의 차원이 축소된 프리퀀시 정보를 생성하는 것을 특징으로 하는, 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치를 제공하여 달성될 수 있다. An object of the present invention is a sensor module configured inside a vehicle, including a plurality of sensors, and generating bio-signal information of an occupant of the vehicle through each of the sensors; an encoder, which is an encoding artificial neural network module, which uses the biosignal information as input data and outputs the reduced-dimensional encoding information of the biosignal information as output data; The biosignal information generated by each sensor is input to the encoder, and a plurality of pieces of encoding information generated are input data, and a fusion vector in which a plurality of pieces of encoding information are concatenated as output data. fusion module, which is a neural network module; and a recurrent module, which is a recurrent neural network module using the fusion vector output from the fusion module and the hidden state of the previous step as input data, and using the recurrent feature vector as output data; Bio-signal information processing of multiple sensors for frequency estimation and signal reconstruction, characterized in that based on the reconstructed signal information in which the dimension of the recurrent feature vector is enlarged or the frequency information in which the dimension of the recurrent feature vector is reduced based is generated This can be achieved by providing a device.
또한, 상기 리커런트 특징 벡터를 입력 데이터로 하고 상기 리커런트 특징 벡터의 차원이 확대된 상기 재건 시그널 정보를 출력 데이터로 하는 디코딩 인공신경망 모듈인 디코더; 및 상기 리커런트 특징 벡터를 입력 데이터로 하고 상기 리커런트 특징 벡터의 차원이 축소된 상기 프리퀀시 정보를 출력 데이터로 하는, 다층 은닉층(hidden layer)에 활성화 함수(activation function)가 결합된 피드 포워드 인공신경망 모듈(Feed Forward Neural Network)인 다층 퍼셉트론 모듈;을 더 포함할 수 있다. In addition, the decoder, which is a decoding artificial neural network module using the recurrent feature vector as input data and the reconstruction signal information in which the dimension of the recurrent feature vector is enlarged as output data; and an activation function coupled to a multi-layer hidden layer using the recurrent feature vector as input data and the frequency information reduced in dimension of the recurrent feature vector as output data. It may further include a multi-layer perceptron module that is a module (Feed Forward Neural Network).
또한, 상기 퓨전 모듈은, 상관관계 특징 벡터 추출부, 센서 신뢰도 추출부 및 가중 통합부를 포함하고, 상기 상관관계 특징 벡터 추출부는, Multi-Head Attention Layer 및 Add & Norm Layer를 포함하고, 상기 Multi-Head Attention Layer는 복수의 Linear Layer, Scaled Dot-Product Attention Layer, Concat Layer 및 Linear Layer를 포함하며, 복수의 상기 인코딩 정보가 입력되는 상기 Multi-Head Attention Layer의 출력부에서는 어텐션 인코딩 정보가 출력되며, 상기 어텐션 인코딩 정보가 입력되는 상기 Add & Norm Layer의 출력부에서는 잔차연결(residual connection) 및 정규화(normalization) 된 상기 어텐션 인코딩 정보가 출력되고, 상기 센서 신뢰도 추출부는, Linear layer와 Softmax layer를 포함하고, 상기 센서 신뢰도 추출부의 입력 데이터는 잔차연결(residual connection) 및 정규화(normalization) 된 상기 어텐션 인코딩 정보로 구성되고, 상기 센서 신뢰도 추출부의 출력 데이터는 각각의 상기 센서에 대한 신뢰도 벡터로 구성되며, 상기 가중 통합부는, 상기 센서 신뢰도 추출부의 출력 데이터인 각각의 상기 센서에 대한 상기 신뢰도 벡터와 잔차연결(residual connection) 및 정규화(normalization) 된 상기 어텐션 인코딩 정보를 입력 데이터로 하여 Dot-Product operation을 수행하고 가중 통합된 feature vector인 상기 퓨전 벡터가 출력 데이터로 구성되는 것을 특징으로 할 수 있다.In addition, the fusion module includes a correlation feature vector extractor, a sensor reliability extractor and a weighted integrator, and the correlation feature vector extractor includes a Multi-Head Attention Layer and Add & Norm Layer, and the Multi-Head Attention Layer and Add & Norm Layer. Head Attention Layer includes a plurality of Linear Layer, Scaled Dot-Product Attention Layer, Concat Layer and Linear Layer, and attention encoding information is output from the output unit of the Multi-Head Attention Layer to which a plurality of the encoding information is input, The residual connection and normalized attention encoding information is output from the output unit of the Add & Norm Layer to which the attention encoding information is input, and the sensor reliability extraction unit includes a Linear layer and a Softmax layer, , the input data of the sensor reliability extractor consists of the residual connection and the normalized attention encoding information, and the output data of the sensor reliability extractor consists of a reliability vector for each sensor, The weighted integrator performs a Dot-Product operation with the reliability vector for each sensor, which is the output data of the sensor reliability extractor, and the attention encoding information that is normalized and residual connection as input data, and The fusion vector, which is a weighted integrated feature vector, may be configured as output data.
본 발명의 다른 목적은, 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치에 의하여 수행되는 생체 시그널 정보 처리 방법 및 그 방법을 컴퓨터 상에서 수행하는 프로그램이 기록된 기록매체에 있어서, 상기 생체 시그널 정보 처리 장치의 일구성인 인코더가, 상기 생체 시그널 정보를 입력 데이터로 하고 상기 생체 시그널 정보의 차원이 축소된 인코딩 정보를 출력 데이터로 출력하는 인코딩 단계; 상기 생체 시그널 정보 처리 장치의 일구성인 퓨전 모듈이, 각각의 상기 센서에서 생성된 상기 생체 시그널 정보가 상기 인코더에 입력되어 생성된 복수의 상기 인코딩 정보를 입력 데이터로 하고 복수의 상기 인코딩 정보가 조합(concatenate)된 하나의 퓨전 벡터를 출력 데이터로 하는 퓨전 단계; 및 상기 생체 시그널 정보 처리 장치의 일구성인 리커런트 모듈이, 상기 퓨전 모듈에서 출력된 상기 퓨전 벡터 및 이전 스텝의 hidden state를 입력 데이터로 하고, 리커런트 특징 벡터를 출력 데이터로 하는 리커런트 단계;를 포함하고, 상기 리커런트 특징 벡터를 기초로 상기 리커런트 특징 벡터의 차원이 확대된 재건 시그널 정보 또는 상기 리커런트 특징 벡터의 차원이 축소된 프리퀀시 정보를 생성하는 것을 특징으로 하는, 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 방법 및 생체 시그널 정보 처리 방법을 컴퓨터 상에서 수행하는 프로그램이 기록된 기록매체을 제공하여 달성될 수 있다. Another object of the present invention is to provide a biosignal information processing method performed by a multi-sensor biosignal information processing apparatus for frequency estimation and signal reconstruction, and a recording medium recording a program for executing the method on a computer, an encoding step of, by an encoder, which is a component of a signal information processing apparatus, outputting, as output data, the bio-signal information as input data and encoding information in which the dimension of the bio-signal information is reduced; A fusion module, which is one component of the biosignal information processing device, receives the biosignal information generated by each of the sensors and inputs a plurality of the encoding information generated by the encoder as input data, and a plurality of the encoding information is combined a fusion step of using one (concatenated) fusion vector as output data; and a recurrent step in which a recurrent module, which is a component of the biosignal information processing apparatus, uses the fusion vector output from the fusion module and a hidden state of a previous step as input data and a recurrent feature vector as output data; It comprises, based on the recurrent feature vector, the dimension of the recurrent feature vector is enlarged reconstruction signal information or the frequency information of the reduced dimensionality of the recurrent feature vector, characterized in that for generating, frequency estimation and signal This can be achieved by providing a recording medium in which a program for performing a biosignal information processing method of multiple sensors for reconstruction and a biosignal information processing method on a computer is recorded.
상기한 바와 같이, 본 발명에 의하면 이하와 같은 효과가 있다.As described above, according to the present invention, there are the following effects.
첫째, 본 발명의 일실시예에 따른 인코더(21)에 따르면, 리커런트 모듈(23)에 비해 상대적으로 짧은 패턴에 관련된 feature vector인 인코딩 정보를 생성할 수 있는 효과가 발생된다. First, according to the encoder 21 according to an embodiment of the present invention, there is an effect of generating encoding information that is a feature vector related to a relatively short pattern compared to the similar module 23 .
둘째, 본 발명의 일실시예에 따른 퓨전 모듈(22)에 따르면, 각 센서의 feature vector들을 센서 간의 상관관계나 센서 신뢰도를 기반으로 하나의 feature vector로 통합할 수 있게 되는 효과가 발생된다. Second, according to the fusion module 22 according to an embodiment of the present invention, it is possible to integrate the feature vectors of each sensor into one feature vector based on the correlation between the sensors or the sensor reliability.
셋째, 본 발명의 일실시예에 따른 센서 신뢰도 추출부에 따르면, 어텐션 인코딩 정보에서 서로 다른 센서 사이의 correlated components를 추출하고, 신뢰도 벡터를 통해 서로 다른 센서 사이의 correlated components 중에서 신뢰할 수 있는 components를 선별하게 되는 효과가 발생된다. 특히, 센서 신뢰도 추출부에서 Linear Layer의 파라미터는 적합한 components를 선별하기 위한 기준이 되는 효과가 발생된다. Third, according to the sensor reliability extracting unit according to an embodiment of the present invention, correlated components between different sensors are extracted from attention encoding information, and reliable components are selected from correlated components between different sensors through a reliability vector. effect is generated. In particular, in the sensor reliability extraction unit, the parameters of the linear layer have the effect of becoming a standard for selecting suitable components.
넷째, 본 발명의 일실시예에 따른 리커런트 모듈(23)에 따르면, 이전 스텝의 리커런트 모듈(23)의 hidden state의 입력에 의해 인코더(21)에 비해 상대적으로 긴 패턴에 관련된 feature vector인 인코딩 정보를 생성할 수 있는 효과가 발생된다. Fourth, according to the recurrent module 23 according to an embodiment of the present invention, it is a feature vector related to a relatively long pattern compared to the encoder 21 by the input of the hidden state of the recurrent module 23 of the previous step. An effect of generating encoding information is generated.
다섯째, 본 발명의 일실시예에 따른 디코더(24)에 따르면, 특정 시점의 시그널을 연속적으로 재건하여 재건 시그널 정보를 생성할 수 있게 되는 효과가 발생된다. Fifth, according to the decoder 24 according to an embodiment of the present invention, the effect of being able to generate reconstruction signal information by continuously reconstructing a signal at a specific point in time occurs.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일실시예에 따른 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치를 도시한 모식도,
도 2는 본 발명의 일실시예에 따른 센서 모듈(10)을 도시한 모식도,
도 3은 본 발명의 시그널 재건 모듈(20)을 도시한 모식도,
도 4는 본 발명의 일실시예에 따른 인코더(21)를 도시한 모식도,
도 5는 본 발명의 일실시예에 따른 퓨전 모듈(22)의 개요를 도시한 모식도,
도 6은 본 발명의 일실시예에 따른 퓨전 모듈(22)의 구체적인 구성을 도시한 모식도,
도 7은 본 발명의 일실시예에 따른 Scaled Dot-Product Attention Layer를 도시한 모식도,
도 8은 본 발명의 일실시예에 따른 Scaled Dot-Product Attention Layer의 1st MatMul operation을 도시한 모식도,
도 9는 본 발명의 일실시예에 따른 Scaled Dot-Product Attention Layer의 Scale 및 softmax operation을 도시한 모식도,
도 10은 본 발명의 일실시예에 따른 Scaled Dot-Product Attention Layer의 2nd MatMul operation을 도시한 모식도,
도 11은 본 발명의 일실시예에 따른 센서 신뢰도 추출부를 도시한 모식도,
도 12는 본 발명의 일실시예에 따른 가중 통합부를 도시한 모식도,
도 13은 본 발명의 일실시예에 따른 리커런트 모듈(23)에 포함된 순환 인공신경망의 예시를 도시한 모식도,
도 14는 본 발명의 일실시예에 따른 디코더(24)를 도시한 모식도,
도 15는 본 발명의 일실시예에 따른 프리퀀시 추정 모듈(30)을 도시한 모식도,
도 16은 본 발명의 일실시예에 따른 시그널 재건 모듈(20)의 학습 세션을 도시한 모식도,
도 17은 본 발명의 일실시예에 따른 프리퀀시 추정 모듈(30)의 학습 세션을 도시한 모식도,
도 18은 본 발명의 변형예에 따른 전처리 모듈을 도시한 모식도,
도 19는 본 발명의 일실시예에 따른 복수의 센서에 대한 생체 시그널 정보를 도시한 실험 데이터,
도 20은 본 발명의 일실시예에 따른 퓨전 모듈(22, 32)의 구성에 따른 error 비교도,
도 21은 본 발명의 일실시예에 따른 리커런트 모듈(23, 33)의 구성에 따른 error 비교도,
도 22는 본 발명의 일실시예에 따른 재건 시그널 정보를 도시한 실험 데이터,
도 23은 본 발명의 일실시예에 따른 재건 시그널 정보를 확대한 실험 데이터,
도 24는 본 발명의 일실시예에 따른 재건 시그널 정보와 생체 시그널 정보의 mean signal의 FFT 결과를 도시한 실험 데이터,
도 25는 본 발명의 일실시예에 따른 프리퀀시 정보를 도시한 실험 데이터,
도 26, 27은 본 발명의 일실시예에 따른 시그널 재건 모듈(20)에서 출력된 재건 시그널 정보와 피실험자의 호흡에 따른 키 입력 및 생체 시그널 정보의 mean signal과의 비교 데이터이다.The following drawings attached to the present specification illustrate preferred embodiments of the present invention, and serve to further understand the technical spirit of the present invention together with the detailed description of the present invention, so the present invention is limited only to the matters described in those drawings should not be interpreted as
1 is a schematic diagram showing an apparatus for processing biosignal information of multiple sensors for frequency estimation and signal reconstruction according to an embodiment of the present invention;
2 is a schematic diagram showing a
3 is a schematic diagram showing the
4 is a schematic diagram showing an encoder 21 according to an embodiment of the present invention;
5 is a schematic diagram showing an outline of a fusion module 22 according to an embodiment of the present invention;
6 is a schematic diagram showing a specific configuration of the fusion module 22 according to an embodiment of the present invention;
7 is a schematic diagram showing a Scaled Dot-Product Attention Layer according to an embodiment of the present invention;
8 is a schematic diagram showing the 1st MatMul operation of the Scaled Dot-Product Attention Layer according to an embodiment of the present invention;
9 is a schematic diagram showing the scale and softmax operation of the Scaled Dot-Product Attention Layer according to an embodiment of the present invention;
10 is a schematic diagram showing the 2nd MatMul operation of the Scaled Dot-Product Attention Layer according to an embodiment of the present invention;
11 is a schematic diagram showing a sensor reliability extraction unit according to an embodiment of the present invention;
12 is a schematic diagram showing a weighted integration unit according to an embodiment of the present invention;
13 is a schematic diagram illustrating an example of a recurrent artificial neural network included in the recurrent module 23 according to an embodiment of the present invention;
14 is a schematic diagram showing a decoder 24 according to an embodiment of the present invention;
15 is a schematic diagram showing a frequency estimation module 30 according to an embodiment of the present invention;
16 is a schematic diagram showing a learning session of the
17 is a schematic diagram illustrating a learning session of the frequency estimation module 30 according to an embodiment of the present invention;
18 is a schematic diagram showing a pre-processing module according to a modified example of the present invention;
19 is experimental data showing biosignal information for a plurality of sensors according to an embodiment of the present invention;
20 is an error comparison diagram according to the configuration of the fusion modules 22 and 32 according to an embodiment of the present invention;
21 is a comparison diagram of errors according to the configuration of recurrent modules 23 and 33 according to an embodiment of the present invention;
22 is experimental data showing reconstruction signal information according to an embodiment of the present invention;
23 is an enlarged experimental data of reconstruction signal information according to an embodiment of the present invention;
24 is experimental data showing the FFT result of the mean signal of the reconstruction signal information and the biosignal information according to an embodiment of the present invention;
25 is experimental data showing frequency information according to an embodiment of the present invention;
26 and 27 are comparison data between the reconstruction signal information output from the
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작원리를 상세하게 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, embodiments in which those of ordinary skill in the art can easily practice the present invention will be described in detail with reference to the accompanying drawings. However, in the detailed description of the operating principle of the preferred embodiment of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 특정 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 특정 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions. Throughout the specification, when it is said that a specific part is connected to another part, this includes not only a case in which it is directly connected, but also a case in which it is indirectly connected with another element interposed therebetween. In addition, the inclusion of specific components does not exclude other components unless otherwise stated, but means that other components may be further included.
주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치Multi-sensor bio-signal information processing device for frequency estimation and signal reconstruction
도 1은 본 발명의 일실시예에 따른 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치를 도시한 모식도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치(1)는, 차량의 내부 또는 외부에 구성되어 차량의 운전자 등 탑승자의 생체 정보를 추론하거나 재건하도록 구성되는 장치로서, 센서 모듈(10), 시그널 재건 모듈(20), 프리퀀시 추정 모듈(30)을 포함할 수 있다. 이때, 센서 모듈(10)은 차량의 내부(바람직하게는 차량의 시트)에 탑승자와 접촉할 수 있도록 구성되며, 시그널 재건 모듈(20)과 프리퀀시 추정 모듈(30)은 차량의 내부 또는 외부에 구성될 수 있고, 시그널 재건 모듈(20)과 프리퀀시 추정 모듈(30)이 차량의 외부에 구성되는 경우에는 센서 모듈(10)의 생체 시그널 정보를 시그널 재건 모듈(20)과 프리퀀시 추정 모듈(30)로 송신하기 위한 통신 모듈이 더 포함될 수 있다. 1 is a schematic diagram illustrating a multi-sensor bio-signal information processing apparatus for frequency estimation and signal reconstruction according to an embodiment of the present invention. As shown in FIG. 1 , the multi-sensor biosignal
센서 모듈(10)의 구체적인 구성과 관련하여, 도 2는 본 발명의 일실시예에 따른 센서 모듈(10)을 도시한 모식도이다. 도 2에 도시된 바와 같이, 센서 모듈(10)은, 차량의 내부(바람직하게는 차량의 시트)에 구성되고, 서로 다양한 샘플링 주기를 갖는 다중 샘플링 시그널을 의미하는 생체 시그널 정보(예를 들어, 호흡 정보, 심박 정보, 산소 포화도 정보 등)를 생성하는 접촉 방식의 복수의 센서 및 시그널 추출 모듈(11)을 포함한다. 본 발명의 일실시예에 따른 센서 모듈(10)의 복수의 센서에는, PPG 센서, BCG 센서, FSR 센서 등의 접촉 방식 센서 종류가 포함될 수 있고 각각의 종류에 대해 적어도 하나 이상이 구성될 수 있다. 예를 들어, PPG 센서를 통해서는 산소 포화도 정보, 호흡 정보와 심박 정보가 생성되고, BCG 센서를 통해서는 심박 정보와 호흡 정보가 생성되며, FSR 센서를 통해서는 호흡 정보가 생성되도록 구성될 수 있다. 복수의 센서(예를 들어, PPG 센서, BCG 센서 및 FSR 센서)는 탑승자(바람직하게는 운전자)의 생체 시그널 정보(예를 들어, 호흡 정보, 심박 정보, 산소 포화도 정보 등)를 생성하고, 생체 시그널 정보는 시그널 재건 모듈(20) 및 프리퀀시 추정 모듈(30)의 입력 데이터로 입력된다. With respect to the specific configuration of the
시그널 재건 모듈(20)의 구체적인 구성과 관련하여, 도 3은 본 발명의 시그널 재건 모듈(20)을 도시한 모식도이다. 도 3에 도시된 바와 같이, 시그널 재건 모듈(20)은, 센서 모듈(10)에 포함된 각각의 센서에서 생성된 생체 시그널 정보를 입력 데이터로 하고 재건된 시그널인 재건 시그널 정보를 출력 데이터로 하는 인공신경망 모듈을 의미할 수 있다. 본 발명의 일실시예에 따른 시그널 재건 모듈(20)은, 인코더(21), 퓨전 모듈(22), 리커런트 모듈(23), 디코더(24)를 포함하도록 구성될 수 있다. With respect to the specific configuration of the
인코더(21)는, 각각의 센서에서 생성된 생체 시그널 정보를 입력 데이터로 하고 상기 생체 시그널 정보의 차원이 축소된 인코딩 정보를 출력 데이터로 출력하는 인코딩 인공신경망 모듈을 의미한다. 본 발명의 일실시예에 따른 인코더(21)는 적어도 하나 이상의 Convolution layer를 포함하는 인공신경망 모듈을 포함할 수 있다. 도 4는 본 발명의 일실시예에 따른 인코더(21)를 도시한 모식도이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 인코더(21)는 예를 들어, 총 4개의 Convolution Block(Conv. Block)을 포함할 수 있고, 하나의 Conv.Block은 예를 들어, Kernel size 4 및 Stride 4의 Conv1D, BatchNorm1D, GELU를 포함하도록 구성될 수 있다. 또한, 인코더(21)의 각 레이어의 입출력 벡터의 [Batch Size(N)x Window size(W)x Number of features(C)]는 예를 들어, 입력 데이터는 Nx256x1, 1st Conv.Block의 출력 벡터는 Nx64x16, 2nd Conv.Block의 출력 벡터는 Nx16x32, 3rd Conv.Block의 출력 벡터는 Nx4x64, 4th Conv.Block의 출력 벡터인 출력 데이터는 Nx1x128로 구성될 수 있다. 본 발명의 일실시예에 따른 인코더(21)에 따르면, 리커런트 모듈(23)에 비해 상대적으로 짧은 패턴에 관련된 feature vector인 인코딩 정보를 생성할 수 있는 효과가 발생된다. The encoder 21 refers to an encoding artificial neural network module that uses bio-signal information generated by each sensor as input data and outputs encoded information with reduced dimensions of the bio-signal information as output data. The encoder 21 according to an embodiment of the present invention may include an artificial neural network module including at least one convolution layer. 4 is a schematic diagram showing the encoder 21 according to an embodiment of the present invention. As shown in Fig. 4, the encoder 21 according to an embodiment of the present invention may include, for example, a total of four Convolution Blocks (Conv. Block), and one Conv. Block is, for example, , may be configured to include Conv1D, BatchNorm1D, and GELU of
퓨전 모듈(22)은, 각각의 센서에서 생성된 생체 시그널 정보가 인코더(21)에 입력되어 생성된 복수의 인코딩 정보를 입력 데이터로 하고 복수의 인코딩 정보가 조합(concatenate)된 하나의 퓨전 벡터를 출력 데이터로 하는 인공신경망 모듈을 의미한다. 도 5는 본 발명의 일실시예에 따른 퓨전 모듈(22)의 개요를 도시한 모식도, 도 6은 본 발명의 일실시예에 따른 퓨전 모듈(22)의 구체적인 구성을 도시한 모식도이다. 도 5, 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 퓨전 모듈(22)은, 상관관계 특징 벡터 추출부, 센서 신뢰도 추출부, 가중 통합부를 포함할 수 있다. 각 레이어의 입출력 벡터의 [Number of sensors(M), Number of features(C), Number of heads(h)]는 예를 들어, 상관관계 특징 벡터 추출부의 입력 데이터는 MxC, 상관관계 특징 벡터 추출부의 출력 벡터는 MxC, 센서 신뢰도 추출부의 출력 벡터는 Mx1, 가중 통합부의 출력 벡터는 1xC로 구성될 수 있다. 본 발명의 일실시예에 따른 퓨전 모듈(22)에 따르면, 각 센서의 feature vector들을 센서 간의 상관관계나 센서 신뢰도를 기반으로 하나의 feature vector로 통합할 수 있게 되는 효과가 발생된다. The fusion module 22 uses a plurality of encoding information generated by inputting biosignal information generated by each sensor to the encoder 21 as input data, and a single fusion vector in which a plurality of encoding information is concatenated. It means an artificial neural network module that uses output data. 5 is a schematic diagram illustrating an outline of the fusion module 22 according to an embodiment of the present invention, and FIG. 6 is a schematic diagram illustrating a specific configuration of the fusion module 22 according to an embodiment of the present invention. 5 and 6 , the fusion module 22 according to an embodiment of the present invention may include a correlation feature vector extractor, a sensor reliability extractor, and a weighted integrator. [Number of sensors(M), Number of features(C), Number of heads(h)] of the input/output vector of each layer is, for example, the input data of the correlation feature vector extraction unit is MxC, the correlation feature vector extraction unit The output vector may be composed of MxC, the output vector of the sensor reliability extraction unit may be composed of Mx1, and the output vector of the weighted integrator may be composed of 1xC. According to the fusion module 22 according to an embodiment of the present invention, it is possible to integrate the feature vectors of each sensor into one feature vector based on the correlation between the sensors or the sensor reliability.
상관관계 특징 벡터 추출부는, Multi-Head Attention Layer, Add & Norm Layer를 포함할 수 있고, Multi-Head Attention Layer는 복수의 Linear Layer, Scaled Dot-Product Attention Layer, Concat Layer, Linear Layer를 포함할 수 있다. 각 레이어의 입출력 벡터의 [Number of sensors(M), Number of features(C), Number of heads(h)]는 예를 들어, 복수의 Linear Layer의 입력 벡터는 각각의 센서의 생체 시그널 정보를 입력받은 각 인코더(21)에서 생성되어 입력되는 인코딩 정보가 Sensors x features 차원으로 묶음 처리 된 MxC 차원, 복수의 Linear Layer는 Mx(C/h), Scaled Dot-Product Attention Layer는 Mx(C/h), Concat Layer는 MxC, Linear Layer는 MxC로 구성될 수 있다. 이때, h는 병렬 operation의 수이고, 복수의 Linear Layer와 Scaled Dot-Product Attention Layer는 h개 만큼의 병렬 operation으로 구성될 수 있다. 이후 Concat Layer에서는 Scaled Dot-Product Attention Layer에서 h개 만큼의 병렬 operation되어 출력된 h개의 어텐션 인코딩 정보(MxC/h)를 concatenate하여 MxC의 어텐션 인코딩 정보로 조합하게 된다. The correlation feature vector extraction unit may include a Multi-Head Attention Layer, Add & Norm Layer, and the Multi-Head Attention Layer may include a plurality of Linear Layers, Scaled Dot-Product Attention Layer, Concat Layer, and Linear Layer. have. [Number of sensors(M), Number of features(C), Number of heads(h)] of the input/output vector of each layer is, for example, the input vector of a plurality of linear layers inputs bio-signal information of each sensor Encoding information generated and input from each encoder 21 received is bundled in Sensors x features dimension, MxC dimension, multiple Linear Layers are Mx(C/h), Scaled Dot-Product Attention Layer is Mx(C/h) , Concat Layer may be composed of MxC, and Linear Layer may be composed of MxC. In this case, h is the number of parallel operations, and a plurality of Linear Layers and Scaled Dot-Product Attention Layers may be composed of as many parallel operations as h. Thereafter, in the Concat Layer, h pieces of attention encoding information (MxC/h) output by parallel operation of h in the Scaled Dot-Product Attention Layer are concatenated and combined into MxC attention encoding information.
Scaled Dot-Product Attention Layer의 구성과 관련하여, 도 7은 본 발명의 일실시예에 따른 Scaled Dot-Product Attention Layer를 도시한 모식도이다. 도 7에 도시된 바와 같이, 각 센서에서 생성된 생체 시그널 정보에 대한 인코딩 정보를 그룹화하여 모든 센서에 대한 인코딩 정보의 묶음을 서로 다른 Linear Layer를 통해 Linear embedding 하여 Sensors dimension과 features dimension을 포함하는 Q(Query feature), K(Key feature), V(Value feature)로 구성한 뒤, Q(Query feature), K(Key feature), V(Value feature)를 Scaled Dot-Product Attention Layer의 입력 데이터로 한다. Q,K,V는 인코더(21)로부터 생성된 feature vectors인 인코딩 정보로부터 서로 다른 Linear embedding을 통해 생성된다. Q와 K는 1st MatMul operation의 입력 데이터로 입력되어 Scale 및 softmax operation을 통해 Q에 대해서 모든 K에 대한 유사도를 계산하여 각 센서에서 생성된 생체 시그널 정보 사이의 유사도 벡터를 출력하고, 이 유사도 벡터와 V는 2nd MatMul operation의 입력 데이터로 입력된다. 도 8은 본 발명의 일실시예에 따른 Scaled Dot-Product Attention Layer의 1st MatMul operation을 도시한 모식도, 도 9는 본 발명의 일실시예에 따른 Scaled Dot-Product Attention Layer의 Scale 및 softmax operation을 도시한 모식도이다. 도 8, 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 Scaled Dot-Product Attention Layer의 1st MatMul operation은, Q가 기준이 되고 K와의 Dot-product operation을 통해 Q와 K의 유사도(similarity)를 출력하게 되고, Q와 K의 유사도(similarity)에 Scaling을 적용하여 분포가 치우치지 않도록 구성하며, Scaling된 Q와 K의 유사도(similarity)에 Softmax operation을 적용하여 각 센서에서 생성된 생체 시그널 정보 사이의 유사도 확률 분포인 유사도 벡터를 출력하게 된다. 도 10은 본 발명의 일실시예에 따른 Scaled Dot-Product Attention Layer의 2nd MatMul operation을 도시한 모식도이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 Scaled Dot-Product Attention Layer의 2nd MatMul operation은, 유사도 벡터와 V의 Dot-Product를 통해 새로운 feature vector인 어텐션 인코딩 정보를 출력하게 된다. 이에 의해, 유사도 벡터가 가중치로서 V에 반영되게 되고 유사도 벡터가 반영된 V를 모두 가중합하여 최종적으로 유사도 벡터가 가중치로서 반영된 인코딩 정보인 어텐션 인코딩 정보(Mx(C/h))를 Scaled Dot-Product Attention Layer의 출력 데이터로 출력하게 된다. Scaled Dot-Product Attention Layer에서 출력된 Mx(C/h) 차원의 어텐션 인코딩 정보는 Concat. Layer와 Linear layer를 통해 MxC 차원의 벡터로 출력될 수 있다. 아래 수학식은 본 발명의 일실시예에 따른 어텐션 인코딩 정보를 나타낸다. In relation to the configuration of the Scaled Dot-Product Attention Layer, FIG. 7 is a schematic diagram illustrating the Scaled Dot-Product Attention Layer according to an embodiment of the present invention. As shown in Figure 7, by grouping the encoding information for the biosignal information generated by each sensor, the bundle of encoding information for all sensors is linearly embedded through different linear layers, Q including the Sensors dimension and the features dimension After composing (Query feature), K (Key feature), and V (Value feature), Q (Query feature), K (Key feature), and V (Value feature) are used as input data of the Scaled Dot-Product Attention Layer. Q, K, and V are generated through different linear embeddings from encoding information, which are feature vectors generated from the encoder 21 . Q and K are input as input data of the 1st MatMul operation, calculate the similarity for all Ks with respect to Q through Scale and softmax operation, and output the similarity vector between the biosignal information generated by each sensor, and this similarity vector and V is input as input data of the 2nd MatMul operation. Figure 8 is a schematic diagram showing the 1st MatMul operation of the Scaled Dot-Product Attention Layer according to an embodiment of the present invention, Figure 9 is a scale and softmax operation of the Scaled Dot-Product Attention Layer according to an embodiment of the present invention It is a schematic diagram. As shown in Figures 8 and 9, the 1st MatMul operation of the Scaled Dot-Product Attention Layer according to an embodiment of the present invention, Q is the reference and the similarity between Q and K through the Dot-product operation with K (similarity) ), apply scaling to the similarity of Q and K to configure the distribution not to be biased, and apply Softmax operation to the similarity of scaled Q and K to generate biosignals generated by each sensor. A similarity vector, which is a similarity probability distribution between information, is output. 10 is a schematic diagram illustrating the 2nd MatMul operation of the Scaled Dot-Product Attention Layer according to an embodiment of the present invention. 10, the 2nd MatMul operation of the Scaled Dot-Product Attention Layer according to an embodiment of the present invention outputs attention encoding information, which is a new feature vector, through a similarity vector and a Dot-Product of V. As a result, the similarity vector is reflected in V as a weight, and all Vs reflected by the similarity vector are weighted and summed, and finally, attention encoding information (Mx(C/h)), which is encoding information in which the similarity vector is reflected as a weight, is scaled Dot-Product Attention. It is output as the output data of the layer. The Mx (C/h) dimension attention encoding information output from the Scaled Dot-Product Attention Layer can be found in Concat. It can be output as an MxC-dimensional vector through a layer and a linear layer. The following equation represents attention encoding information according to an embodiment of the present invention.
위 수학식에서, Q는 Query feature, K는 Key feature, V는 Value feature, KT는 K의 전치 행렬, dk는 Q와 K의 차원을 의미한다. In the above equation, Q is a query feature, K is a key feature, V is a value feature, K T is the transpose matrix of K, and d k is the dimension of Q and K.
Multi-Head Attention Layer의 출력부에서 MxC 차원의 벡터로 출력된 어텐션 인코딩 정보는 Add & Norm Layer를 통과하여 잔차연결(residual connection) 및 정규화(normalization) 된 어텐션 인코딩 정보(MxC)로 출력된다. Attention encoding information output as an MxC-dimensional vector from the output unit of the Multi-Head Attention Layer is output as residual connection and normalized attention encoding information (MxC) through the Add & Norm Layer.
센서 신뢰도 추출부와 관련하여, 도 11은 본 발명의 일실시예에 따른 센서 신뢰도 추출부를 도시한 모식도이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 센서 신뢰도 추출부는, Linear layer와 Softmax layer를 포함할 수 있다. 센서 신뢰도 추출부의 입력 데이터는 잔차연결(residual connection) 및 정규화(normalization) 된 어텐션 인코딩 정보(MxC)로 구성되고, 센서 신뢰도 추출부의 출력 데이터는 각각의 센서에 대한 신뢰도 벡터(Mx1)로 구성된다. 이에 따르면, 어텐션 인코딩 정보에서 서로 다른 센서 사이의 correlated components를 추출하고, 신뢰도 벡터를 통해 서로 다른 센서 사이의 correlated components 중에서 신뢰할 수 있는 components를 선별하게 되는 효과가 발생된다. 특히, 센서 신뢰도 추출부에서 Linear Layer의 파라미터는 적합한 components를 선별하기 위한 기준이 되는 효과가 발생된다. In relation to the sensor reliability extraction unit, FIG. 11 is a schematic diagram illustrating a sensor reliability extraction unit according to an embodiment of the present invention. 11 , the sensor reliability extractor according to an embodiment of the present invention may include a linear layer and a softmax layer. The input data of the sensor reliability extractor consists of residual connection and normalized attention encoding information (MxC), and the output data of the sensor reliability extractor consists of a reliability vector (Mx1) for each sensor. According to this, there is an effect of extracting correlated components between different sensors from the attention encoding information and selecting reliable components from correlated components between different sensors through a reliability vector. In particular, in the sensor reliability extraction unit, the parameters of the linear layer have the effect of becoming a standard for selecting suitable components.
가중 통합부와 관련하여, 도 12는 본 발명의 일실시예에 따른 가중 통합부를 도시한 모식도이다. 도 12에 도시된 바와 같이, 본 발명의 일실시예에 따른 가중 통합부는 센서 신뢰도 추출부의 출력 데이터인 각각의 센서에 대한 신뢰도 벡터(Mx1)과 잔차연결(residual connection) 및 정규화(normalization) 된 어텐션 인코딩 정보(MxC)를 입력 데이터로 하여 Dot-Product operation을 수행하고, 최종적으로 가중 통합된 feature vector인 퓨전 벡터(1xC)가 출력 데이터로 출력되도록 구성될 수 있다. 이때, 본 발명의 일실시예에 따른 센서 신뢰도 추출부와 가중 통합부는 센서 신뢰도를 기반으로 하는 어텐션부라고 칭할 수 있다. With respect to the weighted integrator, FIG. 12 is a schematic diagram illustrating a weighted integrator according to an embodiment of the present invention. As shown in FIG. 12 , the weighted integrator according to an embodiment of the present invention has a residual connection and normalized attention with a reliability vector (Mx1) for each sensor, which is output data of the sensor reliability extractor. A Dot-Product operation may be performed using the encoding information (MxC) as input data, and a fusion vector (1xC), which is a weighted and integrated feature vector, may be finally output as output data. In this case, the sensor reliability extracting unit and the weighted integration unit according to an embodiment of the present invention may be referred to as an attention unit based on sensor reliability.
리커런트 모듈(23)은, 퓨전 모듈(22)에서 출력된 퓨전 벡터 및 이전 스텝의 리커런트 모듈(23)의 hidden state를 입력 데이터로 하고, 리커런트 특징 벡터를 출력 데이터로 하는 순환 인공신경망 모듈을 의미한다. 도 13은 본 발명의 일실시예에 따른 리커런트 모듈(23)에 포함된 순환 인공신경망의 예시를 도시한 모식도이다. 도 13에 도시된 바와 같이, 본 발명의 일실시예에 따른 리커런트 모듈(23)은 LSTM 또는 GRU와 같은 순환 인공신경망 모듈의 구조로 구성될 수 있다. 본 발명의 일실시예에 따른 리커런트 모듈(23)에 따르면, 이전 스텝의 리커런트 모듈(23)의 hidden state의 입력에 의해 인코더(21)에 비해 상대적으로 긴 패턴에 관련된 feature vector인 인코딩 정보를 생성할 수 있는 효과가 발생된다. The recurrent module 23 is a recurrent neural network module using the fusion vector output from the fusion module 22 and the hidden state of the recurrent module 23 of the previous step as input data, and using the recurrent feature vector as output data. means 13 is a schematic diagram illustrating an example of a recurrent artificial neural network included in the recurrent module 23 according to an embodiment of the present invention. As shown in FIG. 13 , the recurrent module 23 according to an embodiment of the present invention may have a structure of a recurrent neural network module such as an LSTM or a GRU. According to the recurrent module 23 according to an embodiment of the present invention, encoding information that is a feature vector related to a relatively long pattern compared to the encoder 21 by the input of the hidden state of the recurrent module 23 of the previous step. An effect that can create
디코더(24)는, 리커런트 특징 벡터를 입력 데이터로 하고 상기 리커런트 특징 벡터의 차원이 확대된 재건 시그널 정보를 출력 데이터로 하는 디코딩 인공신경망 모듈을 의미한다. 본 발명의 일실시예에 따른 디코더(24)는 적어도 하나 이상의 Convolution layer를 포함하는 upsampling 인공신경망 모듈을 포함할 수 있다. 도 14는 본 발명의 일실시예에 따른 디코더(24)를 도시한 모식도이다. 도 14에 도시된 바와 같이, 본 발명의 일실시예에 따른 디코더(24)는 예를 들어, 총 4개의 Convolution block(Conv.Block)을 포함할 수 있고, 4개의 Up Block을 포함할 수 있다. 하나의 Conv.Block은 예를 들어, Kernel size 3 및 Stride 1의 Conv1D, BatchNorm1D, GELU를 포함하도록 구성될 수 있고, 하나의 Up Block은 예를 들어, Kernel size 4 및 Stride 4의 Conv1DTranspose, BatchNorm1D, GELU를 포함하도록 구성될 수 있다. 또한, 디코더(24)의 각 레이어의 입출력 벡터의 [Batch Size(N)x Window size(W)x Number of features(C)]는 예를 들어, 입력 데이터는 Nx1x128, 1st Up Block의 출력 벡터는 Nx4x64, 1st Conv.Block의 출력 벡터는 Nx4x64, 2nd Up Block의 출력 벡터는 Nx16x32, 2nd Conv.Block의 출력 벡터는 Nx16x32, 3rd Up Block의 출력 벡터는 Nx64x16, 3rd Conv.Block의 출력 벡터는 Nx64x16, 4th Up Block의 출력 벡터는 Nx256x8, 4th Conv.Block의 출력 벡터인 출력 데이터는 Nx256x1로 구성될 수 있다. 본 발명의 일실시예에 따른 디코더(24)에 따르면, 특정 시점의 시그널을 연속적으로 재건하여 재건 시그널 정보를 생성할 수 있게 되는 효과가 발생된다. The decoder 24 refers to a decoding artificial neural network module using a recurrent feature vector as input data and reconstructed signal information with an enlarged dimension of the recurrent feature vector as output data. The decoder 24 according to an embodiment of the present invention may include an upsampling artificial neural network module including at least one convolution layer. 14 is a schematic diagram illustrating a decoder 24 according to an embodiment of the present invention. 14 , the decoder 24 according to an embodiment of the present invention may include, for example, a total of four Convolution Blocks (Conv.Block) and may include four Up Blocks. . One Conv.Block may be configured to include, for example, Conv1D, BatchNorm1D, and GELU of
프리퀀시 추정 모듈(30)의 구체적인 구성과 관련하여, 도 15는 본 발명의 일실시예에 따른 프리퀀시 추정 모듈(30)을 도시한 모식도이다. 도 15에 도시된 바와 같이, 프리퀀시 추정 모듈(30)은, 센서 모듈(10)에 포함된 각각의 센서에서 생성된 생체 시그널 정보를 입력 데이터로 하고 상기 생체 시그널 정보의 프리퀀시를 추정하여 프리퀀시 정보를 출력 데이터로 하는 인공신경망 모듈을 의미할 수 있다. 본 발명의 일실시예에 따른 프리퀀시 추정 모듈(30)은, 인코더(31), 퓨전 모듈(32), 리커런트 모듈(33), 다층 퍼셉트론 모듈(34)을 포함하도록 구성될 수 있다. 본 발명의 일실시예에 따른 프리퀀시 추정 모듈(30)의 인코더(31), 퓨전 모듈(32), 리커런트 모듈(33)은 시그널 재건 모듈(20)의 인코더(21), 퓨전 모듈(22), 리커런트 모듈(23)과 동일한 구조로 구성될 수 있다. 이때, 본 발명의 변형예에 따르면, 프리퀀시 추정 모듈(30)의 인코더(31), 퓨전 모듈(32), 리커런트 모듈(33)은 시그널 재건 모듈(20)의 인코더(21), 퓨전 모듈(22), 리커런트 모듈(23)이 그대로 이용될 수 있고, 프리퀀시 추정 모듈(30)의 다층 퍼셉트론 모듈(34)이 시그널 재건 모듈(20)의 리커런트 모듈(23)의 출력단에 연결되도록 구성될 수 있다. Regarding the specific configuration of the frequency estimation module 30, FIG. 15 is a schematic diagram illustrating the frequency estimation module 30 according to an embodiment of the present invention. As shown in FIG. 15 , the frequency estimation module 30 uses bio-signal information generated by each sensor included in the
다층 퍼셉트론 모듈(34)은, 리커런트 특징 벡터를 입력 데이터로 하고 상기 리커런트 특징 벡터의 차원이 축소된 프리퀀시 정보를 출력 데이터로 하는, 다층 은닉층(hidden layer)에 활성화 함수(activation function, 예를 들어 ReLU, Sigmoid, Tanh, GELU 등)가 결합된 피드 포워드 인공신경망 모듈(Feed Forward Neural Network)을 의미한다. The multilayer perceptron module 34 uses a recurrent feature vector as input data and frequency information with reduced dimensionality of the recurrent feature vector as output data, an activation function, for example, in a multilayer hidden layer. For example, it means a Feed Forward Neural Network module in which ReLU, Sigmoid, Tanh, GELU, etc.) are combined.
주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치의 학습 세션과 관련하여, 도 16은 본 발명의 일실시예에 따른 시그널 재건 모듈(20)의 학습 세션을 도시한 모식도, 도 17은 본 발명의 일실시예에 따른 프리퀀시 추정 모듈(30)의 학습 세션을 도시한 모식도이다. 도 16에 도시된 바와 같이, 본 발명의 일실시예에 따른 시그널 재건 모듈(20)은 출력된 재건 시그널 정보와 Ground truth인 생체 시그널 정보의 차이(예를 들어, MSE로 계산)를 손실함수에 포함하여 학습 세션을 수행하도록 구성될 수 있다. 도 17에 도시된 바와 같이, 본 발명의 일실시예에 따른 프리퀀시 추정 모듈(30)은 출력된 프리퀀시 정보와 Ground truth인 생체 시그널 정보의 프리퀀시와의 차이(예를 들어, MSE로 계산)를 손실함수에 포함하여 학습 세션을 수행하도록 구성될 수 있다. In relation to the learning session of the multi-sensor biosignal information processing apparatus for frequency estimation and signal reconstruction, FIG. 16 is a schematic diagram showing a learning session of the
주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치의 변형예와 관련하여, 도 18은 본 발명의 변형예에 따른 전처리 모듈을 도시한 모식도이다. 도 18에 도시된 바와 같이, 본 발명의 변형예에 따른 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치는, 인코더(21, 31)의 입력단에 전처리 모듈을 더 포함할 수 있고, 본 발명의 일실시예에 따른 전처리 모듈은 절단부(Crop Part), 표준화부(Normalization Part)를 포함할 수 있다. 전처리 모듈의 절단부에서는 각 센서에서 생성된 생체 시그널 정보를 수신하여 특정 시간 간격으로 절단하여 단위 시그널 정보를 생성하고, 전처리 모듈의 표준화부에서는 단위 시그널 정보를 표준화하여 전처리 된 생체 시그널 정보를 생성하며, 본 발명의 일실시예에 따른 인코더(21, 31)에는 전처리 된 생체 시그널 정보가 입력 데이터로 입력되도록 구성될 수 있다. 이때, 표준화부의 시그널 표준화 방법으로는 예를 들어, z변환이나 [0-1]변환 등의 전통적인 표준화 방법이 활용될 수 있다. With respect to a modified example of a multi-sensor biosignal information processing apparatus for frequency estimation and signal reconstruction, FIG. 18 is a schematic diagram illustrating a preprocessing module according to a modified example of the present invention. As shown in FIG. 18, the multi-sensor biosignal information processing apparatus for frequency estimation and signal reconstruction according to a modified example of the present invention may further include a preprocessing module at the input terminals of the encoders 21 and 31, The pre-processing module according to an embodiment of the present invention may include a cutting part (Crop Part) and a normalization part (Normalization Part). The cutting unit of the pre-processing module receives bio-signal information generated from each sensor and cuts it at a specific time interval to generate unit signal information, and the standardization unit of the pre-processing module generates pre-processed bio-signal information by standardizing the unit signal information, The encoders 21 and 31 according to an embodiment of the present invention may be configured such that preprocessed biosignal information is input as input data. In this case, as a signal standardization method of the standardization unit, for example, a traditional standardization method such as z-transform or [0-1]-transform may be used.
이때, 절단부의 생체 시그널 정보의 절단의 특정 시간 간격에 대한 결정과 관련하여, 절단부는 절단 시간 간격(예를 들어, 3s)을 출력하는 절단 시간 간격 강화학습 모듈에 연결되어 제어/업데이트 되도록 구성될 수 있다. 본 발명의 변형예에 따라 절단부에 절단 시간 간격 강화학습 모듈이 연결되고 절단부가 생체 시그널 정보에 따라 다이나믹한 절단 시간 간격(adaptive crop size)을 결정하게 되면, 다이나믹한 절단 시간 간격의 결정에 따라 전처리 된 생체 시그널 정보가 다이나믹한 시간 간격을 갖게 됨에 따라, 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치의 인코더(21, 31)에 다이나믹한 시간 간격의 입력 데이터가 입력되게 되므로, 인코더(21, 31) 또는 프리퀀시 추정 모듈(30)의 다층 퍼셉트론 모듈(34)의 출력단에는 FC layer(Fully Connected Layer)가 아닌 GAP Layer(Global Average Pooling Layer)가 구성되어 입력 데이터의 다이나믹한 크기를 수용할 수 있도록 구성될 수 있다. At this time, in relation to the determination of the specific time interval of cutting of the biosignal information of the cutting unit, the cutting unit is connected to the cutting time interval reinforcement learning module that outputs the cutting time interval (for example, 3s) and configured to be controlled/updated. can According to a modified example of the present invention, when the cutting time interval reinforcement learning module is connected to the cutting unit and the cutting unit determines a dynamic crop size according to the biosignal information, pre-processing according to the dynamic cutting time interval determination As the bio-signal information has a dynamic time interval, the input data with a dynamic time interval is input to the encoders 21 and 31 of the bio-signal information processing device of multiple sensors for frequency estimation and signal reconstruction. (21, 31) or the output terminal of the multi-layer perceptron module 34 of the frequency estimation module 30, not the FC layer (Fully Connected Layer), but the GAP Layer (Global Average Pooling Layer) is configured to accommodate the dynamic size of the input data can be configured to do so.
구체적으로, 절단 시간 간격 강화학습 모듈은, 절단부를 Agent로 하고, 특정 시간 간격의 생체 시그널 정보를 Environment로 하며, 상기 생체 시그널 정보에 의해 시그널 재건 모듈(20)에서 출력되는 재건 시그널 정보의 주파수와 프리퀀시 추정 모듈(30)에서 출력되는 프리퀀시 정보와의 error를 State로 하며, 절단부의 절단 시간 간격 결정을 Action으로 하고, 절단부가 특정 시간 간격에 대해 특정 확률을 적용하여 action을 선택하는 것을 Policy(stochastic policy)로 하며, 상기 생체 시그널 정보에 의해 시그널 재건 모듈(20)에서 출력되는 재건 시그널 정보의 주파수와 프리퀀시 추정 모듈(30)에서 출력되는 프리퀀시 정보와의 error가 적을수록 높은 Reward가 생성되도록 상기 Agent인 상기 절단부를 제어하거나 업데이트 하는 모듈이다.Specifically, the cutting time interval reinforcement learning module uses the cutting unit as the Agent, the biosignal information at a specific time interval as the Environment, and the frequency of the reconstruction signal information output from the
전처리 모듈의 추론 단계에서는 센서 모듈(10)에서 생성된 생체 시그널 정보를 절단 시간 간격 강화학습 모듈이 입력 받고, 절단 시간 간격 강화학습 모듈에서 절단부의 절단 시간 간격을 결정한 뒤, 결정된 절단 시간 간격을 기초로 절단부에서 생체 시그널 정보를 절단하여 전처리 된 생체 시그널 정보를 생성하도록 구성된다. In the reasoning step of the preprocessing module, the cutting time interval reinforcement learning module receives the biosignal information generated by the
전처리 모듈의 학습 단계에서는 센서 모듈(10)에서 생성된 생체 시그널 정보의 시간 간격을 랜덤으로 설정하여 학습 데이터로 구성할 수 있다. 전처리 모듈의 학습 단계에서 생체 시그널 정보의 시간 간격을 랜덤으로 설정하여 학습 데이터로 구성하는 경우, 절단 시간 간격 강화학습 모듈이 다양한 crop size를 커버할 수 있도록 절단부를 제어하거나 업데이트하도록 구성되는 효과가 발생된다. In the learning step of the pre-processing module, the time interval of the bio-signal information generated by the
이에 따르면, 시그널 재건 모듈(20)과 프리퀀시 추정 모듈(30)의 성능을 최대화할 수 있는 방향으로 전처리 된 생체 시그널 정보의 절단 시간 간격이 결정되게 되는 효과가 발생되며, 절단 시간 간격 강화학습 모듈이 시그널 재건 모듈(20)과 프리퀀시 추정 모듈(30)의 성능에 대한 모든 경우의 수를 고려할 필요 없이 통합적으로 최적화되도록 구성되므로, 절단 시간 간격 강화학습 모듈이 계산하여야 하는 경우의 수가 저감되어 컴퓨팅 리소스가 저감되는 효과가 발생된다. According to this, there is an effect that the cutting time interval of the preprocessed biosignal information is determined in a direction that can maximize the performance of the
주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치를 이용한 주파수 추정 및 시그널 재건 방법과 관련하여, 본 발명의 일실시예에 따른 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 방법 중 시그널 재건 및 주파수 추정은 아래의 단계로 수행될 수 있다. In relation to the frequency estimation and signal reconstruction method using the multi-sensor bio-signal information processing apparatus for frequency estimation and signal reconstruction, the multi-sensor bio-signal information processing method for frequency estimation and signal reconstruction according to an embodiment of the present invention Heavy signal reconstruction and frequency estimation may be performed in the following steps.
(1) 접촉 방식의 서로 다른 종류의 복수의 센서를 포함하는 센서 모듈(10)에서 각각의 센서에 대해 생체 시그널 정보 생성 - 도 19는 본 발명의 일실시예에 따른 복수의 센서에 대한 생체 시그널 정보를 도시한 실험 데이터이다. 도 19에 도시된 바와 같이, 예를 들어, 차량의 시트에 32개의 FSR 센서들이 센서 모듈(10)을 구성하고 있고, 각 센서에 대해 생체 시그널 정보의 세기와 SNR(Signal to Noise Ratio)이 다르게 나타남을 확인할 수 있다. 실무적으로는 탑승자에 따라, 또한 탑승자의 자세에 따라 각 센서들의 생체 시그널 정보의 세기와 SNR이 상이해진다. 따라서, 각 센서들의 생체 시그널 정보를 통합하여 재건 시그널 정보를 생성해야 탑승자에 대한 생체 시그널 정보 기반의 서비스가 가능해진다. (1) Generating biosignal information for each sensor in the
(2) 각각의 센서에 대해 생성된 생체 시그널 정보를 시그널 재건 모듈(20)의 인코더(21) 또는 프리퀀시 추정 모듈(30)의 인코더(31)에 입력하고, 인코더(21, 31)에서 각각의 센서에 대해 생성된 생체 시그널 정보에 대응되는 인코딩 정보를 출력(2) input the biosignal information generated for each sensor to the encoder 21 of the
(3) 시그널 재건 모듈(20)의 퓨전 모듈(22) 또는 프리퀀시 추정 모듈(30)의 퓨전 모듈(32)에서 각각의 센서에 대해 생성된 생체 시그널 정보에 대응되는 인코딩 정보를 입력 받고, 퓨전 모듈(22, 32)에서 상기 각각의 센서에 대한 복수의 인코딩 정보를 통합하여 퓨전 벡터를 출력 - 도 20은 본 발명의 일실시예에 따른 퓨전 모듈(22, 32)의 구성에 따른 error 비교도이다. 도 20에 도시된 바와 같이, 본 발명의 일실시예에 따른 퓨전 모듈(22, 32)에 Multi-Head Attention - Add & Norm(상관관계 특징 벡터 추출부) - 센서 신뢰도를 기반으로 한 Attention(센서 신뢰도 추출부, 가중 통합부)이 구성되었을 때 유의미한 성능 향상(상대적으로 작은 error)을 보임을 확인할 수 있다. (3) the fusion module 22 of the
(4) 시그널 재건 모듈(20)의 리커런트 모듈(23) 또는 프리퀀시 추정 모듈(30)의 리커런트 모듈(33)에서 퓨전 벡터 및 이전 step의 hidden state를 입력 받고, 리커런트 모듈(23, 33)에서 리커런트 특징 벡터를 출력 - 도 21은 본 발명의 일실시예에 따른 리커런트 모듈(23, 33)의 구성에 따른 error 비교도이다. 도 21에 도시된 바와 같이, 본 발명의 일실시예에 따른 리커런트 모듈(23, 33)이 LSTM이나 GRU로 구성되어 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치에 포함되었을 때 유의미한 성능 향상(상대적으로 작은 error)을 보임을 확인할 수 있다. (4) the fusion vector and the hidden state of the previous step are received from the recurrent module 23 of the
(5) 시그널 재건 모듈(20)의 디코더(24) 또는 프리퀀시 추정 모듈(30)의 다층 퍼셉트론 모듈(34)에서 리커런트 특징 벡터를 입력 받고, 디코더(24)에서는 재건 시그널 정보를 출력하며, 다층 퍼셉트론 모듈(34)에서는 프리퀀시 정보를 출력 - 도 22는 본 발명의 일실시예에 따른 재건 시그널 정보를 도시한 실험 데이터, 도 23은 본 발명의 일실시예에 따른 재건 시그널 정보를 확대한 실험 데이터, 도 24는 본 발명의 일실시예에 따른 재건 시그널 정보와 생체 시그널 정보의 mean signal의 FFT 결과를 도시한 실험 데이터, 도 25는 본 발명의 일실시예에 따른 프리퀀시 정보를 도시한 실험 데이터이다. 도 22, 23, 24, 25에서는 Mean Signal에서 확인할 수 있듯이 탑승자의 호흡수(생체 시그널 raw data의 주파수)를 의도적으로 변화시키면서 시그널 재건 또는 프리퀀시 추정하였는데(0.25Hz -> 0.125Hz -> 0.5Hz -> 0.25Hz), 도 22, 23, 24에 도시된 바와 같이, 시그널 재건 모듈(20)의 신호 재구성 결과 노이즈가 줄어들고(도 24를 참고하면, 실제 신호 주파수인 0.125Hz, 0.25Hz, 0.5Hz를 제외한 나머지 주파수 성분의 크기가 상대적으로 감소) 크기가 일정한 신호가 생성됨을 확인할 수 있으며, 생체 시그널 raw data의 주파수의 Transition이 일어나는 부분을 포함하여 안정적으로 시그널이 재건됨을 확인할 수 있다. 또한, 도 25에 도시된 바와 같이, 프리퀀시 추정 모듈(30)의 프리퀀시 정보 추정의 결과 생체 시그널 raw data의 주파수의 Transition이 일어나는 부분을 포함하여 안정적으로 프리퀀시를 추정함을 확인할 수 있다. 이에 따라, 추가 후처리 과정 없이도 탑승자의 생체 시그널을 활용한 서비스가 가능해지는 효과가 발생된다. (5) The decoder 24 of the
시그널 재건 모듈(20)에서 출력된 재건 시그널 정보의 재건 성능과 관련하여, 도 26, 27은 본 발명의 일실시예에 따른 시그널 재건 모듈(20)에서 출력된 재건 시그널 정보와 피실험자의 호흡에 따른 키 입력 및 생체 시그널 정보의 mean signal과의 비교 데이터이다. 도 26, 27에 도시된 바와 같이, 탑승자의 역할을 수행하는 피실험자가 호흡에 맞춰서 직접 키 입력을 수행하였을 때, 입력된 키 입력 값과 재건 시그널 정보의 시그널 재구성 결과가 일치함을 확인할 수 있다. 또한, 생체 시그널 정보의 mean signal로는 탑승자의 호흡 정보와 같은 생체 시그널을 정확하게 파악할 수 없음을 확인할 수 있다. In relation to the reconstruction performance of the reconstruction signal information output from the
이상에서 설명한 바와 같이, 본 발명이 속하는 기술 분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함하는 것으로 해석되어야 한다.As described above, those skilled in the art to which the present invention pertains will be able to understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential features thereof. Therefore, the above-described embodiments are to be understood in all respects as illustrative and not restrictive. The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention.
본 명세서 내에 기술된 특징들 및 장점들은 모두를 포함하지 않으며, 특히 많은 추가적인 특징들 및 장점들이 도면들, 명세서, 및 청구항들을 고려하여 당업자에게 명백해질 것이다. 더욱이, 본 명세서에 사용된 언어는 주로 읽기 쉽도록 그리고 교시의 목적으로 선택되었고, 본 발명의 주제를 묘사하거나 제한하기 위해 선택되지 않을 수도 있다는 것을 주의해야 한다.The features and advantages described herein are not all inclusive, and many additional features and advantages will become apparent to those skilled in the art, particularly upon consideration of the drawings, the specification, and the claims. Moreover, it should be noted that the language used herein has been selected primarily for readability and teaching purposes, and may not be selected to delineate or limit the subject matter of the present invention.
본 발명의 실시예들의 상기한 설명은 예시의 목적으로 제시되었다. 이는 개시된 정확한 형태로 본 발명을 제한하거나, 빠뜨리는 것 없이 만들려고 의도한 것이 아니다. 당업자는 상기한 개시에 비추어 많은 수정 및 변형이 가능하다는 것을 이해할 수 있다.The foregoing description of embodiments of the invention has been presented for purposes of illustration. It is not intended to be exhaustive or to limit the invention to the precise form disclosed. Those skilled in the art will appreciate that many modifications and variations are possible in light of the above disclosure.
그러므로 본 발명의 범위는 상세한 설명에 의해 한정되지 않고, 이를 기반으로 하는 출원의 임의의 청구항들에 의해 한정된다. 따라서, 본 발명의 실시예들의 개시는 예시적인 것이며, 이하의 청구항에 기재된 본 발명의 범위를 제한하는 것은 아니다.Therefore, the scope of the present invention is not limited by the detailed description, but by any claims of the application based thereon. Accordingly, the disclosure of the embodiments of the present invention is illustrative and not intended to limit the scope of the present invention as set forth in the following claims.
1: 주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치
10: 센서 모듈
11: 시그널 추출 모듈
20: 시그널 재건 모듈
21: 인코더
22: 퓨전 모듈
23: 리커런트 모듈
24: 디코더
30: 프리퀀시 추정 모듈
31: 인코더
32: 퓨전 모듈
33: 리커런트 모듈
34: 다층 퍼셉트론 모듈1: Multi-sensor bio-signal information processing device for frequency estimation and signal reconstruction
10: sensor module
11: Signal extraction module
20: signal reconstruction module
21: encoder
22: fusion module
23: recurrent module
24: decoder
30: frequency estimation module
31: encoder
32: fusion module
33: recurrent module
34: multi-layer perceptron module
Claims (5)
상기 생체 시그널 정보를 입력 데이터로 하고 상기 생체 시그널 정보의 차원이 축소된 인코딩 정보를 출력 데이터로 출력하는 인코딩 인공신경망 모듈인 인코더;
각각의 상기 센서에서 생성된 상기 생체 시그널 정보가 상기 인코더에 입력되어 생성된 복수의 상기 인코딩 정보를 입력 데이터로 하고 복수의 상기 인코딩 정보가 조합(concatenate)된 하나의 퓨전 벡터를 출력 데이터로 하는 인공신경망 모듈인 퓨전 모듈; 및
상기 퓨전 모듈에서 출력된 상기 퓨전 벡터 및 이전 스텝의 hidden state를 입력 데이터로 하고, 리커런트 특징 벡터를 출력 데이터로 하는 순환 인공신경망 모듈인 리커런트 모듈;
을 포함하고,
상기 리커런트 특징 벡터를 기초로 상기 리커런트 특징 벡터의 차원이 확대된 재건 시그널 정보 또는 상기 리커런트 특징 벡터의 차원이 축소된 프리퀀시 정보를 생성하는 것을 특징으로 하는,
주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치.
a sensor module configured inside the vehicle, including a plurality of sensors, and generating bio-signal information of an occupant of the vehicle through each of the sensors;
an encoder, which is an encoding artificial neural network module, which uses the biosignal information as input data and outputs the reduced-dimensional encoding information of the biosignal information as output data;
The biosignal information generated by each sensor is input to the encoder, and a plurality of pieces of encoding information generated are input data, and a fusion vector in which a plurality of pieces of encoding information are concatenated as output data. a fusion module, which is a neural network module; and
a recurrent module, which is a recurrent neural network module using the fusion vector output from the fusion module and the hidden state of a previous step as input data and using a recurrent feature vector as output data;
including,
Characterized in generating reconstruction signal information in which the dimension of the recurrent feature vector is enlarged or frequency information in which the dimension of the recurrent feature vector is reduced based on the recurrent feature vector,
Multi-sensor bio-signal information processing device for frequency estimation and signal reconstruction.
상기 리커런트 특징 벡터를 입력 데이터로 하고 상기 리커런트 특징 벡터의 차원이 확대된 상기 재건 시그널 정보를 출력 데이터로 하는 디코딩 인공신경망 모듈인 디코더; 및
상기 리커런트 특징 벡터를 입력 데이터로 하고 상기 리커런트 특징 벡터의 차원이 축소된 상기 프리퀀시 정보를 출력 데이터로 하는, 다층 은닉층(hidden layer)에 활성화 함수(activation function)가 결합된 피드 포워드 인공신경망 모듈(Feed Forward Neural Network)인 다층 퍼셉트론 모듈;
을 더 포함하는,
주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치.
According to claim 1,
a decoder which is a decoding artificial neural network module using the recurrent feature vector as input data and the reconstruction signal information with the expanded dimension of the recurrent feature vector as output data; and
A feed-forward artificial neural network module in which an activation function is coupled to a multi-layer hidden layer, using the recurrent feature vector as input data and the frequency information reduced in dimension of the recurrent feature vector as output data (Feed Forward Neural Network) multi-layer perceptron module;
further comprising,
Multi-sensor bio-signal information processing device for frequency estimation and signal reconstruction.
상기 퓨전 모듈은, 상관관계 특징 벡터 추출부, 센서 신뢰도 추출부 및 가중 통합부를 포함하고,
상기 상관관계 특징 벡터 추출부는, Multi-Head Attention Layer 및 Add & Norm Layer를 포함하고, 상기 Multi-Head Attention Layer는 복수의 Linear Layer, Scaled Dot-Product Attention Layer, Concat Layer 및 Linear Layer를 포함하며, 복수의 상기 인코딩 정보가 입력되는 상기 Multi-Head Attention Layer의 출력부에서는 어텐션 인코딩 정보가 출력되며, 상기 어텐션 인코딩 정보가 입력되는 상기 Add & Norm Layer의 출력부에서는 잔차연결(residual connection) 및 정규화(normalization) 된 상기 어텐션 인코딩 정보가 출력되고,
상기 센서 신뢰도 추출부는, Linear layer와 Softmax layer를 포함하고, 상기 센서 신뢰도 추출부의 입력 데이터는 잔차연결(residual connection) 및 정규화(normalization) 된 상기 어텐션 인코딩 정보로 구성되고, 상기 센서 신뢰도 추출부의 출력 데이터는 각각의 상기 센서에 대한 신뢰도 벡터로 구성되며,
상기 가중 통합부는, 상기 센서 신뢰도 추출부의 출력 데이터인 각각의 상기 센서에 대한 상기 신뢰도 벡터와 잔차연결(residual connection) 및 정규화(normalization) 된 상기 어텐션 인코딩 정보를 입력 데이터로 하여 Dot-Product operation을 수행하고 가중 통합된 feature vector인 상기 퓨전 벡터가 출력 데이터로 구성되는 것을 특징으로 하는,
주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 장치.
According to claim 1,
The fusion module includes a correlation feature vector extractor, a sensor reliability extractor, and a weighted integrator,
The correlation feature vector extraction unit includes a Multi-Head Attention Layer and an Add & Norm Layer, and the Multi-Head Attention Layer includes a plurality of Linear Layers, Scaled Dot-Product Attention Layers, Concat Layers and Linear Layers, Attention encoding information is output from the output unit of the Multi-Head Attention Layer to which a plurality of the encoding information is input, and residual connection and normalization (residual connection) and normalization (residual connection) normalized) the attention encoding information is output,
The sensor reliability extractor includes a Linear layer and a Softmax layer, and the input data of the sensor reliability extractor consists of residual connection and normalized attention encoding information, and output data of the sensor reliability extractor is composed of the reliability vector for each said sensor,
The weighted integrator performs a Dot-Product operation using, as input data, the reliability vector for each sensor, which is the output data of the sensor reliability extractor, the residual connection and the normalized attention encoding information. and the fusion vector, which is a weighted integrated feature vector, is characterized in that it consists of output data,
Multi-sensor bio-signal information processing device for frequency estimation and signal reconstruction.
상기 생체 시그널 정보 처리 장치의 일구성인 인코더가, 상기 생체 시그널 정보를 입력 데이터로 하고 상기 생체 시그널 정보의 차원이 축소된 인코딩 정보를 출력 데이터로 출력하는 인코딩 단계;
상기 생체 시그널 정보 처리 장치의 일구성인 퓨전 모듈이, 각각의 상기 센서에서 생성된 상기 생체 시그널 정보가 상기 인코더에 입력되어 생성된 복수의 상기 인코딩 정보를 입력 데이터로 하고 복수의 상기 인코딩 정보가 조합(concatenate)된 하나의 퓨전 벡터를 출력 데이터로 하는 퓨전 단계; 및
상기 생체 시그널 정보 처리 장치의 일구성인 리커런트 모듈이, 상기 퓨전 모듈에서 출력된 상기 퓨전 벡터 및 이전 스텝의 hidden state를 입력 데이터로 하고, 리커런트 특징 벡터를 출력 데이터로 하는 리커런트 단계;
를 포함하고,
상기 리커런트 특징 벡터를 기초로 상기 리커런트 특징 벡터의 차원이 확대된 재건 시그널 정보 또는 상기 리커런트 특징 벡터의 차원이 축소된 프리퀀시 정보를 생성하는 것을 특징으로 하는,
주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 방법.
In the biosignal information processing method performed by the multi-sensor biosignal information processing apparatus for frequency estimation and signal reconstruction according to claim 1,
an encoding step of, by an encoder, which is a component of the biosignal information processing apparatus, outputting, as output data, the biosignal information as input data and encoding information in which the dimension of the biosignal information is reduced;
A fusion module, which is one component of the biosignal information processing device, receives the biosignal information generated by each of the sensors and inputs a plurality of the encoding information generated by the encoder as input data, and a plurality of the encoding information is combined a fusion step of using one (concatenated) fusion vector as output data; and
a recurrent step in which a recurrent module, which is a component of the biosignal information processing apparatus, uses the fusion vector output from the fusion module and the hidden state of a previous step as input data, and uses a recurrent feature vector as output data;
including,
Characterized in generating reconstruction signal information in which the dimension of the recurrent feature vector is enlarged or frequency information in which the dimension of the recurrent feature vector is reduced based on the recurrent feature vector,
Multi-sensor bio-signal information processing method for frequency estimation and signal reconstruction.
상기 생체 시그널 정보 처리 장치의 일구성인 인코더가, 상기 생체 시그널 정보를 입력 데이터로 하고 상기 생체 시그널 정보의 차원이 축소된 인코딩 정보를 출력 데이터로 출력하는 인코딩 단계;
상기 생체 시그널 정보 처리 장치의 일구성인 퓨전 모듈이, 각각의 상기 센서에서 생성된 상기 생체 시그널 정보가 상기 인코더에 입력되어 생성된 복수의 상기 인코딩 정보를 입력 데이터로 하고 복수의 상기 인코딩 정보가 조합(concatenate)된 하나의 퓨전 벡터를 출력 데이터로 하는 퓨전 단계; 및
상기 생체 시그널 정보 처리 장치의 일구성인 리커런트 모듈이, 상기 퓨전 모듈에서 출력된 상기 퓨전 벡터 및 이전 스텝의 hidden state를 입력 데이터로 하고, 리커런트 특징 벡터를 출력 데이터로 하는 리커런트 단계;
를 포함하고,
상기 리커런트 특징 벡터를 기초로 상기 리커런트 특징 벡터의 차원이 확대된 재건 시그널 정보 또는 상기 리커런트 특징 벡터의 차원이 축소된 프리퀀시 정보를 생성하는 것을 특징으로 하는,
주파수 추정과 시그널 재건을 위한 다중 센서의 생체 시그널 정보 처리 방법을 컴퓨터 상에서 수행하는 프로그램이 기록된 기록매체.
A recording medium recording a program for performing the biosignal information processing method performed by the multi-sensor biosignal information processing apparatus for frequency estimation and signal reconstruction according to claim 1 on a computer,
an encoding step of, by an encoder, which is a component of the biosignal information processing apparatus, outputting, as output data, the biosignal information as input data and encoding information in which the dimension of the biosignal information is reduced;
A fusion module, which is one component of the biosignal information processing device, receives the biosignal information generated by each of the sensors and inputs a plurality of the encoding information generated by the encoder as input data, and a plurality of the encoding information is combined a fusion step of using one (concatenated) fusion vector as output data; and
a recurrent step in which a recurrent module, which is a component of the biosignal information processing apparatus, uses the fusion vector output from the fusion module and the hidden state of a previous step as input data, and uses a recurrent feature vector as output data;
including,
Characterized in generating reconstruction signal information in which the dimension of the recurrent feature vector is enlarged or frequency information in which the dimension of the recurrent feature vector is reduced based on the recurrent feature vector,
A recording medium in which a program is recorded on a computer for processing biosignal information of multiple sensors for frequency estimation and signal reconstruction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220044008A KR102441763B1 (en) | 2022-04-08 | 2022-04-08 | Multi-sensor bio-signal processing apparatus and method for frequency estimation and signal reconstruction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220044008A KR102441763B1 (en) | 2022-04-08 | 2022-04-08 | Multi-sensor bio-signal processing apparatus and method for frequency estimation and signal reconstruction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102441763B1 true KR102441763B1 (en) | 2022-09-14 |
Family
ID=83279331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220044008A KR102441763B1 (en) | 2022-04-08 | 2022-04-08 | Multi-sensor bio-signal processing apparatus and method for frequency estimation and signal reconstruction |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102441763B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009245228A (en) * | 2008-03-31 | 2009-10-22 | Yamatake Corp | Abnormality detecting method and abnormality detection device |
| KR102053794B1 (en) | 2018-08-09 | 2019-12-09 | 연세대학교원주산학협력단 | Apparatus and method for delivering driver's movement intention based on bio-signals |
| KR102119687B1 (en) * | 2020-03-02 | 2020-06-05 | 엔에이치네트웍스 주식회사 | Learning Apparatus and Method of Image |
| KR20200094461A (en) | 2019-01-30 | 2020-08-07 | 주식회사 만도 | A control system and method for controlling vehichle based on biometric information |
| KR20200141812A (en) * | 2019-06-11 | 2020-12-21 | 삼성전자주식회사 | Method and apparatus for anomaly detection using neural network |
| KR102362678B1 (en) * | 2021-06-02 | 2022-02-14 | 주식회사 뷰노 | Method for analyzing bio-signal |
-
2022
- 2022-04-08 KR KR1020220044008A patent/KR102441763B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009245228A (en) * | 2008-03-31 | 2009-10-22 | Yamatake Corp | Abnormality detecting method and abnormality detection device |
| KR102053794B1 (en) | 2018-08-09 | 2019-12-09 | 연세대학교원주산학협력단 | Apparatus and method for delivering driver's movement intention based on bio-signals |
| KR20200094461A (en) | 2019-01-30 | 2020-08-07 | 주식회사 만도 | A control system and method for controlling vehichle based on biometric information |
| KR20200141812A (en) * | 2019-06-11 | 2020-12-21 | 삼성전자주식회사 | Method and apparatus for anomaly detection using neural network |
| KR102119687B1 (en) * | 2020-03-02 | 2020-06-05 | 엔에이치네트웍스 주식회사 | Learning Apparatus and Method of Image |
| KR102362678B1 (en) * | 2021-06-02 | 2022-02-14 | 주식회사 뷰노 | Method for analyzing bio-signal |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| García-Martínez et al. | A review on nonlinear methods using electroencephalographic recordings for emotion recognition | |
| Grosse-Wentrup et al. | Beamforming in noninvasive brain–computer interfaces | |
| US11834052B2 (en) | Estimator generation apparatus, monitoring apparatus, estimator generation method, and computer-readable storage medium storing estimator generation program | |
| Begum | Intelligent driver monitoring systems based on physiological sensor signals: A review | |
| CN108693973B (en) | Emergency condition detection system fusing electroencephalogram signals and environmental information | |
| EP3836836B1 (en) | Real-time spike detection and identification | |
| CN113239744A (en) | Electroencephalogram-electromyogram signal fusion recognition method based on deep learning | |
| CN112826512B (en) | Automatic detection and peak positioning method for epileptic spike | |
| CN111407260A (en) | Electroencephalogram and electrocardio-based fatigue detection method with steering wheel embedded in electrocardio sensor | |
| CN112022153A (en) | Electroencephalogram signal detection method based on convolutional neural network | |
| CN111358453B (en) | Blood pressure classification prediction method and device | |
| Djeha et al. | A combined EEG and EOG signals based wheelchair control in virtual environment | |
| KR102441763B1 (en) | Multi-sensor bio-signal processing apparatus and method for frequency estimation and signal reconstruction | |
| CN112545530A (en) | Method for predicting drunk driving and fatigue driving based on HRV and countermeasure network | |
| Hettiarachchi et al. | Multivariate adaptive autoregressive modeling and Kalman filtering for motor imagery BCI | |
| KR102440752B1 (en) | Device and method for monitoring driver's biometric information abnormality through multi-sampling sensor fusion | |
| Kanna et al. | Smart Detection and Removal of Artifacts in Cognitive Signals Using Biomedical Signal Intelligence Applications | |
| CN116392148A (en) | Electroencephalogram signal classification method, device, equipment and storage medium | |
| Jubien et al. | Decoding of finger activation from ECoG data: a comparative study | |
| US20210232901A1 (en) | Electrophysiological signal processing method, corresponding system, vehicle and computer program product | |
| CN114176598A (en) | Multimode-based epilepsy attack early warning method and intelligent bracelet device | |
| Gu et al. | Transferable Takagi-Sugeno-Kang Fuzzy Classifier With Multi-Views for EEG-Based Driving Fatigue Recognition in Intelligent Transportation | |
| Yousri et al. | A design for an efficient hybrid compression system for EEG data | |
| Khasnobish et al. | K-Nearest neighbor classification of left-right limb movement using EEG data | |
| Han et al. | Feature set extraction algorithm based on soft computing techniques and its application to EMG pattern classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |