KR102254740B1 - The smart signal recognizer and generate method of it - Google Patents

The smart signal recognizer and generate method of it Download PDF

Info

Publication number
KR102254740B1
KR102254740B1 KR1020190128038A KR20190128038A KR102254740B1 KR 102254740 B1 KR102254740 B1 KR 102254740B1 KR 1020190128038 A KR1020190128038 A KR 1020190128038A KR 20190128038 A KR20190128038 A KR 20190128038A KR 102254740 B1 KR102254740 B1 KR 102254740B1
Authority
KR
South Korea
Prior art keywords
data
signal recognizer
smart signal
processor
user
Prior art date
Application number
KR1020190128038A
Other languages
Korean (ko)
Other versions
KR20210044625A (en
Inventor
홍광석
이재갑
강민석
조상일
박진수
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020190128038A priority Critical patent/KR102254740B1/en
Publication of KR20210044625A publication Critical patent/KR20210044625A/en
Application granted granted Critical
Publication of KR102254740B1 publication Critical patent/KR102254740B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Primary Health Care (AREA)
  • Pulmonology (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 스마트 신호 인식기는 사용자를 센싱하여 센싱 정보를 생성하는 센서;와 상기 센서에서 전송된 상기 센싱 정보를 멀티 레이블 딥러닝 학습하도록 제어하는 프로세서;를 포함하고, 상기 프로세서는, 센싱 정보에 대해 사용자 선택형 복수의 전처리 과정을 수행하고, 상기 복수의 전처리 과정 각각에 의해 생성된 3차원 데이터를 저장하고, 상기 복수의 전처리 과정 각각에 의해 생성된 3차원 데이터를 2차원 데이터로 압축하고, 압축된 상기 2차원 데이터에 대해, 멀티 레이블 딥러닝 학습을 수행하고, 상기 멀티 레이블 딥러닝 학습을 통해, 스마트 신호 인식 모델을 생성하는 것을 포함한다.The smart signal recognizer of the present invention includes a sensor that senses a user and generates sensing information; and a processor that controls the sensing information transmitted from the sensor to learn multi-label deep learning, wherein the processor includes: Performs a plurality of user-selectable preprocessing processes, stores 3D data generated by each of the plurality of preprocessing processes, compresses 3D data generated by each of the plurality of preprocessing processes into 2D data, and compresses And performing multi-label deep learning learning on the 2D data, and generating a smart signal recognition model through the multi-label deep learning learning.

Description

스마트 신호 인식기 및 이를 생성하는 방법{THE SMART SIGNAL RECOGNIZER AND GENERATE METHOD OF IT}Smart signal recognizer and how to create it {THE SMART SIGNAL RECOGNIZER AND GENERATE METHOD OF IT}

본 발명은 스마트 신호 인식기 및 이를 생성하는 방법에 관한 것으로, 다양한 형태의 신호에서 목표 값을 추정하기 위한 사용자 선택형 전처리 기법과, 멀티 레이블 딥러닝 학습을 위한 스마트 데이터 압축 기술을 이용하고, 특징 벡터의 압축을 수행하여 단일 특징을 기반으로 다수의 목표 값을 추정할 수 있으며, 이에 따라 사용자의 데이터에 적합하고 유연한 인식 모델을 설계 및 생성할 수 있는 스마트 신호 인식기 및 이를 생성하는 방법에 관한 것이다.The present invention relates to a smart signal recognizer and a method of generating the same, and uses a user-selectable preprocessing technique for estimating a target value from various types of signals, and a smart data compression technique for multi-label deep learning learning. The present invention relates to a smart signal recognizer capable of designing and generating a flexible recognition model suitable for user data and a method of generating the same by performing compression to estimate a plurality of target values based on a single feature.

종래의 딥러닝을 활용한 신호 인식기를 제작하기 위해서는 프로그래밍 언어를 사용하여 TensorFlow, Spark, Caffe, theano 등과 같은 오픈소스 프레임워크를 활용하였다. In order to manufacture a signal recognizer using a conventional deep learning, a programming language was used and open source frameworks such as TensorFlow, Spark, Caffe, and theano were used.

또한, 신호 처리와 신호 인식 모델의 구조 및 설계 능력이 없는 일반 사용자의 경우 본인의 데이터를 활용한 인식 모델 생성에는 긴 시간의 연구가 필수적이다. 최근 기계 학습 라이브러리의 발전으로 다소 편의성이 보장되었지만, 모델 학습에 필요한 사용자 선택형 전처리 기법이 적용된 특징 벡터의 생성 과정까지는 지원하지 않는다. In addition, for general users who do not have the ability to structure and design signal processing and signal recognition models, long-term research is essential to creating a recognition model using their own data. Although convenience is somewhat guaranteed with the recent development of machine learning libraries, it does not support the generation of feature vectors to which the user-selective preprocessing technique required for model learning is applied.

보유한 데이터의 형태에 따라 특징 벡터 생성을 위한 전처리 과정은 데이터와 목표 값의 상관 분석부터 다수의 시행착오를 거쳐 수행되는 만큼 재화와 전문 인력 그리고 긴 시간의 연구가 필요하였다.Depending on the type of data possessed, the pre-processing process for feature vector generation is performed through a number of trials and errors from correlation analysis between data and target values, requiring goods, professional manpower, and long-term research.

또한, 종래의 전처리 과정을 지원하는 신호 인식기는 전처리 과정이 일률적으로 진행되어 일반 사용자가 원하는 전처리 신호를 획득하는데 어려움이 있다.In addition, a signal recognizer supporting a conventional pre-processing process has difficulty in obtaining a pre-processed signal desired by a general user because the pre-processing process is uniformly performed.

한편, 데이터의 유효성을 빠르게 파악하여 활용해야 하는 신호 인식 분야에서는 기술 지연으로 인한 피해가 발생하는 문제점이 있었다.On the other hand, in the field of signal recognition in which the validity of data must be quickly identified and utilized, there is a problem that damage due to technology delay occurs.

대한민국 특허 공개번호 제10-2018-0096164호Korean Patent Publication No. 10-2018-0096164

이하 설명하는 본 발명은 다양한 형태의 신호에서 목표 값을 추정하기 위한 사용자 선택형 전처리 기법과, 멀티 레이블 딥러닝 학습을 위한 데이터 압축 기술을 이용하고, 특징 벡터의 압축을 수행하여 단일 특징을 기반으로 다수의 목표 값을 추정할 수 있으며, 이에 따라 사용자의 데이터에 적합하고 유연한 모델을 설계할 수 있는 멀티 레이블 신호 인식기 및 이를 생성하는 방법을 제공하고자 한다.The present invention described below uses a user-selectable preprocessing technique for estimating a target value from various types of signals, a data compression technique for multi-label deep learning learning, and compresses a feature vector to perform multiple features based on a single feature. It is intended to provide a multi-label signal recognizer capable of estimating the target value of and thus designing a flexible model suitable for user data and a method of generating the same.

본 발명의 일 측면에 따르면, 입력 받은 신호에 대해 복수의 전처리 과정을 선택하는 단계, 선택한 복수의 전처리 과정을 수행하는 단계, 전처리 과정 각각에 의해 생성된 3차원 데이터를 저장하는 단계, 저장된 3차원 데이터를 2차원 데이터로 압축하는 단계, 압축된 2차원 데이터에 대해 멀티 레이블 딥러닝 학습을 수행하는 단계, 멀티 레이블 딥러닝 학습을 통해 스마트 신호 인식기를 생성하는 단계를 포함하는 스마트 신호 인식기를 생성하는 방법을 제공한다.According to an aspect of the present invention, selecting a plurality of preprocessing processes for an input signal, performing a plurality of selected preprocessing processes, storing 3D data generated by each of the preprocessing processes, and storing 3D Compressing data into two-dimensional data, performing multi-label deep learning learning on the compressed two-dimensional data, generating a smart signal recognizer comprising the step of generating a smart signal recognizer through multi-label deep learning learning Provides a way.

또한, 본 발명의 다른(another) 측면에 따르면, 복수의 전처리 과정을 선택하는 단계는 사용자가 BPF, FFT, IFFT, ACF, RR(피크-피크 간격) 등의 과정을 원하는 순서와 설정 값으로 선택할 수 있다.In addition, according to another aspect of the present invention, in the step of selecting a plurality of preprocessing processes, the user selects a process such as BPF, FFT, IFFT, ACF, RR (peak-peak interval) in a desired order and set value. I can.

또한, 본 발명의 다른(another) 측면에 따르면, 복수의 전처리 과정을 수행하는 단계는 채널 수(N), 확장 횟수(J), 처리 횟수(P)에 대해서 0으로 초기화를 진행하는 단계, 다음 채널이 바뀔 때마다 채널의 단계(i)가 1만큼 증가하고 상기 i가 기설정된 상기 채널 수(N)에 도달했을 때 반복을 멈추도록 제어하는 단계, 한 개의 채널에서 상기 전처리를 통한 확장 방법이 바뀔 때 확장방법의 단계(j)가 1씩 증가하고 사용자가 지정한 상기 확장 횟수(J)에 도달하면 반복을 멈추도록 제어하는 단계 및 상기 전처리가 바뀔 때 처리 횟수의 단계(p)가 1씩 증가하고 상기 처리 횟수(P)에 도달했을 때 멈추도록 제어하는 단계를 포함할 수 있다. In addition, according to another aspect of the present invention, the step of performing a plurality of pre-processing steps is the step of initializing to 0 for the number of channels (N), the number of expansions (J), and the number of processing (P), the following Whenever the channel is changed, the step (i) of the channel increases by 1 and the step of controlling to stop repetition when i reaches the preset number of channels (N), the expansion method through the pre-processing in one channel When it is changed, the step (j) of the expansion method increases by 1, and the step of controlling the repetition to stop when the expansion number (J) specified by the user is reached, and the step (p) of the processing number increases by 1 when the preprocess is changed. And controlling to stop when the number of times of processing P is reached.

또한, 본 발명의 다른(another) 측면에 따르면, 생성된 3차원 데이터를 저장하는 단계는 각 채널의 개별 데이터를 X축을 데이터 길이(L)에 따라 나열하여 저장하고, 상기 채널 수(N)에 따라 Y축으로 위에서 아래로 나열하여 저장하고, 채널 별 데이터들을 확장함에 생긴 확장 횟수(J)를 Z축으로 앞에서 뒤 방향으로 나열하여 저장하는 것을 포함할 수 있다.In addition, according to another aspect of the present invention, the storing of the generated 3D data includes storing individual data of each channel by arranging the X-axis according to the data length (L), and storing the data in the number of channels (N). Accordingly, it may be arranged and stored from top to bottom along the Y-axis, and the number of expansions (J) generated by expanding data for each channel may be arranged and stored in a front-to-back direction along the Z axis.

또한, 본 발명의 다른(another) 측면에 따르면, 저장된 3차원 데이터를 2차원 데이터로 압축하는 단계는 특징 벡터의 압축을 수행하는 과정을 포함할 수 있다.Further, according to another aspect of the present invention, compressing the stored 3D data into 2D data may include performing compression of a feature vector.

또한, 본 발명의 다른(another) 측면에 따르면, 상기 입력 받은 신호는, 맥박, 호흡, 혈압 등 적어도 하나 이상인 신호를 포함할 수 있다.In addition, according to another aspect of the present invention, the received signal may include at least one signal such as pulse, respiration, and blood pressure.

본 발명의 일 측면에 따르면, 스마트 신호 인식기는 사용자를 센싱하여 센싱 정보를 생성하는 센서와 상기 센서에서 전송된 상기 센싱 정보를 멀티 레이블 딥러닝 학습하도록 제어하는 프로세서를 포함하고, 상기 프로세서는, 센싱 정보에 대해 사용자 선택형 복수의 전처리 과정을 수행하고, 상기 복수의 전처리 과정 각각에 의해 생성된 3차원 데이터를 저장하고, 상기 복수의 전처리 과정 각각에 의해 생성된 3차원 데이터를 2차원 데이터로 압축하고, 압축된 상기 2차원 데이터에 대해, 멀티 레이블 딥러닝 학습을 수행하고, 상기 멀티 레이블 딥러닝 학습을 통해, 스마트 신호 인식 모델을 생성하는 것을 포함한다.According to an aspect of the present invention, a smart signal recognizer includes a sensor that senses a user to generate sensing information, and a processor that controls the sensing information transmitted from the sensor to learn multi-label deep learning, and the processor includes: Perform a plurality of user-selectable preprocessing processes for information, store 3D data generated by each of the plurality of preprocessing processes, and compress the 3D data generated by each of the plurality of preprocessing processes into 2D data. And performing multi-label deep learning learning on the compressed 2D data, and generating a smart signal recognition model through the multi-label deep learning learning.

또한, 본 발명의 다른(another) 측면에 따르면, 상기 프로세서는, 특징 벡터의 압축을 수행하는 것을 포함할 수 있다.Further, according to another aspect of the present invention, the processor may include performing compression of a feature vector.

또한, 본 발명의 다른(another) 측면에 따르면, 상기 센싱 정보는, 맥박, 호흡, 혈압 등 적어도 하나 이상인 신호를 포함할 수 있다.In addition, according to another aspect of the present invention, the sensing information may include at least one signal such as pulse, respiration, and blood pressure.

또한, 본 발명의 다른(another) 측면에 따르면, 상기 프로세서는, 채널 수(N), 확장 횟수(J), 처리 횟수(P)에 대해서 0으로 초기화를 진행하고, 다음 채널이 바뀔 때마다 채널의 단계(i)가 1만큼 증가하고 상기 i가 기설정된 상기 채널 수(N)에 도달했을 때 반복을 멈추도록 제어하고, 한 개의 채널에서 상기 전처리를 통한 확장 방법이 바뀔 때 확장방법의 단계(j)가 1씩 증가하고 사용자가 지정한 상기 확장 횟수(J)에 도달하면 반복을 멈추도록 제어하고, 상기 전처리가 바뀔 때 처리 횟수의 단계(p)가 1씩 증가하고 상기 처리 횟수(P)에 도달했을 때 멈추도록 제어하는 것을 포함할 수 있다. In addition, according to another aspect of the present invention, the processor initializes the number of channels (N), the number of expansions (J), and the number of processing (P) to 0, and whenever the next channel is changed, the channel When step (i) of is increased by 1 and the repetition is stopped when i reaches the preset number of channels (N), and when the expansion method through the preprocessing in one channel is changed, the step of the expansion method ( When j) increases by 1 and reaches the expansion number (J) specified by the user, the repetition is controlled to stop, and when the preprocess is changed, the step (p) of the number of processing increases by 1, and the number of processing (P) increases. This may include controlling to stop when reached.

또한, 본 발명의 다른(another) 측면에 따르면, 상기 프로세서는, 각 채널의 개별 데이터를 X축을 데이터 길이(L)에 따라 나열하여 저장하고, 상기 채널 수(N)에 따라 Y축으로 위에서 아래로 나열하여 저장하고, 상기 채널 별 데이터들을 확장함에 생긴 확장 횟수(J)를 Z축으로 앞에서 뒤 방향으로 나열하여 저장하는 것을 포함할 수 있다.In addition, according to another aspect of the present invention, the processor stores individual data of each channel by arranging and storing the X-axis according to the data length (L), and from top to bottom in the Y-axis according to the number of channels (N). And storing the number of expansions (J) generated by expanding the data for each channel in a Z-axis in a front-to-back direction and storing them.

이하 설명하는 기술은 신호 처리 기술과 신호 인식 모델의 구조 및 설계 능력이 없는 일반 사용자도 원하는 전처리 신호의 변환 순서 및 설정을 선택하고, 수행할 수 있을 정도로 손쉽게 스마트 신호 인식기를 사용할 수 있을 뿐만 아니라, 단시간에 데이터의 유효성 분석과 인식 모델을 생성하여, 최소의 정보를 입력 받아 인식 모델을 생성할 수 있기 때문에 새로운 기술에 적용하는 이점을 최대화할 수 있다The technology described below not only allows general users who do not have the signal processing technology and signal recognition model structure and design capability to use the smart signal recognizer easily enough to select and perform the desired conversion sequence and setting of the preprocessed signal. It is possible to maximize the benefits of applying a new technology because it is possible to generate a recognition model by receiving the minimum information by analyzing the validity of data and generating a recognition model in a short time.

또한, 본 발명은 시계열 데이터의 주파수 분석과 필터링, BPF, FFT, IFFT, ACF, RR 등을 활용한 전처리를 다채널에 대해 수행할 수 있는 기법과 멀티 레이블 딥러닝을 학습하여 단일 입력으로 다수의 결과를 도출할 수 있는 효과가 있다.In addition, the present invention learns a technique capable of performing pre-processing using frequency analysis and filtering of time series data, BPF, FFT, IFFT, ACF, RR, etc. for multi-channels and multi-label deep learning with a single input. There is an effect that can derive results.

또한, 본 발명은 사용자 목적에 맞는 인식기 생성을 위해 시간 도메인과 주파수 도메인 특성을 모두 고려한 사용자 선택형 전처리를 수행하여 학습에 필요한 특징 벡터 생성시간을 획기적으로 단축시킬 수 있는 효과가 있다.In addition, the present invention has the effect of remarkably shortening the feature vector generation time required for learning by performing user-selective pre-processing in consideration of both time domain and frequency domain characteristics in order to generate a recognizer suitable for a user's purpose.

도 1은 본 발명의 실시 예에 따른 스마트 신호 인식기의 구성을 도시한 예이다.
도 2는 본 발명의 일실시 예에 따른 스마트 신호 인식기를 이용하여 모델을 생성하는 것을 설명하기 위한 도이다.
도 3은 본 발명의 일실시 예에 따른 스마트 신호 인식기를 이용하여 신호 인식 모델을 생성하는 전체적인 흐름도를 설명하기 위한 도이다.
도 4는 본 발명의 일실시 예에 따른 다채널 딥러닝 학습 과정을 설명하기 위한 도이다.
도 5는 본 발명의 일실시 예에 따른 DB관리부를 설명하기 위한 도이다.
도 6 및 도 7은 본 발명의 일실시 예에 따라 전처리된 DB를 신호 인식기의 입력 형태로 변형된 개별 데이터의 형태 변환을 설명하기 위한 도이다.
도 8은 본 발명의 일실시 예에 따라 스마트 인식 신호기를 이용하여 멀티 레이블 딥러닝 학습하는 것을 설명하기 위한 도이다.
도 9는 본 발명의 일실시 예에 따른 사용자 선택형 전처리 기법이 적용된 스마트 신호 인식기를 이용하여 신호 인식 모델을 생성하는 전체적인 흐름도를 설명하기 위한 도이다.
도 10은 본 발명의 일실시 예에 따른 스마트 인식 신호기를 생성하는 일례를 설명하기 위한 도이다.1 is an example of a configuration of a smart signal recognizer according to an embodiment of the present invention.
2 is a diagram for explaining generating a model using a smart signal recognizer according to an embodiment of the present invention.
3 is a diagram illustrating an overall flow chart of generating a signal recognition model using a smart signal recognizer according to an embodiment of the present invention.
4 is a diagram illustrating a multi-channel deep learning learning process according to an embodiment of the present invention.
5 is a diagram illustrating a DB management unit according to an embodiment of the present invention.
6 and 7 are diagrams for explaining conversion of the form of individual data transformed from a preprocessed DB into an input form of a signal recognizer according to an embodiment of the present invention.
8 is a diagram illustrating multi-label deep learning learning using a smart recognition signal according to an embodiment of the present invention.
9 is a diagram for explaining an overall flowchart of generating a signal recognition model using a smart signal recognizer to which a user-selectable preprocessing technique is applied according to an embodiment of the present invention.
10 is a diagram illustrating an example of generating a smart recognition signal according to an embodiment of the present invention.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the technology described below can apply various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the technology to be described below with respect to a specific embodiment, and it should be understood to include all changes, equivalents, or substitutes included in the spirit and scope of the technology to be described below.

제1, 제2, A, B 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 해당 구성 요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as 1st, 2nd, A, B, etc. may be used to describe various components, but the components are not limited by the above terms, and only for the purpose of distinguishing one component from other components. Is only used. For example, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component without departing from the scope of the rights of the technology described below. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.In terms of the terms used in the present specification, expressions in the singular should be understood as including plural expressions unless clearly interpreted differently in context, and terms such as "includes" are specified features, numbers, steps, actions, and components. It is to be understood that the presence or addition of one or more other features or numbers, step-acting components, parts, or combinations thereof is not meant to imply the presence of, parts, or combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.Prior to the detailed description of the drawings, it is intended to clarify that the division of the constituent parts in the present specification is merely divided by the main function that each constituent part is responsible for. That is, two or more constituent parts to be described below may be combined into one constituent part, or one constituent part may be divided into two or more for each more subdivided function. In addition, each of the constituent units to be described below may additionally perform some or all of the functions of other constituent units in addition to its own main function, and some of the main functions of each constituent unit are different. It goes without saying that it can also be performed exclusively by.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In addition, in performing the method or operation method, each of the processes constituting the method may occur differently from the specified order unless a specific order is clearly stated in the context. That is, each of the processes may occur in the same order as the specified order, may be performed substantially simultaneously, or may be performed in the reverse order.

도 1은 본 발명의 실시 예에 따른 스마트 신호 인식기의 구성을 도시한 예이다. 1 is an example of a configuration of a smart signal recognizer according to an embodiment of the present invention.

도 1을 살펴보면, 본 발명의 스마트 신호 인식기는 다양한 형태의 신호에서 목표 값을 추정하기 위한 사용자 선택형 전처리 기법과 멀티 레이블 딥러닝 학습을 위한 스마트 데이터 압축 기술을 이용하고, 특징 벡터의 압축을 수행하여 단일 특징을 기반으로 다수의 목표 값을 추정할 수 있으며, 이에 따라 사용자의 데이터에 적합하고 유연한 모델을 설계할 수 있다. 스마트 신호 인식기는 사용자의 분당 맥박 수, 분당 호흡 수, 혈압 등을 측정할 수 있다. 사용자는 스마트 신호 인식기에 내장된 센서를 이용하여 사용자의 맥박, 호흡, 혈압 신호 등을 센싱할 수 있다. 예를 들어, 스마트 신호 인식기는 멀티 레이블 신호 인식기, 스마트 기기, 적어도 하나의 센서가 내장된 휴대폰, 스마트 폰, 웨어러블 기기 등을 포함할 수 있다.Referring to FIG. 1, the smart signal recognizer of the present invention uses a user-selectable preprocessing technique for estimating target values in various types of signals, and a smart data compression technique for multi-label deep learning learning, and compresses feature vectors. Multiple target values can be estimated based on a single feature, and accordingly, a flexible model suitable for user data can be designed. The smart signal recognizer can measure the user's pulse rate per minute, breaths per minute, and blood pressure. The user can sense the user's pulse, respiration, and blood pressure signals using sensors built into the smart signal recognizer. For example, the smart signal recognizer may include a multi-label signal recognizer, a smart device, a mobile phone in which at least one sensor is embedded, a smart phone, a wearable device, and the like.

본 발명은 LF 활성도(LF Activity, LF'A) 또는 HF 활성도(HF Activity, HF'A)를 이용할 수 있다.In the present invention, LF activity (LF'A) or HF activity (HF'A) may be used.

LF 활성도(LF Activity, LF'A)는 신체에서 교감신경의 활성화 정도를 나타낼 수 있다. LF 활성도란 심박간격 타코그램(Tachogram)을 FFT를 이용하여 주파수 영역으로 변환하고 이 영역에서 0.04~0.15Hz 사이 주파수 대역의 에너지를 말할 수 있다. LF대역의 파워 스펙트럼 밀도 값의 합에 자연로그(Natural Logarithm)를 취해 LF활성도를 산출할 수 있다.LF Activity (LF'A) can indicate the degree of sympathetic nerve activation in the body. LF activity is a heartbeat interval tachogram converted to a frequency domain using FFT, and in this domain, energy in a frequency band between 0.04 and 0.15 Hz can be said. LF activity can be calculated by taking a natural logarithm to the sum of the power spectral density values of the LF band.

HF 활성도(HF Activity, HF'A)는 신체에서 부교감신경의 활성화 정도를 나타낼 수 있다. HF 활성도란 심박간격 타코그램(Tachogram)을 FFT를 이용하여 주파수 영역으로 변환하고 이 영역에서 0.15~0.4Hz 사이 주파수 대역의 에너지를 말할 수 있다. HF 대역의 파워 스펙트럼 밀도 값의 합에 자연로그(Natural Logarithm)를 취해 HF 활성도를 산출할 수 있다.HF activity (HF'A) can indicate the degree of parasympathetic activity in the body. HF activity is a heartbeat interval tachogram converted into a frequency domain using FFT, and in this domain, energy in a frequency band between 0.15 and 0.4 Hz can be said. HF activity can be calculated by taking a natural logarithm to the sum of the power spectral density values of the HF band.

본 발명의 입력에 사용되는 신호는 RGB 색상 체계를 비롯해서 YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계의 신호를 사용할 수도 있다. 일례로, RGB 색상 체계를 YCgCo 색상 체계로 변환하여 산출된 Cg 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하여 산출된 맥파 신호에서 피크 지점을 검출하고, 피크 지점을 이용하여 심박 간격(Peak와 Peak 사이 간격) 타코그램(Tachogram)을 도출할 수 있다. 본 발명은 맥파 신호에서 계산된 맥박과 타코그램(Tachogram)의 주파수 분석을 통해 산출된 파라미터 값을 이용하여 다양한 건강지표 또는 사용자의 감정 등을 인식할 수 있다.Signals used for the input of the present invention may use signals of various color systems such as YUV, HSV, YCbCr, YCgCo, etc. as well as RGB color system. As an example, a peak point is detected in the pulse wave signal calculated by applying BPF (Band Pass Filter) to the average value of Cg color data calculated by converting the RGB color system to the YCgCo color system, and using the peak point, the heartbeat interval (Peak and Interval between peaks) Tachogram can be derived. The present invention may recognize various health indicators or user emotions using a pulse rate calculated from a pulse wave signal and a parameter value calculated through frequency analysis of a tachogram.

도 1의 (a)를 살펴보면, 스마트 신호 인식기(50)는 센서(51), 저장 장치(52), 연산 장치(53) 및 출력 장치(54)를 포함할 수 있다. Referring to FIG. 1A, the smart signal recognizer 50 may include a sensor 51, a storage device 52, a computing device 53, and an output device 54.

센서(51)는 사용자의 신체를 센싱하고, 센싱된 정보 또는 데이터를 이용하여 사용자의 건강 지표 상태를 획득할 수 있다. 센서는 스마트 신호 인식기(50)에 내장된 혈압 센서, 압력 센서, 피부 온도 센서, 심박 센서, 호흡 센서 등을 포함할 수 있다.The sensor 51 may sense the user's body and obtain a health indicator state of the user by using the sensed information or data. The sensor may include a blood pressure sensor, a pressure sensor, a skin temperature sensor, a heart rate sensor, a breath sensor, etc. built into the smart signal recognizer 50.

연산 장치(53)는 센서(51)로부터 센싱 정보를 공급받아, 센싱 정보에서 목표 값을 추정하기 위한 사용자 선택형 전처리 기법과, 멀티 레이블 딥러닝 학습을 위한 스마트 데이터 압축 기술을 이용하고, 특징 벡터의 압축을 수행하여 단일 특징을 기반으로 다수의 목표 값을 추정할 수 있으며, 이에 따라 사용자의 데이터에 적합하고 유연한 모델을 설계할 수 있으며, 멀티 레이블 딥러닝을 학습하여 단일 입력으로 다수의 결과를 도출할 수 있다. 연산 장치(53)는 제어 장치, 컨트롤러 또는 프로세서라 칭할 수 있다.The computing device 53 receives sensing information from the sensor 51, uses a user-selectable pre-processing technique for estimating a target value from the sensing information, and a smart data compression technology for multi-label deep learning learning, By performing compression, it is possible to estimate multiple target values based on a single feature, and accordingly, it is possible to design a flexible model suitable for the user's data, and to derive multiple results with a single input by learning multi-label deep learning. can do. The computing device 53 may be referred to as a control device, a controller, or a processor.

저장 장치(52)는 센서(51) 또는 연산 장치(53)와 전기적으로 연결될 수 있다.The storage device 52 may be electrically connected to the sensor 51 or the computing device 53.

또한, 저장 장치(52)는 센서(51)로부터 공급되는 센싱 정보를 임시로 저장할 수 있다. Also, the storage device 52 may temporarily store sensing information supplied from the sensor 51.

출력 장치(54)는 연산 장치(53)가 멀티 레이블 딥러닝을 학습하여 도출된 결과를 출력할 수 있다. 예를 들어, 출력 장치(54)는 디스플레이부를 포함할 수 있다. 디스플레이부는 연산 장치(53)에서 멀티 레이블 딥러닝을 학습하여 단일 입력으로 다수의 결과를 도출하면 결과를 디스플레이할 수 있다.The output device 54 may output a result derived by the operation device 53 learning multi-label deep learning. For example, the output device 54 may include a display unit. The display unit may display the results by learning multi-label deep learning in the computing device 53 and derive a plurality of results with a single input.

도 1의 (b)를 살펴보면, 본 발명은 컴퓨터(85)와 같은 장치를 이용하여 비접촉식 또는 접촉식으로 사용자의 신체를 센싱하고, 센싱된 정보 또는 데이터를 이용하여 사용자의 건강 지표 상태를 획득할 수 있다. 센서(81)는 스마트 신호 인식기(50)에 내장된 혈압 센서, 압력 센서, 피부 온도 센서, 심박 센서, 호흡 센서 등을 포함할 수 있다. 사용자는 컴퓨터(85)에 연결된 센서(81)를 이용하여 사용자를 센싱할 수 있다. 컴퓨터(85)는 센서(81)로부터 센싱 정보를 공급받아, 센싱 정보에서 목표 값을 추정하기 위한 사용자 선택형 전처리 기법과, 멀티 레이블 딥러닝 학습을 위한 스마트 데이터 압축 기술을 이용하고, 특징 벡터의 압축을 수행하여 단일 특징을 기반으로 다수의 목표 값을 추정할 수 있으며, 이에 따라 사용자의 데이터에 적합하고 유연한 모델을 설계할 수 있다.Referring to (b) of FIG. 1, the present invention uses a device such as a computer 85 to sense a user's body in a non-contact or contact manner, and to obtain a user's health index state using the sensed information or data. I can. The sensor 81 may include a blood pressure sensor, a pressure sensor, a skin temperature sensor, a heart rate sensor, a breath sensor, etc. built into the smart signal recognizer 50. The user may sense the user by using the sensor 81 connected to the computer 85. The computer 85 receives sensing information from the sensor 81, uses a user-selectable preprocessing technique for estimating a target value from the sensing information, and a smart data compression technology for multi-label deep learning learning, and compresses feature vectors. It is possible to estimate a number of target values based on a single feature by performing, and accordingly, it is possible to design a flexible model that is suitable for the user's data.

도 1의 (c)를 살펴보면, 본 발명은 사용자 단말(91)로 획득한 센싱 정보를 원격지에 있는 서버(95)에 제공함으로써, 원격으로 헬스 케어 등의 서비스를 제공받을 수 있다. 사용자는 사용자 단말(91)에 내장된 센서로 사용자를 센싱할 수 있다. 사용자 단말(91)은 센싱된 정보를 네트워크를 통해 서버(95)에 전달할 수 있다. 이 경우 사용자 단말(91)은 데이터 전송을 위한 통신 모듈을 포함할 수 있다. Referring to FIG. 1C, the present invention provides the sensing information acquired by the user terminal 91 to the server 95 in a remote location, thereby providing services such as health care remotely. The user can sense the user with a sensor built into the user terminal 91. The user terminal 91 may transmit the sensed information to the server 95 through a network. In this case, the user terminal 91 may include a communication module for data transmission.

서버(95)는 사용자 단말(91)로부터 센싱 정보를 공급받아, 센싱 정보에서 목표 값을 추정하기 위한 사용자 선택형 전처리 기법과, 멀티 레이블 딥러닝 학습을 위한 스마트 데이터 압축 기술을 이용하고, 특징 벡터의 압축을 수행하여 단일 특징을 기반으로 다수의 목표 값을 추정할 수 있으며, 이에 따라 사용자의 데이터에 적합하고 유연한 모델을 설계할 수 있다. 서버(95)는 설계된 사용자의 데이터에 적합하고 유연한 모델을 사용자 단말(91)에 전송 또는 전달할 수 있다.The server 95 receives sensing information from the user terminal 91, uses a user-selectable preprocessing technique for estimating a target value from the sensing information, and a smart data compression technique for multi-label deep learning learning, By performing compression, multiple target values can be estimated based on a single feature, and accordingly, a flexible model suitable for the user's data can be designed. The server 95 may transmit or transmit a flexible model suitable for the designed user's data to the user terminal 91.

경우에 따라서는 사용자 단말(91)이 센싱 정보로, 센싱 정보에서 목표 값을 추정하기 위한 사용자 선택형 전처리 기법과, 멀티 레이블 딥러닝 학습을 위한 스마트 데이터 압축 기술을 이용하고, 특징 벡터의 압축을 수행하여 단일 특징을 기반으로 다수의 목표 값을 추정할 수 있으며, 이에 따라 사용자의 데이터에 적합하고 유연한 모델을 설계할 수 있다. 사용자 단말(91)은 설계된 사용자의 데이터에 적합하고 데이터에 유연한 모델을 서버(95)에 전달할 수 있다. 이 경우 서버(95)는 설계된 사용자의 데이터에 적합하고 유연한 모델을 저장할 수 있다.In some cases, the user terminal 91 uses a user-selectable preprocessing technique for estimating a target value from the sensing information as sensing information, and a smart data compression technology for multi-label deep learning learning, and compresses feature vectors. Thus, a number of target values can be estimated based on a single feature, and accordingly, a flexible model suitable for the user's data can be designed. The user terminal 91 may transmit a model suitable for the designed user's data and flexible to the data to the server 95. In this case, the server 95 may store a flexible model suitable for the designed user's data.

상술한 바와 같이, 다양한 전자 장치가 비접촉식 또는 접촉식으로 센싱된 센싱 정보를 이용하여 목표 값을 추정하기 위한 사용자 선택형 전처리 기법과, 멀티 레이블 딥러닝 학습을 위한 스마트 데이터 압축 기술을 이용하고, 특징 벡터의 압축을 수행하여 단일 특징을 기반으로 다수의 목표 값을 추정할 수 있으며, 이에 따라 사용자의 데이터에 적합하고 유연한 모델을 설계할 수 있다. As described above, various electronic devices use a user-selectable preprocessing technique for estimating a target value using non-contact or contact-sensed sensing information, and a smart data compression technique for multi-label deep learning learning, and feature vectors. It is possible to estimate a number of target values based on a single feature by performing compression of, and accordingly, a flexible model suitable for the user's data can be designed.

이하 스마트 신호 인식기가 센싱 정보를 센싱한다고 설명한다.Hereinafter, it will be described that the smart signal recognizer senses sensing information.

도 2는 본 발명의 일실시 예에 따른 스마트 신호 인식기를 이용하여 모델을 생성하는 것을 설명하기 위한 도이다.2 is a diagram for explaining generating a model using a smart signal recognizer according to an embodiment of the present invention.

도 2를 살펴보면, 스마트 신호 인식기는 적어도 하나 이상의 센서를 이용하여 센싱 정보를 획득할 수 있다. 스마트 신호 인식기는 임의의 신호 또는 정보들이 모여 있는 기존 DB를 BPF(Band Pass Filter), FFT(Fast Fourier Transform), IFFT(Inverse Fast Fourier Transform), ACF(Auto Correlation Function), RR 등과 같은 시간 도메인과 주파수 도메인 특성을 모두 고려한 다양한 데이터 전처리를 수행할 수 있다.Referring to FIG. 2, the smart signal recognizer may acquire sensing information using at least one sensor. The smart signal recognizer converts the existing DB with arbitrary signals or information into time domains such as BPF (Band Pass Filter), FFT (Fast Fourier Transform), IFFT (Inverse Fast Fourier Transform), ACF (Auto Correlation Function), RR, etc. Various data preprocessing can be performed in consideration of all frequency domain characteristics.

스마트 신호 인식기는 이후 전처리된 DB를 이용하여 멀티 레이블 딥러닝을 학습할 수 있고, 학습된 멀티 레이블 딥러닝을 통해 다채널의 파형이 다양한 전처리의 결과에 따라 누적된 3차원의 데이터를 입력 받을 수 있다.The smart signal recognizer can then learn multi-label deep learning using the preprocessed DB, and through the learned multi-label deep learning, multi-channel waveforms can receive three-dimensional data accumulated according to the results of various pre-processing. have.

이에 따라, 스마트 신호 인식기는 3차원 데이터를 멀티 레이블 딥러닝으로 입력하기 위한 데이터 압축 부분에서 멀티 레이블 인식 모델 학습에 필요한 특징 벡터의 압축을 수행하여 입력 받을 수 있다. 예를 들어, 스마트 신호 인식기는 다채널의 파형을 입력 받아 맥박, 호흡, 혈압 등과 같은 다양한 신호를 인식하여 진행할 수 있다. Accordingly, the smart signal recognizer may perform compression of a feature vector required for learning a multi-label recognition model in a data compression part for inputting 3D data through multi-label deep learning and receive input. For example, the smart signal recognizer may receive multi-channel waveforms and recognize various signals such as pulse, respiration, and blood pressure to proceed.

본 발명의 스마트 신호 인식기는 기존 사용자가 보유하고 있는 DB를 이용하여 사용자가 원하는 데이터 전처리를 선택한 후 스스로 학습 데이터를 확장할 수 있으며, 특징을 재구성할 수 있다. 이후 본 발명의 스마트 신호 인식기는 전처리된 DB를 이용하여 멀티 레이블 딥러닝을 학습할 수 있다. 본 발명의 스마트 신호 인식기는 다채널의 파형이 다양한 전처리에 따라 누적되어 3차원의 데이터로 구성될 수 있다. 이에 대한 자세한 설명은 후술하기로 한다. 본 발명의 스마트 신호 인식기는 재생산된 학습 데이터를 딥러닝 모델을 학습하기 위한 개별 데이터의 형태로 변환하여 멀티 레이블 딥러닝 학습 데이터로 사용할 수 있다. 이에 따라, 3차원 데이터를 멀티 레이블 딥러닝 입력데이터로 변환하기 위한 데이터 압축을 수행할 수 있다. 압축 부분에서 멀티 레이블 인식 모델 학습에 필요한 특징 벡터의 압축을 수행하는데, 데이터 압축 처리를 전체 딥러닝 모델 앞부분의 2개 레이어를 추가하여 압축함으로써, 동시에(또는 순차적으로) 학습할 수 있다.The smart signal recognizer of the present invention can expand the learning data by itself after selecting the desired data preprocessing using the DB owned by the existing user, and can reconstruct the features. Thereafter, the smart signal recognizer of the present invention can learn multi-label deep learning using the preprocessed DB. In the smart signal recognizer of the present invention, multi-channel waveforms may be accumulated according to various pre-processing to constitute three-dimensional data. A detailed description of this will be described later. The smart signal recognizer of the present invention can convert the reproduced training data into individual data for training a deep learning model and use it as multi-label deep learning training data. Accordingly, data compression for converting 3D data into multi-label deep learning input data may be performed. In the compression part, feature vectors required for multi-label recognition model training are compressed, and data compression processing can be performed simultaneously (or sequentially) by adding and compressing two layers in front of the entire deep learning model.

도 3은 본 발명의 일실시 예에 따른 스마트 신호 인식기를 이용하여 신호 인식 모델을 생성하는 전체적인 흐름도를 설명하기 위한 도이다. 3 is a diagram illustrating an overall flow chart of generating a signal recognition model using a smart signal recognizer according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 스마트 신호 인식기는 사용자가 보유하고 있는 단일 채널 또는 N-채널 신호를 기존 DB로 입력 받을 수 있다.Referring to FIG. 3, the smart signal recognizer of the present invention can receive a single channel or an N-channel signal held by a user into an existing DB.

본 발명의 스마트 신호 인식기는 기존 DB를 통해 입력된 복수의 데이터를 이용하여 사용자 선택형 데이터 전처리를 진행할 수 있다. 사용자 선택형 데이터 전처리는 우선적으로 사용자가 보유하고 있는 기존 DB의 채널 수(N)를 입력하고, 사용자가 원하는 전처리로 확장하는 횟수(J)을 입력할 수 있다. The smart signal recognizer of the present invention can perform user-selectable data preprocessing using a plurality of data input through an existing DB. In the preprocessing of user-selectable data, first, the number of channels (N) of the existing DB owned by the user is input, and the number of expansions (J) to the preprocessing desired by the user can be input.

스마트 신호 인식기는 하나의 파일에 진행되는 전처리에서 FFT(Fast Fourier Transform), BPF(Band Pass Filter), ACF(Auto Correlation Function), RR 등과 같은 시간 도메인과 주파수 도메인 특성을 모두 고려한 다양한 전처리를 몇 번(P) 진행할지 여부를 선택하거나 지정할 수 있다.The smart signal recognizer performs various preprocessing several times in consideration of both time domain and frequency domain characteristics such as Fast Fourier Transform (FFT), Band Pass Filter (BPF), Auto Correlation Function (ACF), and RR in preprocessing in one file. (P) You can select or designate whether to proceed.

스마트 신호 인식기는 지정된 기존 DB의 채널 수(N), 확장 횟수(J), 처리 횟수(P)를 이용하여, FFT, BPF, ACF, RR 등과 같은 시간 도메인과 주파수 도메인 특성을 모두 고려한 다양한 전처리를 진행하여 데이터의 양을 늘리거나 확장할 수 있다. The smart signal recognizer uses the number of channels (N), the number of expansions (J), and the number of processing (P) of the specified existing DB, and performs various pre-processing that considers both time and frequency domain characteristics such as FFT, BPF, ACF, RR, etc. You can go ahead and increase or expand the amount of data.

스마트 신호 인식기는 채널 수(N), 확장 횟수(J), 순서(P)에 대해서 0으로 초기화를 진행할 수 있다. The smart signal recognizer may initialize to 0 for the number of channels (N), the number of expansions (J), and the order (P).

스마트 신호 인식기는 다음 채널이 바뀔 때마다 i가 1만큼 증가하고 i가 전체 채널 수(N)에 도달했을 때 반복을 멈추도록 제어할 수 있다. The smart signal recognizer can control i to increase by 1 each time the next channel changes and to stop repetition when i reaches the total number of channels (N).

스마트 신호 인식기는 한 개의 채널에서 전처리를 통한 확장 방법이 바뀔 때 j가 1씩 증가하고 사용자가 지정한 확장 횟수(J)에 도달하면 반복을 멈추도록 제어할 수 있다. The smart signal recognizer can control to stop repetition when j increases by 1 when the expansion method through preprocessing in one channel is changed and reaches the expansion number (J) specified by the user.

스마트 신호 인식기는 처리 횟수 역시 하나의 확장 방법에서 동시에(또는 순차적으로) 작동되는 전처리가 바뀔 때 p가 1씩 증가하고 처리 횟수(P)에 도달했을 때 멈추도록 제어할 수 있다. The smart signal recognizer can also control the number of processings to increase by 1 when preprocessing, which is operated simultaneously (or sequentially) in one extension method, is changed, and to stop when the number of processings (P) is reached.

상술한 바와 같이, 스마트 신호 인식기는 총 한 번의 확장 횟수에 P개의 전처리가 진행되고 각 채널의 데이터 확장 횟수는 J번 인 N개의 채널에 대한 데이터가 생성될 수 있다. 이 과정을 모두 마친 데이터를 전처리된 DB로 정의할 수 있다. 스마트 신호 인식기는 전처리된 DB를 이용하여 다채널 딥러닝 학습을 진행할 수 있다.As described above, in the smart signal recognizer, P preprocessing is performed at a total number of expansion times, and data for N channels may be generated in which the data expansion number of each channel is J times. Data that has completed this process can be defined as a pre-processed DB. The smart signal recognizer can perform multi-channel deep learning learning using the preprocessed DB.

도 4는 본 발명의 일실시 예에 따른 다채널 딥러닝 학습 과정을 설명하기 위한 도이다.4 is a diagram illustrating a multi-channel deep learning learning process according to an embodiment of the present invention.

도 4를 살펴보면, 스마트 신호 인식기는 각 채널 별로 확장 횟수와 처리 횟수를 통해 정렬한 데이터를 전처리된 DB에 저장할 수 있다.Referring to FIG. 4, the smart signal recognizer may store data sorted through the number of expansions and processing times for each channel in a preprocessed DB.

스마트 신호 인식기는 전처리된 DB를 입력 데이터로 활용하기 위해 개별 데이터의 형태 변환을 진행할 수 있다.The smart signal recognizer can convert the form of individual data to use the preprocessed DB as input data.

스마트 신호 인식기는 각 채널의 개별 데이터를 X축을 데이터 길이(L)에 따라 나열하게 되고 채널 수(N)에 따라 Y축으로 위에서 아래로 나열되도록 제어할 수 있다. 스마트 신호 인식기는 채널 별 데이터들을 확장함에 생긴 확장 횟수(J)를 Z축으로 앞에서 뒤 방향으로 구성할 수 있다. 즉, 스마트 신호 인식기의 입력은 X축을 데이터 길이(L), Y축을 채널 수(N), Z축을 확장 횟수(J)로 갖는 3차원 입력 데이터로 구성될 수 있다.The smart signal recognizer can control individual data of each channel to be arranged on the X-axis according to the data length (L), and to be arranged from top to bottom on the Y-axis according to the number of channels (N). The smart signal recognizer can configure the number of expansions (J) caused by expanding data for each channel in the Z-axis from front to back. That is, the input of the smart signal recognizer may be composed of 3D input data having the X-axis as the data length (L), the Y-axis as the number of channels (N), and the Z-axis as the number of expansions (J).

멀티 레이블 딥러닝의 입력은 2차원 값이므로 3차원 입력 데이터를 2차원 데이터로 축소하는 레이어 2개를 멀티 레이블 딥러닝 앞부분에 추가할 수 있다. 스마트 신호 인식기의 전체적인 모델 구성은 후술할 도 8과 같이 데이터 압축과 멀티 레이블 딥러닝이 연결된 모양일 수 있다.Since the input of multi-label deep learning is a two-dimensional value, two layers that reduce the three-dimensional input data to two-dimensional data can be added to the front of the multi-label deep learning. The overall model configuration of the smart signal recognizer may have a shape in which data compression and multi-label deep learning are connected as shown in FIG. 8 to be described later.

도 5는 본 발명의 일실시 예에 따른 DB관리부를 설명하기 위한 도이다.5 is a diagram illustrating a DB management unit according to an embodiment of the present invention.

도 5를 살펴보면, DB관리부는 처음 입력으로 N개 채널의 신호 데이터를 입력 받게 되면, 상술한 바와 같이 사용자 선택형 데이터 전처리를 통하여 전처리된 DB를 구성할 수 있다. Referring to FIG. 5, when the DB management unit receives signal data of N channels as input for the first time, it is possible to configure a preprocessed DB through user-selective data preprocessing as described above.

스마트 신호 인식기는 전처리된 DB에서 처음 들어온 채널에 대해서 확장 횟수(J)에 따라 나열되도록 저장할 수 있다. 예를 들어, 스마트 신호 인식기는 전처리된 DB에서 처음 들어온 채널에 PS DB 1 ~ PS DB J와 같이 나열되도록 저장할 수 있다.The smart signal recognizer can store the channels first entered from the preprocessed DB so that they are listed according to the number of expansions (J). For example, the smart signal recognizer can be stored to be listed as PS DB 1 ~ PS DB J in the channel first entered from the preprocessed DB.

스마트 신호 인식기는 그 다음 입력된 채널에 대해서 동일하게 확장 횟수에 따라 나열되도록 저장할 수 있다. 예를 들어, 스마트 신호 인식기는 그 다음 입력된 채널에 PS DB J+1 ~ PS DB Jx2와 같이 나열되도록 저장할 수 있다.The smart signal recognizer may store the next input channel to be listed according to the number of expansions equally. For example, the smart signal recognizer can then store the input channel to be listed as PS DB J+1 to PS DB Jx2.

스마트 신호 인식기는 전처리된 DB의 마지막 채널의 경우 맨 뒤에 나열되도록 저장할 수 있다. 예를 들어, 스마트 신호 인식기는 전처리된 DB의 마지막 채널의 경우 맨 뒤에 PS DB Jx(N-1)+1 ~ PS DB JxN 와 같이 나열되도록 저장할 수 있다.The smart signal recognizer can store the last channel of the preprocessed DB so that it is listed at the end. For example, the smart signal recognizer can store the last channel of the preprocessed DB so that it is listed as PS DB Jx(N-1)+1 ~ PS DB JxN at the end.

도 6 및 도 7은 본 발명의 일실시 예에 따라 전처리된 DB를 신호 인식기의 입력 형태로 변형된 개별 데이터의 형태 변환을 설명하기 위한 도이다.6 and 7 are diagrams for explaining conversion of the form of individual data transformed from a preprocessed DB into an input form of a signal recognizer according to an embodiment of the present invention.

도 6 및 도 7을 살펴보면, 스마트 신호 인식기의 입력 형태는 3차원으로 구성될 수 있다. 6 and 7, the input form of the smart signal recognizer may be configured in three dimensions.

첫 번째 채널의 처음 확장된 PS DB 1에 대한 첫 데이터는 도 7의 (a)에 도시된 바와 같이, 표현될 수 있다. 스마트 신호 인식기는 첫 번째 채널에 대해서 처음 확장된 PS DB 1에 대한 시작 샘플(PS DB 1(1st sample))을 첫 번째 값으로 갖고 이후 연속적으로 들어오는 샘플을 가로로 구성할 수 있다.The first data for the first extended PS DB 1 of the first channel may be expressed as shown in FIG. 7A. The smart signal recognizer may have a starting sample (PS DB 1 (1st sample)) for the first extended PS DB 1 for the first channel as a first value, and may configure consecutively incoming samples horizontally.

두 번째 채널의 처음 확장된 PS DB J+1에 대한 데이터는 도 7의 (b)에 도시된 바와 같이, 표현될 수 있다. 스마트 신호 인식기는 다음 채널의 전처리를 통해 처음 확장된 PS DB J+1에 대한 샘플들을 그 다음 행의 데이터를 가지도록 저장 또는 제어할 수 있다. Data for the first extended PS DB J+1 of the second channel may be expressed as shown in (b) of FIG. 7. The smart signal recognizer can store or control samples of the first extended PS DB J+1 to have the data of the next row through the preprocessing of the next channel.

전 채널의 처음 확장된 데이터 구성은 도 7의 (c)에 도시된 바와 같이, 표현될 수 있다. 스마트 신호 인식기는 마지막 채널의 전처리를 통해 처음 확장된 PS DB Jx(N-1)+1에 대한 샘플들을 마지막 행에 있도록 저장 또는 제어할 수 있다. 도 7의 (c)에 도시된 바와 같이, 스마트 신호 인식기는 처음 확장된 데이터들의 집합을 2차원으로 구성할 수 있다.The first extended data configuration of all channels may be expressed as shown in (c) of FIG. 7. The smart signal recognizer can store or control samples for the first extended PS DB Jx(N-1)+1 in the last row through preprocessing of the last channel. As shown in (c) of FIG. 7, the smart signal recognizer may configure an initially expanded set of data in two dimensions.

전 채널의 첫 번째와 두 번째 확장된 데이터 구성은 도 7의 (d)에 도시된 바와 같이, 표현될 수 있다. 스마트 신호 인식기는 두 번째로 확장된 데이터의 구성을 첫 번째 확장된 데이터의 집합 바로 뒤에 이어지게 설계할 수 있다. 스마트 신호 인식기는 첫 번째에서 마지막 번째의 확장 데이터의 순서를 도 7의 (d)에 도시된 바와 같이, 저장할 수 있다.The first and second extended data configurations of all channels can be expressed as shown in (d) of FIG. 7. The smart signal recognizer can be designed so that the composition of the second extended data is followed immediately after the first set of extended data. The smart signal recognizer may store the order of the first to last extended data, as shown in (d) of FIG. 7.

스마트 신호 인식기는 상술한 입력 데이터를 형태 변형된 개별 데이터로 변환할 수 있다. 즉, 도 7의 (e)에 도시된 바와 같이, 스마트 신호 인식기는 형태 변형된 개별 데이터를 LxNxJ의 크기를 갖는 3차원의 데이터로 구성할 수 있다. The smart signal recognizer may convert the above-described input data into individual data having a shape-modified form. That is, as shown in (e) of FIG. 7, the smart signal recognizer may configure individual data having a shape-deformed shape into three-dimensional data having a size of LxNxJ.

도 8은 본 발명의 일실시 예에 따라 스마트 인식 신호기를 이용하여 멀티 레이블 딥러닝 학습하는 것을 설명하기 위한 도이다. 8 is a diagram illustrating multi-label deep learning learning using a smart recognition signal according to an embodiment of the present invention.

도 8을 살펴보면, 스마트 인식 신호기는 3차원 입력 데이터를 멀티 레이블 딥러닝의 입력인 2차원 데이터로 변형시키기 위한 데이터 압축이 2개의 레이어로 선행되고 뒤이어 멀티레이블 딥러닝을 학습할 수 있다. Referring to FIG. 8, in the smart recognition signal, data compression for transforming 3D input data into 2D data, which is an input of multi-label deep learning, is preceded by two layers, followed by learning multi-label deep learning.

스마트 인식 신호기는 딥러닝 모델 생성을 위한 학습을 할 때, 동일한 학습 데이터를 이용하여 데이터 압축 레이어와 멀티 레이블 딥러닝을 동시에(또는 순차적으로) 학습할 수 있다. 예를 들어, 스마트 인식 신호기는 맥박, 호흡, 혈압 등의 유의미한 다수의 목표 값을 추정할 수 있다.The smart recognition beacon can simultaneously (or sequentially) learn the data compression layer and multi-label deep learning using the same training data when training to create a deep learning model. For example, the smart recognition signal can estimate a number of meaningful target values such as pulse, respiration, and blood pressure.

즉, 본 발명은 사용자의 데이터에 따라 생성된 스마트 신호 인식기를 통해 다채널의 파형을 입력 받아 일례로 맥박, 호흡, 혈압 등과 같은 다양한 신호의 인식을 진행할 수 있다.That is, in the present invention, multi-channel waveforms are input through a smart signal recognizer generated according to user data, and various signals such as pulse, respiration, and blood pressure may be recognized.

도 9는 본 발명의 일실시 예에 따른 사용자 선택형 전처리 기법이 적용된 스마트 신호 인식기를 이용하여 신호 인식 모델을 생성하는 전체적인 흐름도를 설명하기 위한 도이다.9 is a diagram for explaining an overall flowchart of generating a signal recognition model using a smart signal recognizer to which a user-selective preprocessing technique is applied according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 사용자 선택형 전처리 기법이 적용된 스마트 신호 인식기는 기존 DB를 통해 입력된 복수의 데이터를 이용하여 사용자 선택형 전처리 과정을 진행할지 여부를 선택할 수 있다. Referring to FIG. 9, the smart signal recognizer to which the user-selectable pre-processing technique of the present invention is applied may select whether to proceed with the user-selective pre-processing process using a plurality of data input through an existing DB.

스마트 신호 인식기는 BPF(Band Pass Filter), FFT(Fast Fourier Transform), IFFT(Inverse Fast Fourier Transform), ACF(Auto Correlation Function), RR 등의 전처리 과정을 원하는 순서와 설정 값으로 선택할 수 있다. The smart signal recognizer can select the pre-processing process such as BPF (Band Pass Filter), FFT (Fast Fourier Transform), IFFT (Inverse Fast Fourier Transform), ACF (Auto Correlation Function), and RR in a desired order and set value.

스마트 신호 인식기는 사용자가 선택한 전처리 과정의 순서를 신호 변환 순서 보관함에 저장할 수 있다.The smart signal recognizer may store the order of the preprocessing process selected by the user in the signal conversion order storage box.

스마트 신호 인식기는 신호 변환 순서 보관함에 저장된 신호를 기준으로 신호 변환의 선택을 완료할지 계속 진행할지 지정할 수 있다.The smart signal recognizer can specify whether to complete or continue the selection of signal conversion based on the signal stored in the signal conversion order library.

스마트 신호 인식기는 신호 변환의 선택이 완료되면 신호 변환 순서 보관함에 저장된 신호를 기준으로 전처리 과정을 실행해 전처리 데이터를 생성한다. 이 과정을 모두 마친 데이터를 전처리 DB로 정의할 수 있다.When the signal conversion selection is completed, the smart signal recognizer performs a preprocessing process based on the signal stored in the signal conversion sequence storage box to generate preprocessed data. Data that has completed this process can be defined as a pre-processing DB.

스마트 신호 인식기는 전처리 DB를 이용하여 다채널 딥러닝 학습을 진행할 수 있다.The smart signal recognizer can perform multi-channel deep learning learning using the preprocessing DB.

도 10은 본 발명의 일실시 예에 따른 스마트 인식 신호기를 생성하는 일례를 설명하기 위한 도이다.10 is a diagram illustrating an example of generating a smart recognition signal according to an embodiment of the present invention.

도 10을 살펴보면, 본 발명은 사용자의 맥박, 호흡, 혈압, 혈관 상태 등 다양한 신호를 입력받아 심혈관 건강 지표를 추정하는 모델을 스마트 신호 인식 생성기로 생성할 수 있다.Referring to FIG. 10, according to the present invention, a model for estimating a cardiovascular health index by receiving various signals such as a user's pulse, respiration, blood pressure, and blood vessel status may be generated by a smart signal recognition generator.

예시로 생성된 심혈관 건강지표 추정 모델은 분당 맥박 수, 분당 호흡 수, 혈압, 혈관 상태 등과 같은 다양한 건강 지표를 출력하게 되고 출력된 데이터와 사용자의 신장과 몸무게와 같은 간단한 사용자 신체 정보와 조합할 수 있다. The cardiovascular health index estimation model created as an example outputs various health indicators such as pulse rate per minute, respiratory rate per minute, blood pressure, and blood vessel status, and can be combined with the output data and simple user body information such as the user's height and weight. have.

또한, 사용자 건강 관리 시스템에서 건강 지표 기록 관리, 원격 의료, 응급 상황 예측 등을 후속 조치로 취할 수 있게 되면서 신속한 사전 조치 제공 및 대처 등에 활용이 가능하다.In addition, the user's health management system can manage health index records, telemedicine, and predict emergency situations as follow-up measures, so it can be used for rapid proactive measures and coping.

상술한 바와 같이, 본 발명과 같이 스마트 신호 인식 모델 생성 기법을 사용하면 초보자도 쉽게 자신이 가진 데이터의 가치를 확인할 수 있다. 본 발명에서는 이러한 멀티 레이블 신호 인식을 위해 멀티 레이블 딥러닝 학습을 위한 스마트 데이터 압축 기법을 사용하여 특징 벡터의 압축을 수행하여 단일 특징을 기반으로 다수의 목표 값을 추정하는 연구에 쉽게 적용 가능한 신호 인식 모델을 생성할 수 있다.As described above, when the smart signal recognition model generation technique is used as in the present invention, even a beginner can easily check the value of his or her data. In the present invention, a feature vector is compressed using a smart data compression technique for multi-label deep learning learning for multi-label signal recognition, and signal recognition that can be easily applied to a study that estimates multiple target values based on a single feature. You can create a model.

본 발명의 실시 예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.Embodiments of the present invention and the accompanying drawings are merely illustrative of some of the technical ideas included in the above-described technology, and those skilled in the art within the scope of the technical ideas included in the above-described specification and drawings It will be apparent that both modified examples and specific embodiments that can be easily inferred are included in the scope of the rights of the above-described technology.

50 : 스마트 기기
51 : 센서
52 : 저장 장치
53 : 연산 장치
54 : 출력 장치
81 : 센서
85 : 컴퓨터
91 : 사용자 단말
95 : 서버50: smart device
51: sensor
52: storage device
53: arithmetic unit
54: output device
81: sensor
85: computer
91: user terminal
95: server

Claims (14)

사용자 또는 정보를 센싱하여 센싱 정보를 생성하는 센서와 상기 센서에서 전송된 상기 센싱 정보를 멀티 레이블 딥러닝 학습하도록 제어하는 프로세서가 구비되는 스마트 신호 인식기를 생성하는 방법에 있어서,
상기 프로세서의 제어 하에 입력 받은 신호에 대해 사용자 선택형 복수의 전처리 과정을 선택하고, 선택한 상기 복수의 전처리 과정을 수행하는 단계;
상기 프로세서의 제어 하에 상기 복수의 전처리 과정 각각에 의해 생성된 3차원 데이터를 저장하는 단계;
상기 프로세서의 제어 하에 상기 복수의 전처리 과정 각각에 의해 생성된 3차원 데이터를 2차원 데이터로 압축하는 단계;
상기 프로세서의 제어 하에 압축된 상기 2차원 데이터에 대해, 멀티 레이블 딥러닝 학습을 수행하는 단계; 및
상기 프로세서의 제어 하에 상기 멀티 레이블 딥러닝 학습을 통해, 스마트 신호 인식기를 생성하는 단계;를 포함하고,
상기 복수의 전처리 과정은,
채널 수(N), 확장 횟수(J), 처리 횟수(P)에 대해서 0으로 초기화를 진행하는 단계;
다음 채널이 바뀔 때마다 i가 1만큼 증가하고 상기 i가 기설정된 상기 채널 수(N)에 도달했을 때 반복을 멈추도록 제어하는 단계;
한 개의 채널에서 상기 전처리를 통한 확장 방법이 바뀔 때 j가 1씩 증가하고 사용자가 지정한 상기 확장 횟수(J)에 도달하면 반복을 멈추도록 제어하는 단계; 및
상기 전처리가 바뀔 때 p가 1씩 증가하고 상기 처리 횟수(P)에 도달했을 때 멈추도록 제어하는 단계를 포함하는 스마트 신호 인식기를 생성하는 방법.A method of generating a smart signal recognizer comprising a sensor that senses a user or information to generate sensing information and a processor that controls the sensing information transmitted from the sensor to learn multi-label deep learning,
Selecting a plurality of user-selectable preprocessing processes for signals received under the control of the processor, and performing the selected plurality of preprocessing processes;
Storing 3D data generated by each of the plurality of pre-processing processes under the control of the processor;
Compressing 3D data generated by each of the plurality of preprocessing processes into 2D data under the control of the processor;
Performing multi-label deep learning learning on the 2D data compressed under the control of the processor; And
Generating a smart signal recognizer through the multi-label deep learning learning under the control of the processor; Including,
The plurality of pretreatment processes,
Initializing to 0 for the number of channels (N), the number of expansions (J), and the number of processings (P);
Controlling to stop repetition when i increases by 1 whenever the next channel is changed and when i reaches the preset number of channels (N);
Controlling to stop repetition when j is increased by 1 when the expansion method through the preprocessing is changed in one channel and reaches the expansion number (J) designated by the user; And
The method of generating a smart signal recognizer comprising the step of controlling p increases by 1 when the preprocess is changed and stops when the number of processing P is reached. 제1 항에 있어서,
상기 압축하는 단계는,
특징 벡터의 압축을 수행하는 것을 특징으로 하는 스마트 신호 인식기를 생성하는 방법.The method of claim 1,
The compressing step,
A method of generating a smart signal recognizer, characterized in that performing compression of a feature vector. 삭제delete 삭제delete 제1 항에 있어서,
상기 생성된 3차원 데이터를 저장하는 단계는,
각 채널의 개별 데이터를 X축을 데이터 길이(L)에 따라 나열하여 저장하고,
상기 채널 수(N)에 따라 Y축으로 위에서 아래로 나열하여 저장하고,
상기 채널 별 데이터들을 확장함에 생긴 확장 횟수(J)를 Z축으로 앞에서 뒤 방향으로 나열하여 저장하는 것을 특징으로 하는 스마트 신호 인식기를 생성하는 방법.
The method of claim 1,
Storing the generated three-dimensional data,
Each channel's individual data is stored by listing the X-axis according to the data length (L),
According to the number of channels (N), the Y-axis is arranged from top to bottom and stored,
The method of generating a smart signal recognizer, characterized in that for storing the number of expansions (J) generated by expanding the data for each channel in a Z-axis from front to back.
 제1 항에 있어서,
상기 복수의 전처리 과정을 선택하는 단계는;
BPF(Band Pass Filter), FFT(Fast Fourier Transform), IFFT(Inverse Fast Fourier Transform), ACF(Auto Correlation Function), RR(피크-피크 간격)을 포함하는 것을 특징으로 하는 스마트 신호 인식기를 생성하는 방법.
The method of claim 1,
Selecting the plurality of pre-processing steps;
A method of generating a smart signal recognizer comprising a Band Pass Filter (BPF), Fast Fourier Transform (FFT), Inverse Fast Fourier Transform (IFFT), Auto Correlation Function (ACF), and Peak-Peak Interval (RR) .
 제6 항에 있어서,
상기 복수의 전처리 과정을 선택하는 단계는;
상기 BPF(Band Pass Filter), 상기 FFT(Fast Fourier Transform), 상기 IFFT(Inverse Fast Fourier Transform), 상기 ACF(Auto Correlation Function), 상기 RR(피크-피크 간격)을 이용하여 상기 복수의 전처리 과정의 순서와 설정 값을 선택하는 것을 특징으로 하는 스마트 신호 인식기를 생성하는 방법.
The method of claim 6,
Selecting the plurality of pre-processing steps;
Using the BPF (Band Pass Filter), the FFT (Fast Fourier Transform), the IFFT (Inverse Fast Fourier Transform), the ACF (Auto Correlation Function), and the RR (peak-peak interval) of the plurality of pre-processing A method of generating a smart signal recognizer, characterized in that the order and setting values are selected.
 사용자 또는 정보를 센싱하여 센싱 정보를 생성하는 센서;와
상기 센서에서 전송된 상기 센싱 정보를 멀티 레이블 딥러닝 학습하도록 제어하는 프로세서;를 포함하고,
상기 프로세서는,
센싱 정보에 대해 사용자 선택형 복수의 전처리 과정을 선택하고, 선택한 상기 복수의 전처리 과정을 수행하고, 상기 복수의 전처리 과정 각각에 의해 생성된 3차원 데이터를 저장하고, 상기 복수의 전처리 과정 각각에 의해 생성된 3차원 데이터를 2차원 데이터로 압축하고, 압축된 상기 2차원 데이터에 대해, 멀티 레이블 딥러닝 학습을 수행하고, 상기 멀티 레이블 딥러닝 학습을 통해, 스마트 신호 인식 모델을 생성하고,
상기 프로세서는,
채널 수(N), 확장 횟수(J), 처리 횟수(P)에 대해서 0으로 초기화를 진행하고,
다음 채널이 바뀔 때마다 i가 1만큼 증가하고 상기 i가 기설정된 상기 채널 수(N)에 도달했을 때 반복을 멈추도록 제어하고,
한 개의 채널에서 상기 전처리를 통한 확장 방법이 바뀔 때 j가 1씩 증가하고 사용자가 지정한 상기 확장 횟수(J)에 도달하면 반복을 멈추도록 제어하고,
상기 전처리가 바뀔 때 p가 1씩 증가하고 상기 처리 횟수(P)에 도달했을 때 멈추도록 제어하는 스마트 신호 인식기.A sensor that senses a user or information to generate sensing information; And
Including; a processor that controls the sensing information transmitted from the sensor to learn multi-label deep learning,
The processor,
Selecting a plurality of user-selectable pre-processing processes for sensing information, performing the selected pre-processing processes, storing 3D data generated by each of the plurality of pre-processing processes, and generating by each of the plurality of pre-processing processes Compress the 3D data into 2D data, perform multi-label deep learning learning on the compressed 2D data, and generate a smart signal recognition model through the multi-label deep learning learning,
The processor,
Initialize to 0 for the number of channels (N), the number of expansions (J), and the number of processing (P),
Whenever the next channel is changed, i increases by 1 and the repetition is stopped when i reaches the preset number of channels (N),
When the expansion method through the preprocessing in one channel is changed, j is increased by 1 and the repetition is stopped when the expansion number (J) specified by the user is reached, and
When the pre-processing is changed, p increases by 1, and the smart signal recognizer controls to stop when the number of processings P is reached. 제8 항에 있어서,
상기 프로세서는,
특징 벡터의 압축을 수행하는 것을 특징으로 하는 스마트 신호 인식기.The method of claim 8,
The processor,
A smart signal recognizer, characterized in that performing compression of a feature vector. 삭제delete 삭제delete 제8 항에 있어서,
상기 프로세서는,
각 채널의 개별 데이터를 X축을 데이터 길이(L)에 따라 나열하여 저장하고,
상기 채널 수(N)에 따라 Y축으로 위에서 아래로 나열하여 저장하고,
상기 채널 별 데이터들을 확장함에 생긴 확장 횟수(J)를 Z축으로 앞에서 뒤 방향으로 나열하여 저장하는 것을 특징으로 하는 스마트 신호 인식기.The method of claim 8,
The processor,
Each channel's individual data is stored by listing the X-axis according to the data length (L),
According to the number of channels (N), the Y-axis is arranged from top to bottom and stored,
The smart signal recognizer, characterized in that for storing the number of expansions (J) caused by expanding the data for each channel in a Z-axis from front to back. 제8 항에 있어서,
상기 프로세서는,
BPF(Band Pass Filter), FFT(Fast Fourier Transform), IFFT(Inverse Fast Fourier Transform), ACF(Auto Correlation Function), RR(피크-피크 간격) 중 적어도 하나 이상의 전처리를 이용하는 것을 특징으로 하는 스마트 신호 인식기.The method of claim 8,
The processor,
Smart signal recognizer, characterized in that it uses at least one preprocessing of BPF (Band Pass Filter), FFT (Fast Fourier Transform), IFFT (Inverse Fast Fourier Transform), ACF (Auto Correlation Function), and RR (Peak-Peak Interval) . 제13 항에 있어서,
상기 프로세서는,
상기 BPF(Band Pass Filter), 상기 FFT(Fast Fourier Transform), 상기 IFFT(Inverse Fast Fourier Transform), 상기 ACF(Auto Correlation Function), 상기 RR(피크-피크 간격)을 이용하여 상기 복수의 전처리 과정의 순서와 설정 값을 선택하는 것을 특징으로 하는 스마트 신호 인식기.
The method of claim 13,
The processor,
Using the BPF (Band Pass Filter), the FFT (Fast Fourier Transform), the IFFT (Inverse Fast Fourier Transform), the ACF (Auto Correlation Function), and the RR (peak-peak interval) of the plurality of pre-processing Smart signal recognizer, characterized in that to select the sequence and setting value.
KR1020190128038A 2019-10-15 2019-10-15 The smart signal recognizer and generate method of it KR102254740B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190128038A KR102254740B1 (en) 2019-10-15 2019-10-15 The smart signal recognizer and generate method of it

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190128038A KR102254740B1 (en) 2019-10-15 2019-10-15 The smart signal recognizer and generate method of it

Publications (2)

Publication Number Publication Date
KR20210044625A KR20210044625A (en) 2021-04-23
KR102254740B1 true KR102254740B1 (en) 2021-05-24

Family

ID=75738214

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190128038A KR102254740B1 (en) 2019-10-15 2019-10-15 The smart signal recognizer and generate method of it

Country Status (1)

Country Link
KR (1) KR102254740B1 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101900185B1 (en) 2017-02-20 2018-09-18 연세대학교 산학협력단 Method and Device for Learning Image for Object Recognition
KR20190073752A (en) * 2017-12-19 2019-06-27 바이텔스 주식회사 Apparatus for processing multi sensor data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kawahara T, Yamaguchi O, Feature Vector Compression based on Least Error Quantization. IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2016, pp84-92 1부.*
성균관대학교 휴먼컴퓨터연구실(홍광석 교수), 스마트 신호인식 모델생성 Tool(Ver2.0) 매뉴얼*

Also Published As

Publication number Publication date
KR20210044625A (en) 2021-04-23

Similar Documents

Publication Publication Date Title
CN110473141B (en) Image processing method, device, storage medium and electronic equipment
KR102235568B1 (en) Environment sound recognition method based on convolutional neural networks, and system thereof
CN112863547B (en) Virtual resource transfer processing method, device, storage medium and computer equipment
US20170143226A1 (en) Action Recognition Method and Device Based on Surface Electromyography Signal
CN110123314B (en) Method for judging brain concentration and relaxation state based on electroencephalogram signals
US20200121256A1 (en) Video-based physiological measurement using neural networks
CN111248882B (en) Method and device for predicting blood pressure
CN111225237B (en) Sound and picture matching method of video, related device and storage medium
CN104423574B (en) For enhancing the device and method of system availability
CN111124108A (en) Model training method, gesture control method, device, medium and electronic equipment
CN110141215A (en) The training method of noise reduction self-encoding encoder, the noise-reduction method of electrocardiosignal and relevant apparatus, equipment
KR102204975B1 (en) Method and apparatus for speech recognition using deep neural network
KR102254740B1 (en) The smart signal recognizer and generate method of it
CN107766773A (en) Various dimensions control method and control device based on gesture
CN108388399B (en) Virtual idol state management method and system
JP5528850B2 (en) Mobile terminal device, stress estimation system, operation method, stress estimation program
CN113357773A (en) Method and device for air conditioner control and air conditioner
CN110070016A (en) A kind of robot control method, device and storage medium
CN114767112A (en) Emotion recognition method and device and electronic equipment
CN108200373A (en) Image processing method, device, electronic equipment and medium
CN111354341A (en) Voice awakening method and device, processor, sound box and television
CN112740219A (en) Method and device for generating gesture recognition model, storage medium and electronic equipment
CN111012322A (en) Device for estimating blood pressure
CN112771608A (en) Voice information processing method and device, storage medium and electronic equipment
WO2023152832A1 (en) Identification device, identification method, and non-temporary computer-readable medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right