KR102320100B1 - Heart Sound Analysis Method and System Based on Neuro-fuzzy Network - Google Patents

Heart Sound Analysis Method and System Based on Neuro-fuzzy Network Download PDF

Info

Publication number
KR102320100B1
KR102320100B1 KR1020190176680A KR20190176680A KR102320100B1 KR 102320100 B1 KR102320100 B1 KR 102320100B1 KR 1020190176680 A KR1020190176680 A KR 1020190176680A KR 20190176680 A KR20190176680 A KR 20190176680A KR 102320100 B1 KR102320100 B1 KR 102320100B1
Authority
KR
South Korea
Prior art keywords
heart sound
data
feature
classification
learning
Prior art date
Application number
KR1020190176680A
Other languages
Korean (ko)
Other versions
KR20210086732A (en
Inventor
임준식
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020190176680A priority Critical patent/KR102320100B1/en
Publication of KR20210086732A publication Critical patent/KR20210086732A/en
Application granted granted Critical
Publication of KR102320100B1 publication Critical patent/KR102320100B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/043Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G06N3/0436
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

본 발명은 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하여 심음특징데이터를 추출하고, 선별된 심음특징데이터를 뉴로-퍼지 네트워크에 기초하여 분석함으로써 심음 데이터를 분석하는 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템에 관한 것이다.The present invention relates to a neuro-fuzzy network-based heart sound analysis method and system, and more particularly, converts heart sound data into time-frequency two-dimensional heart sound data to extract heart sound characteristic data, and converts selected heart sound characteristic data into neuro- It relates to a neuro-fuzzy network-based heart sound analysis method and system for analyzing heart sound data by analyzing it based on a fuzzy network.

Description

뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템{Heart Sound Analysis Method and System Based on Neuro-fuzzy Network}Heart Sound Analysis Method and System Based on Neuro-fuzzy Network

본 발명은 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하여 심음특징데이터를 추출하고, 선별된 심음특징데이터를 뉴로-퍼지 네트워크에 기초하여 분석함으로써 심음 데이터를 분석하는 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템에 관한 것이다.The present invention relates to a neuro-fuzzy network-based heart sound analysis method and system, and more particularly, converts heart sound data into time-frequency two-dimensional heart sound data to extract heart sound characteristic data, and converts selected heart sound characteristic data into neuro- It relates to a neuro-fuzzy network-based heart sound analysis method and system for analyzing heart sound data by analyzing it based on a fuzzy network.

심음(心音, heart sounds)은 박동하는 심장과 그로 인한 혈류가 만들어내는 소리로서 심장을 청진할 때, 의사는 청진기로 이 소리들을 듣게 되며, 심장의 상태에 대한 여러 중요한 정보를 제공하게 된다.Heart sounds (心音, heart sounds) are the sounds produced by the beating heart and blood flow. When the heart is auscultated, the doctor hears these sounds with a stethoscope, and provides various important information about the state of the heart.

건강한 성인에서는 '두근 두근'(lub-dub)이란 의성어로 표현하곤 하는 두 개의 정상적인 심음이 들린다. 이는 각각 제1심음(S1)과 제2심음(S2)으로 표현하며, 각각 방실 판막(Atrioventricular valves)과 반달판막이 닫히면서 내는 소리다. 이외에 심 잡음(heart murmur), 부가음(adventitious sounds), 말발굽리듬(gallop rhythm)인 제3심음(S3)과 제4심음(S4)도 존재한다.In a healthy adult, two normal heart sounds, often expressed as onomatopoeic lub-dub, are heard. These are expressed as the first heart sound (S1) and the second heart sound (S2), respectively, and are sounds produced by the closing of the atrioventricular valves and the semilunar valves, respectively. In addition, there are a third heart sound (S3) and a fourth heart sound (S4), which are heart murmur, adventitious sounds, and gallop rhythm.

이 중 심 잡음은 혈액의 와류에 의해 생기며, 심장 안 또는 밖에서 생길 수 있다. 심 잡음은 생리적(정상)이거나 병리적(비정상)일 수 있다. 병리적 잡음은 심장 판막의 협착(stenosis)에 의해 판막이 잘 안 열려 혈류를 방해할 때 일어나게 된다. 또, 판막 부전(valvular insufficiency)에 의해 제대로 닫히지 않은 판막을 통해 피가 역류(regurgitation)하면서 일어날 수도 있다. 심 잡음은 원인에 따라 심장 주기(cardiac cycle)의 다른 시점에서 들리게 된다.This central murmur is caused by the vortex of the blood and can occur inside or outside the heart. Heart murmurs can be physiological (normal) or pathological (abnormal). Pathological noise occurs when the heart valve is not opened well due to stenosis, which obstructs blood flow. It can also occur when blood regurgitates through a valve that does not close properly due to valvular insufficiency. Heart murmurs are heard at different points in the cardiac cycle, depending on the cause.

심 잡음은 7가지의 특성에 따라 분류한다. 시기(timing), 형상적 특징(shape), 부위(location), 전파/방사(radiation), 크기(intensity), 고저(pitch), 특징(quality) 등이 그 특성들이다.Seam noise is classified according to seven characteristics. Timing, shape, location, propagation/radiation, intensity, pitch, and quality are the characteristics.

종래에는 이와 같이 심음에 포함된 심 잡음을 검출하기 위하여 의사가 청진기 등을 이용하여 진단하는 방법이 사용되었으나, 심장의 청진을 통한 진단은 전문지식을 가진 의사에 의해서만 가능한 단점이 있다. 따라서 자동으로 심음을 분석함으로써 심장의 상태를 진단하기 위한 기술의 개발의 필요성이 대두되고 있다.
한편, 선행특허 1(한국등록특허 10-1295072(2013.8.8 공고))는 기 측정된 심음 신호로부터 심음의 심플리시티(simplicity)를 계산하여 적어도 한 주기의 심플리시티 곡선을 추출하는 단계, 추출된 심플리시티 곡선에 가우시안 곡선 적합법을 적용하여 가우시안 적합곡선을 추출하는 단계, 추출된 가우시안 적합곡선에서 심음 신호의 심잡음에 해당하는 성분을 제거하는 단계 및 심잡음이 제거된 가우시안 적합곡선을 이용하여 심음 주성분을 검출하는 단계를 개시하고 있다. 그러나, 이와 같은 선행특허 1은 심음의 심플리시티 곡선에 기반하여 심음을 분석하기 때문에, 심장 관련 질병의 분석에 있어서는 정확도 등에 있어서 한계가 존재한다.
선행특허 2(한국등록특허 10-1337342(2013.12.6 공고))는 기 측정된 심음 신호를 2차 미분 가우시안 필터로 프리필터링하는 단계, 프리필터링 된 심음 신호로부터 심음 특성 파형을 추출하는 단계, 추출된 심음 특성 파형에 3차 모멘트 필터를 적용하여 모멘트 특성 파형을 추출하는 단계, 추출된 모멘트 특성 파형을 이용하여 심음 주성분을 검출하는 단계를 개시하고 있다. 그러나, 이와 같은 선행특허 2는 기본적으로 심음의 주성분 만으로 심음을 분석하기 때문에 마찬가지로, 심장 관련 질병의 분석에 있어서는 정확도 등에 있어서 한계가 존재한다.
Conventionally, a method for a doctor to diagnose using a stethoscope or the like has been used to detect the heart noise included in the heart sound. However, the diagnosis through auscultation of the heart is only possible by a doctor with specialized knowledge. Therefore, there is a need to develop a technology for diagnosing the condition of the heart by automatically analyzing the heart sound.
On the other hand, Prior Patent 1 (Korean Patent No. 10-1295072 (published on Aug. 8, 2013)) discloses a step of extracting a simplicity curve of at least one cycle by calculating the simplicity of a heart sound from a previously measured heart sound signal, Extracting a Gaussian fitting curve by applying a Gaussian curve fitting method to the simplicity curve, removing a component corresponding to the heart noise of the heart sound signal from the extracted Gaussian fitting curve, and using the Gaussian fitting curve from which the heart noise is removed The steps of detecting are disclosed. However, since the prior patent 1 analyzes a heart sound based on the simplicity curve of the heart sound, there is a limit in accuracy and the like in the analysis of heart-related diseases.
Prior Patent 2 (Korea Patent No. 10-1337342 (published on January 2, 2013)) discloses the steps of pre-filtering a pre-measured heart sound signal with a second-order differential Gaussian filter, extracting a heart sound characteristic waveform from the pre-filtered heart sound signal, extraction A step of extracting a moment characteristic waveform by applying a third-order moment filter to the obtained heart sound characteristic waveform, and the steps of detecting a main component of a heart sound using the extracted moment characteristic waveform are disclosed. However, the prior patent 2 basically analyzes the heart sound only with the main components of the heart sound, and thus, similarly, there is a limit in accuracy and the like in the analysis of heart-related diseases.

본 발명은 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하여 심음특징데이터를 추출하고, 선별된 심음특징데이터를 뉴로-퍼지 네트워크에 기초하여 분석함으로써 심음 데이터를 분석하는 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템을 제공하는 것을 그 목적으로 한다.The present invention converts heart sound data into time-frequency heart sound two-dimensional data, extracts heart sound characteristic data, and analyzes heart sound data by analyzing the selected heart sound characteristic data based on a neuro-fuzzy network based on a neuro-fuzzy network. An object of the present invention is to provide an analytical method and system.

상기와 같은 과제를 해결하기 위하여 본 발명에서는, 1 이상의 프로세서 및 메모리를 포함하는 심음 분석 시스템에 의해 수행되는 심음 분석 방법으로서, 심음 데이터를 입력 받는 심음입력단계; 상기 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하는 심음전처리단계; 변환된 상기 심음 2차원 데이터에 기초하여 2 이상의 심음특징데이터를 추출하는 심음특징추출단계; 상기 2 이상의 심음특징데이터 중 선별된 학습특징데이터 카테고리에 해당하는 심음특징데이터를 선별하는 심음특징선별단계; 및 학습된 모델 및 선별된 심음특징데이터에 기초하여 심음 데이터의 분류를 도출하는 심음분류단계; 를 포함하고, 상기 선별된 학습특징데이터 카테고리는, 2 이상의 분류로 구분된 복수의 학습 심음 데이터에 대하여 상기 심음전처리단계, 심음특징추출단계에 상응하는 과정으로 2 이상의 카테고리의 심음특징데이터를 추출하고, 상기 2 이상의 카테고리의 심음특징데이터 중 상기 분류에 따른 유사도가 기설정된 기준 이하인 심음특징데이터의 카테고리를 도출하여 결정되는, 심음 분석 방법을 제공한다.In order to solve the above problems, the present invention provides a heart sound analysis method performed by a heart sound analysis system including one or more processors and a memory, comprising: a heart sound input step of receiving heart sound data; a heart sound preprocessing step of converting the heart sound data into time-frequency heart sound two-dimensional data; a heart sound feature extraction step of extracting two or more heart sound feature data based on the converted two-dimensional heart sound data; a heart sound feature selection step of selecting heart sound feature data corresponding to the selected learning feature data category from among the two or more heart sound feature data; and a heart sound classification step of deriving a classification of heart sound data based on the learned model and the selected heart sound characteristic data. Including, wherein the selected learning feature data category is a process corresponding to the heart sound pre-processing step and the heart sound feature extraction step for a plurality of learning heart sound data divided into two or more categories, extracting heart sound feature data of two or more categories, , a heart sound analysis method in which a category of heart sound feature data whose degree of similarity according to the classification is less than or equal to a preset standard among heart sound feature data of the two or more categories is derived and determined.

본 발명에서는, 상기 심음분류단계는, 1 이상의 선별된 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망에 입력하여, 가중 퍼지 소속 함수의 경계합을 학습시킬 수 있다.In the present invention, in the heart sound classification step, the boundary sum of the weighted fuzzy membership functions may be learned by inputting one or more selected heart sound feature data into a fuzzy neural network based on a weighted fuzzy membership function, respectively.

본 발명에서는, 상기 심음분류단계는, 학습된 가중 퍼지 소속 함수의 경계합을 기설정된 값과 비교하여 심음 데이터의 분류를 도출할 수 있다.In the present invention, in the heart sound classification step, the classification of heart sound data may be derived by comparing the boundary sum of the learned weighted fuzzy membership function with a preset value.

본 발명에서는, 상기 선별된 학습특징데이터 카테고리는, 상기 2 이상의 카테고리의 학습특징데이터 중 상기 분류에 따른 바타차야 거리(Bhattacharyya distance)에 기초하여 심음특징데이터의 카테고리를 도출하여 결정될 수 있다.In the present invention, the selected learning feature data category may be determined by deriving a category of heart sound feature data based on the Bhattacharyya distance according to the classification among the learning feature data of the two or more categories.

본 발명에서는, 상기 전처리단계는, 입력 받은 상기 심음 데이터를 멜-스펙트로그램으로 변환할 수 있다.In the present invention, the pre-processing step may convert the received heart sound data into a Mel-spectrogram.

본 발명에서는, 상기 전처리단계는, 변환된 멜-스펙트로그램을 기설정된 시간길이 및 기설정된 시간간격으로 분할하여 분할 멜-스펙트로그램을 생성할 수 있다.In the present invention, in the pre-processing step, the converted mel-spectrogram may be divided into a preset time length and a preset time interval to generate a split mel-spectrogram.

본 발명에서는, 상기 심음특징추출단계는, 상기 심음 2차원 데이터에 대해 컨볼루션 신경망의 컨볼루션 및 풀링을 적용하여 특징데이터를 추출할 수 있다.In the present invention, the heart sound feature extraction step may extract feature data by applying convolution and pooling of a convolutional neural network to the two-dimensional heart sound data.

본 발명에서는, 상기 심음특징추출단계는, 상기 심음 2차원 데이터에 대해 VGG16 신경망 모델의 컨볼루션 및 풀링을 적용하여 특징데이터를 추출할 수 있다.In the present invention, the heart sound feature extraction step may extract feature data by applying convolution and pooling of the VGG16 neural network model to the heart sound two-dimensional data.

상기와 같은 과제를 해결하기 위하여 본 발명은, 심음 분석 시스템으로서, 심음 데이터를 입력 받는 데이터입력부; 상기 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하는 데이터전처리부; 변환된 상기 심음 2차원 데이터에 기초하여 2 이상의 심음특징데이터를 추출하는 데이터특징추출부; 상기 2 이상의 심음특징데이터 중 선별된 학습특징데이터 카테고리에 해당하는 심음특징데이터를 선별하는 특징선별부; 및 학습된 모델 및 선별된 심음특징데이터에 기초하여 심음 데이터의 분류를 도출하는 심음분류부; 를 포함하고, 상기 선별된 학습특징데이터 카테고리는, 2 이상의 분류로 구분된 복수의 학습 심음 데이터에 대하여 상기 데이터전처리부 및 상기 데이터특징추출부를 통해 2 이상의 카테고리의 심음특징데이터를 추출하고, 상기 2 이상의 카테고리의 심음특징데이터 중 상기 분류에 따른 유사도가 기설정된 기준 이하인 심음특징데이터의 카테고리를 도출하여 결정되는, 심음 분석 시스템을 제공한다.In order to solve the above problems, the present invention provides a heart sound analysis system, comprising: a data input unit for receiving heart sound data; a data preprocessor for converting the heart sound data into time-frequency two-dimensional heart sound data; a data feature extraction unit for extracting two or more heart sound feature data based on the converted two-dimensional heart sound data; a feature selection unit for selecting heart sound feature data corresponding to the selected learning feature data category from among the two or more heart sound feature data; and a heart sound classification unit deriving a classification of heart sound data based on the learned model and the selected heart sound characteristic data. Including, wherein the selected learning characteristic data category extracts heart sound characteristic data of two or more categories through the data pre-processing unit and the data characteristic extraction unit with respect to a plurality of learning heart sound data divided into two or more classifications, Provided is a heart sound analysis system in which a category of heart sound feature data whose degree of similarity according to the classification is less than or equal to a preset standard is derived and determined from among the heart sound feature data of the above categories.

본 발명에서는, 상기 심음분류부는, 1 이상의 선별된 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망에 입력하여, 가중 퍼지 소속 함수의 경계합을 학습시킬 수 있다.In the present invention, the heart sound classification unit may learn the boundary sum of the weighted fuzzy membership function by inputting one or more selected heart sound characteristic data to a fuzzy neural network based on a weighted fuzzy membership function, respectively.

본 발명의 일 실시예에 따르면 입력 받은 심음 데이터를 2차원 데이터로 변형함으로써 컨볼루션 및 풀링을 통해 특징데이터를 추출할 수 있다.According to an embodiment of the present invention, by transforming the received heart sound data into two-dimensional data, it is possible to extract feature data through convolution and pooling.

본 발명의 일 실시예에 따르면 심음 2차원 데이터를 기설정된 시간길이 및 기설정된 시간간격으로 분할함으로써 표준화된 크기의 2차원 데이터로부터 특징데이터를 추출하여 심음을 분석할 수 있다.According to an embodiment of the present invention, by dividing the two-dimensional heart sound data into a preset time length and a preset time interval, it is possible to analyze the heart sound by extracting feature data from the two-dimensional data of a standardized size.

본 발명의 일 실시예에 따르면 학습데이터로부터 특징데이터를 추출하고, 특징데이터를 바타차야 거리를 이용하여 선별함으로써 심음 데이터를 용이하게 분류할 수 있는 특징데이터를 이용하여 분류를 수행할 수 있다.According to an embodiment of the present invention, classification can be performed using feature data that can easily classify heart sound data by extracting feature data from the learning data and selecting the feature data using the Batachaya distance.

본 발명의 일 실시예에 따르면 컨볼루션 및 풀링을 통해 추출된 특징데이터를 가중 퍼지 소속 함수 기반의 퍼지 신경망을 통해 분류함으로써 분류의 정확도를 높일 수 있다.According to an embodiment of the present invention, classification accuracy can be increased by classifying feature data extracted through convolution and pooling through a fuzzy neural network based on a weighted fuzzy membership function.

도 1은 본 발명의 일 실시예에 따른 심음 분석 시스템의 구성을 개략적으로 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 심음 분석 방법의 각 단계를 개략적으로 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 심음 데이터 및 심음 2차원 데이터의 일 예를 개략적으로 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 심음 2차원 데이터인 멜-스펙트로그램의 일 예를 개략적으로 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따라 분할-멜-스펙트로그램을 생성하는 방법을 개략적으로 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따라 특징데이터를 추출하는 방법을 개략적으로 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따라 VGG16 신경망 모델을 통해 특징데이터를 추출하는 과정의 데이터를 개략적으로 도시하는 도면이다.
도 8은 본 발명의 일 실시예에 따라 추출된 특징데이터의 일 예를 개략적으로 도시하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 뉴로-퍼지 네트워크 기반의 심음분류단계에서 사용되는 가중 퍼지 소속 함수 기반의 퍼지 신경망(NEWFM)의 구조를 개략적으로 도시하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 심음분류단계에서 사용되는 NEWFM에 의해 학습시키는 가중 퍼지 소속 함수의 경계합(BSWFM)을 개략적으로 도시하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 특징데이터에서 분류에 따른 가중 퍼지 소속 함수의 경계합(BSWFM)의 일 예를 도시하는 도면이다.
도 12는 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
1 is a diagram schematically illustrating a configuration of a heart sound analysis system according to an embodiment of the present invention.
2 is a diagram schematically illustrating each step of a heart sound analysis method according to an embodiment of the present invention.
3 is a diagram schematically illustrating an example of heart sound data and two-dimensional heart sound data according to an embodiment of the present invention.
4 is a diagram schematically illustrating an example of a mel-spectrogram that is heart sound two-dimensional data according to an embodiment of the present invention.
5 is a diagram schematically illustrating a method for generating a split-mel-spectrogram according to an embodiment of the present invention.
6 is a diagram schematically illustrating a method of extracting feature data according to an embodiment of the present invention.
7 is a diagram schematically illustrating data of a process of extracting feature data through a VGG16 neural network model according to an embodiment of the present invention.
8 is a diagram schematically illustrating an example of feature data extracted according to an embodiment of the present invention.
9 is a diagram schematically illustrating the structure of a fuzzy neural network (NEWFM) based on a weighted fuzzy membership function used in a heart sound classification step based on a neuro-fuzzy network according to an embodiment of the present invention.
10 is a diagram schematically illustrating a boundary sum (BSWFM) of weighted fuzzy membership functions learned by NEWFM used in the heart sound classification step according to an embodiment of the present invention.
11 is a diagram illustrating an example of a boundary sum (BSWFM) of weighted fuzzy membership functions according to classification in feature data according to an embodiment of the present invention.
12 is a block diagram illustrating an example of an internal configuration of a computing device according to an embodiment of the present invention.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.Hereinafter, various embodiments and/or aspects are disclosed with reference to the drawings. In the following description, for purposes of explanation, numerous specific details are set forth to provide a thorough understanding of one or more aspects. However, it will also be recognized by one of ordinary skill in the art that such aspect(s) may be practiced without these specific details. The following description and accompanying drawings set forth in detail certain illustrative aspects of one or more aspects. These aspects are illustrative, however, and some of the various methods in principles of the various aspects may be employed, and the descriptions set forth are intended to include all such aspects and their equivalents.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.Further, various aspects and features will be presented by a system that may include a number of devices, components and/or modules, and the like. It is also noted that various systems may include additional devices, components, and/or modules, etc. and/or may not include all of the devices, components, modules, etc. discussed with respect to the drawings. must be understood and recognized.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.As used herein, “embodiment”, “example”, “aspect”, “exemplary”, etc. may not be construed as an advantage or advantage in any aspect or design described above over other aspects or designs. . The terms '~part', 'component', 'module', 'system', 'interface', etc. used below generally mean a computer-related entity, for example, hardware, hardware A combination of and software may mean software.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.Also, the terms "comprises" and/or "comprising" mean that the feature and/or element is present, but excludes the presence or addition of one or more other features, elements and/or groups thereof. should be understood as not

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Also, terms including an ordinal number, such as first, second, etc., may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, in the embodiments of the present invention, unless otherwise defined, all terms used herein, including technical or scientific terms, are generally understood by those of ordinary skill in the art to which the present invention belongs. have the same meaning as Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in an embodiment of the present invention, an ideal or excessively formal meaning is not interpreted as

도 1은 본 발명의 일 실시예에 따른 심음 분석 시스템의 구성을 개략적으로 도시하는 도면이다.1 is a diagram schematically illustrating a configuration of a heart sound analysis system according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 심음 분석 시스템(10)은 심음 데이터(1)를 입력 받아 상기 심음 데이터를 분석한 분석결과(4)를 도출한다.The heart sound analysis system 10 according to an embodiment of the present invention receives heart sound data 1 and derives an analysis result 4 obtained by analyzing the heart sound data.

도 1을 참조하면 본 발명의 일 실시예에 따른 심음 분석 시스템(10)은, 심음 데이터(1)를 입력 받는 데이터입력부(100); 상기 심음 데이터(1)를 시간-주파수의 심음 2차원 데이터(2)로 변환하는 데이터전처리부(200); 변환된 상기 심음 2차원 데이터(2)에 기초하여 2 이상의 심음특징데이터(3)를 추출하는 데이터특징추출부(300); 상기 2 이상의 심음특징데이터(3) 중 선별된 학습특징데이터 카테고리에 해당하는 심음특징데이터(3)를 선별하는 특징선별부(400); 및 선별된 심음특징데이터(3)에 기초하여 심음 데이터의 분류를 도출하는 심음분류부(500); 를 포함할 수 있다. 이 때, 상기 선별된 학습특징데이터 카테고리는, 2 이상의 분류로 구분된 복수의 학습 심음 데이터에 대하여 상기 데이터전처리부(200) 및 상기 데이터특징추출부(300)를 통해 2 이상의 카테고리의 심음특징데이터를 추출하고, 상기 2 이상의 카테고리의 심음특징데이터 중 상기 분류에 따른 유사도가 기설정된 기준 이하인 심음특징데이터의 카테고리를 도출하여 결정될 수 있다.Referring to FIG. 1 , a heart sound analysis system 10 according to an embodiment of the present invention includes: a data input unit 100 for receiving heart sound data 1 ; a data pre-processing unit 200 for converting the heart sound data (1) into time-frequency two-dimensional heart sound data (2); a data feature extraction unit 300 for extracting two or more heart sound feature data 3 based on the converted two-dimensional heart sound data 2; a feature selection unit 400 for selecting heart sound feature data 3 corresponding to the selected learning feature data category from among the two or more heart sound feature data 3; and a heart sound classification unit 500 for deriving a classification of heart sound data based on the selected heart sound characteristic data 3 ; may include. At this time, the selected learning feature data category is heart sound feature data of two or more categories through the data pre-processing unit 200 and the data feature extracting unit 300 for a plurality of learning heart sound data divided into two or more classifications. It may be determined by extracting .

본 발명의 일 실시예에 따른 상기 심음 분석 시스템(10)은 이와 같은 각 세부 구성에 의해 입력 받은 심음 데이터(1)를 심음 2차원 데이터(2)로 변환하여 심음특징데이터(3)를 추출하고, 추출 된 심음특징데이터(3)를 선별하여 선별된 심음특징데이터(3)에 기초하여 분석을 수행하게 된다. 이와 같이 분석을 수행하기 위하여 상기 심음 분석 시스템(10)은 학습을 통해 각 세부 구성에 대한 세팅을 수행 할 필요가 있다.The heart sound analysis system 10 according to an embodiment of the present invention converts the heart sound data 1 received by each detailed configuration as described above into the heart sound two-dimensional data 2 to extract the heart sound characteristic data 3 and , the extracted heart sound characteristic data (3) is selected, and analysis is performed based on the selected heart sound characteristic data (3). In order to perform the analysis as described above, the heart sound analysis system 10 needs to perform settings for each detailed configuration through learning.

본 발명의 일 실시예에서 상기 특징선별부(400)는, 상기 데이터입력부(100)로 2 이상의 분류로 구분된 학습 심음 데이터를 입력 받아 상기 데이터전처리부(200) 및 상기 데이터특징추출부(300)를 통해 학습특징데이터를 추출하고, 추출된 2 이상의 상기 학습특징데이터에서 상기 분류에 따른 차이가 큰 1 이상의 학습특징데이터를 선별하여 선별특징데이터로 저장함으로써 설정 될 수 있다.In an embodiment of the present invention, the feature selection unit 400 receives the learning heart sound data divided into two or more classifications with the data input unit 100, and the data preprocessor 200 and the data feature extraction unit 300 ) through, extracting the learning feature data, and selecting one or more learning feature data with a large difference according to the classification from the extracted two or more learning feature data, and storing it as selected feature data can be set.

도 2는 본 발명의 일 실시예에 따른 심음 분석 방법의 각 단계를 개략적으로 도시하는 도면이다.2 is a diagram schematically illustrating each step of a heart sound analysis method according to an embodiment of the present invention.

본 발명의 일 실시예에서는 도 1에 도시된 것과 같은 심음 분석 시스템(10)을 통한 심음 분석 방법은 학습 심음 데이터에 기초하여 상기 심음 분석 시스템(10)의 세팅을 수행하는 분석세팅단계(S10); 및 세팅이 수행 된 상기 심음 분석 시스템(10)에 의하여 심음 데이터를 분석하는 심음분석단계; 를 포함할 수 있다.In an embodiment of the present invention, the heart sound analysis method through the heart sound analysis system 10 as shown in FIG. 1 is an analysis setting step (S10) of performing the setting of the heart sound analysis system 10 based on the learning heart sound data. ; and a heart sound analysis step of analyzing the heart sound data by the heart sound analysis system 10 on which the setting has been performed. may include.

전술한 바와 같이, 상기 심음 분석 시스템(10)은 학습 심음 데이터를 입력 받아 세팅을 수행함으로써 실제 입력되는 심음 데이터를 정확히 분석할 수 있게 된다.As described above, the heart sound analysis system 10 receives the learning heart sound data and performs settings to accurately analyze the actually input heart sound data.

본 발명의 일 실시예에서 상기 분석세팅단계(S10)는. 2 이상의 분류로 구분된 학습 심음 데이터를 입력 받는 학습데이터입력단계(S100a); 상기 학습 심음 데이터를 시간-주파수의 학습 2차원 데이터로 변환하는 학습데이터전처리단계(S200a); 변환된 상기 학습 2차원 데이터에 기초하여 2 이상의 학습특징데이터를 추출하는 학습데이터특징추출단계(S300a); 및 추출된 2 이상의 상기 학습특징데이터 중에서 상기 분류에 따른 차이가 큰 1 이상의 학습특징데이터를 선별하는 특징선별단계(S400a); 를 포함하고, 상기 심음분석단계(S20)는, 심음 데이터(1)를 입력 받는 심음입력단계(S100b); 상기 심음 데이터를 시간-주파수의 심음 2차원 데이터(2)로 변환하는 심음전처리단계(S200b); 변환된 상기 심음 2차원 데이터(2)에 기초하여 2 이상의 심음특징데이터(3)를 추출하는 심음특징추출단계(S300b); 및 상기 2 이상의 심음특징데이터(3) 중 선별된 학습특징데이터 카테고리에 해당하는 심음특징데이터(3)를 선별하는 심음특징선별단계(S400b); 및 선별된 심음특징데이터(3)에 기초하여 심음 데이터(1)의 분류를 도출하는 심음분류단계(S500); 를 포함할 수 있다.In an embodiment of the present invention, the analysis setting step (S10) is. A learning data input step (S100a) of receiving learning heart sound data divided into two or more classifications; a learning data pre-processing step (S200a) of converting the learning heart sound data into time-frequency learning two-dimensional data; a learning data feature extraction step of extracting two or more learning feature data based on the converted two-dimensional learning data (S300a); and a feature selection step (S400a) of selecting one or more learning feature data having a large difference according to the classification among the extracted two or more learning feature data; including, wherein the heart sound analysis step (S20) includes: a heart sound input step (S100b) of receiving heart sound data (1); a heart sound preprocessing step (S200b) of converting the heart sound data into time-frequency heart sound two-dimensional data (2); a heart sound feature extraction step (S300b) of extracting two or more heart sound feature data (3) based on the converted two-dimensional heart sound data (2); and a heart sound feature selection step (S400b) of selecting heart sound feature data (3) corresponding to the selected learning feature data category from among the two or more heart sound feature data (3); and a heart sound classification step (S500) of deriving a classification of the heart sound data (1) based on the selected heart sound characteristic data (3); may include.

전술한 바와 같이 상기 심음 분석 시스템(10)이 상기 심음 데이터(1)를 입력 받아 분석하여 심음 데이터(1)의 분류를 도출하기 위하여 세팅이 수행 될 필요가 있다. 이를 위해 본 발명의 일 실시예에서는 상기 분석세팅단계(S10)에서 학습 심음 데이터를 입력 받아 학습을 수행하여 세팅이 이루어진다.As described above, it is necessary for the heart sound analysis system 10 to receive and analyze the heart sound data 1 to derive a classification of the heart sound data 1 . To this end, in an embodiment of the present invention, the setting is made by receiving the learning heart sound data and performing learning in the analysis setting step (S10).

이 때 상기 학습 심음 데이터로부터 특징데이터가 추출되는 과정인 상기 학습데이터입력단계(S100a), 상기 학습데이터전처리단계(S200a) 및 상기 학습데이터특징추출단계(S300a)는 상기 심음 데이터(1)로부터 특징데이터가 추출되는 과정인 상기 심음입력단계(S100b), 상기 심음전처리단계(S200b) 및 상기 심음특징추출단계(S300b)는 동일한 방법을 통해 각각 상기 학습 심음 데이터 및 상기 심음 데이터로부터 각각 학습특징데이터 및 심음특징데이터를 추출하게 된다.At this time, the learning data input step (S100a), the learning data pre-processing step (S200a), and the learning data feature extraction step (S300a), which are processes in which feature data is extracted from the learning heart sound data, are characterized from the heart sound data (1). The heart sound input step (S100b), the heart sound pre-processing step (S200b), and the heart sound feature extraction step (S300b), which are processes in which data is extracted, are performed from the learning heart sound data and the heart sound data, respectively, through the same method, respectively, learning feature data and The heart sound characteristic data is extracted.

상기 학습 심음 데이터는 2 이상의 분류로 구분된 복수의 심음 데이터를 포함하여 구성될 수 있다. 예를 들어 상기 분류는 정상 심음 과 대동맥 협착(Aortic Stenosis)에 의해 수축기 잡음(Systolic Murmur)가 포함된 심음일 수 있고, 실제 정상 심음과 대동맥 협착 환자의 심음을 포함하여 구성됨으로써 상기 심음 분석 시스템(10)이 학습을 통해 정상 심음과 대동맥 협착 환자의 심음을 구분하여 분류할 수 있도록 할 수 있다.The learning heart sound data may include a plurality of heart sound data divided into two or more classifications. For example, the classification may be a heart sound including a systolic noise (Systolic Murmur) due to a normal heart sound and aortic stenosis, and the heart sound analysis system ( 10) Through this learning, it is possible to distinguish and classify the normal heart sound and the heart sound of patients with aortic stenosis.

상기 특징선별단계(S400a)는 이와 같은 학습 심음 데이터로부터 추출된 특징데이터 중 상기 분류에 따른 차이가 큰 특징데이터를 선별하고, 상기 심음분류단계(S500)에서 선별된 특징데이터를 이용하여 심음을 분류하도록 함으로써 분류의 정확도를 높이게 된다.The feature selection step (S400a) selects feature data having a large difference according to the classification among the feature data extracted from the learning heart sound data, and classifies the heart sound using the feature data selected in the heart sound classification step (S500). This increases the accuracy of classification.

도 3은 본 발명의 일 실시예에 따른 심음 데이터 및 심음 2차원 데이터의 일 예를 개략적으로 도시하는 도면이다.3 is a diagram schematically illustrating an example of heart sound data and two-dimensional heart sound data according to an embodiment of the present invention.

도 3의 (a)는 일반적으로 저장되는 소리 데이터의 파형을 나타낸다. 심음과 같이 소리가 저장된 데이터는 시간에 따른 소리 파형의 진폭에 대한 정보가 저장되고, 이와 같은 정보를 도시하면 도 3의 (a)와 같이 도시될 수 있다.3A shows a waveform of generally stored sound data. In data in which sound is stored, such as a heart sound, information about the amplitude of a sound waveform over time is stored, and when such information is shown, it may be illustrated as shown in FIG. 3A .

다만 이와 같은 진폭 데이터는 소리의 성분을 분석하기 용이하지 않아, 소리의 성분을 분리하여 확인하기 위하여 푸리에 변환을 통한 주파수 성분을 분석하는 방법이 사용되고 있다.However, since such amplitude data is not easy to analyze the sound component, a method of analyzing the frequency component through the Fourier transform is used in order to separate and confirm the sound component.

도 3의 (b)는 이와 같이 소리 데이터를 푸리에 변환하여 시간에 따른 주파수 성분의 정보를 2차원 데이터로 도시한 모습을 나타낸다. 도 3의 (b)에서와 같이 입력된 소리 데이터는 시간과 주파수의 2차원 그래프로 나타나고, 각 주파수에서의 소리의 세기(dB)는 색상으로 나타나게 된다.FIG. 3B shows a state in which sound data is Fourier-transformed in this way, and information on frequency components according to time is shown as two-dimensional data. As shown in (b) of FIG. 3 , the input sound data is represented as a two-dimensional graph of time and frequency, and the intensity (dB) of the sound at each frequency is represented by a color.

이와 같이 시간-주파수의 2차원 데이터의 경우 소리의 특징을 추출하기 용이하여 분석에 사용되기 적합하다. 따라서 본 발명의 일 실시예에서 상기 데이터전처리부(200)를 통해 수행되는 학습데이터전처리단계(S200a) 및 심음전처리단계(S200b)는 입력 받은 학습 심음 데이터 혹은 심음 데이터를 시간-주파수의 2차원 데이터로 변환하게 된다.As described above, in the case of time-frequency two-dimensional data, it is easy to extract sound characteristics, so it is suitable for analysis. Accordingly, in an embodiment of the present invention, the pre-processing of the learning data (S200a) and the pre-processing of the heart sound (S200b) performed by the data pre-processing unit 200 are performed by converting the received learning heart sound data or heart sound data into time-frequency two-dimensional data. will be converted to

도 4는 본 발명의 일 실시예에 따른 심음 2차원 데이터인 멜-스펙트로그램의 일 예를 개략적으로 도시하는 도면이다.4 is a diagram schematically illustrating an example of a mel-spectrogram that is heart sound two-dimensional data according to an embodiment of the present invention.

본 발명의 일 실시예에서 상기 전처리단계(S200b)는, 입력 받은 상기 심음 데이터(1)를 멜-스펙트로그램으로 변환하고, 상기 학습데이터전처리단계(S200a)는, 상기 전처리단계(S200b)와 동일한 방법으로 상기 학습 심음 데이터를 멜-스펙트로그램으로 변환할 수 있다.In an embodiment of the present invention, the pre-processing step (S200b) converts the received heart sound data (1) into a Mel-spectrogram, and the learning data pre-processing step (S200a) is the same as the pre-processing step (S200b). As a method, the learned heart sound data may be converted into a Mel-spectrogram.

도 3에 도시된 것과 같이 본 발명의 일 실시예에서는 입력 받은 학습 심음 데이터 혹은 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환할 수 있다. 이 때, 상기 심음 2차원 데이터는 멜-스펙트로그램일 수 있다. 멜-스펙트로그램은 도 3의 (b)에 도시된 시간-주파수의 스펙트로그램 중 주파수의 단위를 멜 단위(mel unit)로 바꾼 스펙트로그램을 의미한다.As shown in FIG. 3 , in an embodiment of the present invention, the received learning heart sound data or heart sound data may be converted into time-frequency heart sound two-dimensional data. In this case, the two-dimensional heart sound data may be a Mel-spectrogram. The mel-spectrogram refers to a spectrogram in which a frequency unit is changed to a mel unit among the time-frequency spectrograms shown in FIG. 3B .

사람이 음의 음조(pitch)를 인식하게 하는 것은 주로 음의 주파수이다. 1 kHz, 40 dB의 음을 1000 mel로 정의하고, 상대적으로 느껴지는 다른 주파수 음의 음조를 나타내는 단위가 멜 단위이다. 주파수를 멜 단위로 변환하는 방법은 하기 식에 따른다.It is mainly the frequency of a sound that makes a person perceive the pitch of a sound. The sound of 1 kHz and 40 dB is defined as 1000 mel, and the unit representing the pitch of other frequency sounds that are relatively felt is the mel unit. A method of converting a frequency to a mel unit is according to the following equation.

Figure 112019134915782-pat00001
Figure 112019134915782-pat00001

도 4의 (a) 및 (b)는 상기와 같은 식에 따라 입력 된 심음 데이터를 멜-스펙트로그램으로 변환 한 모습을 도시하고 있다.4 (a) and (b) show a state in which the input heart sound data is converted into a Mel-spectrogram according to the above equation.

도 5는 본 발명의 일 실시예에 따라 분할-멜-스펙트로그램을 생성하는 방법을 개략적으로 도시하는 도면이다.5 is a diagram schematically illustrating a method for generating a split-mel-spectrogram according to an embodiment of the present invention.

본 발명의 일 실시예에서 상기 전처리단계(S200b)는, 변환된 멜-스펙트로그램을 기설정된 시간길이 및 기설정된 시간간격으로 분할하여 분할 멜-스펙트로그램을 생성하고, 상기 학습데이터전처리단계(S200a)는, 상기 전처리단계와 동일한 방법으로 분할 멜-스펙트로그램을 생성할 수 있다.In an embodiment of the present invention, the pre-processing step (S200b) comprises dividing the converted mel-spectrogram into a preset time length and a preset time interval to generate a split mel-spectrogram, and the learning data preprocessing step (S200a) ) can generate a segmented Mel-spectrogram in the same way as in the pre-processing step.

상기 심음입력단계(S100b) 및 상기 학습데이터입력단계(S100a)를 통해 입력 받은 심음 데이터(1) 혹은 학습 심음 데이터는 도 4의 (a) 및 (b)에서와 같이 심음을 측정 한 길이가 일정하지 않아 다른 심음 데이터와 직접적으로 비교하기에 적절하지 않다. 따라서 본 발명의 일 실시예에서는 상기 심음 데이터(1) 혹은 학습 심음 데이터로부터 획득한 멜-스펙트로그램을 기설정된 시간길이(ts)로 분할하여 분석을 하기 위한 입력 데이터로 사용할 수 있다. 이와 같이 기설정된 시간길이(ts)로 멜-스펙트로그램을 분할함으로써 일정한 크기의 입력 데이터를 획득하여 분석을 수행할 수 있게 되어 분석의 정확도를 높일 수 있게 된다.The heart sound data 1 or the learning heart sound data input through the heart sound input step S100b and the learning data input step S100a has a constant length measured by the heart sound as shown in (a) and (b) of FIG. 4 . It is not suitable for direct comparison with other heart sound data. Accordingly, in an embodiment of the present invention, the mel-spectrogram obtained from the heart sound data 1 or the learned heart sound data may be divided into a preset time length t s and used as input data for analysis. As described above, by dividing the mel-spectrogram by a preset time length (t s ), it is possible to obtain input data of a certain size and perform the analysis, thereby increasing the accuracy of the analysis.

이 때, 하나의 심음 데이터에서 하나의 분할 멜-스펙트로그램을 추출하는 경우, 추출되지 않은 영역의 데이터가 분석에 사용되지 않기 때문에, 하나의 심음 데이터에서 복수의 분할 멜-스펙트로그램을 추출할 수 있다. 이 때 본 발명의 일 실시예에서는 기설정된 시간간격(td)으로 복수의 분할 멜-스펙트로그램을 추출할 수 있다. 바람직하게는 상기 기설정된 시간간격(td)은 상기 기설정된 시간길이(ts)와 같거나 작아서 상기 심음 데이터가 모두 분석에 사용될 수 있도록 한다.At this time, when one segmented Mel-spectrogram is extracted from one heart sound data, since the data of the unextracted area is not used for analysis, it is possible to extract a plurality of segmented Mel-spectrograms from one heart sound data. have. In this case, in an embodiment of the present invention, a plurality of divided Mel-spectrograms may be extracted at a preset time interval t d . Preferably, the preset time interval t d is equal to or smaller than the preset time length t s so that all of the heart sound data can be used for analysis.

도 5에는 도 4의 (a)와 같은 멜-스펙트로그램에서 분할 멜-스펙트로그램을 생성하는 모습이 도시되어 있다.FIG. 5 shows a state in which a split Mel-spectrogram is generated from the Mel-spectrogram as shown in FIG. 4(a).

우선 도 5의 (a)에서와 같이 상기 멜-스펙트로그램에서 박스로 표시된 것과 같은 기설정된 시간길이(ts)의 분할 멜-스펙트로그램을 생성한다.First, as shown in (a) of FIG. 5 , a divided Mel-spectrogram of a preset time length t s as indicated by a box in the Mel-spectrogram is generated.

이 후, 도 5의 (b)에서와 같이 기설정된 시간간격(td)을 두고, 동일하게 박스로 표시된 것과 같은 기설정된 시간길이(ts)의 분할 멜-스펙트로그램을 생성한다.Thereafter, a divided Mel-spectrogram of a predetermined time length (t s ) as indicated by a box is generated at a predetermined time interval (t d ) as in FIG. 5B .

이 후, 도 5의 (c)에서와 같이 다시 기설정된 시간간격(td)을 두고, 동일하게 박스로 표시된 것과 같은 기설정된 시간길이(ts)의 분할 멜-스펙트로그램을 생성한다.Thereafter, a divided Mel-spectrogram of a preset time length (t s ) as indicated by the same box is generated again with a preset time interval (t d ) as shown in FIG. 5( c ).

이와 같은 과정을 반복함으로써 도 4의 (a)에서 도시된 것과 같은 멜-스펙트로그램에서 크기가 일정한 복수의 분할 멜-스펙트로그램을 생성할 수 있고, 이와 같이 크기가 일정한 복수의 분할 멜-스펙트로그램을 통해 심음을 정확히 분석할 수 있다.By repeating this process, a plurality of divided Mel-spectrograms having a constant size can be generated from the Mel-spectrogram as shown in FIG. can accurately analyze the heartbeat.

본 발명의 일 실시예에서는 상기 기설정된 시간길이(ts)는 3초이고 상기 기설정된 시간간격(td)은 1초이다. 본 발명에서와 같이 분당 약 60 내지 120회의 반복적인 박동이 포함되는 심음 데이터를 입력으로 하는 경우 기설정된 시간길이(ts) 및 기설정된 시간간격(td)을 각각 3초 및 1초로 설정함으로써 심장 박동에 대한 분석을 용이하게 수행할 수 있다.In an embodiment of the present invention, the preset time length (t s ) is 3 seconds and the preset time interval (t d ) is 1 second. When heart sound data including repetitive beats of about 60 to 120 beats per minute is input as in the present invention, the preset time length (t s ) and the preset time interval (t d ) are set to 3 seconds and 1 second, respectively. Analysis of the heartbeat can be easily performed.

도 6은 본 발명의 일 실시예에 따라 특징데이터를 추출하는 방법을 개략적으로 도시하는 도면이다.6 is a diagram schematically illustrating a method of extracting feature data according to an embodiment of the present invention.

본 발명의 일 실시예에 따르면 상기 심음특징추출단계(S300b)는, 상기 심음 2차원 데이터(2)에 대해 컨볼루션 신경망의 컨볼루션 및 풀링을 적용하여 특징데이터를 추출하고, 상기 학습데이터특징추출단계(S300a)는, 상기 심음특징추출단계(S300b)와 동일한 방법으로 상기 학습 2차원 데이터에 기초하여 학습특징데이터를 추출할 수 있다.According to an embodiment of the present invention, in the heart sound feature extraction step (S300b), feature data is extracted by applying convolution and pooling of a convolutional neural network to the heart sound two-dimensional data 2, and the learning data feature extraction In step S300a, learning feature data may be extracted based on the two-dimensional learning data in the same manner as in the heart sound feature extraction step S300b.

도 6은 상기 심음 2차원 데이터(2)에 이와 같은 컨볼루션 및 풀링이 적용되는 모습을 도시하고 있다.6 shows a state in which such convolution and pooling are applied to the two-dimensional heart sound data 2 .

도 6에서는 도 5에서 생성된 복수의 분할 멜-스펙트로그램을 입력으로 하는 컨볼루션 및 풀링 블록을 확인할 수 있다.In FIG. 6 , a convolution and pooling block to which the plurality of divided Mel-spectrograms generated in FIG. 5 are input can be confirmed.

도 6을 참조하면 상기 분할 멜-스펙트로그램을 입력 받으면 복수의 컨볼루션 블록(Conv) 및 풀링 블록(P)을 통해 특성맵을 생성하고, 특성맵의 크기를 점차 줄여가면서, 특성맵의 수를 점차 늘려가는 방식으로 특성을 추출하게 된다.Referring to FIG. 6 , upon receiving the split Mel-spectrogram, a feature map is generated through a plurality of convolution blocks (Conv) and pooling blocks (P), and the size of the feature map is gradually reduced while increasing the number of feature maps. Characteristics are extracted in a gradually increasing way.

이와 같은 컨볼루션 블록(Conv)는 입력으로부터 특성맵을 생성함으로써 특성을 추출하게 되고, 풀링 블록(P)는 특성맵의 크기를 줄여 특성 데이터를 추출할 수 있도록 한다. 이와 같은 구조는 일반적인 컨볼루션 신경망(CNN)에서 컨볼루션 블록과 풀링 블록을 반복하여 연결하여 특성을 추출하는 구성과 동일하다.Such a convolution block (Conv) extracts a feature by generating a feature map from an input, and the pooling block (P) reduces the size of the feature map so that feature data can be extracted. Such a structure is the same as that of extracting features by repeatedly connecting convolution blocks and pooling blocks in a general convolutional neural network (CNN).

도 6에 도시된 바와 같이 최종 풀링 블록(P5)에서는 크기가 1x1인 복수(N개)의 특성맵이 도출된다. 본 발명에서는 이와 같이 도출된 복수의 특성맵을 Flatten 하여 N개의 특성데이터를 추출하게 된다.As shown in FIG. 6 , in the final pooling block P 5 , a plurality of (N) characteristic maps having a size of 1×1 are derived. In the present invention, N pieces of characteristic data are extracted by flattening the plurality of characteristic maps derived in this way.

도 6에 도시된 컨볼루션 블록(Conv) 및 풀링 블록(P)은 본 발명의 일 실시예에 따른 것으로서, 본 발명은 도 6에 도시된 구성에 한정되지 않고, 도 6과는 다른 수의 컨볼루션 블록(Conv) 및 풀링 블록(P)을 포함하여 구성될 수 있다. 예를 들어 도 6에는 4개의 컨볼루션 블록들(Conv)을 포함하여 특성맵을 도출하지만 본 발명의 다른 실시예에서는 5개의 컨볼루션 블록들(Conv)을 포함하여 특성맵을 도출하고 특성데이터를 추출할 수 있다.The convolution block Conv and the pooling block P shown in FIG. 6 are according to an embodiment of the present invention, and the present invention is not limited to the configuration shown in FIG. It may be configured to include a solution block (Conv) and a pooling block (P). For example, in FIG. 6, a feature map is derived by including four convolution blocks (Conv), but in another embodiment of the present invention, a feature map is derived by including five convolution blocks (Conv), and the feature data is can be extracted.

도 7은 본 발명의 일 실시예에 따라 VGG16 신경망 모델을 통해 특징데이터를 추출하는 과정의 데이터를 개략적으로 도시하는 도면이다.7 is a diagram schematically illustrating data of a process of extracting feature data through a VGG16 neural network model according to an embodiment of the present invention.

본 발명의 일 실시예에서 상기 심음특징추출단계(S300b)는, 상기 심음 2차원 데이터(2)에 대해 VGG16 신경망 모델의 컨볼루션 및 풀링을 적용하여 512개의 특징데이터를 추출하고, 상기 학습데이터특징추출단계는, 상기 심음특징추출단계와 동일한 방법으로 상기 학습 2차원 데이터에 기초하여 학습특징데이터를 추출할 수 있다.In an embodiment of the present invention, in the heart sound feature extraction step (S300b), 512 feature data is extracted by applying convolution and pooling of the VGG16 neural network model to the heart sound two-dimensional data 2, and the learning data feature In the extracting step, the learning feature data may be extracted based on the learning two-dimensional data in the same way as in the heart sound feature extracting step.

VGG16 신경망 모델의 컨볼루션 및 풀링은 도 6에 도시된 것과 유사한 구조를 갖는다. 다만 VGG16 신경망 모델에서는 5개의 블록을 가지고, 각각의 블록에는 컨볼루션 층과 풀링 층이 각각 배치될 수 있다.The convolution and pooling of the VGG16 neural network model has a structure similar to that shown in FIG. 6 . However, the VGG16 neural network model has 5 blocks, and a convolution layer and a pooling layer can be arranged in each block.

도 7에는 이와 같은 VGG16 신경망 모델에서의 각각의 층에서의 출력데이터의 일 예가 정리되어 있다.7 shows an example of output data in each layer in the VGG16 neural network model.

도 7에 도시된 실시예에서는 우선 입력으로 150 x 150 크기의 분할 멜-스펙트로그램(150,150,3)이 입력되고, 블록1의 컨볼루션1 및 컨볼루션2 층을 통해 64개의 특성맵이 생성된다(150,150,64). 이후 블록1의 풀링 층을 거치면서 75 x 75 크기의 특성맵이 생성되고(75,75,64), 블록2의 컨볼루션1 및 컨볼루션2 층을 통해 128개의 특성맵이 생성된다(75,75,128). 이후 블록2의 풀링 층을 거치면서 37 x 37 크기의 특성맵이 생성되고(37,37,128), 블록3의 컨볼루션1, 컨볼루션2 및 컨볼루션3 층을 통해 256개의 특성맵이 생성된다(37,37,256). 이후 블록3의 풀링 층을 거치면서 18 x 18 크기의 특성맵이 생성되고(18,18,256), 블록4의 컨볼루션1, 컨볼루션2 및 컨볼루션3 층을 통해 512개의 특성맵이 생성된다(18,18,512). 이후 블록4의 풀링 층을 거치면서 9 x 9 크기의 특성맵이 생성되고(9,9,512), 블록5의 컨볼루션1, 컨볼루션2 및 컨볼루션3 층을 통해 512개의 특성맵이 생성된다(18,18,512). 이후 블록 5의 풀링 층을 거치면서 4 x 4 크기의 특성맵이 생성된다(4,4,512).In the embodiment shown in FIG. 7 , split Mel-spectrograms 150, 150, 3 with a size of 150 x 150 are first input as input, and 64 characteristic maps are generated through the convolution 1 and convolution 2 layers of block 1. (150,150,64). After that, a 75 x 75 size feature map is generated through the pooling layer of block 1 (75, 75, 64), and 128 feature maps are generated through the convolution 1 and convolution 2 layers of block 2 (75, 75,128). After that, 37 x 37 size feature maps are generated through the pooling layer of block 2 (37, 37, 128), and 256 feature maps are generated through the convolution 1, convolution 2, and convolution 3 layers of block 3 ( 37,37,256). After that, 18 x 18 size feature maps are generated through the pooling layer of block 3 (18, 18, 256), and 512 feature maps are generated through the convolution 1, convolution 2, and convolution 3 layers of block 4 ( 18,18,512). Thereafter, 9 x 9 size feature maps are generated through the pooling layer of block 4 (9,9,512), and 512 feature maps are generated through the convolution 1, convolution 2, and convolution 3 layers of block 5 ( 18,18,512). After that, a 4 x 4 size characteristic map is generated by going through the pooling layer of block 5 (4,4,512).

이와 같이 컨볼루션과 풀링을 통해 도출된 (4,4,512)의 특성맵은 이후 두 개의 풀링 층을 더 거치면서 각각 (2,2,512) 및 (1,1,512)의 특성맵이 생성되고, 최종 도출된 (1,1,512)의 특성맵을 Flatten 하여 512개의 특성데이터를 추출하게 된다.As such, the feature map of (4,4,512) derived through convolution and pooling is then passed through two pooling layers to generate (2,2,512) and (1,1,512) feature maps, respectively, and finally derived By flattening the (1,1,512) characteristic map, 512 characteristic data are extracted.

도 8은 본 발명의 일 실시예에 따라 추출된 특징데이터의 일 예를 개략적으로 도시하는 도면이다.8 is a diagram schematically illustrating an example of feature data extracted according to an embodiment of the present invention.

본 발명의 일 실시예에서 상기 특징선별단계(S400a)는, 2 이상의 상기 학습특징데이터 중에서 상기 분류별 바타차야 거리(Bhattacharyya distance)에 기초하여 학습특징데이터를 선별할 수 있다.In an embodiment of the present invention, the feature selection step (S400a) may select the learning feature data based on the Bhattacharyya distance for each classification among the two or more learning feature data.

도 8에는 전술한 것과 같은 방법을 따라 학습 심음 데이터로부터 추출된 N개의 학습특징데이터의 일 예가 도시되어 있다. 상기 학습 심음 데이터는 2 개의 분류로 구분되어 있고, 각각의 분류에 3개의 학습 심음 데이터(T)가 포함되어 있다. 즉, 분류 1에는 T1, T2 및 T3의 학습 심음 데이터가 포함되어 있고, 분류 2에는 T4, T5 및 T6의 학습 심음 데이터가 포함되어 있다.8 shows an example of the N pieces of learning feature data extracted from the learning heart sound data according to the method as described above. The learning heart sound data is divided into two classifications, and each classification includes three learning heart sound data (T). That is, classification 1 includes learned heart sound data of T1, T2, and T3, and classification 2 includes learned heart sound data of T4, T5, and T6.

각각의 학습 심음 데이터는 상기 학습데이터입력단계(S100a), 학습데이터전처리단계(S200a) 및 학습데이터특징추출단계(S300a)를 통해 N개의 학습특징데이터가 추출되었다. 예를 들어 상기 학습 심음 데이터 T1은 F11, F12, F13, F14 …… F1N 의 N개의 학습특징데이터가 추출되었다. 이와 같이 추출된 N개의 학습특징데이터들은 분류별로 평균 및 분산이 도출될 수 있다. 예를 들어 분류 1의 특징데이터 1의 평균은 m11이고, 분산은 σ2 11이다.For each learning heart sound data, N learning feature data were extracted through the learning data input step (S100a), the learning data preprocessing step (S200a), and the learning data feature extraction step (S300a). For example, the training heart sound data T1 is F 11 , F 12 , F 13 , F 14 . … N learning feature data of F 1N were extracted. The average and variance of the N learning feature data extracted in this way can be derived for each classification. For example, the mean of feature data 1 of classification 1 is m 11 , and the variance is σ 2 11 .

상기 특징선별단계(S400a)는 이와 같이 추출된 학습특징데이터를 선별한다. 본 발명의 일 실시예에서는 바타차야 거리에 기초하여 학습특징데이터를 선별할 수 있다.The feature selection step (S400a) selects the learning feature data extracted in this way. In an embodiment of the present invention, it is possible to select the learning feature data based on the Batachaya distance.

바타차야 거리는 두 통계 분포의 유사도를 측정하는 방법으로, 바타차야 계수에 기초하여 계산된다. 바타차야 계수는 하기 식과 같이 계산될 수 있다.The Batachaya distance is a method of measuring the similarity between two statistical distributions, and is calculated based on the Batachaya coefficient. The batachaya coefficient can be calculated as follows.

Figure 112019134915782-pat00002
Figure 112019134915782-pat00002

Figure 112019134915782-pat00003
Figure 112019134915782-pat00003

이 때, 상기 바타차야 계수가 작을수록 두 분포가 유사하고, 클수록 두 분포가 상이함을 나타낸다.In this case, the smaller the batachaya coefficient, the more similar the two distributions, and the larger the batachaya coefficient, the different the two distributions are.

이와 같은 바타차야 계수를 도 8에서와 같은 특징데이터에 적용하면, N번째 특징데이터의 바타차야 계수는 하기 식과 같다.When such a batachaya coefficient is applied to the feature data as in FIG. 8, the batachaya coefficient of the Nth feature data is as follows.

Figure 112019134915782-pat00004
Figure 112019134915782-pat00004

이와 같은 바타차야 계수가 크다는 것은, 분류에 따른 특징데이터의 차이가 크다는 것을 나타낸다. 따라서 본 발명의 일 실시예에서는 상기 바타차야 계수가 큰 특징데이터를 선별하여 심음 데이터를 분류하는데 사용하여 분류의 정확도를 높일 수 있다. 본 발명의 일 실시예에서는 도 7에서와 같이 도출된 512개의 특징데이터 중 상기 바타차야 계수에 기초하여 30개의 특징데이터를 선별할 수 있다.Such a large batachaya coefficient indicates that the difference in feature data according to classification is large. Therefore, in an embodiment of the present invention, the accuracy of classification can be increased by selecting the characteristic data having a large batachaya coefficient and using it to classify the heart sound data. In an embodiment of the present invention, 30 pieces of feature data may be selected based on the batachaya coefficient among 512 pieces of feature data derived as shown in FIG. 7 .

도 9는 본 발명의 일 실시예에 따른 뉴로-퍼지 네트워크 기반의 심음분류단계에서 사용되는 가중 퍼지 소속 함수 기반의 퍼지 신경망(NEWFM)의 구조를 개략적으로 도시하는 도면이다.9 is a diagram schematically illustrating the structure of a fuzzy neural network (NEWFM) based on a weighted fuzzy membership function used in a heart sound classification step based on a neuro-fuzzy network according to an embodiment of the present invention.

본 발명의 일 실시예에서 상기 심음분류단계(S500)는, 1 이상의 선별된 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망(Neuro Network with a Weighted Fuzzy Membership function, NEWFM)에 입력하여, 가중 퍼지 소속 함수의 경계합(Bounded Sum of Weighted Fuzzy Membership functions, BSWFM)을 학습시킬 수 있다. 도 9를 참조하여 가중 퍼지 소속 함수 기반의 퍼지 신경망(NEWFM)을 설명하면, NEWFM은 입력(input) 레이어, 하이퍼박스(hyper box) 레이어, 클래스(class) 레이어를 포함하는 3개의 레이어로 구성될 수 있다. 이때, 입력 레이어는, n개의 특징을 가진 입력 패턴이 입력되는, n개의 입력 노드로 구성될 수 있고, 하이퍼박스 레이어는, 각각이 n개의 입력 노드에 대한 n개의 BSWFM을 포함하며 클래스 노드에 연결되는, m개의 하이퍼박스 노드로 구성될 수 있다. 또한, 클래스 레이어는, 각각이 적어도 하나 이상의 하이퍼박스 노드에 연결되는 p개의 클래스 노드로 구성될 수 있다.In an embodiment of the present invention, in the heart sound classification step (S500), one or more selected heart sound characteristic data are inputted into a fuzzy neural network based on a weighted fuzzy membership function (NEWFM), respectively, and weighted Bounded Sum of Weighted Fuzzy Membership functions (BSWFM) can be trained. When a fuzzy neural network (NEWFM) based on a weighted fuzzy membership function is described with reference to FIG. 9, NEWFM is composed of three layers including an input layer, a hyperbox layer, and a class layer. can In this case, the input layer may be composed of n input nodes to which an input pattern having n features is input, and the hyperbox layer includes n BSWFMs for n input nodes, each of which is connected to a class node. It can be composed of m hyperbox nodes. In addition, the class layer may be composed of p class nodes, each of which is connected to at least one or more hyperbox nodes.

한편, 입력 노드에 입력되는 h번째 입력 패턴은 하기 식과 같이 표현될 수 있다.Meanwhile, the h-th input pattern input to the input node may be expressed as follows.

Figure 112019134915782-pat00005
Figure 112019134915782-pat00005

이 때, class는 분류 결과를 가리키며, Fh는 입력 패턴의 n개의 특징(선별된 심음특징데이터)을 나타낸다.In this case, class indicates the classification result, and F h indicates n features (selected heart sound feature data) of the input pattern.

하이퍼박스 노드 Bl는 각각, n 개의 퍼지 집합으로 구성되는데, 그 중 i번째 퍼지 집합은 도 6에서와 같이, Bl i로 표현되는 가중 퍼지 소속 함수(Weighted Fuzzy Membership function, WFM)를 가진다. Each hyperbox node B l is composed of n fuzzy sets, among which the i-th fuzzy set has a weighted fuzzy membership function (WFM) expressed as B l i as shown in FIG. 6 .

도 10은 본 발명의 일 실시예에 따른 심음분류단계에서 사용되는 NEWFM에 의해 학습시키는 가중 퍼지 소속 함수의 경계합(BSWFM)을 개략적으로 도시하는 도면이다.10 is a diagram schematically illustrating a boundary sum (BSWFM) of weighted fuzzy membership functions learned by NEWFM used in the heart sound classification step according to an embodiment of the present invention.

도 10에 도시된 바와 같이, 가중 퍼지 소속 함수(WFM) Bl i는 연속된 시 변화 신호 x(t)에 대한 원래의 소속 함수(original membership function)인 μl i 1, μl i 2, μl i 3 등에 대하여, 가중치 Wl i 1, Wl i 2, Wl i3 등을 준 소속 함수를 나타낸다. 도 10에서는, μl i 1, μl i 2, μl i 3 에 대하여, 각각 0.7, 0.8, 0.3의 가중치를 준 WFM(wl i 1, wl i 2, wl i 3)이 도시되었다.As shown in FIG. 10 , the weighted fuzzy membership function (WFM) B l i is an original membership function for a continuous time-change signal x(t) μ l i 1 , μ l i 2 , For μ l i 3 and the like, a membership function with weights W l i 1 , W l i 2 , W l i3 , etc. is shown. In FIG. 10 , WFMs (w l i 1 , w l i 2 , w l i 3 ) with weights of 0.7, 0.8, and 0.3 for μ l i 1 , μ l i 2 , and μ l i 3 are shown. became

한편, 가중 퍼지 소속 함수의 경계합(BSWFM)은, 도 10의 굵은 선과 같은 다각형 모양으로 나타날 수 있는데, 이 때, 가중 퍼지 소속 함수 Bl i에 대한 BSWFM 값인 BSl i(Fi)은, 하기 식과 같이 표현될 수 있다.On the other hand, boundary sum (BSWFM) of weighted fuzzy membership functions, may appear as a polygonal shape such as a thick line in Fig. 10, at this time, the weighting BSWFM value BS l i (F i) of the fuzzy membership function B l i is, It can be expressed as the following formula.

Figure 112019134915782-pat00006
Figure 112019134915782-pat00006

이 때, Fi는 입력 패턴 Fh의 i번째 특징값을 나타낸다. 도 10에는, v1 i 2 및 vl i 3의 사이에 위치한 Fi에 대한 BSWFM 값이 도시되어 있다.In this case, F i represents the i-th feature value of the input pattern F h. In FIG. 10 , BSWFM values for F i located between v 1 i 2 and v l i 3 are shown.

도 11은 본 발명의 일 실시예에 따른 특징데이터에서 분류에 따른 가중 퍼지 소속 함수의 경계합(BSWFM)의 일 예를 도시하는 도면이다.11 is a diagram illustrating an example of a boundary sum (BSWFM) of weighted fuzzy membership functions according to classification in feature data according to an embodiment of the present invention.

도 11에 도시된 바와 같이, 분류 1 및 분류 2에 대해 각각, 본 발명의 일 실시예에 따른 심음분석단계(S20)의 심음분류단계(S500)를 적용하는 경우, 심음 데이터의 N번째 특징데이터의 퍼지 값(fuzzy value)의 분포에서 구분되는 차이점을 확인할 수 있다.11 , when the heart sound classification step S500 of the heart sound analysis step S20 according to an embodiment of the present invention is applied to each of the classification 1 and the classification 2, the Nth characteristic data of the heart sound data A distinct difference can be seen in the distribution of fuzzy values of .

따라서 본 발명의 일 실시예에서 상기 심음분류단계(S500)는, 학습된 가중 퍼지 소속 함수의 경계합(BSWFM)을 기설정된 값과 비교하여 심음 데이터의 분류를 도출할 수 있다. 이와 같은 기설정된 값은 복수의 학습데이터를 통해 획득된 데이터에 기초하여 설정될 수 있고, 입력된 심음 데이터를 분류하기 위하여는 상기 심음 데이터로부터 추출하여 선별한 심음특징데이터를 NEWFM에 의해 학습시킨 BSWFM이 상기 미리 설정한 값과 얼마나 차이가 있는지를 비교하여, 상기 심음 데이터의 분류를 결정할 수 있다.Accordingly, in the heart sound classification step S500 in an embodiment of the present invention, the classification of heart sound data may be derived by comparing the learned boundary sum (BSWFM) of the weighted fuzzy membership function with a preset value. Such a preset value may be set based on data obtained through a plurality of learning data, and in order to classify the input heart sound data, the selected heart sound feature data extracted from the heart sound data is learned by BSWFM by NEWFM. The classification of the heart sound data may be determined by comparing the difference with the preset value.

도 12는 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.12 is a block diagram illustrating an example of an internal configuration of a computing device according to an embodiment of the present invention.

도 12에 도시한 바와 같이, 컴퓨팅 장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)은 심음 분석 시스템에 해당될 수 있다.12, the computing device 11000 includes at least one processor 11100, a memory 11200, a peripheral interface 11300, an input/output subsystem ( It may include at least an I/O subsystem) 11400 , a power circuit 11500 , and a communication circuit 11600 . In this case, the computing device 11000 may correspond to a heart sound analysis system.

메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.The memory 11200 may include, for example, a high-speed random access memory, a magnetic disk, an SRAM, a DRAM, a ROM, a flash memory, or a non-volatile memory. have. The memory 11200 may include a software module, an instruction set, or other various data necessary for the operation of the computing device 11000 .

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.In this case, access to the memory 11200 from other components such as the processor 11100 or the peripheral interface 11300 may be controlled by the processor 11100 .

주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.Peripheral interface 11300 may couple input and/or output peripherals of computing device 11000 to processor 11100 and memory 11200 . The processor 11100 may execute a software module or an instruction set stored in the memory 11200 to perform various functions for the computing device 11000 and process data.

입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.The input/output subsystem 11400 may couple various input/output peripherals to the peripheral interface 11300 . For example, the input/output subsystem 11400 may include a controller for coupling a peripheral device such as a monitor, keyboard, mouse, printer, or a touch screen or sensor as needed to the peripheral interface 11300 . According to another aspect, input/output peripherals may be coupled to peripheral interface 11300 without going through input/output subsystem 11400 .

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.The power circuit 11500 may supply power to all or some of the components of the terminal. For example, the power circuit 11500 may include a power management system, one or more power sources such as batteries or alternating current (AC), a charging system, a power failure detection circuit, a power converter or inverter, a power status indicator, or a power source. It may include any other components for creation, management, and distribution.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.The communication circuit 11600 may enable communication with another computing device using at least one external port.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.Alternatively, as described above, if necessary, the communication circuit 11600 may include an RF circuit to transmit and receive an RF signal, also known as an electromagnetic signal, to enable communication with other computing devices.

이러한 도 12의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 12에 도시된 일부 컴포넌트가 생략되거나, 도 12에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 12에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.This embodiment of FIG. 12 is only an example of the computing device 11000 , and the computing device 11000 may omit some components shown in FIG. 12 , or further include additional components not shown in FIG. 12 , or 2 It may have a configuration or arrangement that combines two or more components. For example, a computing device for a communication terminal in a mobile environment may further include a touch screen or a sensor in addition to the components shown in FIG. 12 , and various communication methods (WiFi, 3G, LTE) are provided in the communication circuit 1160 . , Bluetooth, NFC, Zigbee, etc.) may include a circuit for RF communication. Components that may be included in the computing device 11000 may be implemented in hardware, software, or a combination of both hardware and software including an integrated circuit specialized for one or more signal processing or applications.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computing devices and recorded in a computer-readable medium. In particular, the program according to the present embodiment may be configured as a PC-based program or an application dedicated to a mobile terminal. The application to which the present invention is applied may be installed in the user terminal through a file provided by the file distribution system. For example, the file distribution system may include a file transmission unit (not shown) that transmits the file in response to a request from the user terminal.

이상과 같은 본 발명의 일 실시예에 따른 심음 분석 시스템의 성능을 확인하기 위하여 588건의 데이터를 사용하여 분류 정확도를 도출하였다.In order to check the performance of the heart sound analysis system according to an embodiment of the present invention as described above, classification accuracy was derived using 588 data.

상기 588건의 데이터는 294건의 정상 심음 데이터 및 294건의 비정상 심음 데이터를 포함하였다.The 588 data included 294 normal heart sound data and 294 abnormal heart sound data.

도 7에 도시된 것과 같은 VGG16 신경망 모델의 컨볼루션 및 풀링을 적용하여 512개의 특징데이터를 추출하였고, 바타차야 거리에 기초하여 30개의 특징데이터를 선별하였다. 이와 같이 선별 된 30개의 특징데이터를 각각 5-fold, 10-fold 및 Loocv 학습을 수행한 결과가 하기 표 1과 같이 나타났다.By applying convolution and pooling of the VGG16 neural network model as shown in FIG. 7 , 512 feature data were extracted, and 30 feature data were selected based on the Batachaya distance. The results of performing 5-fold, 10-fold and Loocv learning on the 30 selected feature data, respectively, are shown in Table 1 below.

5-fold5-fold 10-fold10-fold LoocvLoocv 평균average 3030 94.7009%94.7009% 95%95% 95.068%95.068% 94.9229%94.9229%

한편, 일반적인 2차원 데이터의 분류에 사용되는 컨볼루션 신경망(CNN)을 통한 분류와 본 발명의 일 실시예에 따라 가중 퍼지 소속 함수 기반의 퍼지 신경망에 기반하여 심음 데이터를 분류하는 방법의 성능을 비교하였다. 이와 같은 비교에서는 500건의 데이터를 학습 데이터로 사용하였고, 88건의 데이터를 검증 데이터로 사용하여 성능을 비교하였다. 이와 같은 비교 결과가 하기 표 2와 같이 나타났다.On the other hand, comparing the performance of classification through a convolutional neural network (CNN) used for classification of general two-dimensional data and a method of classifying heart sound data based on a fuzzy neural network based on a weighted fuzzy membership function according to an embodiment of the present invention did. In this comparison, 500 data were used as training data and 88 data were used as validation data to compare performance. Such comparison results are shown in Table 2 below.

CNNCNN NEWFMNEWFM 8888 86.73%86.73% 95%95%

이와 같이 본 발명의 일 실시예에 따라 가중 퍼지 소속 함수 기반의 퍼지 신경망을 학습하여 심음 데이터에 대한 분석을 수행하는 것이 컨볼루션 신경망을 통하여 분석을 수행하는 것에 비해 높은 정확도를 나타내는 것을 확인할 수 있다.As described above, it can be confirmed that performing analysis on heart sound data by learning a fuzzy neural network based on a weighted fuzzy membership function according to an embodiment of the present invention exhibits higher accuracy than performing analysis through a convolutional neural network.

본 발명의 일 실시예에 따르면 입력 받은 심음 데이터를 2차원 데이터로 변형함으로써 컨볼루션 및 풀링을 통해 특징데이터를 추출할 수 있다.According to an embodiment of the present invention, by transforming the received heart sound data into two-dimensional data, it is possible to extract feature data through convolution and pooling.

본 발명의 일 실시예에 따르면 심음 2차원 데이터를 기설정된 시간길이 및 기설정된 시간간격으로 분할함으로써 표준화된 크기의 2차원 데이터로부터 특징데이터를 추출하여 심음을 분석할 수 있다.According to an embodiment of the present invention, by dividing the two-dimensional heart sound data into a preset time length and a preset time interval, it is possible to analyze the heart sound by extracting feature data from the two-dimensional data of a standardized size.

본 발명의 일 실시예에 따르면 학습데이터로부터 특징데이터를 추출하고, 특징데이터를 바타차야 거리를 이용하여 선별함으로써 심음 데이터를 용이하게 분류할 수 있는 특징데이터를 이용하여 분류를 수행할 수 있다.According to an embodiment of the present invention, classification can be performed using feature data that can easily classify heart sound data by extracting feature data from the learning data and selecting the feature data using the Batachaya distance.

본 발명의 일 실시예에 따르면 컨볼루션 및 풀링을 통해 추출된 특징데이터를 가중 퍼지 소속 함수 기반의 퍼지 신경망을 통해 분류함으로써 분류의 정확도를 높일 수 있다.According to an embodiment of the present invention, classification accuracy can be increased by classifying feature data extracted through convolution and pooling through a fuzzy neural network based on a weighted fuzzy membership function.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (10)

1 이상의 프로세서 및 메모리를 포함하는 심음 분석 시스템에 의해 수행되는 심음 분석 방법으로서,
심음 데이터를 입력 받는 심음입력단계;
상기 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하는 심음전처리단계;
변환된 상기 심음 2차원 데이터에 기초하여 2 이상의 심음특징데이터를 추출하는 심음특징추출단계;
상기 2 이상의 심음특징데이터 중 선별된 학습특징데이터 카테고리에 해당하는 심음특징데이터를 선별하는 심음특징선별단계; 및
학습된 모델 및 선별된 심음특징데이터에 기초하여 심음 데이터의 분류를 도출하는 심음분류단계; 를 포함하고,
상기 선별된 학습특징데이터 카테고리는,
2 이상의 분류로 구분된 복수의 학습 심음 데이터에 대하여 상기 심음전처리단계, 심음특징추출단계에 상응하는 과정으로 2 이상의 카테고리의 심음특징데이터를 추출하고, 상기 2 이상의 카테고리의 심음특징데이터 중 상기 분류에 따른 유사도가 기설정된 기준 이하인 심음특징데이터의 카테고리를 도출하여 결정되고,
상기 심음분류단계는,
1 이상의 선별된 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망에 입력하여, 가중 퍼지 소속 함수의 경계합을 학습시키고,
학습된 가중 퍼지 소속 함수의 경계합을 기설정된 값과 비교하여 심음 데이터의 분류를 도출하고,
상기 선별된 학습특징데이터 카테고리는,
상기 2 이상의 카테고리의 학습특징데이터 중 상기 분류에 따른 바타차야 거리(Bhattacharyya distance)에 기초하여 심음특징데이터의 카테고리를 도출하여 결정되고,
상기 심음전처리단계는,
입력 받은 상기 심음 데이터를 멜-스펙트로그램으로 변환하고,
상기 심음특징추출단계는,
상기 심음 2차원 데이터에 대해 컨볼루션 신경망의 컨볼루션 및 풀링을 적용하여 도출되는 최종 풀링 블록에서 2 이상의 심음특징데이터를 추출하고,
상기 심음특징데이터는 수치에 해당하는, 심음 분석 방법.
A heart sound analysis method performed by a heart sound analysis system comprising one or more processors and a memory, the method comprising:
a heart sound input step of receiving heart sound data;
a heart sound preprocessing step of converting the heart sound data into time-frequency heart sound two-dimensional data;
a heart sound feature extraction step of extracting two or more heart sound feature data based on the converted two-dimensional heart sound data;
a heart sound feature selection step of selecting heart sound feature data corresponding to the selected learning feature data category from among the two or more heart sound feature data; and
a heart sound classification step of deriving a classification of heart sound data based on the learned model and the selected heart sound characteristic data; including,
The selected learning characteristic data category is,
With respect to the plurality of learning heart sound data divided into two or more categories, two or more categories of heart sound feature data are extracted with a process corresponding to the heart sound pre-processing step and the heart sound feature extraction step, and among the heart sound feature data of the two or more categories, to the classification It is determined by deriving a category of heart sound characteristic data whose similarity is less than or equal to a preset standard,
The heart sound classification step is
By inputting one or more selected heart sound feature data into a fuzzy neural network based on a weighted fuzzy membership function, respectively, the boundary sum of the weighted fuzzy membership function is learned,
A classification of heart sound data is derived by comparing the boundary sum of the learned weighted fuzzy membership function with a preset value,
The selected learning characteristic data category is,
It is determined by deriving a category of heart sound characteristic data based on the Bhattacharyya distance according to the classification among the learning characteristic data of the two or more categories,
The heart sound pre-processing step,
Converts the received heart sound data into a Mel-spectrogram,
The heart sound feature extraction step,
Extracting two or more heart sound feature data from the final pooling block derived by applying convolution and pooling of a convolutional neural network to the two-dimensional heart sound data,
The heart sound characteristic data corresponds to a numerical value, heart sound analysis method.
삭제delete 삭제delete 삭제delete 삭제delete 청구항 1에 있어서,
상기 전처리단계는,
변환된 멜-스펙트로그램을 기설정된 시간길이 및 기설정된 시간간격으로 분할하여 분할 멜-스펙트로그램을 생성하는, 심음 분석 방법.
The method according to claim 1,
The pre-processing step is
A heart sound analysis method for generating a split Mel-spectrogram by dividing the converted Mel-spectrogram into a predetermined time length and a predetermined time interval.
삭제delete 삭제delete 심음 분석 시스템으로서,
심음 데이터를 입력 받는 데이터입력부;
상기 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하는 데이터전처리부;
변환된 상기 심음 2차원 데이터에 기초하여 2 이상의 심음특징데이터를 추출하는 데이터특징추출부;
상기 2 이상의 심음특징데이터 중 선별된 학습특징데이터 카테고리에 해당하는 심음특징데이터를 선별하는 특징선별부; 및
학습된 모델 및 선별된 심음특징데이터에 기초하여 심음 데이터의 분류를 도출하는 심음분류부; 를 포함하고,
상기 선별된 학습특징데이터 카테고리는,
2 이상의 분류로 구분된 복수의 학습 심음 데이터에 대하여 상기 데이터전처리부 및 상기 데이터특징추출부를 통해 2 이상의 카테고리의 심음특징데이터를 추출하고, 상기 2 이상의 카테고리의 심음특징데이터 중 상기 분류에 따른 유사도가 기설정된 기준 이하인 심음특징데이터의 카테고리를 도출하여 결정되고,
상기 심음분류부는,
1 이상의 선별된 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망에 입력하여, 가중 퍼지 소속 함수의 경계합을 학습시키고,
학습된 가중 퍼지 소속 함수의 경계합을 기설정된 값과 비교하여 심음 데이터의 분류를 도출하고,
상기 선별된 학습특징데이터 카테고리는,
상기 2 이상의 카테고리의 학습특징데이터 중 상기 분류에 따른 바타차야 거리(Bhattacharyya distance)에 기초하여 심음특징데이터의 카테고리를 도출하여 결정되고,
상기 데이터전처리부는,
입력 받은 상기 심음 데이터를 멜-스펙트로그램으로 변환하고,
상기 데이터특징추출부는,
상기 심음 2차원 데이터에 대해 컨볼루션 신경망의 컨볼루션 및 풀링을 적용하여 도출되는 최종 풀링 블록에서 2 이상의 심음특징데이터를 추출하고,
상기 심음특징데이터는 수치에 해당하는, 심음 분석 시스템.
A heart sound analysis system, comprising:
a data input unit receiving heart sound data;
a data preprocessor for converting the heart sound data into time-frequency two-dimensional heart sound data;
a data feature extraction unit for extracting two or more heart sound feature data based on the converted two-dimensional heart sound data;
a feature selection unit for selecting heart sound feature data corresponding to the selected learning feature data category from among the two or more heart sound feature data; and
a heart sound classification unit deriving a classification of heart sound data based on the learned model and the selected heart sound characteristic data; including,
The selected learning characteristic data category is,
For a plurality of learning heart sound data divided into two or more categories, the heart sound feature data of two or more categories are extracted through the data pre-processing unit and the data feature extraction unit, and the degree of similarity according to the classification among the heart sound feature data of the two or more categories is It is determined by deriving a category of heart sound characteristic data that is less than or equal to a preset standard,
The heart sound classification unit,
By inputting one or more selected heart sound feature data into a fuzzy neural network based on a weighted fuzzy membership function, respectively, the boundary sum of the weighted fuzzy membership function is learned,
A classification of heart sound data is derived by comparing the boundary sum of the learned weighted fuzzy membership function with a preset value,
The selected learning characteristic data category is,
It is determined by deriving the category of heart sound characteristic data based on the Bhattacharyya distance according to the classification among the learning characteristic data of the two or more categories,
The data pre-processing unit,
Converts the received heart sound data into Mel-spectrogram,
The data feature extraction unit,
Extracting two or more heart sound feature data from the final pooling block derived by applying convolution and pooling of a convolutional neural network to the two-dimensional heart sound data,
The heart sound characteristic data corresponds to a numerical value, a heart sound analysis system.
삭제delete
KR1020190176680A 2019-12-27 2019-12-27 Heart Sound Analysis Method and System Based on Neuro-fuzzy Network KR102320100B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190176680A KR102320100B1 (en) 2019-12-27 2019-12-27 Heart Sound Analysis Method and System Based on Neuro-fuzzy Network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190176680A KR102320100B1 (en) 2019-12-27 2019-12-27 Heart Sound Analysis Method and System Based on Neuro-fuzzy Network

Publications (2)

Publication Number Publication Date
KR20210086732A KR20210086732A (en) 2021-07-09
KR102320100B1 true KR102320100B1 (en) 2021-11-02

Family

ID=76865051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190176680A KR102320100B1 (en) 2019-12-27 2019-12-27 Heart Sound Analysis Method and System Based on Neuro-fuzzy Network

Country Status (1)

Country Link
KR (1) KR102320100B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004181246A (en) * 2002-12-04 2004-07-02 Ge Medical Systems Global Technology Co Llc Determination of arbitrary cardiac phase using non-electrical signal
US20190013102A1 (en) 2017-07-10 2019-01-10 Tata Consultancy Services Limited Method and system for classifying phonocardiogram signal quality

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101191667B1 (en) * 2010-05-20 2012-10-17 충북대학교 산학협력단 Cardiac Disorder Diagnosis Apparatus by Using Temporal Features
KR102078525B1 (en) * 2017-11-22 2020-02-19 서울대학교병원 Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004181246A (en) * 2002-12-04 2004-07-02 Ge Medical Systems Global Technology Co Llc Determination of arbitrary cardiac phase using non-electrical signal
US20190013102A1 (en) 2017-07-10 2019-01-10 Tata Consultancy Services Limited Method and system for classifying phonocardiogram signal quality

Also Published As

Publication number Publication date
KR20210086732A (en) 2021-07-09

Similar Documents

Publication Publication Date Title
CN110188836B (en) Brain function network classification method based on variational self-encoder
Karar et al. Automated diagnosis of heart sounds using rule-based classification tree
Dokur et al. Heart sound classification using wavelet transform and incremental self-organizing map
Singh et al. Heart sounds classification using feature extraction of phonocardiography signal
US20190192110A1 (en) Classifier ensemble for detection of abnormal heart sounds
Lubaib et al. The heart defect analysis based on PCG signals using pattern recognition techniques
CN106251880A (en) Identify method and the system of physiological sound
Abduh et al. Classification of heart sounds using fractional Fourier transform based mel-frequency spectral coefficients and stacked autoencoder deep neural network
Singh et al. Short unsegmented PCG classification based on ensemble classifier
KR102186157B1 (en) Lung Sound Analysis Method and System Based on Neuro-fuzzy Network
KR102186159B1 (en) Heart Sound Analysis Method and System Based on Pearson Correlation Coefficient and Neuro-fuzzy Network
Khan et al. Artificial neural network-based cardiovascular disease prediction using spectral features
TWI726574B (en) Model training method and electronic device
Wang et al. Heart sound signal recovery based on time series signal prediction using a recurrent neural network in the long short-term memory model
Bhoi et al. Multidimensional analytical study of heart sounds: A review
Gharehbaghi et al. An intelligent method for discrimination between aortic and pulmonary stenosis using phonocardiogram
Farzam et al. The diagnosis of heart diseases based on PCG signals using MFCC coefficients and SVM classifier
Roy et al. Classification of PCG signals: a survey
Wei et al. A novel method for automatic heart murmur diagnosis using phonocardiogram
Putra et al. Study of feature extraction methods to detect valvular heart disease (vhd) using a phonocardiogram
Bourouhou et al. Heart sounds classification for a medical diagnostic assistance
US20230329646A1 (en) Classifying biomedical acoustics based on image representation
KR102320100B1 (en) Heart Sound Analysis Method and System Based on Neuro-fuzzy Network
Talal et al. Machine learning‐based classification of multiple heart disorders from PCG signals
Khan et al. Computer aided detection of normal and abnormal heart sound using PCG

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant