KR102186159B1 - 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템 - Google Patents

피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템 Download PDF

Info

Publication number
KR102186159B1
KR102186159B1 KR1020200048725A KR20200048725A KR102186159B1 KR 102186159 B1 KR102186159 B1 KR 102186159B1 KR 1020200048725 A KR1020200048725 A KR 1020200048725A KR 20200048725 A KR20200048725 A KR 20200048725A KR 102186159 B1 KR102186159 B1 KR 102186159B1
Authority
KR
South Korea
Prior art keywords
heart sound
data
feature
feature data
categories
Prior art date
Application number
KR1020200048725A
Other languages
English (en)
Inventor
임준식
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020200048725A priority Critical patent/KR102186159B1/ko
Application granted granted Critical
Publication of KR102186159B1 publication Critical patent/KR102186159B1/ko

Links

Images

Classifications

    • G06N3/0436—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/04—Electric stethoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/33—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using fuzzy logic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

본 발명은 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하여 심음특징데이터를 추출하고, 피어슨 상관계수에 기초하여 선별된 심음특징데이터를 뉴로-퍼지 네트워크에 기초하여 분석하는 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템에 관한 것이다.

Description

피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템{Heart Sound Analysis Method and System Based on Pearson Correlation Coefficient and Neuro-fuzzy Network}
본 발명은 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하여 심음특징데이터를 추출하고, 피어슨 상관계수에 기초하여 선별된 심음특징데이터를 뉴로-퍼지 네트워크에 기초하여 분석하는 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템에 관한 것이다.
심음(心音, heart sounds)은 박동하는 심장과 그로 인한 혈류가 만들어내는 소리로서 심장을 청진할 때, 의사는 청진기로 이 소리들을 듣게 되며, 심장의 상태에 대한 여러 중요한 정보를 제공하게 된다.
건강한 성인에서는 '두근 두근'(lub-dub)이란 의성어로 표현하곤 하는 두 개의 정상적인 심음이 들린다. 이는 각각 제1심음(S1)과 제2심음(S2)으로 표현하며, 각각 방실 판막(Atrioventricular valves)과 반달판막이 닫히면서 내는 소리다. 이외에 심 잡음(heart murmur), 부가음(adventitious sounds), 말발굽리듬(gallop rhythm)인 제3심음(S3)과 제4심음(S4)도 존재한다.
이 중 심 잡음은 혈액의 와류에 의해 생기며, 심장 안 또는 밖에서 생길 수 있다. 심 잡음은 생리적(정상)이거나 병리적(비정상)일 수 있다. 병리적 잡음은 심장 판막의 협착(stenosis)에 의해 판막이 잘 안 열려 혈류를 방해할 때 일어나게 된다. 또, 판막 부전(valvular insufficiency)에 의해 제대로 닫히지 않은 판막을 통해 피가 역류(regurgitation)하면서 일어날 수도 있다. 심 잡음은 원인에 따라 심장 주기(cardiac cycle)의 다른 시점에서 들리게 된다.
심 잡음은 7가지의 특성에 따라 분류한다. 시기(timing), 형상적 특징(shape), 부위(location), 전파/방사(radiation), 크기(intensity), 고저(pitch), 특징(quality) 등이 그 특성들이다.
종래에는 이와 같이 심음에 포함된 심 잡음을 검출하기 위하여 의사가 청진기 등을 이용하여 진단하는 방법이 사용되었으나, 심장의 청진을 통한 진단은 전문지식을 가진 의사에 의해서만 가능한 단점이 있다. 따라서 자동으로 심음을 분석함으로써 심장의 상태를 진단하기 위한 기술의 개발의 필요성이 대두되고 있다.
본 발명은 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하여 심음특징데이터를 추출하고, 피어슨 상관계수에 기초하여 선별된 심음특징데이터를 뉴로-퍼지 네트워크에 기초하여 분석하는 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
상기와 같은 과제를 해결하기 위하여 본 발명에서는, 1 이상의 프로세서 및 메모리를 포함하는 심음 분석 시스템에 의해 수행되는 심음 분석 방법으로서, 심음 데이터를 입력 받는 심음입력단계; 상기 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하는 심음전처리단계; 변환된 상기 심음 2차원 데이터에 기초하여 2 이상의 카테고리의 심음특징데이터를 추출하는 심음특징추출단계; 2 이상의 카테고리의 상기 심음특징데이터 중 선별된 카테고리에 해당하는 심음특징데이터를 선별하는 심음특징선별단계; 및 학습된 모델 및 선별된 심음특징데이터에 기초하여 심음 데이터의 분류를 도출하는 심음분류단계; 를 포함하고, 상기 선별된 학습특징데이터 카테고리는, 2 이상의 분류로 구분된 복수의 학습 심음 데이터에 대하여 상기 심음전처리단계, 심음특징추출단계에 상응하는 과정으로 2 이상의 카테고리의 심음특징데이터를 추출하고, 상기 학습 심음 데이터의 2 이상의 카테고리의 심음특징데이터 중 상기 분류에 따른 피어슨 상관계수(Pearson Correlation Coefficient)가 기설정된 기준에 부합하는 심음특징데이터의 카테고리를 도출하여 결정되는, 심음 분석 방법을 제공한다.
본 발명에서는, 상기 심음분류단계는, 1 이상의 선별된 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망에 입력하여, 가중 퍼지 소속 함수의 경계합을 학습시킬 수 있다.
본 발명에서는, 상기 심음분류단계는, 학습된 가중 퍼지 소속 함수의 경계합을 기설정된 값과 비교하여 심음 데이터의 분류를 도출할 수 있다.
본 발명에서는, 상기 기설정된 값은, 2 이상의 분류의 선별된 학습 심음 데이터의 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망에 입력하여 가중 퍼지 소속 함수의 경계합을 학습시킨 결과에 기초하여 설정될 수 있다.
본 발명에서는, 상기 전처리단계는, 입력 받은 상기 심음 데이터를 멜-스펙트로그램으로 변환할 수 있다.
본 발명에서는, 상기 전처리단계는, 변환된 멜-스펙트로그램을 기설정된 시간길이 및 기설정된 시간간격으로 분할하여 분할 멜-스펙트로그램을 생성할 수 있다.
본 발명에서는, 상기 심음특징추출단계는, 상기 심음 2차원 데이터에 대해 컨볼루션 신경망의 컨볼루션 및 풀링을 적용하여 특징데이터를 추출할 수 있다.
본 발명에서는, 상기 심음특징추출단계는, 상기 심음 2차원 데이터에 대해 VGG16 신경망 모델의 컨볼루션 및 풀링을 적용하여 특징데이터를 추출할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명에서는, 심음 분석 시스템으로서, 심음 데이터를 입력 받는 데이터입력부; 상기 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하는 데이터전처리부; 변환된 상기 심음 2차원 데이터에 기초하여 2 이상의 카테고리의 심음특징데이터를 추출하는 데이터특징추출부; 2 이상의 카테고리의 상기 심음특징데이터 중 선별된 카테고리에 해당하는 심음특징데이터를 선별하는 특징선별부; 및 학습된 모델 및 선별된 심음특징데이터에 기초하여 심음 데이터의 분류를 도출하는 심음분류부; 를 포함하고, 상기 선별된 학습특징데이터 카테고리는, 2 이상의 분류로 구분된 복수의 학습 심음 데이터에 대하여 상기 데이터전처리부 및 상기 데이터특징추출부를 통해 2 이상의 카테고리의 심음특징데이터를 추출하고, 상기 2 이상의 카테고리의 심음특징데이터 중 상기 분류에 따른 피어슨 상관계수(Pearson Correlation Coefficient)가 기설정된 기준에 부합하는 심음특징데이터의 카테고리를 도출하여 결정되는, 심음 분석 시스템을 제공한다.
본 발명에서는, 상기 심음분류부는, 1 이상의 선별된 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망에 입력하여, 가중 퍼지 소속 함수의 경계합을 학습시킬 수 있다.
본 발명의 일 실시예에 따르면 입력 받은 심음 데이터를 2차원 데이터로 변형함으로써 컨볼루션 및 풀링을 통해 특징데이터를 추출할 수 있다.
본 발명의 일 실시예에 따르면 심음 2차원 데이터를 기설정된 시간길이 및 기설정된 시간간격으로 분할함으로써 표준화된 크기의 2차원 데이터로부터 특징데이터를 추출하여 심음을 분석할 수 있다.
본 발명의 일 실시예에 따르면 학습데이터로부터 특징데이터를 추출하고, 특징데이터를 피어슨 상관계수를 이용하여 선별함으로써 심음 데이터를 용이하게 분류할 수 있는 특징데이터를 이용하여 분류를 수행할 수 있다.
본 발명의 일 실시예에 따르면 컨볼루션 및 풀링을 통해 추출된 특징데이터를 가중 퍼지 소속 함수 기반의 퍼지 신경망을 통해 분류함으로써 분류의 정확도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 심음 분석 시스템의 구성을 개략적으로 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 심음 분석 방법의 각 단계를 개략적으로 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 심음 데이터 및 심음 2차원 데이터의 일 예를 개략적으로 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 심음 2차원 데이터인 멜-스펙트로그램의 일 예를 개략적으로 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따라 분할-멜-스펙트로그램을 생성하는 방법을 개략적으로 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따라 특징데이터를 추출하는 방법을 개략적으로 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따라 VGG16 신경망 모델을 통해 특징데이터를 추출하는 과정의 데이터를 개략적으로 도시하는 도면이다.
도 8은 본 발명의 일 실시예에 따라 추출된 특징데이터의 일 예를 개략적으로 도시하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 뉴로-퍼지 네트워크 기반의 심음분류단계에서 사용되는 가중 퍼지 소속 함수 기반의 퍼지 신경망(NEWFM)의 구조를 개략적으로 도시하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 심음분류단계에서 사용되는 NEWFM에 의해 학습시키는 가중 퍼지 소속 함수의 경계합(BSWFM)을 개략적으로 도시하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 특징데이터에서 분류에 따른 가중 퍼지 소속 함수의 경계합(BSWFM)의 일 예를 도시하는 도면이다.
도 12는 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 심음 분석 시스템의 구성을 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에 따른 심음 분석 시스템(10)은 심음 데이터(1)를 입력 받아 상기 심음 데이터를 분석한 분석결과(4)를 도출한다.
도 1을 참조하면 본 발명의 일 실시예에 따른 심음 분석 시스템(10)은, 심음 데이터(1)를 입력 받는 데이터입력부(100); 상기 심음 데이터(1)를 시간-주파수의 심음 2차원 데이터(2)로 변환하는 데이터전처리부(200); 변환된 상기 심음 2차원 데이터(2)에 기초하여 2 이상의 카테고리의 심음특징데이터(3)를 추출하는 데이터특징추출부(300); 2 이상의 카테고리의 상기 심음특징데이터(3) 중 선별된 카테고리에 해당하는 심음특징데이터(3)를 선별하는 특징선별부(400); 및 선별된 심음특징데이터(3)에 기초하여 심음 데이터의 분류를 도출하는 심음분류부(500); 를 포함할 수 있다. 이 때, 상기 선별된 학습특징데이터 카테고리는, 2 이상의 분류로 구분된 복수의 학습 심음 데이터에 대하여 상기 데이터전처리부(200) 및 상기 데이터특징추출부(300)를 통해 2 이상의 카테고리의 심음특징데이터를 추출하고, 상기 2 이상의 카테고리의 심음특징데이터 중 상기 분류에 따른 피어슨 상관계수(Pearson Correlation Coefficient)가 기설정된 기준에 부합하는 심음특징데이터의 카테고리를 도출하여 결정될 수 있다.
본 발명의 일 실시예에 따른 상기 심음 분석 시스템(10)은 이와 같은 각 세부 구성에 의해 입력 받은 심음 데이터(1)를 심음 2차원 데이터(2)로 변환하여 심음특징데이터(3)를 추출하고, 추출 된 심음특징데이터(3)를 선별하여 선별된 심음특징데이터(3)에 기초하여 분석을 수행하게 된다. 이와 같이 분석을 수행하기 위하여 상기 심음 분석 시스템(10)은 학습을 통해 각 세부 구성에 대한 세팅을 수행 할 필요가 있다.
본 발명의 일 실시예에서 상기 특징선별부(400)는, 상기 데이터입력부(100)로 2 이상의 분류로 구분된 학습 심음 데이터를 입력 받아 상기 데이터전처리부(200) 및 상기 데이터특징추출부(300)를 통해 학습특징데이터를 추출하고, 추출된 2 이상의 상기 학습특징데이터에서 상기 분류에 따른 차이가 큰 1 이상의 학습특징데이터를 선별하여 선별특징데이터로 저장함으로써 설정 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 심음 분석 방법의 각 단계를 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에서는 도 1에 도시된 것과 같은 심음 분석 시스템(10)을 통한 심음 분석 방법은 학습 심음 데이터에 기초하여 상기 심음 분석 시스템(10)의 세팅을 수행하는 분석세팅단계(S10); 및 세팅이 수행 된 상기 심음 분석 시스템(10)에 의하여 심음 데이터를 분석하는 심음분석단계(S20); 를 포함할 수 있다.
전술한 바와 같이, 상기 심음 분석 시스템(10)은 학습 심음 데이터를 입력 받아 세팅을 수행함으로써 실제 입력되는 심음 데이터를 정확히 분석할 수 있게 된다.
본 발명의 일 실시예에서 상기 분석세팅단계(S10)는. 2 이상의 분류로 구분된 학습 심음 데이터를 입력 받는 학습데이터입력단계(S100a); 상기 학습 심음 데이터를 시간-주파수의 학습 2차원 데이터로 변환하는 학습데이터전처리단계(S200a); 변환된 상기 학습 2차원 데이터에 기초하여 2 이상의 카테고리의 학습특징데이터를 추출하는 학습데이터특징추출단계(S300a); 및 추출된 2 이상의 카테고리의 상기 학습특징데이터 중에서 상기 분류에 따른 차이가 큰 1 이상의 학습특징데이터를 선별하는 특징선별단계(S400a); 를 포함하고, 상기 심음분석단계(S20)는, 심음 데이터(1)를 입력 받는 심음입력단계(S100b); 상기 심음 데이터를 시간-주파수의 심음 2차원 데이터(2)로 변환하는 심음전처리단계(S200b); 변환된 상기 심음 2차원 데이터(2)에 기초하여 2 이상의 카테고리의 심음특징데이터(3)를 추출하는 심음특징추출단계(S300b); 및 2 이상의 카테고리의 상기 심음특징데이터(3) 중 선별된 카테고리에 해당하는 심음특징데이터(3)를 선별하는 심음특징선별단계(S400b); 및 학습된 모델 및 선별된 심음특징데이터(3)에 기초하여 심음 데이터(1)의 분류를 도출하는 심음분류단계(S500); 를 포함할 수 있다.
전술한 바와 같이 상기 심음 분석 시스템(10)이 상기 심음 데이터(1)를 입력 받아 분석하여 심음 데이터(1)의 분류를 도출하기 위하여 세팅이 수행 될 필요가 있다. 이를 위해 본 발명의 일 실시예에서는 상기 분석세팅단계(S10)에서 학습 심음 데이터를 입력 받아 학습을 수행하여 세팅이 이루어진다.
이 때 상기 학습 심음 데이터로부터 특징데이터가 추출되는 과정인 상기 학습데이터입력단계(S100a), 상기 학습데이터전처리단계(S200a) 및 상기 학습데이터특징추출단계(S300a)는 상기 심음 데이터(1)로부터 특징데이터가 추출되는 과정인 상기 심음입력단계(S100b), 상기 심음전처리단계(S200b) 및 상기 심음특징추출단계(S300b)는 동일한 방법을 통해 각각 상기 학습 심음 데이터 및 상기 심음 데이터로부터 각각 학습특징데이터 및 심음특징데이터를 추출하게 된다.
상기 학습 심음 데이터는 2 이상의 분류로 구분된 복수의 심음 데이터를 포함하여 구성될 수 있다. 예를 들어 상기 분류는 정상 심음 과 대동맥 협착(Aortic Stenosis)에 의해 수축기 잡음(Systolic Murmur)가 포함된 심음일 수 있고, 실제 정상 심음과 대동맥 협착 환자의 심음을 포함하여 구성됨으로써 상기 심음 분석 시스템(10)이 학습을 통해 정상 심음과 대동맥 협착 환자의 심음을 구분하여 분류할 수 있도록 할 수 있다.
상기 특징선별단계(S400a)는 이와 같은 학습 심음 데이터로부터 추출된 학습특징데이터 카테고리 중 상기 분류에 따른 차이가 큰 카테고리를 선별하고, 상기 심음분류단계(S500)에서 선별된 카테고리를 이용하여 심음을 분류하도록 함으로써 분류의 정확도를 높이게 된다.
도 3은 본 발명의 일 실시예에 따른 심음 데이터 및 심음 2차원 데이터의 일 예를 개략적으로 도시하는 도면이다.
도 3의 (a)는 일반적으로 저장되는 소리 데이터의 파형을 나타낸다. 심음과 같이 소리가 저장된 데이터는 시간에 따른 소리 파형의 진폭에 대한 정보가 저장되고, 이와 같은 정보를 도시하면 도 3의 (a)와 같이 도시될 수 있다.
다만 이와 같은 진폭 데이터는 소리의 성분을 분석하기 용이하지 않아, 소리의 성분을 분리하여 확인하기 위하여 푸리에 변환을 통한 주파수 성분을 분석하는 방법이 사용되고 있다.
도 3의 (b)는 이와 같이 소리 데이터를 푸리에 변환하여 시간에 따른 주파수 성분의 정보를 2차원 데이터로 도시한 모습을 나타낸다. 도 3의 (b)에서와 같이 입력된 소리 데이터는 시간과 주파수의 2차원 그래프로 나타나고, 각 주파수에서의 소리의 세기(dB)는 색상으로 나타나게 된다.
이와 같이 시간-주파수의 2차원 데이터의 경우 소리의 특징을 추출하기 용이하여 분석에 사용되기 적합하다. 따라서 본 발명의 일 실시예에서 상기 데이터전처리부(200)를 통해 수행되는 학습데이터전처리단계(S200a) 및 심음전처리단계(S200b)는 입력 받은 학습 심음 데이터 혹은 심음 데이터를 시간-주파수의 2차원 데이터로 변환하게 된다.
도 4는 본 발명의 일 실시예에 따른 심음 2차원 데이터인 멜-스펙트로그램의 일 예를 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에서 상기 전처리단계(S200b)는, 입력 받은 상기 심음 데이터(1)를 멜-스펙트로그램으로 변환하고, 상기 학습데이터전처리단계(S200a)는, 상기 전처리단계(S200b)와 동일한 방법으로 상기 학습 심음 데이터를 멜-스펙트로그램으로 변환할 수 있다.
도 3에 도시된 것과 같이 본 발명의 일 실시예에서는 입력 받은 학습 심음 데이터 혹은 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환할 수 있다. 이 때, 상기 심음 2차원 데이터는 멜-스펙트로그램일 수 있다. 멜-스펙트로그램은 도 3의 (b)에 도시된 시간-주파수의 스펙트로그램 중 주파수의 단위를 멜 단위(mel unit)로 바꾼 스펙트로그램을 의미한다.
사람이 음의 음조(pitch)를 인식하게 하는 것은 주로 음의 주파수이다. 1 kHz, 40 dB의 음을 1000 mel로 정의하고, 상대적으로 느껴지는 다른 주파수 음의 음조를 나타내는 단위가 멜 단위이다. 주파수를 멜 단위로 변환하는 방법은 하기 식에 따른다.
Figure 112020041468199-pat00001
도 4의 (a) 및 (b)는 상기와 같은 식에 따라 입력 된 심음 데이터를 멜-스펙트로그램으로 변환 한 모습을 도시하고 있다.
도 5는 본 발명의 일 실시예에 따라 분할-멜-스펙트로그램을 생성하는 방법을 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에서 상기 전처리단계(S200b)는, 변환된 멜-스펙트로그램을 기설정된 시간길이 및 기설정된 시간간격으로 분할하여 분할 멜-스펙트로그램을 생성하고, 상기 학습데이터전처리단계(S200a)는, 상기 전처리단계와 동일한 방법으로 분할 멜-스펙트로그램을 생성할 수 있다.
상기 심음입력단계(S100b) 및 상기 학습데이터입력단계(S100a)를 통해 입력 받은 심음 데이터(1) 혹은 학습 심음 데이터는 도 4의 (a) 및 (b)에서와 같이 심음을 측정 한 길이가 일정하지 않아 다른 심음 데이터와 직접적으로 비교하기에 적절하지 않다. 따라서 본 발명의 일 실시예에서는 상기 심음 데이터(1) 혹은 학습 심음 데이터로부터 획득한 멜-스펙트로그램을 기설정된 시간길이(ts)로 분할하여 분석을 하기 위한 입력 데이터로 사용할 수 있다. 이와 같이 기설정된 시간길이(ts)로 멜-스펙트로그램을 분할함으로써 일정한 크기의 입력 데이터를 획득하여 분석을 수행할 수 있게 되어 분석의 정확도를 높일 수 있게 된다.
이 때, 하나의 심음 데이터에서 하나의 분할 멜-스펙트로그램을 추출하는 경우, 추출되지 않은 영역의 데이터가 분석에 사용되지 않기 때문에, 하나의 심음 데이터에서 복수의 분할 멜-스펙트로그램을 추출할 수 있다. 이 때 본 발명의 일 실시예에서는 기설정된 시간간격(td)으로 복수의 분할 멜-스펙트로그램을 추출할 수 있다. 바람직하게는 상기 기설정된 시간간격(td)은 상기 기설정된 시간길이(ts)와 같거나 작아서 상기 심음 데이터가 모두 분석에 사용될 수 있도록 한다.
도 5에는 도 4의 (a)와 같은 멜-스펙트로그램에서 분할 멜-스펙트로그램을 생성하는 모습이 도시되어 있다.
우선 도 5의 (a)에서와 같이 상기 멜-스펙트로그램에서 박스로 표시된 것과 같은 기설정된 시간길이(ts)의 분할 멜-스펙트로그램을 생성한다.
이 후, 도 5의 (b)에서와 같이 기설정된 시간간격(td)을 두고, 동일하게 박스로 표시된 것과 같은 기설정된 시간길이(ts)의 분할 멜-스펙트로그램을 생성한다.
이 후, 도 5의 (c)에서와 같이 다시 기설정된 시간간격(td)을 두고, 동일하게 박스로 표시된 것과 같은 기설정된 시간길이(ts)의 분할 멜-스펙트로그램을 생성한다.
이와 같은 과정을 반복함으로써 도 4의 (a)에서 도시된 것과 같은 멜-스펙트로그램에서 크기가 일정한 복수의 분할 멜-스펙트로그램을 생성할 수 있고, 이와 같이 크기가 일정한 복수의 분할 멜-스펙트로그램을 통해 심음을 정확히 분석할 수 있다.
본 발명의 일 실시예에서는 상기 기설정된 시간길이(ts)는 3초이고 상기 기설정된 시간간격(td)은 1초이다. 본 발명에서와 같이 분당 약 60 내지 120회의 반복적인 박동이 포함되는 심음 데이터를 입력으로 하는 경우 기설정된 시간길이(ts) 및 기설정된 시간간격(td)을 각각 3초 및 1초로 설정함으로써 온전한 심장 박동 주기가 분할 멜-스펙트로그램에 포함될 수 있도록 하고 심장 박동에 대한 분석을 용이하게 수행할 수 있다.
도 6은 본 발명의 일 실시예에 따라 특징데이터를 추출하는 방법을 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에 따르면 상기 심음특징추출단계(S300b)는, 상기 심음 2차원 데이터(2)에 대해 컨볼루션 신경망의 컨볼루션 및 풀링을 적용하여 특징데이터를 추출하고, 상기 학습데이터특징추출단계(S300a)는, 상기 심음특징추출단계(S300b)와 동일한 방법으로 상기 학습 2차원 데이터에 기초하여 학습특징데이터를 추출할 수 있다.
도 6은 상기 심음 2차원 데이터(2)에 이와 같은 컨볼루션 및 풀링이 적용되는 모습을 도시하고 있다.
도 6에서는 도 5에서 생성된 복수의 분할 멜-스펙트로그램을 입력으로 하는 컨볼루션 및 풀링 블록을 확인할 수 있다.
도 6을 참조하면 상기 분할 멜-스펙트로그램을 입력 받으면 복수의 컨볼루션 블록(Conv) 및 풀링 블록(P)을 통해 특성맵을 생성하고, 특성맵의 크기를 점차 줄여가면서, 특성맵의 수를 점차 늘려가는 방식으로 특성을 추출하게 된다.
이와 같은 컨볼루션 블록(Conv)는 입력으로부터 특성맵을 생성함으로써 특성을 추출하게 되고, 풀링 블록(P)는 특성맵의 크기를 줄여 특성 데이터를 추출할 수 있도록 한다. 이와 같은 구조는 일반적인 컨볼루션 신경망(CNN)에서 컨볼루션 블록과 풀링 블록을 반복하여 연결하여 특성을 추출하는 구성과 동일하다.
도 6에 도시된 바와 같이 최종 풀링 블록(P5)에서는 크기가 1x1인 복수(N개)의 특성맵이 도출된다. 본 발명에서는 이와 같이 도출된 복수의 특성맵을 Flatten 하여 N개의 특성데이터를 추출하게 된다. 본 발명에서는 이와 같이 추출된 N개의 특성데이터 각각을 하나의 카테고리로 하여 N개의 카테고리의 특성데이터를 추출하게 된다.
도 6에 도시된 컨볼루션 블록(Conv) 및 풀링 블록(P)은 본 발명의 일 실시예에 따른 것으로서, 본 발명은 도 6에 도시된 구성에 한정되지 않고, 도 6과는 다른 수의 컨볼루션 블록(Conv) 및 풀링 블록(P)을 포함하여 구성될 수 있다. 예를 들어 도 6에는 4개의 컨볼루션 블록들(Conv)을 포함하여 특성맵을 도출하지만 본 발명의 다른 실시예에서는 5개의 컨볼루션 블록들(Conv)을 포함하여 특성맵을 도출하고 특성데이터를 추출할 수 있다.
도 7은 본 발명의 일 실시예에 따라 VGG16 신경망 모델을 통해 특징데이터를 추출하는 과정의 데이터를 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에서 상기 심음특징추출단계(S300b)는, 상기 심음 2차원 데이터(2)에 대해 VGG16 신경망 모델의 컨볼루션 및 풀링을 적용하여 512개의 특징데이터를 추출하고, 상기 학습데이터특징추출단계는, 상기 심음특징추출단계와 동일한 방법으로 상기 학습 2차원 데이터에 기초하여 학습특징데이터를 추출할 수 있다.
VGG16 신경망 모델의 컨볼루션 및 풀링은 도 6에 도시된 것과 유사한 구조를 갖는다. 다만 VGG16 신경망 모델에서는 5개의 블록을 가지고, 각각의 블록에는 컨볼루션 층과 풀링 층이 각각 배치될 수 있다.
도 7에는 이와 같은 VGG16 신경망 모델에서의 각각의 층에서의 출력데이터의 일 예가 정리되어 있다.
도 7에 도시된 실시예에서는 우선 입력으로 150 x 150 크기의 분할 멜-스펙트로그램(150,150,3)이 입력되고, 블록1의 컨볼루션1 및 컨볼루션2 층을 통해 64개의 특성맵이 생성된다(150,150,64). 이후 블록1의 풀링 층을 거치면서 75 x 75 크기의 특성맵이 생성되고(75,75,64), 블록2의 컨볼루션1 및 컨볼루션2 층을 통해 128개의 특성맵이 생성된다(75,75,128). 이후 블록2의 풀링 층을 거치면서 37 x 37 크기의 특성맵이 생성되고(37,37,128), 블록3의 컨볼루션1, 컨볼루션2 및 컨볼루션3 층을 통해 256개의 특성맵이 생성된다(37,37,256). 이후 블록3의 풀링 층을 거치면서 18 x 18 크기의 특성맵이 생성되고(18,18,256), 블록4의 컨볼루션1, 컨볼루션2 및 컨볼루션3 층을 통해 512개의 특성맵이 생성된다(18,18,512). 이후 블록4의 풀링 층을 거치면서 9 x 9 크기의 특성맵이 생성되고(9,9,512), 블록5의 컨볼루션1, 컨볼루션2 및 컨볼루션3 층을 통해 512개의 특성맵이 생성된다(18,18,512). 이후 블록 5의 풀링 층을 거치면서 4 x 4 크기의 특성맵이 생성된다(4,4,512).
이와 같이 컨볼루션과 풀링을 통해 도출된 (4,4,512)의 특성맵은 이후 두 개의 풀링 층을 더 거치면서 각각 (2,2,512) 및 (1,1,512)의 특성맵이 생성되고, 최종 도출된 (1,1,512)의 특성맵을 Flatten 하여 512개의 특성데이터를 추출하게 된다.
도 8은 본 발명의 일 실시예에 따라 추출된 특징데이터의 일 예를 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에서 상기 특징선별단계(S400a)는, 2 이상의 상기 학습특징데이터 중에서 상기 분류에 따른 피어슨 상관계수(Pearson Correlation Coefficient)에 기초하여 심음특징데이터의 카테고리를 도출하여 상기 선별된 카테고리를 결정할 수 있다.
도 8에는 전술한 것과 같은 방법을 따라 학습 심음 데이터로부터 추출된 N개의 카테고리의 학습특징데이터의 일 예가 도시되어 있다. 상기 학습 심음 데이터는 2 개의 분류로 구분되어 있고, 각각의 분류에 3개의 학습 심음 데이터(T)가 포함되어 있다. 즉, 분류 1에는 T1, T2 및 T3의 학습 심음 데이터가 포함되어 있고, 분류 2에는 T4, T5 및 T6의 학습 심음 데이터가 포함되어 있다.
각각의 학습 심음 데이터는 상기 학습데이터입력단계(S100a), 학습데이터전처리단계(S200a) 및 학습데이터특징추출단계(S300a)를 통해 N개의 카테고리의 학습특징데이터가 추출되었다. 예를 들어 상기 학습 심음 데이터 T1은 F11, F12, F13, F14 …… F1N 의 N개의 카테고리 각각에 대한 N개의 학습특징데이터가 추출되었다. 이와 같이 추출된 N개의 카테고리의 학습특징데이터들은 분류별로 평균 및 분산이 도출될 수 있다. 예를 들어 분류 1의 첫 번째 카테고리인 특징데이터 1의 평균은 m11이고, 분산은 σ2 11이고, 분류 2의 첫 번째 카테고리인 특징데이터 1의 평균은 m21이고, 분산은 σ2 21이다.
상기 특징선별단계(S400a)는 이와 같이 추출된 학습특징데이터를 선별한다. 본 발명의 일 실시예에서는 피어슨 상관계수에 기초하여 학습특징데이터를 선별할 수 있다.
피어슨 상관계수는 두 변수가 서로 상관 관계를 가지고 있는지를 확인하는 척도이다. 두 변수
Figure 112020041468199-pat00002
에 대한 피어슨 상관계수
Figure 112020041468199-pat00003
는 하기 식과 같이 계산될 수 있다.
Figure 112020041468199-pat00004
Figure 112020041468199-pat00005
는 두 변수
Figure 112020041468199-pat00006
의 공분산이고,
Figure 112020041468199-pat00007
는 각각
Figure 112020041468199-pat00008
의 표준편차이다. 상기 식을 정리하면 하기와 같다.
Figure 112020041468199-pat00009
이와 같이 계산된 피어슨 상관계수는 [-1, 1]의 값을 가지게 되고, 1이나 -1에 가까우면 상관관계가 있다고 보고, 0이면 상관관계가 없다고 본다.
이와 같은 피어슨 상관계수를 도 8에서와 같은 두 분류의 특징데이터에 적용하면, 두 분류의 특징데이터가 서로 음의 상관관계에 있는 경우 상기 피어슨 상관계수가 -1에 가까이 낮게 나오게 된다. 따라서, 본 발명의 일 실시예에서는 상기 피어슨 상관계수가 낮은 특징데이터의 카테고리를 선별하여 심음 데이터를 분류하는데 사용함으로써 분류의 정확도를 높일 수 있다. 본 발명의 일 실시예에서는 도 7에서와 같이 도출된 512개의 카테고리의 특징데이터 중 상기 피어슨 상관계수에 기초하여 30개의 특징데이터의 카테고리를 선별할 수 있다.
도 9는 본 발명의 일 실시예에 따른 뉴로-퍼지 네트워크 기반의 심음분류단계에서 사용되는 가중 퍼지 소속 함수 기반의 퍼지 신경망(NEWFM)의 구조를 개략적으로 도시하는 도면이다.
본 발명의 일 실시예에서 상기 심음분류단계(S500)는, 1 이상의 선별된 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망(Neuro Network with a Weighted Fuzzy Membership function, NEWFM)에 입력하여, 가중 퍼지 소속 함수의 경계합(Bounded Sum of Weighted Fuzzy Membership functions, BSWFM)을 학습시킬 수 있다. 도 9를 참조하여 가중 퍼지 소속 함수 기반의 퍼지 신경망(NEWFM)을 설명하면, NEWFM은 입력(input) 레이어, 하이퍼박스(hyper box) 레이어, 클래스(class) 레이어를 포함하는 3개의 레이어로 구성될 수 있다. 이때, 입력 레이어는, n개의 특징을 가진 입력 패턴이 입력되는, n개의 입력 노드로 구성될 수 있고, 하이퍼박스 레이어는, 각각이 n개의 입력 노드에 대한 n개의 BSWFM을 포함하며 클래스 노드에 연결되는, m개의 하이퍼박스 노드로 구성될 수 있다. 또한, 클래스 레이어는, 각각이 적어도 하나 이상의 하이퍼박스 노드에 연결되는 p개의 클래스 노드로 구성될 수 있다.
한편, 입력 노드에 입력되는 h번째 입력 패턴은 하기 식과 같이 표현될 수 있다.
Figure 112020041468199-pat00010
이 때, class는 분류 결과를 가리키며, Fh는 입력 패턴의 n개의 특징(선별된 심음특징데이터)을 나타낸다.
하이퍼박스 노드 Bl는 각각, n 개의 퍼지 집합으로 구성되는데, 그 중 i번째 퍼지 집합은 도 6에서와 같이, Bl i로 표현되는 가중 퍼지 소속 함수(Weighted Fuzzy Membership function, WFM)를 가진다.
도 10은 본 발명의 일 실시예에 따른 심음분류단계에서 사용되는 NEWFM에 의해 학습시키는 가중 퍼지 소속 함수의 경계합(BSWFM)을 개략적으로 도시하는 도면이다.
도 10에 도시된 바와 같이, 가중 퍼지 소속 함수(WFM) Bl i는 연속된 시 변화 신호 x(t)에 대한 원래의 소속 함수(original membership function)인 μl i 1, μl i 2, μl i 3 등에 대하여, 가중치 Wl i 1, Wl i 2, Wl i3 등을 준 소속 함수를 나타낸다. 도 10에서는, μl i 1, μl i 2, μl i 3 에 대하여, 각각 0.7, 0.8, 0.3의 가중치를 준 WFM(wl i 1, wl i 2, wl i 3)이 도시되었다.
한편, 가중 퍼지 소속 함수의 경계합(BSWFM)은, 도 10의 굵은 선과 같은 다각형 모양으로 나타날 수 있는데, 이 때, 가중 퍼지 소속 함수 Bl i에 대한 BSWFM 값인 BSl i(Fi)은, 하기 식과 같이 표현될 수 있다.
Figure 112020041468199-pat00011
이 때, Fi는 입력 패턴 Fh의 i번째 특징값을 나타낸다. 도 10에는, v1 i 2 및 vl i 3의 사이에 위치한 Fi에 대한 BSWFM 값이 도시되어 있다.
도 11은 본 발명의 일 실시예에 따른 특징데이터에서 분류에 따른 가중 퍼지 소속 함수의 경계합(BSWFM)의 일 예를 도시하는 도면이다.
도 11에 도시된 바와 같이, 분류 1 및 분류 2에 대해 각각, 본 발명의 일 실시예에 따른 심음분석단계(S20)의 심음분류단계(S500)를 적용하는 경우, 심음 데이터의 N번째 특징데이터의 퍼지 값(fuzzy value)의 분포에서 구분되는 차이점을 확인할 수 있다.
따라서 본 발명의 일 실시예에서 상기 심음분류단계(S500)는, 학습된 가중 퍼지 소속 함수의 경계합(BSWFM)을 기설정된 값과 비교하여 심음 데이터의 분류를 도출할 수 있다. 이와 같은 기설정된 값은 복수의 학습데이터를 통해 획득된 데이터에 기초하여 설정될 수 있고, 입력된 심음 데이터를 분류하기 위하여는 상기 심음 데이터로부터 추출하여 선별한 심음특징데이터를 NEWFM에 의해 학습시킨 BSWFM이 상기 미리 설정한 값과 얼마나 차이가 있는지를 비교하여, 상기 심음 데이터의 분류를 결정할 수 있다. 즉, 상기 기설정된 값은, 2 이상의 분류의 선별된 학습 심음 데이터의 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망에 입력하여 가중 퍼지 소속 함수의 경계합을 학습시킨 결과에 기초하여 설정될 수 있다.
도 12는 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 12에 도시한 바와 같이, 컴퓨팅 장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)은 심음 분석 시스템에 해당될 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.
이러한 도 12의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 12에 도시된 일부 컴포넌트가 생략되거나, 도 12에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 12에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상과 같은 본 발명의 일 실시예에 따른 심음 분석 시스템의 성능을 확인하기 위하여 588건의 데이터를 사용하여 분류 정확도를 도출하였다.
상기 588건의 데이터는 294건의 정상 심음 데이터 및 294건의 비정상 심음 데이터를 포함하였다. 이 중 250건의 정상 및 비정상 심음 데이터가 각각 훈련에 사용되었고, 44개의 정상 및 비정상 심음 데이터가 각각 테스트에 사용되었다.
이와 같은 심음 데이터를 멜-스펙트로그램으로 변환하여 도 7에 도시된 것과 같은 VGG16 신경망 모델의 컨볼루션 및 풀링을 적용하여 4096개의 특징데이터를 추출하였고, 피어슨 상관계수에 기초하여 30개의 특징데이터를 선별하였다. 이와 같이 선별 된 30개의 특징데이터를 이용하여 학습을 수행하였다.
한편, 일반적인 2차원 데이터의 분류에 사용되는 컨볼루션 신경망(CNN)을 통한 분류와 본 발명의 일 실시예에 따라 가중 퍼지 소속 함수 기반의 퍼지 신경망에 기반하여 심음 데이터를 분류하는 방법의 성능을 비교하였다. 이와 같은 비교에서는 500건의 데이터를 학습 데이터로 사용하였고, 88건의 데이터를 검증 데이터로 사용하여 성능을 비교하였다. 이와 같은 비교 결과가 하기 표 1과 같이 나타났다.
CNN NEWFM
88 86.73% 96.59%
이와 같이 본 발명의 일 실시예에 따라 가중 퍼지 소속 함수 기반의 퍼지 신경망을 학습하여 심음 데이터에 대한 분석을 수행하는 것이 컨볼루션 신경망을 통하여 분석을 수행하는 것에 비해 높은 정확도를 나타내는 것을 확인할 수 있다.
본 발명의 일 실시예에 따르면 입력 받은 심음 데이터를 2차원 데이터로 변형함으로써 컨볼루션 및 풀링을 통해 특징데이터를 추출할 수 있다.
본 발명의 일 실시예에 따르면 심음 2차원 데이터를 기설정된 시간길이 및 기설정된 시간간격으로 분할함으로써 표준화된 크기의 2차원 데이터로부터 특징데이터를 추출하여 심음을 분석할 수 있다.
본 발명의 일 실시예에 따르면 학습데이터로부터 특징데이터를 추출하고, 특징데이터를 피어슨 상관계수를 이용하여 선별함으로써 심음 데이터를 용이하게 분류할 수 있는 특징데이터를 이용하여 분류를 수행할 수 있다.
본 발명의 일 실시예에 따르면 컨볼루션 및 풀링을 통해 추출된 특징데이터를 가중 퍼지 소속 함수 기반의 퍼지 신경망을 통해 분류함으로써 분류의 정확도를 높일 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

1 이상의 프로세서 및 메모리를 포함하는 심음 분석 시스템에 의해 수행되는 심음 분석 방법으로서,
심음 데이터를 입력 받는 심음입력단계;
상기 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하는 심음전처리단계;
변환된 상기 심음 2차원 데이터에 기초하여 2 이상의 카테고리의 심음특징데이터를 추출하는 심음특징추출단계;
2 이상의 카테고리의 상기 심음특징데이터 중 선별된 카테고리에 해당하는 심음특징데이터를 선별하는 심음특징선별단계; 및
학습된 모델 및 선별된 심음특징데이터에 기초하여 심음 데이터의 분류를 도출하는 심음분류단계; 를 포함하고,
상기 선별된 카테고리는,
2 이상의 분류로 구분된 복수의 학습 심음 데이터에 대하여 상기 심음전처리단계, 심음특징추출단계와 동일한 과정으로 2 이상의 카테고리의 심음특징데이터를 추출하고, 상기 학습 심음 데이터의 2 이상의 카테고리의 심음특징데이터 중 상기 분류에 따른 피어슨 상관계수(Pearson Correlation Coefficient)가 기설정된 기준에 부합하는 심음특징데이터의 카테고리를 도출하여 결정되는, 심음 분석 방법.
청구항 1에 있어서,
상기 심음분류단계는,
1 이상의 선별된 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망에 입력하여, 가중 퍼지 소속 함수의 경계합을 학습시키는, 심음 분석 방법.
청구항 2에 있어서,
상기 심음분류단계는,
학습된 가중 퍼지 소속 함수의 경계합을 기설정된 값과 비교하여 심음 데이터의 분류를 도출하는, 심음 분석 방법.
청구항 3에 있어서,
상기 기설정된 값은,
2 이상의 분류의 선별된 학습 심음 데이터의 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망에 입력하여 가중 퍼지 소속 함수의 경계합을 학습시킨 결과에 기초하여 설정되는, 심음 분석 방법.
청구항 1에 있어서,
상기 심음전처리단계는,
입력 받은 상기 심음 데이터를 멜-스펙트로그램으로 변환하는, 심음 분석 방법.
청구항 5에 있어서,
상기 심음전처리단계는,
변환된 멜-스펙트로그램을 기설정된 시간길이 및 기설정된 시간간격으로 분할하여 분할 멜-스펙트로그램을 생성하는, 심음 분석 방법.
청구항 1에 있어서,
상기 심음특징추출단계는,
상기 심음 2차원 데이터에 대해 컨볼루션 신경망의 컨볼루션 및 풀링을 적용하여 특징데이터를 추출하는, 심음 분석 방법.
청구항 1에 있어서,
상기 심음특징추출단계는,
상기 심음 2차원 데이터에 대해 VGG16 신경망 모델의 컨볼루션 및 풀링을 적용하여 특징데이터를 추출하는, 심음 분석 방법.
심음 분석 시스템으로서,
심음 데이터를 입력 받는 데이터입력부;
상기 심음 데이터를 시간-주파수의 심음 2차원 데이터로 변환하는 데이터전처리부;
변환된 상기 심음 2차원 데이터에 기초하여 2 이상의 카테고리의 심음특징데이터를 추출하는 데이터특징추출부;
2 이상의 카테고리의 상기 심음특징데이터 중 선별된 카테고리에 해당하는 심음특징데이터를 선별하는 특징선별부; 및
학습된 모델 및 선별된 심음특징데이터에 기초하여 심음 데이터의 분류를 도출하는 심음분류부; 를 포함하고,
상기 선별된 카테고리는,
2 이상의 분류로 구분된 복수의 학습 심음 데이터에 대하여 상기 데이터전처리부 및 상기 데이터특징추출부를 통해 2 이상의 카테고리의 심음특징데이터를 추출하고, 상기 2 이상의 카테고리의 심음특징데이터 중 상기 분류에 따른 피어슨 상관계수(Pearson Correlation Coefficient)가 기설정된 기준에 부합하는 심음특징데이터의 카테고리를 도출하여 결정되는, 심음 분석 시스템.
청구항 9에 있어서,
상기 심음분류부는,
1 이상의 선별된 심음특징데이터를 각각 가중 퍼지 소속 함수 기반의 퍼지 신경망에 입력하여, 가중 퍼지 소속 함수의 경계합을 학습시키는, 심음 분석 시스템.
KR1020200048725A 2020-04-22 2020-04-22 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템 KR102186159B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200048725A KR102186159B1 (ko) 2020-04-22 2020-04-22 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200048725A KR102186159B1 (ko) 2020-04-22 2020-04-22 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102186159B1 true KR102186159B1 (ko) 2020-12-03

Family

ID=73779430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200048725A KR102186159B1 (ko) 2020-04-22 2020-04-22 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102186159B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102352859B1 (ko) * 2021-02-18 2022-01-18 연세대학교 산학협력단 심장질환의 유무를 분류하는 장치 및 방법
WO2023080697A1 (ko) * 2021-11-08 2023-05-11 주식회사 온택트헬스 심장 신호 분할 방법 및 이를 이용한 심장 신호 분할용 디바이스

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080084132A (ko) * 2007-03-15 2008-09-19 임준식 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열예측 모델의 추출방법
KR101901307B1 (ko) * 2017-12-18 2018-09-21 가천대학교 산학협력단 가중 퍼지 소속함수 기반 심층 신경망을 이용한 클래스 분류 방법, 장치 및 컴퓨터 판독 가능한 기록매체
KR20200068161A (ko) * 2018-12-04 2020-06-15 건양대학교산학협력단 기계학습 모델을 이용한 심장질환예측 시스템, 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080084132A (ko) * 2007-03-15 2008-09-19 임준식 가중 퍼지 소속함수 기반 신경망을 이용한 비선형 시계열예측 모델의 추출방법
KR101901307B1 (ko) * 2017-12-18 2018-09-21 가천대학교 산학협력단 가중 퍼지 소속함수 기반 심층 신경망을 이용한 클래스 분류 방법, 장치 및 컴퓨터 판독 가능한 기록매체
KR20200068161A (ko) * 2018-12-04 2020-06-15 건양대학교산학협력단 기계학습 모델을 이용한 심장질환예측 시스템, 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102352859B1 (ko) * 2021-02-18 2022-01-18 연세대학교 산학협력단 심장질환의 유무를 분류하는 장치 및 방법
WO2022177045A1 (ko) * 2021-02-18 2022-08-25 연세대학교 산학협력단 심장질환의 유무를 분류하는 장치 및 방법
WO2023080697A1 (ko) * 2021-11-08 2023-05-11 주식회사 온택트헬스 심장 신호 분할 방법 및 이를 이용한 심장 신호 분할용 디바이스

Similar Documents

Publication Publication Date Title
Yuenyong et al. A framework for automatic heart sound analysis without segmentation
Syed et al. A framework for the analysis of acoustical cardiac signals
Gupta et al. Neural network classification of homomorphic segmented heart sounds
KR102186157B1 (ko) 뉴로-퍼지 네트워크 기반 폐음 분석 방법 및 시스템
Sengur Support vector machine ensembles for intelligent diagnosis of valvular heart disease
KR102186159B1 (ko) 피어슨 상관계수 및 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템
Abduh et al. Classification of heart sounds using fractional Fourier transform based mel-frequency spectral coefficients and stacked autoencoder deep neural network
US20230329646A1 (en) Classifying biomedical acoustics based on image representation
Gharehbaghi et al. An intelligent method for discrimination between aortic and pulmonary stenosis using phonocardiogram
Barua et al. An accurate valvular heart disorders detection model based on a new dual symmetric tree pattern using stethoscope sounds
Roy et al. Classification of PCG signals: a survey
Farzam et al. The diagnosis of heart diseases based on PCG signals using MFCC coefficients and SVM classifier
Bourouhou et al. Heart sounds classification for a medical diagnostic assistance
Sun et al. Principal component analysis-based features generation combined with ellipse models-based classification criterion for a ventricular septal defect diagnosis system
Talal et al. Machine learning‐based classification of multiple heart disorders from PCG signals
Tariq et al. Automatic multimodal heart disease classification using phonocardiogram signal
Khan et al. Computer aided detection of normal and abnormal heart sound using PCG
Abbas et al. Artificial intelligence framework for heart disease classification from audio signals
KR102320100B1 (ko) 뉴로-퍼지 네트워크 기반 심음 분석 방법 및 시스템
Ainiwaer et al. Audiological diagnosis of valvular and congenital heart diseases in the era of artificial intelligence
Hadi et al. Classification of heart sounds using wavelets and neural networks
Imani et al. Curve fitting, filter bank and wavelet feature fusion for classification of PCG signals
Arora et al. Health of things model for classifying human heart sound signals using co-occurrence matrix and spectrogram
KR20210060730A (ko) 인공지능을 이용한 태아 박동 진단방법, 장치 및 시스템
Arora et al. A fusion framework based on cepstral domain features from phonocardiogram to predict heart health status

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant