KR20190058858A - Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same - Google Patents

Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same Download PDF

Info

Publication number
KR20190058858A
KR20190058858A KR1020170156212A KR20170156212A KR20190058858A KR 20190058858 A KR20190058858 A KR 20190058858A KR 1020170156212 A KR1020170156212 A KR 1020170156212A KR 20170156212 A KR20170156212 A KR 20170156212A KR 20190058858 A KR20190058858 A KR 20190058858A
Authority
KR
South Korea
Prior art keywords
heart sound
sound
heart
patient
smart device
Prior art date
Application number
KR1020170156212A
Other languages
Korean (ko)
Other versions
KR102078525B1 (en
Inventor
서정원
강시혁
신인식
조병길
Original Assignee
서울대학교병원
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원, 한국과학기술원 filed Critical 서울대학교병원
Priority to KR1020170156212A priority Critical patent/KR102078525B1/en
Priority to PCT/KR2018/014176 priority patent/WO2019103416A1/en
Publication of KR20190058858A publication Critical patent/KR20190058858A/en
Application granted granted Critical
Publication of KR102078525B1 publication Critical patent/KR102078525B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Abstract

Provided are a method for providing diagnostic information, to enable a normal person to use a smart device to conveniently and autonomously diagnose cardiovascular diseases and a heart sound application thereof. According to the present invention, the method for providing diagnostic information comprises the following steps: converting pieces of sample heart sound data received from the outside into image data visualizing the amplitude of a heart sound in accordance with changes in time and frequency; using a convolutional neural network (CNN) to train an image object corresponding to the heat sound among the pieces of image data of the sample heart sound data with any one of a plurality of predefined heart sound patterns; directly recording a heart sound from a patient who receives a diagnosis; converting recorded heart sound data into image data visualizing the amplitude of the heart sound in accordance with changes in time and frequency; using the CNN to classify an image object corresponding to the heat sound from the image data of the heart sound data of the patient into any one of the heart sound patterns.

Description

스마트장치를 이용한 심혈관 질환의 진단정보 제공방법 및 이를 위한 심음 애플리케이션{Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same}TECHNICAL FIELD [0001] The present invention relates to a method for providing diagnostic information of a cardiovascular disease using a smart device,

본 발명은 심혈관 질환의 진단정보 제공방법 및 이를 위한 심음 애플리케이션으로서, 더욱 상세하게는 스마트장치를 이용한 심혈관 질환의 진단정보 제공방법 및 이를 위한 심음 애플리케이션에 관한 것이다.The present invention relates to a method for providing diagnostic information on cardiovascular diseases and a cardiac sound application for the same, and more particularly, to a method for providing diagnostic information on cardiovascular diseases using a smart device and a cardiac sound application therefor.

심혈관 질환은 전세계 사망자의 31.5%를 차지하는 가장 흔한 사망 원인 중 하나이다. 2015년 미국을 기준으로 9,210만 명의 성인이 심혈관 질환을 앓고 있으며, 2030년까지 성인 인구의 43.9%가 심혈관 질환을 앓게 되리라 예상되고 있다. 1816년 르네 라에네크(Rene Laennec)가 발명한 청진기는 심장병 환자의 신체 검사에 중요한 역할을 해오고 있다. 심장 판막의 개폐 및 판막을 통한 혈류는 특유의 진동을 발생하고, 청진기를 통해 이를 파악하는 것이다. 청진기를 이용해 심장 청진을 하면 심장 판막이나 심장 내 결함에 따른 혈역학적 평가를 할 수 있기 때문에 오랜 기간 심장학에서 검사 및 진단 도구로 사용되고 있다. Cardiovascular disease is one of the most common causes of death, accounting for 31.5% of the world's deaths. In 2015, 92.1 million adults in the United States have cardiovascular disease, and by 2030, 43.9% of the adult population is expected to have cardiovascular disease. The stethoscope invented by Rene Laennec in 1816 has played an important role in the physical examination of heart disease patients. The opening and closing of the heart valve and the blood flow through the valve give rise to specific vibrations, which are detected through a stethoscope. Heart stethoscopy using a stethoscope is used as a diagnostic and diagnostic tool in cardiology for a long time because it can perform a hemodynamic evaluation according to heart valves or defects in the heart.

최근 들어 초음파 장치와 같은 하이테크 장치들이 청진기의 역할을 일부 대체하고 있지만, 사용 및 보관의 편리성과 함께 정확한 진단을 이유로 청진기의 유용성은 여전히 유효하다. 이처럼 청진기는 매우 유용한 도구이기는 하지만, 전문지식이 없는 일반인이 자가진단을 위해 사용하기에는 사실상 불가능하다.In recent years, high-tech devices such as ultrasonic devices have partially replaced the role of stethoscopes, but the usefulness of stethoscopes remains valid because of their ease of use and storage and accurate diagnosis. As such, the stethoscope is a very useful tool, but it is virtually impossible for the general public without expertise to use it for self-diagnosis.

한편, 현대인에 있어 스마트 폰은 없어서는 안될 정도로 널리 보급되어 있다. 2015년을 기준으로 미국인의 64%, 한국인의 88%가 스마트 폰을 소유하고 있다고 알려져 있다. 스마트 폰의 보급과 함께 현재까지 다양한 건강관리 애플리케이션이 개발되어 있는데, 예를 들어 심박수 또는 칼로리 소비 측정 애플리케이션 등이 주를 이루고 있다. 하지만 아직까지 전문의학지식을 필요로 하는 자가진단 애플리케이션은 전무한 상태이다. 가장 큰 이유로는 의사의 소견 없이 스마트 폰 애플리케이션만으로 정확한 진단을 내리기 어렵기 때문이다.On the other hand, smartphones are widely used in modern people. By 2015, 64% of Americans and 88% of Koreans are known to own smartphones. With the spread of smartphones, a variety of healthcare applications have been developed to date, including heart rate or calorie consumption measurement applications. However, there are still no self-diagnostic applications that require specialized medical knowledge. The biggest reason is that it is difficult to diagnose accurately with smartphone applications without the doctor's opinion.

본 발명이 해결하고자 하는 과제는, 일반인이 스마트장치를 이용하여 편리하게 심혈관 질환을 자기진단할 수 있는 진단정보 제공방법을 제공하고자 하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a diagnostic information providing method that allows a general person to conveniently diagnose a cardiovascular disease by using a smart device.

본 발명이 해결하고자 하는 다른 과제는, 이를 위한 심음 애플리케이션을 제공하고자 하는 것이다.Another problem to be solved by the present invention is to provide a cardiac sound application for this purpose.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-mentioned problems, and other matters not mentioned can be clearly understood by those skilled in the art from the following description.

상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 심혈관 질환의 진단정보 제공방법은, 심음 애플리케이션 소프트웨어가 설치되어 있는 스마트장치를 이용한 심혈관 질환의 진단정보 제공방법으로서, 외부로부터 입력받은 다수의 샘플 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 샘플 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망(CNN)을 이용해 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시키고, 진단하고자 하는 환자로부터 직접 심음을 녹음하고, 녹음된 환자 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 환자 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망을 이용해 상기 심음패턴 중 어느 하나로 분류하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for providing diagnostic information on cardiovascular disease using a smart device equipped with cardiac sound application software, And converting image data corresponding to heart sound into image data of a plurality of predefined images using the convolutional neural network (CNN). The image processing apparatus according to claim 1, Cardiac sound data is recorded directly from a patient to be diagnosed, and the recorded patient heart sound data is converted into image data in which the cardiac amplitude according to the change of time and frequency is visualized, and the image data of the patient heart sound data The image object corresponding to the heart sound is convoluted Using a neural network design and a step of classification by any one of the heart rate pattern.

상기 환자 심음 데이터로부터 상기 스마트장치에 의한 열잡음을 제거하되, 상기 환자 심음 데이터에서 소정의 시간 윈도우마다 음압을 측정한 후 상기 음압 중 하위 소정의 비율에 해당하는 시간 윈도우를 열잡음으로 정의하여 제거할 수 있다.The method of claim 1, further comprising the steps of: measuring the sound pressure of the patient's heart sound data for a predetermined time window from the patient's heart sound data, and defining a time window corresponding to a lower predetermined ratio of the sound pressure as thermal noise, have.

상기 환자의 심음을 녹음하는 것은, 상기 스마트장치의 화면 상에 측정 화면을 표시하고(상기 측정 화면에는 복수의 심음 측정 부위가 표시됨), 상기 스마트장치의 입력수단이 상기 측정 화면 상의 상기 심음 측정 부위 중 어느 하나에 대한 선택 이벤트를 생성하면 상기 측정 화면은 녹음 화면으로 전환되고, 상기 스마트장치가 상기 심음 측정 부위에 대응하는 상기 환자의 신체에 근접하여 심음을 녹음하면 녹음된 심음이 해석가능한지 여부를 판단하여 알람 이벤트를 생성하는 것을 포함할 수 있다.Wherein recording of the patient's heart sounds comprises displaying a measurement screen on the screen of the smart device (a plurality of heart sound measurement sites are displayed on the measurement screen), and the input means of the smart device displays the heart sound measurement site The measurement screen is switched to the recording screen. When the smart device records cardiac sound close to the body of the patient corresponding to the cardiac sound measurement site, it is determined whether or not the recorded heart sound can be interpreted And generating an alarm event based on the determination.

상기 사전에 정의된 복수의 심음패턴은 정상 심음, 제3 심음(S3), 제4 심음(S4), 수축기 잡음(systolic murmur), 확장기 잡음(diastolic murmur), 또는 이들의 조합을 포함할 수 있다.The predefined plurality of cardiac tone patterns may include a normal heart sound, a third heart sound S3, a fourth heart sound S4, a systolic murmur, a diastolic murmur, or a combination thereof .

상기 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 심음 애플리케이션은, 심혈관 질환의 진단정보를 제공하는 스마트장치와 결합되어, 외부로부터 입력받은 다수의 샘플 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 샘플 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망(CNN)을 이용해 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시키고, 진단하고자 하는 환자로부터 직접 심음을 녹음하고, 녹음된 환자 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 환자 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망을 이용해 상기 심음패턴 중 어느 하나로 분류하는 단계를 실행시키기 위하여 매체에 저장된다.According to another aspect of the present invention, there is provided a cardiac sound application, which is combined with a smart device that provides diagnostic information on a cardiovascular disease, And an image object corresponding to the heart sound is learned by using a convolutional neural network (CNN) in one of a plurality of pre-defined cardiac sound patterns in the image data of the sampled cardiac sound data, The cardiac sound data is directly recorded from the patient, the recorded patient heart sound data is converted into image data in which the heart sound amplitude is visualized according to the change of the time and frequency, and the image object corresponding to the heart sound in the image data of the patient heart sound data is converted into convolution neural network The cardiac sound patterns are classified into one And stored in the medium to execute the system.

상기 샘플 심음 데이터 또는 상기 환자 심음 데이터 중 심음 1주기에 대응하는 이미지 데이터를 추출하고 컨볼루션 신경망을 이용하여 각 주기의 이미지 데이터를 기계학습시킬 수 있다.Image data corresponding to one cycle of the heart sound among the sample heart sound data or the patient's heart sound data may be extracted and the image data of each cycle may be machine-learned using the convolution neural network.

기타 실시예들의 구체적인 사항들은 구체적인 내용 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

상술한 바와 같이 본 발명에 따른 심혈관 질환의 진단정보 제공방법 및 이를 위한 심음 애플리케이션에 의하면, 별도의 외장 마이크를 사용하지 않고 스마트장치의 내장 마이크만을 이용하더라도 높은 정확도로 심혈관 질환을 진단할 수 있다. 본 발명에서는 내장 마이크로 녹음된 심음으로부터 신뢰성 있는 진단 결과를 얻기 위하여, 첫째 스펙트럼 감산(spectral subtraction)과 고속푸리에변환(fast Fourier transform) 알고리즘을 이용하여 스마트장치 자체에서 발생하는 열잡음(thermal noise)을 제거하였고, 둘째 심음 데이터에 대하여 컨볼루션 신경망(Convolutional Neural Network: CNN)을 기반한 기계학습을 시켜 심음패턴을 분류하였고, 셋째 컨볼루션 신경망을 이용할 때 심음 데이터(즉, 오디오 데이터)를 그대로 사용하지 않고 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 2차원 이미지 데이터로 변환한 후 이를 이용하여 기계학습을 진행하였다.As described above, according to the diagnostic information providing method of cardiovascular disease and the cardiac sound application according to the present invention, it is possible to diagnose cardiovascular disease with high accuracy even if only the built-in microphone of the smart device is used without using an external microphone. In the present invention, in order to obtain a reliable diagnostic result from a cardiac sound recorded with a built-in microphone, first, a thermal noise generated in the smart device itself is removed using a spectral subtraction and a fast Fourier transform algorithm Second, we classify cardiac patterns by machine learning based on Convolutional Neural Network (CNN) for classical heart sound data. Third, when using convolution neural network, heart sound data (ie, audio data) And 2 - dimensional image data with visualization of the heartbeat amplitude according to the frequency change.

나아가, 일반인이라도 본인의 스마트장치, 예를 들어 스마트 폰을 이용하면 별도의 전문의학지식이 없더라도 손쉽게 심혈관 질환에 대한 자가진단을 수행할 수 있다. 사용자 편의성을 높이기 위하여 본 발명은 특별한 사용자 인터페이스를 제공하는데, 심음 측정 부위를 명확히 표시하는 측정 화면과 심음의 녹음 상태를 표시하는 녹음 화면을 제공한다. 또한 녹음된 심음이 해석가능한지 여부를 판단하여 별도로 알림 이벤트를 제공한다.Furthermore, even a general person can easily perform a self-diagnosis of cardiovascular disease even if he or she does not have any special medical knowledge by using his / her smart device, for example, a smart phone. In order to enhance user convenience, the present invention provides a special user interface, which provides a measurement screen that clearly displays the heart sound measurement site and a recording screen that displays the recording state of the heart sound. It also determines whether the recorded heart sound is interpretable and provides a notification event separately.

이와 같이 본 발명의 심음 애플리케이션은 일반인의 자가진단에도 사용될 수 있을 뿐만 아니라, 병원입원단계에서 환자를 선별하는 도구로도 사용될 수 있을 것이다.As described above, the cardiac sound application of the present invention can be used not only for the self-diagnosis of the general public but also as a tool for selecting patients at the hospital admission stage.

도 1은 본 발명의 일 실시예에 따른 스마트 장치의 사용태양을 나타낸 도면이다.
도 2는 도 1의 스마트장치의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 심혈관 질환의 진단 정보 제공방법을 순차적으로 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 심음 애플리케이션의 사용자 인터페이스를 나타낸 도면이다.
도 5a 내지 도 5c는 측정된 환자 심음 데이터와 변환된 이미지 데이터를 나타낸 것이다.
도 6는 본 실험예에서 스마트장치를 이용한 진단 성능을 나타낸 도면이다.
1 is a diagram illustrating an embodiment of use of a smart device according to an embodiment of the present invention.
Fig. 2 is a diagram schematically showing a configuration of the smart device of Fig. 1;
FIG. 3 is a flowchart sequentially illustrating a diagnostic information providing method of a cardiovascular disease according to an embodiment of the present invention.
4 is a diagram illustrating a user interface of a cardiac sound application according to an exemplary embodiment of the present invention.
5A to 5C show the measured patient heart sound data and the converted image data.
FIG. 6 is a diagram showing diagnostic performance using a smart device in the present experimental example.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

이하, 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 스마트 장치에 대하여 자세히 설명한다. 도 1은 본 발명의 일 실시예에 따른 스마트 장치의 사용태양을 나타낸 도면이고, 도 2는 도 1의 스마트장치의 구성을 개략적으로 나타낸 도면이다.Hereinafter, a smart device according to an embodiment of the present invention will be described in detail with reference to FIG. 1 and FIG. 1 is a diagram illustrating an embodiment of a smart device according to an embodiment of the present invention, and FIG. 2 is a schematic view of a configuration of the smart device of FIG.

본 발명의 스마트장치(20)는 환자 또는 인체(10)로부터 직접 심음을 녹음하여 심혈관 질환에 관한 진단정보를 제공하는 전자장치이다. 스마트장치(20)는 사용자가 이동하면서 무선통신을 통하여 통신기능을 수행할 수 있는 전자장치일 수 있으며, 예를 들어 스마트 폰을 포함한 이동 전화기, 태블릿 컴퓨터, PDA, 웨어러블 장치, 스마트 워치, 스마트 밴드 등이 될 수 있다. The smart device 20 of the present invention is an electronic device that records heart sound directly from a patient or human body 10 and provides diagnosis information on cardiovascular diseases. The smart device 20 may be an electronic device capable of performing a communication function through wireless communication while the user moves and may be a mobile phone including a smart phone, a tablet computer, a PDA, a wearable device, a smart watch, And the like.

스마트장치(20)는 프로세서(220), 입력수단(210), 출력수단(230) 및 메모리(240)를 포함한다. 입력수단(210)은 소프트웨어 또는 하드웨어 입력기를 포함하고, 예를 들어 하드웨어 입력기로는 스마트장치(20) 외부에 설치된 버튼, 오디오 정보를 수신하는 내장 마이크, 유무선네트워크를 통해 데이터를 주고 받는 통신디바이스 등을 포함할 수 있다. 출력수단(230)은 스피커와 디스플레이 등을 포함한다. 디스플레이는 운영체제 소프트웨어의 UI/UX, 응용 소프트웨어의 UI/UX에 있어서 사용자의 터치입력을 감지하는 수단으로서 사용자 인터페이스를 포함할 수 있다. 디스플레이는 화면을 출력하는 수단임과 동시에 사용자의 터치 이벤트를 감지하는 입력수단의 기능을 함께 실행하는 터치스크린으로 이루어질 수 있다.The smart device 20 includes a processor 220, input means 210, output means 230 and memory 240. The input unit 210 includes a software or a hardware input unit. For example, the hardware input unit includes a button installed outside the smart device 20, a built-in microphone for receiving audio information, a communication device for exchanging data through a wired / . ≪ / RTI > The output means 230 includes a speaker, a display, and the like. The display may include a user interface as a means for detecting a user's touch input in UI / UX of operating system software and UI / UX of application software. The display may be a means for outputting a screen and a touch screen for simultaneously executing a function of an input means for sensing a touch event of a user.

스마트장치(20)의 메모리(240)는 일반적으로 디바이스에 사용되는 컴퓨터 코드 및 데이터를 저장하는 장소를 제공한다. 본 발명의 일 실시예에 따른 스마트장치(20)의 메모리(240)에는 심음 애플리케이션(250) 및 이의 구동/관리에 필요한 리소스뿐만 아니라 기본적인 입출력 시스템, 운영 체제, 다양한 프로그램들, 애플리케이션들, 또는 디바이스에서 실행되는 사용자 인터페이스 기능들, 프로세서 기능들 등을 포함하는 임의의 디바이스용 펌웨어(firmware)가 저장될 수 있다.The memory 240 of the smart device 20 typically provides a location for storing computer code and data used in the device. The memory 240 of the smart device 20 in accordance with an embodiment of the present invention includes basic input and output systems, operating systems, various programs, applications, or devices Firmware for any device, including user interface functions, processor functions, and the like, that are executed in the device.

스마트장치(20)에 설치된 심음 애플리케이션(250)은 컨볼루션 신경망(Convolutional Neural Network: CNN) 모델을 이용하여 환자 또는 인체(10)로부터 녹음된 심음으로부터 심혈관 질환의 진단 정보를 제공한다. 심음 애플리케이션(250)은 사용자가 자신의 스마트장치(20)에 외부 플랫폼을 이용하여 다운로드 받은 애플리케이션 소프트웨어일 수 있다. 또한 본 발명의 심음 애플리케이션(250)은 스마트장치(20)의 운영체제 소프트웨어와 연동하여 디폴트로 스마트장치(20)에 설치된 소프트웨어일 수 있다. 심음 애플리케이션(250)에 대해서는 후에 다시 자세히 설명한다.The cardiac sound application 250 installed in the smart device 20 provides diagnostic information of cardiovascular disease from cardiac sound recorded from the patient or the human body 10 using a Convolutional Neural Network (CNN) model. The cardiac sound application 250 may be application software downloaded by a user using an external platform to his or her smart device 20. [ In addition, the cardiac sound application 250 of the present invention may be software installed in the smart device 20 by default in conjunction with the operating system software of the smart device 20. [ The cardiac sound application 250 will be described in detail later.

스마트장치(20)의 프로세서(220)는 운영체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성하고 사용하는 동작을 실행한다. 또한 프로세서(220)는 일련의 명령어를 사용하여 스마트장치(20)의 컴포넌트들 간의 입력 및 출력 데이터의 수신 및 처리를 할 수 있다. 또한 프로세서(220)는 스마트장치(20)에 설치된 운영체제 소프트웨어와 각종 애플리케이션 소프트웨어들의 기능을 실행하는 제어부 역할을 담당한다.The processor 220 of the smart device 20 executes the computer code with the operating system and executes the operations of generating and using the data. The processor 220 may also use a series of instructions to receive and process input and output data between the components of the smart device 20. The processor 220 also serves as a control unit for executing functions of operating system software and various application software installed in the smart device 20. [

스마트장치(20)의 전원부, 통신모뎀, GPS, I/O 디바이스, 카메라 모듈과 같은 하드웨어/소프트웨어 모듈 등의 부가적 혹은 관용적 구성요소는 도면에서는 나타내지 않았으나, 본 발명의 스마트장치(20)에는 장치의 기능에 기여하는 다양한 내부 및 외부 컴포넌트들을 포함할 수 있다. 또한 스마트장치(20)는 하드웨어 요소들(회로 포함), 소프트웨어 요소들(컴퓨터 판독 가능 매체에 저장된 컴퓨터 코드 포함) 또는 이 두 요소의 결합을 포함할 수 있다.Additional or conventional components such as a power supply of the smart device 20, a hardware module such as a communication modem, a GPS, an I / O device, and a camera module are not shown in the drawing, Lt; RTI ID = 0.0 > and / or < / RTI > The smart device 20 may also include hardware components (including circuitry), software components (including computer code stored on a computer readable medium), or a combination of the two.

본 발명의 심음 애플리케이션(250)은 기능적으로, 심음-이미지 변환부(252), 학습부(254), 심음 분류부(256) 및 노이즈 제거부(258)를 포함한다.The cardiac sound application 250 of the present invention functionally includes a heart sound-image converting unit 252, a learning unit 254, a cardiac sound classifying unit 256 and a noise removing unit 258.

입력수단(210)이 심혈관 질환을 진단하고자 하는 환자의 인체(10)에 근접하여 직접 심음을 녹음하면, 심음-이미지 변환부(252)는 녹음된 환자 심음 데이터(즉, 오디오 데이터)에 대하여 시간의 변화와 주파수의 변화에 따른 심음의 진폭을 2차원으로 가시화한 이미지 데이터로 변환한다. 또한, 심음-이미지 변환부(252)는 외부로부터 제공받은 다수의 샘플 심음 데이터(즉, 오디오 데이터)에 대해서도 2차원으로 가시화한 이미지 데이터로 변환한다. 샘플 심음 데이터는 공개 데이터베이스(예를 들어, eGeneralmedical, UCLA Auscultation assistant, Welchallyn, Michigan Medical School, Medicine and Teaching Hospital Motol Department of Applied Informatics, 3M stethoscope, Teachingheartauscultation 등)에서 데모 심장 소리를 얻어 사용할 수 있다. 심음-이미지 변환부(252)는 1 내지 200Hz의 낮은 주파수를 가지는 심음을 정확히 녹음하고 그 특성을 분석하기 위하여, 시간, 주파수 및 심음 진폭이 모두 가시화된 2차원 이미지 데이터를 사용한다. 구체적으로 시간 축과 주파수 축을 기준으로 심음 진폭 변화를 색상의 차이로 구분하여 이미지 데이터로 표시한다.When the input means 210 directly records heart sounds in proximity to the human body 10 of a patient who is to diagnose a cardiovascular disease, the heart sound-image converting unit 252 converts the heart sound data (i.e., audio data) And the amplitude of the heart sound according to the change of the frequency is converted into image data that is visualized in two dimensions. Also, the heart sound-image converting unit 252 converts a plurality of sampled heart sound data (i.e., audio data) supplied from the outside into image data visualized in two dimensions. The sample heart sound data can be obtained from a public database (eGeneralmedical, UCLA Auscultation assistant, Welchallyn, Michigan Medical School, Medicine and Teaching Hospital Motol Department of Applied Informatics, 3M stethoscope, Teachingheartauscultation, etc.). The heart sound-image converting unit 252 uses two-dimensional image data in which the time, frequency, and heart sound amplitude are all visualized in order to accurately record cardiac sound having a low frequency of 1 to 200 Hz and analyze its characteristics. Specifically, changes in heart sound amplitude are classified into color differences based on the time axis and the frequency axis, and are displayed as image data.

학습부(254)는 외부로부터 제공받은 다수의 샘플 심음 데이터를 심음패턴의 학습 모델에 대한 입력 데이터로 사용한다. 구체적으로, 입력수단(210)을 통해 샘플 심음 데이터가 입력되면, 심음-이미지 변환부(252)는 샘플 심음 데이터(즉, 오디오 데이터)를 가시화하여 이미지 데이터로 변환하고, 학습부(254)는 샘플 심음 데이터의 이미지 데이터를 컨볼루션 신경망 모델의 입력 데이터로 사용한다. 학습부(254)는 컨볼루션 신경망 모델을 이용하여 이미지 데이터 중 심음에 대응하는 이미지 객체를 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시킨다. 바람직하게는, 학습부(254)는 샘플 심음 데이터 중 심음 1주기에 대응하는 이미지 데이터를 추출한 후 컨볼루션 신경망 모델을 이용하여 각 주기의 이미지 데이터를 기계학습시킬 수 있다. 여기서 심음 주기 또는 심장 주기는 심장이 수축을 시작할 때부터 이완기를 거쳐 다시 수축기가 시작되기 전까지의 주기를 의미한다.The learning unit 254 uses a plurality of sample cardiac sound data provided from outside as input data for the learning model of the heart sound pattern. Specifically, when the sampled heart sound data is input through the input unit 210, the heart sound-image converting unit 252 visualizes the sampled heart sound data (i.e., audio data) and converts the sampled heart sound data into image data, and the learning unit 254 The image data of the sample heart sound data is used as the input data of the convolution neural network model. The learning unit 254 uses the convolution neural network model to learn an image object corresponding to the heart sound among the image data using any one of a plurality of predefined heart sound patterns. The learning unit 254 may extract image data corresponding to one cycle of the heart sound among the sampled heart sound data, and then machine-learn image data of each cycle using the convolution neural network model. Here, the cardiac cycle or cardiac cycle refers to the period from when the heart starts to contract, to when the heart starts to systole again through the diastole.

컨볼루션 신경망 모델에 의한 기계학습 과정은, 복수 개의 컨벌루션 레이어(convolution layer)와 풀링 레이어(pooling layer)를 반복하여 구성함으로써, 2차원 이미지 데이터로부터 추상화된 특징(feature)을 추출하고 데이터를 압축하는 과정을 반복하여 상위 계층으로 갈수록 일반화된 결과를 얻는 것이다. 복수 개의 컨벌루션 레이어 및 풀링 레이어 위에는 완전 연결 레이어(fully-connected layer)가 있으며, 각 레이어별 함수로는 시그모이드(sigmoid) 함수, 하이퍼볼릭 탄젠트(Hyperbolic Tangent: tanh) 함수, ReLU(Rectified Linear Unit) 함수 등이 사용될 수 있다.The machine learning process by the convolution neural network model is a method in which a plurality of convolution layers and a pooling layer are repeatedly constructed to extract abstract features from two-dimensional image data, The process is repeated to get a generalized result as it goes to the upper layer. On the plurality of convolution and pulling layers, there is a fully-connected layer. The function for each layer includes a sigmoid function, a hyperbolic tangent (tanh) function, a ReLU (Rectified Linear Unit ) Function can be used.

본 실시예에서 심음패턴은 정상, 비정상에 따라 복수 개의 범주로 사전에 정의되는데, 예를 들어, 정상 심음, 제3 심음(S3), 제4 심음(S4), 수축기 잡음(systolic murmur), 확장기 잡음(diastolic murmur)로 된 5개의 패턴으로 분류될 수 있다. In the present embodiment, heart sound patterns are defined in advance in a plurality of categories according to normal and abnormal states. For example, normal heart sounds, third heart sounds S3, fourth heart sounds S4, systolic murmurs, It can be classified into five patterns of diastolic murmur.

정상 심음은 심혈관 질환이 없는 상태의 심음을 의미하며, 심음 1주기 동안 S1(제1 심음: first heart sound)과 S2(제2 심음: second heart sound)가 관찰된다. S1은 심실수축기 초에 삼첨판과 승모판의 폐쇄 시 혈액이 판막벽에 부딪쳐 발생되는 진동음으로, 길고 둔한 저음으로 이루어진다. S2는 대동맥 판막과 폐동맥판막의 폐쇄 시 혈액이 판막벽에 부딪쳐 발생되는 진동음으로, 짧은 고음으로 이루어진다. Normal heart sounds represent heart sounds without cardiovascular disease, and S1 (first heart sound) and S2 (second heart sound) are observed during one cardiac cycle. S1 is a long, dull low-pitched sound caused by the blood colliding with the valve wall during the occlusion of the tricuspid and mitral valve in the early phase of ventricular systole. S2 is a vibration sound generated by the blood colliding with the valve wall when the aortic valve and the pulmonary valve are closed.

그 외에 S3(제3 심음), S4(제4 심음), 수축기 잡음, 확장기 잡음은 모두 심혈관 질환으로부터 유발되는 심잡음이다. 구체적으로, S3(제3 심음)는 S2 이후 0.12-0.16초 사이의 심장 이완기에 빠른 속도로 심실에 혈액이 충만될 때 발생하는 심잡음으로, 빈혈, 갑상선 기능 항진증, 대동맥폐쇄 부전증, 승모판(또는 삼첨판)에서의 역류, 심장 중격결손, 폐성심(cor pulmonale) 등의 원인으로 발생한다. S4(제4 심음)는 심실비대나 심실벽의 손상 시 심실에 혈액이 채워질 때 발생하는 심잡음으로, 대동맥 협착증, 관상 동맥 질환, 허혈성 심질환, 부정맥, 심부전증 등의 원인으로 발생한다. 수축기 잡음은 S1과 S2 사이에 생기는 심잡음으로서, 대동맥 협착증, 승모판 역류증, 심실중격결손, 폐동맥 판협착 등의 원인으로 발생한다. 확장기 잡음은 심실의 확장기에 발생하는 심잡음으로서, 대동맥 역류증, 승모판(또는 삼첨판) 협착, 대동맥판(또는 폐동맥판) 폐쇄부전 등의 원인으로 발생한다.In addition, S3 (third heart sound), S4 (fourth heart sound), systolic noise, and diastolic noise are all heart murmurs caused by cardiovascular disease. Specifically, S3 (third heart sound) is a heart murmur which occurs when blood is filled in the ventricle rapidly at a heart rate of 0.12-0.16 seconds after S2. It is anemic, hyperthyroidism, aortic insufficiency, mitral (or tricuspid) ), Cardiac septal defect, cor pulmonale, and the like. S4 (fourth heart sound) is a heart murmur which occurs when the ventricular enlargement or damage of the ventricular wall is filled with blood. It occurs as a cause of aortic stenosis, coronary artery disease, ischemic heart disease, arrhythmia, heart failure. Systolic noise is a heart murmur occurring between S1 and S2, which is caused by aortic stenosis, mitral regurgitation, ventricular septal defect, and pulmonary valve stenosis. Dilatant noise is a heart murmur that occurs in the ventricular diastole and is caused by aortic regurgitation, mitral (or tricuspid) stenosis, and aortic valve (or pulmonary valve) obstruction.

심음 분류부(256)는 컨볼루션 신경망 모델에 의한 학습부(254)의 학습 정보를 기반으로 환자의 심음을 심음패턴 중 어느 하나로 분류한다. 구체적으로, 심음-이미지 변환부(252)가 녹음된 환자 심음 데이터를 시간의 변화 및 주파수의 변화에 따른 심음 진폭을 2차원으로 가시화한 이미지 데이터로 변환하면, 심음 분류부(256)는 컨볼루션 신경망을 이용하여 환자 심음 데이터의 이미지 데이터 중 심음에 대응하는 이미지 객체를 심음패턴 중 어느 하나로 분류하여 결과값을 도출한다.The heart sound classifying unit 256 classifies the patient's heart sound into one of the heart sound patterns based on the learning information of the learning unit 254 by the convolution neural network model. Specifically, when the heart sound-image converting unit 252 converts the recorded patient heart sound data into image data obtained by visualizing the heart sound amplitude according to the change of the time and the frequency in two dimensions, the heart sound classifying unit 256 classifies the convolution The neural network is used to classify the image object corresponding to the heart sound among the image data of the patient's heart sound data into one of the cardiac sound patterns to derive a result value.

노이즈 제거부(258)는 입력수단(210)을 통해 녹음된 환자 심음 데이터에 포함된 열잡음(thermal noise)을 제거한다. 스마트장치(20)를 이용한 심장 청진 및 심음 녹음에 있어서 발생하는 원하지 않는 잡음은 크게 두 가지 원인으로 분류된다. 하나는 환경 잡음이고 다른 하나는 스마트장치(20)의 자체 잡음, 즉 열잡음이다. 환경 잡음은 목소리, 음악소리, 교통소음 등 스마트장치(20) 외부에 발생한 주변 소음을 말하며, 조용한 녹음 환경에서는 무시할 수 있는 잡음이다. 하지만 열잡음은 스마트장치(20)의 회로 내에서 충전된 전자의 열 이동으로 인해 발생하는 잡음으로서 심음 분석에 정확도를 떨어뜨리는 주요 원인 중 하나이다. 본 발명에서는 스펙트럼 감산(spectral subtraction)과 고속푸리에변환(Fast Fourier Transform: FFT) 알고리즘을 이용하여 스마트장치 자체에서 발생하는 열잡음을 제거한다. 구체적으로, 녹음된 환자 심음 데이터에 대하여 소정의 시간 윈도우(예를 들어, 250ms)마다 음압(sound pressure)을 측정한 후 측정된 음압 중 하위 소정의 비율(예를 들어, 하위 10% 이하)에 해당하는 시간 윈도우를 열잡음으로 정의하여 제거한다. 즉, 고속푸리에변환을 이용하여 열잡음의 평균 스펙트럼을 계산하고 모든 시간 윈도우에서 이를 차감한 후, 역고속푸리에변환(Inverse FFT: IFFT)을 이용하여 잡음이 제거된 시간 영역의 심음을 생성한다.The noise removing unit 258 removes the thermal noise contained in the patient cardiac sound data recorded through the input unit 210. Unwanted noise generated in cardiac stuttering and cardiac sound recording using the smart device 20 is roughly divided into two causes. One is environmental noise, and the other is the self noise of the smart device 20, i.e., thermal noise. Environmental noise refers to the ambient noise generated outside the smart device 20, such as a voice, music sound, traffic noise, etc., which is negligible noise in a quiet recording environment. However, thermal noise is one of the main causes of poor accuracy in heart sound analysis due to the noise generated by the heat transfer of charged electrons in the circuit of the smart device 20. In the present invention, thermal noise generated in the smart device itself is removed using spectral subtraction and fast Fourier transform (FFT) algorithm. Specifically, the sound pressure data is measured for every predetermined time window (for example, 250 ms) with respect to the recorded patient heart sound data, and then a predetermined lower rate (for example, lower 10% The corresponding time window is defined as thermal noise and removed. That is, the average spectrum of the thermal noise is calculated using the fast Fourier transform, the inverse FFT is performed on all time windows, and the noise is removed using the inverse fast Fourier transform (IFFT).

본 실시예에서는 설명의 편의를 위하여 스마트장치(20)가 독립된 하나의 전자장치인 것으로 예를 들어 설명하고 있으나, 본 발명은 이에 한정되는 것은 아니다. 구체적으로, 스마트장치는 모바일 기기 및 이와 네트워크로 연결되나 물리적으로 구분된 외부 장치(예컨대 하나 이상의 서버장치 및/또는 데이터베이스)의 조합으로 구성될 수도 있다. 이 경우, 스마트장치를 구성하는 개별 구성은 모바일 기기 또는 외부 장치에 속할 수 있다. 예를 들어, 입력수단, 프로세서, 및 출력수단은 모바일 기기에 속하고 심음 애플리케이션이 설치된 메모리는 외부 장치에 속할 수 있고, 나아가 심음 애플리케이션 중 일부 기능은 모바일 기기가 담당하고 다른 기능은 외부 장치가 담당할 수도 있다. 이와 같이 스마트장치가 서로 물리적으로 구분된 모바일 기기 및 외부 장치로 이루어지더라도, 기능적으로는 하나의 전자장치로 보아야 할 것이다.In the present embodiment, for convenience of explanation, the smart device 20 is described as an independent electronic device, but the present invention is not limited thereto. Specifically, the smart device may be configured as a combination of a mobile device and an external device (e.g., one or more server devices and / or databases) that are networked or physically separated from the mobile device. In this case, the individual configuration of the smart device may belong to a mobile device or an external device. For example, the input means, the processor, and the output means may belong to the mobile device and the memory where the cardiac sound application is installed may belong to the external device. Further, some of the cardiac sound applications are handled by the mobile device, You may. Thus, even if the smart device is composed of a mobile device and an external device physically separated from each other, it should be regarded as an electronic device functionally.

이하 도 3 및 도 4를 참조하여 본 발명의 일 실시예에 따른 심혈관 질환의 진단 정보 제공방법에 대하여 자세히 설명한다. 도 3은 본 발명의 일 실시예에 따른 심혈관 질환의 진단 정보 제공방법을 순차적으로 나타낸 순서도이다. 도 4는 본 발명의 일 실시예에 따른 심음 애플리케이션의 사용자 인터페이스를 나타낸 도면이다.Hereinafter, a diagnostic information providing method of cardiovascular disease according to an embodiment of the present invention will be described in detail with reference to FIG. 3 and FIG. FIG. 3 is a flowchart sequentially illustrating a diagnostic information providing method of a cardiovascular disease according to an embodiment of the present invention. 4 is a diagram illustrating a user interface of a cardiac sound application according to an exemplary embodiment of the present invention.

먼저, 외부로부터 제공받은 다수의 샘플 심음 데이터를 스마트장치(20)에 입력한다(S10). 샘플 심음 데이터는 오디오 데이터이며 공개 데이터베이스로부터 얻을 수 있다.First, a plurality of sample heart sound data provided from the outside are input to the smart device 20 (S10). The sample heart sound data is audio data and can be obtained from a public database.

스마트장치(20)는 이러한 샘플 심음 데이터(즉, 오디오 데이터)를 2차원으로 가시화한 이미지 데이터로 변환한다(S20). 본 발명에서는 낮은 주파수를 가지는 심음을 정확히 녹음하고 그 특성을 분석하기 위하여, 시간, 주파수 및 심음 진폭이 모두 가시화된 2차원 이미지 데이터를 사용한다.The smart device 20 converts the sampled heart sound data (i.e., audio data) into image data that is two-dimensionally visualized (S20). In the present invention, two-dimensional image data in which time, frequency, and cardiac amplitude are both visualized is used in order to accurately record heart sound having a low frequency and analyze the characteristics thereof.

이어서 스마트장치(20)는 샘플 심음 데이터의 이미지 데이터를 컨볼루션 신경망 모델의 입력 데이터로 사용하여 학습시킨다(S30). 구체적으로, 학습부(254)는 컨볼루션 신경망 모델을 이용하여 이미지 데이터 중 심음에 대응하는 이미지 객체를 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시킨다.Next, the smart device 20 uses the image data of the sampled heart sound data as input data of the convolutional neural network model (S30). Specifically, the learning unit 254 uses the convolution neural network model to learn the image object corresponding to the heart sound among the image data using any one of a plurality of pre-defined heart sound patterns.

이어서 심혈관 질환을 진단하고자 하는 환자에 스마트장치(20)를 근접시켜 직접 심음을 녹음한다. 본 발명은 일반인이라도 손쉽게 심혈관 질환에 대한 자가진단을 수행할 수 있도록 특별한 사용자 인터페이스를 제공한다. 도 4를 참조하여 구체적으로 살펴보면, 먼저 사용자 또는 환자가 스마트장치(20)의 심음 애플리케이션을 실행하면 스마트장치(20)의 화면 상에 측정화면(30)이 표시된다. 측정화면(30)에는 복수의 심음 측정 부위(32)가 표시된다. 본 실시예에서는 5 개의 심음 측정 부위(32)가 예시적으로 측정화면(30)에 표시되어 있다. 스마트장치(20)의 입력수단(210)이 심음 측정 부위(32) 중 어느 하나에 대한 선택 이벤트를 생성하면 측정화면(30)은 녹음화면(34)으로 전환된다. 사용자는 선택된 심음 측정 부위(32)에 대응하는 신체에 스마트장치(20)의 내장 마이크를 근접시켜 심음을 녹음한다. 스마트장치(20)는 녹음 상황을 녹음화면(34) 상에 표시한다. 녹음이 완료되면, 스마트장치(20)는 녹음된 심음이 해석가능한지 여부를 판단하여 알람 이벤트를 화면 상에 생성한다. 만일 외부 잡음이 기준 이상으로 크거나 스마트장치(20)가 선택된 심음 측정 부위(32)에 정확히 배치되지 않아서 녹음된 심음이 기준보다 작은 경우 심음 해석이 불가능하여 재녹음을 요청하는 알람 이벤트를 생성하고, 그렇지 않고 심음 해석이 가능한 경우 녹음이 완료되었음을 나타내는 알람 이벤트를 생성한다.Next, the smart device 20 is brought close to the patient who is to be diagnosed as a cardiovascular disease to directly record the heart sound. The present invention provides a special user interface for easy self-diagnosis of cardiovascular diseases even for the general public. 4, when a user or a patient executes a cardiac sound application of the smart device 20, a measurement screen 30 is displayed on the screen of the smart device 20. On the measurement screen 30, a plurality of cardiac sound measurement sites 32 are displayed. In the present embodiment, five cardiac sound measurement sites 32 are illustratively displayed on the measurement screen 30. The measurement screen 30 is switched to the recording screen 34 when the input means 210 of the smart device 20 generates a selection event for any one of the cardiac sound measurement sites 32. [ The user records the heart sound by bringing the built-in microphone of the smart device 20 close to the body corresponding to the selected heart sound measuring part 32. [ The smart device 20 displays the recording situation on the recording screen 34. [ Upon completion of the recording, the smart device 20 determines whether or not the recorded heart sound can be analyzed and generates an alarm event on the screen. If the external noise is larger than the reference value or the smart device 20 is not accurately placed in the selected heart sound measuring part 32, if the recorded heart sound is smaller than the reference, heart sound analysis is impossible and an alarm event for requesting re-recording is generated , And generates an alarm event indicating that recording is completed when the heart sound analysis is possible.

해석가능한 심음이 녹음되면, 스마트장치(20)는 녹음된 환자 심음 데이터(즉, 오디오 데이터)에 대하여 시간의 변화와 주파수의 변화에 따른 심음의 진폭을 2차원으로 가시화한 이미지 데이터로 변환한다(S40).When the interpretable cardiac sound is recorded, the smart device 20 converts the amplitude of the heart sound according to the change of time and the frequency of the recorded patient heart sound data (i.e., audio data) into image data that is two-dimensionally visualized S40).

이어서, 컨볼루션 신경망 모델에 의한 학습 정보를 기반으로 스마트장치(20)는 환자 심음 데이터의 이미지 데이터 중 심음에 대응하는 이미지 객체를 심음패턴 중 어느 하나로 분류한다(S50).Then, based on the learning information by the convolution neural network model, the smart device 20 classifies the image object corresponding to the heart sound among the image data of the patient heart sound data into one of the heart sound patterns (S50).

<실험예><Experimental Example>

본 실험예에서는 총 46명의 피험자에 대상으로 하였으며, 먼저 숙련된 심장 전문의에 의해 각 피험자의 심혈관 질환 여부를 진단하였다. 표 1은 피험자의 특성을 나타낸 것이다. 전체 피험자 중, 20명은 수축기 잡음(systolic murmur)을, 5명은 확장기 잡음(diastolic murmur)을, 1명은 제4 심음(S4)를 가지고 있고, 20명은 정상 심음을 가진 것으로 진단되었다.In this experiment, a total of 46 subjects were enrolled. First, a cardiologist diagnosed each subject with a cardiovascular disease by a skilled cardiologist. Table 1 shows the characteristics of the subjects. Of the total subjects, 20 had systolic murmur, 5 had diastolic murmur, 1 had fourth heart sound (S4), and 20 had normal heart sounds.

Figure pat00001
Figure pat00001

본 발명의 스마트장치로 피험자의 심음을 측정하고 환자 심음 데이터로부터 열잡음을 제거한 결과, 46개의 심음 중 30개의 심음(65.2%)가 해석 가능한 것으로 확인되었다. 심음 해석이 불가능한 경우는 주로 배경 잡음 및 피험자의 협력부족으로 파악되었다.As a result of measuring the subject's heart sound with the smart device of the present invention and removing the thermal noise from the patient's heart sound data, it was confirmed that 30 heart sounds (65.2%) out of 46 heart sounds were interpretable. In cases where heart sound analysis was impossible, it was mainly recognized as background noise and lack of cooperation of subjects.

도 5a 내지 도 5c는 측정된 환자 심음 데이터와 변환된 이미지 데이터를 나타낸 것이다. 구체적으로, 도 5a는 본 실험예에서 녹음된 샘플 심음 데이터(정상 상태) 및 이로부터 변환된 이미지 데이터를 나타낸 도면이고, 도 5b는 본 실험예에서 녹음된 샘플 심음 데이터(대동맥 협착증: aortic stenosis) 및 이로부터 변환된 이미지 데이터를 나타낸 도면이고, 도 5c는 본 실험예에서 녹음된 샘플 심음 데이터(승모판 역류: mitral regurgitation) 및 이로부터 변환된 이미지 데이터를 나타낸 도면이다. 도 5a 내지 도 5c를 참조하면, 2차원으로 가시화한 이미지 데이터는 시간 축과 주파수 축을 기준으로 심음 진폭 변화를 색상의 차이로 구분하여 표시하였다. 구체적으로, 도 5a와 같이 정상 상태인 경우, S1 및 S2 심음에 대한 이미지 객체가 일정한 패턴으로 주기적으로 관찰되었다. 도 5b 및 도 5c와 같이 심혈관 질환이 있는 경우, 심잡음에 대한 이미지 객체가 일정한 패턴으로 주기적으로 관찰되었다.5A to 5C show the measured patient heart sound data and the converted image data. 5A is a view showing recorded sampled heart sound data (steady state) and image data converted therefrom, FIG. 5B is a graph showing recorded sampled heart sound data (aortic stenosis) in the present experimental example, And FIG. 5C is a diagram showing recorded sample heart sound data (mitral regurgitation) and image data converted therefrom in the present experimental example. Referring to FIGS. 5A to 5C, image data visualized in two dimensions are displayed by dividing a change in heart sound amplitude with respect to a time axis and a frequency axis by color differences. Specifically, in the normal state as shown in FIG. 5A, image objects for S1 and S2 heart sounds were periodically observed in a constant pattern. As shown in FIGS. 5B and 5C, in the case of cardiovascular disease, the image object for the murmur was periodically observed in a constant pattern.

도 6는 본 실험예에서 스마트장치를 이용한 진단 성능을 나타낸 도면이다. 본 실험예에서는 삼성 갤럭시 S5, 삼성 갤럭시 S6 및 LG G3의 스마트 폰에 심음 애플리케이션을 설치하여 진단 성능을 측정하였다. 도 6에서 TP는 참양성(True Positive), TN은 참음성(True Negative), FP는 거짓양성(False Positive), FN은 거짓음성(False Negative)를 나타낸다. 삼성 갤럭시 S5는 90%, 삼성 갤럭시 S6는 87%, LG G3는 90%의 진단 정확도(diagnostic accuracy)를 가지는 것으로 파악되었다. 표 2는 본 실험예의 진단 성능을 구체적으로 나타낸 표이다.FIG. 6 is a diagram showing diagnostic performance using a smart device in the present experimental example. In this experiment, the diagnostic performance was measured by installing a heart sound application on Samsung Galaxy S5, Samsung Galaxy S6 and LG G3 smartphones. In FIG. 6, TP indicates True Positive, TN indicates True Negative, FP indicates false positive, and FN indicates false negative. Samsung Galaxy S5 is 90%, Samsung Galaxy S6 is 87%, and LG G3 is 90%. Table 2 is a table specifically showing the diagnostic performance of the present experimental example.

Figure pat00002
Figure pat00002

이상과 같이, 본 발명의 스마트장치 및 심음 애플리케이션을 이용하면, 편리하게 심음을 녹음하고 컨볼루션 신경망 모델에 의해 심혈관 질환을 높은 정확도로 진단할 수 있다는 것을 검증하였다.As described above, it has been verified that the smart device and the cardiac sound application of the present invention can conveniently record cardiac sounds and diagnose cardiovascular diseases with high accuracy by the convolution neural network model.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

10: 인체
20: 스마트장치
30: 측정화면
32: 심음 측정 부위
34: 녹음화면
210: 입력수단
220: 프로세서
230: 출력수단
240: 메모리
250: 심음 애플리케이션
252: 심음-이미지 변환부
254: 학습부
256: 심음 분류부
258: 노이즈 제거부
10: Human body
20: Smart Devices
30: Measurement screen
32: Heart sound measurement site
34: Recording Screen
210: input means
220: Processor
230: output means
240: Memory
250: Cardiac application
252: heart sound-image conversion unit
254:
256:
258: Noise elimination

Claims (8)

심음 애플리케이션 소프트웨어가 설치되어 있는 스마트장치를 이용한 심혈관 질환의 진단정보 제공방법으로서,
외부로부터 입력받은 다수의 샘플 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 샘플 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망(CNN)을 이용해 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시키고,
진단하고자 하는 환자로부터 직접 심음을 녹음하고, 녹음된 환자 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 환자 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망을 이용해 상기 심음패턴 중 어느 하나로 분류하는 단계를 포함하는, 심혈관 질환의 진단정보 제공방법.
A method for providing diagnosis information of a cardiovascular disease using a smart device in which heart sound application software is installed,
A plurality of sampled heart sound data received from outside are converted into image data having visualized heartbeat amplitude according to a change in time and frequency, and an image object corresponding to heart sound is converted into convolutional neural network (CNN) in the image data of the sampled heart sound data A plurality of heart sound patterns defined in advance,
The cardiac sound data is directly recorded from the patient to be diagnosed, and the recorded patient heart sound data is converted into image data in which the amplitude of the heart sound according to the change of time and frequency is visualized. Then, in the image data of the patient heart sound data, And classifying the heartbeat pattern into one of the cardiac sound patterns using a convolution neural network.
제1항에 있어서,
상기 환자 심음 데이터로부터 상기 스마트장치에 의한 열잡음을 제거하되, 상기 환자 심음 데이터에서 소정의 시간 윈도우마다 음압을 측정한 후 상기 음압 중 하위 소정의 비율에 해당하는 시간 윈도우를 열잡음으로 정의하여 제거하는 것을 특징으로 하는 심혈관 질환의 진단정보 제공방법.
The method according to claim 1,
Wherein a thermal noise by the smart device is removed from the patient's cardiac sound data, a time window corresponding to a lower predetermined ratio of the sound pressure is defined as thermal noise after the sound pressure is measured in the predetermined time window in the patient's heart sound data A method for providing diagnostic information of a cardiovascular disease.
제1항에 있어서,
상기 환자의 심음을 녹음하는 것은, 상기 스마트장치의 화면 상에 측정 화면을 표시하고(상기 측정 화면에는 복수의 심음 측정 부위가 표시됨), 상기 스마트장치의 입력수단이 상기 측정 화면 상의 상기 심음 측정 부위 중 어느 하나에 대한 선택 이벤트를 생성하면 상기 측정 화면은 녹음 화면으로 전환되고, 상기 스마트장치가 상기 심음 측정 부위에 대응하는 상기 환자의 신체에 근접하여 심음을 녹음하면 녹음된 심음이 해석가능한지 여부를 판단하여 알람 이벤트를 생성하는 것을 포함하는 심혈관 질환의 진단정보 제공방법.
The method according to claim 1,
Wherein recording of the patient's heart sounds comprises displaying a measurement screen on the screen of the smart device (a plurality of heart sound measurement sites are displayed on the measurement screen), and the input means of the smart device displays the heart sound measurement site The measurement screen is switched to the recording screen. When the smart device records cardiac sound close to the body of the patient corresponding to the cardiac sound measurement site, it is determined whether or not the recorded heart sound can be interpreted And generating an alarm event based on the determination result.
제1항에 있어서,
상기 사전에 정의된 복수의 심음패턴은 정상 심음, 제3 심음(S3), 제4 심음(S4), 수축기 잡음(systolic murmur), 확장기 잡음(diastolic murmur), 또는 이들의 조합을 포함하는 심혈관 질환의 진단정보 제공방법.
The method according to claim 1,
The predefined plurality of cardiac tone patterns may be selected from the group consisting of normal heart sounds, third heart sounds (S3), fourth heart sounds (S4), systolic murmur, diastolic murmur, Of the diagnostic information.
심혈관 질환의 진단정보를 제공하는 스마트장치와 결합되어,
외부로부터 입력받은 다수의 샘플 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 샘플 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망(CNN)을 이용해 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시키고,
진단하고자 하는 환자로부터 직접 심음을 녹음하고, 녹음된 환자 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 환자 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망을 이용해 상기 심음패턴 중 어느 하나로 분류하는 단계를 실행시키기 위하여 매체에 저장된 심음 애플리케이션.
Combined with smart devices that provide diagnostic information on cardiovascular disease,
A plurality of sampled heart sound data received from outside are converted into image data having visualized heartbeat amplitude according to a change in time and frequency, and an image object corresponding to heart sound is converted into convolutional neural network (CNN) in the image data of the sampled heart sound data A plurality of heart sound patterns defined in advance,
The cardiac sound data is directly recorded from the patient to be diagnosed, and the recorded patient heart sound data is converted into image data in which the amplitude of the heart sound according to the change of time and frequency is visualized. Then, in the image data of the patient heart sound data, A cardiac rhythm application stored on a medium for performing the step of classifying it into one of the cardiac rhythm patterns using a convolution neural network.
제5항에 있어서,
상기 환자 심음 데이터로부터 상기 스마트장치에 의한 열잡음을 제거하되, 상기 환자 심음 데이터에서 소정의 시간 윈도우마다 음압을 측정한 후 상기 음압 중 하위 소정의 비율에 해당하는 시간 윈도우를 열잡음으로 정의하여 제거하는 것을 특징으로 하는 심음 애플리케이션.
6. The method of claim 5,
Wherein a thermal noise by the smart device is removed from the patient's cardiac sound data, a time window corresponding to a lower predetermined ratio of the sound pressure is defined as thermal noise after the sound pressure is measured in the predetermined time window in the patient's heart sound data Features heart sound application.
제5항에 있어서,
상기 환자의 심음을 녹음하는 것은, 상기 스마트장치의 화면 상에 측정 화면을 표시하고(상기 측정 화면에는 복수의 심음 측정 부위가 표시됨), 상기 스마트장치의 입력수단이 상기 측정 화면 상의 상기 심음 측정 부위 중 어느 하나에 대한 선택 이벤트를 생성하면 상기 측정 화면은 녹음 화면으로 전환되고, 상기 스마트장치가 상기 심음 측정 부위에 대응하는 상기 환자의 신체에 근접하여 심음을 녹음하면 녹음된 심음이 해석가능한지 여부를 판단하여 알람 이벤트를 생성하는 것을 포함하는 심음 애플리케이션.
6. The method of claim 5,
Wherein recording of the patient's heart sounds comprises displaying a measurement screen on the screen of the smart device (a plurality of heart sound measurement sites are displayed on the measurement screen), and the input means of the smart device displays the heart sound measurement site The measurement screen is switched to the recording screen. When the smart device records cardiac sound close to the body of the patient corresponding to the cardiac sound measurement site, it is determined whether or not the recorded heart sound can be interpreted And generating an alarm event based on the determination.
제5항에 있어서,
상기 사전에 정의된 복수의 심음패턴은 정상 심음, 제3 심음(S3), 제4 심음(S4), 수축기 잡음(systolic murmur), 확장기 잡음(diastolic murmur), 또는 이들의 조합을 포함하는 심음 애플리케이션.
6. The method of claim 5,
The predefined plurality of cardiac tone patterns may include at least one of a heart sound application, a third heart sound (S3), a fourth heart sound (S4), a systolic murmur, a diastolic murmur, .
KR1020170156212A 2017-11-22 2017-11-22 Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same KR102078525B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170156212A KR102078525B1 (en) 2017-11-22 2017-11-22 Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same
PCT/KR2018/014176 WO2019103416A1 (en) 2017-11-22 2018-11-19 Method for providing cardiovascular disease diagnostic information using smart device and cardiac sound application for same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170156212A KR102078525B1 (en) 2017-11-22 2017-11-22 Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same

Publications (2)

Publication Number Publication Date
KR20190058858A true KR20190058858A (en) 2019-05-30
KR102078525B1 KR102078525B1 (en) 2020-02-19

Family

ID=66632088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170156212A KR102078525B1 (en) 2017-11-22 2017-11-22 Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same

Country Status (2)

Country Link
KR (1) KR102078525B1 (en)
WO (1) WO2019103416A1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363090A (en) * 2019-06-14 2019-10-22 平安科技(深圳)有限公司 Intelligent heart disease detection method, device and computer readable storage medium
CN111292853A (en) * 2020-01-15 2020-06-16 长春理工大学 Cardiovascular disease risk prediction network model based on multiple parameters and construction method thereof
CN112336310A (en) * 2020-11-04 2021-02-09 吾征智能技术(北京)有限公司 Heart disease diagnosis system based on FCBF and SVM fusion
KR20210029362A (en) * 2019-09-06 2021-03-16 주식회사 액티브디앤씨 The system for diagnosing arrhythmia signs
KR20210039641A (en) 2019-10-02 2021-04-12 주식회사 액티브디앤씨 The device which supports analysis process of a cardiac sounds
KR20210086732A (en) * 2019-12-27 2021-07-09 가천대학교 산학협력단 Heart Sound Analysis Method and System Based on Neuro-fuzzy Network
KR102447623B1 (en) 2021-03-18 2022-09-26 동의대학교 산학협력단 Smartphone chest cradle and bio-signal measurement system using the same
KR20230068723A (en) 2021-11-11 2023-05-18 주식회사 액티브디앤씨 The system which supports analysis process of a cardiac sounds

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110731777B (en) * 2019-09-16 2023-07-25 平安科技(深圳)有限公司 Left ventricle measurement method and device based on image recognition and computer equipment
CN112971839B (en) * 2021-02-05 2023-03-24 云南大学 Heart sound classification method based on feedforward convolution neural network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108222A (en) * 2004-05-12 2005-11-16 주식회사 씨아이디 Method and device measuring heart sound with sound card
KR20100128083A (en) * 2009-05-27 2010-12-07 충북대학교 산학협력단 Apparatus and method for diagnosing cardiac disorder
KR20170064960A (en) * 2015-12-02 2017-06-12 김현호 Disease diagnosis apparatus and method using a wave signal

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3632397B2 (en) * 1997-09-24 2005-03-23 セイコーエプソン株式会社 Pulse diagnosis support device
KR20030065228A (en) * 2002-01-31 2003-08-06 김종수 System for outputs Ch'ongjin acoustic signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108222A (en) * 2004-05-12 2005-11-16 주식회사 씨아이디 Method and device measuring heart sound with sound card
KR20100128083A (en) * 2009-05-27 2010-12-07 충북대학교 산학협력단 Apparatus and method for diagnosing cardiac disorder
KR20170064960A (en) * 2015-12-02 2017-06-12 김현호 Disease diagnosis apparatus and method using a wave signal

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363090A (en) * 2019-06-14 2019-10-22 平安科技(深圳)有限公司 Intelligent heart disease detection method, device and computer readable storage medium
KR20210029362A (en) * 2019-09-06 2021-03-16 주식회사 액티브디앤씨 The system for diagnosing arrhythmia signs
KR20210039641A (en) 2019-10-02 2021-04-12 주식회사 액티브디앤씨 The device which supports analysis process of a cardiac sounds
KR20210086732A (en) * 2019-12-27 2021-07-09 가천대학교 산학협력단 Heart Sound Analysis Method and System Based on Neuro-fuzzy Network
CN111292853A (en) * 2020-01-15 2020-06-16 长春理工大学 Cardiovascular disease risk prediction network model based on multiple parameters and construction method thereof
CN112336310A (en) * 2020-11-04 2021-02-09 吾征智能技术(北京)有限公司 Heart disease diagnosis system based on FCBF and SVM fusion
CN112336310B (en) * 2020-11-04 2024-03-08 吾征智能技术(北京)有限公司 FCBF and SVM fusion-based heart disease diagnosis system
KR102447623B1 (en) 2021-03-18 2022-09-26 동의대학교 산학협력단 Smartphone chest cradle and bio-signal measurement system using the same
KR20230068723A (en) 2021-11-11 2023-05-18 주식회사 액티브디앤씨 The system which supports analysis process of a cardiac sounds

Also Published As

Publication number Publication date
WO2019103416A1 (en) 2019-05-31
KR102078525B1 (en) 2020-02-19

Similar Documents

Publication Publication Date Title
KR102078525B1 (en) Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same
Thiyagaraja et al. A novel heart-mobile interface for detection and classification of heart sounds
Swarup et al. Digital stethoscope: technology update
JP5785187B2 (en) Signal processing apparatus and method for heart sound signal
Rehg et al. Mobile health
US20210030390A1 (en) Electronic stethoscope
Syed et al. A framework for the analysis of acoustical cardiac signals
US20040260188A1 (en) Automated auscultation system
TW201935468A (en) System and method for sound localization
TW200526174A (en) Analysis of auscultatory sounds using single value decomposition
Watrous Computer-aided auscultation of the heart: From anatomy and physiology to diagnostic decision support
Riaz et al. A novel embedded system design for the detection and classification of cardiac disorders
Andrisevic et al. Detection of heart murmurs using wavelet analysis and artificial neural networks
Rahman et al. Towards reliable data collection and annotation to extract pulmonary digital biomarkers using mobile sensors
Chen et al. Edge2Analysis: a novel AIoT platform for atrial fibrillation recognition and detection
Omarov et al. Electronic stethoscope for detecting heart abnormalities in athletes
Dampage et al. AI-based heart monitoring system
TW202221621A (en) Virtual environment training system for nursing education
Giorgio et al. An effective CAD system for heart sound abnormality detection
Omarov et al. Detection of heartbeat abnormalities from phonocardiography using machine learning
JP2021133005A (en) Auscultation system and auscultation method
Javed et al. Knowledge based system with embedded intelligent heart sound analyser for diagnosing cardiovascular disorders
Guven et al. Heart diseases diagnose via artificial intelligence-powered mobile application
Somrak et al. Tricorder: consumer medical device for discovering common medical conditions
KR20210009668A (en) The system for generating health check-up result documents

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant