KR20190058858A - Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same - Google Patents
Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same Download PDFInfo
- Publication number
- KR20190058858A KR20190058858A KR1020170156212A KR20170156212A KR20190058858A KR 20190058858 A KR20190058858 A KR 20190058858A KR 1020170156212 A KR1020170156212 A KR 1020170156212A KR 20170156212 A KR20170156212 A KR 20170156212A KR 20190058858 A KR20190058858 A KR 20190058858A
- Authority
- KR
- South Korea
- Prior art keywords
- heart sound
- sound
- heart
- patient
- smart device
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
Abstract
Description
본 발명은 심혈관 질환의 진단정보 제공방법 및 이를 위한 심음 애플리케이션으로서, 더욱 상세하게는 스마트장치를 이용한 심혈관 질환의 진단정보 제공방법 및 이를 위한 심음 애플리케이션에 관한 것이다.The present invention relates to a method for providing diagnostic information on cardiovascular diseases and a cardiac sound application for the same, and more particularly, to a method for providing diagnostic information on cardiovascular diseases using a smart device and a cardiac sound application therefor.
심혈관 질환은 전세계 사망자의 31.5%를 차지하는 가장 흔한 사망 원인 중 하나이다. 2015년 미국을 기준으로 9,210만 명의 성인이 심혈관 질환을 앓고 있으며, 2030년까지 성인 인구의 43.9%가 심혈관 질환을 앓게 되리라 예상되고 있다. 1816년 르네 라에네크(Rene Laennec)가 발명한 청진기는 심장병 환자의 신체 검사에 중요한 역할을 해오고 있다. 심장 판막의 개폐 및 판막을 통한 혈류는 특유의 진동을 발생하고, 청진기를 통해 이를 파악하는 것이다. 청진기를 이용해 심장 청진을 하면 심장 판막이나 심장 내 결함에 따른 혈역학적 평가를 할 수 있기 때문에 오랜 기간 심장학에서 검사 및 진단 도구로 사용되고 있다. Cardiovascular disease is one of the most common causes of death, accounting for 31.5% of the world's deaths. In 2015, 92.1 million adults in the United States have cardiovascular disease, and by 2030, 43.9% of the adult population is expected to have cardiovascular disease. The stethoscope invented by Rene Laennec in 1816 has played an important role in the physical examination of heart disease patients. The opening and closing of the heart valve and the blood flow through the valve give rise to specific vibrations, which are detected through a stethoscope. Heart stethoscopy using a stethoscope is used as a diagnostic and diagnostic tool in cardiology for a long time because it can perform a hemodynamic evaluation according to heart valves or defects in the heart.
최근 들어 초음파 장치와 같은 하이테크 장치들이 청진기의 역할을 일부 대체하고 있지만, 사용 및 보관의 편리성과 함께 정확한 진단을 이유로 청진기의 유용성은 여전히 유효하다. 이처럼 청진기는 매우 유용한 도구이기는 하지만, 전문지식이 없는 일반인이 자가진단을 위해 사용하기에는 사실상 불가능하다.In recent years, high-tech devices such as ultrasonic devices have partially replaced the role of stethoscopes, but the usefulness of stethoscopes remains valid because of their ease of use and storage and accurate diagnosis. As such, the stethoscope is a very useful tool, but it is virtually impossible for the general public without expertise to use it for self-diagnosis.
한편, 현대인에 있어 스마트 폰은 없어서는 안될 정도로 널리 보급되어 있다. 2015년을 기준으로 미국인의 64%, 한국인의 88%가 스마트 폰을 소유하고 있다고 알려져 있다. 스마트 폰의 보급과 함께 현재까지 다양한 건강관리 애플리케이션이 개발되어 있는데, 예를 들어 심박수 또는 칼로리 소비 측정 애플리케이션 등이 주를 이루고 있다. 하지만 아직까지 전문의학지식을 필요로 하는 자가진단 애플리케이션은 전무한 상태이다. 가장 큰 이유로는 의사의 소견 없이 스마트 폰 애플리케이션만으로 정확한 진단을 내리기 어렵기 때문이다.On the other hand, smartphones are widely used in modern people. By 2015, 64% of Americans and 88% of Koreans are known to own smartphones. With the spread of smartphones, a variety of healthcare applications have been developed to date, including heart rate or calorie consumption measurement applications. However, there are still no self-diagnostic applications that require specialized medical knowledge. The biggest reason is that it is difficult to diagnose accurately with smartphone applications without the doctor's opinion.
본 발명이 해결하고자 하는 과제는, 일반인이 스마트장치를 이용하여 편리하게 심혈관 질환을 자기진단할 수 있는 진단정보 제공방법을 제공하고자 하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a diagnostic information providing method that allows a general person to conveniently diagnose a cardiovascular disease by using a smart device.
본 발명이 해결하고자 하는 다른 과제는, 이를 위한 심음 애플리케이션을 제공하고자 하는 것이다.Another problem to be solved by the present invention is to provide a cardiac sound application for this purpose.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-mentioned problems, and other matters not mentioned can be clearly understood by those skilled in the art from the following description.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 심혈관 질환의 진단정보 제공방법은, 심음 애플리케이션 소프트웨어가 설치되어 있는 스마트장치를 이용한 심혈관 질환의 진단정보 제공방법으로서, 외부로부터 입력받은 다수의 샘플 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 샘플 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망(CNN)을 이용해 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시키고, 진단하고자 하는 환자로부터 직접 심음을 녹음하고, 녹음된 환자 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 환자 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망을 이용해 상기 심음패턴 중 어느 하나로 분류하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for providing diagnostic information on cardiovascular disease using a smart device equipped with cardiac sound application software, And converting image data corresponding to heart sound into image data of a plurality of predefined images using the convolutional neural network (CNN). The image processing apparatus according to
상기 환자 심음 데이터로부터 상기 스마트장치에 의한 열잡음을 제거하되, 상기 환자 심음 데이터에서 소정의 시간 윈도우마다 음압을 측정한 후 상기 음압 중 하위 소정의 비율에 해당하는 시간 윈도우를 열잡음으로 정의하여 제거할 수 있다.The method of
상기 환자의 심음을 녹음하는 것은, 상기 스마트장치의 화면 상에 측정 화면을 표시하고(상기 측정 화면에는 복수의 심음 측정 부위가 표시됨), 상기 스마트장치의 입력수단이 상기 측정 화면 상의 상기 심음 측정 부위 중 어느 하나에 대한 선택 이벤트를 생성하면 상기 측정 화면은 녹음 화면으로 전환되고, 상기 스마트장치가 상기 심음 측정 부위에 대응하는 상기 환자의 신체에 근접하여 심음을 녹음하면 녹음된 심음이 해석가능한지 여부를 판단하여 알람 이벤트를 생성하는 것을 포함할 수 있다.Wherein recording of the patient's heart sounds comprises displaying a measurement screen on the screen of the smart device (a plurality of heart sound measurement sites are displayed on the measurement screen), and the input means of the smart device displays the heart sound measurement site The measurement screen is switched to the recording screen. When the smart device records cardiac sound close to the body of the patient corresponding to the cardiac sound measurement site, it is determined whether or not the recorded heart sound can be interpreted And generating an alarm event based on the determination.
상기 사전에 정의된 복수의 심음패턴은 정상 심음, 제3 심음(S3), 제4 심음(S4), 수축기 잡음(systolic murmur), 확장기 잡음(diastolic murmur), 또는 이들의 조합을 포함할 수 있다.The predefined plurality of cardiac tone patterns may include a normal heart sound, a third heart sound S3, a fourth heart sound S4, a systolic murmur, a diastolic murmur, or a combination thereof .
상기 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 심음 애플리케이션은, 심혈관 질환의 진단정보를 제공하는 스마트장치와 결합되어, 외부로부터 입력받은 다수의 샘플 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 샘플 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망(CNN)을 이용해 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시키고, 진단하고자 하는 환자로부터 직접 심음을 녹음하고, 녹음된 환자 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 환자 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망을 이용해 상기 심음패턴 중 어느 하나로 분류하는 단계를 실행시키기 위하여 매체에 저장된다.According to another aspect of the present invention, there is provided a cardiac sound application, which is combined with a smart device that provides diagnostic information on a cardiovascular disease, And an image object corresponding to the heart sound is learned by using a convolutional neural network (CNN) in one of a plurality of pre-defined cardiac sound patterns in the image data of the sampled cardiac sound data, The cardiac sound data is directly recorded from the patient, the recorded patient heart sound data is converted into image data in which the heart sound amplitude is visualized according to the change of the time and frequency, and the image object corresponding to the heart sound in the image data of the patient heart sound data is converted into convolution neural network The cardiac sound patterns are classified into one And stored in the medium to execute the system.
상기 샘플 심음 데이터 또는 상기 환자 심음 데이터 중 심음 1주기에 대응하는 이미지 데이터를 추출하고 컨볼루션 신경망을 이용하여 각 주기의 이미지 데이터를 기계학습시킬 수 있다.Image data corresponding to one cycle of the heart sound among the sample heart sound data or the patient's heart sound data may be extracted and the image data of each cycle may be machine-learned using the convolution neural network.
기타 실시예들의 구체적인 사항들은 구체적인 내용 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.
상술한 바와 같이 본 발명에 따른 심혈관 질환의 진단정보 제공방법 및 이를 위한 심음 애플리케이션에 의하면, 별도의 외장 마이크를 사용하지 않고 스마트장치의 내장 마이크만을 이용하더라도 높은 정확도로 심혈관 질환을 진단할 수 있다. 본 발명에서는 내장 마이크로 녹음된 심음으로부터 신뢰성 있는 진단 결과를 얻기 위하여, 첫째 스펙트럼 감산(spectral subtraction)과 고속푸리에변환(fast Fourier transform) 알고리즘을 이용하여 스마트장치 자체에서 발생하는 열잡음(thermal noise)을 제거하였고, 둘째 심음 데이터에 대하여 컨볼루션 신경망(Convolutional Neural Network: CNN)을 기반한 기계학습을 시켜 심음패턴을 분류하였고, 셋째 컨볼루션 신경망을 이용할 때 심음 데이터(즉, 오디오 데이터)를 그대로 사용하지 않고 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 2차원 이미지 데이터로 변환한 후 이를 이용하여 기계학습을 진행하였다.As described above, according to the diagnostic information providing method of cardiovascular disease and the cardiac sound application according to the present invention, it is possible to diagnose cardiovascular disease with high accuracy even if only the built-in microphone of the smart device is used without using an external microphone. In the present invention, in order to obtain a reliable diagnostic result from a cardiac sound recorded with a built-in microphone, first, a thermal noise generated in the smart device itself is removed using a spectral subtraction and a fast Fourier transform algorithm Second, we classify cardiac patterns by machine learning based on Convolutional Neural Network (CNN) for classical heart sound data. Third, when using convolution neural network, heart sound data (ie, audio data) And 2 - dimensional image data with visualization of the heartbeat amplitude according to the frequency change.
나아가, 일반인이라도 본인의 스마트장치, 예를 들어 스마트 폰을 이용하면 별도의 전문의학지식이 없더라도 손쉽게 심혈관 질환에 대한 자가진단을 수행할 수 있다. 사용자 편의성을 높이기 위하여 본 발명은 특별한 사용자 인터페이스를 제공하는데, 심음 측정 부위를 명확히 표시하는 측정 화면과 심음의 녹음 상태를 표시하는 녹음 화면을 제공한다. 또한 녹음된 심음이 해석가능한지 여부를 판단하여 별도로 알림 이벤트를 제공한다.Furthermore, even a general person can easily perform a self-diagnosis of cardiovascular disease even if he or she does not have any special medical knowledge by using his / her smart device, for example, a smart phone. In order to enhance user convenience, the present invention provides a special user interface, which provides a measurement screen that clearly displays the heart sound measurement site and a recording screen that displays the recording state of the heart sound. It also determines whether the recorded heart sound is interpretable and provides a notification event separately.
이와 같이 본 발명의 심음 애플리케이션은 일반인의 자가진단에도 사용될 수 있을 뿐만 아니라, 병원입원단계에서 환자를 선별하는 도구로도 사용될 수 있을 것이다.As described above, the cardiac sound application of the present invention can be used not only for the self-diagnosis of the general public but also as a tool for selecting patients at the hospital admission stage.
도 1은 본 발명의 일 실시예에 따른 스마트 장치의 사용태양을 나타낸 도면이다.
도 2는 도 1의 스마트장치의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 심혈관 질환의 진단 정보 제공방법을 순차적으로 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 심음 애플리케이션의 사용자 인터페이스를 나타낸 도면이다.
도 5a 내지 도 5c는 측정된 환자 심음 데이터와 변환된 이미지 데이터를 나타낸 것이다.
도 6는 본 실험예에서 스마트장치를 이용한 진단 성능을 나타낸 도면이다.1 is a diagram illustrating an embodiment of use of a smart device according to an embodiment of the present invention.
Fig. 2 is a diagram schematically showing a configuration of the smart device of Fig. 1;
FIG. 3 is a flowchart sequentially illustrating a diagnostic information providing method of a cardiovascular disease according to an embodiment of the present invention.
4 is a diagram illustrating a user interface of a cardiac sound application according to an exemplary embodiment of the present invention.
5A to 5C show the measured patient heart sound data and the converted image data.
FIG. 6 is a diagram showing diagnostic performance using a smart device in the present experimental example.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
이하, 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 스마트 장치에 대하여 자세히 설명한다. 도 1은 본 발명의 일 실시예에 따른 스마트 장치의 사용태양을 나타낸 도면이고, 도 2는 도 1의 스마트장치의 구성을 개략적으로 나타낸 도면이다.Hereinafter, a smart device according to an embodiment of the present invention will be described in detail with reference to FIG. 1 and FIG. 1 is a diagram illustrating an embodiment of a smart device according to an embodiment of the present invention, and FIG. 2 is a schematic view of a configuration of the smart device of FIG.
본 발명의 스마트장치(20)는 환자 또는 인체(10)로부터 직접 심음을 녹음하여 심혈관 질환에 관한 진단정보를 제공하는 전자장치이다. 스마트장치(20)는 사용자가 이동하면서 무선통신을 통하여 통신기능을 수행할 수 있는 전자장치일 수 있으며, 예를 들어 스마트 폰을 포함한 이동 전화기, 태블릿 컴퓨터, PDA, 웨어러블 장치, 스마트 워치, 스마트 밴드 등이 될 수 있다. The
스마트장치(20)는 프로세서(220), 입력수단(210), 출력수단(230) 및 메모리(240)를 포함한다. 입력수단(210)은 소프트웨어 또는 하드웨어 입력기를 포함하고, 예를 들어 하드웨어 입력기로는 스마트장치(20) 외부에 설치된 버튼, 오디오 정보를 수신하는 내장 마이크, 유무선네트워크를 통해 데이터를 주고 받는 통신디바이스 등을 포함할 수 있다. 출력수단(230)은 스피커와 디스플레이 등을 포함한다. 디스플레이는 운영체제 소프트웨어의 UI/UX, 응용 소프트웨어의 UI/UX에 있어서 사용자의 터치입력을 감지하는 수단으로서 사용자 인터페이스를 포함할 수 있다. 디스플레이는 화면을 출력하는 수단임과 동시에 사용자의 터치 이벤트를 감지하는 입력수단의 기능을 함께 실행하는 터치스크린으로 이루어질 수 있다.The
스마트장치(20)의 메모리(240)는 일반적으로 디바이스에 사용되는 컴퓨터 코드 및 데이터를 저장하는 장소를 제공한다. 본 발명의 일 실시예에 따른 스마트장치(20)의 메모리(240)에는 심음 애플리케이션(250) 및 이의 구동/관리에 필요한 리소스뿐만 아니라 기본적인 입출력 시스템, 운영 체제, 다양한 프로그램들, 애플리케이션들, 또는 디바이스에서 실행되는 사용자 인터페이스 기능들, 프로세서 기능들 등을 포함하는 임의의 디바이스용 펌웨어(firmware)가 저장될 수 있다.The
스마트장치(20)에 설치된 심음 애플리케이션(250)은 컨볼루션 신경망(Convolutional Neural Network: CNN) 모델을 이용하여 환자 또는 인체(10)로부터 녹음된 심음으로부터 심혈관 질환의 진단 정보를 제공한다. 심음 애플리케이션(250)은 사용자가 자신의 스마트장치(20)에 외부 플랫폼을 이용하여 다운로드 받은 애플리케이션 소프트웨어일 수 있다. 또한 본 발명의 심음 애플리케이션(250)은 스마트장치(20)의 운영체제 소프트웨어와 연동하여 디폴트로 스마트장치(20)에 설치된 소프트웨어일 수 있다. 심음 애플리케이션(250)에 대해서는 후에 다시 자세히 설명한다.The
스마트장치(20)의 프로세서(220)는 운영체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성하고 사용하는 동작을 실행한다. 또한 프로세서(220)는 일련의 명령어를 사용하여 스마트장치(20)의 컴포넌트들 간의 입력 및 출력 데이터의 수신 및 처리를 할 수 있다. 또한 프로세서(220)는 스마트장치(20)에 설치된 운영체제 소프트웨어와 각종 애플리케이션 소프트웨어들의 기능을 실행하는 제어부 역할을 담당한다.The
스마트장치(20)의 전원부, 통신모뎀, GPS, I/O 디바이스, 카메라 모듈과 같은 하드웨어/소프트웨어 모듈 등의 부가적 혹은 관용적 구성요소는 도면에서는 나타내지 않았으나, 본 발명의 스마트장치(20)에는 장치의 기능에 기여하는 다양한 내부 및 외부 컴포넌트들을 포함할 수 있다. 또한 스마트장치(20)는 하드웨어 요소들(회로 포함), 소프트웨어 요소들(컴퓨터 판독 가능 매체에 저장된 컴퓨터 코드 포함) 또는 이 두 요소의 결합을 포함할 수 있다.Additional or conventional components such as a power supply of the
본 발명의 심음 애플리케이션(250)은 기능적으로, 심음-이미지 변환부(252), 학습부(254), 심음 분류부(256) 및 노이즈 제거부(258)를 포함한다.The
입력수단(210)이 심혈관 질환을 진단하고자 하는 환자의 인체(10)에 근접하여 직접 심음을 녹음하면, 심음-이미지 변환부(252)는 녹음된 환자 심음 데이터(즉, 오디오 데이터)에 대하여 시간의 변화와 주파수의 변화에 따른 심음의 진폭을 2차원으로 가시화한 이미지 데이터로 변환한다. 또한, 심음-이미지 변환부(252)는 외부로부터 제공받은 다수의 샘플 심음 데이터(즉, 오디오 데이터)에 대해서도 2차원으로 가시화한 이미지 데이터로 변환한다. 샘플 심음 데이터는 공개 데이터베이스(예를 들어, eGeneralmedical, UCLA Auscultation assistant, Welchallyn, Michigan Medical School, Medicine and Teaching Hospital Motol Department of Applied Informatics, 3M stethoscope, Teachingheartauscultation 등)에서 데모 심장 소리를 얻어 사용할 수 있다. 심음-이미지 변환부(252)는 1 내지 200Hz의 낮은 주파수를 가지는 심음을 정확히 녹음하고 그 특성을 분석하기 위하여, 시간, 주파수 및 심음 진폭이 모두 가시화된 2차원 이미지 데이터를 사용한다. 구체적으로 시간 축과 주파수 축을 기준으로 심음 진폭 변화를 색상의 차이로 구분하여 이미지 데이터로 표시한다.When the input means 210 directly records heart sounds in proximity to the
학습부(254)는 외부로부터 제공받은 다수의 샘플 심음 데이터를 심음패턴의 학습 모델에 대한 입력 데이터로 사용한다. 구체적으로, 입력수단(210)을 통해 샘플 심음 데이터가 입력되면, 심음-이미지 변환부(252)는 샘플 심음 데이터(즉, 오디오 데이터)를 가시화하여 이미지 데이터로 변환하고, 학습부(254)는 샘플 심음 데이터의 이미지 데이터를 컨볼루션 신경망 모델의 입력 데이터로 사용한다. 학습부(254)는 컨볼루션 신경망 모델을 이용하여 이미지 데이터 중 심음에 대응하는 이미지 객체를 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시킨다. 바람직하게는, 학습부(254)는 샘플 심음 데이터 중 심음 1주기에 대응하는 이미지 데이터를 추출한 후 컨볼루션 신경망 모델을 이용하여 각 주기의 이미지 데이터를 기계학습시킬 수 있다. 여기서 심음 주기 또는 심장 주기는 심장이 수축을 시작할 때부터 이완기를 거쳐 다시 수축기가 시작되기 전까지의 주기를 의미한다.The
컨볼루션 신경망 모델에 의한 기계학습 과정은, 복수 개의 컨벌루션 레이어(convolution layer)와 풀링 레이어(pooling layer)를 반복하여 구성함으로써, 2차원 이미지 데이터로부터 추상화된 특징(feature)을 추출하고 데이터를 압축하는 과정을 반복하여 상위 계층으로 갈수록 일반화된 결과를 얻는 것이다. 복수 개의 컨벌루션 레이어 및 풀링 레이어 위에는 완전 연결 레이어(fully-connected layer)가 있으며, 각 레이어별 함수로는 시그모이드(sigmoid) 함수, 하이퍼볼릭 탄젠트(Hyperbolic Tangent: tanh) 함수, ReLU(Rectified Linear Unit) 함수 등이 사용될 수 있다.The machine learning process by the convolution neural network model is a method in which a plurality of convolution layers and a pooling layer are repeatedly constructed to extract abstract features from two-dimensional image data, The process is repeated to get a generalized result as it goes to the upper layer. On the plurality of convolution and pulling layers, there is a fully-connected layer. The function for each layer includes a sigmoid function, a hyperbolic tangent (tanh) function, a ReLU (Rectified Linear Unit ) Function can be used.
본 실시예에서 심음패턴은 정상, 비정상에 따라 복수 개의 범주로 사전에 정의되는데, 예를 들어, 정상 심음, 제3 심음(S3), 제4 심음(S4), 수축기 잡음(systolic murmur), 확장기 잡음(diastolic murmur)로 된 5개의 패턴으로 분류될 수 있다. In the present embodiment, heart sound patterns are defined in advance in a plurality of categories according to normal and abnormal states. For example, normal heart sounds, third heart sounds S3, fourth heart sounds S4, systolic murmurs, It can be classified into five patterns of diastolic murmur.
정상 심음은 심혈관 질환이 없는 상태의 심음을 의미하며, 심음 1주기 동안 S1(제1 심음: first heart sound)과 S2(제2 심음: second heart sound)가 관찰된다. S1은 심실수축기 초에 삼첨판과 승모판의 폐쇄 시 혈액이 판막벽에 부딪쳐 발생되는 진동음으로, 길고 둔한 저음으로 이루어진다. S2는 대동맥 판막과 폐동맥판막의 폐쇄 시 혈액이 판막벽에 부딪쳐 발생되는 진동음으로, 짧은 고음으로 이루어진다. Normal heart sounds represent heart sounds without cardiovascular disease, and S1 (first heart sound) and S2 (second heart sound) are observed during one cardiac cycle. S1 is a long, dull low-pitched sound caused by the blood colliding with the valve wall during the occlusion of the tricuspid and mitral valve in the early phase of ventricular systole. S2 is a vibration sound generated by the blood colliding with the valve wall when the aortic valve and the pulmonary valve are closed.
그 외에 S3(제3 심음), S4(제4 심음), 수축기 잡음, 확장기 잡음은 모두 심혈관 질환으로부터 유발되는 심잡음이다. 구체적으로, S3(제3 심음)는 S2 이후 0.12-0.16초 사이의 심장 이완기에 빠른 속도로 심실에 혈액이 충만될 때 발생하는 심잡음으로, 빈혈, 갑상선 기능 항진증, 대동맥폐쇄 부전증, 승모판(또는 삼첨판)에서의 역류, 심장 중격결손, 폐성심(cor pulmonale) 등의 원인으로 발생한다. S4(제4 심음)는 심실비대나 심실벽의 손상 시 심실에 혈액이 채워질 때 발생하는 심잡음으로, 대동맥 협착증, 관상 동맥 질환, 허혈성 심질환, 부정맥, 심부전증 등의 원인으로 발생한다. 수축기 잡음은 S1과 S2 사이에 생기는 심잡음으로서, 대동맥 협착증, 승모판 역류증, 심실중격결손, 폐동맥 판협착 등의 원인으로 발생한다. 확장기 잡음은 심실의 확장기에 발생하는 심잡음으로서, 대동맥 역류증, 승모판(또는 삼첨판) 협착, 대동맥판(또는 폐동맥판) 폐쇄부전 등의 원인으로 발생한다.In addition, S3 (third heart sound), S4 (fourth heart sound), systolic noise, and diastolic noise are all heart murmurs caused by cardiovascular disease. Specifically, S3 (third heart sound) is a heart murmur which occurs when blood is filled in the ventricle rapidly at a heart rate of 0.12-0.16 seconds after S2. It is anemic, hyperthyroidism, aortic insufficiency, mitral (or tricuspid) ), Cardiac septal defect, cor pulmonale, and the like. S4 (fourth heart sound) is a heart murmur which occurs when the ventricular enlargement or damage of the ventricular wall is filled with blood. It occurs as a cause of aortic stenosis, coronary artery disease, ischemic heart disease, arrhythmia, heart failure. Systolic noise is a heart murmur occurring between S1 and S2, which is caused by aortic stenosis, mitral regurgitation, ventricular septal defect, and pulmonary valve stenosis. Dilatant noise is a heart murmur that occurs in the ventricular diastole and is caused by aortic regurgitation, mitral (or tricuspid) stenosis, and aortic valve (or pulmonary valve) obstruction.
심음 분류부(256)는 컨볼루션 신경망 모델에 의한 학습부(254)의 학습 정보를 기반으로 환자의 심음을 심음패턴 중 어느 하나로 분류한다. 구체적으로, 심음-이미지 변환부(252)가 녹음된 환자 심음 데이터를 시간의 변화 및 주파수의 변화에 따른 심음 진폭을 2차원으로 가시화한 이미지 데이터로 변환하면, 심음 분류부(256)는 컨볼루션 신경망을 이용하여 환자 심음 데이터의 이미지 데이터 중 심음에 대응하는 이미지 객체를 심음패턴 중 어느 하나로 분류하여 결과값을 도출한다.The heart
노이즈 제거부(258)는 입력수단(210)을 통해 녹음된 환자 심음 데이터에 포함된 열잡음(thermal noise)을 제거한다. 스마트장치(20)를 이용한 심장 청진 및 심음 녹음에 있어서 발생하는 원하지 않는 잡음은 크게 두 가지 원인으로 분류된다. 하나는 환경 잡음이고 다른 하나는 스마트장치(20)의 자체 잡음, 즉 열잡음이다. 환경 잡음은 목소리, 음악소리, 교통소음 등 스마트장치(20) 외부에 발생한 주변 소음을 말하며, 조용한 녹음 환경에서는 무시할 수 있는 잡음이다. 하지만 열잡음은 스마트장치(20)의 회로 내에서 충전된 전자의 열 이동으로 인해 발생하는 잡음으로서 심음 분석에 정확도를 떨어뜨리는 주요 원인 중 하나이다. 본 발명에서는 스펙트럼 감산(spectral subtraction)과 고속푸리에변환(Fast Fourier Transform: FFT) 알고리즘을 이용하여 스마트장치 자체에서 발생하는 열잡음을 제거한다. 구체적으로, 녹음된 환자 심음 데이터에 대하여 소정의 시간 윈도우(예를 들어, 250ms)마다 음압(sound pressure)을 측정한 후 측정된 음압 중 하위 소정의 비율(예를 들어, 하위 10% 이하)에 해당하는 시간 윈도우를 열잡음으로 정의하여 제거한다. 즉, 고속푸리에변환을 이용하여 열잡음의 평균 스펙트럼을 계산하고 모든 시간 윈도우에서 이를 차감한 후, 역고속푸리에변환(Inverse FFT: IFFT)을 이용하여 잡음이 제거된 시간 영역의 심음을 생성한다.The
본 실시예에서는 설명의 편의를 위하여 스마트장치(20)가 독립된 하나의 전자장치인 것으로 예를 들어 설명하고 있으나, 본 발명은 이에 한정되는 것은 아니다. 구체적으로, 스마트장치는 모바일 기기 및 이와 네트워크로 연결되나 물리적으로 구분된 외부 장치(예컨대 하나 이상의 서버장치 및/또는 데이터베이스)의 조합으로 구성될 수도 있다. 이 경우, 스마트장치를 구성하는 개별 구성은 모바일 기기 또는 외부 장치에 속할 수 있다. 예를 들어, 입력수단, 프로세서, 및 출력수단은 모바일 기기에 속하고 심음 애플리케이션이 설치된 메모리는 외부 장치에 속할 수 있고, 나아가 심음 애플리케이션 중 일부 기능은 모바일 기기가 담당하고 다른 기능은 외부 장치가 담당할 수도 있다. 이와 같이 스마트장치가 서로 물리적으로 구분된 모바일 기기 및 외부 장치로 이루어지더라도, 기능적으로는 하나의 전자장치로 보아야 할 것이다.In the present embodiment, for convenience of explanation, the
이하 도 3 및 도 4를 참조하여 본 발명의 일 실시예에 따른 심혈관 질환의 진단 정보 제공방법에 대하여 자세히 설명한다. 도 3은 본 발명의 일 실시예에 따른 심혈관 질환의 진단 정보 제공방법을 순차적으로 나타낸 순서도이다. 도 4는 본 발명의 일 실시예에 따른 심음 애플리케이션의 사용자 인터페이스를 나타낸 도면이다.Hereinafter, a diagnostic information providing method of cardiovascular disease according to an embodiment of the present invention will be described in detail with reference to FIG. 3 and FIG. FIG. 3 is a flowchart sequentially illustrating a diagnostic information providing method of a cardiovascular disease according to an embodiment of the present invention. 4 is a diagram illustrating a user interface of a cardiac sound application according to an exemplary embodiment of the present invention.
먼저, 외부로부터 제공받은 다수의 샘플 심음 데이터를 스마트장치(20)에 입력한다(S10). 샘플 심음 데이터는 오디오 데이터이며 공개 데이터베이스로부터 얻을 수 있다.First, a plurality of sample heart sound data provided from the outside are input to the smart device 20 (S10). The sample heart sound data is audio data and can be obtained from a public database.
스마트장치(20)는 이러한 샘플 심음 데이터(즉, 오디오 데이터)를 2차원으로 가시화한 이미지 데이터로 변환한다(S20). 본 발명에서는 낮은 주파수를 가지는 심음을 정확히 녹음하고 그 특성을 분석하기 위하여, 시간, 주파수 및 심음 진폭이 모두 가시화된 2차원 이미지 데이터를 사용한다.The
이어서 스마트장치(20)는 샘플 심음 데이터의 이미지 데이터를 컨볼루션 신경망 모델의 입력 데이터로 사용하여 학습시킨다(S30). 구체적으로, 학습부(254)는 컨볼루션 신경망 모델을 이용하여 이미지 데이터 중 심음에 대응하는 이미지 객체를 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시킨다.Next, the
이어서 심혈관 질환을 진단하고자 하는 환자에 스마트장치(20)를 근접시켜 직접 심음을 녹음한다. 본 발명은 일반인이라도 손쉽게 심혈관 질환에 대한 자가진단을 수행할 수 있도록 특별한 사용자 인터페이스를 제공한다. 도 4를 참조하여 구체적으로 살펴보면, 먼저 사용자 또는 환자가 스마트장치(20)의 심음 애플리케이션을 실행하면 스마트장치(20)의 화면 상에 측정화면(30)이 표시된다. 측정화면(30)에는 복수의 심음 측정 부위(32)가 표시된다. 본 실시예에서는 5 개의 심음 측정 부위(32)가 예시적으로 측정화면(30)에 표시되어 있다. 스마트장치(20)의 입력수단(210)이 심음 측정 부위(32) 중 어느 하나에 대한 선택 이벤트를 생성하면 측정화면(30)은 녹음화면(34)으로 전환된다. 사용자는 선택된 심음 측정 부위(32)에 대응하는 신체에 스마트장치(20)의 내장 마이크를 근접시켜 심음을 녹음한다. 스마트장치(20)는 녹음 상황을 녹음화면(34) 상에 표시한다. 녹음이 완료되면, 스마트장치(20)는 녹음된 심음이 해석가능한지 여부를 판단하여 알람 이벤트를 화면 상에 생성한다. 만일 외부 잡음이 기준 이상으로 크거나 스마트장치(20)가 선택된 심음 측정 부위(32)에 정확히 배치되지 않아서 녹음된 심음이 기준보다 작은 경우 심음 해석이 불가능하여 재녹음을 요청하는 알람 이벤트를 생성하고, 그렇지 않고 심음 해석이 가능한 경우 녹음이 완료되었음을 나타내는 알람 이벤트를 생성한다.Next, the
해석가능한 심음이 녹음되면, 스마트장치(20)는 녹음된 환자 심음 데이터(즉, 오디오 데이터)에 대하여 시간의 변화와 주파수의 변화에 따른 심음의 진폭을 2차원으로 가시화한 이미지 데이터로 변환한다(S40).When the interpretable cardiac sound is recorded, the
이어서, 컨볼루션 신경망 모델에 의한 학습 정보를 기반으로 스마트장치(20)는 환자 심음 데이터의 이미지 데이터 중 심음에 대응하는 이미지 객체를 심음패턴 중 어느 하나로 분류한다(S50).Then, based on the learning information by the convolution neural network model, the
<실험예><Experimental Example>
본 실험예에서는 총 46명의 피험자에 대상으로 하였으며, 먼저 숙련된 심장 전문의에 의해 각 피험자의 심혈관 질환 여부를 진단하였다. 표 1은 피험자의 특성을 나타낸 것이다. 전체 피험자 중, 20명은 수축기 잡음(systolic murmur)을, 5명은 확장기 잡음(diastolic murmur)을, 1명은 제4 심음(S4)를 가지고 있고, 20명은 정상 심음을 가진 것으로 진단되었다.In this experiment, a total of 46 subjects were enrolled. First, a cardiologist diagnosed each subject with a cardiovascular disease by a skilled cardiologist. Table 1 shows the characteristics of the subjects. Of the total subjects, 20 had systolic murmur, 5 had diastolic murmur, 1 had fourth heart sound (S4), and 20 had normal heart sounds.
본 발명의 스마트장치로 피험자의 심음을 측정하고 환자 심음 데이터로부터 열잡음을 제거한 결과, 46개의 심음 중 30개의 심음(65.2%)가 해석 가능한 것으로 확인되었다. 심음 해석이 불가능한 경우는 주로 배경 잡음 및 피험자의 협력부족으로 파악되었다.As a result of measuring the subject's heart sound with the smart device of the present invention and removing the thermal noise from the patient's heart sound data, it was confirmed that 30 heart sounds (65.2%) out of 46 heart sounds were interpretable. In cases where heart sound analysis was impossible, it was mainly recognized as background noise and lack of cooperation of subjects.
도 5a 내지 도 5c는 측정된 환자 심음 데이터와 변환된 이미지 데이터를 나타낸 것이다. 구체적으로, 도 5a는 본 실험예에서 녹음된 샘플 심음 데이터(정상 상태) 및 이로부터 변환된 이미지 데이터를 나타낸 도면이고, 도 5b는 본 실험예에서 녹음된 샘플 심음 데이터(대동맥 협착증: aortic stenosis) 및 이로부터 변환된 이미지 데이터를 나타낸 도면이고, 도 5c는 본 실험예에서 녹음된 샘플 심음 데이터(승모판 역류: mitral regurgitation) 및 이로부터 변환된 이미지 데이터를 나타낸 도면이다. 도 5a 내지 도 5c를 참조하면, 2차원으로 가시화한 이미지 데이터는 시간 축과 주파수 축을 기준으로 심음 진폭 변화를 색상의 차이로 구분하여 표시하였다. 구체적으로, 도 5a와 같이 정상 상태인 경우, S1 및 S2 심음에 대한 이미지 객체가 일정한 패턴으로 주기적으로 관찰되었다. 도 5b 및 도 5c와 같이 심혈관 질환이 있는 경우, 심잡음에 대한 이미지 객체가 일정한 패턴으로 주기적으로 관찰되었다.5A to 5C show the measured patient heart sound data and the converted image data. 5A is a view showing recorded sampled heart sound data (steady state) and image data converted therefrom, FIG. 5B is a graph showing recorded sampled heart sound data (aortic stenosis) in the present experimental example, And FIG. 5C is a diagram showing recorded sample heart sound data (mitral regurgitation) and image data converted therefrom in the present experimental example. Referring to FIGS. 5A to 5C, image data visualized in two dimensions are displayed by dividing a change in heart sound amplitude with respect to a time axis and a frequency axis by color differences. Specifically, in the normal state as shown in FIG. 5A, image objects for S1 and S2 heart sounds were periodically observed in a constant pattern. As shown in FIGS. 5B and 5C, in the case of cardiovascular disease, the image object for the murmur was periodically observed in a constant pattern.
도 6는 본 실험예에서 스마트장치를 이용한 진단 성능을 나타낸 도면이다. 본 실험예에서는 삼성 갤럭시 S5, 삼성 갤럭시 S6 및 LG G3의 스마트 폰에 심음 애플리케이션을 설치하여 진단 성능을 측정하였다. 도 6에서 TP는 참양성(True Positive), TN은 참음성(True Negative), FP는 거짓양성(False Positive), FN은 거짓음성(False Negative)를 나타낸다. 삼성 갤럭시 S5는 90%, 삼성 갤럭시 S6는 87%, LG G3는 90%의 진단 정확도(diagnostic accuracy)를 가지는 것으로 파악되었다. 표 2는 본 실험예의 진단 성능을 구체적으로 나타낸 표이다.FIG. 6 is a diagram showing diagnostic performance using a smart device in the present experimental example. In this experiment, the diagnostic performance was measured by installing a heart sound application on Samsung Galaxy S5, Samsung Galaxy S6 and LG G3 smartphones. In FIG. 6, TP indicates True Positive, TN indicates True Negative, FP indicates false positive, and FN indicates false negative. Samsung Galaxy S5 is 90%, Samsung Galaxy S6 is 87%, and LG G3 is 90%. Table 2 is a table specifically showing the diagnostic performance of the present experimental example.
이상과 같이, 본 발명의 스마트장치 및 심음 애플리케이션을 이용하면, 편리하게 심음을 녹음하고 컨볼루션 신경망 모델에 의해 심혈관 질환을 높은 정확도로 진단할 수 있다는 것을 검증하였다.As described above, it has been verified that the smart device and the cardiac sound application of the present invention can conveniently record cardiac sounds and diagnose cardiovascular diseases with high accuracy by the convolution neural network model.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
10: 인체
20: 스마트장치
30: 측정화면
32: 심음 측정 부위
34: 녹음화면
210: 입력수단
220: 프로세서
230: 출력수단
240: 메모리
250: 심음 애플리케이션
252: 심음-이미지 변환부
254: 학습부
256: 심음 분류부
258: 노이즈 제거부10: Human body
20: Smart Devices
30: Measurement screen
32: Heart sound measurement site
34: Recording Screen
210: input means
220: Processor
230: output means
240: Memory
250: Cardiac application
252: heart sound-image conversion unit
254:
256:
258: Noise elimination
Claims (8)
외부로부터 입력받은 다수의 샘플 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 샘플 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망(CNN)을 이용해 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시키고,
진단하고자 하는 환자로부터 직접 심음을 녹음하고, 녹음된 환자 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 환자 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망을 이용해 상기 심음패턴 중 어느 하나로 분류하는 단계를 포함하는, 심혈관 질환의 진단정보 제공방법.A method for providing diagnosis information of a cardiovascular disease using a smart device in which heart sound application software is installed,
A plurality of sampled heart sound data received from outside are converted into image data having visualized heartbeat amplitude according to a change in time and frequency, and an image object corresponding to heart sound is converted into convolutional neural network (CNN) in the image data of the sampled heart sound data A plurality of heart sound patterns defined in advance,
The cardiac sound data is directly recorded from the patient to be diagnosed, and the recorded patient heart sound data is converted into image data in which the amplitude of the heart sound according to the change of time and frequency is visualized. Then, in the image data of the patient heart sound data, And classifying the heartbeat pattern into one of the cardiac sound patterns using a convolution neural network.
상기 환자 심음 데이터로부터 상기 스마트장치에 의한 열잡음을 제거하되, 상기 환자 심음 데이터에서 소정의 시간 윈도우마다 음압을 측정한 후 상기 음압 중 하위 소정의 비율에 해당하는 시간 윈도우를 열잡음으로 정의하여 제거하는 것을 특징으로 하는 심혈관 질환의 진단정보 제공방법.The method according to claim 1,
Wherein a thermal noise by the smart device is removed from the patient's cardiac sound data, a time window corresponding to a lower predetermined ratio of the sound pressure is defined as thermal noise after the sound pressure is measured in the predetermined time window in the patient's heart sound data A method for providing diagnostic information of a cardiovascular disease.
상기 환자의 심음을 녹음하는 것은, 상기 스마트장치의 화면 상에 측정 화면을 표시하고(상기 측정 화면에는 복수의 심음 측정 부위가 표시됨), 상기 스마트장치의 입력수단이 상기 측정 화면 상의 상기 심음 측정 부위 중 어느 하나에 대한 선택 이벤트를 생성하면 상기 측정 화면은 녹음 화면으로 전환되고, 상기 스마트장치가 상기 심음 측정 부위에 대응하는 상기 환자의 신체에 근접하여 심음을 녹음하면 녹음된 심음이 해석가능한지 여부를 판단하여 알람 이벤트를 생성하는 것을 포함하는 심혈관 질환의 진단정보 제공방법.The method according to claim 1,
Wherein recording of the patient's heart sounds comprises displaying a measurement screen on the screen of the smart device (a plurality of heart sound measurement sites are displayed on the measurement screen), and the input means of the smart device displays the heart sound measurement site The measurement screen is switched to the recording screen. When the smart device records cardiac sound close to the body of the patient corresponding to the cardiac sound measurement site, it is determined whether or not the recorded heart sound can be interpreted And generating an alarm event based on the determination result.
상기 사전에 정의된 복수의 심음패턴은 정상 심음, 제3 심음(S3), 제4 심음(S4), 수축기 잡음(systolic murmur), 확장기 잡음(diastolic murmur), 또는 이들의 조합을 포함하는 심혈관 질환의 진단정보 제공방법.The method according to claim 1,
The predefined plurality of cardiac tone patterns may be selected from the group consisting of normal heart sounds, third heart sounds (S3), fourth heart sounds (S4), systolic murmur, diastolic murmur, Of the diagnostic information.
외부로부터 입력받은 다수의 샘플 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 샘플 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망(CNN)을 이용해 사전에 정의된 복수의 심음패턴 중 어느 하나로 학습시키고,
진단하고자 하는 환자로부터 직접 심음을 녹음하고, 녹음된 환자 심음 데이터를 시간 및 주파수의 변화에 따른 심음 진폭이 가시화된 이미지 데이터로 변환하고, 상기 환자 심음 데이터의 이미지 데이터에서 심음에 대응하는 이미지 객체를 컨볼루션 신경망을 이용해 상기 심음패턴 중 어느 하나로 분류하는 단계를 실행시키기 위하여 매체에 저장된 심음 애플리케이션.Combined with smart devices that provide diagnostic information on cardiovascular disease,
A plurality of sampled heart sound data received from outside are converted into image data having visualized heartbeat amplitude according to a change in time and frequency, and an image object corresponding to heart sound is converted into convolutional neural network (CNN) in the image data of the sampled heart sound data A plurality of heart sound patterns defined in advance,
The cardiac sound data is directly recorded from the patient to be diagnosed, and the recorded patient heart sound data is converted into image data in which the amplitude of the heart sound according to the change of time and frequency is visualized. Then, in the image data of the patient heart sound data, A cardiac rhythm application stored on a medium for performing the step of classifying it into one of the cardiac rhythm patterns using a convolution neural network.
상기 환자 심음 데이터로부터 상기 스마트장치에 의한 열잡음을 제거하되, 상기 환자 심음 데이터에서 소정의 시간 윈도우마다 음압을 측정한 후 상기 음압 중 하위 소정의 비율에 해당하는 시간 윈도우를 열잡음으로 정의하여 제거하는 것을 특징으로 하는 심음 애플리케이션.6. The method of claim 5,
Wherein a thermal noise by the smart device is removed from the patient's cardiac sound data, a time window corresponding to a lower predetermined ratio of the sound pressure is defined as thermal noise after the sound pressure is measured in the predetermined time window in the patient's heart sound data Features heart sound application.
상기 환자의 심음을 녹음하는 것은, 상기 스마트장치의 화면 상에 측정 화면을 표시하고(상기 측정 화면에는 복수의 심음 측정 부위가 표시됨), 상기 스마트장치의 입력수단이 상기 측정 화면 상의 상기 심음 측정 부위 중 어느 하나에 대한 선택 이벤트를 생성하면 상기 측정 화면은 녹음 화면으로 전환되고, 상기 스마트장치가 상기 심음 측정 부위에 대응하는 상기 환자의 신체에 근접하여 심음을 녹음하면 녹음된 심음이 해석가능한지 여부를 판단하여 알람 이벤트를 생성하는 것을 포함하는 심음 애플리케이션.6. The method of claim 5,
Wherein recording of the patient's heart sounds comprises displaying a measurement screen on the screen of the smart device (a plurality of heart sound measurement sites are displayed on the measurement screen), and the input means of the smart device displays the heart sound measurement site The measurement screen is switched to the recording screen. When the smart device records cardiac sound close to the body of the patient corresponding to the cardiac sound measurement site, it is determined whether or not the recorded heart sound can be interpreted And generating an alarm event based on the determination.
상기 사전에 정의된 복수의 심음패턴은 정상 심음, 제3 심음(S3), 제4 심음(S4), 수축기 잡음(systolic murmur), 확장기 잡음(diastolic murmur), 또는 이들의 조합을 포함하는 심음 애플리케이션.6. The method of claim 5,
The predefined plurality of cardiac tone patterns may include at least one of a heart sound application, a third heart sound (S3), a fourth heart sound (S4), a systolic murmur, a diastolic murmur, .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170156212A KR102078525B1 (en) | 2017-11-22 | 2017-11-22 | Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same |
PCT/KR2018/014176 WO2019103416A1 (en) | 2017-11-22 | 2018-11-19 | Method for providing cardiovascular disease diagnostic information using smart device and cardiac sound application for same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170156212A KR102078525B1 (en) | 2017-11-22 | 2017-11-22 | Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190058858A true KR20190058858A (en) | 2019-05-30 |
KR102078525B1 KR102078525B1 (en) | 2020-02-19 |
Family
ID=66632088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170156212A KR102078525B1 (en) | 2017-11-22 | 2017-11-22 | Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102078525B1 (en) |
WO (1) | WO2019103416A1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110363090A (en) * | 2019-06-14 | 2019-10-22 | 平安科技(深圳)有限公司 | Intelligent heart disease detection method, device and computer readable storage medium |
CN111292853A (en) * | 2020-01-15 | 2020-06-16 | 长春理工大学 | Cardiovascular disease risk prediction network model based on multiple parameters and construction method thereof |
CN112336310A (en) * | 2020-11-04 | 2021-02-09 | 吾征智能技术(北京)有限公司 | Heart disease diagnosis system based on FCBF and SVM fusion |
KR20210029362A (en) * | 2019-09-06 | 2021-03-16 | 주식회사 액티브디앤씨 | The system for diagnosing arrhythmia signs |
KR20210039641A (en) | 2019-10-02 | 2021-04-12 | 주식회사 액티브디앤씨 | The device which supports analysis process of a cardiac sounds |
KR20210086732A (en) * | 2019-12-27 | 2021-07-09 | 가천대학교 산학협력단 | Heart Sound Analysis Method and System Based on Neuro-fuzzy Network |
KR102447623B1 (en) | 2021-03-18 | 2022-09-26 | 동의대학교 산학협력단 | Smartphone chest cradle and bio-signal measurement system using the same |
KR20230068723A (en) | 2021-11-11 | 2023-05-18 | 주식회사 액티브디앤씨 | The system which supports analysis process of a cardiac sounds |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110731777B (en) * | 2019-09-16 | 2023-07-25 | 平安科技(深圳)有限公司 | Left ventricle measurement method and device based on image recognition and computer equipment |
CN112971839B (en) * | 2021-02-05 | 2023-03-24 | 云南大学 | Heart sound classification method based on feedforward convolution neural network |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050108222A (en) * | 2004-05-12 | 2005-11-16 | 주식회사 씨아이디 | Method and device measuring heart sound with sound card |
KR20100128083A (en) * | 2009-05-27 | 2010-12-07 | 충북대학교 산학협력단 | Apparatus and method for diagnosing cardiac disorder |
KR20170064960A (en) * | 2015-12-02 | 2017-06-12 | 김현호 | Disease diagnosis apparatus and method using a wave signal |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3632397B2 (en) * | 1997-09-24 | 2005-03-23 | セイコーエプソン株式会社 | Pulse diagnosis support device |
KR20030065228A (en) * | 2002-01-31 | 2003-08-06 | 김종수 | System for outputs Ch'ongjin acoustic signal |
-
2017
- 2017-11-22 KR KR1020170156212A patent/KR102078525B1/en active IP Right Grant
-
2018
- 2018-11-19 WO PCT/KR2018/014176 patent/WO2019103416A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050108222A (en) * | 2004-05-12 | 2005-11-16 | 주식회사 씨아이디 | Method and device measuring heart sound with sound card |
KR20100128083A (en) * | 2009-05-27 | 2010-12-07 | 충북대학교 산학협력단 | Apparatus and method for diagnosing cardiac disorder |
KR20170064960A (en) * | 2015-12-02 | 2017-06-12 | 김현호 | Disease diagnosis apparatus and method using a wave signal |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110363090A (en) * | 2019-06-14 | 2019-10-22 | 平安科技(深圳)有限公司 | Intelligent heart disease detection method, device and computer readable storage medium |
KR20210029362A (en) * | 2019-09-06 | 2021-03-16 | 주식회사 액티브디앤씨 | The system for diagnosing arrhythmia signs |
KR20210039641A (en) | 2019-10-02 | 2021-04-12 | 주식회사 액티브디앤씨 | The device which supports analysis process of a cardiac sounds |
KR20210086732A (en) * | 2019-12-27 | 2021-07-09 | 가천대학교 산학협력단 | Heart Sound Analysis Method and System Based on Neuro-fuzzy Network |
CN111292853A (en) * | 2020-01-15 | 2020-06-16 | 长春理工大学 | Cardiovascular disease risk prediction network model based on multiple parameters and construction method thereof |
CN112336310A (en) * | 2020-11-04 | 2021-02-09 | 吾征智能技术(北京)有限公司 | Heart disease diagnosis system based on FCBF and SVM fusion |
CN112336310B (en) * | 2020-11-04 | 2024-03-08 | 吾征智能技术(北京)有限公司 | FCBF and SVM fusion-based heart disease diagnosis system |
KR102447623B1 (en) | 2021-03-18 | 2022-09-26 | 동의대학교 산학협력단 | Smartphone chest cradle and bio-signal measurement system using the same |
KR20230068723A (en) | 2021-11-11 | 2023-05-18 | 주식회사 액티브디앤씨 | The system which supports analysis process of a cardiac sounds |
Also Published As
Publication number | Publication date |
---|---|
WO2019103416A1 (en) | 2019-05-31 |
KR102078525B1 (en) | 2020-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102078525B1 (en) | Method for providing diagnostic information on cardiovascular diseases using a smart device and heart sound application for the same | |
Thiyagaraja et al. | A novel heart-mobile interface for detection and classification of heart sounds | |
Swarup et al. | Digital stethoscope: technology update | |
JP5785187B2 (en) | Signal processing apparatus and method for heart sound signal | |
Rehg et al. | Mobile health | |
US20210030390A1 (en) | Electronic stethoscope | |
Syed et al. | A framework for the analysis of acoustical cardiac signals | |
US20040260188A1 (en) | Automated auscultation system | |
TW201935468A (en) | System and method for sound localization | |
TW200526174A (en) | Analysis of auscultatory sounds using single value decomposition | |
Watrous | Computer-aided auscultation of the heart: From anatomy and physiology to diagnostic decision support | |
Riaz et al. | A novel embedded system design for the detection and classification of cardiac disorders | |
Andrisevic et al. | Detection of heart murmurs using wavelet analysis and artificial neural networks | |
Rahman et al. | Towards reliable data collection and annotation to extract pulmonary digital biomarkers using mobile sensors | |
Chen et al. | Edge2Analysis: a novel AIoT platform for atrial fibrillation recognition and detection | |
Omarov et al. | Electronic stethoscope for detecting heart abnormalities in athletes | |
Dampage et al. | AI-based heart monitoring system | |
TW202221621A (en) | Virtual environment training system for nursing education | |
Giorgio et al. | An effective CAD system for heart sound abnormality detection | |
Omarov et al. | Detection of heartbeat abnormalities from phonocardiography using machine learning | |
JP2021133005A (en) | Auscultation system and auscultation method | |
Javed et al. | Knowledge based system with embedded intelligent heart sound analyser for diagnosing cardiovascular disorders | |
Guven et al. | Heart diseases diagnose via artificial intelligence-powered mobile application | |
Somrak et al. | Tricorder: consumer medical device for discovering common medical conditions | |
KR20210009668A (en) | The system for generating health check-up result documents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |