KR20220167547A - 심음 분석 장치 및 방법 - Google Patents
심음 분석 장치 및 방법 Download PDFInfo
- Publication number
- KR20220167547A KR20220167547A KR1020210076657A KR20210076657A KR20220167547A KR 20220167547 A KR20220167547 A KR 20220167547A KR 1020210076657 A KR1020210076657 A KR 1020210076657A KR 20210076657 A KR20210076657 A KR 20210076657A KR 20220167547 A KR20220167547 A KR 20220167547A
- Authority
- KR
- South Korea
- Prior art keywords
- heart sound
- sound data
- learning
- mel
- obtaining
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004458 analytical method Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000013138 pruning Methods 0.000 claims abstract description 13
- 238000013139 quantization Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 8
- LFULEKSKNZEWOE-UHFFFAOYSA-N propanil Chemical compound CCC(=O)NC1=CC=C(Cl)C(Cl)=C1 LFULEKSKNZEWOE-UHFFFAOYSA-N 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 abstract description 13
- 238000004891 communication Methods 0.000 description 10
- 238000011176 pooling Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 230000010365 information processing Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 208000002330 Congenital Heart Defects Diseases 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000005831 heart abnormality Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 208000001528 Coronaviridae Infections Diseases 0.000 description 2
- 208000025370 Middle East respiratory syndrome Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005189 cardiac health Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000009007 Diagnostic Kit Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/02—Stethoscopes
- A61B7/04—Electric stethoscopes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Cardiology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
심음 분석 장치 및 심음 분석 방법에 관한 것으로, 심음 분석 장치는 학습용 심음 데이터를 획득하는 심음 데이터 획득부와, 상기 학습용 심음 데이터에 대해 전처리를 수행하여 전처리된 학습용 심음 데이터를 획득하고, 상기 전처리된 학습용 심음 데이터에 대해 변환 처리를 수행하여 변환 처리된 심음 데이터를 획득하고, 변환 처리된 심음 데이터로부터 멜 주파수 켑스트럴 계수(MFCC: Mel-Frequency Coefficient)를 획득하고, 프루닝 기법 및 양자화 기법 중 적어도 하나를 이용하는 학습 모델을 상기 멜 주파수 켑스트럴 계수를 기반으로 훈련시키는 프로세서를 포함할 수 있다.
Description
심음 분석 장치 및 방법에 관한 것이다.
코로나바이러스감염증-19나 중동호흡기증후군(메르스) 등과 같은 전염성 질환의 발생으로 인해 비대면 진료 플랫폼에 대한 관심과 필요성이 점점 더 높아지고 있다. 또한, 의료기관의 증가에도 불구하고 여전히 근거리 의료 기관의 부재나 진료 비용의 문제 등으로 진료 사각 지대에 놓은 사람들이 많은 것은 현실이다. 이러한 문제점의 해결을 위해 환자가 직접 병원이나 의원을 방문하지 않고도 원격으로 진단을 받을 수 있는 원격 의료 서비스나 직접 자가 진단할 수 있는 진단 키트 등의 연구와 개발이 계속해서 이뤄지고 있으며, 정보 통신 기술 및 데이터 처리 기술의 발달은 이들 기술의 연구 개발에 더욱 더 박차를 가하고 있다.
원격 진료는 네트워크 기반으로 환자를 진단하거나 또는 환자의 진단 결과나 건강에 대한 정보를 환자에게 전달할 수 있도록 하는 기술로, 최근에는 단순히 의료인과 환자와의 비대면 진료행위에서 스마트 헬스케어로 발전하고 있다. 스마트 헬스케어는 의료 기술과 정보통신기술을 융합한 건강 관리 및 의료 서비스 제공 기술 분야로, 휴대형 또는 착용형 장치를 통해 개개인이 스스로 건강 관리를 할 수 있게 한다. 또한, 스마트 헬스케어는 응급 상황에 대한 즉각적인 대처나, 수집된 데이터를 기반으로 한 신속 및 정확한 의료 서비스의 제공이 가능하게 한다.
최근 심장 관련 질환의 발생 및 이에 의한 사망률의 증가에 따라 스마트 헬스케어 분야에 있어서도 심장 질환의 발생 여부를 조기에 진단 및 예측하는 기술의 필요성이 증가하고 있다. 그러나, 심전도의 측정은 전문적인 의료 장비 및 인력을 요구하므로 스마트 헬스케어에 적용하기는 결코 쉽지 않다. 또한, 심장 박동을 측정하는 경우에도, 정상적 심장 박동의 간헐적 발생 또는 일부 비정상적 심장 박동과 정상적 심장 박동 간의 부분적 유사성 등은 심장 이상 발생 여부의 판단을 더욱 더 어렵게 하고 있다. 이러한 문제점들은 심장의 이상 여부를 판단하기 위한 기기의 경량화 및 소형화에 장애가 되어 왔다.
심음(심장 소리)만으로도 심장의 이상 여부를 적절하게 판단할 수 있는 심음 분석 장치 및 심음 분석 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 심음 분석 장치 및 심음 분석 방법이 제공된다.
심음 분석 장치는 학습용 심음 데이터를 획득하는 심음 데이터 획득부 및 상기 학습용 심음 데이터에 대해 전처리를 수행하여 전처리된 학습용 심음 데이터를 획득하고, 상기 전처리된 학습용 심음 데이터에 대해 변환 처리를 수행하여 변환 처리된 심음 데이터를 획득하고, 변환 처리된 심음 데이터로부터 멜 주파수 켑스트럴 계수(MFCC: Mel-Frequency Coefficient)를 획득하고, 프루닝 기법 및 양자화 기법 중 적어도 하나를 이용하는 학습 모델을 상기 멜 주파수 켑스트럴 계수를 기반으로 훈련시키는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 학습용 심음 데이터를 필터링하고 필터링된 심음 데이터의 크기를 기준 크기로 변환하여 상기 학습용 심음 데이터에 대한 전처리를 수행할 수도 있다.
상기 프로세서는, 전처리된 학습용 심음 데이터를 소정의 샘플링 레이트에 따라서 샘플링 처리를 수행하여 샘플링된 심음 데이터를 획득하고, 상기 샘플링된 심음 데이터를 적어도 하나의 프레임으로 분할하고, 적어도 하나의 프레임에 대해 윈도우 함수를 적용한 후, 윈도우 함수가 적용된 프레임을 패스트 푸리에 변환 또는 단시간 푸리에 변환을 이용하여 변환함으로써 상기 변환 처리된 심음 데이터를 획득할 수도 있다.
상기 프로세서는, 상기 변환 처리된 심음 데이터에 대해 멜 필터 뱅크를 적용하여 멜 스펙트로그램을 획득하고, 상기 멜 스팩트로그램 또는 상기 멜 스팩트로그램에 대한 로그 스케일링 처리에 따라 획득된 로그 멜 스펙트로그램을 이산 코사인 변환, 이산 푸리에 변환 또는 고속 푸리에 역변환을 이용하여 변환함으로써 상기 멜 주파수 켑스트럴 계수를 획득할 수도 있다.
상기 심음 데이터 획득부는, 대상자로부터 실측 심음 데이터를 획득하고, 상기 프로세서는, 상기 실측 심음 데이터 및 훈련된 상기 학습 모델을 이용하여 상기 실측 심음 데이터에 대응하는 분석 결과를 획득할 수도 있다.
심음 분석 방법은, 학습용 심음 데이터를 획득하는 단계, 상기 학습용 심음 데이터에 대해 전처리를 수행하여 전처리된 학습용 심음 데이터를 획득하는 단계, 상기 전처리된 학습용 심음 데이터에 대해 변환 처리를 수행하여 변환 처리된 심음 데이터를 획득하는 단계, 변환 처리된 심음 데이터로부터 멜 주파수 켑스트럴 계수를 획득하는 단계 및 상기 멜 주파수 켑스트럴 계수를 기반으로, 프루닝 기법 및 양자화 기법 중 적어도 하나를 이용하는 학습 모델을 훈련시키는 단계를 포함할 수 있다.
상기 학습용 심음 데이터에 대해 전처리를 수행하여 전처리된 학습용 심음 데이터를 획득하는 단계는, 상기 학습용 심음 데이터를 필터링하는 단계 및 필터링된 심음 데이터의 크기를 기준 크기로 변환하는 단계를 포함할 수도 있다.
상기 전처리된 학습용 심음 데이터에 대해 변환 처리를 수행하여 변환 처리된 심음 데이터를 획득하는 단계는, 상기 전처리된 학습용 심음 데이터를 소정의 샘플링 레이트에 따라서 샘플링 처리를 수행하여 샘플링된 심음 데이터를 획득하는 단계, 상기 샘플링된 심음 데이터를 적어도 하나의 프레임으로 분할하는 단계, 상기 적어도 하나의 프레임에 대해 윈도우 함수를 적용하는 단계 및 윈도우 함수가 적용된 프레임을 패스트 푸리에 변환 또는 단시간 푸리에 변환을 이용하여 변환하여 상기 변환 처리된 심음 데이터를 획득하는 단계를 포함할 수도 있다.
상기 변환 처리된 심음 데이터로부터 멜 주파수 켑스트럴 계수를 획득하는 단계는, 상기 변환 처리된 심음 데이터에 대해 멜 필터 뱅크를 적용하여 멜 스펙트로그램을 획득하는 단계 및 상기 멜 스팩트로그램 또는 상기 멜 스팩트로그램에 대한 로그 스케일링 처리에 따라 획득된 로그 멜 스펙트로그램을 이산 코사인 변환, 이산 푸리에 변환 또는 고속 푸리에 역변환을 기반으로 변환하여 상기 멜 주파수 켑스트럴 계수를 획득하는 단계를 포함할 수도 있다.
심음 분석 방법은, 대상자로부터 실측 심음 데이터를 획득하는 단계 및 상기 실측 심음 데이터 및 훈련된 상기 학습 모델을 이용하여 상기 실측 심음 데이터에 대응하는 분석 결과를 획득하는 단계를 더 포함하는 것도 가능하다.
심음 분석 장치는, 대상자로부터 실측 심음 데이터를 획득하는 심음 데이터 획득부 및 상기 실측 심음 데이터에 대해 전처리를 수행하여 전처리된 심음 데이터를 획득하고, 상기 전처리된 학습용 심음 데이터에 대해 변환 처리를 수행하고, 변환 처리된 심음 데이터로부터 멜 주파수 켑스트럴 계수를 획득하고, 프루닝 기법 및 양자화 기법 중 적어도 하나를 이용하는 학습 모델 및 상기 멜 주파수 켑스트럴 계수를 기반으로 상기 실측 심음 데이터에 대응하는 분석 결과를 획득하는 프로세서를 포함할 수도 있다.
심음 분석 방법은, 대상자로부터 실측 심음 심음 데이터를 획득하는 단계, 상기 실측 심음 데이터에 대해 전처리를 수행하여 전처리된 학습용 심음 데이터를 획득하는 단계, 상기 전처리된 학습용 심음 데이터에 대해 변환 처리를 수행하여 변환 처리된 심음 데이터를 획득하는 단계, 변환 처리된 심음 데이터로부터 멜 주파수 켑스트럴 계수를 획득하는 단계 및 프루닝 기법 및 양자화 기법 중 적어도 하나를 이용하는 학습 모델 및 상기 멜 주파수 켑스트럴 계수를 기반으로 상기 실측 심음 데이터에 대응하는 분석 결과를 획득하는 단계를 포함할 수도 있다.
상술한 심음 분석 장치 및 방법에 의하면, 심음 데이터만으로도 대상체에 대한 심장의 이상 여부를 판단할 수 있게 되어 심장 이상 여부 판단 및 진단의 편의성이 개선되는 효과를 얻을 수 있다.
상술한 심음 분석 장치 및 방법에 의하면, 심장 이상 여부의 분류 성능을 향상시킬 수 있을 뿐만 아니라, 프로그램의 최적화 등에 따라 심음 분석을 위한 장치의 경량화를 구현할 수 있는 장점도 얻을 수 있다.
상술한 심음 분석 장치 및 방법에 의하면, 일반 사용자가 직접 스마트폰이나 스마트 의료 기기 등을 이용하여 심장 건강 상태를 직접 확인할 수 있어 내원 및 대면 진료의 필요성이 감소하고, 아울러 이에 따른 진단 비용이 절감되는 장점도 얻을 수 있다.
상술한 심음 분석 장치 및 방법에 의하면, 주기적인 심장 건강 상태의 확인에 의해 심장 질환의 조기 발견이나 사전 예방의 효과도 얻을 수 있다.
도 1은 심음 분석 장치의 일 실시예에 대한 블록도이다.
도 2는 데이터 전 처리부의 일 실시예에 대한 블록도이다.
도 3은 특징 추출부의 일 실시예에 대한 블록도이다.
도 4는 분류부의 일 실시예에 대한 블록도이다.
도 5는 심음 분석 방법의 일 실시예에 대한 흐름도이다.
도 2는 데이터 전 처리부의 일 실시예에 대한 블록도이다.
도 3은 특징 추출부의 일 실시예에 대한 블록도이다.
도 4는 분류부의 일 실시예에 대한 블록도이다.
도 5는 심음 분석 방법의 일 실시예에 대한 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 및/또는 하드웨어로 구현될 수 있으며, 실시예에 따라 하나의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 복수의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 하나의 '부'가 복수의 물리적 또는 논리적 부품들로 구현되는 것도 가능하다. 명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분이 상호 간에 물리적으로 연결되었음을 의미할 수도 있고, 및/또는 전기적으로 연결되었음을 의미할 수도 있다. 또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다. 제1 내지 제N(N은 1 이상의 자연수) 등의 표현은, 적어도 하나의 부분(들)을 다른 부분(들)으로부터 구분하기 위한 것으로, 특별한 기재가 없는 이상 이들이 순차적임을 반드시 의미하지는 않는다. 또한, 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 4를 참조하여 심음 분석 장치의 일 실시예에 대해 설명하도록 한다.
도 1은 심음 분석 장치의 일 실시예에 대한 블록도이다.
도 1에 도시된 바를 참조하면, 심음 분석 장치(100)는 일 실시예에 있어서, 심음 데이터 획득부(101)와, 저장부(103)와, 결과 출력부(105)와, 프로세스(110)를 포함할 수 있다. 여기서, 심음 데이터 획득부(101), 저장부(103) 및 결과 출력부(105) 중 적어도 하나는 상황에 따라 생략될 수도 있다.
심음 데이터 획득부(101)는, 학습 처리를 위한 적어도 하나의 심음 데이터(10, 이하 학습용 심음 데이터) 및 심음의 실측 및 분석 대상이 되는 자(이하 대상자)로부터 획득된 심음 데이터(11, 이하 실측 심음 데이터) 중 적어도 하나를 동시에 또는 순차적으로 획득하고, 획득한 학습용 심음 데이터(10)나 실측 심음 데이터(13)를 저장부(103)나 프로세서(110) 등으로 전달할 수 있다. 심음은 심장이 수축 및 확장 운동을 반복하는 동안 생성되는 소리로, 심음 데이터는 이러한 심장 소리에 대응하는 주파수 형태의 데이터를 포함할 수 있다. 심음 데이터 획득부(101)는, 예를 들어, 외부의 다른 장치(일례로 휴대용 메모리 장치 등)로부터 데이터의 수신이 가능한 데이터 입출력 단자나, 외부의 다른 장치와 유무선 통신 네트워크를 통해 데이터의 수신이 가능한 통신 모듈(일례로 랜 카드, 근거리 통신 모듈 또는 이동통신 모듈 등) 등을 포함할 수도 있으며, 이러한 데이터 입출력 단자나 통신 모듈 등을 통해 학습용 심음 데이터(10)를 획득할 수도 있다. 여기서, 학습용 심음 데이터(10)에는 메타 데이터(라벨이나 태그 등)가 더 부가되어 있을 수 있다. 메타 데이터는, 학습용 심음 데이터(10, 즉, 심장의 소리 주파수)에 대응하는 심장의 상태가 정상인지, 비정상인지 또는 아티팩트(artifact, 잡음 등)가 존재하는 것인지 등에 대한 정보를 포함할 수 있다. 또한, 심음 데이터 획득부(101)는 초음파 스캐너나 마이크로 폰 등과 같이 소리를 수신 및 수집할 수 있는 장치를 포함할 수도 있으며, 이를 통해 대상자의 실측 심음 데이터(13)를 획득할 수도 있다. 이외에도 심음 데이터 획득부(101)는, 실시예에 따라서, 키보드, 마우스, 태블릿, 터치 스크린(저항막 방식이나 정전용량 방식 등을 포함 가능함) 터치 패드, 트랙 볼, 트랙패드, 스캐너 장치, 영상 촬영 모듈, 초음파 센서, 동작 감지 센서, 진동 센서, 수광 센서, 적외선 센서, 감압 센서 및/또는 근접 센서 등을 포함할 수도 있다.
저장부(103)는 심음 분석 장치(100)의 동작에 필요한 데이터나 프로그램(앱, 애플리케이션 또는 소프트웨어 등으로 지칭 가능함) 등을 일시적 또는 비일시적으로 저장할 수 있다. 예를 들어, 저장부(103)는, 학습용 심음 데이터(10)나 실측 심음 데이터(13)를 저장하거나 또는 프로세서(110)에 의해 훈련된 학습 모델을 저장할 수도 있다. 여기서, 프로그램은, 설계자에 의해 직접 작성되어 저장부(103)에 저장 또는 수정된 것일 수도 있고, 또는 유선 또는 무선 통신 네트워크를 통해 접속 가능한 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다. 저장부(103)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있으며, 이(들)은 하나 이상의 반도체 칩이나 자기 디스크 등을 이용하여 구현될 수 있다.
결과 출력부(105)는 소정의 정보를 출력하여 이를 사용자(일례로 대상자, 대상자의 보호자, 심음 분석 장치(100)의 관리자 또는 의료인 등을 포함 가능함)에게 제공하거나 또는 심음 분석 장치(100) 이외의 다른 장치(미도시, 서버용 하드웨어 장치와 같은 다른 정보처리장치나, 휴대용 메모리 장치 등을 포함할 수 있음)로 전달할 수 있다. 예를 들어, 결과 출력부(105)는 실측 심음 데이터(13)를 훈련된 학습 모델에 입력하여 획득한 분석 결과(19)를 외부로 출력할 수 있다. 분석 결과(19)는 실측 심음 데이터(13)에 대응하여 프로세서(110)가 심장의 이상 여부를 판단 또는 분류한 결과 또는 이에 상응하는 메시지 등으로, 예를 들어, 정상, 비정상 및 아티팩트 중 적어도 하나를 포함할 수 있다. 사용자는 분석 결과(19)를 기반으로 대상자의 심장에 문제가 발생하였는지 또는 문제가 발생할 가능성이 있는지 여부 등을 파악할 수 있게 된다. 실시예에 따라서, 결과 출력부(105)는, 디스플레이, 프린터 장치, 스피커 장치, 영상 출력 단자, 데이터 입출력 단자 및/또는 통신 모듈 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
프로세서(110)는 학습용 심음 데이터(10)를 이용하여 적어도 하나의 학습 모델을 훈련시키거나 및/또는 실측 심음 데이터(13) 및 훈련된 학습 모델을 기반으로 실측 심음 데이터(13)에 상응하는 분석 결과(19)를 획득할 수 있다. 또한, 실시예에 따라서, 프로세서(110)는 심음 분석 장치(100)의 적어도 일 동작에 필요한 연산을 수행하거나 또는 심음 분석 장치(100)의 각 부품을 제어할 수도 있다. 프로세서(110)는, 저장부(103)에 저장된 프로그램을 실행시켜, 학습 모델의 훈련이나, 분석 결과(19)의 획득이나, 또는 필요한 연산, 판단 및/또는 제어 동작 등을 수행할 수도 있다. 일 실시예에 의하면, 프로세서(110)는, 중앙 처리 장치(CPU: Central Processing Unit), 마이크로 컨트롤러 유닛(MCU: Micro Controller Unit), 애플리케이션 프로세서(AP: Application Processor), 전자 제어 유닛(ECU: Electronic Controlling Unit), 기본보드 관리 컨트롤러(BMC: Baseboard Management Controller), 마이컴(Micom: Micro Processor) 및/또는 이외 각종 연산 및 제어 처리를 수행할 수 있는 적어도 하나의 전자 장치 등을 포함할 수 있다. 이들 처리 또는 제어 장치는, 예를 들어, 반도체 칩, 회로 또는 관련 부품 등을 단독으로 이용하거나 조합하여 구현된 것일 수도 있다.
일 실시예에 의하면, 프로세서(110)는 데이터 전처리부(111), 특징 추출부(113) 및 분류부(115)를 포함할 수 있다. 데이터 전처리부(111), 특징 추출부(113) 및 분류부(115) 중 적어도 둘은, 물리적으로 구분되는 것일 수도 있고, 논리적으로 구분되는 것일 수도 있다. 물리적으로 구분되는 경우, 데이터 전처리부(111), 특징 추출부(113) 및 분류부(115) 중 적어도 둘은 각각 서로 물리적으로 분리된 반도체 칩 등을 이용하여 구현될 수 있으며, 논리적으로 구분되는 경우, 데이터 전처리부(111), 특징 추출부(113) 및 분류부(115) 중 적어도 둘은 하나의 반도체 칩을 이용하여 구현될 수 있다.
도 2는 데이터 전 처리부의 일 실시예에 대한 블록도이다.
도 2에 도시된 바를 참조하면, 데이터 전처리부(111)는 주파수 형태의 소정의 심음 데이터(10A, 학습용 심음 데이터(10) 및 실측 심음 데이터(13) 중 적어도 하나를 포함할 수 있음)를 수신하고, 심음 데이터(10A)에 대해 전처리를 수행하여 하나 또는 둘 이상의 전처리된 데이터(11)를 획득할 수 있다. 일 실시예에 의하면, 데이터 전처리부(111)는 필터링부(111A) 및 데이터 사이즈 처리부(111B)를 포함할 수 있다.
필터링부(111A)는 입력된 심음 데이터(10A)로부터 특정한 대역대의 신호를 추출할 수 있다. 예를 들어, 필터링부(111A)는 심음 데이터(10A)로부터 주파수가 20~1800 Hz인 신호만을 통과시키고 그 외의 주파수의 신호는 감쇄 또는 차단시켜 필터링된 심음 데이터(10B)를 획득할 수 있다. 이에 따라 심음 데이터(10A)로부터 불필요한 주파수 대역대가 제거될 수 있게 된다. 필터링부(111A)는, 실시예에 따라, 대역 통과 필터(Band Pass Filter), 로우 패스 필터(Low Pass Filter) 및 하이 패스 필터(High Pass Filter) 중 적어도 하나를 단독으로 또는 조합하여 구현될 수 있다. 이들 필터는 버터워스(Butterworth) 방식, 일립틱(elliptic) 방식 및 체비쉐프(Chebyshev) 방식 중 적어도 하나를 활용하는 것일 수도 있다. 획득된 필터링된 심음 데이터(10B)는 데이터 사이즈 처리부(111B)로 전달된다.
데이터 사이즈 처리부(111B)는 필터링된 심음 데이터(10B)의 크기(길이, 이는 시간을 기준으로 정의될 수 있음)를 일정한 크기로 변경하여 데이터 크기의 단일화를 수행할 수 있다. 예를 들어, 데이터 사이즈 처리부(111B)는 미리 정의된 기준 크기(P, 일례로 기준 길이의 시간)보다 필터링된 심음 데이터(10B)의 크기가 작다면, 심음 데이터(10B)의 전부 또는 일부를 복제하고 이를 심음 데이터(10B)의 전단 또는 후단에 추가하여 심음 데이터(10B)의 전부 또는 일부가 반복되도록 함으로써 심음 데이터(10B)의 크기를 증가/연장시킬 수 있다. 또한, 데이터 사이즈 처리부(111B)는 필요에 따라 필터링된 심음 데이터(10B)가 기준 크기(P)보다 크다면, 그 일부를 제거함으로써 심음 데이터(10B)를 축소/단축시킬 수도 있다. 이에 따라 기준 크기(P)와 동일 또는 근사한 크기의 전처리된 심음 데이터(11)가 하나 이상 획득될 수 있게 된다. 여기서, 기준 크기는, 7초 또는 10초로 정의될 수 있으나, 이는 예시적인 것으로, 설계자나 사용자는 선택에 따라 기준 크기를 다양하게 정의할 수 있다. 데이터 전처리부(111)는 획득한 전처리된 심음 데이터(11)를 순차적으로 또는 동시에 특징 추출부(113)로 전달할 수 있다.
도 3은 특징 추출부의 일 실시예에 대한 블록도이다.
도 3을 참조하면, 특징 추출부(113)는 데이터 전처리부(111)로부터 적어도 하나의 전처리된 심음 데이터(11)를 수신하여 획득하고, 획득한 전처리된 심음 데이터(11)로부터 특징을 추출할 수 있다. 일 실시예에 따르면, 특징 추출부(113)는 샘플링부(113A), 변환부(113B) 및 특징획득부(113C)를 포함할 수 있다.
샘플링부(113A)는 소정의 샘플링 레이트(sampling rate)에 따라 전처리된 심음 데이터(11)에 대한 샘플링을 수행할 수 있다. 여기서, 샘플링 레이트는 사용자나 설계자 등에 의해 미리 설정될 수 있으며, 예를 들어, 4000Hz로 설정될 수도 있다.
변환부(113B)는 샘플링된 심음 데이터를 변환할 수 있다. 예를 들어, 변환부(113B)는, 패스트 푸리에 변환(FFT: Fast Fourier Transform) 또는 단시간 푸리에 변환(STFT: Short Time Fourier Transform) 등의 푸리에 변환(FT: Fourier Transform) 기법을 이용하여 샘플링된 심음 데이터를 변환할 수 있다. 실시예에 따라서, 변환부(113B)는 변환 전에 샘플링된 심음 데이터를 소정 길이(일례로 20ms 내지 40ms)의 프레임으로 분할할 수 있다. 또한, 변환부(113B)는 프레임의 분할 후, 각각의 프레임마다 소정의 윈도우 함수(예를 들어, 해밍(hamming) 윈도우 함수)를 적용할 수도 있다. 이 경우, 윈도우 함수가 적용된 프레임 각각마다 푸리에 변환 기반의 처리가 수행될 수 있다.
특징획득부(113C)는 변환 처리된 심음 데이터(일례로 스펙트럼의 형태를 가질 수 있음)로부터 특징을 추출하여 획득할 수 있다. 일 실시예에 의하면, 특징획득부(113C)는, 변환 처리된 심음 데이터에 대해 적어도 하나의 멜 필터 뱅크(Mel Filter Bank)를 적용하여 변환 처리된 심음 데이터에 상응하는 멜 스펙트로그램(Mel Spectrogram)을 획득할 수 있다. 여기서, 멜 필터 뱅크는 주파수에 대해 멜 스케일링(Mel-scaling) 처리를 수행하는 필터로, 인간의 달팽이관 특성에 따라 물리적 주파수와 인간이 인식하는 주파수는 서로 상이한데, 멜 필터 뱅크는 이러한 실제 물리적 주파수와 인간의 인식 주파수 간의 관계(멜 스케일(Mel-Scale))을 고려하여 주파수를 필터링한다. 특징획득부(113C)는 획득된 멜 스펙트로그램 그 자체를 이용하거나 또는 멜 스펙트로그램을 로그 함수에 적용하여 로그 스케일링 처리된 멜 스펙트로그램(즉, 로그 멜 스펙트로그램(Log Mel Spectrogram))을 이용하여 특징(12)을 획득할 수도 있다. 이 경우, 특징획득부(113C)는 멜 스펙트로그램 또는 로그 멜 스펙트로그램에 이산 코사인 변환(DCT: Discrete Cosine Transform), 이산 푸리에 변환(DFT: Discrete Fourier Transform) 또는 고속 푸리에 역변환(IFFT: Inverse Fast Fourier Transform) 등을 적용하여 멜 스펙트로그램 또는 로그 멜 스펙트로그램에 대응하는 특징(12), 일례로 멜 주파수 켑스트럴 계수(MFCC: Mel-Frequency Cepstral Coefficient)를 획득할 수도 있다. 여기서, 이산 코사인 변환은 고속 푸리에 역변환과 상이하게 허수 영역 없이 실수 공간의 값만을 처리하므로, 만약 이산 코사인 변환을 이용하여 특징획득부(113C)를 구현한다면, 처리해야 할 데이터 양이 상대적으로 감소하는 효과도 얻을 수 있다. 특징획득부(113C)는, 실시예에 따라서, 변환 과정에서 획득한 켑스트럴 계수 중에서 일부만 선별하거나 또는 켑스트럼 계수의 전부 또는 일부로부터 연산된 소정의 값을 더하여 멜 주파수 켑스트럼 계수를 획득할 수도 있다. 예를 들어, 특징획득부(113C)는 켑스트럼 계수 중에서 상대적으로 낮은 12개를 선별하고, 선별된 12개의 켑스트럼 계수로부터 에너지 값을 획득하고, 획득한 에너지 값을 부가하여 획득한 13개의 특징을 멜 주파수 켑스트럼 계수로 하여 출력할 수도 있다. 획득된 특징(12)은 분류부(115)로 전달될 수 있다.
도 4는 분류부의 일 실시예에 대한 블록도이다.
분류부(115)는 획득된 특징(12)을 분류할 수 있다. 예를 들어, 분류부(115)는, 획득된 특징(12)을 정상(즉, 획득된 특징(12)에 대응하는 심음이 정상인 상태), 비정상(획득된 특징(12)에 대응하는 심음이 비정상인 상태) 및 아티팩트(획득된 특징(12)에 대응하는 심음에 아티팩트가 존재하는 상태) 중 적어도 하나로 분류할 수 있다.
일 실시예에 의하면, 분류부(115)는 적어도 하나의 학습 모델을 포함할 수 있다. 이 경우, 분류부(115)는 학습용 심음 데이터(10)에 대응하는 특징(12)을 하나의 학습 모델(또는 둘 이상의 조합된 학습 모델)에 입력하여 학습 모델을 훈련시키나 또는 실측 심음 데이터(13)에 대응하는 특징(12)을 학습 모델에 입력하여 분석 결과(19)를 획득할 수도 있다. 여기서, 학습 모델은, 예를 들어, 심층 신경망(DNN: Deep Neural Network), 콘볼루션 신경망(CNN: Convolutional Neural Network), 순환 신경망(RNN: Recurrent Neural Network), 심층 신뢰 신경망(DBN: Deep Belief Network), 심층 Q-네트워크(Deep Q-Networks), 장단기 메모리(LSTM: Long short term memory), 다층 퍼셉트론(Multi-layer Perceptron), 서포트 벡터 머신(SVM: support vector machine), 생성적 적대 신경망(GAN: Generative Adversarial Network) 및/또는 조건적 생성적 적대 신경망(cGAN: Conditional GAN) 등의 적어도 하나의 학습 모델을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따르면, 분류부(115)의 학습 모델은 프루닝(pruing) 기법 및 양자화(quantization) 기법 중 적어도 하나를 이용할 수도 있다. 프루닝 기법은 학습 모델 내의 모든 노드(뉴런) 및 모든 노드 간 연결 중에서 중요하지 않은 일부를 제거하여 일부의 노드 및 연결을 통해 신경망을 구성하는 방법이다. 프루닝 기법에 의하면, 중요도가 낮은 노드 또는 연결에 따른 데이터 연산 처리를 수행할 필요가 없으므로 전체적으로 신경망이 경량화되고 데이터 처리를 위한 리소스가 절감되며 데이터 처리 시간이 단축되는 효과가 있다. 양자화는, 딥러닝 등에 통상 사용되는 포맷인 완전 정밀도 타입(FP32) 기반의 학습용 데이터 값들을, 상대적으로 짧은 비트 너비를 갖는 소정 크기의 비트(일례로 8bit 또는 16bit)로 변환하는 것을 의미한다. 양자화된 데이터는 학습 과정에 있어서 상대적으로 적은 메모리 용량을 요구하므로, 데이터 처리의 리소스 절감 및 처리 시간 단축의 효과를 얻을 수 있게 된다.
보다 상세하게 예를 들어, 분류부(115)는, 도 4에 도시된 바와 같이, 다수의 콘볼루션 층(일례로 2차원 콘볼루션 층. 115A, 115B, 115D, 115E, 115G 내지 115J, 115L 내지 115O)과, 다수의 풀링 층(일례로 맥스 풀링 층. 실시예에 따라 평균 풀링 층 등이 이용될 수도 있음. 115C, 115F, 115K, 115P)과, 적어도 하나의 풀 커넥티드 층(Full Connected layer, 115Q 내지 115S)과, 소프트 맥스 함수(115T)를 포함하여 구현될 수도 있다. 여기서, 분류부(115)의 입력 값(즉, 특징(12))은 콘볼루션 층(115A)에 입력되고, 두 개의 콘볼루션 층(115A, 115B)를 경유한 후, 풀링 층(115C)으로 전달된다. 풀링 층(115C)은 2차원 공간의 크기를 축소하고, 이를 다음 콘볼루션 층(115D)로 전달할 수 있다. 데이터는 순차적으로 두 개의 콘볼루션 층(115D, 115E)으로 순차적으로 전달된 후 풀링 층(115F)으로 전달되며, 풀링 층(115F)은 이를 다음 콘볼루션 층(115G)로 전달할 수 있다. 순차적으로 데이터는 네 개의 콘볼루션 층(115G 내지 115J)과 풀링 층(115K)으로 전달된 후, 다시 네 개의 콘볼루션 층(115L 내지 115O)을 통과한 후 마지막 풀링 층(115P)으로 전달되고, 마지막 풀링 층(115P)은 이를 적어도 하나(일례로 세 개)의 풀 커넥티드 층(115Q 내지 115S)으로 전달한다. 다수의 노드 및 연결로 이루어진 풀 커넥티드 층(115Q 내지 115S)은 결과를 출력하여 소프트맥스 함수(115T)에 입력되고, 소프트맥스 함수(115T)는 분류부(115)의 입력 값(즉, 특징(12))에 대응하는 확률을 출력할 수 있다. 출력된 확률 값에 따라서 특징(12)은 정상, 비정상 또는 아티팩트로 분류될 수 있다. 이에 따라 분류부(115)는 획득된 특징(12)에 대응하는 분석 결과(19)를 획득할 수 있다. 분석 결과(19)는 저장부(103) 및 결과 출력부(105) 중 적어도 하나로 전달될 수 있다.
상술한 심음 분석 장치(100)는, 실시예에 따라서, 상술한 동작을 수행하기 위해 특별히 설계된 하나 또는 둘 이상의 장치를 이용하여 구현될 수도 있고, 또는 기존에 알려진 하나의 정보처리장치를 단독으로 이용하거나 둘 이상의 정보처리장치를 조합 이용함으로써 구현될 수도 있다. 여기서, 하나의 또는 둘 이상의 정보처리장치는, 예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, 서버용 하드웨어 장치, 스마트 폰, 태블릿 피씨, 스마트 시계, 두부 장착형 디스플레이(HMD: Head Mounted Display) 장치, 내비게이션 장치, 휴대용 게임기, 개인용 디지털 보조기(PDA: Personal Digital Assistant), 디지털 텔레비전, 셋 톱 박스, 디지털 미디어 플레이어 장치, 인공 지능 음향 재생 장치(인공 지능 스피커), 가전 기기(냉장고 또는 세탁기 등), 유인 이동체(승용차, 버스나 이륜차 등의 차량 등), 무인 이동체(로봇 청소기 등), 유인 비행체, 무인 비행체(드론 등), 가정용 또는 산업용 로봇 또는 산업용 기계 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 설계자나 사용자 등은 상황이나 조건에 따라서 상술한 장치 이외에도 정보의 연산 처리 및 제어가 다양한 장치 중 적어도 하나를 상술한 심음 분석 장치(100)로 고려 및 적용할 수 있다.
또한, 실시예에 따라서 상술한 심음 분석 장치(100)는 대상자로부터 수집한 실측 심음 데이터(13)에 대한 분석만을 수행할 수도 있다. 다시 말해서, 심음 분석 장치(100)는 학습용 심음 데이터(10)는 획득하지 않고, 실측 심음 데이터(13)만 대상자로부터 획득할 수도 있다. 이 경우, 심음 분석 장치(100)의 프로세서(110)는 학습 모델의 훈련은 수행하지 않고, 대상자로부터 획득한 실측 심음 데이터(13) 및 기 훈련된 학습 모델을 이용하여 실측 심음 데이터(13)에 상응하는 분석 결과(19)를 생성하도록 마련된 것일 수도 있다. 이 경우, 훈련된 학습 모델은, 외부의 메모리 장치나 통신 모듈 등을 통해 다른 정보처리장치(일례로 서버용 하드웨어 장치, 데스크톱 컴퓨터 또는 스마트폰 등)로부터 수신하여 획득된 것일 수도 있다. 예를 들어, 심음 분석 장치(100)는 전자 소프트웨어 유통망 등을 통해 기 훈련된 학습 모델을 획득하고, 이를 기반으로 대상자로부터 수집한 실측 심음 데이터(13)에 대한 분석을 수행할 수도 있다.
이하 도 5를 참조하여 심음 분석 방법의 일 실시예를 설명하도록 한다.
도 5는 심음 분석 방법의 일 실시예에 대한 흐름도이다.
도 5에 도시된 심음 분석 방법의 일 실시예에 따르면, 먼저 적어도 하나의 학습용 심음 데이터가 일 회 또는 다 회에 걸쳐 획득될 수 있다(200).
학습용 심음 데이터는 필터링되어 특정한 주파수 대역의 데이터가 획득될 수 있다(202). 이 경우, 대역 통과 필터, 로우 패스 필터 및 하이 패스 필터 중 적어도 하나가 단독으로 또는 조합되어 이용될 수 있다. 이어서, 필요에 따라 필터링된 심음 데이터의 크기가 일정한 크기로 변환된다(204). 만약 필터링된 심음 데이터의 크기가 소정의 기준 크기보다 작다면, 데이터의 전부 또는 일부가 반복되도록 함으로써 심음 데이터의 크기를 증가시킬 수 있다. 이에 따라 단일한 크기의 다수의 학습용 심음 데이터(즉, 전처리된 심음 데이터)가 획득될 수 있게 된다.
전처리된 심음 데이터에 대해 소정의 샘플링 레이트에 따라 샘플링 처리가 수행되고(208), 샘플링된 심음 데이터는 소정의 변환 기법에 의해 변환 처리될 수 있다(210). 여기서, 소정의 변환 기법은 패스트 푸리에 변환이나 단시간 푸리에 변환 등을 포함 가능하나, 이에 한정되는 것은 아니다. 실시예에 따라서, 변환 처리 전에 샘플링된 심음 데이터는 소정 길이의 프레임으로 분할되고, 각각의 프레임마다 소정의 윈도우 함수가 적용될 수도 있다. 이 경우, 변환 처리는 윈도우 함수가 적용된 각각의 프레임마다 수행될 수도 있다.
변환 처리된 심음 데이터로부터 이에 대응하는 특징이 추출되어 획득될 수 있다(212). 특징은, 구체적으로 예를 들어, 변환 처리된 심음 데이터에 대해 멜 필터 뱅크를 적용한 후, 이에 대해 캡스트럼 분석을 수행함으로써 추출될 수도 있다. 특징은 멜 주파수 켑스트럴 계수를 포함할 수도 있다. 이 경우, 멜 주파수 켑스트럴 계수는, 변환 처리된 심음 데이터에 대한 멜 필터 뱅크 적용에 따라 획득된 멜 스펙트로그램(또는 추가적인 로그 스케일링에 따라 획득된 로그 멜 스펙트로그램)에 대해 이산 코사인 변환, 이산 푸리에 변환 또는 고속 푸리에 역변환 등을 적용함으로써 획득될 수도 있다.
적어도 하나의 학습용 심음 데이터에 대응하는 적어도 하나의 특징, 일례로 적어도 하나의 멜 주파수 켑스트럴 계수를 기반으로, 심음 데이터의 분류를 위한 학습 모델이 훈련된다(214). 여기서, 학습 모델은 프루닝 기법 및 양자화 기법 중 적어도 하나를 채용하여 구현된 것일 수도 있다.
이후 대상자로부터 실측 심음 데이터가 마이크로 폰 등을 통해 획득되면(220), 획득된 실측 심음 데이터는 상술한 바와 동일하게 대역 통과 필터, 로우 패스 필터 및 하이 패스 필터 중 적어도 하나 등을 이용하여 필터링 처리되고(222), 그 크기가 일정한 크기로 변환 처리되어 실측 심음 데이터에 대응하는 전처리된 심음 데이터가 획득된다(224). 전처리된 심음 데이터는 소정 샘플링 레이트에 따라 샘플링 처리된 후(228), 패스트 푸리에 변환이나 단시간 푸리에 변환 등을 이용하여 변환 처리된다(230). 상술한 바와 같이 변환 처리 전에 심음 데이터는 소정 크기의 적어도 하나의 프레임으로 분할되고, 소정의 윈도우 함수가 프레임(들)마다 적용될 수도 있다.
변환 처리된 심음 데이터에 대해 특징, 일례로 실측 심음 데이터에 대응하는 멜 주파수 켑스트럴 계수가 추출될 수 있다(232). 상술한 바와 같이 멜 필터 뱅크가 멜 스펙트로그램의 획득을 위해 이용될 수 있으며, 멜 스펙트로그램이나 로그 멜 스펙트로그램의 변환을 위해 이산 코사인 변환, 이산 푸리에 변환 또는 고속 푸리에 역변환 등이 이용될 수 있다.
실측 심음 데이터에 대응하는 멜 주파수 켑스트럴 계수는 훈련된 학습 모델에 입력되고(234), 학습 모델은 멜 주파수 켑스트럴 계수의 입력에 응하여 대응하는 결과를 출력할 수 있다(236). 이에 따라 실측 심음 데이터에 대응하는 결과가 획득될 수 있다. 획득 결과는 실측 심음 데이터가 획득된 대상자의 심장이 정상인지, 비정상인지 또는 아티팩트가 존재하는지 여부 등을 포함할 수 있다.
상술한 실시예에 따른 심음 분석 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 프로그램은, 명령어, 라이브러리, 데이터 파일 및/또는 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다. 상술한 심음 분석 방법을 구현하기 위한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 솔리드 스테이트 드라이브(SSD), 롬, 램 또는 플래시 메모리 등과 같은 반도체 저장 장치, 하드 디스크나 플로피 디스크 등과 같은 자기 디스크 저장 매체, 콤팩트 디스크나 디브이디 등과 같은 광 기록 매체, 플롭티컬 디스크 등과 같은 자기-광 기록 매체 및 자기 테이프 등 컴퓨터 등의 호출에 따라 실행되는 특정 프로그램을 저장 가능한 적어도 한 종류의 물리적 장치를 포함할 수 있다.
이상 심음 분석 장치 및 심음 분석 방법의 일 실시예를 설명하였으나, 심음 분석 장치 및 심음 분석 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현 가능한 다양한 장치나 방법 역시 상술한 심음 분석 장치 또는 심음 분석 방법의 일 실시예가 될 수 있다. 예를 들어, 설명된 방법(들)이 설명된 바와 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소(들)가 설명된 바와 다른 형태로 결합, 연결 또는 조합되거나 다른 구성 요소 또는 균등물 등에 의하여 대치되거나 또는 치환되더라도, 상술한 심음 분석 장치이나 심음 분석 방법의 일 실시예가 될 수 있다.
10: 학습용 심음 데이터
13: 실측 심음 데이터
19: 분석 결과 100: 심음 분석 장치
101: 심음 데이터 획득부 103: 저장부
105: 결과 출력부 110: 프로세서
111: 데이터 전처리부 113: 특징 추출부
115: 분류부
19: 분석 결과 100: 심음 분석 장치
101: 심음 데이터 획득부 103: 저장부
105: 결과 출력부 110: 프로세서
111: 데이터 전처리부 113: 특징 추출부
115: 분류부
Claims (12)
- 학습용 심음 데이터를 획득하는 심음 데이터 획득부; 및
상기 학습용 심음 데이터에 대해 전처리를 수행하여 전처리된 학습용 심음 데이터를 획득하고, 상기 전처리된 학습용 심음 데이터에 대해 변환 처리를 수행하여 변환 처리된 심음 데이터를 획득하고, 상기 변환 처리된 심음 데이터로부터 멜 주파수 켑스트럴 계수(MFCC: Mel-Frequency Coefficient)를 획득하고, 프루닝 기법 및 양자화 기법 중 적어도 하나를 이용하는 학습 모델을 상기 멜 주파수 켑스트럴 계수를 기반으로 훈련시키는 프로세서;를 포함하는 심음 분석 장치. - 제1항에 있어서,
상기 프로세서는, 상기 학습용 심음 데이터를 필터링하고 필터링된 심음 데이터의 크기를 기준 크기로 변환하여 상기 학습용 심음 데이터에 대한 전처리를 수행하는 심음 분석 장치. - 제1항에 있어서,
상기 프로세서는, 전처리된 학습용 심음 데이터를 소정의 샘플링 레이트에 따라서 샘플링 처리를 수행하여 샘플링된 심음 데이터를 획득하고, 상기 샘플링된 심음 데이터를 적어도 하나의 프레임으로 분할하고, 적어도 하나의 프레임에 대해 윈도우 함수를 적용한 후, 윈도우 함수가 적용된 프레임을 패스트 푸리에 변환 또는 단시간 푸리에 변환을 이용하여 변환함으로써 상기 변환 처리된 심음 데이터를 획득하는 심음 분석 장치. - 제1항에 있어서,
상기 프로세서는, 상기 변환 처리된 심음 데이터에 대해 멜 필터 뱅크를 적용하여 멜 스펙트로그램을 획득하고, 상기 멜 스팩트로그램 또는 상기 멜 스팩트로그램에 대한 로그 스케일링 처리에 따라 획득된 로그 멜 스펙트로그램을 이산 코사인 변환, 이산 푸리에 변환 또는 고속 푸리에 역변환을 이용하여 변환함으로써 상기 멜 주파수 켑스트럴 계수를 획득하는 심음 분석 장치. - 제1항에 있어서,
상기 심음 데이터 획득부는 대상자로부터 실측 심음 데이터를 획득하고,
상기 프로세서는 상기 실측 심음 데이터 및 훈련된 상기 학습 모델을 이용하여 상기 실측 심음 데이터에 대응하는 분석 결과를 획득하는 심음 분석 장치. - 학습용 심음 데이터를 획득하는 단계;
상기 학습용 심음 데이터에 대해 전처리를 수행하여 전처리된 학습용 심음 데이터를 획득하는 단계;
상기 전처리된 학습용 심음 데이터에 대해 변환 처리를 수행하여 변환 처리된 심음 데이터를 획득하는 단계;
변환 처리된 심음 데이터로부터 멜 주파수 켑스트럴 계수를 획득하는 단계; 및
상기 멜 주파수 켑스트럴 계수를 기반으로, 프루닝 기법 및 양자화 기법 중 적어도 하나를 이용하는 학습 모델을 훈련시키는 단계;를 포함하는 심음 분석 방법. - 제6항에 있어서,
상기 학습용 심음 데이터에 대해 전처리를 수행하여 전처리된 학습용 심음 데이터를 획득하는 단계는,
상기 학습용 심음 데이터를 필터링하는 단계; 및
필터링된 심음 데이터의 크기를 기준 크기로 변환하는 단계;를 포함하는 심음 분석 방법. - 제6항에 있어서,
상기 전처리된 학습용 심음 데이터에 대해 변환 처리를 수행하여 변환 처리된 심음 데이터를 획득하는 단계는,
상기 전처리된 학습용 심음 데이터를 소정의 샘플링 레이트에 따라서 샘플링 처리를 수행하여 샘플링된 심음 데이터를 획득하는 단계;
상기 샘플링된 심음 데이터를 적어도 하나의 프레임으로 분할하는 단계;
상기 적어도 하나의 프레임에 대해 윈도우 함수를 적용하는 단계; 및
윈도우 함수가 적용된 프레임을 패스트 푸리에 변환 또는 단시간 푸리에 변환을 이용하여 변환하여 상기 변환 처리된 심음 데이터를 획득하는 단계;를 포함하는 심음 분석 방법. - 제6항에 있어서,
상기 변환 처리된 심음 데이터로부터 멜 주파수 켑스트럴 계수를 획득하는 단계는,
상기 변환 처리된 심음 데이터에 대해 멜 필터 뱅크를 적용하여 멜 스펙트로그램을 획득하는 단계; 및
상기 멜 스팩트로그램 또는 상기 멜 스팩트로그램에 대한 로그 스케일링 처리에 따라 획득된 로그 멜 스펙트로그램을 이산 코사인 변환, 이산 푸리에 변환 또는 고속 푸리에 역변환을 기반으로 변환하여 상기 멜 주파수 켑스트럴 계수를 획득하는 단계;를 포함하는 심음 분석 방법. - 제6항에 있어서,
대상자로부터 실측 심음 데이터를 획득하는 단계; 및
상기 실측 심음 데이터 및 훈련된 상기 학습 모델을 이용하여 상기 실측 심음 데이터에 대응하는 분석 결과를 획득하는 단계;를 더 포함하는 심음 분석 방법. - 대상자로부터 실측 심음 데이터를 획득하는 심음 데이터 획득부; 및
상기 실측 심음 데이터에 대해 전처리를 수행하여 전처리된 심음 데이터를 획득하고, 상기 전처리된 학습용 심음 데이터에 대해 변환 처리를 수행하여 변환 처리된 심음 데이터를 획득하고, 상기 변환 처리된 심음 데이터로부터 멜 주파수 켑스트럴 계수를 획득하고, 프루닝 기법 및 양자화 기법 중 적어도 하나를 이용하는 학습 모델 및 상기 멜 주파수 켑스트럴 계수를 기반으로 상기 실측 심음 데이터에 대응하는 분석 결과를 획득하는 프로세서;를 포함하는 심음 분석 장치. - 대상자로부터 실측 심음 심음 데이터를 획득하는 단계;
상기 실측 심음 데이터에 대해 전처리를 수행하여 전처리된 학습용 심음 데이터를 획득하는 단계;
상기 전처리된 학습용 심음 데이터에 대해 변환 처리를 수행하여 변환 처리된 심음 데이터를 획득하는 단계;
변환 처리된 심음 데이터로부터 멜 주파수 켑스트럴 계수를 획득하는 단계; 및
프루닝 기법 및 양자화 기법 중 적어도 하나를 이용하는 학습 모델 및 상기 멜 주파수 켑스트럴 계수를 기반으로 상기 실측 심음 데이터에 대응하는 분석 결과를 획득하는 단계;를 포함하는 심음 분석 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210076657A KR20220167547A (ko) | 2021-06-14 | 2021-06-14 | 심음 분석 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210076657A KR20220167547A (ko) | 2021-06-14 | 2021-06-14 | 심음 분석 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220167547A true KR20220167547A (ko) | 2022-12-21 |
Family
ID=84536874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210076657A KR20220167547A (ko) | 2021-06-14 | 2021-06-14 | 심음 분석 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220167547A (ko) |
-
2021
- 2021-06-14 KR KR1020210076657A patent/KR20220167547A/ko not_active IP Right Cessation
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lella et al. | Automatic diagnosis of COVID-19 disease using deep convolutional neural network with multi-feature channel from respiratory sound data: cough, voice, and breath | |
| Mouawad et al. | Robust detection of COVID-19 in cough sounds: using recurrence dynamics and variable Markov model | |
| Kranthi Kumar et al. | COVID-19 disease diagnosis with light-weight CNN using modified MFCC and enhanced GFCC from human respiratory sounds | |
| US20220130415A1 (en) | Method for Detecting and Classifying Coughs or Other Non-Semantic Sounds Using Audio Feature Set Learned from Speech | |
| Vazquez-Rodriguez et al. | Transformer-based self-supervised learning for emotion recognition | |
| Boulares et al. | Transfer learning benchmark for cardiovascular disease recognition | |
| KR20170064960A (ko) | 파동신호를 활용한 질병 진단 장치 및 그 방법 | |
| Zakaria et al. | VGG16, ResNet-50, and GoogLeNet deep learning architecture for breathing sound classification: a comparative study | |
| Khorram et al. | Jointly aligning and predicting continuous emotion annotations | |
| Turan et al. | Monitoring Infant's Emotional Cry in Domestic Environments Using the Capsule Network Architecture. | |
| Shuvo et al. | NRC-Net: Automated noise robust cardio net for detecting valvular cardiac diseases using optimum transformation method with heart sound signals | |
| Almanifi et al. | Heartbeat murmurs detection in phonocardiogram recordings via transfer learning | |
| Nguyen et al. | A potential approach for emotion prediction using heart rate signals | |
| Das et al. | Heart valve diseases detection based on feature-fusion and hierarchical LSTM network | |
| Abbas et al. | Artificial intelligence framework for heart disease classification from audio signals | |
| Turaev et al. | Review and analysis of patients’ body language from an artificial intelligence perspective | |
| Roy et al. | Conv-Random Forest Based IoT: A Deep Learning Model Based on CNN and Random Forest for Classification and Analysis of Valvular Heart Diseases | |
| KR20220167547A (ko) | 심음 분석 장치 및 방법 | |
| Chen et al. | Applying cybernetic technology to diagnose human pulmonary sounds | |
| Abhishek et al. | ESP8266-based Real-time Auscultation Sound Classification | |
| KR102589471B1 (ko) | 데이터 증강 장치 및 방법 | |
| KR20230135844A (ko) | 생체 및 감성 반응형 마스킹 사운드 자동 제어 장치, 방법 및 시스템 | |
| Peng et al. | ULSED: An ultra-lightweight SED model for IoT devices | |
| Nguyen et al. | Computational lung sound classification: a review | |
| CN111899713A (zh) | 一种缄默通讯方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X601 | Decision of rejection after re-examination |