TWI596600B - 識別生理聲音的方法以及系統 - Google Patents

識別生理聲音的方法以及系統 Download PDF

Info

Publication number
TWI596600B
TWI596600B TW105112919A TW105112919A TWI596600B TW I596600 B TWI596600 B TW I596600B TW 105112919 A TW105112919 A TW 105112919A TW 105112919 A TW105112919 A TW 105112919A TW I596600 B TWI596600 B TW I596600B
Authority
TW
Taiwan
Prior art keywords
sound
physiological
module
heart
recognizing
Prior art date
Application number
TW105112919A
Other languages
English (en)
Other versions
TW201643865A (zh
Inventor
蔡昆熹
曹昱
古士軒
梁慈真
張雲帆
楊仕屹
Original Assignee
創心醫電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 創心醫電股份有限公司 filed Critical 創心醫電股份有限公司
Publication of TW201643865A publication Critical patent/TW201643865A/zh
Application granted granted Critical
Publication of TWI596600B publication Critical patent/TWI596600B/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/04—Electric stethoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02028—Determining haemodynamic parameters not otherwise provided for, e.g. cardiac contractility or left ventricular ejection fraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0803—Recording apparatus specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4255—Intestines, colon or appendix
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/003—Detecting lung or respiration noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/008—Detecting noise of gastric tract, e.g. caused by voiding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/362—Heart stimulators
    • A61N1/365—Heart stimulators controlled by a physiological parameter, e.g. heart potential
    • A61N1/36514—Heart stimulators controlled by a physiological parameter, e.g. heart potential controlled by a physiological quantity other than heart potential, e.g. blood pressure
    • A61N1/36578—Heart stimulators controlled by a physiological parameter, e.g. heart potential controlled by a physiological quantity other than heart potential, e.g. blood pressure controlled by mechanical motion of the heart wall, e.g. measured by an accelerometer or microphone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/38—Applying electric currents by contact electrodes alternating or intermittent currents for producing shock effects
    • A61N1/39—Heart defibrillators
    • A61N1/3904—External heart defibrillators [EHD]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Cardiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Pulmonology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Vascular Medicine (AREA)

Description

識別生理聲音的方法以及系統
本發明涉及一種識別生理聲音的方法以及系統。
非侵入性聽診對心臟、肺、骨髓、小腸、血管病的分析已經成為疾病醫療診斷的非常有用的工具。傳統的電子聽診器於1992年才被發明。現代的電子聽診器能夠提升信號的品質以及提供心臟音訊號的視覺化應用，例如心音圖(phonocardiogram，PCG)。心音圖(PCG)以及心電圖(Electrocardiography，ECG)可以應用於心臟的基礎測試。通過儀器的機械振動記錄電信號可以獲得心音圖(PCG)(聽診器放置在胸部的特定位置進行資料收集)。在心臟的任意兩面放置兩個電極，並將兩個電極連接到心電圖機的正極與負極，形成標準心電圖並記錄身體任意兩個地方的心電的電壓變化。心電圖通常在心電圖測紙上所示或者監控，反映整個心臟跳動的節律以及心肌的薄弱部分。第一心音(S1)發生在心臟收縮期，由於心室收縮血液流經大血管並引起二尖瓣和三尖瓣關閉。第一心音(S1)持續時間相對長，音調低。第二心音(S2)發生在心臟舒張期，由於心室壁擴張所引起主動脈瓣和肺動脈瓣迅速關閉，且房室瓣打開引起血液從心房流向心室。第二心音(S2)持續時間相比第一心音(S1)更短。臨床上，異常的第三心音以及第四心音有時候也會被發現。第三心音的頻率以及幅 度較低，由心室壁擴張所引起。第四心音由於心房收縮以及心室壁的舒張時血流快速充盈心室所引起。
大量的心臟疾病都能夠通過聽診有效診斷。在一些嚴重的心臟疾病(例如心臟瓣膜功能失常、心臟衰竭等)，心臟聽診已經成為早期診斷中成功、可靠、低成本的方式。然而，心臟聽診的準確性同醫生的經驗息息相關。一些疾病展示了明顯的發生方式(例如，第一心音(S1)以及第二心音(S2)發生之間或者第二心音(S2)之後等)。因此，如何自動提取以及初步判斷第一心音(S1)與第二心音(S2)的發生時間成為重要課題。這個課題能夠有效幫助醫生初步證實疾病的發生。常規情況下，第一心音(S1)以及第二心音(S2)的時間順序成為判斷的素材。而且心率不整的情況下，時間順序不再可靠。如果第一心音(S1)與第二心音(S2)之間的聲紋對比較為合理，心律不齊病例的判斷需要提高品質。關於心音的提取研究可以分為兩大類：心電信號相關性以及心電信號非相關性。心電信號的相關性研究包括心電圖基於暫態能量的提取(Malarvili et al.,2003)以及QRS波群和T波群的提取(E1-Segaier et al.，2005)。雖然如此，在低品質的心電信號，不大可能總是清晰的測出T波。在這種情況下，第二心音(S2)可以用非監督分類器進行分類(Carvalho et al.,2005)，雖然這些方式必須視乎硬體裝置以及被測試者的舒服程度。心電信號非相關性的方法可以分為非監督類方法以及監督類方法。非監督類的方式包括使用歸一化平均香農能量(normalized average Shannon Energy，Liang et al.1997)以及高頻率的方式(Kumar et al.2006)作為小波分析。監督類的方式包括神經網路分類器(Hebden et al.,1996)以及決策樹(Stasis et al.,1996)用於分類。除此之外，最先進的提取方式往往根據第一心音(S1)與第二心音(S2)之間的規律間距的特徵。一般來說，平均的心跳速率(Olmez et al.,2003,Kumar et al.,2006)能夠在研究中假定。然而，這些假定並不能應用在心律不齊患者的心音。
在實際臨床案例中，對於心音圖以及心電圖同時同步進行記錄與分析相對較為困難。另外，當無脈搏性電氣活動出現的時候，由於電流活動的維持，心電圖不能判定心律已經停止。因此，如何根據獨有的心音圖(PCG)進行診斷成為重要以及主流的研究課題。主流的檢測手段通常包括判斷第一心音(S1)以及第二心音(S2)的時間間隔特徵。但是這種特徵在一些情況諸如心律不整變得不再可靠，極大地降低了檢測的準確性。因此，前案中缺陷需要得到解決。
有鑑於此，有必要提供一種識別生理聲音的系統，包括一接收模組，一特徵提取模組，一分類器。接收模組用於接收生理聲音；特徵提取模組用於提取所述生理聲音中至少一特徵；分類器用於分類所述至少一特徵以識別至少一種種類。
所述接收模組是一生理記錄裝置將生理聲音的類比訊號轉化為數位訊號。
所述生理記錄裝置是一電子聽診器。
所述特徵提取模組包括語音活動檢測(VAD)模組以及梅爾頻率倒頻譜系數(MFCC)模組。語音活動檢測(VAD)模組用於從生理聲音中檢測至少一聲音片段；梅爾頻率倒頻譜系數(MFCC)模組用於轉移所述至少一聲音片段到至少一種梅爾頻率倒頻譜系數(MFCC)特徵向量中。
所述系統進一步包括K-平均演算法模組，用於從至少一種梅爾頻率倒頻譜系數向量中找出至少一代表點。
所述分類器包括監督分類器。
所述監督分類器包括K-近鄰演算法(KNN)模組、高斯混合模型(GMM)模組、支援向量機(SVM)模組或者深度神經網路(DNN)模組。
所述生理聲音包括心臟音、肺音、腸鳴音、血管音、氣管呼吸音、支氣管呼吸音以及肢體音。
所述心臟音包括第一心音(S1)、第二心音(S2)以及兩者的混合模型。
所述系統進一步包括一比較模組，用於對比正常生理聲音以及/或者異常生理聲音中至少一種類別以評估疾病風險。
所述系統進一步包括自動體外心臟除顫器、動態心電圖監護儀、心肺復蘇器(CPR)、心臟起搏器、埋藏式心臟複律除顫器(ICD)、心電圖(EKG)或者超聲波裝置。當系統在非危險情況識別第一心音(S1)和第二心音(S2)時，系統合併成心率檢測裝置。當系統在危險情況識別第一心音(S1)和第二心音(S2)時，系統區分脈搏狀態和無脈搏，從而準確決定使用哪種裝置。
另外一方面，本發明提供一種使用如上所述系統的識別生理聲音的方法，包括：使用接收模組，接收生理聲音；使用特徵提取模組，從生理聲音中提取至少一特徵；使用分類器，分類至少一特徵以識別至少一種類別。
所述從生理聲音中提取至少一特徵包括：使用語音活動檢測(VAD)模組從生理聲音中檢測至少一聲音片段；以及使用梅爾頻率倒頻譜系數(MFCC)模組轉移所述至少一聲音片段到至少一MFCC特徵向量。
所述方法進一步包括：通過K-平均演算法模組從至少一MFCC特徵向量中找出至少一代表點。
所述分類器包括監督分類器。
所述監督分類器包括K-近鄰演算法(KNN)模組、高斯混合模型(GMM)模組、支援向量機(SVM)模組或者深度神經網路(DNN)模組。
所述生理聲音包括心臟音、肺音、腸鳴音、血管音、氣管呼吸音、支氣管呼吸音以及肢體音。
所述心臟音包括第一心音(S1)、第二心音(S2)或者二者的混合模型。
所述方法進一步包括：使用比較模組對比正常生理聲音以及/或者異常生理聲音中至少一種類別以評估疾病風險。
本發明的優點在於識別生理聲音的系統以及方法能夠準確識別特徵性的生理聲音，並且能夠排除雜訊。
從下述的詳細實施方式搭配附圖，本發明的其他目的、優勢和新穎特徵將變得更加的顯著。
100‧‧‧識別生理聲音的系統
110‧‧‧接收模組
120‧‧‧特徵提取模組
121‧‧‧VAD模組
122‧‧‧MFCC模組
123‧‧‧K-平均演算法模組
130‧‧‧分類器
131‧‧‧KNN模組
132‧‧‧GMM模組
133‧‧‧SVM模組
134‧‧‧DNN模組
140‧‧‧對比模組
圖1顯示了本發明中識別生理聲音的系統的組成模組圖；圖2顯示了本發明的分類器包括K-近鄰演算法(KNN)模組、高斯混合模型(GMM)模組、支持向量機(SVM)模組以及深度神經網路(DNN)模組；圖3是一個深度神經網路(DNN)模型；圖4顯示了一個流程圖，描述了圖1中識別生理聲音的方法：S201到S206分別代表步驟201到步驟206； 圖5是本發明中第一心音(S1)和第二心音(S2)的光譜圖(上方位置)和波形圖(下方位置)；圖6顯示了心臟音的精確結果，使用本發明的分類器KNN模組、高斯混合模型(GMM)模組、支援向量機(SVM)模組和深度神經網路(DNN)模組。
圖7顯示了使用語音活動檢測(VAD)模組處理的規則心臟音的能量差異聲音片段(實體方框部分所示)；圖8顯示了使用語音活動檢測(VAD)模組處理的不規則心臟音的能量差異聲音片段(實體方框部分所示)；圖9顯示了使用語音活動檢測(VAD)模組處理的正常肺音的能量差異聲音片段(實體方框部分所示)；圖10顯示了使用語音活動檢測(VAD)模組處理的哮鳴肺的能量差異聲音片段(實體方框部分所示)；圖11顯示了使用語音活動檢測(VAD)模組處理的濕囉肺音的能量差異聲音片段(實體方框部分所示)。
本發明提供一種識別生理聲音的系統與方法。如圖1和2所示，識別生理聲音的系統100包括接收模組110，特徵提取模組120，分類器130以及對比模組140。所述特徵提取模組120包括語音活動檢測(voice activity detector，VAD)模組121、梅爾頻率倒頻譜系數(Mel-Frequency Cepstrum，MFCC)模組122、K-平均演算法模組123；分類器130包括K-近鄰演算法模組(K-nearest neighbor，KNN)模組131、高斯混合模型(Gaussian mixture model，GMM)模組132、支援向量機(support vector machine，SVM)模組133或者深度神經網路(deep neural network，DNN)模組134。
準備1特徵提取
(1)VAD模組121
VAD模組121又稱為語音活動檢測或者語音檢測，通常被使用於判斷一段聲音信號是否存在人聲的語音處理技術。語音活動檢測(VAD)模組121的主要應用在語音編碼和語音辨識。VAD模組121也常用在分類問題前做為預處理，以提高後期辨識的準確性。這種預處理在此的目的用於找出第一心音(S1)和第二心音(S2)的位置，同時進一步偵測此聲音片段是第一心音(S1)還是第二心音(S2)。理想狀態下，通過聽診器採集的心臟音訊號通常遠大於雜訊的訊號，所以我們可以根據聲音能量的差異確定此片段是否是我們所需要的心臟音。經過VAD模組121處理之後的結果如圖3所示。以能量的差異作為判定心臟音的所在位置。
首先，針對每段聲音信號計算該段語音的最大標準差，如公式(1)計算。
公式(1)中 m 代表音框， n 代表頻域，μ代表平均值。
接下來計算該段聲音每個音框是否有心臟音，如公式(2)所示。
f i 代表第 i 個音框，1代表有心臟音以及0代表靜止的聲音， std i 代表第 i 個音框的標準差，α以及β代表參數。
(2)MFCC模組122
通常來說，人體在不同頻率域的區間下有著不同的感知敏感度。正常情況下是對於低頻率有更高的解析度，意味著在低頻時可以分辨較小的頻率差異。此外還需要考慮臨界頻帶現象。在1kHz頻率下的臨界頻帶寬度約為100Hz。1kHz頻率以上的臨界頻帶寬度成指數增長。因此，我們可以根據人類聽覺特徵，在頻率域中以梅爾量度(Mel scale)劃分頻率帶，將屬於一條頻率帶中的頻率成分合在一起看成一個能量強度，然後將這些頻帶強度以離散餘弦變換(Discrete Cosine Transform，DCT)計算之後轉化為倒頻譜，此為梅爾頻率倒頻譜(Mel Frequency Cepstrum，MFC)。因為梅爾頻率倒頻譜系數MFCC是依據人耳聽覺模型所產生的參數，所以成功地被應用於語音辨識以及分類問題中。MFCC模組122利用下列6個連續的步驟計算MFCC：預強，加視窗，快速傅立葉轉換(Fast Fourier Transform，FFT)，梅爾濾波器組，非線性轉換以及離散餘弦變換(Discrete Cosine Transform，DCT)。
一般來說，經過以上六個步驟之後可以獲取十三個維度的語音特徵，包括一個對數能量參數以及十二個倒頻譜參數。但在實際運用於音訊分析上，通常會再添加差分倒頻譜函數，以顯示倒頻譜參數如何隨著時間進行變化。它的意義為倒頻譜參數相對於時間的斜率，也就是代表倒頻譜參數在時間上的動態變化。因此，如果加上速度以及加速度的成分之後可以得到39維的語音特徵，其計算方法如下所示：
c [ i ]代表第 i 個維度的倒頻譜參數， t 代表音框的時間指示。
(3)K-平均演算法模組123
K-平均演算法模組123主要目標用於從大量高維度的資料點中找出具有代表性的資料點。這些資料點稱為群中心。再根據群中心進行資料壓縮(利用少數的資料點代表大量的資料以達到壓縮資料功能)以及分類(以少數的代表點來代表特定的類別，可以降低資料量和計算量，避免雜訊帶入的負面幹擾)。演算法的計算步驟如下所示：
A.初始化：將訓練資料隨機分成 K 單元，任意地選擇 K 參數作為原始的種子中心 y k ， k =1,2,..., K
B.遞迴演算：
a.將每一個資料 x ，對所有 K 個群中心計算與其之間的距離，並使其歸屬到距離最短的群中心。
k *=arg k mind(x,y k ),x C k 公式(5)
b.所有歸屬於 C k 資料的 x 形成一個群。再重新計算其群中心 y k 。
c.如果新的一組群中心與原先一組的群中心相同，沒有改變，則該訓練結束。否則就以新的一組群中心替代原先的群中心。回到a步驟持續進行遞迴演算。
準備2 分類器
(1)KNN模組131
K-近鄰演算法(KNN)模組131背後的本義是“物以類聚”。換句話說，同一類的物件應該會聚集在一起。用數學的語言來說，如果同一類別的物件若以高維度空間中的點來表示，這些點之間的距離應該會變得比較相近。因此，對於一個未知類別的一筆資料，我們只要找出來在訓練資料中和此筆資料最相鄰的點，就可以判定此筆資料的類別應該和最接近的點的類別是一樣的。K-近鄰演算法(KNN)模組131的分類步驟主要是將一個測量資料 x 分類到類別 C 中的其中一類。這些步驟的具體實施方式如下：
A.決定要使用測量資料 x ，對訓練資料中的最相鄰的資料點 K 。使用合適的距離公式計算距離。
B.當測量資料 x ，於某特定類別中有相對較多數的代表(在 K 個最近距離中於某類別中的個數占最多)，則判定 x 為該類別。
整個分類器所預先需要的資訊是：最相鄰的 K 資料點的個數，選擇計算距離的公式，以及訓練資料。
假定我們的訓練集為成對的( x i ,z i ), i =1,..., n 。 x i 代表第 i 個訓練資料的向量，而 z i 是對應的分類指標(例如zi=j代表第 i 個訓練資料向量是第j類別ω i 的樣本)。將測試資料向量 x 與訓練資料向量 y 之間的距離定義為 d ( x , y )。在此部分使用歐幾裡得尺度(Euclidean metric)作為距離計算公式，如公式6所示。
(2)高斯混合模型(GMM)模組132
高斯分類器是一種常規的分類器，應用貝式定理(Bayes' theorem)作為基本的概念。這也是高斯分類器被稱為貝式分類器(Naive Bayes classifier)的原因。該高斯分類器的概念是利用已知的類型資料計算其概率分佈，並在已知類型的概率分佈中找出未知類型資料的概率，其中概率最高的類型就會被選作未知資料的類型，而平均值以及標準差作為決定整個模型的兩個參數。
單一高斯分佈是根據一個平均值和一個標準差描述其分佈的形狀。然而，訊號通常是以更加複雜的方式分佈。因此，如果只使用一個高斯分佈通常無法近似於該信號。而高斯混合模型是使用多個高斯分佈來類比訊號。正因為如此，訊號的分佈能夠更好的得到模擬。而且，隨著混合高斯曲線的數量提升之後，分佈的形狀變得更加的相似以及複雜程度變得相對提高。
高斯混合模型包括3個參數：平均向量μ i ，共變異矩陣Σ i ，加權值ω i 。為了簡化表示高斯模型，以λ來表示，表示的公式如公式(7)所示。
λ={ω i ,μ i ,Σ i },i=1,...,K 公式(7)
特徵向量 z 的混合概率密度函數利用公式(8)表達
其中 p i ( z )為特徵向量 z 的第 i 個高斯分佈概率密度函數。
其中因為最大概率值為1，所以(7)式中高斯混合模型的混合概率密度函數的加權值ω i 必須符合公式(10)所述的條件才會成立。
當有一筆數目為N，維度為d的特徵向量z，要將此訓練樣本訓練成符合高斯混合模型λ時，即是希望求得適當高斯混合模型λ的三個參數μ i 、Σ i 以及ω i ( i =1,..., K )。使得訓練過後的模型能充分代表特徵向量 z 的分佈。也就是找出一組適當的模型參數，使得特徵向量 z 以及高斯混合模型λ的相似性 p ( z |λ)為最大，如公式(11)所示。
因為公式(8)是非線性的等式，解決過程中複雜的計算公式是難以避免的。一般來說，可以應用最大期望(expectation-maximization，EM)演算法找出高斯混合模型的最佳參數。
(3)SVM模型133
支援向量機(SVM)模組133廣泛使用在統計分類以及迴歸分析。根據實驗證實SVM模組133有強大的分類能力。SVM模組133的中心概念是將訓練資料映射到高維特徵平面，以及建立一個最佳超平面(在高維度中的平面且 於大間隔中擁有邊界)。大部分的SVM模型主要應用在二元分類的問題上，但也可以結合多個二元分類，建構出多重類別的分類方法。而這些情況又被分為線性資料以及非線性資料兩種情形。
假定一個子集{ x i , i =1,..., n }以及子集被分配到ω 1 或者ω 2 其中一類，對應標記為 y i =±1，其希望能找到一個超平面 g ( x )( g ( x )= w T x + w 0 )，使所有yi=+1的資料點都落在 g ( x )>0的範圍內。通過執行這樣操作，即可利用 g ( x )的正負號來區別。其進一步希望找到與所示兩條邊界有最大距離的平面，稱為最佳超平面。為了使 H1 與 H2 之間的距離最大化，需利用公式(12)解決：
限制條件如公式(13)所描述
當資料不是線性和可分離的時候，利用核函數如函數(14)進行使用，將資料投射到更高維度特徵空間。
k(x,y)=<(x), (y)> 公式(14)
常見的核函數包括線性、多項式、高斯徑向基函數核。可依照分類問題特性選擇不同的核函數。在此部分中使用高斯徑向基函數核為核函數，如公式(15)所示：K(x,y)=exp(-||x-y||/2σ 2) 公式(15)
(4)DNN模組134
類神經網路(Neural network，NN)是一種模仿生物神經網路結構和功能的數學模型，使電腦能自我學習並且可利用經驗法則來進行推理，所以相比於邏輯推論計算更具有優勢。而此演算法有下述的一些特徵：1.平行處理(parallel processing)，2.容錯技術(fault-tolerant)，3.結合式記憶(combined memory)，4.解決最佳化問題，5.執行超大型積體電路(very-large-scale integration，VLSI)以及6.處理一般演算法較難處理的問題。到目前為止，許多學者通過設計不同的類神經網路模型來解決不同的問題。常見的網路模型包括反向傳播網路(back-propagation network)，霍普菲爾德網路(Hopfield network)以及徑向基函數網路(radial basis function network)。
DNN模組134的操作通常採用輸出層來作為下一隱藏層的輸入。概念在於利用隱藏層數目的提升來增強系統。附圖3表示的深度神經網路(DNN)模組134通常含有5個層。輸入層與第一隱藏層的輸出之間的關係用公式(16)表述。
a 2=f(W 1 x) 公式(16)
x 代表輸入， W 1 代表權重， f 代表作用函數(activation function)。此部份使用了sigmoid函數， a 2 是第二層的輸出。
當獲取第一隱藏層的輸出之後，相對關係可以用關係式(17)所示。L代表DNN模組134的層數目。
a i+1=f(W i a i ),i=2,…,L-1 公式(17)
除此之外，因為參數的原始值會影響到計算結果，DNN模組134通常使用受限玻茲曼機(restricted Boltzmann machines，RBM)來執行原始參數的預測，再使用反向傳播演算法(back-propagation)來調整參數，如公式(18)所示。
J(a L ,y)=loss(a L ,y) 公式(18)
公式(18)中， y 代表標籤， a L 代表第 L 層的輸出。此部份損失函數(loss function)應用了softmax函數。具體的演算法可能參照參考文獻(Bengio,2009；Mohamed et al.,2013)。最後，頻繁的使用”退出”(dropout)可能避免過度訓練以及獲得更佳的效率。
準備3 評估方式
評估方式用對比模組140進行操作。該評估方式使用在模式識別與資訊檢索常會使用精確性(precision)，召回率(recall)和F-量測(F-measure)作為評估該系統的好或者壞的標準(Martin et al.,1997)。考慮四種情況如表1所述，每一種解釋都在公式(19)-(21)中所示。
F-量測通常也被稱為F1量測，代表精確性以及召回率的權重均等。召回率通常被稱為真陽性率(true positive rate)或者敏感性(sensitivity)，精確性被稱為陽性預測值。在分類研究中，準確度(accuracy)通常被用作評估模型，其定義如公式(22)所示。
實施例1 心臟音的實驗全集以及實驗步驟
識別生理聲音的方法中的流程圖如圖1,2和4所示。步驟201是使用接收模組110來接收生理聲音。接收音訊的地方通常集成在房室瓣的聽診器區域以及第二大動脈瓣膜聽診器區域。接收模組110通常是一電子聽診器，這個實驗中所使用的資料通常是通過電子聽診器來收集實際的聲音資料。該目標在於利用心臟音找出第一心音(S1)以及第二心音(S2)的音訊軌跡。首先，使用數位手機用於記錄心臟音，同時將記錄的心臟音轉化為類比的訊號。通過解碼晶片的解碼，類比音訊的訊號能夠被分解為兩個路徑。一路徑用於轉換過濾的聲音為數位訊號，並且通過聽診器耳管釋放數位訊號。另外一條路徑主要是用於將非處理的類比訊號儲存於建成的記憶平臺。另外這些非處理的類比訊號用於研究中的分析。
步驟202是使用語音活動檢測(VAD)模組121的特徵提取模組120提取生理聲音的至少一聲音片段。因為心臟音集中在低頻率，採樣頻率設置在5kHz。訓練資料由17位元健康男女性所錄製而成。通過人工選擇提取第一心音(S1)以及第二心音(S2)之後，我們可以獲得完整的322個第一心音(S1)以及313個第二心音(S2)；而測試資料則來自3位男性以及1位女性，經過特徵提取模組120的處理語音活動檢測(VAD)模組121處理之後，共切割出122個心臟音訊號，其中66個是第一心音(S1)，另外56個是第二心音(S2)。
步驟203是使用特徵提取模組120的梅爾頻率倒頻譜系數(MFCC)模組122將至少一聲音片段轉移到至少一個MFCC特徵向量中。通過梅爾頻率倒頻譜系數(MFCC)模組122提取的MFCC特徵向量，從13個維度擴張到39個維度。
步驟204使用特徵提取模組120的K-平均演算法模組123，從至少一個MFCC特徵向量找出至少一代表點。在心臟音的片段中，K-平均演算法模組123使用2個中央向量來代表心臟音和雜訊部分。
步驟205通過分類器130用於辨識與分類所述至少一種特徵到至少一種類別，其特徵在於分類器130包括K-近鄰演算法(KNN)模組131，高斯混合模型(GMM)模組132，支援向量機(SVM)模組133或者深度神經網路(DNN)模組134。歐幾裡得尺度是K-近鄰演算法(KNN)模組131的距離計算公式。高斯徑向基函數核作為核函數。高斯混合模型(GMM)模組132中第一心音(S1)模型以及第二心音(S2)模型各自獨立使用8個混合數字。深度神經網路(DNN)模組134設置了3隱藏層，每層有100個神經元。丟棄率為70%。
步驟206通過比較模組140，對比正常生理聲音或者異常生理聲音的至少一種類別以評估疾病風險。通過接收模組110記錄正常性音或者異常性音。經過人工選擇之後提取第一心音(S1)和第二心音(S2)，第一心音(S1)和第二心音(S2)被訓練為訓練數據。
實施例2 通過不同的分類器獲取心臟音中的準確結果
在MFCC特徵提取的訓練資料中，第一心音(S1)和第二心音(S2)的光譜以及波形圖通過圖5中觀測以及顯示。首先，心臟音的頻率主要貢獻在低頻率部分，高度的區分於聲音頻率低於8kHz的頻率段，因此，採樣頻率調整為5kHz中。心臟音的基線大約為15ms，所以音框尺寸設置為15ms，並且相互重疊了10ms。經過語音活動檢測(VAD)模組121調整如公式(2)所示的α以及β的參數之後，使用VAD模組121進行資料訓練，手動剪切聲頻檔通常作為匹配測試資料的目的，該測試資料由VAD模組121的訓練資料進行處理。
分類器部分，使用K-近鄰演算法(KNN)模組131，高斯混合模型(GMM)模組132，支持向量機(SVM)模組133以及深度神經網路(DNN)模 組134。然而，使用K-近鄰演算法(KNN)模組131的想法相對來說較為簡單，僅僅使用特徵作為距離的判斷標準。高斯混合模型(GMM)模組132是發生模型。每個種類在高斯模型下分別地進行訓練。單獨模型中測試資料的概率也可以進行計算。支持向量機(SVM)模組133，使用線性或者非線性(反映)方式以分解訓練資料並且獲取訓練模型。將測試資料引入模型中來獲取檢測結果。最終，深度神經網路(DNN)模組134在近年來成為最先進的識別方法，同時也模仿了人腦的多層次學習來獲取訓練模型，檢測結果可以通過引入測試資料之後獲得。
從表2到表5以及圖6是根據使用指定的系統結果提取的第一心音(S1)以及第二心音(S2)的實驗結果。根據實驗結果，支持向量機(SVM)模組133以及深度神經網路(DNN)模組134所示了非常高的識別率。深度神經網路(DNN)模組134準確度達到了93.4%。第一心音(S1)在四種分類器中擁有較高的F-量測。
實施例3 識別正常心臟音以及異常心臟音
為了評估正常以及異常心臟音之間的差異如圖7所示，記錄三對正常的第一心音(S1)以及三對正常的第二心音(S2)。使用5K的採樣頻率作為記錄因素，同時5K的採樣頻率以每個樣本0.2ms進行。第一心音(S1)的每個樣本相對來說是1466，6266，10109941，1588889以及20564，以及第二心音(S2)的每個樣本分別是2995，7796，11608，177421以及22242。第一心音(S1)的第一心率是每分鐘60/[(|6266-1466|)x 0.2 x 0.001]=62.5每分鐘心跳次數(Beat Per Minute，BPM)，以及第一心音的第二心率為64.2BPM。第一心率以及第二心率之間的模組差異是1.7(64.2BPM-62.5BPM)，該值遠小於第一心率3.125的5%(62.5BPM x 5%)。
相反的，如圖8所示，可以記錄三對異常的第一心音(S1)以及三對異常的第二心音(S2)。第一心音(S1)的每個採樣分別是1162，8269，11775，17555，第二心音(S2)分別是2661，9630，13344，以及18957。第一心音(S1)的第二心率是42.8BPM，第三心率是51.9BPM。第二心率以及第三心率之間的模組差異為9.1，比第二心率2.14的5%要更大。
如圖1所示，接收模組110，接收正常與異常心臟音，所述特徵提取模組120的語音活動檢測(VAD)模組121用於提取每對第一心音(S1)與第二心音(S2)的兩個聲音片段，並且計算每個心率和常規性。兩個心率之間的模組的差異度比前心率小於5%，心率可以判定為正常，如果所述兩個心率之間的模 組的差異度大於前心率的5%，心率被判定為異常。以上方法可以用識別兩個心率迴圈中的正常以及異常的心率。
如圖1以及2所示，結合深度神經網路(DNN)模組134聲波分析法，以及語音活動檢測(VAD)模組121，梅爾頻率倒頻譜系數(MFCC)模組112的方法，用於識別第一心音(S1)與第二心音(S2)。由於所述方法以及系統不需要借助於第一心音(S1)以及第二心音(S2)之間的時間間隔資訊。所述心率失常問題可以得到有效解決。K-平均演算法模組123用於代表心臟音以及噪音。分類法中會自動對比精確率，召回率，F-量測以及準確率，每個實驗中實驗結果中第一心音(S1)以及第二心音(S2)都會展示出優異的提取結果，第一心音(S1)所示出較高的準確度。
在實際的臨床使用中，第一心音(S1)以及第二心音(S2)的概念都會成對或者單獨的出現在語音活動檢測(VAD)模組121中所提取的心臟音中。所述第一心音(S1)的特徵有更好的識別率，並且根據程式檢測來獲取第二心音(S2)。同時，第三心音以及第四心音擁有相同的概念，可以通過上述的本發明實施例中得到識別。
實施例4 識別正常以及異常肺音
如圖1以及圖4所示，處理相同的步驟來識別正常以及異常的肺音。獲取音訊的位置位於左胸區域的第六肋間區域。識別不同生理聲音的關鍵步驟是使用特徵提取模組120的語音活動檢測(VAD)模組121來檢測生理聲音的聲音片段，因為不同的生理聲音有其自己的聲音片段。如附圖9所示，正常肺音的能量差異通過語音活動檢測(VAD)模組121處理成每個片段。如圖1以及10所示，呼吸喘鳴聲的能量差異通過語音活動檢測(VAD)模組121處理成每個片段。呼吸喘鳴聲(醫學術語上稱為高調乾囉音)是一種呼吸的過程中在呼吸道產生的連續、沙啞、口哨音般的聲音。氣喘發作的人群通常會有鳴音。如圖1以及11 所示，濕囉肺音的能量差異通過語音活動檢測(VAD)模組121處理成聲音片段。濕囉肺音是在呼氣時被積液、滲出液或充氣不足的小呼吸道或肺泡的“迅猛打開“所引起。濕囉肺音在肺炎或者肺水腫中可以聽診到。
雖然本發明的大量特徵以及優點已在先前的資料中闡述，連同本發明結構和特徵的具體方式，所述揭露僅僅用於闡述。本發明細節當可作些許之變動，特別是識別生理聲音例如像心臟音、肺音、腸鳴音、血管音、氣管呼吸音、支氣管呼吸音以及肢體音，故本發明值保護範圍當視後附之申請專利範圍所界定者為准。
100‧‧‧識別生理聲音的系統
110‧‧‧接收模組
120‧‧‧特徵提取模組
121‧‧‧VAD模組
122‧‧‧MFCC模組
123‧‧‧K-平均演算法模組
130‧‧‧分類器
140‧‧‧對比模組

Claims (17)

  1. 一種識別生理聲音的系統，包括：一接收模組，用於接收生理聲音；一特徵提取模組，用於從所述生理聲音中提取至少一特徵；以及一分類器，用於辨識與分類所述至少一種特徵到至少一種類別，其中，所述特徵提取模組包括一語音活動檢測(VAD)模組，用於從所述從生理聲音中根據能量差異檢測至少一聲音片段作為至少一特徵；一梅爾頻率倒頻譜系數(MFCC)模組，轉移所述至少一聲音片段到至少一MFCC特徵向量，以及一K-平均演算法模組，用於從至少一梅爾頻率倒頻譜系數(MFCC)特徵向量中找出至少一代表點；所述分類器為深度神經網路(DNN)模組，根據所述代表點分類所述至少一聲音片斷到至少一種類別。
  2. 如申請專利範圍第1項所述的識別生理聲音的系統，其中，所述接收模組是一生理記錄裝置，用於將生理聲音的類比訊號轉移為數位訊號。
  3. 如申請專利範圍第2項所述的識別生理聲音的系統，其中，所述生理記錄裝置是一電子聽診器。
  4. 如申請專利範圍第1項所述的識別生理聲音的系統，其中，所述深度神經網路(DNN)模組包括3隱藏層，每層有100個神經元。
  5. 如申請專利範圍第1項所述的識別生理聲音的系統，其中，所述語音活動檢測(VAD)模組進一步計算所述至少一聲音的心率差異。
  6. 如申請專利範圍第5項所述的識別生理聲音的系統，其中，若兩個心率之間的模組的差異度小於前一心率的5%，則識別為正常心率，以及若兩個心率之間的模組的差異度大於前一心率的5%，則識別為異常心率。
  7. 如申請專利範圍第1項所述的識別生理聲音的系統，其中，所述生理聲音包括心臟音、肺音、腸音、血管音、氣管呼吸音、支氣管呼吸音以及肢體音。
  8. 如申請專利範圍第7項所述的識別生理聲音的系統，其中，所述心臟音包括第一心音(S1)、第二心音(S2)或者兩者的混合模型。
  9. 如申請專利範圍第1項所述的識別生理聲音的系統，其中，所述系統進一步包括：一比較模組，用於對比正常生理聲音以及/或者異常生理聲音中至少一種類別以評估疾病風險。
  10. 如申請專利範圍第1項所述的識別生理聲音的系統，其中，所述系統進一步包括自動體外心臟除顫器、動態心電圖監護儀、心肺復蘇器(CPR)、心臟起搏器、植入式心臟複律除顫器(ICD)、心電圖(EKG)或者超聲波裝置。
  11. 一種如申請專利範圍第1項所述系統的識別生理聲音的方法，包括：使用接收模組接收生理聲音；使用特徵提取模組從所述生理聲音中提取至少一特徵；以及使用分類器分類所述至少一特徵以識別至少一種類別。
  12. 如申請專利範圍第11項所述的識別生理聲音的方法，其中，所述分類器使用的深度神經網路(DNN)模組包括3隱藏層，每層有100個神經元。
  13. 如申請專利範圍第11項所述的識別生理聲音的方法，其中，所述語音活動檢測(VAD)模組進一步計算所述至少一聲音的心率差異。
  14. 如申請專利範圍第13項所述的識別生理聲音的方法，其中，若兩個心率之間的模組的差異度小於前一心率的5%，則識別為正常心率，以及若兩個心率之間的模組的差異度大於前一心率的5%，則識別為異常心率。
  15. 如申請專利範圍第11項所述的識別生理聲音的方法，其中，生理聲音包括心臟音、肺音、腸音、血管音、氣管呼吸音、支氣管呼吸音以及肢體音。
  16. 如申請專利範圍第15項所述的識別生理聲音的方法，其中，心臟音包括第一心音(S1)、第二心音(S2)或者二者的混合模型。
  17. 如申請專利範圍第11項所述的識別生理聲音的方法，其中，所述方法進一步包括使用比較模組，對比正常生理聲音以及/或者異常生理聲音中至少一種類別以評估疾病風險。
TW105112919A 2015-06-03 2016-04-25 識別生理聲音的方法以及系統 TWI596600B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/729,423 US9687208B2 (en) 2015-06-03 2015-06-03 Method and system for recognizing physiological sound

Publications (2)

Publication Number Publication Date
TW201643865A TW201643865A (zh) 2016-12-16
TWI596600B true TWI596600B (zh) 2017-08-21

Family

ID=56080227

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105112919A TWI596600B (zh) 2015-06-03 2016-04-25 識別生理聲音的方法以及系統

Country Status (7)

Country Link
US (1) US9687208B2 (zh)
EP (1) EP3100675B1 (zh)
CN (1) CN106251880B (zh)
DK (1) DK3100675T3 (zh)
ES (1) ES2693386T3 (zh)
HU (1) HUE040549T2 (zh)
TW (1) TWI596600B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI737462B (zh) * 2019-10-31 2021-08-21 大陸商支付寶（杭州）信息技術有限公司 用於確定聲音特性的系統和方法

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201700063A (zh) * 2015-06-22 2017-01-01 Jon-Chao Hong 心肺音異常處理方法及系統
EP3497608B1 (en) * 2016-09-19 2021-10-27 Siemens Aktiengesellschaft Critical infrastructure forensics
US10159459B2 (en) * 2016-11-11 2018-12-25 iMEDI PLUS Inc. Multi-mic sound collector and system and method for sound localization
CN108652658A (zh) * 2017-03-31 2018-10-16 京东方科技集团股份有限公司 爆裂音识别方法及系统
CN107280674A (zh) * 2017-06-02 2017-10-24 南京理工大学 基于音频录取设备的呼吸模式判决方法
CN107292286B (zh) * 2017-07-14 2021-10-22 中国科学院苏州生物医学工程技术研究所 基于机器学习的呼吸音鉴别方法及系统
WO2019023879A1 (zh) * 2017-07-31 2019-02-07 深圳和而泰智能家居科技有限公司 咳嗽声音识别方法、设备和存储介质
TWI622980B (zh) * 2017-09-05 2018-05-01 醫療財團法人徐元智先生醫藥基金會亞東紀念醫院 嗓音疾病偵測分類系統
CN110021435A (zh) * 2017-09-07 2019-07-16 医疗财团法人徐元智先生医药基金会亚东纪念医院 嗓音侦测分类系统
CN108053841A (zh) * 2017-10-23 2018-05-18 平安科技（深圳）有限公司 利用语音进行疾病预测的方法及应用服务器
CN109074822B (zh) * 2017-10-24 2023-04-21 深圳和而泰智能控制股份有限公司 特定声音识别方法、设备和存储介质
CN108175426B (zh) * 2017-12-11 2020-06-02 东南大学 一种基于深度递归型条件受限玻尔兹曼机的测谎方法
CN107811649B (zh) * 2017-12-13 2020-12-22 四川大学 一种基于深度卷积神经网络的心音多分类方法
US20200330045A1 (en) * 2017-12-14 2020-10-22 Salcit Technologies Private Limited Method and system for analyzing risk associated with respiratory sounds
US10828009B2 (en) * 2017-12-20 2020-11-10 International Business Machines Corporation Monitoring body sounds and detecting health conditions
CN108143407A (zh) * 2017-12-25 2018-06-12 四川大学 一种自动提取心音包络特征的心音分段方法
CN108417225A (zh) * 2018-02-11 2018-08-17 广州市碳码科技有限责任公司 一种呼吸音监测方法、装置、终端及计算机可读存储介质
CN108420454B (zh) * 2018-02-26 2021-11-26 河南善仁医疗科技有限公司 基于多路心音的心音分裂识别方法
CN108550394A (zh) * 2018-03-12 2018-09-18 广州势必可赢网络科技有限公司 一种基于声纹识别的诊病方法及装置
CN108831486B (zh) * 2018-05-25 2023-06-02 南京邮电大学 基于dnn与gmm模型的说话人识别方法
CN108962389A (zh) * 2018-06-21 2018-12-07 上海掌门科技有限公司 用于风险提示的方法及系统
CN108937866B (zh) * 2018-06-29 2020-03-20 出门问问信息科技有限公司 睡眠状态的监测方法及装置
WO2020008339A1 (en) 2018-07-02 2020-01-09 3M Innovative Properties Company Sensing system and method for monitoring time-dependent processes
CN108935188A (zh) * 2018-07-05 2018-12-07 平安科技（深圳）有限公司 猪只疾病识别方法、装置及电子设备
EP3608918B1 (en) * 2018-08-08 2024-05-22 Tata Consultancy Services Limited Parallel implementation of deep neural networks for classifying heart sound signals
CN109357749B (zh) * 2018-09-04 2020-12-04 南京理工大学 一种基于dnn算法的电力设备音频信号分析方法
WO2020077413A1 (en) * 2018-10-17 2020-04-23 The University Of Queensland A method and apparatus for diagnosis of maladies from patient sounds
CN109431517A (zh) * 2018-11-13 2019-03-08 四川长虹电器股份有限公司 一种基于心音的身份识别方法
TWI687206B (zh) * 2018-12-06 2020-03-11 財團法人工業技術研究院 異常肺音標記的方法及裝置
CN109893161A (zh) * 2019-03-12 2019-06-18 南京大学 一种基于改进梅尔非线性频段划分的心音信号特征提取方法
CN110179492B (zh) * 2019-05-08 2021-12-14 四川新源生物电子科技有限公司 基于自适应双阈值的肠鸣音智能识别算法
CN110432924B (zh) * 2019-08-06 2021-10-22 杭州智团信息技术有限公司 肠鸣音检测装置、方法和电子设备
CN110517783B (zh) * 2019-09-18 2023-02-03 东软集团股份有限公司 模型训练方法、装置以及心脏疾病诊断装置、设备、介质
CN110970042B (zh) * 2019-12-13 2023-04-18 苏州美糯爱医疗科技有限公司 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质
CN112017695A (zh) * 2020-03-04 2020-12-01 上海交通大学医学院附属上海儿童医学中心 一种自动识别生理声音的系统及方法
US20220031256A1 (en) * 2020-07-31 2022-02-03 3M Innovative Properties Company Composite phonocardiogram visualization on an electronic stethoscope display
CN111956259B (zh) * 2020-08-13 2021-07-06 厦门大学 基于深度神经网络架构的肺音识别方法、装置和设备
CN112370072B (zh) * 2020-11-13 2022-09-16 深圳市凯沃尔电子有限公司 一种听诊信号处理系统
TWI749880B (zh) * 2020-11-19 2021-12-11 緯創資通股份有限公司 生理病徵識別方法及生理病徵感測系統
TWI848197B (zh) * 2020-12-30 2024-07-11 國立清華大學 呼吸功能檢測方法及裝置
KR102287081B1 (ko) * 2021-01-06 2021-08-06 김도형 휴대용 디지털 청진기를 활용한 의료 서비스 관리 및 제공 장치
RU2766751C1 (ru) * 2021-03-05 2022-03-15 Федеральное государственное бюджетное образовательное учреждение высшего образования «Юго-Западный государственный университет» (ЮЗГУ) (RU) Способ диагностики астматического бронхита в процессе аускультации легких взрослых людей
CN113449636B (zh) * 2021-06-28 2024-03-12 苏州美糯爱医疗科技有限公司 一种基于人工智能的主动脉瓣狭窄严重程度自动分类方法
CN113948108B (zh) * 2021-10-09 2023-03-21 广州蓝仕威克软件开发有限公司 一种自动识别生理声音的方法及系统
CN114391807B (zh) * 2021-12-17 2023-12-19 珠海脉动时代健康科技有限公司 睡眠呼吸障碍分析方法、装置、设备及可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120233168A1 (en) * 2009-11-19 2012-09-13 Nec Corporation Sound and image segment sorting device and method
US20120242501A1 (en) * 2006-05-12 2012-09-27 Bao Tran Health monitoring appliance
US20130237873A1 (en) * 2012-03-12 2013-09-12 Xusheng Zhang Heart sound sensing to reduce inappropriate tachyarrhythmia therapy
US20150073306A1 (en) * 2012-03-29 2015-03-12 The University Of Queensland Method and apparatus for processing patient sounds

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218969A (en) * 1988-02-04 1993-06-15 Blood Line Technology, Inc. Intelligent stethoscope
US6056703A (en) * 1996-04-03 2000-05-02 Rush Presbyterian-St Luke's Medical Center Method and apparatus for characterizing gastrointestinal sounds
BRPI0414345A (pt) * 2003-09-12 2006-11-07 Bodymedia Inc método e aparelho para medição de parámetros relacionados com o coração
US20060167385A1 (en) * 2005-01-24 2006-07-27 3M Innovative Properties Company Analysis of auscultatory sounds using voice recognition
CN100418480C (zh) * 2006-05-16 2008-09-17 清华大学深圳研究生院 基于心音分析的心脏病自动分类系统及其心音分段方法
US7479115B2 (en) * 2006-08-25 2009-01-20 Savic Research, Llc Computer aided diagnosis of lung disease
WO2008036911A2 (en) * 2006-09-22 2008-03-27 University Of Medicine And Dentistry Of New Jersey System and method for acoustic detection of coronary artery disease
KR101191667B1 (ko) * 2010-05-20 2012-10-17 충북대학교 산학협력단 시간 영역 특징을 이용한 심장 질환 진단 장치
CN101930734B (zh) * 2010-07-29 2012-05-23 重庆大学 一种心音信号分类识别方法及装置
JP5519778B2 (ja) * 2010-11-04 2014-06-11 パナソニック株式会社 生体音検査装置、及び、生体音検査方法
EP2651291A2 (en) * 2010-12-15 2013-10-23 Cardiac Pacemakers, Inc. Cardiac decompensation detection using multiple sensors
US20120209131A1 (en) * 2011-02-11 2012-08-16 AventuSoft, LLC Method and System of a Cardio-acoustic Classification system for Screening, Diagnosis and Monitoring of Cardiovascular Conditions
CN102697520B (zh) * 2012-05-08 2014-10-29 天津沃康科技有限公司 基于智能识别功能的电子听诊器
CN102934989A (zh) * 2012-12-05 2013-02-20 隋聪 基于神经网络的心音识别装置及方法
WO2014172671A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Physiologic data acquisition and analysis
US10013652B2 (en) * 2015-04-29 2018-07-03 Nuance Communications, Inc. Fast deep neural network feature transformation via optimized memory bandwidth utilization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242501A1 (en) * 2006-05-12 2012-09-27 Bao Tran Health monitoring appliance
US20120233168A1 (en) * 2009-11-19 2012-09-13 Nec Corporation Sound and image segment sorting device and method
US20130237873A1 (en) * 2012-03-12 2013-09-12 Xusheng Zhang Heart sound sensing to reduce inappropriate tachyarrhythmia therapy
US20150073306A1 (en) * 2012-03-29 2015-03-12 The University Of Queensland Method and apparatus for processing patient sounds

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI737462B (zh) * 2019-10-31 2021-08-21 大陸商支付寶（杭州）信息技術有限公司 用於確定聲音特性的系統和方法

Also Published As

Publication number Publication date
HUE040549T2 (hu) 2019-03-28
EP3100675A1 (en) 2016-12-07
CN106251880B (zh) 2020-03-31
CN106251880A (zh) 2016-12-21
DK3100675T3 (en) 2018-11-19
EP3100675B1 (en) 2018-10-10
ES2693386T3 (es) 2018-12-11
US20160354053A1 (en) 2016-12-08
TW201643865A (zh) 2016-12-16
US9687208B2 (en) 2017-06-27

Similar Documents

Publication Publication Date Title
TWI596600B (zh) 識別生理聲音的方法以及系統
Ansari et al. A review of automated methods for detection of myocardial ischemia and infarction using electrocardiogram and electronic health records
Potes et al. Ensemble of feature-based and deep learning-based classifiers for detection of abnormal heart sounds
Milani et al. Abnormal heart sound classification using phonocardiography signals
WO2009098312A1 (en) Method and device for the determination of murmur frequency band
Nassralla et al. Classification of normal and abnormal heart sounds
Singh et al. Short unsegmented PCG classification based on ensemble classifier
Gamage et al. Clustering seismocardiographic events using unsupervised machine learning
Ghosh et al. Heart sound data acquisition and preprocessing techniques: A review
Malik et al. Multi-classification neural network model for detection of abnormal heartbeat audio signals
Khan et al. Classification of Multi-Class Cardiovascular Disorders using Ensemble Classifier and Impulsive Domain Analysis
Banerjee et al. Multi-class heart sounds classification using 2D-convolutional neural network
Wołk et al. Early and remote detection of possible heartbeat problems with convolutional neural networks and multipart interactive training
Chen et al. Heart murmurs clustering using machine learning
Ghaemmaghami et al. Automatic segmentation and classification of cardiac cycles using deep learning and a wireless electronic stethoscope
Khanmohammadi et al. Fetal gender identification using machine and deep learning algorithms on phonocardiogram signals
Ouelli et al. Multivariate autoregressive modeling for cardiac arrhythmia classification using multilayer perceptron neural networks
Naqvi et al. Deep Learning Based Intelligent Classification of COVID-19 & Pneumonia Using Cough Auscultations
Amini et al. Myocardial infarction prediction using RNN deep learning algorithm on phonocardiogram signals
Das et al. Automated fundamental heart sound detection using spectral clustering technique
Pasha et al. Two-stage artificial intelligence clinical decision support system for cardiovascular assessment using convolutional neural networks and decision trees
Arora et al. A fusion framework based on cepstral domain features from phonocardiogram to predict heart health status
Chowdhury et al. Combining deep learning with traditional machine learning to improve phonocardiography classification accuracy
Wen et al. ECG beat classification using GreyART network
Imani et al. Curve fitting, filter bank and wavelet feature fusion for classification of PCG signals

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees