TWI735879B - 利用神經網路從鼾聲來預測睡眠呼吸中止之方法 - Google Patents

利用神經網路從鼾聲來預測睡眠呼吸中止之方法 Download PDF

Info

Publication number
TWI735879B
TWI735879B TW108116939A TW108116939A TWI735879B TW I735879 B TWI735879 B TW I735879B TW 108116939 A TW108116939 A TW 108116939A TW 108116939 A TW108116939 A TW 108116939A TW I735879 B TWI735879 B TW I735879B
Authority
TW
Taiwan
Prior art keywords
snoring
neural network
signal
snoring signal
algorithm
Prior art date
Application number
TW108116939A
Other languages
English (en)
Other versions
TW202044277A (zh
Inventor
黃琮瑋
陳敦裕
陳聖言
Original Assignee
醫療財團法人徐元智先生醫藥基金會亞東紀念醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 醫療財團法人徐元智先生醫藥基金會亞東紀念醫院 filed Critical 醫療財團法人徐元智先生醫藥基金會亞東紀念醫院
Priority to TW108116939A priority Critical patent/TWI735879B/zh
Priority to CN201911032125.1A priority patent/CN111938649A/zh
Priority to US16/675,494 priority patent/US20200365271A1/en
Priority to JP2020084519A priority patent/JP2020185390A/ja
Publication of TW202044277A publication Critical patent/TW202044277A/zh
Application granted granted Critical
Publication of TWI735879B publication Critical patent/TWI735879B/zh
Priority to US17/901,880 priority patent/US20220409126A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0826—Detecting or evaluating apnoea events
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一種利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其步驟，包含:擷取一原始音訊；藉由一打鼾切割演算法係在原始音訊中找到至少一打鼾信號，並切割打鼾信號後，可輸出一具有一維特徵向量之打鼾信號向量；藉由一特徵提取演算法係特徵提取打鼾信號向量，使打鼾信號向量轉換成一具有二維特徵向量之打鼾特徵矩陣；以及藉由一神經網路演算法係分類打鼾特徵矩陣，使打鼾特徵矩陣經由分類訓練後，可得知打鼾信號所代表的呼吸暫停次數或呼吸減緩次數。

Description

利用神經網路從鼾聲來預測睡眠呼吸中止之方法
本發明係有關一種利用神經網路從鼾聲來預測睡眠呼吸中止之方法，尤指一種以神經網路得知打鼾信號所代表的的呼吸暫停次數或呼吸減緩次數。
按，打鼾與阻塞性睡眠呼吸中止症(obstructive sleep apnea,OSA)是因為睡眠時上呼吸道的組織鬆軟塌陷所導致，屬於同一個疾病但是不同嚴重程度的表現，影響至少百分之四以上的人口族群。它除了會造成白天疲倦、嗜睡、記憶力減退、憂鬱症，甚至增加交通事故的發生率，並且對人體會產生相當嚴重的疾病，包括：神經精神方面的病變、動脈高血壓、心血管疾病、中風以及新陳代謝的問題。目前臨床上的診斷基準是根據睡眠多項生理檢查，這項檢查需要在醫院進行整夜睡眠，包含睡眠效率及深度監測，睡眠呼吸中止次數及血氧濃度等，然而睡眠多項生理檢查必須在醫院進行，排程曠日廢時，耗費人力且檢查費用又昂貴。因此不論對於醫師或是一般民眾來說，如果有個工具能迅速方便診斷且可以每天監測睡眠呼吸中止的嚴重程度是非常重要的。
鼾聲是阻塞性睡眠呼吸中止症的一個主要症狀，幾乎九成五的患者會有鼾聲，對於打鼾的族群來說，在家中利用自我鼾聲檢測是一項方便有用的方式。在過去單純打鼾及睡眠呼吸中止症的鼾聲曾經被用來分析包括頻率以及響度的差異，也曾經被用來評估睡眠時的阻塞部位，然而過去研究或醫師皆無法利用鼾聲來得知阻塞性睡眠呼吸中止症的睡眠呼吸暫停（sleep apnea,SA）次數或睡眠呼吸減緩（sleep hypopnea,SH）次數，而平均一小時呼吸暫停次數及呼吸減緩次數可稱為「呼吸暫停-呼吸減緩指數」(apnea-hyponea Index,AHI)。是以，本發明有鑑於上揭問題點，乃構思一種利用神經網路來分類訓練睡眠呼吸暫停次數或睡眠呼吸減緩次數，為本發明所欲解決的課題。
緣是，本發明之主要目的，係在提供一種利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其以神經網路來分類訓練睡眠呼吸暫停次數或睡眠呼吸減緩次數，用以解決過去研究或醫師皆無法利用鼾聲來得知呼吸暫停次數或睡眠呼吸減緩次數之問題點，進而以打鼾信號所代表的的呼吸暫停次數或呼吸減緩次數來預測人類在睡眠呼吸為正常或生病之功效增進。
為達上述目的，本發明所採用之步驟包含: 擷取一原始音訊；藉由一打鼾切割演算法係在該原始音訊中找到至少一打鼾信號，並切割該打鼾信號後，可輸出一具有一維特徵向量之打鼾信號向量；藉由一特徵提取演算法係特徵提取該打鼾信號向量，使該打鼾信號向量轉換成一具有二維特徵向量之打鼾特徵矩陣；以及藉由一神經網路演算法係分類該打鼾特徵矩陣，使該打鼾特徵矩陣經由分類訓練後，可得知該打鼾信號所代表的的呼吸暫停次數或呼吸減緩次數。
依據前揭特徵，該打鼾切割演算法更包括一第一門檻值與一第二門檻值作為切割標準，並設定一滑動窗口進行線性掃描該原始音訊，以計算在該滑動窗口內該原始音訊的最大值，當該原始音訊的最大值大於該第二門檻值時，則認定有該打鼾信號的發生，而該滑動窗口所停留位置係設定該打鼾信號的位置，接著，該滑動窗口向右繼續進行線性掃描該打鼾信號，同時在該滑動窗口內計算該打鼾信號的絕對值總和，計算出的絕對值總和小於該第一門檻值時，而該滑動窗口所停留位置係設定該打鼾信號的右邊截止位置，接著，該滑動窗口向左繼續進行線性掃描該打鼾信號，同時在該滑動窗口內計算該打鼾信號的絕對值總和，計算出的絕對值總和小於該第一門檻值時，而該滑動窗口所停留位置係設定該打鼾信號的左邊截止位置，並以該打鼾信號的右邊截止位置與該打鼾信號的左邊截止位置切割出該打鼾信號向量。
依據前揭特徵，該第一門檻值公式為
Figure 02_image001
，其中，該M代表該第一門檻值，該mean代表平均值，該f(.)代表下採樣函式，該Yi代表該原始音訊的向量；該第二門檻值公式為
Figure 02_image003
、
Figure 02_image005
，其中，該X代表該第二門檻值，該mean代表平均值，該std代表標準差，該N代表自然數，該sort代表由小到大排序，該abs代表絕對值，該
Figure 02_image007
代表該Yi切割成n個向量。
依據前揭特徵，該打鼾信號向量的長度係設定為25000。
依據前揭特徵，該滑動窗口的長度係設定為1000。
依據前揭特徵，該特徵提取演算法為梅爾倒頻譜係數演算法，該梅爾倒頻譜係數演算法包括一預加重程序、一窗口掃描程序、一快速傅里葉變換程序、一梅爾濾波程序、一非線性變換及一離散餘弦變換程序。
依據前揭特徵，該神經網路演算法為卷積神經網路演算法，該卷積神經網路演算法係選自一密集塊網路模型為辨識模型。
依據前揭特徵，該密集塊網路模型包括複數密集塊、複數過渡層及一分類層。
依據前揭特徵，該過渡層包括一卷積程序及一池化程序；該分類層為Softmax層。
依據前揭特徵，該密集塊包括一密集層、一BN-ReLU-Conv層及一生長速率值。
藉助上揭技術手段，其以該打鼾切割演算法、該特徵提取演算法及該神經網路演算法之整合，亦有效處理該原始音訊而得知該打鼾信號的呼吸暫停次數或呼吸減緩次數，藉由該打鼾信號的呼吸暫停次數或呼吸減緩次數來預測人類在睡眠呼吸為正常或生病，用以解決過去研究或醫師皆無法利用鼾聲來得知呼吸暫停次數或睡眠呼吸減緩次數之問題點。
首先，請參閱圖1所示之流程圖，並配合圖2~圖7B所示，本發明一種利用神經網路從鼾聲來預測睡眠呼吸中止之方法，係包括下列步驟：a步驟，擷取一原始音訊(Y)，在本實施例中，對每位患者進行睡眠多項生理檢查(PSG)。睡眠研究變量包括呼吸暫停-呼吸減緩指數(apnea-hyponea index,AHI)評分，打鼾指數和最小氧飽和度（MOS）。該呼吸暫停-呼吸減緩指數評分指的是每小時睡眠的阻塞性呼吸暫停(apnea)和呼吸減緩(hypopnea)發作的總數。呼吸暫停(apnea)指的是氣流停止至少10秒。呼吸減緩(hypopnea)指的是基線通氣值降低50％或更多，超過10秒且氧飽和度下降超過4％。在PSG期間通過使用具有在胸骨上切口上方的微型麥克風的數字聲音計記錄打鼾，但不限定於此。
b步驟，藉由一打鼾切割演算法(G1 )係在該原始音訊(Y)中找到至少一打鼾信號(B)，並切割該打鼾信號(B)後，可輸出一具有一維特徵向量之打鼾信號向量(S)，如此一來，該原始信號(Y)是整晚的錄音，在訓練之前，必須對數據進行預處理，而目標是打鼾，故必須自動切割音頻中的每個打鼾，因此設計了一種全自動切割算法，把一開始原始的訊號切割成一段一段打鼾的片段，但不限定於此。
承上，在本實施例中，該打鼾切割演算法(G1 )更包括一第一門檻值(M)與一第二門檻值(X)作為切割標準，並設定一滑動窗口(W)進行線性掃描該原始音訊(Y)，如圖3D所示，以計算在該滑動窗口(W)內該原始音訊(Y)的最大值(Xi)，當該原始音訊(Y)的最大值(Xi)大於該第二門檻值(X)時，則認定有該打鼾信號(B)的發生，而該滑動窗口(W)所停留位置係設定該打鼾信號(B)的位置，接著，該滑動窗口(W)向右繼續進行線性掃描該打鼾信號(B)，如圖3E所示，同時在該滑動窗口(W)內計算該打鼾信號的絕對值總和(Mi)，計算出的絕對值總和(Mi)小於該第一門檻值(M)時，而該滑動窗口(W)所停留位置係設定該打鼾信號(B)的右邊截止位置(R)，接著，該滑動窗口(W)向左繼續進行線性掃描該打鼾信號(B)，同時在該滑動窗口(W)內計算該打鼾信號的絕對值總和(Mi)，計算出的絕對值總和(Mi)小於該第一門檻值(M)時，而該滑動窗口(W)所停留位置係設定該打鼾信號(B)的左邊截止位置(L)，並以該打鼾信號(B)的右邊截止位置(R)與該打鼾信號(B)的左邊截止位置(L)切割出該打鼾信號向量(S)，如圖3F~3L所示，其切割後形成一第一單一打鼾信號向量(S1 )、一第二單一打鼾信號向量(S2 )、一第三單一打鼾信號向量(S3 )、一第四單一打鼾信號向量(S4 )、一第五單一打鼾信向量號(S5 )、一第六單一打鼾信號向量(S6 )及一第七單一打鼾信號向量(S7 )，且因為各該單一打鼾信號向量(S1 -S7 )必須是相同的長度，而須調整擷取該打鼾信號向量(S)的長度，該打鼾信號向量(S)的長度係設定為25000，但不限定於此。
承上，在本實施例中，該第一門檻值(M)公式(1)為
Figure 02_image009
(1) ，其中，該M代表該第一門檻值(M)，該mean代表平均值，該f(.)代表下採樣函式，該Yi代表該原始音訊(Y)切割成每2分鐘音頻的幀向量(Yi)，當下採樣到400維，而下採樣的方式就是把該幀向量(Yi)等比例分成需要採樣到的維度數量，然後每一段都只取一個最大值，那原本的該幀向量(Yi)就會縮小成一個1*400向量，希望通過下採樣獲得更可靠的該第一門檻值(M)，但不限定於此；該第二門檻值(X)公式(2)及(3)為
Figure 02_image011
(2)
Figure 02_image013
(3) ，其中，該X代表該第二門檻值(X)，該mean代表平均值，該std代表標準差，該N代表自然數，該sort代表由小到大排序，該abs代表絕對值，該
Figure 02_image015
代表該Yi等比例切割成n個向量，換言之，該n個向量 是該幀向量(Yi)的長度除以該滑動窗口(W)之大小，因此，該滑動窗口(W)的長度係設定為1000，並從公式(3)可以獲得該自然數(N)，然後帶入公式(2)可以計算出該第二門檻值(X) ，但不限定於此。
c步驟，藉由一特徵提取演算法(G2 )係特徵提取該打鼾信號向量(S)，使該打鼾信號向量(S)轉換成一具有二維特徵向量之打鼾特徵矩陣(A)，如此一來，完成了所有的切割後，該原始訊號(Y)會轉成多個裁切好各該單一打鼾信號向量(S1 -S7 )，之後各該單一打鼾信號向量(S1 -S7 )使用該特徵提取演算法，該特徵提取演算法(G2 )為梅爾倒頻譜係數(Mel-Frequency Cipstal Coefficients, MFCC)演算法做特徵提取，如圖4所示，其包括一預加重程序(G21 )、一窗口掃描程序(G22 )、一快速傅里葉變換程序(G23 )、一梅爾濾波程序(G24 )、一非線性變換程序(G25 )及一離散餘弦變換程序(G26 )得到，但不限定於此。
G21 步驟，該預加重程序(G21 ):預加重用於補償聲音中高頻的部份，強調的信號的高頻。以公式（4）表示預加重。
Figure 02_image017
(4) ，其中，Hpreem 是預加重處理後的輸出，αpreem 是輸入聲音信號。
G22 步驟，該窗口掃描程序(G22 ):先必須把訊號切成一幀一幀，信號會被分成許多片段，而切割後的信號長度約為20-40毫秒，每一段稱為音框，且使用者的需求做微調，並不是規定的數值，為了避免相鄰兩音框的變化過大，所以會讓兩兩相鄰音框之間有一段重疊區域，重疊的長度設成10ms，並將每一個音框乘上漢明窗，用來加強音框左右兩端的連續性，使音框內的訊號兩天邊緩慢減小，在邊界上不造成明顯的不連續現象，雜訊在能量頻譜上面的強度就會比較弱，代表弦波的高峰也相對比較突出。因為進行傅利葉轉換時，音框邊界如果有左右不連續的變化，傅利葉會因此產生一些非原訊號的能量分布，造成分析判斷上的誤差，所以訊號才會乘上漢明窗來使這個現象較不明顯。
G23 步驟，該快速傅里葉變換程序(G23 )：快速傅里葉變換（FFT）用於將信號從時域轉換到頻域。FFT是離散傅立葉變換（DFT）的快速算法。
G24 步驟，該梅爾濾波程序(G24 )：濾波器組是一個相互重疊的帶通濾波器。基於梅爾頻率，它在頻率1kHz下呈線性，在其上呈對數。梅爾縮放過程適合於公式（5）。
Figure 02_image019
(5) ，其中，mel是梅爾濾波器組的輸出，f 是濾波器的輸入，2595和700是固定值。能量譜乘以一組20個三角帶通濾波器，使用梅爾頻率作為這20個濾波器的頻譜。
G25 步驟，該離散餘弦變換程序(G25 ）：離散餘弦變換（DCT）用於對MFCC的每一幀做計算。DCT過程適用於公式（6）。
Figure 02_image021
(6) ，利用該梅爾倒頻譜係數演算法就可以把該打鼾信號(B)轉換成該打鼾特徵矩陣(A)。
d步驟，藉由一神經網路演算法(G3 )係分類該打鼾特徵矩陣(A)，使該打鼾特徵矩陣(A)經由分類訓練後，可得知該打鼾信號(B)的呼吸暫停次數或呼吸減緩次數，如此一來，各該單一打鼾信號向量(S1 -S7 )經過該特徵提取演算法(G2 )特徵提取之後，而該鼾聲信號(B)可以得到一個二維的特徵向量，隨著深度學習相關技術在圖像分類方面的巨大成功，大多數圖像分類問題都使用該神經網路演算法(G3 )提取圖像特徵然後對其進行分類，既然該神經網路演算法(G3 )可以為圖像提取特徵，那也想那是否也可以找出經過該特徵提取演算法(G2 )特徵處理的該打鼾特徵矩陣(A)，所以使用該神經網路演算法(G3 )來分類該打鼾特徵矩陣(A)，但不限定於此。
承上，在本實施例中，該神經網路演算法(G3 )為卷積神經網路演算法，該卷積神經網路演算法係選自密集塊網路(DenseNet)模型(DN)為辨識模組，如圖5所示，該密集塊網路模型(DN)包括複數密集塊(Dense Block)(D)、複數過渡層(Transition Layer)(T)及一分類層(E)，而該過渡層(T)包括一卷積(convolution)程序(T1 )及一池化(pooling)程序(T2 )，且該分類層(E)為Softmax層，與如圖6所示，該密集塊(D)包括一密集層(I)、一BN-ReLU-Conv層(Batch Normalization-rectified linear units-Convolution)(BR)及一生長速率值(k)，該生長速率值(k)表示由層輸出的特徵映射的數量，如此一來，該密集塊網路模型(DN)主要由連接的各該密集塊(D)和各該過渡層(T)組成，最後連接到該分類層(E)，故該密集塊(D)是密集連接的卷積神經，所以建立了該密集塊網路模型(DN)，然後是先把每個打鼾信號(B)切割好，並且標註的打鼾中是否為呼吸暫停或呼吸減緩，例如，該打鼾特徵矩陣(A)為非呼吸暫停或呼吸減緩，則標註為一正常標記(A1 )；該打鼾特徵矩陣(A)為呼吸暫停或呼吸減緩，則標註為一生病標記(A2 )，待標記完後就可以餵入模型做分類的訓練，最後可以得到一辨識呼吸中止症模型(F)，但不限定於此。
進一步，在各該密集塊(D)中，任意兩層之間直接連接，即網絡中每層的輸入是所有先前層的所有輸出，並且每一層學習的特徵映射也直接傳輸到背後的所有層都是他們的輸入。這種方法使該密集塊網路模型(DN)更有效地利用了所有的特徵，增強了每層之間的傳輸。夾在各該密集塊(D)之間的該過渡層(T)是為了縮小特徵矩陣的尺寸，因為該密集塊(D)的最後一層輸出累積了所有先前層的信息，因此模型會非常大。因此，通過該過渡層(T)減小該密集塊(D)和該密集塊(D)之間的尺寸可以大大減少參數的數量，由於上述特性，該密集塊網路模型(DN)解決了當網絡架構太深時深度神經網絡遇到的消失梯度問題。除了大大減少模型參數的數量外，它還具有良好的抗過度擬合性，但不限定於此。
基於如此之構成，請再參閱圖2所示，該辨識呼吸中止症模型(F)可預測出一正常信號(F1 )或一生病信號(F2 )，並配合7A圖所示，在該辨識呼吸中止症模型(F)的正確答案(Grond Truth)藉由該原始音訊(Y)呈現藍色曲線建立出該正常信號(F1 )為正常打鼾(Normal snoring)且呈綠色曲線，及該生病信號(F2 )為阻塞性睡眠呼吸中止症(obstructive sleep apnea,OSA)呈粉紅色曲線，又配合7B圖所示，在該辨識呼吸中止症模型(F)輸入該打鼾訊號(B)呈紅色曲線來預測(Prediction)該正常信號(F1 )該生病信號(F2 )，即可利用該神經網路演算法(G3 )從鼾聲來預測睡眠呼吸中止，但不限定於此。
綜上所述，本發明所揭示之技術手段，確具「新穎性」、「進步性」及「可供產業利用」等發明專利要件，祈請  鈞局惠賜專利，以勵創作，無任德感。
惟，上述所揭露之圖式、說明，僅為本發明之較佳實施例，大凡熟悉此項技藝人士，依本案精神範疇所作之修飾或等效變化，仍應包括在本案申請專利範圍內。
a~d:步驟 Y:原始音訊 B:打鼾信號 S:打鼾信號向量 M:第一門檻值 X:第二門檻值 Xi:原始音訊的最大值 Mi:打鼾信號的絕對值總和 R:右邊截止位置 L:左邊截止位置 S:打鼾信號向量 S1:第一單一打鼾信號向量 S2:第二單一打鼾信號向量 S3:第三單一打鼾信號向量 S4:第四單一打鼾信號向量 S5:第五單一打鼾信向量號 S6:第六單一打鼾信號向量 S7:第七單一打鼾信號向量 A:打鼾特徵矩陣 A1:正常標記 A2:生病標記 G1:打鼾切割演算法 G2:特徵提取演算法 G21:預加重程序 G22:窗口掃描程序 G23:快速傅里葉變換程序 G24:梅爾濾波程序 G25:非線性變換程序 G26:離散餘弦變換程序 G3:神經網路演算法 DN:密集網路模組 D:密集塊 T:過渡層 T1:卷積程序 T2:池化程序 E:分類層 I:密集層 BR:BN-ReLU-Conv層 k:生長速率值 F:呼吸中止症模型 F1:正常信號 F2:生病信號
圖1係本發明之流程圖。 圖2係本發明之示意圖。 圖3A係本發明原始音訊之示意圖。 圖3B係本發明原始音訊正規化之示意圖。 圖3C係本發明部分原始音訊之示意圖。 圖3D係本發明部分原始音訊正規化及找尋打鼾信號之示意圖。 圖3E係本發明打鼾信號切割之示意圖。 圖3F係本發明第一單一打鼾信號向量切割後之示意圖。 圖3G係本發明第二單一打鼾信號向量切割後之示意圖。 圖3H係本發明第三單一打鼾信號向量切割後之示意圖。 圖3I係本發明第四單一打鼾信號向量切割後之示意圖。 圖3J係本發明第五單一打鼾信號向量切割後之示意圖。 圖3K係本發明第六單一打鼾信號向量切割後之示意圖。 圖3L係本發明第七單一打鼾信號向量切割後之示意圖。 圖4係本發明梅爾倒頻譜係數演算法之示意圖。 圖5本發明密集網路模組之示意圖。 圖6本發明密集塊之示意圖。 圖7A係本發明辨識呼吸中止症模型之示意圖。 圖7B係本發明以辨識呼吸中止症模型進行預測正常信號或生病信號之示意圖。
a~d:步驟

Claims (10)

  1. 一種利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其步驟，包含： 擷取一原始音訊； 藉由一打鼾切割演算法係在該原始音訊中找到至少一打鼾信號，並切割該打鼾信號後，可輸出一具有一維特徵向量之打鼾信號向量； 藉由一特徵提取演算法係特徵提取該打鼾信號向量，使該打鼾信號向量轉換成一具有二維特徵向量之打鼾特徵矩陣；以及 藉由一神經網路演算法係分類該打鼾特徵矩陣，使該打鼾特徵矩陣經由分類訓練後，可得知該打鼾信號所代表的呼吸暫停次數或呼吸減緩次數。
  2. 如請求項1所述之利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其中，該打鼾切割演算法更包括一第一門檻值與一第二門檻值作為切割標準，並設定一滑動窗口進行線性掃描該原始音訊，以計算在該滑動窗口內該原始音訊的最大值，當該原始音訊的最大值大於該第二門檻值時，則認定有該打鼾信號的發生，而該滑動窗口所停留位置係設定該打鼾信號的位置，接著，該滑動窗口向右繼續進行線性掃描該打鼾信號，同時在該滑動窗口內計算該打鼾信號的絕對值總和，計算出的絕對值總和小於該第一門檻值時，而該滑動窗口所停留位置係設定該打鼾信號的右邊截止位置，接著，該滑動窗口向左繼續進行線性掃描該打鼾信號，同時在該滑動窗口內計算該打鼾信號的絕對值總和，計算出的絕對值總和小於該第一門檻值時，而該滑動窗口所停留位置係設定該打鼾信號的左邊截止位置，並以該打鼾信號的右邊截止位置與該打鼾信號的左邊截止位置切割出該打鼾信號向量。
  3. 如請求項2所述之利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其中，該第一門檻值公式為
    Figure 03_image001
    ，其中，該M代表該第一門檻值，該mean代表平均值，該f(.)代表下採樣函式，該Yi代表該原始音訊的向量；該第二門檻值公式為
    Figure 03_image003
    、
    Figure 03_image005
    ，其中，該X代表該第二門檻值，該mean代表平均值，該std代表標準差，該N代表自然數，該sort代表由小到大排序，該abs代表絕對值，該
    Figure 03_image007
    代表該Yi切割成n個向量。
  4. 如請求項2所述之利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其中，該打鼾信號向量的長度係設定為25000。
  5. 如請求項2所述之利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其中，該滑動窗口的長度係設定為1000。
  6. 如請求項1所述之利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其中，該特徵提取演算法為梅爾倒頻譜係數演算法，該梅爾倒頻譜係數演算法包括一預加重程序、一窗口掃描程序、一快速傅里葉變換程序、一梅爾濾波程序、一非線性變換及一離散餘弦變換程序。
  7. 如請求項1所述之利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其中，該神經網路演算法為卷積神經網路演算法，該卷積神經網路演算法係選自一密集塊網路模型為辨識模型。
  8. 如請求項7所述之利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其中，該密集塊網路模型包括複數密集塊、複數過渡層及一分類層。
  9. 如請求項8所述之利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其中，該過渡層包括一卷積程序及一池化程序；該分類層為Softmax層。
  10. 如請求項8所述之利用神經網路從鼾聲來預測睡眠呼吸中止之方法，其中，該密集塊包括一密集層、一BN-ReLU-Conv層及一生長速率值。
TW108116939A 2019-05-16 2019-05-16 利用神經網路從鼾聲來預測睡眠呼吸中止之方法 TWI735879B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW108116939A TWI735879B (zh) 2019-05-16 2019-05-16 利用神經網路從鼾聲來預測睡眠呼吸中止之方法
CN201911032125.1A CN111938649A (zh) 2019-05-16 2019-10-28 利用神经网络从鼾声来预测睡眠呼吸中止的方法
US16/675,494 US20200365271A1 (en) 2019-05-16 2019-11-06 Method for predicting sleep apnea from neural networks
JP2020084519A JP2020185390A (ja) 2019-05-16 2020-05-13 睡眠時無呼吸予測方法
US17/901,880 US20220409126A1 (en) 2019-05-16 2022-09-02 Circuit system which executes a method for predicting sleep apnea from neural networks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108116939A TWI735879B (zh) 2019-05-16 2019-05-16 利用神經網路從鼾聲來預測睡眠呼吸中止之方法

Publications (2)

Publication Number Publication Date
TW202044277A TW202044277A (zh) 2020-12-01
TWI735879B true TWI735879B (zh) 2021-08-11

Family

ID=73221393

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108116939A TWI735879B (zh) 2019-05-16 2019-05-16 利用神經網路從鼾聲來預測睡眠呼吸中止之方法

Country Status (4)

Country Link
US (1) US20200365271A1 (zh)
JP (1) JP2020185390A (zh)
CN (1) CN111938649A (zh)
TW (1) TWI735879B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113180691B (zh) * 2020-12-28 2022-10-21 天津大学 一种三通道睡眠呼吸暂停与低通气综合征识别装置
CN113314143B (zh) * 2021-06-07 2024-01-30 南京优博一创智能科技有限公司 呼吸暂停的判断方法、装置和电子设备
CA3174391A1 (en) * 2021-06-29 2022-12-29 Jinxin YU Systems, methods, and computer readable media for breathing signal analysis and event detection and generating respiratory flow and effort estimate signals
KR20230012218A (ko) * 2021-07-15 2023-01-26 주식회사 칩스앤미디어 신경망 기반의 인-루프 필터를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113925464B (zh) * 2021-10-19 2024-06-04 麒盛科技股份有限公司 一种基于移动设备检测睡眠呼吸暂停的方法
CN113974607B (zh) * 2021-11-17 2024-04-26 杭州电子科技大学 一种基于脉冲神经网络的睡眠鼾声检测系统
CN118160684B (zh) * 2024-05-14 2024-08-16 湖北大学 基于人工智能的间歇低氧动物建模的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102138795A (zh) * 2011-02-21 2011-08-03 上海大学 根据鼾声声学特征确定阻塞性睡眠呼吸暂停与低通气综合症严重程度的方法
CN102429643A (zh) * 2011-09-28 2012-05-02 陕西理工学院 一种鼾声测量仪
CN102429662A (zh) * 2011-11-10 2012-05-02 大连理工大学 家庭环境中睡眠呼吸暂停综合征的筛查系统
CN103006182A (zh) * 2012-12-06 2013-04-03 浙江工业大学 家用睡眠呼吸暂停综合症的初步检测系统
CN103251388A (zh) * 2013-04-25 2013-08-21 北京大学深圳研究生院 基于智能手机平台的打鼾监测和防治方法及系统
CN103690168A (zh) * 2013-12-31 2014-04-02 中国科学院深圳先进技术研究院 阻塞型睡眠呼吸暂停综合征检测方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000206984A (ja) * 1999-01-20 2000-07-28 Mitsubishi Electric Corp 音声認識装置
JP3699912B2 (ja) * 2001-07-26 2005-09-28 株式会社東芝 音声特徴量抽出方法と装置及びプログラム
WO2004091503A2 (en) * 2003-04-10 2004-10-28 Vivometrics, Inc. Systems and methods for respiratory event detection
EP2608717B1 (en) * 2010-08-26 2016-05-11 Ben Gurion University of The Negev Research and Development Authority Apparatus for diagnosing obstructive sleep apnea
TW201400088A (zh) * 2012-06-28 2014-01-01 Chang Gung Memorial Hospital Linkou 睡眠鼾聲檢查設備
US9904874B2 (en) * 2015-11-05 2018-02-27 Microsoft Technology Licensing, Llc Hardware-efficient deep convolutional neural networks
JP6908243B2 (ja) * 2016-02-01 2021-07-21 国立大学法人徳島大学 生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2017196194A (ja) * 2016-04-27 2017-11-02 国立大学法人大阪大学 睡眠状態解析支援装置、および、睡眠状態解析支援プログラム
US11712198B2 (en) * 2016-07-11 2023-08-01 B.G. Negev Technologies And Applications Ltd., At Ben-Gurion University Estimation of sleep quality parameters from whole night audio analysis
JP6734475B2 (ja) * 2017-10-10 2020-08-05 国立大学法人 東京大学 画像処理装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102138795A (zh) * 2011-02-21 2011-08-03 上海大学 根据鼾声声学特征确定阻塞性睡眠呼吸暂停与低通气综合症严重程度的方法
CN102429643A (zh) * 2011-09-28 2012-05-02 陕西理工学院 一种鼾声测量仪
CN102429662A (zh) * 2011-11-10 2012-05-02 大连理工大学 家庭环境中睡眠呼吸暂停综合征的筛查系统
CN103006182A (zh) * 2012-12-06 2013-04-03 浙江工业大学 家用睡眠呼吸暂停综合症的初步检测系统
CN103251388A (zh) * 2013-04-25 2013-08-21 北京大学深圳研究生院 基于智能手机平台的打鼾监测和防治方法及系统
CN103690168A (zh) * 2013-12-31 2014-04-02 中国科学院深圳先进技术研究院 阻塞型睡眠呼吸暂停综合征检测方法及系统

Also Published As

Publication number Publication date
JP2020185390A (ja) 2020-11-19
CN111938649A (zh) 2020-11-17
TW202044277A (zh) 2020-12-01
US20200365271A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
TWI735879B (zh) 利用神經網路從鼾聲來預測睡眠呼吸中止之方法
EP3776586B1 (en) Managing respiratory conditions based on sounds of the respiratory system
US10007480B2 (en) Multi-parametric analysis of snore sounds for the community screening of sleep apnea with non-Gaussianity index
WO2021114761A1 (zh) 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质
CN111696575B (zh) 基于混合神经网络模型的低通气和呼吸暂停检测识别系统
CN111685774B (zh) 基于概率集成回归模型的osahs诊断方法
CN110942784A (zh) 基于支持向量机的鼾声分类系统
CN111938650A (zh) 监测睡眠时呼吸暂停的方法及装置
CN111598868B (zh) 一种肺部超声图像识别方法和系统
CN111312293A (zh) 一种基于深度学习对呼吸暂停症患者的识别方法及系统
Ghaemmaghami et al. Normal probability testing of snore signals for diagnosis of obstructive sleep apnea
CN117064333A (zh) 一种针对阻塞性睡眠呼吸暂停低通气综合症的初筛装置
CN117541774A (zh) 基于改进YOLOv5与CBMA的帕金森早期医疗影像的识别方法
CN113273992B (zh) 信号处理方法及装置
US20220409126A1 (en) Circuit system which executes a method for predicting sleep apnea from neural networks
TWI818558B (zh) 用於病理語音辨識之系統、方法及電腦可讀儲存介質
CN118212939B (zh) 一种婴儿哭声的检测翻译方法及系统
Alqudah et al. Deep Learning Model for OSA Detection using Tracheal Breathing Sounds During Wakefulness
Koike et al. Evaluation of disease severity by acoustic analysis of the Eustachian tube insufflation sound
CN116486839A (zh) 一种基于双流多尺度模型的呼吸暂停鼾声识别方法
Jha et al. Enhanced Predictive Modeling Techniques for Early Detection of COPD Utilizing 1D Convolutional Neural Networks
Garg et al. Early detection of vocal disorders such as laryngeal cancer and dysphonia using voice analysis and machine learning
CN116077021A (zh) 一种睡眠脑电、鼾声检测分析装置
CN117503059A (zh) 端到端的生理信号片段目标检测方法
CN118053192A (zh) 一种基于多角度人脸图像的腺样体肥大识别系统