TWI869780B - 用於篩檢人類個體之呼吸疾病、監測人類個體之呼吸病況以及提供決策支援之方法及電腦化系統 - Google Patents
用於篩檢人類個體之呼吸疾病、監測人類個體之呼吸病況以及提供決策支援之方法及電腦化系統 Download PDFInfo
- Publication number
- TWI869780B TWI869780B TW112107316A TW112107316A TWI869780B TW I869780 B TWI869780 B TW I869780B TW 112107316 A TW112107316 A TW 112107316A TW 112107316 A TW112107316 A TW 112107316A TW I869780 B TWI869780 B TW I869780B
- Authority
- TW
- Taiwan
- Prior art keywords
- user
- respiratory
- phoneme
- data
- sample
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本發明揭示用於監測人類個體之呼吸病況之電腦化系統的技術,該系統可包括一或多個處理器,及上面儲存有用於在由一或多個處理器執行時執行操作之電腦可執行指令的電腦記憶體;其中該等操作包含自該人類個體收集至少一個音訊樣本,使用所收集之至少一個音訊樣本產生基線資料值,自該人類個體收集第二音訊樣本,使用所產生之基線資料值處理該第二音訊樣本,使用所處理之第二音訊樣本建構機器學習分類器,以及使用所建構之機器學習分類器判定該人類個體之呼吸病況。
Description
病毒及細菌呼吸道感染,諸如流感,每年影響大量人群且具有範圍介於輕微至嚴重的症狀。通常,感染者體內之病毒或細菌量在自我報告的症狀之前達到峰值,通常使個人察覺不到感染。另外,大部分個人通常發現難以偵測到新的或輕度的呼吸系統症狀,或定量症狀之任何變化(當症狀惡化或改善時)。然而,呼吸道感染之早期偵測可引起更有效的干預,其縮短感染之持續時間及/或降低感染之嚴重程度。另外,早期偵測在臨床試驗中係有益的,因為若偵測過晚使得潛在試驗參與者體內感染媒介物負荷下降至過低,則可能無法確認潛在參與者之症狀與所關注感染相關。因此,需要在症狀上升至通常需要促使前往健康照護提供者處就診的水平之前利用客觀措施偵測及監測呼吸道感染症狀的工具。
另外,針對呼吸道感染之預篩檢及測試係侵入性且不方便的。舉例而言,快速抗原測試已成為嚴重急性呼吸道症候群冠狀病毒2(SARS-CoV-2)或冠狀病毒病(COVID-19)之流行預篩檢技術。快速抗原測試包括使用者購買測試套組,獲取鼻拭子樣本,及等待約15分鐘觀測結果。替代地,快速抗原測試或其他類型之預篩檢可能必須在臨床環境中在
醫務人員監督下進行。除此不便之外,測試套組可能並非始終可用的,尤其在存在感染激增及隨之而來的對測試套組之高需求時。
呼吸道感染之診斷及治療亦可能必須在臨床環境中進行,從而使其不方便。舉例而言,在COVID-19之情況下,儘管快速抗原測試可指示可能陽性結果,但確診可能必須經由臨床接觸。換言之,具有可能陽性結果之使用者可能必須看醫生,醫生可安排額外確認測試且開立治療方案。其他疾病亦存在類似問題,諸如流感及呼吸道融合病毒(RSV)。
提供此發明內容以按簡化形式引入下文在實施方式中進一步描述的概念選擇。此發明內容既不意欲鑑別所主張之主題的關鍵特徵或基本特徵,亦不意欲在判定所主張之主題的範疇中單獨用作輔助。
本發明中所描述之技術的實施例能夠改良用於監測個人之呼吸病況的電腦化決策支援工具,諸如藉由判定及定量個人之呼吸病況發生的變化、判定個人患有呼吸病況(其可為呼吸道感染)之可能性或預測個人未來之呼吸病況。在一些實施例中,一種治療需要此類治療之人類之2019年冠狀病毒病(COVID-19)的方法可包括用音訊資料篩檢該人類之COVID-19,其中該篩檢可包含自該人類獲得音訊資料,該音訊資料可包括音素,在該音素上部署機器學習模型以判定該人類是否對COVID-19呈陽性,且若該人類對COVID-19呈陽性,則投與治療有效量之化合物或該化合物之醫藥學上可接受之鹽。在一些實施例中,音素可包括保持4.5秒之「ee」。在另一實施例中,音素可包括保持4.5秒之「mm」。在又一實施例中,音素可包括「ahh」之持續音素。在一些實施例中,音訊資料可進一步包括朗讀任務之音訊樣本,且其中用音訊資料篩檢該人類之COVID-
19可進一步包括在朗讀任務之音訊樣本上部署機器學習模型以判定該人類是否對COVID-19呈陽性。在另一實施例中,篩檢該人類之COVID-19可包括獲得該人類之症狀資料,其中該等症狀選自由以下組成之群:發熱、咳嗽、呼吸短促/呼吸困難、疲勞、鼻塞、流鼻涕、喉嚨痛、味覺或嗅覺喪失、發冷、肌肉痛、腹瀉、嘔吐、頭痛、噁心或寒戰(無/極輕度/輕度/中度/重度)。在又一實施例中,該方法可進一步包括提供測試之建議以確認篩檢。在一些實施例中,化合物可選自由以下組成之群:PLpro抑制劑阿匹莫德(Apilomod)、EIDD-2801、利巴韋林(Ribavirin)、纈更昔洛韋(Valganciclovir)、β-胸苷、阿斯巴甜(Aspartame)、氧烯洛爾(Oxprenolol)、多西環素(Doxycycline)、乙醯奮乃靜(Acetophenazine)、碘普羅胺(Iopromide)、核黃素、茶丙特羅(Reproterol)、2,2'-環胞苷、氯黴素、氯苯胺胺甲酸酯、左羥丙哌嗪(Levodropropizine)、頭孢孟多(Cefamandole)、氟尿苷、泰格環黴素(Tigecycline)、培美曲塞(Pemetrexed)、L(+)-抗壞血酸、麩胱甘肽、橘皮苷素(Hesperetin)、腺苷甲硫胺酸、馬索羅酚(Masoprocol)、異維甲酸、丹曲洛林(Dantrolene)、柳氮磺胺吡啶(Sulfasalazine)抗菌劑、水飛薊賓(Silybin)、尼卡地平(Nicardipine)、西地那非(Sildenafil)、桔梗皂苷(Platycodin)、金黃素(Chrysin)、新橙皮苷(Neohesperidin)、黃芩苷(Baicalin)、蘇葛三醇-3,9-二乙酸酯(Sugetriol-3,9-diacetate)、(-)-表沒食子兒茶素沒食子酸酯、菲安菊酯(Phaitanthrin)D、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、2,2-二(3-吲哚基)-3-吲哚酮、(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙
烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、白皮杉醇(Piceatannol)、迷迭香酸(Rosmarinic acid)及厚朴酚(Magnolol);3CLpro抑制劑離甲環素(Lymecycline)、氯己定(Chlorhexidine)、阿夫唑嗪(Alfuzosin)、西司他汀(Cilastatin)、法莫替丁(Famotidine)、阿米三嗪(Almitrine)、普羅加比(Progabide)、奈帕芬胺(Nepafenac)、卡維地洛(Carvedilol)、安普那韋(Amprenavir)、泰格環黴素、孟魯司特(Montelukast)、胭脂蟲酸、含羞草鹼、黃素、葉黃素、頭孢匹胺(Cefpiramide)、苯氧乙基青黴素(Phenethicillin)、坎沙曲(Candoxatril)、尼卡地平、戊酸雌二醇、吡格列酮(Pioglitazone)、考尼伐坦(Conivaptan)、替米沙坦(Telmisartan)、多西環素、土黴素(Oxytetracycline)、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、樺腦醛(Betulonal)、金黃素-7-O-β-葡萄糖苷酸、穿心蓮內酯苷(Andrographiside)、2-硝基苯甲酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、2β-羥基-3,4-斷-木栓烷-27-羧酸(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、Isodecortinol、酵母固醇(Cerevisterol)、橙皮苷、新橙皮苷、新穿心蓮內酯苷元(Andrograpanin)、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、大波斯菊苷(Cosmosiin)、Cleistocaltone A、2,2-二(3-吲哚基)-3-吲哚酮、山奈酚3-O-洋槐糖苷(Biorobin)、格尼迪木素(Gnidicin)、余甘子萜(Phyllaemblinol)、茶黃素3,3'-二-O-沒食子酸酯、迷迭香酸、貴州獐牙菜苷(Kouitchenside)I、齊墩
果酸(Oleanolic acid)、豆甾-5-烯-3-醇、2'-間羥基苯甲醯獐牙菜苷(Deacetylcentapicrin)及黃鱔藤酚(Berchemol);RdRp抑制劑纈更昔洛韋、氯己定、頭孢布坦(Ceftibuten)、非諾特羅(Fenoterol)、氟達拉濱(Fludarabine)、伊曲康唑(Itraconazole)、頭孢呋辛(Cefuroxime)、阿托喹酮(Atovaquone)、鵝去氧膽酸(Chenodeoxycholic acid)、色甘酸(Cromolyn)、泮庫溴銨(Pancuronium bromide)、可體松(Cortisone)、替勃龍(Tibolone)、新生黴素(Novobiocin)、水飛薊賓、艾達黴素(Idarubicin)、溴麥角環肽(Bromocriptine)、苯乙哌啶(Diphenoxylate)、苄基青黴醯(Benzylpenicilloyl)G、達比加群酯(Dabigatran etexilate)、樺腦醛、格尼迪木素、2β,30β-二羥基-3,4-斷-木栓烷-27-內酯、14-去氧-11,12-二去氫穿心蓮內酯、格尼迪木春(Gniditrin)、茶黃素3,3'-二-O-沒食子酸酯、2-胺基-3-苯基丙酸(R)-((1R,5aS,6R,9aS)-1,5a-二甲基-7-亞甲基-3-側氧基-6-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫-1H-苯并[c]氮呯-1-基)甲酯、2β-羥基-3,4-斷-木栓烷-27-羧酸、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、余甘根苷(Phyllaemblicin)B、14-羥基香附烯酮(14-hydroxycyperotundone)、穿心蓮內酯苷、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、穿心蓮內酯、蘇葛三醇-3,9-二乙酸酯、黃芩苷、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、1,7-二羥基-3-甲氧基酮、1,2,6-三甲氧基-8-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮及/或1,8-二羥基-6-甲氧基-2-[(6-O-β-D-木
哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮、8-(β-D-葡萄哌喃糖基氧基)-1,3,5-三羥基-9H-二苯并哌喃-9-酮;布枯苷(Diosmin)、橙皮苷、MK-3207、維奈托克(Venetoclax)、二氫麥角克鹼(Dihydroergocristine)、勃拉嗪(Bolazine)、R428、地特卡里(Ditercalinium)、依託泊苷(Etoposide)、替尼泊苷(Teniposide)、UK-432097、伊立替康(Irinotecan)、魯瑪卡托(Lumacaftor)、維帕他韋(Velpatasvir)、艾沙度林(Eluxadoline)、雷迪帕韋(Ledipasvir)、咯匹那韋(Lopinavir)/利托那韋(Ritonavir)與利巴韋林之組合、阿氟隆(Alferon)及普賴松(prednisone);地塞米松(dexamethasone)、阿奇黴素(azithromycin)、瑞德西韋(remdesivir)、波普瑞韋(boceprevir)、烏米芬韋(umifenovir)及法匹拉韋(favipiravir);α-酮醯胺化合物;RIG 1路徑活化劑;蛋白酶抑制劑;及瑞德西韋、加利地韋(galidesivir)、法維拉韋(favilavir)/阿維法韋(avifavir)、莫那比拉韋(molnupiravir,MK-4482/EIDD 2801)、AT-527、AT-301、BLD-2660、法匹拉韋、卡莫司他(camostat)、SLV213恩曲他濱(emtrictabine)/替諾福韋(tenofivir)、克來夫定(clevudine)、達塞曲匹(dalcetrapib)、波普瑞韋、ABX464、((S)-(((2R,3R,4R,5R)-5-(2-胺基-6-(甲胺基)-9H-嘌呤-9-基)-4-氟-3-羥基-4-甲基四氫呋喃-2-基)甲氧基)(苯氧基)磷醯基)-L-丙胺酸異丙酯(本尼福韋(bemnifosbuvir))、EDP-235、ALG-097431、EDP-938、尼馬瑞韋(nirmatrelvir)或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或水合物之組合(PaxlovidTM)、(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲
醯胺或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07321332,尼馬瑞韋)、S-217622、糖皮質激素、恢復期血漿、重組人類血漿、單株抗體、雷武珠單抗(ravulizumab)、VIR-7831/VIR-7832、BRII-196/BRII-198、COVI-AMG/COVI DROPS(STI-2020)、巴尼韋單抗(bamlanivimab,LY-CoV555)、瑪弗利單抗(mavrilimab)、樂利單抗(leronlimab,PRO140)、AZD7442、侖茲魯單抗(lenzilumab)、英利昔單抗(infliximab)、阿達木單抗(adalimumab)、JS 016、STI-1499(COVIGUARD)、拉那利尤單抗(lanadelumab)(塔克日羅(Takhzyro))、卡那單抗(canakinumab)(伊拉利斯(Ilaris))、瑾司魯單抗(gimsilumab)、奧替利單抗(otilimab)、抗體混合物、重組融合蛋白、抗凝血劑、IL-6受體促效劑、PIKfyve抑制劑、RIPK1抑制劑、VIP受體促效劑、SGLT2抑制劑、TYK抑制劑、激酶抑制劑、貝西替尼(bemcentinib)、阿卡替尼(acalabrutinib)、洛嗎莫德(losmapimod)、巴瑞替尼(baricitinib)、托法替尼(tofacitinib)、H2阻斷劑、驅蟲劑及弗林蛋白酶(furin)抑制劑。在另一實施例中,化合物可為(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07321332,尼馬瑞韋)。在另一實施例中,化合物可為尼馬瑞韋或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或水合物之組合(PaxlovidTM)。
在一些實施例中,一種治療需要此類治療之人類之流感的方法可包括用音訊資料篩檢該人類之流感,其中該篩檢可包括自該人類獲得音訊資料,該音訊資料包含音素,在該音素上部署機器學習模型以判定
該人類是否對流感呈陽性,且若該人類對流感呈陽性,則投與治療有效量之化合物或該化合物之醫藥學上可接受之鹽。在另一實施例中,音素可包括保持4.5秒之「ee」。在又一實施例中,音素可包括保持4.5秒之「mm」。在另一實施例中,音素可包括「ahh」之持續音素。在一些實施例中,音訊資料可進一步包括朗讀任務之音訊樣本,且其中用音訊資料篩檢人類之流感可進一步包括在朗讀任務之音訊樣本上部署機器學習模型以判定該人類是否對流感呈陽性。在一些實施例中,篩檢該人類之流感可進一步包括獲得該人類之症狀資料,其中該等症狀選自由以下組成之群:發熱、咳嗽、呼吸短促/呼吸困難、疲勞、鼻塞、流鼻涕、喉嚨痛、味覺或嗅覺喪失、發冷、肌肉痛、腹瀉、嘔吐、頭痛、噁心或寒戰(無/極輕度/輕度/中度/重度)。在一些實施例中,治療需要此類治療之人類之流感的方法可進一步包括提供測試之建議以確認篩檢。在另一實施例中,化合物可選自由以下組成之群:PLpro抑制劑阿匹莫德、EIDD-2801、利巴韋林、纈更昔洛韋、β-胸苷、阿斯巴甜、氧烯洛爾、多西環素、乙醯奮乃靜、碘普羅胺、核黃素、茶丙特羅、2,2'-環胞苷、氯黴素、氯苯胺胺甲酸酯、左羥丙哌嗪、頭孢孟多、氟尿苷、泰格環黴素、培美曲塞、L(+)-抗壞血酸、麩胱甘肽、橘皮苷素、腺苷甲硫胺酸、馬索羅酚、異維甲酸、丹曲洛林、柳氮磺胺吡啶抗菌劑、水飛薊賓、尼卡地平、西地那非、桔梗皂苷、金黃素、新橙皮苷、黃芩苷、蘇葛三醇-3,9-二乙酸酯、(-)-表沒食子兒茶素沒食子酸酯、菲安菊酯D、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、2,2-二(3-吲哚基)-3-吲哚酮、(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙
烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、白皮杉醇、迷迭香酸及厚朴酚;3CLpro抑制劑離甲環素、氯己定、阿夫唑嗪、西司他汀、法莫替丁、阿米三嗪、普羅加比、奈帕芬胺、卡維地洛、安普那韋、泰格環黴素、孟魯司特、胭脂蟲酸、含羞草鹼、黃素、葉黃素、頭孢匹胺、苯氧乙基青黴素、坎沙曲、尼卡地平、戊酸雌二醇、吡格列酮、考尼伐坦、替米沙坦、多西環素、土黴素、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、樺腦醛、金黃素-7-O-β-葡萄糖苷酸、穿心蓮內酯苷、2-硝基苯甲酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、2β-羥基-3,4-斷-木栓烷-27-羧酸(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、Isodecortinol、酵母固醇、橙皮苷、新橙皮苷、新穿心蓮內酯苷元、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、大波斯菊苷、Cleistocaltone A、2,2-二(3-吲哚基)-3-吲哚酮、山奈酚3-O-洋槐糖苷、格尼迪木素、余甘子萜、茶黃素3,3'-二-O-沒食子酸酯、迷迭香酸、貴州獐牙菜苷I、齊墩果酸、豆甾-5-烯-3-醇、2'-間羥基苯甲醯獐牙菜苷及黃鱔藤酚;RdRp抑制劑纈更昔洛韋、氯己定、頭孢布坦、非諾特羅、氟達拉濱、伊曲康唑、頭孢呋辛、阿托喹酮、鵝去氧膽酸、色甘酸、泮庫溴銨、可體松、替勃龍、新生黴素、水飛薊賓、艾達黴素、溴麥角環肽、苯乙哌啶、苄基青黴醯G、達比加群酯、樺腦醛、格尼迪木素、2β,30β-二羥基-3,4-斷-木栓烷-27-內酯、14-去氧-11,12-二去氫穿心蓮內酯、格尼迪木
春、茶黃素3,3'-二-O-沒食子酸酯、2-胺基-3-苯基丙酸(R)-((1R,5aS,6R,9aS)-1,5a-二甲基-7-亞甲基-3-側氧基-6-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫-1H-苯并[c]氮呯-1-基)甲酯、2β-羥基-3,4-斷-木栓烷-27-羧酸、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、余甘根苷B、14-羥基香附烯酮、穿心蓮內酯苷、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、穿心蓮內酯、蘇葛三醇-3,9-二乙酸酯、黃芩苷、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、1,7-二羥基-3-甲氧基酮、1,2,6-三甲氧基-8-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮及/或1,8-二羥基-6-甲氧基-2-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮、8-(β-D-葡萄哌喃糖基氧基)-1,3,5-三羥基-9H-二苯并哌喃-9-酮;布枯苷、橙皮苷、MK-3207、維奈托克、二氫麥角克鹼、勃拉嗪、R428、地特卡里、依託泊苷、替尼泊苷、UK-432097、伊立替康、魯瑪卡托、維帕他韋、艾沙度林、雷迪帕韋、咯匹那韋/利托那韋與利巴韋林之組合、阿氟隆及普賴松;地塞米松、阿奇黴素、瑞德西韋、波普瑞韋、烏米芬韋及法匹拉韋;α-酮醯胺化合物;RIG 1路徑活化劑;蛋白酶抑制劑;及瑞德西韋、加利地韋、法維拉韋/阿維法韋、莫那比拉韋(MK-4482/EIDD 2801)、AT-527、AT-301、BLD-2660、法匹拉韋、卡莫司他、SLV213恩曲他濱/替諾福韋、克來夫定、達塞曲匹、波普瑞韋、ABX464、((S)-(((2R,3R,4R,5R)-5-(2-胺基-6-(甲胺基)-9H-嘌呤-9-基)-4-氟-3-羥基-4-甲
基四氫呋喃-2-基)甲氧基)(苯氧基)磷醯基)-L-丙胺酸異丙酯(本尼福韋)、EDP-235、ALG-097431、EDP-938、尼馬瑞韋或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或水合物之組合(PaxlovidTM)、(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07321332,尼馬瑞韋)、S-217622、糖皮質激素、恢復期血漿、重組人類血漿、單株抗體、雷武珠單抗、VIR-7831/VIR-7832、BRII-196/BRII-198、COVI-AMG/COVI DROPS(STI-2020)、巴尼韋單抗(LY-CoV555)、瑪弗利單抗、樂利單抗(PRO140)、AZD7442、侖茲魯單抗、英利昔單抗、阿達木單抗、JS 016、STI-1499(COVIGUARD)、拉那利尤單抗(塔克日羅)、卡那單抗(伊拉利斯)、瑾司魯單抗、奧替利單抗、抗體混合物、重組融合蛋白、抗凝血劑、IL-6受體促效劑、PIKfyve抑制劑、RIPK1抑制劑、VIP受體促效劑、SGLT2抑制劑、TYK抑制劑、激酶抑制劑、貝西替尼、阿卡替尼、洛嗎莫德、巴瑞替尼、托法替尼、H2阻斷劑、驅蟲劑及弗林蛋白酶抑制劑。在另一實施例中,化合物可為(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07321332,尼馬瑞韋)。在又一實施例中,化合物可為尼馬瑞韋或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或水合物之組合(PaxlovidTM)。
在一些實施例中,一種治療需要此類治療之人類之呼吸道
融合病毒(RSV)的方法可包括用音訊資料篩檢該人類之RSV,其中該篩檢可包括自該人類獲得音訊資料,該音訊資料包含音素,在該音素上部署機器學習模型以判定該人類是否對RSV呈陽性,且若該人類對RSV呈陽性,則投與治療有效量之化合物或該化合物之醫藥學上可接受之鹽。在一些實施例中,音素可包括保持4.5秒之「ee」。在另一實施例中,音素可包括保持4.5秒之「mm」。在又一實施例中,音素可包括「ahh」之持續音素。在一些實施例中,音訊資料可進一步包含朗讀任務之音訊樣本,且其中用音訊資料篩檢人類之RSV可進一步包括在朗讀任務之音訊樣本上部署機器學習模型以判定該人類是否對RSV呈陽性。在另一實施例中,篩檢該人類之RSV可進一步包括獲得該人類之症狀資料,其中該等症狀可選自由以下組成之群:發熱、咳嗽、呼吸短促/呼吸困難、疲勞、鼻塞、流鼻涕、喉嚨痛、味覺或嗅覺喪失、發冷、肌肉痛、腹瀉、嘔吐、頭痛、噁心或寒戰(無/極輕度/輕度/中度/重度)。在一些實施例中,治療需要此類治療之人類之呼吸道融合病毒(RSV)的方法可進一步包括提供測試之建議以確認篩檢。
在一些實施例中,一種篩檢人類個體之呼吸疾病之方法可包括自人類個體收集至少一個音訊樣本,產生至少一個聲譜圖,判定音訊樣本之共變異數值,建構機器學習分類器,及使用機器學習分類器判定人類個體之呼吸病況。在一些實施例中,呼吸疾病可為2019年冠狀病毒病(COVID-19)。在另一實施例中,呼吸疾病可為流感。在一些實施例中,產生至少一個聲譜圖可包括基於所收集之至少一個音訊樣本產生至少一個聲譜圖。在另一實施例中,判定音訊樣本之共變異數值可包括使用所產生之至少一個聲譜圖判定共變異數值。在又一實施例中,判定所收集之至少
一個音訊樣本之共變異數值可包括將共變異數值自黎曼空間(Riemannian space)投影至切空間。在一些實施例中,其中建構機器學習分類器可包括藉由自所判定之共變異數值外推模式來建構機器學習分類器。在另一實施例中,其中自所判定之共變異數值外推模式可包括在黎曼空間中執行外推。在又一實施例中,其中判定所收集之至少一個音訊樣本之共變異數值可包括產生19×19共變異數矩陣。在一些實施例中,機器學習分類器可為平衡隨機森林分類器。在另一實施例中,其中使用機器學習分類器判定人類個體之呼吸病況可包括判定所判定之共變異數值與機器學習分類器之間的距離。在又一實施例中,其中所產生之至少一個聲譜圖可為梅爾頻率倒頻譜係數(Mel-frequency cepstral coefficient,MFCC)聲譜圖。在一些實施例中,MFCC聲譜圖可包括20個頻率區間。
在一些實施例中,用於監測人類個體之呼吸病況之電腦化系統可包括一或多個處理器及上面儲存有用於在由一或多個處理器執行時執行操作之電腦可執行指令的電腦記憶體,其中操作可包括自人類個體收集至少一個音訊樣本,產生至少一個聲譜圖,判定所收集之音訊樣本之共變異數值,建構機器學習分類器,及使用機器學習分類器判定人類個體之呼吸病況。在一些實施例中,監測人類個體之呼吸病況可包括篩檢2019年冠狀病毒病(COVID-19)。在另一實施例中,人類個體之呼吸病況可包括篩查流感。在又一實施例中,產生至少一個聲譜圖可包括基於所收集之至少一個音訊樣本產生至少一個聲譜圖。在一些實施例中,判定音訊樣本之共變異數值可包括使用所產生之至少一個聲譜圖判定共變異數值。在另一實施例中,判定所收集之至少一個音訊樣本之共變異數值可包括將共變異數值自黎曼空間投影至切空間。在又一實施例中,建構機器學習分類器
可包括藉由自所判定之共變異數值外推模式來建構機器學習分類器。在一些實施例中,自所判定之共變異數值外推模式可包括在黎曼空間中執行外推。在另一實施例中,判定所收集之至少一個音訊樣本之共變異數值可包括產生19×19共變異數矩陣。在又一實施例中,機器學習分類器可為平衡隨機森林分類器。在一些實施例中,其中使用機器學習分類器判定人類個體之呼吸病況可包括判定所判定之共變異數值與機器學習分類器之間的距離。在另一實施例中,所產生之至少一個聲譜圖可為梅爾頻率倒頻譜係數(MFCC)聲譜圖。在又一實施例中,MFCC聲譜圖可包括20個頻率區間。
在一些實施例中,一種用於治療需要此類治療之人類之呼吸疾病之方法可包括使用聲感測器裝置自人類收集至少一個音訊樣本,產生至少一個聲譜圖,判定音訊樣本之共變異數值,建構機器學習分類器,使用機器學習分類器篩檢人類呼吸疾病,且若人類對呼吸疾病呈陽性,則投與治療有效量之化合物或該化合物之醫藥學上可接受之鹽以治療人類呼吸疾病。在一些實施例中,呼吸疾病可為2019年冠狀病毒病(COVID-19)。在另一實施例中,化合物可選自由以下組成之群:PLpro抑制劑、阿匹莫德、EIDD-2801、利巴韋林、纈更昔洛韋、β-胸苷、阿斯巴甜、氧烯洛爾、多西環素、乙醯奮乃靜、碘普羅胺、核黃素、茶丙特羅、2,2'-環胞苷、氯黴素、氯苯胺胺甲酸酯、左羥丙哌嗪、頭孢孟多、氟尿苷、泰格環黴素、培美曲塞、L(+)-抗壞血酸、麩胱甘肽、橘皮苷素、腺苷甲硫胺酸、馬索羅酚、異維甲酸、丹曲洛林、柳氮磺胺吡啶抗菌劑、水飛薊賓、尼卡地平、西地那非、桔梗皂苷、金黃素、新橙皮苷、黃芩苷、蘇葛三醇-3,9-二乙酸酯、(-)-表沒食子兒茶素沒食子酸酯、菲安菊酯D、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-
3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、2,2-二(3-吲哚基)-3-吲哚酮、(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、白皮杉醇、迷迭香酸及厚朴酚;3CLpro抑制劑離甲環素、氯己定、阿夫唑嗪、西司他汀、法莫替丁、阿米三嗪、普羅加比、奈帕芬胺、卡維地洛、安普那韋、泰格環黴素、孟魯司特、胭脂蟲酸、含羞草鹼、黃素、葉黃素、頭孢匹胺、苯氧乙基青黴素、坎沙曲、尼卡地平、戊酸雌二醇、吡格列酮、考尼伐坦、替米沙坦、多西環素、土黴素、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、樺腦醛、金黃素-7-O-β-葡萄糖苷酸、穿心蓮內酯苷、2-硝基苯甲酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、2β-羥基-3,4-斷-木栓烷-27-羧酸(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、Isodecortinol、酵母固醇、橙皮苷、新橙皮苷、新穿心蓮內酯苷元、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、大波斯菊苷、Cleistocaltone A、2,2-二(3-吲哚基)-3-吲哚酮、山奈酚3-O-洋槐糖苷、格尼迪木素、余甘子萜、茶黃素3,3'-二-O-沒食子酸酯、迷迭香酸、貴州獐牙菜苷I、齊墩果酸、豆甾-5-烯-3-醇、2'-間羥基苯甲醯獐牙菜苷及黃鱔藤酚;RdRp抑制劑纈更昔洛韋、氯己定、頭孢布坦、非諾特羅、氟達拉濱、伊曲康唑、頭孢呋辛、阿托喹酮、鵝去氧膽酸、色甘酸、泮庫溴銨、可體松、替勃龍、新生黴素、水飛薊賓、艾達
黴素、溴麥角環肽、苯乙哌啶、苄基青黴醯G、達比加群酯、樺腦醛、格尼迪木素、2β,30β-二羥基-3,4-斷-木栓烷-27-內酯、14-去氧-11,12-二去氫穿心蓮內酯、格尼迪木春、茶黃素3,3'-二-O-沒食子酸酯、2-胺基-3-苯基丙酸(R)-((1R,5aS,6R,9aS)-1,5a-二甲基-7-亞甲基-3-側氧基-6-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫-1H-苯并[c]氮呯-1-基)甲酯、2β-羥基-3,4-斷-木栓烷-27-羧酸、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、余甘根苷B、14-羥基香附烯酮、穿心蓮內酯苷、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、穿心蓮內酯、蘇葛三醇-3,9-二乙酸酯、黃芩苷、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、1,7-二羥基-3-甲氧基酮、1,2,6-三甲氧基-8-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮及/或1,8-二羥基-6-甲氧基-2-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮、8-(β-D-葡萄哌喃糖基氧基)-1,3,5-三羥基-9H-二苯并哌喃-9-酮;布枯苷、橙皮苷、MK-3207、維奈托克、二氫麥角克鹼、勃拉嗪、R428、地特卡里、依託泊苷、替尼泊苷、UK-432097、伊立替康、魯瑪卡托、維帕他韋、艾沙度林、雷迪帕韋、咯匹那韋/利托那韋與利巴韋林之組合、阿氟隆及普賴松;地塞米松、阿奇黴素、瑞德西韋、波普瑞韋、烏米芬韋及法匹拉韋;α-酮醯胺化合物;RIG 1路徑活化劑;蛋白酶抑制劑;及瑞德西韋、加利地韋、法維拉韋/阿維法韋、莫那比拉韋(MK-4482/EIDD 2801)、AT-527、AT-301、BLD-2660、法匹拉韋、卡莫司他、SLV213恩曲他濱/替
諾福韋、克來夫定、達塞曲匹、波普瑞韋、ABX464、磷酸二氫(3S)-3-({N-[(4-甲氧基-1H-吲哚-2-基)羰基]-L-白胺醯基}胺基)-2-側氧基-4-[(3S)-2-側氧基吡咯啶-3-基]丁酯;及其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07304814)、(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其溶劑合物或水合物(PF-07321332)、S-217622、糖皮質激素、恢復期血漿、重組人類血漿、單株抗體、雷武珠單抗、VIR-7831/VIR-7832、BRII-196/BRII-198、COVI-AMG/COVI DROPS(STI-2020)、巴尼韋單抗(LY-CoV555)、瑪弗利單抗、樂利單抗(PRO140)、AZD7442、侖茲魯單抗、英利昔單抗、阿達木單抗、JS 016、STI-1499(COVIGUARD)、拉那利尤單抗(塔克日羅)、卡那單抗(伊拉利斯)、瑾司魯單抗、奧替利單抗、抗體混合物、重組融合蛋白、抗凝血劑、IL-6受體促效劑、PIKfyve抑制劑、RIPK1抑制劑、VIP受體促效劑、SGLT2抑制劑、TYK抑制劑、激酶抑制劑、貝西替尼、阿卡替尼、洛嗎莫德、巴瑞替尼、托法替尼、H2阻斷劑、驅蟲劑及弗林蛋白酶抑制劑。在又一實施例中,化合物可為磷酸二氫(3S)-3-({N-[(4-甲氧基-1H-吲哚-2-基)羰基]-L-白胺醯基}胺基)-2-側氧基-4-[(3S)-2-側氧基吡咯啶-3-基]丁酯或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07304814)。在一些實施例中,化合物可為(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其溶劑合物或水合物(PF-07321332,尼馬瑞韋)。在另一實施例中,化合物可為尼馬瑞韋或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或
水合物之組合(PaxlovidTM)。在一些實施例中,用於治療需要此類治療之人類之呼吸疾病之方法可進一步包括產生經提供用於在使用者裝置上顯示之圖形使用者介面元件。在另一實施例中,使用者裝置可與聲感測器裝置分開。在又一實施例中,其中產生至少一個聲譜圖可包括基於所收集之至少一個音訊樣本產生至少一個聲譜圖。在一些實施例中,其中建構機器學習分類器包含自所判定之共變異數值外推模式。在另一實施例中,其中判定所收集之至少一個音訊樣本之共變異數值包含將共變異數值自黎曼空間投影至切空間。在又一實施例中,其中自所判定之共變異數值外推模式可包括在黎曼空間中執行外推。在一些實施例中,其中判定共變異數值可包括產生19×19共變異數矩陣。在另一實施例中,其中機器學習分類器為平衡隨機森林分類器。在又一實施例中,其中使用機器學習分類器篩檢人類呼吸疾病可包括判定所判定之共變異數值與機器學習分類器之間的距離。在一些實施例中,其中所產生之至少一個聲譜圖為梅爾頻率倒頻譜係數(MFCC)聲譜圖。在另一實施例中,MFCC聲譜圖可包括20個頻率區間。
在一些實施例中,一種篩檢人類個體之呼吸疾病之方法可包括自人類個體收集至少一個音訊樣本,使用所收集之至少一音訊樣本產生基線資料值,自人類個體收集第二音訊樣本,使用所產生之基線資料值處理第二音訊樣本,使用所處理之第二音訊樣本建構機器學習分類器,及使用所建構之機器學習分類器判定人類個體之呼吸病況。在一些實施例中,收集至少一個音訊樣本之步驟可包括自人類個體收集至少三個音訊樣本。在另一實施例中,產生基線資料值之步驟可包括使用來自人類個體之三個所收集之音訊樣本產生基線資料。在又一實施例中,產生基線資料值之步驟可包括為三個所收集之音訊樣本中之各者產生至少一個聲譜圖。在
一些實施例中,產生基線資料值之步驟可包括判定三個所收集之音訊樣本中之各者的共變異數值。在另一實施例中,判定三個所收集之音訊樣本中之各者的共變異數值之步驟可包括將共變異數值自黎曼空間投影至切空間。在另一實施例中,其中判定三個所收集之音訊樣本之共變異數值可包括為三個所收集之音訊樣本中之各者產生19×19共變異數矩陣。在又一實施例中,產生基線資料值之步驟可包括產生投影於切空間中之三個所收集之音訊樣本之共變異數值的平均值。在一些實施例中,所產生之至少一個聲譜圖可為梅爾頻率倒頻譜係數(MFCC)聲譜圖。在另一實施例中,MFCC聲譜圖可包括20個頻率區間。在又一實施例中,第二音訊樣本在與至少一個音訊樣本不同的一天收集。在一些實施例中,處理第二音訊樣本之步驟可包括自第二音訊樣本產生至少一個聲譜圖。在另一實施例中,處理第二音訊樣本之步驟可包括判定所產生之至少一個聲譜圖之共變異數值。在又一實施例中,其中判定所收集之至少一個音訊樣本之共變異數值可包括產生19×19共變異數矩陣。在一些實施例中,處理第二音訊樣本之步驟可包括將共變異數值自黎曼空間投影至切空間。在另一實施例中,處理第二音訊樣本之步驟可包括將投影於切空間中之第二音訊樣本之共變異數值與所產生之基線資料值組合。在又一實施例中,所產生之至少一個聲譜圖可為梅爾頻率倒頻譜係數(MFCC)聲譜圖。在一些實施例中,MFCC聲譜圖可包括20個頻率區間。在另一實施例中,呼吸疾病可為2019年冠狀病毒病(COVID-19)。在又一實施例中,呼吸疾病可為流感。在一些實施例中,機器學習分類器可為平衡隨機森林分類器。
在一些實施例中,一種用於監測人類個體之呼吸病況之電腦化系統可包括一或多個處理器,及上面儲存有用於在由一或多個處理器
執行時執行操作之電腦可執行指令的電腦記憶體,其中該等操作可包括自人類個體收集至少一個音訊樣本,使用所收集之至少一個音訊樣本產生基線資料值,自人類個體收集第二音訊樣本,使用所產生之基線資料值處理第二音訊樣本,使用所處理之第二音訊樣本建構機器學習分類器,以及使用所建構之機器學習分類器判定人類個體之呼吸病況。在一些實施例中,收集至少一個音訊樣本之步驟可包括自人類個體收集至少三個音訊樣本。在另一實施例中,產生基線資料值之步驟可包括使用來自人類個體之三個所收集之音訊樣本產生基線資料。在又一實施例中,產生基線資料值之步驟可包括為三個所收集之音訊樣本中之各者產生至少一個聲譜圖。在一些實施例中,產生基線資料值之步驟可包括判定三個所收集之音訊樣本中之各者的共變異數值。在另一實施例中,判定三個所收集之音訊樣本中之各者的共變異數值之步驟可包括將共變異數值自黎曼空間投影至切空間。在又一實施例中,其中判定三個所收集之音訊樣本之共變異數值可包括為三個所收集之音訊樣本中之各者產生19×19共變異數矩陣。在一些實施例中,產生基線資料值之步驟可包括產生投影於切空間中之三個所收集之音訊樣本之共變異數值的平均值。在另一實施例中,所產生之至少一個聲譜圖可為梅爾頻率倒頻譜係數(MFCC)聲譜圖。在又一實施例中,MFCC聲譜圖可包括20個頻率區間。在一些實施例中,第二音訊樣本可在與至少一個音訊樣本不同的一天收集。在另一實施例中,處理第二音訊樣本之步驟可包括自第二音訊樣本產生至少一個聲譜圖。在又一實施例中,處理第二音訊樣本之步驟可包括判定所產生之至少一個聲譜圖的共變異數值。在一些實施例中,其中判定所收集之至少一個音訊樣本之共變異數值可包括產生19×19共變異數矩陣。在一些其他實施例中,處理第二音訊樣本之步驟
可包括將共變異數值自黎曼空間投影至切空間。在另一實施例中,處理第二音訊樣本之步驟可包括將投影於切空間中之第二音訊樣本之共變異數值與所產生之基線資料值組合。在又一實施例中,其中所產生之至少一個聲譜圖可為梅爾頻率倒頻譜係數(MFCC)聲譜圖。在一些實施例中,MFCC聲譜圖可包括20個頻率區間。在一些其他實施例中,呼吸疾病可為2019年冠狀病毒病(COVID-19)。在另一實施例中,呼吸疾病可為流感。在又一實施例中,機器學習分類器可為平衡隨機森林分類器。
在一些實施例中,一種治療需要此類治療之人類之呼吸疾病的方法可包括使用聲感測器裝置自人類個體收集至少一個音訊樣本,使用所收集之至少一個音訊樣本產生基線資料值,自人類個體收集第二音訊樣本,使用所產生之基線資料值處理第二音訊樣本,使用所處理之第二音訊樣本建構機器學習分類器,使用所建構之機器學習分類器判定人類個體之呼吸病況,且若人類對呼吸疾病呈陽性,則投與治療有效量之化合物或該化合物之醫藥學上可接受之鹽以治療人類呼吸疾病。在一些其他實施例中,呼吸疾病可包括2019年冠狀病毒病(COVID-19)。在另一實施例中,化合物可選自由以下組成之群:PLpro抑制劑阿匹莫德、EIDD-2801、利巴韋林、纈更昔洛韋、β-胸苷、阿斯巴甜、氧烯洛爾、多西環素、乙醯奮乃靜、碘普羅胺、核黃素、茶丙特羅、2,2'-環胞苷、氯黴素、氯苯胺胺甲酸酯、左羥丙哌嗪、頭孢孟多、氟尿苷、泰格環黴素、培美曲塞、L(+)-抗壞血酸、麩胱甘肽、橘皮苷素、腺苷甲硫胺酸、馬索羅酚、異維甲酸、丹曲洛林、柳氮磺胺吡啶抗菌劑、水飛薊賓、尼卡地平、西地那非、桔梗皂苷、金黃素、新橙皮苷、黃芩苷、蘇葛三醇-3,9-二乙酸酯、(-)-表沒食子兒茶素沒食子酸酯、菲安菊酯D、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥
基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、2,2-二(3-吲哚基)-3-吲哚酮、(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、白皮杉醇、迷迭香酸及厚朴酚;3CLpro抑制劑離甲環素、氯己定、阿夫唑嗪、西司他汀、法莫替丁、阿米三嗪、普羅加比、奈帕芬胺、卡維地洛、安普那韋、泰格環黴素、孟魯司特、胭脂蟲酸、含羞草鹼、黃素、葉黃素、頭孢匹胺、苯氧乙基青黴素、坎沙曲、尼卡地平、戊酸雌二醇、吡格列酮、考尼伐坦、替米沙坦、多西環素、土黴素、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、樺腦醛、金黃素-7-O-β-葡萄糖苷酸、穿心蓮內酯苷、2-硝基苯甲酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、2β-羥基-3,4-斷-木栓烷-27-羧酸(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、Isodecortinol、酵母固醇、橙皮苷、新橙皮苷、新穿心蓮內酯苷元、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、大波斯菊苷、Cleistocaltone A、2,2-二(3-吲哚基)-3-吲哚酮、山奈酚3-O-洋槐糖苷、格尼迪木素、余甘子萜、茶黃素3,3'-二-O-沒食子酸酯、迷迭香酸、貴州獐牙菜苷I、齊墩果酸、豆甾-5-烯-3-醇、2'-間羥基苯甲醯獐牙菜苷及黃鱔藤酚;RdRp抑制劑纈更昔洛韋、氯己定、頭孢布坦、非諾特羅、氟達拉濱、伊曲康唑、頭孢呋辛、阿托喹酮、鵝去氧膽酸、色甘酸、泮庫溴銨、
可體松、替勃龍、新生黴素、水飛薊賓、艾達黴素、溴麥角環肽、苯乙哌啶、苄基青黴醯G、達比加群酯、樺腦醛、格尼迪木素、2β,30β-二羥基-3,4-斷-木栓烷-27-內酯、14-去氧-11,12-二去氫穿心蓮內酯、格尼迪木春、茶黃素3,3'-二-O-沒食子酸酯、2-胺基-3-苯基丙酸(R)-((1R,5aS,6R,9aS)-1,5a-二甲基-7-亞甲基-3-側氧基-6-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫-1H-苯并[c]氮呯-1-基)甲酯、2β-羥基-3,4-斷-木栓烷-27-羧酸、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、余甘根苷B、14-羥基香附烯酮、穿心蓮內酯苷、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、穿心蓮內酯、蘇葛三醇-3,9-二乙酸酯、黃芩苷、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、1,7-二羥基-3-甲氧基酮、1,2,6-三甲氧基-8-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮及/或1,8-二羥基-6-甲氧基-2-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮、8-(β-D-葡萄哌喃糖基氧基)-1,3,5-三羥基-9H-二苯并哌喃-9-酮;布枯苷、橙皮苷、MK-3207、維奈托克、二氫麥角克鹼、勃拉嗪、R428、地特卡里、依託泊苷、替尼泊苷、UK-432097、伊立替康、魯瑪卡托、維帕他韋、艾沙度林、雷迪帕韋、咯匹那韋/利托那韋與利巴韋林之組合、阿氟隆及普賴松;地塞米松、阿奇黴素、瑞德西韋、波普瑞韋、烏米芬韋及法匹拉韋;α-酮醯胺化合物;RIG 1路徑活化劑;蛋白酶抑制劑;及瑞德西韋、加利地韋、法維拉韋/阿維法韋、莫那比拉韋(MK-4482/EIDD 2801)、AT-
527、AT-301、BLD-2660、法匹拉韋、卡莫司他、SLV213恩曲他濱/替諾福韋、克來夫定、達塞曲匹、波普瑞韋、ABX464、磷酸二氫(3S)-3-({N-[(4-甲氧基-1H-吲哚-2-基)羰基]-L-白胺醯基}胺基)-2-側氧基-4-[(3S)-2-側氧基吡咯啶-3-基]丁酯;及其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07304814)、(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其溶劑合物或水合物(PF-07321332)、S-217622、糖皮質激素、恢復期血漿、重組人類血漿、單株抗體、雷武珠單抗、VIR-7831/VIR-7832、BRII-196/BRII-198、COVI-AMG/COVI DROPS(STI-2020)、巴尼韋單抗(LY-CoV555)、瑪弗利單抗、樂利單抗(PRO140)、AZD7442、侖茲魯單抗、英利昔單抗、阿達木單抗、JS 016、STI-1499(COVIGUARD)、拉那利尤單抗(塔克日羅)、卡那單抗(伊拉利斯)、瑾司魯單抗、奧替利單抗、抗體混合物、重組融合蛋白、抗凝血劑、IL-6受體促效劑、PIKfyve抑制劑、RIPK1抑制劑、VIP受體促效劑、SGLT2抑制劑、TYK抑制劑、激酶抑制劑、貝西替尼、阿卡替尼、洛嗎莫德、巴瑞替尼、托法替尼、H2阻斷劑、驅蟲劑及弗林蛋白酶抑制劑。在又一實施例中,化合物可為磷酸二氫(3S)-3-({N-[(4-甲氧基-1H-吲哚-2-基)羰基]-L-白胺醯基}胺基)-2-側氧基-4-[(3S)-2-側氧基吡咯啶-3-基]丁酯或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07304814)。在一些實施例中,化合物可為(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其溶劑合物或水合物(PF-07321332,尼馬瑞韋)。在另一實施例中,化合物可為尼馬瑞韋或其醫藥學上可接受之
鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或水合物之組合(PaxlovidTM)。在又一實施例中,該方法可進一步包括產生經提供用於在使用者裝置上顯示之圖形使用者介面元件。在一些實施例中,使用者裝置可與聲感測器裝置分開。在另一實施例中,收集至少一個音訊樣本之步驟可包括自人類個體收集至少三個音訊樣本。在又一實施例中,產生基線資料值之步驟可包括使用來自人類個體之三個所收集之音訊樣本產生基線資料。在一些實施例中,產生基線資料值之步驟可包括為三個所收集之音訊樣本中之各者產生至少一個聲譜圖。在一些其他實施例中,產生基線資料值之步驟可包括判定三個所收集之音訊樣本中之各者的共變異數值。在另一實施例中,判定三個所收集之音訊樣本中之各者的共變異數值之步驟可包括將共變異數值自黎曼空間投影至切空間。在又一實施例中,其中判定三個所收集之音訊樣本之共變異數值可包括為三個所收集之音訊樣本中之各者產生19×19共變異數矩陣。在一些實施例中,產生基線資料值之步驟可包括產生投影於切空間中之三個所收集之音訊樣本之共變異數值的平均值。在一些其他實施例中,所產生之至少一個聲譜圖可為梅爾頻率倒頻譜係數(MFCC)聲譜圖。在另一實施例中,MFCC聲譜圖可包括20個頻率區間。在又一實施例中,第二音訊樣本可在與至少一個音訊樣本不同的一天收集。在一些實施例中,處理第二音訊樣本之步驟可包括自第二音訊樣本產生至少一個聲譜圖。在一些其他實施例中,處理第二音訊樣本之步驟可包括判定所產生之至少一個聲譜圖的共變異數值。在另一實施例中,其中判定所收集之至少一個音訊樣本之共變異數值可包括產生19×19共變異數矩陣。在又一實施例中,處理第二音訊樣本之步驟可包括將共變異數值自黎曼空間投影至切空間。在一些實施例中,處理第二音
訊樣本之步驟可包括將投影於切空間中之第二音訊樣本之共變異數值與所產生之基線資料值組合。在一些其他實施例中,所產生之至少一個聲譜圖可為梅爾頻率倒頻譜係數(MFCC)聲譜圖。在另一實施例中,MFCC聲譜圖可包括20個頻率區間。在又一實施例中,呼吸疾病可為2019年冠狀病毒病(COVID-19)。在一些實施例中,呼吸疾病可為流感。在一些其他實施例中,機器學習分類器可為平衡隨機森林分類器。
在一些實施例中,用於監測人類個體之呼吸病況之電腦化系統可包括一或多個處理器,及上面儲存有用於在由一或多個處理器執行時執行操作之電腦可執行指令的電腦記憶體,其中該等操作可包括自人類個體收集至少一個音訊樣本,判定人類個體是否已用電腦化系統建立基線資料值,若人類個體確實具有所建立之基線資料值,則使用第一機器學習分類器使用所收集之至少一個音訊樣本判定人類個體之呼吸病況,及替代地若人類個體不具有所建立之基線資料值,則使用第二機器學習分類器使用所收集之至少一個音訊樣本判定人類個體之呼吸病況。在一些其他實施例中,操作可包括使用來自人類個體之至少一個先前收集之音訊樣本建構第一機器學習分類器。在另一實施例中,其中建構第一機器學習分類器可包括使用來自人類個體之至少三個先前收集之音訊樣本產生基線資料值。在又一實施例中,其中產生基線資料值可包括為來自人類個體之至少三個先前收集之音訊樣本中之各者產生至少一個聲譜圖。在一些實施例中,產生基線資料值可包括判定來自人類個體之至少三個先前收集之音訊樣本中之各者的共變異數值。在一些其他實施例中,產生基線資料值可包括將共變異數值自黎曼空間投影至切空間。在另一實施例中,產生基線資料值可包括為三個先前收集之音訊樣本中之各者產生19×19共變異數矩陣。在又
一實施例中,產生基線資料值可包括產生切空間中三個先前收集之音訊樣本之共變異數值的平均值。在一些實施例中,其中所產生之至少一個聲譜圖可為梅爾頻率倒頻譜係數(MFCC)聲譜圖。在另一實施例中,第一機器分類器可為平衡隨機森林分類器。在又一實施例中,操作可包括使用來自人類個體之至少一個先前收集之音訊樣本建構第二機器學習分類器。在一些實施例中,至少一個先前收集之音訊樣本可在與至少一個音訊樣本不同的一天收集。在一些其他實施例中,其中建構第二機器學習分類器可包括為至少一個先前收集之音訊樣本產生至少一個聲譜圖。在另一實施例中,其中建構第二機器學習分類器可包括判定至少一個先前收集之音訊樣本之共變異數值。在又一實施例中,其中建構第二機器學習分類器可包括將所判定之共變異數值自黎曼空間投影至切空間。在一些實施例中,其中判定至少一個先前收集之音訊樣本之共變異數值可包括產生19×19共變異數矩陣。在一些其他實施例中,其中所產生之至少一個聲譜圖可為梅爾頻率倒頻譜係數(MFCC)聲譜圖。在另一實施例中,第二機器學習分類器為平衡隨機森林分類器。
100:操作環境
102a,102b,102c…102n:使用者電腦裝置/使用者裝置
103:感測器
104:電子健康記錄/EHR
105a:決策支援應用程式/決策支援app
105b:決策支援應用程式/決策支援app
106:伺服器
108:臨床醫師使用者裝置/使用者裝置
110:網路
150:資料儲存
200:系統/操作環境
210:資料收集組件
220:呈現組件
231:指令
233:語音音素提取邏輯
235:音素特徵比較邏輯
237:使用者病況推理邏輯
240:個人記錄
241:設定檔/健康資料(EHR)/電子健康記錄(EHR)
242:語音樣本
244:音素特徵向量
246:結果/推斷病況
248:使用者帳戶/裝置
249:設定
250:儲存
260:使用者語音監測器
270:呼吸病況追蹤器
272:特徵向量時間序列組合器
274:音素特徵比較器
276:自我報告資料評估器
278:呼吸病況推理引擎
280:使用者互動管理器
282:使用者指令產生器
284:自我報告工具
286:使用者輸入回應產生器
290:決策支援工具
292:患病監測器
294:處方監測器
296:藥品功效追蹤器
401:場景
402:場景
402a:智慧型手錶
402b:智慧型揚聲器
402c:智慧型手機
405:指令
407:語音樣本
410:使用者
411:場景
412:場景
415:指令
417:語音樣本
421:場景
422:場景
423:場景
424:意圖
425:可聽回應
426:可聽指令
427:可聽回應
428:指令
429:可聽語音樣本
431:場景
432:場景
433:可聽訊息
435:可聽回應/回應
437:後續訊息
441:場景
442:場景
443:可聽訊息/訊息
445:可聽回應
447:元件/音訊訊息/訊息
451:場景
452:場景
453:場景
455:訊息/可聽訊息
457:回應
458:雲端
459:可聽訊息
710:圖
720:圖
730:圖
810:直方圖
820:直方圖
830:直方圖
900:圖
1010:圖
1020:圖
1100:圖
1150:圖
1200:圖
1210:表
1310:圖
1320:圖
1330:圖
1340:圖
1410:圖
1420:圖
1500:後端機器學習模型
1502:音訊
1504:音訊影像
1506:卷積神經網路
1508:卷積及整流線性激勵函數層/卷積及ReLU層
1510:池化層
1512:池化層
1514:多維輸出
1516:平坦化層
1518:全連接層
1520:輸出
1600:方法
1602:步驟
1604:步驟
1606:步驟
1608:步驟
1610:步驟
1700:計算裝置/深度學習模型/梅爾頻率聲譜圖
1704:朗讀任務
1706:持續發音任務/持續音素任務
1708:短音素任務
1710:短音素任務/匯流排
1712:第一卷積神經網路/卷積神經網路
1714:第二卷積神經網路/卷積神經網路
1716:第三卷積神經網路/卷積神經網路
1718:第四卷積神經網路/卷積神經網路
1720:全連接層
1722:預測層
1800:方法
1802:步驟
1804:步驟
1806:步驟
1808:步驟
1810:步驟
1812:步驟
1900:方法
1902:步驟
1904:步驟
1906:步驟
1908:步驟
1910:步驟
1912:步驟
2000:方法
2002:步驟/篩檢步驟
2002a:子步驟
2002b:子步驟
2004:步驟
2100:計算裝置
2110:匯流排
2112:記憶體
2114:處理器
2116:呈現組件
2118:輸入/輸出埠/I/O埠
2120:I/O組件
2122:電源
2124:無線電
2202:步驟
2204:步驟
2206:步驟
2208:步驟
2210:步驟
2212:步驟
2302:共變異數值投影或變換至切空間中
2304:共變異數矩陣
2306:MFCC
2310:音訊資料
2312:機器學習分類器/平衡隨機森林演算法
2602:錄音最佳化器
2603:背景雜訊分析器
2604:語音樣本收集器
2606:信號準備處理器
2608:樣本記錄稽核器
2610:音素分割器
2614:聲學特徵提取器
2616:情境資訊判定器
3100:程序
3102:使用者
3104:語音症狀應用程式
3106:操作
3108:儀錶板/臨床醫師儀錶板
3500:程序
5100:GUI
5101:呼吸道感染監測app/電腦軟體應用程式
5102a:使用者計算裝置/使用者裝置
5103:描述符
5104:共用圖示
5105:GUI元件
5106:聽診器圖示
5107:漢堡功能表圖示
5108:循環圖示
5109:標頭區域
5110:圖示功能表
5111:使用者可選圖示/首頁圖示
5112:使用者可選圖示/「語音記錄」圖示/語音記錄圖示
5113:使用者可選圖示/展望圖示
5114:使用者可選圖示/日誌圖示
5115:使用者可選圖示/設定圖示
5120:語音分析器
5122:GUI元件
5123:GUI元件
5200:序列
5210:GUI
5213:指令
5214:進度指示器
5215:開始按鈕
5220:GUI
5222:GUI元件
5230:GUI
5232:GUI元件
5240:GUI
5242:GUI元件
5243:GUI元件
5244:GUI元件
5245:完成按鈕
5300:GUI
5301:展望
5303:描述符
5312:呼吸病況評分
5314:元件/傳播風險
5315:元件/建議
5316:元件/趨勢描述符
5318:GUI元件
5400:GUI
5401:日誌工具
5403:描述符
5403a:日期箭頭
5410:添加症狀/添加症狀索引標籤
5412:可選選項
5415:自我報告工具
5418:可選選項
5420:註釋/註釋索引標籤
5430:報告/報告索引標籤
5440:歷史/歷史索引標籤
5450:治療/指示治療之索引標籤/治療索引標籤
5500:序列
5510:GUI
5520:GUI
5530:GUI
6100:方法
6110:步驟
6120:步驟
6130:步驟
6140:步驟
6155:步驟
6160:步驟
6200:方法
6210:步驟
6220:步驟
6230:步驟
6240:步驟
下文參考隨附圖式詳細描述本發明之態樣,其中:圖1為適合於實施本發明之態樣之示例操作環境的方塊圖;圖2為描繪適合於實施本發明之態樣之示例計算架構的圖;圖3A說明性地描繪根據本發明之一實施例的用於監測呼吸病況之示例程序的圖解表示;圖3B說明性地描繪根據本發明之一實施例的收集資料以監測呼吸病況之示例程序的圖解表示;
圖4A至圖4F說明性地描繪利用本發明之各種實施例的示例情境;圖5A至圖5E說明性地描繪根據本發明之各種實施例的展示示例圖形使用者介面(GUI)之態樣的來自計算裝置之例示性螢幕擷取畫面;圖6A說明性地描繪根據本發明之一實施例的用於監測呼吸病況之示例方法的流程圖;圖6B說明性地描繪根據本發明之另一實施例的用於監測呼吸病況之示例方法的流程圖;圖7說明性地描繪根據本發明之一實施例的示例聲學特徵隨時間推移之變化的表示;圖8說明性地描繪根據本發明之一實施例的呼吸道感染症狀之衰減常數的圖形表示;圖9說明性地描繪根據本發明之一實施例的聲學特徵與呼吸道感染症狀之間的相關性之圖形表示;圖10說明性地描繪根據本發明之一實施例的示例個人之自我報告的症狀評分隨時間推移之變化的圖形表示;圖11A至圖11B說明性地描繪根據本發明之一實施例的針對不同聲學特徵計算之距離度量與自我報告的症狀評分之間的等級相關之圖形表示;圖12A說明性地描繪根據本發明之一實施例的跨不同個人之距離度量與自我報告的症狀評分之間的等級相關的圖示;圖12B說明性地描繪根據本發明之一實施例的聲學特徵類型與音素之間的統計顯著相關性;圖13說明性地描繪根據本發明之一實施例的三名示例個人之聲學特徵及自我報告的症狀隨時間推移之相對變化的圖形圖示;
圖14說明性地描繪根據本發明之一實施例的呼吸道感染偵測器之效能的示例表示;圖15說明性地描繪根據本發明之一實施例的用於呼吸疾病之預篩檢及診斷分析的後端機器學習模型;圖16說明性地描繪根據本發明之一實施例的訓練機器學習模型以用於呼吸病況(諸如COVID-19)之預篩檢及/或診斷的示例方法之流程圖;圖17說明性地描繪根據本發明之一實施例之深度學習模型的實例;圖18說明性地描繪根據本發明之一實施例的部署機器學習模型以用於預篩檢呼吸病況(諸如COVID-19)之示例方法的流程圖;圖19說明性地描繪根據本發明之一實施例的部署機器學習模型以用於診斷呼吸病況(諸如COVID-19)之示例方法的流程圖;圖20說明性地描繪根據本發明之一實施例的治療患有呼吸疾病(例如COVID-19、流感、RSV等)之人類之示例方法的流程圖;圖21為適用於實施本發明之一實施例之例示性計算環境的方塊圖;圖22為根據本文中呈現之主題的用於篩檢及治療患有呼吸疾病之人類之例示性方法的另一方塊圖;圖23為根據本文中呈現之主題的用於篩檢及治療患有呼吸疾病之人類之方法的另一實施例之圖示;圖24繪示根據本文中呈現之主題之MFCC提取管線的一個實施例;圖25繪示根據本文中呈現之主題的切空間映射之一個實施例。
本申請案與以下申請案相關:2021年8月30日申請之標題為「用於呼吸病況監測及照護之電腦化決策支援工具及醫療裝置(Computerized Decision Support Tool And Medical Device For Respiratory Condition Monitoring And Care)」的PCT申請案第PCT/US21/48242號、2020年8月28日申請之標題為「用於呼吸病況監測及照護之電腦化決策支援工具(Computerized Decision Support Tool For Respiratory Condition Monitoring And Care)」的美國臨時申請案第63/0718,718號、2021年8月27日申請之標題為「用於呼吸病況監測及照護之電腦化決策支援工具及醫療裝置」的美國臨時申請案第63/238,103號。本申請案亦主張以下申請案之優先權:2022年3月2日申請之標題為「用於呼吸病況監測及照護之電腦化決策支援工具及醫療裝置」的美國臨時申請案第63/315,899號、2022年5月27日申請之標題為「用於呼吸病況監測及照護之電腦化決策支援工具及醫療裝置」的美國臨時申請案第63/346,675號及2022年9月20日申請之標題為「用於呼吸病況監測及照護之電腦化決策支援工具及醫療裝置」的美國臨時申請案第63/376,367號;其各自已以全文引用之方式併入。
本文中藉助於不同態樣具體描述本發明之主題以滿足法定要求。然而,描述自身並不意欲限制本專利的範疇。所主張主題可以其他方式體現,以包括類似於本發明中所描述之步驟或步驟組合的不同步驟或步驟組合,以及其他當前或未來技術。此外,儘管術語「步驟」及/或「方塊」在本文中可用以意味所使用方法之不同要素,但該等術語不應解釋為意指本文中所揭示之各種步驟當中或之間的任何特定次序,除非在明確陳述個別步驟之次序時及除了在明確陳述個別步驟之次序時之外。本文所描述之各方法可包含可使用硬體、韌體及/或軟體之任何組合執行的計
算程序。舉例而言,各種功能可藉由處理器執行儲存於電腦記憶體中之指令來實施。該等方法亦可體現為儲存於電腦儲存媒體上之電腦可用指令。該等方法可由獨立應用程式、服務或代管服務(獨立或與另一代管服務組合)或另一產品之外掛程式提供,僅列舉數例。
本發明之態樣係關於用於呼吸病況監測及照護之電腦化決策支援工具。呼吸病況每年影響大量人群且具有範圍介於輕微至嚴重的症狀。此類呼吸病況可包括由細菌或病毒媒介物引起之呼吸道感染(諸如流感),或可包含非感染性呼吸系統症狀。儘管本發明之一些態樣描述呼吸道感染,但經考慮此類態樣可一般適用於呼吸病況。
個人通常發現難以偵測到新的或輕度的呼吸系統症狀,以及定量症狀之變化(亦即,當症狀惡化時或當症狀改善時)。呼吸病況之客觀量測習知地僅在個人會見健康照護專業人員且進行試樣分析時判定。然而,可導致呼吸道感染之病毒或細菌量通常在自我報告的症狀之前在受感染個人體內達到峰值,通常使個人在接受任何診斷之前察覺不到感染。舉例而言,患有流感或2019年冠狀病毒病(COVID-19)之個人可能在感覺到症狀之前感染其他人。無法在早期階段客觀地量測呼吸病況(諸如感染)之輕度症狀使得更有可能將感染傳播至其他個人、呼吸病況之持續時間更長以及呼吸病況之嚴重程度更高。
為了改良呼吸病況之監測及照護,本發明之實施例可提供一或多種決策支援工具,其用於基於來自使用者語音記錄之聲學資料判定使用者之呼吸病況及/或預報使用者未來之呼吸病況。舉例而言,使用者可經由語音記錄提供音訊資料,使得可判定音訊資料中之音素的聲學特徵(其在本文中亦稱為音素特徵)。在一實施例中,可接收複數個語音記錄,
使得各記錄對應於不同時間間隔(例如,可獲得連續數天內各天之語音記錄)。可比較來自不同時間間隔之音素特徵值以判定關於使用者之呼吸病況的資訊,諸如使用者之呼吸病況是否隨時間推移發生變化。可基於使用者之呼吸病況的判定自動向使用者及/或使用者之臨床醫師提供動作,諸如警示或決策支援建議。
在一個實施例中,且如本文進一步描述,可藉由利用諸如麥克風之感測器自所監測個人(其在本文中亦可稱為使用者)接收聲學資訊。聲學資訊可包含使用者之語音(例如發聲或其他呼吸音)之一或多個記錄。例如,語音記錄可包括持續發音(例如「aaaaaaaah」)、腳本化語音或非腳本化語音之音訊樣本。麥克風可整合於或以其他方式耦接至使用者計算裝置,諸如智慧型手機、智慧型手錶或智慧型揚聲器。在一些情況下,語音音訊樣本可在使用者家中或在使用者日常活動期間記錄,且可包括在使用者與智慧型揚聲器或其他使用者計算裝置無意互動期間記錄的資料。
一些實施例亦可產生及/或提供指令以導引使用者通過用於提供可用於監測使用者之呼吸病況之音訊資料的程序。舉例而言,圖4A、圖4B及圖4C各自展示使用者計算裝置(或使用者裝置)向使用者輸出指令(例如,呈文字及/或可聽指令形式)作為評估練習之一部分的情境。指令可提示使用者發出某些聲音,且在一些實施例中提示發聲之持續時間(例如,「請說出且保持聲音「aah」五秒」)。在一些實施例中,指令可要求使用者保持或維持發聲,諸如基本母音之一,諸如/a/的發聲,持續使用者能夠持續之最長時間。且在一些實施例中,指令包括要求使用者大聲朗讀書面段落。一些實施例可進一步包括向使用者提供回饋以確保語音樣
本係可用的,諸如指示使用者何時開始/停止、說話較長時間、保持較長持續時間、減少背景雜訊及/或用於品質控制之其他回饋。
在一些實施例中,可自接收自使用者之音訊資料偵測聲學及語音資訊,諸如音素。在一個實施例中,所偵測音素可包括音素/a/、/m/及/n/。在另一實施例中,所偵測音素包括/a/、/e/、/m/及/n/。在本文所描述之技術的一些實施例中,所偵測音素可用於判定用於呼吸病況偵測及監測之生物標記。一旦偵測到音素,則可自音訊資料提取或判定所偵測音素之聲學特徵。聲學特徵之實例可包括但不限於表徵功率及功率變異性、音調及音調變異性、頻譜結構及/或共振峰之量測的資料。在一些實施例中,可針對音訊資料中所偵測之不同音素判定不同特徵集(亦即,聲學特徵之不同組合)。在一例示性實施例中,針對/n/音素判定12個特徵,針對/m/音素判定12個特徵,且針對/a/音素判定8個特徵。在一些實施例中,可執行預處理或信號調節操作以有助於偵測音素及/或判定音素特徵。此等操作可包括例如修整音訊樣本資料、頻率濾波、正規化、移除背景雜訊、間歇性尖峰、其他聲學假影或如本文所描述之其他操作。
由於隨時間推移自使用者獲取音訊資料,因此可包含音素特徵向量之多個音素特徵集可經產生且與不同時間間隔相關聯。在一些實施例中,時間序列可根據與特徵集相關聯之時間資訊以時間順序或逆時間順序由使用者之連續音素特徵集組合。可判定不同時間點或時間間隔相關聯的特徵集內之特徵值的差異或變化。舉例而言,可藉由比較與不同時間點或時間間隔相關聯之兩個或更多個音素特徵向量來判定使用者之音素特徵向量的差異。在一個實施例中,可藉由計算特徵向量之間的距離度量,諸如歐氏距離(Euclidian distance)來判定差異。在一些情況下,用於比較
之音素特徵集之一表示使用者之健康基線。健康基線特徵集可基於在已知或假定使用者未患呼吸病況時獲取之音訊資料而判定。類似地,可利用基於在已知或假定使用者患有呼吸病況時獲取之音訊資料而判定的患病基線特徵集。
基於不同時間之音素特徵集之間的差異,可提供關於使用者之呼吸病況判定之資訊。在一些實施例中,如本文進一步描述,此判定可提供為呼吸病況評分。呼吸病況評分可對應於使用者患有(或未患)呼吸病況,諸如感染之可能性或機率(例如,一般針對任何呼吸病況或針對特定呼吸病況)。替代地或另外,呼吸病況評分可指示使用者之呼吸病況是否改善、惡化或未改變。舉例而言,圖4F之示例情境描繪一實施例,其中基於對使用者之語音資訊的分析判定使用者未自呼吸病況恢復,如本文所描述。在其他實施例中,呼吸病況評分可指示使用者在未來時間間隔內將罹患呼吸病況、仍將患有呼吸病況或將自呼吸病況恢復之可能性。圖4E之示例情境描繪一實施例,其中預測患有感冒之使用者將在接下來的三天內感覺好轉。
在一些實施例中,除使用者之語音資訊之外,亦可利用情境資訊來判定或預測使用者之呼吸病況。如本文進一步描述,情境資訊可包括但不限於使用者之生理資料,諸如體溫、睡眠資料、移動性資訊、自我報告的症狀、位置或天氣相關資訊。自我報告的症狀資料可包括例如使用者是否感覺到特定症狀,諸如鼻塞,且可進一步包括經歷症狀之嚴重程度或評級。在一些情況下,症狀自我報告工具可用於獲取使用者症狀資訊。在一些實施例中,提供自我報告的資訊之自動提示(或請求使用者報告症狀資料之通知)可基於對使用者之語音相關資料的分析或使用者之經
判定呼吸病況發生。圖4D之示例情境描繪一實施例,其中基於對使用者之語音的分析判定使用者可能患病。在此實施例中,監測軟體應用程式可詢問使用者,例如使用者是否感覺到某些呼吸相關症狀(例如,鼻塞、疲倦等)。圖4D之實例進一步描繪一旦使用者確認鼻塞,則提示使用者對鼻塞之嚴重程度進行評級。此使用者之自我報告的症狀可用於作出關於使用者之呼吸病況的額外判定或預報。在一些實施例中,可利用其他情境資訊,諸如使用者之生理資料(諸如心率、體溫、睡眠或其他資料)、天氣相關資訊(例如濕度、溫度、污染或類似資料)、位置或本文所描述之其他情境資訊,諸如關於使用者區域中之呼吸道感染爆發之資訊。
基於可包括病況之變化(或無變化)的使用者之呼吸病況的判定,計算裝置可起始動作。該動作可包含例如將警示或通知以電子方式傳達至使用者、臨床醫師或使用者之照護者。在一些實施例中,通知或警示可包括關於使用者之呼吸病況之資訊,諸如呼吸病況評分、定量或表徵使用者之呼吸病況之變化的資訊、呼吸病況之當前狀態及/或對使用者未來之呼吸病況的預測。在一些實施例中,動作可進一步包括處理呼吸病況資訊以供決策,其可包括基於使用者之呼吸病況提供治療及支援之建議。舉例而言,建議可包含諮詢健康照護提供者、繼續現有處方或非處方醫藥(諸如對處方進行再配藥)、修改當前治療方案之劑量或藥品及/或修改或不修改(亦即,繼續)呼吸病況之監測。在一些態樣中,動作可包括起始此等或其他建議中之一或多者,諸如自動排定與使用者之健康照護提供者的預約及/或將通知傳達至藥房以對處方進行再配藥。圖4F之示例情境描繪一實施例,其中基於使用者之呼吸病況未改善的判定,通知使用者之醫生且抗生素之處方再次進行配藥且安排遞送至使用者。
又另一類型之動作可包含自動起始或執行與使用者之呼吸病況之監測或治療相關聯的操作。藉助於實例而非限制,此操作可包括自動排定與使用者之健康照護提供者的預約、將通知發送至藥方以對處方進行再配藥,或修改與監測使用者之呼吸病況相關聯的程序或用於監測使用者呼吸病況之電腦操作。在示例動作之一個實施例中,修改語音分析程序,諸如用於獲得或分析使用者語音相關資料之電腦程式設計操作。在一個此類實施例中,可提示使用者更頻繁地(諸如每天兩次)提供語音樣本,或可更頻繁地收集語音資訊,諸如在自與計算裝置之無意互動收集語音資訊的實施例中。在另一此類實施例中,可修改藉由呼吸病況監測應用程式收集或分析之特定音素或特徵資訊。在一個實施例中,可修改電腦程式設計操作,使得使用者可經指示作出一組與其先前已提供之聲音不同的聲音。類似地,在另一類型之動作中,可修改電腦程式設計操作以提示使用者提供症狀資料,諸如先前所描述。
除其他之外,可由本文所揭示之技術之實施例提供的一個益處為早期偵測呼吸病況,諸如感染。根據此等實施例,使用者發聲(包括呼吸音)之聲學特徵可用於偵測甚至輕度的呼吸系統症狀或呼吸病況之表現,且在個人懷疑疾病之前(例如,使用者感覺有症狀之前)警示個人或健康照護提供者有病況。呼吸病況之早期偵測可引起更有效的干預,其縮短感染之持續時間及/或降低感染之嚴重程度。呼吸道感染之早期偵測亦可降低傳播至其他個人之風險,因為其使得受感染個人能夠比原本更早採取防護措施防止傳播,諸如戴口罩或自我隔離。以此方式,此等實施例提供對呼吸病況(包括呼吸道感染)偵測之習知方法的改良,習知方法依賴於使用者報告症狀且因此使病況較晚偵測到(或完全未偵測到)。歸因於使用
者自我報告的資料之主觀性,此等習知方法亦較不準確或不精確。
呼吸道感染之早期偵測亦可有益於臨床試驗。舉例而言,在疫苗之臨床試驗中,需要確認個人之症狀與所關注感染之間的相關性。若個人未在足夠早期得到診斷,則個人體內之感染媒介物負荷下降至過低,以致可能無法確認個人之症狀與所關注感染的相關性。在無確認之情況下,個人無法參與試驗。因此,本文所描述之實施例不僅可用於進行早期偵測以進行更有效治療,而且當用於臨床試驗時,此等實施例可實現開發新的潛在治療或疫苗之較高試驗參與。
可由本文所揭示之技術之實施例提供的另一益處為使用者遵從監測呼吸病況之可能性增加。舉例而言,且如本文進一步描述,使用者之語音記錄可以不顯眼之方式、在家或遠離醫生診所獲得,且在一些態樣中,在個人進行日常生活(例如,進行日常對話)之時間期間獲得,其中對個人之負擔極小。監測呼吸病況(包括獲得使用者資料)之較不繁重的方式可增加使用者遵從性,其又可有助於確保早期偵測且可提供對監測呼吸病況之習知方法的另一改良。
可由本文所揭示之技術之實施例提供的又另一益處為在治療患有呼吸病況之個人方面改良的準確性。特定言之,本發明之一些實施例使得能夠追蹤潛在呼吸病況,諸如感染,以判定病況是否惡化、改善或未改變,此可影響個人之治療。舉例而言,最初具有輕度症狀之個人可能不需要立即用藥或接受治療。本發明之一些實施例可用於監測病況之進展,且若病況惡化至可能需要或建議治療(例如,藥物治療)之程度,則警示個人及/或健康照護提供者。另外,本發明之實施例可判定個人是否自諸如感染之呼吸病況恢復,且因此是否建議治療變化,諸如改變藥品及/
或劑量。在另一實例中,本發明之實施例可在使用者被開立具有潛在呼吸相關副作用之藥品(諸如某些治療癌症之藥品)時判定使用者之呼吸病況,且基於使用者是否正在經歷呼吸相關副作用及其程度如何判定是否建議治療變化。以此方式,本文所描述之技術的一些實施例可藉由使得能夠更精確利用醫藥,且尤其諸如抗生素/抗微生物醫藥之醫藥來提供對習知技術之改良,因為可基於個人之呼吸病況的客觀、可定量偵測之變化來開立或繼續此類醫藥。
現轉至圖1,提供展示可採用本發明之一些實施例之示例操作環境100的方塊圖。應理解本文中所描述的此及其他配置僅作為實例來闡述。除了圖1以及其他圖中展示之彼等配置及元件之外或替代該等配置及元件,可使用其他配置及元件(例如,機器、介面、功能、命令及功能分組),且一些元件可為清楚起見而完全省去。另外,本文中所描述的許多元件為可作為離散或分散式組件或結合其他組件及在任何合適組合及位置中實施的功能性實體。本文中所描述的各種功能或操作係藉由包括硬體、韌體、軟體及其組合之一或多個實體執行。舉例而言,一些功能可藉由處理器執行儲存於記憶體中之指令來實施。
如圖1中所示,示例操作環境100包括許多使用者裝置,諸如使用者電腦裝置(可互換地稱為「使用者裝置」)102a、102b、102c至102n及臨床醫師使用者裝置108;一或多個決策支援應用程式,諸如決策支援應用程式105a及105b;電子健康記錄(EHR)104;一或多個資料源,諸如資料儲存150;伺服器106;一或多個感測器,諸如感測器103;及網路110。應理解,圖1中所示之操作環境100為一個適合的操作環境之實例。圖1中所示之組件中之各者可經由任何類型之計算裝置實施,諸如結
合例如圖16描述之計算裝置1700。此等組件可經由網路110彼此通信,該網路可包括但不限於一或多個區域網路(LAN)及/或廣域網路(WAN)。在例示性實施中,網路110可包含網際網路及/或蜂巢式網路,以及多種可能的公用及/或私人網路中之任一者。
應理解,在本發明之範疇內,可在操作環境100內採用任何數目的使用者裝置(諸如102a-n及108)、伺服器(諸如106)、決策支援應用程式(諸如105a-b)、資料源(諸如資料儲存150)及EHR(諸如104)。各元件可包含單一裝置或組件,或多個裝置或組件,其在分散式環境中協作。舉例而言,伺服器106可經由配置於分散式環境中之多個裝置提供,該等裝置共同提供本文所描述之功能。另外,本文中未展示之其他組件亦可包括於分散式環境內。
使用者裝置102a、102b、102c至102n及臨床醫師使用者裝置108可為操作環境100之用戶端側上的用戶端使用者裝置,而伺服器106可在操作環境100之伺服器側上。伺服器106可包含伺服器側軟體,其經設計以與使用者裝置102a、102b、102c至102n及108上之用戶端側軟體結合工作以實施本發明中所論述之特徵及功能的任何組合。提供操作環境100之此劃分以說明適合環境之一個實例,且不要求伺服器106及使用者裝置102a、102b、102c至102n及108之任何組合保持為分離實體。
使用者裝置102a、102b、102c至102n及108可包含能夠由使用者使用的任何類型之計算裝置。舉例而言,在一個實施例中,使用者裝置102a、102b、102c至102n及108可為本文中關於圖16所描述之計算裝置的類型。藉助於實例而非限制,使用者裝置可體現為個人電腦(PC)、膝上型電腦、行動裝置(mobile/mobile device)、智慧型手機、智慧型揚聲
器、平板電腦、智慧型手錶、隨身電腦、個人數位助理(PDA)裝置、音樂播放器或MP3播放器、全球定位系統(GPS)、視訊播放器、手持型通信裝置、遊戲裝置、娛樂系統、車輛電腦系統、嵌入式系統控制器、相機、遙控器、器具、消費型電子裝置、工作站或此等所敍述裝置之任何組合,或任何其他適合的電腦裝置。
一些使用者裝置,諸如使用者裝置102a、102b、102c至102n可意欲由經由一或多個感測器,諸如感測器103觀測之使用者使用。在一些實施例中,使用者裝置可包括整合式感測器(類似於感測器103)或與外部感測器(類似於103)協同操作。在例示性實施例中,感測器103感測聲學資訊。舉例而言,感測器103可包含一或多個麥克風(或麥克風陣列),其實施有或經由通信耦接至智慧型裝置,諸如智慧型揚聲器、智慧型行動裝置、智慧型手錶,或作為單獨麥克風裝置。其他類型之感測器亦可整合至使用者裝置中或與使用者裝置結合工作,諸如生理感測器(例如,偵測心率、血壓、血氧含量、溫度及相關資料之感測器)。然而,經考慮,根據本發明之實施例,關於個人之生理資訊亦可自EHR 104中之個人歷史資料或自人類量測或人類觀測接收。可實施於操作環境100中之額外類型的感測器包括經組態以偵測以下之感測器:使用者位置(例如,室內定位系統(IPS)或全球定位系統(GPS));大氣資訊(例如,溫度計、濕度計或氣壓計);環境光(例如,光偵測器);及運動(例如,陀螺儀或加速計)。
在一些態樣中,感測器103可用或經由使用者攜帶之智慧型手機(諸如使用者裝置102c)或定位於個人可位於其中之一或多個區域中之智慧型揚聲器(諸如使用者裝置102b)操作。舉例而言,感測器103可為
整合至位於個人家中之智慧型揚聲器中的麥克風,其可感測在距智慧型揚聲器之最大距離內發生的聲音資訊,包括使用者之語音。經考慮,感測器103可替代地以其他方式整合,諸如整合至定位於穿戴者身體上或附近之裝置中的感測器。在其他態樣中,感測器103可為黏著至使用者皮膚之皮膚貼片感測器;可攝入或皮下感測器,或整合至使用者生活環境(包括電視、恆溫器、門鈴、相機或其他器具)中之感測器組件。
資料可藉由感測器103連續地、週期性地、按需要或在變得可用時獲取。此外,由感測器103獲取之資料可與時間及日期資訊相關聯,且可表示為所量測變數之一或多個時間序列。在一實施例中,感測器103可收集原始感測器資訊,且可執行信號處理、形成變數決策統計、累積求和、趨勢、小波處理、定限、決策統計之計算處理、決策統計之邏輯處理、預處理及/或信號調節。在一些實施例中,感測器103可包含類比數位轉換器(ADC)及/或用於執行類比音訊資訊之數位音訊取樣的處理功能。在一些實施例中,類比數位轉換器及/或用於執行數位音訊取樣以判定數位音訊資訊之處理功能可實施於使用者裝置102a-n中之任一者上或伺服器106上。替代地,此等信號處理功能中之一或多者可由使用者裝置,諸如使用者裝置102a-n或臨床醫師使用者裝置108、伺服器106及/或決策支援應用程式(app)105a或105b執行。
一些使用者裝置,諸如臨床醫師使用者裝置108,可經組態以供治療或以其他方式監測與感測器103相關聯之使用者的臨床醫師使用。臨床醫師使用者裝置108可體現為一或多個計算裝置,諸如使用者裝置102a-n或伺服器106,且經由網路110通信耦接至EHR 104。操作環境100描繪臨床醫師使用者裝置108與EHR 104之間經由網路110的間接通信
耦接。然而,經考慮,臨床醫師使用者裝置108之一實施例可直接通信耦接至EHR 104。臨床醫師使用者裝置108之一實施例可包括臨床醫師使用者裝置108上由軟體應用程式或一組應用程式操作之使用者介面(圖1中未展示)。在一個實施例中,應用程式可為基於Web之應用程式或小程式。此應用程式之一個實例包含臨床醫師儀錶板,諸如結合圖3A描述之示例儀錶板3108。根據本文所描述之實施例,健康照護提供者應用程式(例如,可在臨床醫師使用者裝置108上操作之臨床醫師應用程式,諸如儀錶板應用程式)可有助於存取及接收關於可判定聲學特徵及/或呼吸病況資料之特定患者或一組患者的資訊。臨床醫師使用者裝置108(或其上操作之臨床醫師應用程式)之一些實施例可進一步有助於存取及接收關於特定患者或一組患者之資訊,包括患者病史;健康照護資源資料;生理變數或資料(例如,生命徵象);量測;時間序列;稍後描述之預測(包括繪製或顯示經判定結果及/或發出警示);或其他健康相關資訊。舉例而言,臨床醫師使用者裝置108可進一步有助於結果、建議或命令之顯示。在一實施例中,臨床醫師使用者裝置108可基於本文所描述之呼吸病況之監測結果及判定或預測而有助於接收針對患者之命令。臨床醫師使用者裝置108亦可用於提供診斷服務或對本文結合各種實施例描述之技術之效能的評估。
決策支援應用程式105a及105b之實施例可包含軟體應用程式或一組應用程式(其可包括程式、常式、功能或電腦執行服務),其駐存於一或多個伺服器上、分佈於雲端計算環境中(例如,決策支援應用程式105b)或駐存於一或多個用戶端計算裝置上(例如,決策支援應用程式105a),用戶端計算裝置諸如個人電腦、膝上型電腦、智慧型手機、平板電腦、行動計算裝置或與後端計算系統通信之前端終端,或使用者裝置
102a-n中之任一者。在一實施例中,決策支援應用程式105a及105b可包括可用於存取由本發明之一實施例提供之使用者服務的基於用戶端及/或基於Web之應用程式(或app),或一組應用程式(或app)。在一個此類實施例中,決策支援應用程式105a及105b中之各者可有助於處理、解譯、存取、儲存、擷取及傳達自使用者裝置102a-n、臨床醫師使用者裝置108、感測器103、EHR 104或資料儲存150獲取之資訊,包括由本發明之實施例判定之預測及評估。
經由決策支援應用程式105a及105b利用及擷取資訊或利用相關聯的功能可能需要使用者(諸如患者或臨床醫師)用憑據登入。此外,決策支援應用程式105a及105b可根據由臨床醫師、患者、相關健康照護設施或系統定義之隱私設定及/或關於保護健康資訊之適用本地及聯邦規則及法規,諸如健康保險可攜性與責任法案(Health Insurance Portability and Accountability Act,HIPAA)規則及法規儲存及傳輸資料。
在一實施例中,決策支援應用程式105a及105b可經由網路110將通知(諸如警報或指示)直接傳達至臨床醫師使用者裝置108或使用者裝置102a-n。若此等應用程式不在此等裝置上操作,則其可在上面操作決策支援應用程式105a及105b之任何其他裝置上顯示通知。決策支援應用程式105a及105b亦可向臨床醫師使用者裝置108或使用者裝置102a-n發送或顯示維護指示。此外,介面組件可用於決策支援應用程式105a及105b中以有助於使用者(包括臨床醫師/照護者或患者)存取感測器103上之功能或資訊,諸如操作設定或參數、使用者識別、儲存於感測器103上之使用者資料及感測器103之診斷服務或韌體更新。
此外,決策支援應用程式105a及105b之實施例可直接或間
接地自感測器103收集感測器資料。如關於圖2所描述,決策支援應用程式105a及105b可利用感測器資料來提取或判定聲學特徵且判定呼吸病況及/或症狀。在一個態樣中,決策支援應用程式105a及105b可經由使用者裝置(諸如使用者裝置102a-n及108),包括經由各種圖形、音訊或其他使用者介面(諸如圖5A至圖5E中所描繪之示例圖形使用者介面(GUI))向使用者顯示或以其他方式提供此類程序之結果。以此方式,下文關於圖2所論述之一或多個組件之功能可由與決策支援應用程式105a或105b協同操作,或作為該等應用程式之一部分,或受該等應用程式控制的電腦程式、常式或服務來執行。另外或替代地,決策支援應用程式105a及105b可包括決策支援工具,諸如圖2之決策支援工具290。
如上文所提及,操作環境100包括一或多個EHR 104,其可與所監測個人相關聯。EHR 104可經由網路110直接或間接地通信耦接至使用者裝置102a-n及108。在一些實施例中,EHR 104可表示來自不同來源之健康資訊且可體現為不同的記錄系統,諸如不同臨床醫師使用者裝置(諸如108)之單獨EHR系統。因此,臨床醫師使用者裝置(諸如108)可供不同提供者網路或照護機構之臨床醫師使用。
EHR 104之實施例可包括健康記錄或健康資訊之一或多個資料儲存,其可儲存於資料儲存150上,且可進一步包括有助於儲存及擷取健康記錄之一或多個電腦或伺服器(諸如伺服器106)。在一些實施例中,EHR 104可實施為基於雲端之平台或可跨越多個實體位置分佈。EHR 104可進一步包括記錄系統,其可儲存即時或近即時患者(或使用者)資訊,諸如穿戴式、床邊或家庭患者監測器。
資料儲存150可表示一或多個資料源及/或電腦資料儲存系
統,其經組態以使資料可用於操作環境100或系統200之各種組件中之任一者,其結合圖2進行描述。在一個實施例中,資料儲存150可提供(或使得可用於存取)感測器資料,其可用於系統200之資料收集組件210。資料儲存150可包含單一資料儲存或複數個資料儲存且可本端及/或遠端定位。資料儲存150之一些實施例可包含網路化儲存或分散式儲存,包括位於雲端環境中之伺服器(諸如伺服器106)上的儲存。資料儲存150可與使用者裝置102a-n及108以及伺服器106離散,或可併入及/或整合彼等裝置中之至少一者。
操作環境100可用於實施系統200(展示於圖2中且結合該圖描述)之一或多個組件或由此等組件執行之操作,包括用於以下之組件或操作:收集語音資料或情境資訊;促進與使用者之互動以收集此類資料;追蹤可能或已知的呼吸病況(例如,呼吸道感染或非感染性呼吸系統症狀);及/或實施決策支援工具(諸如圖2之決策支援工具290)。操作環境100亦可用於實施方法6100及6200之態樣,如分別結合圖6A及圖6B所描述。
現參考圖2且繼續參考圖1,提供方塊圖,其展示適合於實施本發明之一實施例且一般指定為系統200的示例計算系統架構之態樣。系統200僅表示適合計算系統架構之一個實例。除所展示之配置及元件以外或替代所展示之配置及元件,可使用其他配置及元件,且為清楚起見可完全省略一些元件。此外,類似於圖1之操作環境100,本文所描述之許多元件為可實施為離散或分散式組件或結合其他組件且在任何適合組合及位置中實施的功能性實體。
實例系統200包括網路110,其結合圖1描述,且通信耦接
系統200之組件,包括資料收集組件210、呈現組件220、使用者語音監測器260、使用者互動管理器280、呼吸病況追蹤器270、決策支援工具290及儲存250。此等組件中之一或多者可體現為一組經編譯電腦指令或函式、程式模組、電腦軟體服務或在一或多個電腦系統(諸如結合圖16描述之計算裝置1700)上執行之處理序的配置。
在一個實施例中,由系統200之組件執行的功能與一或多個決策支援應用程式、服務或常式(諸如圖1之決策支援應用程式105a-b相關聯)。特定言之,此類應用程式、服務或常式可在一或多個使用者裝置(諸如使用者裝置102a及/或臨床醫師使用者裝置108)或伺服器(諸如伺服器106)上操作,跨越一或多個使用者裝置及伺服器分佈,或實施於雲端環境中(未圖示)。此外,在一些實施例中,系統200之此等組件可跨越網路分佈,連接一或多個伺服器(諸如伺服器106)及用戶端裝置(諸如使用者電腦裝置102a-n或臨床醫師使用者裝置108),在雲端環境中,或可駐存於使用者裝置上,諸如使用者裝置102a-n或臨床醫師使用者裝置108中之任一者。此外,藉由此等組件執行之功能或服務可在計算系統之適當抽象層處實施,諸如作業系統層、應用層、硬體層等。替代地或另外,本文所描述之此等組件及/或實施例之功能可至少部分地由一或多個硬體邏輯組件執行。舉例而言而非限制,可使用的說明性類型之硬體邏輯組件包括現場可程式閘陣列(FPGA)、特殊應用積體電路(ASIC)、特殊應用標準產品(ASSP)、系統單晶片系統(SoC)、複雜可程式化邏輯裝置(CPLD)等。另外,儘管本文中關於實例系統200中所展示之特定組件描述功能,但經考慮在一些實施例中,此等組件之功能可跨越其他組件共用或分佈。
繼續圖2,資料收集組件210一般可負責存取或接收(且在
一些情況下識別)來自一或多個資料源之資料,諸如來自圖1之感測器103及/或資料儲存150的資料,以在本發明之實施例中利用。在一些實施例中,資料收集組件210可用於促進針對特定使用者(或在一些情況下,複數個使用者,包括眾包資料)獲取之感測器資料的累積,以用於系統200之其他組件,諸如使用者語音監測器260、使用者互動管理器280及/或呼吸病況追蹤器270。此資料可由資料收集組件210接收(或存取)、累積、重新格式化及/或組合,且儲存於一或多個資料儲存(諸如儲存250)中,其中資料可用於系統200之其他組件。舉例而言,使用者資料可儲存於個人記錄240中或與其相關聯,如本文所描述。另外或替代地,在一些實施例中,任何個人可識別資料(亦即,具體識別特定使用者之使用者資料)不被上載,以其他方式自一或多個資料源提供,不永久性儲存,及/或不可用於系統200之其他組件。在一個實施例中,使用者相關資料經加密,或實施其他安全措施以保護使用者隱私。在另一實施例中,使用者可選擇加入或離開由本文所描述之技術提供的服務,及/或選擇哪些使用者資料及/或哪些使用者資料源將由此等技術利用。
在本發明之實施例中利用的資料可自多種來源接收且可以多種格式獲得。舉例而言,在一些實施例中,經由資料收集組件210接收之使用者資料可經由一或多個感測器(諸如圖1之感測器103)判定,其可儲存於一或多個使用者裝置(諸如使用者裝置102a)、伺服器(諸如伺服器106)及/或其他計算裝置上或與該等裝置相關聯。如本文所用,感測器可包括用於感測、偵測或以其他方式獲得資訊(諸如來自資料儲存150之使用者資料)的功能、常式、組件或其組合,且可體現為硬體、軟體或兩者。如先前所提及,藉助於實例而非限制,自一或多個感測器感測或判定之資
料可包括聲學資訊(包括來自使用者語音、發音、呼吸、咳嗽或其他人聲之資訊);位置資訊,諸如室內定位系統(IPS)或全球定位系統(GPS)資料,其可自行動裝置判定;大氣資訊,諸如溫度、濕度及/或污染;生理資訊,諸如體溫、心率、血壓、血氧含量、睡眠相關資訊;運動資訊,諸如加速計或陀螺儀資料;及/或環境光資訊,諸如光偵測器資訊。
在一些態樣中,由資料收集組件210收集之感測器資訊可包括使用者裝置之其他特性或特徵(諸如裝置狀態、充電資料、日期/時間或自諸如行動裝置或智慧型揚聲器之使用者裝置導出的其他資訊);使用者活動資訊(例如,app使用、線上活動、線上搜尋、語音資料(諸如自動語音辨識)或活動日誌),在一些實施例中包括發生於多於一個使用者裝置上之使用者活動;使用者歷史;工作階段日誌;應用程式資料;行事曆及排程資料;通知資料;社交網路資料;新聞(包括例如搜尋引擎、社交網路上之熱門或趨勢項目,衛生部門通知,其可提供關於地理區域中呼吸道感染之數量或比率的資訊);電子商務活動(包括來自線上帳戶,諸如Amazon.com®、Google®、eBay®、PayPal®等之資料);使用者帳戶資料(其可包括來自與個人助理應用程式或服務相關聯的使用者偏好或設定的資料);家庭感測器資料;器具資料;車輛信號資料;交通資料;其他穿戴式裝置資料;其他使用者裝置資料(例如,裝置設定、設定檔、網路相關資訊(例如,網路名稱或ID、域資訊、工作群組資訊、連接資料、無線保真(Wi-Fi)網路資料或組態資料、關於型號、韌體、設備、裝置配對之資料,諸如在使用者具有與藍牙頭戴式耳機配對之行動電話的情況下,或其他網路相關資訊));付款或信用卡使用資料(例如可包括來自使用者之PayPal®帳戶的資訊);購買歷史資料(諸如來自使用者之Amazon.com®
或線上藥店帳戶之資訊);可由感測器(或其他偵測器)組件感測或以其他方式偵測之其他感測器資料,包括自與使用者相關聯之感測器組件導出之資料(包括地點、運動、定向、位置、使用者存取、使用者活動、網路存取、使用者裝置充電或能夠由一或多個感測器組件提供之其他資料);基於其他資料導出之資料(例如,可自Wi-Fi、蜂巢式網路或網際網路協定(IP)位址資料導出之位置資料);及幾乎任何其他可感測或判定之資料源,如本文所描述。
在一些態樣中,資料收集組件210可提供以資料串流或信號形式收集之資料。「信號」可為來自對應資料源之資料饋入或串流。舉例而言,使用者信號可為自智慧型揚聲器、智慧型手機、穿戴式裝置(例如,健身追蹤器或智慧型手錶)、家庭感測器裝置、GPS裝置(例如,用於位置座標)、車輛感測器裝置、使用者裝置、行事曆服務、電子郵件帳戶、信用卡帳戶、訂用服務、新聞或通知饋入、網站、入口網站或任何其他資料源獲取之使用者資料。在一些實施例中,資料收集組件210連續地、週期性地或按需要接收或存取資料。
此外,操作環境200之使用者語音監測器260一般可負責收集或判定可用於偵測或監測呼吸病況之使用者語音相關資料。術語語音相關資料(在本文中可互換地稱為「語音資料」或「語音資訊」)在本文中廣泛地使用,且可包含(藉助於實例而非限制)與使用者語音、發音(包括發聲或人聲)或由使用者之口或鼻產生之其他聲音(諸如呼吸、咳嗽、打噴嚏或吸氣)相關的資料。使用者語音監測器260之實施例可有助於獲得音訊或聲學資訊(例如,發聲或語音樣本之音訊記錄),且在一些態樣中有助於獲得情境資訊,其可由資料收集組件210接收。使用者語音監測器260之實
施例可自此音訊資料判定相關語音相關資訊,諸如音素特徵。使用者語音監測器260可連續地、週期性地或按需要接收資料,且類似地,可連續地、週期性地或按需要提取或以其他方式判定用於監測呼吸病況之語音資訊。
在系統200之示例實施例中,使用者語音監測器260可包含錄音最佳化器2602、語音樣本收集器2604、信號準備處理器2606、樣本記錄稽核器2608、音素分割器2610、聲學特徵提取器2614及情境資訊判定器2616。在使用者語音監測器260(未圖示)另一實施例中,可僅包括此等子組件中之一些或可添加額外子組件。如本文中進一步解釋,使用者語音監測器260之一或多個組件(諸如信號準備處理器2606)可對音訊資料(諸如原始聲學資料)執行預處理操作。經考慮,在一些實施例中,可根據資料收集組件210進行額外預處理。
錄音最佳化器2602一般可負責判定用於獲得可用音訊資料之適當或最佳化組態。如上文所描述,經考慮本文所描述之技術的實施例可在居家環境中或在除受控環境(諸如實驗室或醫生診所辦公室)外的環境中由終端使用者利用。因此,一些實施例可包括有助於獲得品質足以用於監測使用者之呼吸病況之音訊資料的功能。特定言之,在一個實施例中,錄音最佳化器2602可用於藉由提供用於獲得音訊資料語音相關資訊之最佳化組態來提供此類功能。在一個例示性實施例中,最佳化組態可由調諧感測器或修改其他聲學參數(例如,麥克風參數),諸如信號強度、方向性、靈敏度及信雜比(SNR)提供。錄音最佳化器2602可判定設定在適當組態之預定範圍內或滿足預定臨限值(例如,麥克風靈敏度或位準經充分調整以使得能夠自音訊資料獲得使用者之語音資料)。在一些實施例中,錄
音最佳化器2602可判定記錄是否起始。在一些實施例中,錄音最佳化器2602亦可判定取樣率是否滿足臨限取樣率。在一個例示性實施例中,錄音最佳化器2602可判定音訊信號以奈奎斯取樣率(Nyquist rate)取樣,奈奎斯取樣率在一些情況下包含44.1千赫茲(kHz)之最小速率。另外,錄音最佳化器2602可判定位元深度滿足臨限值,諸如16位元。此外,在一些實施例中,錄音最佳化器2602可判定麥克風是否經調諧。
在一些實施例中,錄音最佳化器2602可執行初始化模式以針對麥克風所位於之特定環境最佳化麥克風位準。初始化模式可包括提示使用者播放聲音或製造雜訊以便錄音最佳化器2602判定用於特定環境之適當位準。在初始化模式中,錄音最佳化器2602亦可提示使用者在請求使用者輸入時相對於麥克風站在或處在使用者通常將站在或處在的位置。基於使用者回饋(亦即,語音記錄),在初始化模式期間,錄音最佳化器2602可判定範圍、臨限值及/或其他參數以組態音訊收集及處理組件,以為未來記錄工作階段提供最佳化組態。在一些實施例中,錄音最佳化器2602可另外或替代地判定信號處理功能或組態(例如,雜訊消除,如下文所描述)以有助於獲得可用音訊資料。
在一些實施例中,錄音最佳化器2602可結合信號準備處理器2606工作以預處理,進行最佳化調整(例如,調整或放大位準)以達成適合組態。替代地,錄音最佳化器2602可組態感測器以針對諸如信號強度之特定參數達成預定範圍或臨限值內之位準。
如圖2中所示,錄音最佳化器2602可包括背景雜訊分析器2603,其一般可負責識別背景雜訊,且在一些實施例中移除或減少背景雜訊。在一些實施例中,背景雜訊分析器2603可檢查雜訊強度位準滿足
最大臨限值。舉例而言,背景雜訊分析器2603可判定使用者之記錄環境中的周圍雜訊小於30分貝(dB)。背景雜訊分析器2603可檢查語音(諸如來自電視或無線電)。背景雜訊分析器2603亦可檢查間歇性尖峰或類似聲學假影,其可為例如兒童叫喊、響亮的時鐘滴嗒聲或行動裝置上之通知的結果。
在一些實施例中,背景雜訊分析器2603可在記錄已起始之後執行背景雜訊檢查。在一個此類實施例中,在偵測記錄中之第一音素(其可經偵測,如結合音素分割器2610所描述)之前,對預定時間間隔內接收之音訊資料的一部分進行背景雜訊檢查。舉例而言,背景雜訊分析器2603可在音訊資料中之第一音素開始之前執行背景雜訊檢查五秒。
若偵測到背景雜訊,則背景雜訊分析器2603可處理(或嘗試處理)音訊資料以減少或消除雜訊。替代地,可將由背景雜訊分析器2603判定之雜訊指示提供至信號準備處理器2606以執行濾波及/或減除程序以減少或消除雜訊。在一些實施例中,除自動減少或消除背景雜訊之外或作為自動減少或消除背景雜訊之替代方案,背景雜訊分析器2603可發送指示告知使用者(或系統200之其他組件,諸如使用者互動管理器280)背景雜訊干擾或潛在地干擾語音收集且請求使用者採取動作以消除背景雜訊。舉例而言,可將通知提供給使用者(例如,經由使用者互動管理器280或呈現組件220)以移動至較安靜環境。
在一些情況下,在獲得音訊資料之後,背景雜訊分析器2603可針對背景雜訊之存在重新檢查該音訊資料。舉例而言,在錄音最佳化器2602(或在一些實施例中,信號準備處理器2606)自動調整設定以減少或消除雜訊之後,可執行另一檢查。在一些態樣中,可按需要、在記
錄工作階段開始時、自前一檢查起經預定時段之後及/或諸如自使用者接收到指示採取動作以減少或消除背景雜訊的指示時執行後續檢查。
在使用者語音監測器260內,語音樣本收集器2604一般可負責以音訊樣本或記錄形式獲得使用者之語音相關資料。語音樣本收集器2604可與資料收集組件210及使用者互動管理器280協同操作以獲得使用者語音或其他語音資訊之樣本。音訊樣本可呈一或多個音訊檔案之形式,包括持續音素、腳本化語音及/或非腳本化語音之記錄或樣本。如本文所用,術語音訊記錄一般係指數位記錄(例如,音訊樣本,其可藉由利用類比數位轉換(ADC)之音訊取樣判定)。
在一些實施例中,語音樣本收集器2604可包括用於自類比音訊(其可接收自感測器103或類比記錄)擷取及處理數位音訊的功能,諸如ADC轉換功能。以此方式,語音樣本收集器2604之一些實施例可提供或有助於判定數位音訊樣本。在一些實施例中,語音樣本收集器2604亦可將日期-時間資訊與對應於獲得音訊資料之時間框的音訊樣本相關聯(例如,用日期及/或時間給音訊樣本加時戳)。在一個實施例中,音訊樣本可儲存於與使用者相關聯之個人記錄中,諸如個人記錄240中之語音樣本242。
如關於使用者互動管理器280所描述以及圖4A至圖4C及圖5B之實例中所描繪,可回應於使用者參與語音相關任務而獲得語音樣本242。舉例而言而非限制,可要求使用者說出且保持特定聲音(例如,「mmmm」)持續一段時間間隔或使用者能夠持續之最長時間、重複某些字語或片語、朗讀段落或被提示回答問題或參與對話,使得可獲得語音樣本242。表示各種類型之語音相關任務的語音樣本242可在同一收集工作
階段中自使用者獲得。舉例而言,可要求使用者說出且保持一或多個音素持續某一時間間隔及說出且保持一或多個音素持續使用者能夠持續之最長時間,其中後面的音素可與保持指定時間間隔之音素相同或不同。在一些實施例中,亦可要求使用者朗讀可具有多種音素之書面段落。
語音樣本在本文中係指音訊樣本中之語音相關資訊,且可自音訊樣本判定,如本文所描述。舉例而言,音訊樣本可包括與使用者語音無關之其他聲學資訊,諸如背景雜訊。因此,在一些情況下,語音樣本可指音訊樣本之具有語音相關資訊的一部分。在一個實施例中,語音樣本可自在使用者與使用者計算裝置(例如,圖1之使用者裝置102a)之無意或日常互動期間收集之音訊判定。舉例而言,當使用者向智慧型揚聲器說出自發命令或用電話交談時,可收集語音樣本。在一些實施例中,在語音樣本資訊自使用者與使用者裝置之無意互動獲得的情況下,可能無需提示使用者參與語音相關任務。類似地,在一些實施例中,諸如當關於特定音素之資訊尚未自無意互動語音獲得時,可提示使用者完成語音相關任務以獲得尚未經由來自無意互動之使用者語音獲得的語音樣本資訊。
如上文所提及,本文所描述之技術提供保護使用者隱私。經考慮,自與使用者裝置之無意互動獲得音訊樣本之實施例可在判定呼吸病況監測之語音相關資料後刪除音訊資料。類似地,音訊資料可經加密及/或使用者可「選擇加入」以自所謂的無意互動收集語音相關資料(用於監測呼吸病況)。
信號準備處理器2606一般可負責準備音訊樣本用於提取語音相關資訊,諸如音素特徵以供進一步分析。因此,信號準備處理器2606可對藉由語音樣本收集器2604獲得或判定之音訊資料執行信號處
理、預處理及/或調節。在一個實施例中,信號準備處理器2606可自語音樣本收集器2604接收音訊資料,或可自與使用者相關聯之個人記錄240中之語音樣本242存取語音樣本資料。由信號準備處理器2606準備或處理之音訊資料可儲存為語音樣本242及/或提供至使用者語音監測器260之其他子組件或系統200之其他組件。
在一些實施例中,用於監測使用者之呼吸病況的特定音素特徵或語音資訊可存在於音訊資料之一些但非所有頻帶中。因此,信號準備處理器2606之一些實施例可執行頻率濾波,諸如高通或帶通濾波,以移除或衰減較不適用之音訊信號之頻率,諸如較低頻率背景雜訊。信號頻率濾波亦可藉由減小音訊樣本大小來改良計算效率,且改良樣本之處理時間。在一個實施例中,信號準備處理器2606可應用1.5至6.4千赫茲(kHz)之帶通濾波器。在圖15A至圖15M中所提供之電腦程式常式的一個例示性實施例中,利用巴特沃斯帶通濾波器(Butterworth band pass filter)(圖15A中所繪示)。在一個實例中,信號準備處理器26066可應用滾動中值濾波器以平滑離群值且正規化特徵。可使用三個樣本之窗口應用滾動中值濾波器。z評分可用於正規化特徵值。
信號準備處理器2606亦可執行音訊正規化以達成目標信號振幅位準、經由應用帶通濾波器及/或放大器之信雜比(SNR)改良或其他信號調節或預處理。在一些實施例中,信號準備處理器2606可處理音訊資料以移除或衰減背景雜訊,諸如由背景雜訊分析器2603判定之背景雜訊。舉例而言,在一些實施例中,信號準備處理器2606可使用由背景雜訊分析器2603判定之背景雜訊資訊執行雜訊消除操作(或以其他方式減除或衰減背景雜訊,包括雜訊假影)。
在使用者語音監測器260中,樣本記錄稽核器2608一般可負責判定是否獲得足夠音訊樣本(或語音樣本)。因此,樣本記錄稽核器2608可判定樣本記錄具有最小時間長度及/或包括特定語音相關資訊,諸如發音或其他人聲。在一些實施例中,樣本記錄稽核器2608可應用準則以基於待偵測之特定音素或音素特徵檢查音訊樣本。以此方式,樣本記錄稽核器2608之一些實施例可對音訊資料執行音素偵測,或與音素分割器2610或使用者語音監測器260之其他子組件協同操作。在一些實施例中,樣本記錄稽核器2608可判定音訊樣本(或在一些情況下,音訊記錄內之語音樣本)是否滿足臨限時間長度。臨限時間長度可基於經記錄之特定類型之語音相關任務而變化,或可基於試圖自語音樣本獲得之特定音素或音素特徵,及彼等特徵已在當前工作階段或時間框中判定之程度。在一個實施例中,在獲得使用者語音樣本之工作階段中,若提示使用者(例如,藉由使用者互動管理器280)記錄段落朗讀,則樣本記錄稽核器2608可判定所記錄之後續語音樣本的長度是否為至少15秒。此外,在一個實施例中,樣本記錄稽核器2608可判定特定音訊樣本是否包括持續發音足夠的持續時間,諸如長度為至少4.5秒。類似地,對於自與使用者計算裝置(諸如使用者裝置102a)之無意互動獲得音訊資料或語音樣本(諸如242)的實施例,樣本記錄稽核器2608可判定待用於進一步分析(諸如判定音素或音素特徵)之特定語音樣本滿足臨限持續時間及/或包括特定聲音或音素資訊。不滿足稽核准則(例如,最小臨限持續時間)之記錄或語音樣本可視為不完整的且可被刪除或不經進一步處理。在一些實施例中,樣本記錄稽核器2608可向使用者(或使用者互動管理器280、呈現組件220或系統200之其他組件)提供特定樣本不完整或以其他方式缺陷之指示,且可進一步指示使用者需
要重新記錄特定語音樣本。
在一些實施例中,樣本記錄稽核器2608可自可能各自表示時間框內(亦即,工作階段內)之相同(或類似)語音相關資訊的多個語音樣本(其可接收自語音樣本242)當中選擇語音樣本。在一些情況下,在此選擇之後,可刪除或丟棄其他未經選擇之樣本。舉例而言,在給定時間點或間隔存在所需音素之多個完整記錄(其可能由使用者重複特定語音相關任務產生)的情況下,樣本記錄稽核器2608可選擇最近獲得的記錄(最後記錄之一者)以供分析,此可在使用者由於在先前記錄期間遇到技術問題而重新記錄腳本化語音的假設下完成。替代地,樣本記錄稽核器2608可基於聲音參數選擇語音樣本,諸如具有最低雜訊量及/或最高音量之語音樣本。
判定用於進一步處理之足夠語音樣本記錄亦可包括判定不存在雜訊假影、僅存在最小量雜訊假影及/或記錄含有至少大致正確聲音或遵循所指示指令。在一些實施例中,樣本記錄稽核器2608可判定語音樣本之SNR是否滿足最大可允許SNR,諸如20分貝(dB)。舉例而言,樣本記錄稽核器2608可判定記錄之SNR大於20dB之臨限值,且可向使用者(或向系統200之另一組件,諸如使用者互動管理器280)提供請求自使用者獲得新語音樣本的指示。
樣本記錄稽核器2608之一些實施例可判定是否存在對應於所請求之語音相關任務的樣本聲音,諸如特定持續發音(例如,/a/、/e/、/n/、/m/)。特定言之,在語音樣本自執行語音相關任務(例如,「說出且保持『mmm』五秒」)之使用者獲得的情況下,可檢查或稽核語音樣本以判定樣本包括任務中所請求之聲音(或音素)。在一些實施例中,此檢查操作
可利用自動語音辨識(ASR)功能以判定語音樣本中之音素,且將樣本中之所判定音素與所請求之聲音或音素(亦即,「經標記」音素或聲音)進行比較。在判定失配或在樣本中未偵測到經標記音素或聲音的情況下,樣本記錄稽核器2608可向使用者(或向系統200之另一組件,諸如使用者互動管理器280)提供指示,使得可重新獲得正確的語音樣本。下文結合音素分割器2610描述ASR之額外細節。
樣本記錄稽核器2608之一些實施例可能未必判定音訊樣本中特定音素之存在,但可判定該樣本中擷取持續音素或音素之組合。樣本記錄稽核器2608亦可判定音素是否已在語音樣本中持續最小持續時間。在一個實施例中,最小持續時間可為4.5秒。
樣本記錄稽核器2608可進一步執行修整、切割或濾波以移除語音樣本記錄之不必要及/或不可用部分。在一些實施例中,樣本記錄稽核器2608可與信號準備處理器2606一起工作以執行此類動作。舉例而言,樣本記錄稽核器2608可自各記錄修整開始部分及結束部分(例如,0.25秒)。語音樣本之可用部分可包括足以用於進一步處理以判定音素或特徵資訊之語音相關資料。在一些實施例中,樣本記錄稽核器2608(或語音樣本收集器2604及/或使用者語音監測器260之其他子組件)可修剪或修整語音樣本以僅保留判定為可用的一部分。類似地,樣本記錄稽核器2608可有助於判定可在同一時間框內(亦即,記錄工作階段內)獲得之多個樣本(諸如語音樣本242)當中之音訊樣本的可用部分。
樣本記錄稽核器2608可自語音樣本242或使用者語音監測器260之另一子組件接收音訊樣本資料,且可將其已處理或修改之語音樣本資料儲存於語音樣本242中,或將經處理或修改之語音樣本資料提供至
使用者語音監測器260之另一子組件。在一些情況下,諸如在記錄或移除不可用部分之後記錄不完整的情況下,樣本記錄稽核器2608可判定是否需要獲得新記錄或語音樣本且向使用者提供指示,此在下文關於使用者互動管理器280描述。
音素分割器2610一般可負責偵測語音樣本中個別音素之存在及/或判定個別音素存在於語音樣本中之期間的時序資訊。舉例而言,時序資訊可包含語音樣本中音素出現之起始時間(亦即,開始時間)、持續時間及/或結束時間(亦即,停止時間),其可用於促進音素之識別及/或隔離以供特徵分析。在一些情況下,開始及停止時間資訊可稱為音素之邊界。如先前所提及,語音樣本可包括使用者發聲持續個別音素或音素之組合,諸如腳本化語音及非腳本化語音的記錄(例如,音訊樣本)。舉例而言,可在使用者說出字語「spring」時創建語音樣本,且此語音樣本可分割成個別音素(例如,/s/、/p/、/r/、/i/及/ng/)。在一些情況下,持續個別音素之語音樣本可經分割以將音素與樣本之其餘部分隔離。
在一些態樣中,音素分割器2610可偵測音素且可進一步隔離音素(例如,使用時序資訊邏輯上隔離,其可用作音訊樣本中音素之指標或參考;或實體上隔離,諸如藉由自音訊樣本複製或提取音素相關資料)。音素分割器2610之音素偵測可包括判定語音樣本(或語音樣本之部分)具有特定音素或一組特定音素中之一個音素。語音樣本資料可自語音樣本242或使用者語音監測器260之另一子組件接收。由音素分割器2610偵測之特定音素可基於針對使用者之呼吸病況經分析的音素。舉例而言,在一些實施例中,音素分割器2610可偵測一或多個樣本是否包括對應於/n/、/m/、/e/及/或/a/之音素。在另一實施例中,音素分割器2610可判定
一或多個樣本是否包括對應於/a/、/e/、/i/、/u/、/ae/、/n/、/m/及/或/ng/之音素。在其他實施例中,音素分割器2610可偵測其他音素或音素組,其可包含來自任何口語之音素。
在音素分割器2610之一些實施例中,自動語音辨識(ASR)(稱為「語音辨識」)功能用於自語音樣本之一部分判定音素。ASR功能可進一步利用一或多個聲學模型或語音語料庫。在一實施例中,隱馬爾可夫模型(Hidden Markov Model,HMM)可用於處理對應於使用者之語音樣本的語音信號以判定一組一或多個可能音素。在另一實施例中,可利用人工神經網路(ANN)(其在本文中有時稱為「神經網路」)、ASR之其他聲學模型或使用此等模型之組合的技術。舉例而言,神經網路可用作ASR之預處理步驟以在應用HMM之前執行降維或特徵變換。由音素分割器2610執行之用於自語音樣本偵測或識別音素之操作的一些實施例可利用經由語音辨識引擎或ASR軟體工具箱提供之ASR功能或聲學模型,其可包括用於處理語音資料之軟體套件、模組或程式庫。此類語音辨識軟體工具之實例包括可經由kaldi-asr.org獲得之Kaldi語音辨識工具箱;卡內基美隆大學(Carnegie Mellon University)開發之CMU Sphinx;及劍橋大學(Cambridge University)開發之隱馬爾可夫模型工具箱(HTK)。
如本文所描述,在用於獲得語音樣本之一些實施中,使用者可執行語音相關任務,其可為諸如結合圖5B描述之重複聲音練習之評估練習的部分。此等語音相關任務中之一些可請求使用者說出且保持特定聲音或音素。另外或替代地,語音相關任務可請求使用者說出且維持特定聲音或音素持續使用者能夠持續之最長時間。各種任務可用於不同音素。舉例而言,在一個實施例中,使用者可能被要求說出且保持「aaaa」(或
/a/音素)持續使用者能夠持續之最長時間,但可能被要求說出且保持其他聲音或音素(例如,/e/、/n/或/m/)持續預定時段,諸如五秒。在一些實施例中,可針對同一音素收集多種類型之語音相關任務。
藉由執行此任務產生之音訊樣本可經請求使用者說出之聲音或音素標記或以其他方式與其相關聯。舉例而言,若提示使用者說出且保持「mmm」五秒,則所記錄之音訊樣本可經「mmm」聲音(或/m/音素)標記或與其相關聯。
在一些實施例中,音素分割器2610可利用ASR功能判定音訊樣本中之特定聲音或音素,其可藉由執行語音相關任務獲得或可自經由與使用者裝置之無意互動獲得之使用者語音接收。在此等實施例中,一旦判定音訊樣本之聲音或音素,則音訊樣本(或樣本之部分)可經該聲音或音素標記或與其相關聯。在一個示例實施例中,若音素分割器2610判定獲自使用者之音訊樣本具有出現在樣本之特定部分處的「aaa」聲音,則音素分割器2610可偵測「aaa」聲音(或/a/音素)且相應地標記音訊樣本之該部分(例如,藉由將標記與資料庫中之音訊樣本或部分相關聯)。在另一實施例中,音素分割器2610可隔離音素以判定音訊樣本中之時序或音素邊界。
在一些實施例中,音素分割器2610可藉由識別音素邊界或擷取音素之語音樣本內之間隔的開始時間、持續時間及/或停止時間來隔離音素。在一些實施例中,音素分割器2610首先偵測特定音素之存在,且接著隔離特定音素,諸如/n/、/m/、/e/及/a/。在一替代性實施例中,音素分割器2610可偵測特定音素存在於語音樣本中且隔離所有偵測到之音素。音素分割器2610之一些實施例可利用語音分割或語音對齊工具以有
助於判定音訊樣本中音素或音素邊界之時間位置。此類工具之實例包括於由阿姆斯特丹大學(University of Amsterdam)開發之用於語音分析及語音學之Praat電腦軟體套件提供的功能中,及/或與Praat協同操作之軟體模組,諸如日內瓦大學(University of Geneva)開發之用於執行語音對齊的EasyAlign。
在例示性態樣中,音素分割器2610可藉由將臨限值應用於語音樣本中所偵測到之強度位準來執行自動化分割。舉例而言,可計算整個記錄中之聲強度,且可應用用於將背景雜訊與樣本(表示語音事件)中之較高能事件分離的臨限值。在一實施例中,可利用由用於語音分析及語音學之Praat電腦軟體套件提供之功能執行聲強度計算。圖15A至圖15M說明性地提供使用Praat之一個此類實例,其使用Parselmouth Python程式庫展示。根據一實施例,可使用大津法(Otsu's method)判定音素分割之臨限值。在一些實施例中,此臨限值可針對各語音樣本判定,使得不同臨限值可經判定且應用於同一使用者之不同語音樣本。一旦聲強度位準經計算且臨限值經判定,則音素分割器2610可將臨限值應用於所計算之強度位準以偵測音素之存在,且可進一步識別分別對應於所偵測音素之開始及結束的開始時間及停止時間。一些實施例包括對語音樣本中之至少一些使用手動分割以驗證藉由音素分割器2610執行之自動化分割。
在一些實施例中,偵測為音素之片段內的間隙可使用形態學「填充」操作來填充。在間隙之持續時間小於最大臨限值(諸如0.2秒)的情況下,可填充間隙。另外,音素分割器2610之實施例可修整所偵測音素之一或多個部分。舉例而言,音素分割器2610可修整或忽略各所偵測音素之初始持續時間,諸如前0.75秒,以避免暫態效應。因此,所偵測音
素之開始時間可改變,使得所偵測音素不包括前0.75秒。另外,在一些實施例中,各所偵測音素可經修整,使得音素之總持續時間為2秒或其他設定持續時間。
在一些實施例中,可對經分割音素執行資料品質檢查。此等資料品質檢查可藉由音素分割器2610或使用者語音監測器260之另一組件(諸如信號準備處理器2606及/或樣本記錄稽核器2608)執行。在一個實施例中,各音素片段之信雜比(SNR)估計為所偵測片段中之平均強度除以所偵測片段外之平均強度的比率。此外,預定片段持續期間臨限值可經應用以判定所偵測音素是否滿足最小持續時間。另一品質檢查可包括藉由將所偵測音素之數目與音素之預期數目進行比較來判定音素之正確數目,其可基於觸發來自使用者之語音樣本的提示。舉例而言,在一個實施例中,正確數目之音素可包括持續鼻腔子音記錄之三個分割音素及持續母音記錄之四個分割音素。在一例示性態樣中,若發現正確數目之音素(例如,持續鼻腔子音記錄有三個且持續母音記錄有四個)、SNR大於9分貝且各音素具有2秒或更長之持續時間,則已分割之語音樣本可判定為良好品質。在一些實施例中,可對母音語音樣本執行額外品質檢查,其可包括判定第一共振峰頻率是否落入可接受界限內。若其落入可接受界限內,則判定樣本具有良好品質。否則,提供樣本有缺陷、不完整或應重新獲得樣本之指示(其可提供至使用者互動管理器280)。
接續使用者語音監測器260,聲學特徵提取器2614一般可負責提取(或以其他方式判定)語音樣本內之音素的特徵。音素之特徵可以預定框速率自語音樣本提取。在一個實例中,以10毫秒之速率提取特徵。所提取之特徵可用於追蹤使用者之呼吸病況,諸如關於呼吸病況追蹤器
270進一步描述。所提取之聲學特徵之實例可包括(藉助於實例而非限制)表徵功率及功率變異性、音調及音調變異性、頻譜結構及/或共振峰之量測的資料。
與功率及功率變異性相關之特徵的其他實例(其亦可稱為振幅相關特徵)可包括各分割音素之聲功率均方根(RMS)、振幅擾動度(shimmer)及1/3倍頻帶(亦即,三分之一倍頻帶)中之功率波動。在一些實施例中,在提取任何其他聲學特徵之前計算聲功率之RMS且將其用於正規化資料。另外,RMS可轉換為分貝以考慮作為功率相關特徵本身。振幅擾動度擷取以喉脈衝間隔量測之波形振幅的快速變異性。可在各種頻率下計算1/3倍頻帶濾波器之輸出內的功率波動。在一示例實施例中,所提取之特徵可指示200赫茲(Hz)三分之一倍頻帶中之波動,其可藉由應用178-224Hz之通帶頻率來判定。
與音調及音調變異性相關之特徵的其他實例可包括音調之變異係數(COV)及頻率擾動度(jitter)。為了提取音調之變異係數,可跨各片段判定平均音調(pitch mn )及音調標準差(pitch sd ),且音調之變異係數(pitch cov )可計算為copitch cov =pitch sd /pitch mn 。在一些實施例中,尤其在語音樣本有雜訊時,可應用變異係數臨限值以確保針對使用者之語音資料之適當頻率計算估計的音調值。舉例而言,可判定變異係數是否低於變異係數值之10%的臨限值(憑經驗判定),且該值大於臨限值之片段可視為遺漏資料。頻率擾動度可在較短時間標度上擷取音調變異性。頻率擾動度可以局部頻率擾動度或局部絕對頻率擾動度之形式提取。在一些態樣中,使用自相關方法自各片段提取音調相關特徵。用於判定音調相關特徵之自相關的一個實例係由阿姆斯特丹大學開發之用於語音分析及語音學之Praat
電腦軟體套件提供。圖15E及圖15F描繪用於以此方式利用Praat功能之實施例的示例電腦程式設計常式的態樣。
聲學特徵提取器2614(或使用者語音監測器260)之一些實施例可執行處理操作以在藉由聲學特徵提取器2614提取音調相關特徵之前調整音調底限。舉例而言,音調底限可針對男性使用者增加至80Hz且針對女性使用者增加至100Hz,以防止錯誤音調偵測。根據一實施例,在存在低頻週期性背景雜訊的情況下可保證升高音調底限。是否調整音調底限之判定可基於收集語音資料之系統、收集語音資料之環境及/或應用程式設定(例如,設定249)而變化。
與頻譜結構相關之特徵可包括諧波雜訊比(HNR,有時稱為「調和性」)、頻譜熵、頻譜對比度、頻譜平坦度、語音低高比(VLHR)、梅爾頻率倒頻譜係數(MFCC)、倒頻譜峰值突出度(CPP)、有聲(或無聲)框之百分比或比例及線性預測係數(LPC)。HNR或調和性為諧波分量中之功率與非諧波分量中之功率的比率且表示聲學週期性之程度。判定HNR之一實例展示於圖15E之電腦程式設計常式中,其利用由Praat電腦軟體套件提供之功能來判定調和性。頻譜熵指示特定頻帶中之頻譜的熵。頻譜對比度可藉由按特定頻帶中之強度對功率譜值進行分類且計算頻帶中之最高四分位數值(峰)與之最低四分位數值(谷)的比率來判定。頻譜平坦度可藉由計算給定頻帶中之頻譜值之幾何平均值與算術平均值的比率來判定。頻譜熵、頻譜對比度及頻譜平坦度各自可針對特定頻帶計算。在一個實施例中,在1.5-2.5千赫茲(kHz)及1.6-3.2kHz下判定頻譜熵;在1.5-2.5kHz下判定頻譜平坦度;在1.6至3.2kHz及3.2-6.4kHz下判定頻譜對比度。
VLHR可藉由計算整合低頻率能量與高頻能量之比率而判定。在一個實施例中,低頻與高頻之間的間隔固定在600Hz。因而,該特徵可表示為VLHR600。
梅爾頻率倒頻譜係數(MFCC)表示經縮放功率譜之離散餘弦變換,且MFCC共同地構成梅爾頻率倒頻譜(MFC)。MFCC通常對頻譜變化敏感且對環境雜訊強健。在例示性態樣中,判定平均MFCC值及標準差MFCC值。在一個實施例中,判定梅爾頻率倒頻譜係數MFCC6及MFCC8之平均值,且判定梅爾頻率倒頻譜係數MFCC1、MFCC2、MFCC3、MFCC8、MFCC9、MFCC10、MFCC11和MFCC12之標準差值。
發聲係指所記錄之發音中的週期性,且本發明之一些態樣包括判定發音記錄之有聲框的百分比、比例或比率。替代地,可使用無聲框來判定此特徵。在判定有聲(或無聲)框之一些情況下,可應用預定音調臨限值以使得有聲或無聲框之百分比被稱為具有疑似語音之框。在一些實施例中,有聲(或無聲)框之百分比或比例可使用用於語音處理之Praat電腦軟體套件工具箱來判定。
藉由聲學特徵提取器2614提取或判定之其他特徵可與表示聲音道之共振的一或多個聲學共振峰相關。特定言之,對於語音樣本之音素,可針對一或多個共振峰計算平均共振峰頻率及共振峰頻寬之標準差。在例示性態樣中,針對共振峰1(表示為F1)計算平均共振峰頻率及共振峰頻寬之標準差;然而,經考慮,可利用額外或替代物,諸如共振峰2及3(表示為F2及F3)。在一些態樣中,共振峰特徵可藉由促進自動檢查而作為資料品質控制操作,此可由樣本記錄稽核器2608執行以確保使用者正確
地發音。
經考慮,在一些實施例中,所描述之聲學特徵中之各者可針對不同音素進行提取或判定。舉例而言,在一個實施例中,針對七個音素(/a/、/e/、/i/、/u/、/ae/、/n/、/m/及/ng/)判定23個以上特徵(不包括振幅之RMS),產生161個獨特音素特徵。本發明之一些實施例可包括識別或選擇一組特徵以供進一步分析。舉例而言,一個實施例可包括判定來自一或多個語音樣本或參考語音資料之所有161個特徵,及選擇或以其他方式判定視為與監測使用者之呼吸道感染病況相關的特定特徵。
另外,可自來自僅某些類型之語音相關任務的語音樣本提取此等聲學特徵中之一或多者。舉例而言,可針對自預定持續時間之發音提取的音素判定上述特徵。可針對自使用者朗讀段落提取之發音判定此等上述特徵中之一或多者。在一些實施例中,可自某些類型之語音相關任務提取其他特徵。舉例而言,在示例態樣中,可用作呼吸容量之量度的最大發音時間可自使用者儘可能長時間保持聲音之持續發音語音樣本判定。如本文所用,最大發音時間係指使用者維持特定發音之持續時間。
此外,在一些實施例中,亦可針對此等類型之語音樣本判定持續發音內之振幅的變化。在一些示例實施例中,其他聲學特徵係自通過語音樣本判定。舉例而言,自使用者朗讀段落之記錄或監測,可判定說話速率、平均停頓長度、停頓計數及/或全域SNR。說話速率可判定為每秒音節或字語數。停頓長度可指使用者之語音中至少為預定最小持續時間(例如200毫秒)之停頓。在一些態樣中,用於判定平均停頓長度及/或停頓計數之停頓可藉由利用自動語音至文字演算法自使用者之語音樣本產生文字、判定使用者何時開始字語及何時結束字語之時戳以及使用時戳判定字
語之間的持續時間而判定。全域SNR可為包括非說話時間之記錄的信雜比。
經進一步考慮,特定特徵或特徵組合比其他特徵更適合於監測某些類型之呼吸道感染。特徵選擇之實施例可包括識別可能的特徵組合、計算不同日之特徵集或向量之間的距離度量及使距離度量與自我報告的呼吸症狀之評級相關。在一個實例中,主成分分析(PCA)用於計算可能音素組合(示例音素組合繪示於例如圖11A及圖11B中)之前六個主成分,且計算表示跨越收集語音資料之各對天的音素組合之聲學特徵的向量之間的距離度量,諸如歐氏距離。可在相對於表示良好狀態之最終日之每天距離度量與自我報告之症狀評級之間計算斯皮爾曼等級相關(Spearman's rank correlation)。
此外,在一些實施例中,亦藉由應用稀疏PCA來執行無監督特徵選擇以進一步降低資料集之維度。替代地,在一些實施例中,線性判別分析(LCA)可用於降低維度。在一些實施例中,具有非零權重之主成分之最高數量(憑經驗判定)的特徵(特定言之,音素及特徵組合)可經選擇以供進一步分析。特徵選擇之態樣結合圖7至圖14進一步論述。
在例示性態樣中,自結合圖7至圖14描述之特徵選擇判定之代表性音素特徵集包含32個音素特徵,包括/n/音素之12個特徵、/m/音素之12個特徵及/a/音素之8個特徵。此等示例32個特徵列於下表中。
如上表中所指示,一或多個特徵之值可藉由聲學特徵提取器2614針對常態性變換。舉例而言,對數變換(表示為LG)可應用於特徵之子集。其他特徵可不包括變換。此外,儘管未包括於上表中,但經考慮可應用其他變換,諸如平方根變換(SRT)。在一個實施例中,特徵選擇包括針對不同一或多種特徵選擇變換。在一個實例中,對一或多個特徵檢驗不同類型之變換,諸如SRT、LG或無變換,且夏皮羅-威爾克檢驗(Shapiro-Wilk test)可用於選擇針對該特定特徵提供最常態分佈資料之變
換類型。
在一些實施例中,聲學特徵提取器2614、音素分割器2610或使用者語音監測器260之其他子組件可利用語音音素提取邏輯233(如圖2中之儲存250中所示)判定音素或提取音素之特徵。語音音素提取邏輯233可包括指令、規則、條件、關聯、機器學習模型或用於自對應於片段音素之聲學資料識別且提取聲學特徵值的其他準則。在一些實施例中,語音音素提取邏輯233利用結合音素分割器2610描述之ASR功能、聲學模型或相關功能。舉例而言,各種分類模型或軟體工具(例如,HMM、神經網路模型及先前所描述之其他軟體工具)可用於識別音訊樣本中之特定音素且判定對應聲學特徵。聲學特徵提取器2614或語音音素提取邏輯233之一個示例實施例可包括或利用用於語音分析及語音學之Praat電腦軟體套件中提供的功能。包含電腦程式常式之一個此類實施例的態樣說明性地提供於圖15A至圖15M中,其使用存取Praat軟體套件之Parselmouth Python程式庫展示。
在判定音素特徵之後,聲學特徵提取器2614可判定音素特徵集,其可包含自對應於記錄工作階段或時間框子之使用者語音樣本判定的音素之音素特徵向量(或一組音素特徵向量)。舉例而言,使用者可一天兩次(例如,早晨工作階段及晚間工作階段)提供語音樣本,且各工作階段可對應於音素特徵向量或一組向量,其表示自在該工作階段期間擷取之語音樣本偵測到之音素提取或判定之特徵。音素特徵集可儲存於與使用者相關聯之個人記錄240中,諸如音素特徵向量244,且可儲存或以其他方式與獲得用於判定音素特徵之語音樣本的日期或時間對應之日期-時間資訊相關聯。
在一些情況下,術語「特徵集」及「特徵向量」可在本文中互換使用。舉例而言,為了便於執行兩個特徵集之間的比較,集合之成員特徵可視為特徵向量,使得可在各向量中之對應特徵之間判定距離量測(亦即,特徵向量比較),或便於將其他操作應用於該等特徵。在一些實施例中,音素特徵向量244可經正規化。在一些情況下,特徵向量可為多維向量,其中各音素具有表示特徵之維度。在一些實施例中,多維向量可經平坦化,諸如在判定兩個特徵向量之間的比較之前,如結合呼吸病況追蹤器270所描述。
除判定聲學特徵之外,使用者語音監測器260之一些實施例可包括情境資訊判定器2616以判定與自其中判定特徵之語音樣本相關的情境資訊。情境資訊可指示例如語音樣本記錄時之條件。在示例實施例中,情境資訊判定器2616可判定記錄之日期及/或時間(亦即,時戳)或記錄之持續時間,其可儲存或以其他方式與由聲學特徵提取器2614產生之音素特徵向量相關聯。除所提取之聲學特徵之外,藉由情境資訊判定器2616判定之資訊可與追蹤使用者之呼吸病況相關。舉例而言,情境資訊判定器2616亦可判定獲得語音樣本之當日特定時間(例如,早晨、下午或晚間)及/或可自其中判定環境或大氣相關資訊(例如,天氣、濕度及/或污染水平)的使用者位置。在一個實施例中,語音樣本之持續時間亦可用於追蹤使用者之呼吸病況。舉例而言,可要求使用者說出且保持聲音「aaaa」(亦即,音素/a/)持續使用者能夠持續之最長時間,且量測使用者能夠保持聲音之持續時間的持續時間度量可用於判定使用者之呼吸病況。
在一些實施例中,情境資訊判定器2616可判定或接收關於使用者之生理資訊,其可與獲得語音樣本之時間框相關聯。舉例而言,使
用者可提供關於他或她感覺之症狀的資訊,如圖4D、圖5D及圖5E中所描繪之實施例中所展示及描述。在一些情況下,情境資訊判定器2616可與使用者互動管理器280協同操作以獲得症狀資料,如下文所描述。在一些實施例中,情境資訊判定器2616可自使用者之設定檔/健康資料(EHR)241或感測器(諸如圖1之103)接收生理資料,諸如穿戴式使用者裝置(例如,健身追蹤器)上之體溫或血氧含量。
在一些實施例中,情境資訊判定器2616可判定使用者是否正在服用藥品及/或使用者是否已服用藥品。此判定可基於使用者提供明確信號,諸如在數位應用程式上選擇指示器,表示使用者已服用醫藥,或對詢問使用者他或她是否服用他或她的醫藥之智慧型裝置的提示作出回應,或可由另一感測器,諸如智慧型藥盒或醫藥容器提供,或由另一使用者,諸如使用者之護理人提供。在一些實施例中,情境資訊判定器2616可基於由使用者、醫生或健康照護提供者或照護者提供之資訊,藉由存取使用者之電子健康記錄(EHR)241、指示處方或購買之電子郵件或訊息及/或購買資訊判定使用者正在服用藥品。舉例而言,使用者或照護提供者可經由數位應用程式指定使用者正服用之特定醫藥或治療方案,諸如結合圖5D描述之示例呼吸道感染監測app 5101。
情境資訊判定器2616可進一步判定使用者之地理區域(例如,藉由使用者裝置上之位置感測器或使用者輸入之位置資訊,諸如郵遞區號)。在一些實施例中,情境資訊判定器2616可進一步判定存在於使用者之地理區域中之已知會引起呼吸道感染(諸如流感或COVID-19)的特定病毒或細菌之程度。此類資訊可獲自政府或健康照護網站或入口網站,諸如由美國疾病控制與預防中心(CDC)、世界衛生組織(WHO)、州衛生部門
或國家衛生機構運營之彼等。
藉由情境資訊判定器2616判定之資訊可儲存於個人記錄240中,且在一些實施例中,資訊可儲存於關連式資料庫中,使得情境資訊與特定語音樣本或自語音樣本判定之特定音素特徵向量相關聯,語音樣本亦可儲存於個人記錄240中。
如上文所描述,使用者語音監測器260一般可負責自使用者語音之音訊樣本獲得相關聲學資訊。此資料之收集可涉及引導與使用者之互動。因此,系統200之實施例可進一步包括使用者互動管理器280以有助於收集使用者資料,包括獲得語音樣本及/或使用者症狀資訊。因而,使用者互動管理器280之實施例可包括使用者指令產生器282、自我報告工具284及使用者輸入回應產生器286。使用者互動管理器280可結合使用者語音監測器260(或其子組件中之一或多者)、呈現組件220及(在一些實施例中)如本文中稍後描述之自我報告資料評估器276工作。
使用者指令產生器282一般可負責導引使用者提供語音樣本。使用者指令產生器282可向使用者提供(例如,有助於經由圖形使用者介面顯示,諸如圖5A之實例中所示,或經由音訊或語音使用者介面說話,諸如圖4C之示例互動中所示)用於擷取語音資料之程序。除其他之外,使用者指令產生器282可為使用者讀出及/或說出指令231(例如,「請說出『aaa』5秒。」)。指令231可經預程式化且特定於音素、語音相關資料或自使用者尋求之其他使用者資訊。在一些情況下,指令231可由使用者之臨床醫師或照護者判定。以此方式,根據一些實施例,指令231可特定於使用者(例如,作為患者治療之部分)及/或特定於呼吸道感染或藥品。替代地或另外,指令231可自動產生(例如,合成或組合)。舉例而言,請
求特定音素之指令231可基於判定關於特定音素之特徵資訊係所需的或有助於判定使用者之呼吸病況而產生。類似地,可提供一組預定指令231或操作(例如,來自臨床醫師、照護者或經程式化至決策支援應用程式,諸如105a或105b中)且用於為使用者組合特定或定製指令。
經預程式化或產生之指令231可關於執行特定語音相關任務,諸如說出特定音素持續設定持續時間、說出且儘可能長時間保持特定音素、說出特定字語或字語組合或大聲朗讀段落。在請求使用者大聲朗讀段落之一些實施例中,可將段落之文字提供給使用者,使得使用者可大聲朗讀所提供之段落。另外或替代地,段落之部分可以可聽方式輸出至使用者,使得使用者可在不閱讀文字之情況下重複可聽段落。在一個實施例中,使用者被請求大聲說出(藉由朗讀書面文字或重複口頭指令)預定語音學平衡段落,諸如彩虹段落(rainbow passage),且可被請求朗讀該段落之某一部分,諸如彩虹段落之五行。在一些情況下,可給予使用者預定時間量(諸如兩分鐘)以完成朗讀段落。彩虹段落之一部分可包括例如:「當日光照射空氣中之雨滴時,其充當稜鏡且形成彩虹。彩虹係白光分成許多美麗的色彩。彩虹呈長圓拱形,其路徑高高在上,且其兩端明顯超出地平線。根據傳說,在一端有一罐沸騰的黃金。人們尋找,但未曾有人找到。當一個人尋找無法企及的某物時,他的朋友說他正在尋找彩虹盡頭的一罐黃金。」
在一些實施例中,指令231可為指示由使用者提供之音素提供樣本聲音。在一些實施例中,使用者指令產生器282可僅為針對呼吸病況分析所尋求之音素或聲音提供指令231,其可包含僅提供指令231之一部分。舉例而言,在使用者語音監測器260尚未獲得包括給定時間框之
特定音素之語音樣本的情況下,使用者指令產生器282可提供指令231以有助於獲得具有該音素資訊之語音樣本。展示可由使用者指令產生器282(或使用者互動管理器280)提供之指令231的其他實例結合圖4A、圖4B及圖5B描繪且進一步描述。
使用者指令產生器282之一些實施例可提供針對特定使用者定製之指令231。因而,使用者指令產生器282可基於特定使用者之健康狀況、臨床醫師針對使用者之醫囑、處方或建議、使用者之人口統計或EHR資訊(例如,若使用者經判定為吸菸者,則修改指令)或基於來自使用者之先前擷取之語音/音素資訊產生指令231。舉例而言,對由使用者提供之先前音素的分析可指示在呼吸道感染之全部或部分期間(例如,在恢復期間)展示較多變化之特定音素。另外或替代地,可判定使用者患有相比於其他特徵更容易由一些音素特徵偵測或追蹤之呼吸病況。在此等情況下,使用者指令產生器282之一實施例可指示使用者擷取所關注音素之額外樣本或可產生或修改指令231以移除(或不提供)用於獲得較不適用於特定使用者之音素之語音樣本的指令。在使用者指令產生器282之一些實施例中,指令231可基於使用者之呼吸病況的先前判定(例如,使用者是否患病或正在恢復)進行修改。
自我報告工具284一般可負責導引使用者提供可與其呼吸病況相關之資料及其他情境資訊。自我報告工具284可與自我報告資料評估器276及資料收集組件210介接。自我報告工具284之一些實施例可與使用者指令產生器282協同操作以提供指令231以導引使用者提供使用者相關資料。舉例而言,自我報告工具284可利用指令231以提示使用者提供關於使用者正在經歷的與呼吸病況相關之症狀的資訊。在一個實施例中,
自我報告工具284可提示使用者對一組症狀內之各症狀的嚴重程度進行評級,該等症狀可為鼻塞相關或非鼻塞相關的。另外或替代地,自我報告工具284可利用指令231或要求使用者提供關於使用者之健康或其大體上感覺如何之資訊。在一個實施例中,自我報告工具284可提示使用者指示鼻後分泌物、鼻塞、流鼻涕、帶有黏液之濃稠鼻分泌物、咳嗽、喉嚨痛及需要擤鼻涕之嚴重程度。在一些實施例中,自我報告工具284可包含使用者介面元件以有助於提示使用者或自使用者接收資料。舉例而言,用於提供自我報告工具284之GUI的態樣描繪於圖5D及圖5E中。展示用於提供自我報告工具284之語音使用者介面(VUI)之態樣的示例使用者互動描繪於圖4D、圖4E及圖4F中。
在一些實施例中,自我報告工具284利用指令231可提示使用者一天多次提供症狀或一般狀況輸入,且所請求之輸入可基於當日時間而變化。在一些實施例中,輸入時間可對應於獲得使用者語音樣本之時間框或工作階段。在一個實例中,自我報告工具284可提示使用者對早晨19種症狀及晚間16種症狀之感知嚴重程度進行評級。另外或替代地,自我報告工具284可提示使用者在早晨回答四個與睡眠相關之問題且在晚間回答一個一天結束時疲倦的問題。下表展示針對使用者輸入之提示的示例清單,該等提示可藉由自我報告工具284利用指令231判定且藉由自我報告工具284或使用者互動管理器280之其他子組件輸出。
在一些實施例中,自我報告工具284可基於使用者之所偵測音素特徵(亦即,基於疑似呼吸病況)、先前擷取之音素資料及/或其他自我報告的輸入提供後續問題或提供後續提示。在一個例示性實施例中,若對音素特徵之分析指示使用者可能正在罹患呼吸道感染或仍自呼吸道感染恢復,則自我報告工具284可有助於提示使用者報告症狀。舉例而言,可利用指令231及/或與使用者互動管理器280協同操作之自我報告工具284可
向使用者詢問使用者之症狀(或顯示索求使用者之症狀的請求)。在此實施例中,可向使用者詢問關於使用者感覺如何之問題,諸如「您感覺鼻塞嗎?」。在類似實例中,若使用者報告使用者鼻塞或具有特定症狀,則自我報告工具284可藉由詢問「您鼻塞程度如何,按照1-10之等級?」或提示使用者提供此後續細節而繼續下去。
在一些實施例中,自我報告工具284可包含使得使用者能夠通信耦接穿戴式裝置、健康監測器或生理感測器之功能以有助於使用者之生理資料的自動收集。在一個此類實施例中,資料可由情境資訊判定器2616或系統200之其他組件接收,且可儲存於個人記錄240中。在一些實施例中,如先前所描述,自自我報告工具284接收之此資訊可儲存於關連式資料庫中,使得其與特定語音樣本或自獲自工作階段之語音樣本判定的特定音素特徵向量相關聯。在一些實施例中,基於所接收之生理資料,自我報告工具284可提示或請求使用者自我報告症狀資訊,如上文所描述。
根據各種實施例,使用者輸入回應產生器286一般可負責向使用者提供回饋。在一個此類實施例中,使用者輸入回應產生器286可分析使用者之使用者資料輸入,諸如語音或語音記錄,且可與使用者指令產生器282及/或樣本記錄稽核器2608協同操作以基於使用者之輸入向使用者提供回饋。在一個實施例中,使用者輸入回應產生器286可分析使用者之回應以判定使用者是否提供良好語音樣本,且接著向使用者提供該判定之指示。舉例而言,可向使用者提供綠燈、核取標記、微笑符號、豎起拇指、電鈴或啁啾聲音或類似指示器以指示所記錄之樣本良好。同樣,可提供紅燈、皺眉符號、蜂鳴器或類似指示器以告知使用者樣本不完整或有缺陷。在一些實施例中,使用者輸入回應產生器286可判定使用者是否未能
遵守來自使用者指令產生器282之指令231。使用者輸入回應產生器286之一些實施例可調用聊天機器人軟體代理程式,以在偵測到問題之情況下向使用者提供上下文幫助或輔助。
使用者輸入回應產生器286之實施例可在先前語音樣本之聲級或其他聲學特性不足、存在過多背景雜訊或樣本中記錄之聲音不夠長的情況下告知使用者。舉例而言,在使用者提供初始語音樣本之後,使用者輸入回應產生器286可輸出「我未聽到;讓我們再試一次。請說出『aaaa』5秒。」。在一個實施例中,使用者輸入回應產生器286可指示使用者應在記錄期間嘗試達成之響度位準及/或向使用者提供關於語音樣本是否可接受的回饋,此可根據樣本記錄稽核器2608判定。
在一些實施例中,使用者輸入回應產生器286可利用使用者介面之態樣以向使用者提供關於聲級、背景雜訊或獲得語音樣本之時序持續時間的回饋。舉例而言,視覺或音訊倒數時鐘或計時器可用於用信號通知使用者何時開始或停止說話以記錄語音樣本。計時器之一個實施例描繪為在圖5A中之GUI元件5122。用於提供使用者輸入回應之類似實例描繪為圖5B中之GUI元件5222,其包括計時器及背景雜訊之指示器。其他實例(未圖示)可包括用於音訊輸入位準、背景雜訊、在字語說出時改變字語顏色或沿著使用者正在朗讀之字語跳躍的球之GUI元件,或類似音訊或視覺指示器。
使用者輸入回應產生器286可向使用者提供特定語音相關任務(例如,發聲一發音)或語音工作階段之進度的指示。舉例而言,如上文所描述,使用者輸入回應產生器286可計數(顯示於圖形使用者介面上或經由音訊使用者介面)使用者提供持續發音之秒數,或可告知使用者何時
開始及/或停止。使用者輸入回應產生器286(或使用者指令產生器282)之一些實施例可提供關於待完成之語音相關任務或針對特定工作階段、時間框或一天已完成之語音相關任務的指示。
如先前所描述,使用者輸入回應產生器286之一些實施例可為使用者產生視覺指示器,使得使用者可看到所提供之語音樣本的回饋,諸如關於樣本之音量位準、樣本可接受或不可接受及/或樣本經正確擷取或未經正確擷取的指示器。
利用藉由使用者語音監測器260(單獨或結合使用者互動管理器280)或呼吸病況追蹤器270收集及判定的語音資訊,可判定關於使用者之呼吸病況之資訊及/或關於使用者之未來呼吸病況的預測。在一個實施例中,呼吸病況追蹤器270可接收音素特徵集(例如,一或多個音素特徵向量),其與特定時間或時間框相關聯且可用日期及/或時間資訊加時戳。舉例而言,音素特徵集可自使用者語音監測器260接收或自與使用者相關聯之個人記錄240接收,諸如音素特徵向量244。與音素特徵集相關聯之時間資訊可對應於用於判定音素特徵集之語音樣本(或語音相關資料)獲自使用者之日期及/或時間,如本文所描述。呼吸病況追蹤器270亦可接收與自其中判定音素特徵之音訊記錄或語音樣本相關的情境資訊,其亦可自個人記錄240及/或使用者語音監測器260(或特定言之,情境資訊判定器2616)接收。呼吸病況追蹤器270之實施例可利用一或多個分類器,以基於音素特徵集(向量)多次及(在一些實施例中)情境資訊,產生使用者可能存在的呼吸病況之評分或判定。另外或替代地,呼吸病況追蹤器270可利用預測器模型來預報使用者之可能未來呼吸病況。呼吸病況追蹤器270之實施例可包括特徵向量時間序列組合器272、音素特徵比較器274、自我報
告資料評估器276及呼吸病況推理引擎278。
特徵向量時間序列組合器272可用於組合使用者之連續音素特徵向量(或特徵集)之時間序列。時間序列可根據與特徵向量相關聯之時間資訊(或時戳)以時間順序或逆時間順序組合。在一些實施例中,時間序列可包括針對使用者或個人收集之語音樣本產生的所有音素特徵向量、針對個人患病(亦即,患有呼吸道感染)之時間間隔內收集之樣本產生的音素特徵向量,或與設定或預定時間間隔(諸如過去3至5週、過去兩週或過去一週)內之時間相關聯的音素特徵向量。在其他實施例中,時間序列僅包括兩個特徵向量。在一個此類實施例中,時間序列中之第一音素特徵向量可根據對應時戳與最近時段或時間點相關聯,且因此表示關於使用者之當前呼吸病況的資訊,而第二特徵向量可與較早時段或時間點相關聯。在一些實施例中,較早時段對應於使用者之呼吸病況與最近時段或時間點不同的時間間隔(亦即,使用者患病或健康之時間)。
此外,音素特徵比較器274一般可負責判定使用者之音素特徵向量244的差異(或不同特徵集中之特徵值的差異)。音素特徵比較器274可比較兩個或更多個音素特徵向量來判定差異。舉例而言,可在與任何兩個不同時間點或時段相關聯之音素特徵向量244之間,或在與最近時段或時間點相關聯之特徵向量及與較早時段或時間點相關聯之特徵向量之間執行比較。各經比較音素特徵集(或向量)可與不同時段或時間點相關聯,使得音素特徵比較器274之比較可提供關於跨不同時段或時間點之特徵變化(表示使用者之呼吸病況之變化)的資訊。在一些實施例中,經考慮待比較之兩個或更多個特徵向量可具有相同持續時間或各向量具有用於比較之對應特徵(亦即,相同維度)。在一些情況下,可僅比較特徵向量之一
部分(或特徵之子集)。在一個實施例中,音素特徵比較器274可利用各自與不同時段或時間點相關聯之複數個特徵向量(其可包括三個或更多個向量),以執行表徵跨越不同時段或時間點之時間框內之特徵變化的分析。舉例而言,分析可包含判定變化率、回歸或曲線擬合、叢聚分析、判別分析或其他分析。如先前所描述,儘管術語「特徵集」及「特徵向量」可在本文中互換使用以便於執行特徵集之間的比較,但特徵集之個別特徵可視為特徵向量。
在一些實施例中,可在最近時段或時間點之特徵向量(例如,自最近獲得之語音樣本判定之特徵向量)與對應於多個較早時段或時間點之特徵向量的平均值或複合(例如,基於多個先前特徵向量或語音樣本之箱車型移動平均值)執行比較。在一些情況下,平均值可考慮至多與使用者之先前時段或時間點相關聯的最大數目個特徵向量(例如,來自對應於獲得語音樣本之10個先前工作階段之特徵向量的平均值)或來自預定、較早時間間隔,諸如超過一週或兩週之特徵向量。音素特徵比較器274可替代地或另外將最近時間間隔之使用者特徵向量與音素特徵基線進行比較,如本文進一步描述,音素特徵基線可基於使用者或其他使用者,諸如一般群體或類似於所監測使用者之其他使用者(例如,與所監測使用者具有類似呼吸病況或其他相似性之群組)。此外,在一些情況下,比較可利用關於基線(或在未利用基線之實施例中,關於特徵集)之統計資訊,諸如對應於基線(或對應於特徵集)之特徵集的統計變異數或標準差。在一些實施例中,可考慮使用平均值,且尤其滾動或移動平均值,以作為先前特徵向量(亦即,對應於自較早時段或時間點獲得之語音樣本的特徵向量)上之平滑函數操作。以此方式,可使較早樣本中可能出現的不考慮呼吸道
感染之語音相關資料的變異降至最低(例如,語音樣本是否在早晨使用者第一次醒來時獲得,相對於在漫長的一天結束時獲得,相對於在使用者大聲歡呼或唱歌後之時間獲得)。亦考慮,音素特徵比較器274之一些實施例可將最近特徵向量之平均值與較早特徵向量之平均值或與單一較早時段或時間點相關聯之特徵向量進行比較。類似地,可在最近特徵之特徵值(或特徵值之部分)當中判定統計變異數,且將其與較早特徵值(或其部分)之變異數進行比較。
音素特徵比較器274之一些實施例可利用音素特徵比較邏輯235判定音素特徵向量之比較。音素特徵比較邏輯235可包含電腦指令(例如,函式、常式、程式、程式庫或其類似者)且可包括但不限於一或多個規則、條件、處理程序、模型或用於執行特徵或特徵向量之比較或用於便於比較或處理比較以進行解釋之其他邏輯。在一些實施例中,音素特徵比較器274利用音素特徵比較邏輯235以計算音素特徵向量之距離度量或差異量測。在例示性態樣中,距離量測可視為定量使用者之語音資訊之聲學特徵空間隨時間推移的變化。以此方式,可基於在獲得使用者之語音資訊的兩個或更多時間之間聲學特徵空間(例如,音素特徵)中偵測到的可定量變化來觀測及定量使用者之呼吸病況的變化。在一個實施例中,音素特徵比較器274可判定兩個特徵向量(或特徵向量之平均值)的歐氏量測或L2距離以判定距離量測。在一些情況下,音素特徵比較邏輯235可包括用於在比較操作之前或作為比較操作之部分,在多維向量情況下執行平坦化、正規化或其他處理操作的邏輯。在一些實施例中,音素特徵比較邏輯235可包括用於執行其他距離度量(例如,曼哈頓距離(Manhattan distance))之邏輯。舉例而言,馬氏距離(Mahalanobis distance)可用於判定最近特徵向
量與一組與較早時段或時間點相關聯之特徵向量之間的距離。在一些實施例中,可判定萊文斯坦距離(Levenshtein distance),諸如用於比較使用者大聲朗讀段落之實施。舉例而言,根據一實施例,語音至文字演算法可用於自使用者對段落之敍述產生文字。可判定一或多個條目之時間序列,包含段落之音節或字語及使用者朗讀彼等字語時之對應時戳。時間序列(或時戳)資訊可用於產生特徵向量(或以其他方式可用作特徵)以用於與以類似方式判定之基線特徵向量進行比較(例如,使用萊文斯坦距離演算法)。
在一些實施例中,可針對個人之多對時間判定音素特徵差異(或距離度量)。舉例而言,可計算最近一天之音素特徵向量與最近一天之前一天之音素特徵向量之間的距離,及/或可計算最近一天之音素特徵向量與一週前收集之樣本之音素特徵向量或與表示基線之音素特徵向量之間的距離。此外,在一些實施例中,可計算不同音素特徵向量或特徵之不同類型的距離。
在一些實施例中,音素特徵差異(或距離度量)可指示特定聲學特徵在時段或時間點內之差異。舉例而言,音素特徵比較器274可計算音素/n/之調和性的距離度量,且可針對音素/m/之振幅擾動度計算另一距離度量。另外或替代地,可針對時段或時間點內之聲學特徵之組合判定距離度量(或變化之指示)。
在一些實施例中,音素特徵比較邏輯235(或音素特徵比較器274)包括用以產生或利用使用者之特徵基線的電腦指令。基線可表示使用者之健康狀態、疾病狀態(例如,流感狀態或呼吸道感染狀態)、恢復狀態或任何其他狀態。其他狀態之實例可包括使用者在時間點或時間間隔(例如,30天前)時之狀態;使用者與事件相關聯之狀態(例如,在手術或
受傷之前);使用者根據條件之狀態(例如,使用者自使用者服用藥品之時間起或在使用者在受污染城市中生活期間的狀態;或與其他準則相關聯之狀態。舉例而言,健康狀態之基線可利用對應於使用者健康時之一個或複數個時間間隔(例如,天)的一個或複數個特徵集判定。
基於複數個特徵集判定之基線(各自對應於不同時間間隔)在本文中可稱為多參考或多日基線。在一些情況下,多參考基線包含複數個或一組特徵集,各自對應於不同時間間隔。替代地,多參考之基線可包含基於來自多個時間間隔之多個特徵集的單一代表性特徵集(例如,包含來自不同時段或時間點之特徵集值的平均值或複合,諸如先前所描述)。在一些實施例中,基線可包括關於特徵之統計或補充資料或後設資料。舉例而言,基線可包含特徵集(其可表示多個時間間隔)及特徵值之統計變異數或標準差,其中使用多個特徵集(例如,多參考基線)。補充資料可包含情境資訊,其可與用於判定基線之特徵集的時間間隔相關聯。後設資料可包含關於用於判定基線之特徵集的資訊,諸如關於使用者在時間間隔之呼吸病況(例如,使用者健康、患病、恢復等)之資訊,或關於基線之其他資訊。在一些實施例中,可基於各種準則判定一組基線以執行不同比較,如本文所描述。
自所收集之語音樣本產生的特徵向量與特定狀態之基線的比較可指示使用者之狀況或狀態與已知狀況或狀態相比如何。在例示性實施例中,針對特定使用者判定基線,使得相對於基線之比較將指示使用者之狀況或狀態是否已改變。替代地或另外,基線可針對一般群體判定或自類似使用者之群組判定。在一些實施例中,不同類型之基線用於不同特徵集。舉例而言,一些特徵可與使用者特定基線相比,而其他特徵可與自個
人群體之資料判定的標準基線相比。在一些實施例中,使用者可指定(例如,經由設定249)特定語音樣本、日期或時間間隔以用於判定基線。舉例而言,使用者可經由GUI指定日期或日範圍,諸如藉由在行事曆上選擇對應於使用者之已知狀態或病況之日,且可進一步提供關於已知狀態或病況之資訊(例如,「請選擇您健康之至少一個較早日期」)。類似地,在用以獲得語音樣本之記錄工作階段期間,使用者可指示語音樣本應用於判定基線且可提供使用者之狀況或狀態的對應指示。舉例而言,GUI核取方塊可在記錄工作階段期間呈現以使用樣本作為健康(或患病或恢復)狀態之基線。
在一些實施例中,音素特徵比較邏輯235可包括用於產生及利用多日或多參考基線之電腦指令。舉例而言,多日基線可為滾動或固定的。特定言之,藉由執行最近特徵向量相對於此基線之比較,音素特徵比較器274可判定指示使用者之呼吸病況已改變及使用者患病還是健康的資訊。關於基於由音素特徵比較器274執行之比較判定使用者之呼吸病況的細節結合呼吸病況推理引擎278進行描述。類似地,音素特徵比較邏輯235可包含用於利用最近音素特徵向量及一組較早向量(或多參考基線)執行複數個比較的指令,及用於比較彼此差異量測之指令,使得可判定(例如,藉由呼吸病況推理引擎278)使用者之呼吸病況已改變,且使用者患病(或健康),或使用者之病況改善或惡化。執行包括距離量測比較之多重比較的額外細節結合呼吸病況推理引擎278進行描述。
在一些實施例中,基線可在獲得關於使用者之更多資訊時自動地動態定義。舉例而言,在使用者之語音資訊的常態變異性隨時間推移變化時,使用者基線亦可變化以反映使用者之當前常態變異性。一些實
施例可利用自適應基線,其可自最近特徵集或複數個最近特徵集(對應於複數個時間間隔(例如,天))判定且隨著符合基線準則(例如,健康、患病、恢復)之新特徵集經判定而更新。舉例而言,用於自適應基線之複數個特徵集可遵循先進先出(FIFO)資料流,使得隨著基線之新特徵集經判定(例如,自更為新近之日判定)不再考慮來自較早時間之特徵集。以此方式,歸因於自適應基線,可排除使用者之語音中可能發生的小變化或緩慢變化及調適。在利用自適應基線之一些實施例中,基線之參數(例如,待包括之特徵集之數目或待包括之最近特徵集之時間窗)可在應用程式設定(例如,設定249)中經組態。在來自多個時間間隔(例如,天)之特徵集用於基線的實施例之一些情況下,最近判定之特徵集可經加權以具有更大重要性,使得基線最新。替代地或另外,對應於較早時段或時間點之較舊(亦即,「過時」)特徵集可經加權以隨時間推移衰減或對基線貢獻較小。
在一些實施例中,使用者基線內之特定特徵可針對該特定使用者進行定製。以此方式,不同使用者可在其各別基線內具有音素特徵之不同組合,且因此,不同音素特徵可經判定且用於監測各使用者之呼吸病況。舉例而言,在第一使用者之健康語音樣本中,特定聲學特徵(一般或針對特定音素)可自然地波動,使得特徵可能不適用於偵測使用者之呼吸病況的變化,而該特徵可適用於另一使用者且包括於另一使用者之基線中。
在一些實施例中,使用者之基線可與情境資訊,諸如天氣、一天中之時間及/或季節(亦即,一年中之時間)相關。舉例而言,使用者之基線可自在高濕度時段期間記錄之樣本產生。此基線可與自在高濕度時段期間記錄之樣本產生的音素特徵向量進行比較。相反,不同基線可與
自在相對低濕度之時段期間獲得之樣本產生的音素特徵向量進行比較。以此方式,可存在針對給定使用者判定且用於不同情境中的多個基線。
此外,在一些實施例中,基線可不針對特定使用者判定,而是針對特定群組,諸如共用一組共同特徵之個人。在一例示性實施例中,基線可為呼吸病況特定的,因為其可利用來自已知患有相同呼吸病況(例如,流感、鼻病毒、COVID-19、哮喘、慢性阻塞性肺病(COPD)等)之個人的資料判定。在可隨著獲得關於使用者之更多資訊動態定義基線的一些實施例中,可提供初始基線,其基於來自一般群體或類似於使用者之群組的音素特徵資料。隨時間推移,隨著使用者之更多音素特徵集經判定,基線可使用使用者之音素特徵集更新,藉此使該使用者之基線個人化。
呼吸病況追蹤器270之一些實施例可包括自我報告資料評估器276,其可自使用者收集自我報告資訊,其可相關於或考慮用於使用者診斷(例如,判定使用者之當前呼吸病況)及/或預報未來病況。自我報告資料評估器276可自自我報告工具284及/或情境資訊判定器2616收集此資訊。該資訊可為使用者提供之資料或使用者導出之資料(例如,來自指示溫度、呼吸速率、血氧等之感測器),關於使用者感覺如何或使用者之當前病況。在一個實施例中,此資訊包括使用者自我報告的與呼吸病況相關之各種症狀的感知嚴重程度。舉例而言,該資訊可包括使用者對鼻後分泌物、鼻塞、流鼻涕、帶有黏液之濃稠鼻分泌物、咳嗽、喉嚨痛及需要擤鼻涕之嚴重程度評分。
自我報告資料評估器276可利用輸入資料以判定指示呼吸病況或症狀之嚴重程度的症狀評分。舉例而言,自我報告資料評估器276可輸出可藉由組合多個症狀之評分計算的複合症狀評分(CSS)。可對個別
症狀評分求和或平均化以獲得複合症狀評分。舉例而言,在一個實施例中,複合症狀評分可藉由對七種呼吸病況相關症狀之症狀評分(在0至5範圍內)求和,產生範圍在0與35之間的複合症狀評分來判定。較高症狀評分可指示較嚴重症狀。在一個實施例中,症狀可包括鼻後分泌物、鼻塞、流鼻涕、帶有黏液之濃稠鼻分泌物、咳嗽、喉嚨痛及需要擤鼻涕。在一些實施例中,可針對所有症狀,諸如鼻塞相關症狀及非鼻塞相關症狀產生單獨的症狀評分。
在一些實施例中,自我報告資料評估器276可使經判定之症狀評分與自對應於產生評分之使用者輸入相同的時間窗之語音樣本判定的音素特徵相關聯。在其他實施例中,自我報告資料評估器276可使症狀評分與音素特徵向量或藉由比較音素特徵向量判定之距離度量相關聯。症狀評分,諸如所有症狀(包括鼻塞相關症狀或非鼻塞相關症狀)之複合症狀評分可藉由擬合指數衰減模型且使聲學特徵值與衰減率相關聯而與音素特徵相關聯。衰減模型可用於估計症狀變化之量值及速率。在一個實施例中,評分~ae -b(天-1)+用於指數衰減模型,其中a表示變化之量值且b表示衰減率。指數衰減模型可使用非線性混合效應模型實施,其中主項作為來自R系統(用於統計計算之R項目(R-project for Statistical Computing),其可經由R綜合典藏網(Comprehensive R Archive Network,CRAN)存取)之套件nlme(3.1.144版)的隨機效應。音素特徵向量與症狀評分之間及音素特徵向量與或導出之距離度量之間的相關性之實例分別描繪於圖9及圖11A至圖11B中。由自我報告資料評估器276產生之症狀評分及(在一些實施例中)與音素特徵向量或距離量測之關聯及/或相關性可儲存於使用者之個人記錄240中。
在一些實施例中,自我報告基於偵測到之變化(例如,使用者之病況惡化)起始或在使用者已患病時起始。自我報告之起始亦可基於使用者設定偏好,諸如個人記錄240中之設定249。在一些實施例中,自我報告基於自使用者收集之語音樣本偵測到的呼吸病況起始。舉例而言,自我報告資料評估器276可基於自語音分析對使用者病況之偵測判定提示使用者獲得自我報告的症狀資訊,該偵測可基於由音素特徵比較器274執行之特徵向量的比較而判定。
此外,呼吸病況推理引擎278一般可負責判定或推斷使用者之當前呼吸病況及/或預測使用者之未來呼吸病況。此判定可基於使用者之聲學特徵,包括特徵值中偵測到的變化。因而,呼吸病況推理引擎278可接收關於使用者之音素特徵及/或特徵之所偵測變化的資訊,其可判定為距離度量。呼吸病況推理引擎278之一些實施例可進一步利用情境資訊,其可由情境資訊判定器2616判定,及/或使用者之自我報告的資料或對自我報告的資料之分析,諸如由自我報告資料評估器276判定之複合症狀評分。在一個實施例中,最大發音時間或使用者維持一或多個特定音素,諸如/a/、另一基本母音發音或其他發音之持續時間可由呼吸病況推理引擎278用作使用者之呼吸病況的指示器。舉例而言,短的最大發音時間可指示呼吸短促及/或肺容量減少,其可與呼吸病況惡化相關聯。此外,呼吸病況推理引擎278可將聲學特徵與一或多個基線進行比較以判定使用者之呼吸病況。舉例而言,使用者之最大發音時間可與使用者之基線最大發音時間進行比較,以判定使用者之呼吸容量增加還是減少,其中最大發音時間縮短可指示呼吸病況惡化。類似地,自預定持續時間之語音樣本提取的音素中有聲框之百分比的降低可指示呼吸病況惡化。對於朗讀段
落之語音樣本,藉助於檢驗而非限制,以下特徵可指示呼吸病況惡化:說話速率降低、平均停頓長度增加、停頓計數增加及/或全域SNR降低。此等變化中之任一者的判定可藉由(諸如本文所描述)將最近樣本與基線(諸如使用者特定基線)進行比較來進行。
呼吸病況推理引擎278可利用此輸入資訊產生一或多個呼吸病況評分或分類,其表示使用者之當前呼吸病況及/或未來病況(亦即,預測)。來自呼吸病況推理引擎278之輸出可儲存於使用者之個人記錄240之結果/推斷病況246中,且可呈現給使用者,如結合圖5C之示例GUI 5300所描述。
在一些實施例中,呼吸病況推理引擎278可判定呼吸病況評分,其對應於使用者之呼吸病況中所偵測到的定量變化。替代地或另外,呼吸病況評分或使用者之呼吸道感染病況之推理可基於一或多個特定音素特徵之偵測到的值(亦即,單一讀數而非變化),或基於一或多個特定特徵值、偵測到之特徵值變化及不同變化速率之組合。在一個實施例中,呼吸病況評分可指示使用者患有(或未患)呼吸病況之可能性或機率(例如,一般針對任何病況或針對特定呼吸道感染)。舉例而言,呼吸病況評分可指示使用者具有60%的可能性患有呼吸道感染。在一些態樣中,呼吸病況評分可包含複合評分或一組評分(例如,使用者患有一組呼吸病況之一組機率)。舉例而言,呼吸病況推理引擎278可產生特定呼吸病況之向量,其具有使用者患有各種病況之對應可能性,諸如過敏,0.2;鼻病毒,0.3;COVID-19,0.04;等等。替代地或另外,呼吸病況評分可指示使用者之當前狀況與已知健康狀況的差異,可基於使用者之當前狀況與使用者之基線或健康狀況的比較,諸如本文所描述。
在許多情況下,在使用者未感覺到有症狀時,呼吸病況推理引擎278可判定(或呼吸病況評分可指示)自使用者之健康狀態的變化或與其之差異(或呼吸道感染之機率)。此能力為優於依賴於主觀資料之習知技術的優點及改良。另一方面,本文所提供之技術的實施例可在使用者感覺到有症狀之前偵測呼吸道感染之發作,而非依賴於主觀資料。藉由提供比習知方法更早的呼吸道感染警告,此等實施例可尤其適用於對抗基於呼吸道之大流行病,諸如SARS-CoV-2(COVID-19)。舉例而言,指示可能感染之呼吸病況評分(或呼吸病況推理引擎278對使用者之呼吸病況的判定)可告知使用者自我隔離、保持社交距離、戴面罩或採取其他防護措施,早於使用者原本可能的行動。
在一些實施例中,可指示或對應於使用者患有呼吸道感染之機率的呼吸病況評分可表示為相對於使用者之健康狀態的值。舉例而言,90/100之呼吸病況評分(其中100表示健康狀態)可指示使用者呼吸病況之偵測到的變化為使用者之正常或健康狀態的90%(亦即,10%變化)。在此實例中,使用者可在呼吸病況評分為90之情況下感覺健康,但評分可指示使用者正在罹患呼吸道感染(或仍自呼吸道感染恢復)。類似地,呼吸病況評分為20可指示使用者可能患病(亦即,使用者可能患有呼吸道感染),而呼吸病況評分為40亦可指示使用者可能患病,但不大可能與由呼吸病況評分為20所指示的患病程度一樣(或患病程度可能不一樣)。舉例而言,在呼吸病況評分對應於機率時,則與呼吸病況評分為40相比,呼吸病況評分為20可指示使用者患有感染之機率較高。但在呼吸病況評分反映使用者之當前狀態與健康基線之間的差異時,則與呼吸病況評分為20相比,呼吸病況評分為40可對應於自基線偵測到的變化較小,且因此可指示使用
者患病程度可能不一樣。在一些情況下,使用者之呼吸病況評分可使用顏色或符號指示,而不是數字或除數字之外。舉例而言,綠色可指示使用者健康,而黃色、橙色及紅色可表示與使用者之健康狀態的差異逐漸增加,此可指示使用者患有呼吸道感染之可能性逐漸增加。類似地,表情符號(例如,微笑符號對皺眉或患病符號)可用於表示呼吸病況評分。
應理解,本文中之實施例可用於基於音素特徵資訊(包括音素特徵之變化),且在一些實施例中進一步基於來自使用者之情境資訊(諸如所量測之生理資料)及/或自我報告的症狀評分表徵使用者之呼吸道感染狀態。因此,在一些情況下,重度呼吸道感染及輕度呼吸道感染兩者可表現相同音素特徵(或特徵變化)。因此,在此等情況下,不同呼吸病況評分可能不適用於指示使用者「患病程度較高」或「患病程度較低」,而是僅可指示使用者患有(或未患)呼吸道感染(亦即,二元指示)或指示使用者患病之機率,或可表示使用者之當前狀態相對於健康狀態的差異,此可指示呼吸道感染之徵象。
此外,當與使用者之呼吸道感染治療(其可以情境資訊形式接收),諸如服用處方藥品相關聯時,監測呼吸病況評分之變化可指示治療之功效。舉例而言,診斷患有呼吸道感染之使用者由其臨床醫師開立抗生素且受指示使用其智慧型手機上之呼吸道感染監測app,諸如結合圖5A描述之呼吸道感染監測app 5101。初始呼吸病況評分(或第一組呼吸病況評分)可自如本文所描述收集之使用者語音樣本判定。在某一時間間隔(諸如一週)之後,第二呼吸病況評分可指示使用者之呼吸病況的變化。指示使用者之病狀正在改善的變化(其可為如下文所描述判定)可暗示抗生素正在起作用。指示使用者之病況未改善或保持相同的變化可暗示抗生素未起
作用,在此情況下使用者之臨床醫師可能想要開立不同治療。以此方式,本文所描述之技術的實施例可判定關於使用者之呼吸病況變化的客觀,諸如可定量資訊,可更小心地且謹慎地利用針對呼吸道感染治療開立之抗生素,藉此延長其功效且使抗微生物劑抗藥性降至最低。
在一些實施例中,呼吸病況推理引擎278可利用使用者病況推理邏輯237判定呼吸病況評分或作出關於使用者之呼吸病況的推理及/或預測。使用者病況推理邏輯237可包括規則、條件、關聯、機器學習模型或用於自語音相關資料推斷及/或預測可能呼吸病況之其他準則。使用者病況推理邏輯237可視所使用之機制及所欲輸出而定採取不同形式。在一個實施例中,使用者病況推理邏輯237可包括一或多個分類器模型以判定或推斷使用者之當前(或最近)呼吸病況及/或一或多個預測器模型以預報使用者之可能未來呼吸病況。分類器模型之實例可包括但不限於決策樹或隨機森林、單純貝氏(Naive Bayes)、神經網路、圖型識別模型、其他機器學習模型、其他統計分類器或組合(例如,集)。在一些實施例中,使用者病況推理邏輯237可包括用於執行叢聚或無監督分類技術之邏輯。預測模型之實例可包括但不限於回歸技術(例如,線性或邏輯回歸、最小平方、廣義線性模型(GLM)、多元適應性迴歸弧線(multivariate adaptive regression splines,MARS)或其他回歸過程)、神經網路、決策樹或隨機森林,或其他預測模型或模型之組合(例如,集)。
如上文所描述,呼吸病況推理引擎278之一些實施例可判定使用者患有或罹患呼吸道感染之機率。在一些情況下,機率可基於使用者之聲學特徵,包括偵測到的特徵變化及分類器或預測模型之輸出,或滿足的規則或條件。舉例而言,根據一實施例,使用者病況推理邏輯237可
包括用於基於滿足特定臨限值(例如,如本文所描述之病況變化臨限值)之音素特徵值的變化或基於偵測到的一或多個音素特徵值發生變化之程度判定呼吸道感染機率的規則。在一個實施例中,使用者病況推理邏輯237可包括用於解釋使用者之當前呼吸病況與基線之間偵測到的變化或差異以判定使用者患有呼吸道感染之可能性的規則。在另一實施例中,使用者之呼吸病況的多個最近評估(亦即,自最近時間至較早時間之多重比較)可促成機率。藉助於實例而非限制,若使用者連續兩天展示呼吸病況之變化,則與僅在一天之後展示變化之使用者相比,可提供較高的呼吸道感染機率。在一個實施例中,偵測到的變化及/或變化率可相比於特定呼吸道感染之已知音素特徵變化的一組一或多個模式或應用於特徵變化且對應於已知呼吸道感染的一組臨限值,及基於比較判定之感染可能性。此外,在一些實施例中,使用者病況推理邏輯237可利用情境資訊,諸如生理資訊或關於呼吸道傳染病之區域爆發之資訊,以判定使用者患有呼吸道感染之機率。
使用者病況推理邏輯237可包含電腦指令及規則或條件,其用於執行聲學特徵資訊之經判定變化(例如,特徵集值、特徵向量距離量測及其他資料之變化)或聲學特徵資訊之經判定變化率與一或多個臨限值之比較,該一或多個臨限值在本文中可稱為病況變化臨限值。舉例而言,可將分別對應於最近及較早時間間隔之兩個特徵向量的距離量測與病況變化臨限值進行比較。病況變化臨限值可用作偵測器(例如,用作離群值偵測器),使得基於比較,若滿足(例如,超過)臨限值,則使用者之呼吸病況變化被視為偵測到。可判定病況變化臨限值,使得可偵測到使用者病況之有意義的變化,但微小變化(不顯著且仍然改變)不偵測為(或判定為)使用者之呼吸病況的變化。舉例而言,利用多日基線之一些實施例可
採用經判定為多日基線特徵值之兩個標準差的病況變化臨限值,如本文進一步描述。
在一些實施例中,病況變化臨限值特定於使用者之病況狀態(例如,感染或未感染),且若特徵向量之間的變化量值滿足病況變化臨限值,則可判定使用者之病況已變化。臨限值亦可用於判定呼吸病況之總體趨勢以及判定呼吸病況之可能存在。在一個實施例中,若比較(其可由音素特徵比較器274執行)滿足(例如,超過)病況變化臨限值,則可判定使用者之呼吸病況改變某一量值(如由病況變化臨限值指定),且因此使用者之病況正在改善或惡化(亦即,趨勢)。以此方式,在此實施例中,不滿足病況變化臨限值之微小變化可不考慮或可指示使用者之病況實際上無變化。
在一些實施例中,病況變化臨限值可經加權,僅應用於音素特徵之一部分,及/或可包含用於表徵特徵向量(或音素特徵集)之各音素特徵之變化或用於特徵之子集的一組臨限值。舉例而言,第一音素特徵之小變化可為重要的,而第二音素特徵之小變化可能並非同等重要或甚至可能通常發生。因此,知曉第一特徵值已改變(即使極小)可能有幫助,且知曉第二特徵值已在更大程度上改變亦有幫助。因此,較小的第一病況變化臨限值(或加權臨限值)可用於此第一音素特徵,使得即使小變化亦可滿足此第一病況變化臨限值,且較高的(第二)病況變化臨限值(或具有不同加權之臨限值)可用於第二音素特徵。此類加權或變化之病況變化臨限值應用可用於偵測或監測某些呼吸道感染,其中特定音素特徵判定為更敏感(亦即,此音素特徵之變化更能指示使用者之呼吸病況的變化)。
在一些實施例中,病況變化臨限值係基於用於與使用者之
最近聲學特徵值進行比較的基線之標準差。舉例而言,基線(諸如多日基線)可經判定(例如,藉由音素特徵比較邏輯235)以包括例如自使用者健康(或患病)時起的複數個時間間隔之特徵資訊。標準差可基於來自基線中所使用之不同時間間隔(例如,天)的特徵之特徵值來判定。病況變化臨限值可基於標準差來判定(例如,利用兩個標準差之臨限值)。舉例而言,若最近音素特徵集與健康基線之比較(或使用者之音素特徵值隨時段或時間點推移偵測到的類似變化)滿足與基線之兩個標準差,則使用者可判定為患有呼吸道感染或其他病況。以此方式,比較更強健。藉助於實例而非限制,當使用者健康時可能日常發生的使用者聲學特徵之微小變化被考慮到病況變化臨限值中。在一些情況下,可基於標準差利用多個臨限值,以便判定或定量使用者之當前呼吸病況與基線之間的差異程度。舉例而言,在一個實施例中,若與健康基線之比較(或使用者之音素特徵值隨時間推移偵測到的類似變化)滿足與基線之兩個標準差,則使用者可判定為具有呼吸道感染之低機率,且若比較滿足與基線之三個標準差,則使用者可判定為具有呼吸道感染之高機率。
在一些實施例中,根據使用者病況推理邏輯237判定之病況變化臨限值可經修改(例如,由使用者、臨床醫師或使用者之照護者修改)或可經預定(例如,由臨床醫師、照護者或應用程式開發者預定)。病況變化臨限值亦可基於參考群體資料或針對特定使用者判定。舉例而言,可基於使用者之特定健康資訊(例如,健康診斷、藥品或健康記錄資料)及/或個人資訊(例如,年齡、使用者行為或活動,諸如唱歌或吸菸)設定病況變化臨限值。另外或替代地,使用者(或照護者)可設定或調整病況變化臨限值作為設定,諸如在個人記錄240之設定249中。在一些態樣中,病況
變化臨限值可基於所監測或偵測之特定呼吸道感染。舉例而言,使用者病況推理邏輯237可包括用於利用不同臨限值(或一組臨限值)以監測不同可能的呼吸道感染或病況之邏輯。因此,當使用者之病況已知(例如,在診斷之後)或疑似時可利用特定臨限值,其在一些情況下可自情境資訊或自我報告的症狀資訊判定。在一些實施例中,可應用多於一個病況變化臨限值。
在一些實施例中,使用者病況推理邏輯237可包含用於執行離群值(或異常)偵測之電腦指令,且可採用離群值偵測器之形式(或利用離群值偵測模型)以偵測使用者之呼吸道感染的可能發生率。舉例而言,在一個實施例中,使用者病況推理邏輯237可包括一組規則以判定且利用基線特徵集(例如,多日基線)之標準差作為離群值偵測之臨限值,如本文進一步描述。在其他實施例中,使用者病況推理邏輯237可採用利用離群值偵測演算法之一或多個機器學習模型的形式。舉例而言,使用者病況推理邏輯237可包括一或多個機率模型、線性回歸模型或基於鄰近度之模型。在一些態樣中,此類模型可在使用者資料上訓練,使得該等模型偵測使用者特定變異性。在其他實施例中,模型可經訓練以利用呼吸病況特定群組之參考資訊。舉例而言,用於偵測特定呼吸病況(諸如流感、哮喘及慢性阻塞性肺病(COPD))之模型經已知患有此類病況之個人的資料訓練。以此方式,使用者病況推理邏輯237可特定於所監測、判定或預報之呼吸病況之類型。
在一些實施例中,利用使用者病況推理邏輯237之呼吸病況推理引擎278的輸出為預測或預報。預測可基於音素特徵或呼吸病況評分中偵測到的變化、變化率及/或變化模式來判定,且可利用趨勢分析、
回歸或本文所描述之其他預測模型。在一些實施例中,預測可包括對應預測機率及/或預測之未來時間間隔(例如,截至下一週使用者具有70%可能性罹患呼吸道感染)。一個實施例基於展示使用者之呼吸病況改善趨勢之偵測到的使用者之音素特徵變化率預測使用者何時可能再次健康(關於描繪此實施例之實例,參見例如圖4E)。在一些情況下,預測可以使用者之趨勢或前景(例如,使用者正在恢復或惡化)之形式提供,或可提供為使用者將患病或恢復之機率/可能性。一些實施例可將變化模式與使用者之音素特徵或呼吸病況評分進行比較,以判定來自參考人群(例如,一般群體或類似於使用者之群體,諸如患有類似呼吸病況之群組)之模式,以便判定使用者之呼吸病況的可能未來預報。在一些實施例中,呼吸病況推理引擎278或使用者病況推理邏輯237可包括用於組合使用者音素特徵向量之一或多個模式的功能。該等模式可與自我報告輸入或由自我報告輸入產生之症狀評分或判定(諸如複合症狀評分)相關。使用者音素特徵圖案接著可經分析以預測特定使用者之未來呼吸病況。替代地,可利用來自其他使用者之使用者模式來預報特定使用者之未來呼吸病況,其他使用者為表示一般群體之參考群體、患有特定呼吸病況之個人的群體(例如,患有流感、哮喘、鼻病毒、慢性阻塞性肺病(COPD)、COVID-19等之群組)或類似於使用者之個人的群體。展示呼吸病況之預測的示例圖示提供於圖4E(元件447)及圖5C(元件5316)中。
在一些實施例中,使用者病況推理邏輯237可考慮音素特徵向量之變化模式或速率,及/或可考慮地理定位資訊,諸如使用者所在區域中之感染爆發。舉例而言,所有或某些音素特徵之某一變化模式(或速率)可指示特定呼吸道感染,諸如表現呼吸病況或症狀之進展(例如,鼻
塞持續數天,通常隨後為喉嚨痛,通常隨後為喉炎)的彼等呼吸道感染。
在一些實施例中,使用者病況推理邏輯237可包括用於判定及/或比較音素特徵資訊之多個變化或變化率的電腦指令。舉例而言,最近音素特徵向量與第一較早音素特徵向量之間的第一比較(或一組比較)可指示使用者之呼吸病況已改變。在一實施例中,變化指示使用者之病況正在改善還是惡化可藉由執行額外比較來判定。舉例而言,可判定最近音素特徵向量與健康基線特徵向量或來自已知使用者健康時之時段或時間點之第二較早音素特徵向量的第二比較。此外,可判定第一較早音素特徵向量與基線或第二較早音素特徵向量之間的第三比較。在第二比較與第三比較之間偵測到的變化可經比較(在第四比較中)以判定使用者之呼吸病況正在改善(例如,其中最近音素特徵向量與健康基線之間的差異小於第一較早音素特徵向量與健康基線之間的差異)還是惡化(例如,其中最近音素特徵向量與健康基線之間的差異大於第一較早音素特徵向量與健康基線之間的差異)。此外,與指示變化程度之臨限值的額外比較可用於判定使用者之呼吸病況已惡化或改善之程度、使用者有多接近恢復(例如,其中音素特徵值返回至或接近健康基線之特徵值)或使用者何時可期望處於恢復狀態(例如,基於展示改善之趨勢中的使用者病況之速率或變化)。
在一些實施例中,使用者病況推理邏輯237可包括一或多個決策樹(或隨機森林或其他模型),其用於併入使用者之自我報告及/或情境資料,該資料在一些情況下可包括生理資料(諸如使用者睡眠資訊(若可用))、關於最近使用者活動之資訊或使用者位置資訊。舉例而言,若使用者之語音相關資料指示語音嘶啞,且自情境資訊判定前一夜使用者位置處於競技場且前一夜具有標題為「季後賽」之行事曆條目,則使用者病況推
理邏輯237可判定觀測到的使用者語音資料之變化更可能為使用者參加體育賽事而非呼吸道感染之結果。
在一些實施例中,使用者病況推理邏輯237可包括用於判定使用者傳播偵測到的呼吸相關感染媒介物之可能風險的電腦指令。舉例而言,傳播風險可基於應用於呼吸病況之規則或條件或由呼吸病況推理引擎278判定之可能未來病況,或臨床醫師對使用者患有呼吸道感染之診斷來判定。傳播風險可為二元的(例如,使用者可能具有/不具有觸染性)、分類的(例如,低、中或高傳播風險),或可判定為機率或傳播風險評分,其可指示傳播性之可能性。在一些情況下,傳播風險可基於使用者患有或可能患有特定呼吸道感染(例如,流感、鼻病毒、COVID-19、某些類型之肺炎等)。因而,規則可指定患有特定病況(例如,COVID-19)之使用者在設定持續時間內具有觸染性,該持續時間可為固定的或可基於使用者之病況變化。舉例而言,規則可指定使用者在由呼吸病況推理引擎278判定使用者可能不再經歷呼吸道感染之後24小時內具有觸染性。此外,傳播風險可在使用者經歷(或可能經歷)呼吸道感染之整個持續時間內為靜態的,或可基於使用者狀態或呼吸道感染之進展而變化。舉例而言,傳播風險可基於最近時間間隔內(例如,過去一週內或自使用者首次由呼吸病況推理引擎278判定為可能患有呼吸道感染之時間起)使用者之呼吸病況(或語音相關資料)之偵測到的變化、趨勢、模式、變化率或對偵測到的變化之分析而變化。傳播風險可提供給使用者或經利用(例如,由呼吸病況推理引擎278、系統200之另一組件或臨床醫師利用)以判定對使用者之建議,諸如避免與其他人緊密接觸或戴面罩。由呼吸病況推理引擎278根據使用者病況推理邏輯237之一實施例判定之傳播風險的一個實例描繪於圖5C之元件
5314中。
在一些實施例中,使用者病況推理邏輯237可包括用於判定及/或提供對應於呼吸病況、預報、傳播風險或呼吸病況推理引擎278之其他判定之建議的規則、條件或指令。可向終端使用者,諸如患者、照護者或與使用者相關聯之臨床醫師提供建議(例如,決策支援建議)。舉例而言,為使用者或照護者判定之建議可包含一或多種建議實踐以使傳播降至最低、管理呼吸道感染或使感染惡化之可能性降至最低。在一些實施例中,使用者病況推理邏輯237可包含用於存取健康資訊之資料庫(其可與經判定之呼吸道感染或呼吸病況推理引擎278之其他判定相關聯),且向使用者、照護者或臨床醫師提供資訊之至少一部分的電腦指令。另外或替代地,建議可利用健康資訊資料庫中之資訊判定(或選自該資訊或由該資訊組合)。
在一些實施例中,可基於使用者之當前及/或歷史資訊(例如,歷史語音相關資料、先前判定之呼吸病況、使用者之呼吸病況的趨勢或變化或其類似者)及/或情境資訊,諸如症狀、生理資料或地理位置而針對使用者定製建議。舉例而言,在一個實施例中,關於使用者之資訊可用作選擇或過濾準則以識別健康資訊之資料庫中的相關資訊以用於判定針對使用者定製的建議。
建議可向使用者、照護者或臨床醫師提供,及/或儲存於與使用者相關聯之個人記錄240中,諸如結果/推斷病況246中。在存取健康資訊資料庫之一些實施例中,資料庫可儲存於儲存250上及/或遠端伺服器上或雲端環境中。由呼吸病況推理引擎278根據使用者病況推理邏輯237之一實施例判定之建議的一實例描繪於圖5C之元件5315中。
如圖2中所示,示例系統200亦包括決策支援工具290,其可包含各種計算應用程式服務,用於消費系統200之組件的輸出判定,諸如由呼吸病況追蹤器270(或其子組件之一,諸如呼吸病況推理引擎278)或自儲存(例如,自使用者之個人記錄240中之結果/推斷病況246)判定之使用者呼吸病況或預測。根據一些實施例,決策支援工具290可利用此資訊實現治療及/或預防動作。以此方式,決策支援工具290可由所監測使用者及/或所監測使用者之照護者利用。此決策支援工具290可採用用戶端裝置上之獨立應用程式、網路應用程式、分散式應用程式或服務及/或現有計算應用程式上之服務的形式。在一些實施例中,一或多個決策支援工具290為呼吸道感染監測或追蹤應用程式,諸如結合圖5A描述之呼吸道感染監測app 5101之一部分。
一個例示性決策支援工具包括患病監測器292。患病監測器292可包含在使用者之智慧型手機(或智慧型揚聲器或其他使用者裝置)上操作之app。患病監測器292 app可監測使用者之語音且告知使用者及/或使用者之照護提供者使用者是否患病或自呼吸道感染,諸如鼻病毒或流感恢復。在一些實施例中,患病監測器292可請求收聽使用者之權限以收集語音相關資料,或在一些態樣中收集其他資料。患病監測器292可向使用者產生通知或警示,指示使用者是否患病、可能患病或恢復。在一些實施例中,患病監測器292可基於呼吸病況判定及/或預測起始及/或排定治療建議。通知或警示可包括基於呼吸病況判定及/或預測之針對介入動作(諸如治療)的建議動作。治療建議可包含(藉助於實例而非限制)使用者採取之建議行為(例如,戴面罩)、非處方醫藥、諮詢臨床醫師及/或建議之測試,其用以確認呼吸道感染之存在及/或治療呼吸道感染及/或所得症狀。
舉例而言,患病監測器292可建議使用者排定健康照護提供者之訪視及/或接受測試以確認呼吸病況。在一些實施例中,患病監測器292可起始或促進醫生之預約及/或測試預約的排定。替代地或另外,患病監測器292可建議或命令治療,諸如非處方醫藥。
患病監測器292之實施例可建議使用者告知使用者家庭內之其他個人採取防護措施,諸如維持最小距離,以防止感染擴散。在一些實施例中,患病監測器292可建議此通知,且在使用者肯定地授權此通知後,患病監測器292可向與受感染使用者家中之其他使用者相關聯的使用者裝置發起通知。患病監測器292可自儲存於使用者之個人記錄240中之資訊,諸如自使用者帳戶/裝置248識別相關使用者裝置。在一些實施例中,患病監測器292可使其他感測資料(例如,生理資料,諸如心率、溫度、睡眠及其類似者)、其他情境資料(諸如關於使用者區域中之呼吸道感染爆發之資訊),或來自使用者之資料輸入(諸如經由自我報告工具284提供之症狀資訊)與對呼吸病況之判定及/或預測相關以作出建議。
在一個實施例中,患病監測器292可為感染接觸追蹤應用程式之一部分或與其協同操作。以此方式,關於第一使用者之可能呼吸道感染之早期偵測的資訊可自動傳達至第一使用者接觸之其他個人。另外或替代地,該資訊可用於起始彼等其他個人之呼吸道感染監測。舉例而言,可通知其他個人與感染者之可能接觸且提示其下載且使用患病監測器292或呼吸道感染監測應用程式,諸如結合圖5A描述之呼吸道感染監測app 5101。以此方式,甚至在第一使用者感覺到患病之前(亦即,在第一使用者有症狀之前),其他個人可得到通知且開始監測。
另一示例決策支援工具290為處方監測器294,如圖2中所
示。處方監測器294可利用關於使用者之呼吸病況的判定及/或預測,諸如使用者是否患有呼吸道感染,以判定處方是否應再配藥。處方監測器294可自使用者之個人記錄240判定例如使用者是否具有針對所偵測或預報之呼吸病況的當前處方。處方監測器294亦可判定關於服用藥品之頻率、藥品之最後配藥日期及/或可獲得多少次再配藥的處方說明。處方監測器294可基於使用者患有當前呼吸道感染之判定或使用者在不久的將來將具有一種症狀或將展示症狀來判定是否需要處方之再配藥。
處方監測器294之一些實施例亦可藉由感測資料或經由自我報告工具284之使用者輸入判定使用者是否正在服用醫藥。指示使用者是否正在服用處方醫藥之資訊由處方監測器294使用以判定當前處方是否或何時可能不足。處方監測器294可發出向使用者指示處方經再配藥之警示或通知。在一個實施例中,處方監測器294在使用者採取肯定步驟請求再配藥之後發出建議處方再配藥之通知。處方監測器294可起始經由藥房訂購再配藥,藥房之資訊可儲存於使用者之個人記錄240中或在再配藥時由使用者輸入。示例處方監測服務,諸如處方監測器294之態樣描繪於在圖4F中。
另一示例決策支援工具290為藥品功效追蹤器296,如圖2中所示。藥品功效追蹤器296可利用關於使用者之呼吸病況的判定及/或預測,諸如使用者之病況正在改善還是惡化,以判定使用者所服用之藥品的有效性是否有效。因而,藥品功效追蹤器296可自使用者之個人記錄240判定使用者是否具有當前處方。藥品功效追蹤器296可藉由感測資料或經由自我報告工具284之使用者輸入判定使用者是否實際上服用醫藥。藥品功效追蹤器296亦可判定處方說明且可判定使用者是否根據處方說明服用
藥品。
在一些實施例中,藥品功效追蹤器296可基於利用語音相關資料來關聯關於呼吸病況之推理或預報以判定使用者是否服用藥品且進一步判定藥品是否有效。舉例而言,若使用者正在按處方服用醫藥且呼吸病況惡化或未改善,則可判定處方藥品在此情況下對特定使用者無有效。因而,藥品功效追蹤器296可建議使用者諮詢臨床醫師以改變處方或可自動向使用者之醫生或臨床醫師傳達電子通知,使得臨床醫師可考慮修改處方治療。
在一些實施例中,藥品功效追蹤器296另外或替代地在所監測使用者之臨床醫師的裝置(諸如圖1之臨床醫師使用者裝置108)上操作或結合該裝置操作。舉例而言,臨床醫師可向患病患者開立用於呼吸道感染之藥品,諸如抗生素,且可結合向患者開立藥品功效追蹤應用程式(諸如296)以根據本發明之實施例監測患者之語音相關資料。在判定使用者正在惡化或未改善後,藥品功效追蹤器296可告知臨床醫師對患者之呼吸病況的推理或預報。在一些情況下,藥品功效追蹤器296可進一步建議改變患者之處方治療。
在另一實施例中,藥品功效追蹤器296可用作藥品之研究或試驗之一部分,且可分析多個參與者之呼吸病況的判定及/或預報,以判定研究藥品是否對參與者群組有效。另外或替代地,在一些實施例中,藥品功效追蹤器296可與感測器(例如,感測器103)及/或自我報告工具284結合用作研究或試驗之一部分,以判定藥品是否存在副作用,諸如呼吸相關副作用(諸如咳嗽、鼻塞、流鼻涕)或非呼吸相關副作用(諸如發熱、噁心、發炎、腫脹、搔癢)。
上文所描述之決策支援工具290的一些實施例包括用於治療使用者之呼吸病況的態樣。治療之目標可為降低呼吸病況之嚴重程度。治療呼吸病況可包括判定新治療方案,其可包括新治療劑、新藥劑之劑量或使用者所服用之現有藥劑之新劑量或新藥劑之劑量,及/或投與新藥劑之方式或使用者所服用之現有藥劑之新投藥方式。可向使用者或使用者之照護者提供新治療方案之建議。在一些實施例中,處方可發送至使用者、使用者之照護者或使用者之藥房。在一些情況下,治療可包括在不進行改變之情況下對現有處方進行再配藥。其他實施例可包括根據建議治療方案向使用者投與建議治療劑及/或追蹤建議治療劑之施用或使用。以此方式,本發明之實施例可更佳地實現控制、監測及/或管理治療劑用於治療呼吸病況之使用或施用,此不僅有益於使用者之病況,且可幫助健康照護提供者及藥物製造商以及供應鏈內之其他人更佳地遵守美國食品藥物管理局及其他管理機構設定之法規及建議。
在示例態樣中,治療包括一或多種來自以下之治療劑:˙PLpro抑制劑,阿匹莫德、EIDD-2801、利巴韋林、纈更昔洛韋、β-胸苷、阿斯巴甜、氧烯洛爾、多西環素、乙醯奮乃靜、碘普羅胺、核黃素、茶丙特羅、2,2'-環胞苷、氯黴素、氯苯胺胺甲酸酯、左羥丙哌嗪、頭孢孟多、氟尿苷、泰格環黴素、培美曲塞、L(+)-抗壞血酸、麩胱甘肽、橘皮苷素、腺苷甲硫胺酸、馬索羅酚、異維甲酸、丹曲洛林、柳氮磺胺吡啶抗菌劑、水飛薊賓、尼卡地平、西地那非、桔梗皂苷、金黃素、新橙皮苷、黃芩苷、蘇葛三醇-3,9-二乙酸酯、(-)-表沒食子兒茶素沒食子酸酯、菲安菊酯D、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、
2,2-二(3-吲哚基)-3-吲哚酮、(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、白皮杉醇、迷迭香酸及/或厚朴酚;˙3CLpro抑制劑,離甲環素、氯己定、阿夫唑嗪、西司他汀、法莫替丁、阿米三嗪、普羅加比、奈帕芬胺、卡維地洛、安普那韋、泰格環黴素、孟魯司特、胭脂蟲酸、含羞草鹼、黃素、葉黃素、頭孢匹胺、苯氧乙基青黴素、坎沙曲、尼卡地平、戊酸雌二醇、吡格列酮、考尼伐坦、替米沙坦、多西環素、土黴素、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、樺腦醛、金黃素-7-O-β-葡萄糖苷酸、穿心蓮內酯苷、2-硝基苯甲酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、2β-羥基-3,4-斷-木栓烷-27-羧酸(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、Isodecortinol、酵母固醇、橙皮苷、新橙皮苷、新穿心蓮內酯苷元、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、大波斯菊苷、Cleistocaltone A、2,2-二(3-吲哚基)-3-吲哚酮、山奈酚3-O-洋槐糖苷、格尼迪木素、余甘子萜、茶黃素3,3'-二-O-沒食子酸酯、迷迭香酸、貴州獐牙菜苷I、齊墩果酸、豆甾-5-烯-3-醇、2'-間羥基苯甲醯獐牙菜苷及/或黃鱔藤酚;˙RdRp抑制劑,纈更昔洛韋、氯己定、頭孢布坦、非諾特羅、氟達拉濱、伊曲康唑、頭孢呋辛、阿托喹酮、鵝去氧膽酸、色甘酸、泮庫溴
銨、可體松、替勃龍、新生黴素、水飛薊賓、艾達黴素、溴麥角環肽、苯乙哌啶、苄基青黴醯G、達比加群酯、樺腦醛、格尼迪木素、2β,30β-二羥基-3,4-斷-木栓烷-27-內酯、14-去氧-11,12-二去氫穿心蓮內酯、格尼迪木春、茶黃素3,3'-二-O-沒食子酸酯、2-胺基-3-苯基丙酸(R)-((1R,5aS,6R,9aS)-1,5a-二甲基-7-亞甲基-3-側氧基-6-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫-1H-苯并[c]氮呯-1-基)甲酯、2β-羥基-3,4-斷-木栓烷-27-羧酸、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、余甘根苷B、14-羥基香附烯酮、穿心蓮內酯苷、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、穿心蓮內酯、蘇葛三醇-3,9-二乙酸酯、黃芩苷、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、1,7-二羥基-3-甲氧基酮、1,2,6-三甲氧基-8-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮及/或1,8-二羥基-6-甲氧基-2-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮、8-(β-D-葡萄哌喃糖基氧基)-1,3,5-三羥基-9H-二苯并哌喃-9-酮。
在示例態樣中,治療包括一或多種治療劑,其用於治療病毒感染,諸如SARS-CoV-2,其導致COVID-19。因而,治療劑可包括一或多種SARS-CoV-2抑制劑。在一些實施例中,治療包括一或多種SARS-CoV-2抑制劑與上文所列之治療劑中之一或多者的組合。
在一些實施例中,治療包括一或多種選自先前鑑別之藥劑中之任一者以及以下之治療劑:
˙布枯苷、橙皮苷、MK-3207、維奈托克、二氫麥角克鹼、勃拉嗪、R428、地特卡里、依託泊苷、替尼泊苷、UK-432097、伊立替康、魯瑪卡托、維帕他韋、艾沙度林、雷迪帕韋、咯匹那韋/利托那韋+利巴韋林、阿氟隆及普賴松;˙地塞米松、阿奇黴素及瑞德西韋以及波普瑞韋、烏米芬韋及法匹拉韋;˙α-酮醯胺化合物11r、13a及13b,如Zhang,L.;Lin,D.;Sun,X.;Rox,K.;Hilgenfeld,R.;X-ray Structure of Main Protease of the Novel Coronavirus SARS-CoV-2 Enables Design of α-Ketoamide Inhibitors;bioRxiv預印本doi:https://doi.org/10.1101/2020.02.17.952879中所描述;˙RIG 1路徑活化劑,諸如美國專利第9,884,876號中所描述之彼等;˙蛋白酶抑制劑,諸如Dai W,Zhang B,Jiang X-M等人Structure-based design of antiviral drug candidates targeting the SARS-CoV-2 main protease.Science.2020;368(6497):1331-1335中所描述之彼等,包括指定為DC402234之化合物;及/或˙抗病毒劑,諸如瑞德西韋、加利地韋、法維拉韋/阿維法韋、莫那比拉韋(MK-4482/EIDD 2801)、AT-527、AT-301、BLD-2660、法匹拉韋、卡莫司他、SLV213恩曲他濱/替諾福韋、克來夫定、達塞曲匹、波普瑞韋、ABX464、((S)-(((2R,3R,4R,5R)-5-(2-胺基-6-(甲胺基)-9H-嘌呤-9-基)-4-氟-3-羥基-4-甲基四氫呋喃-2-基)甲氧基)(苯氧基)磷醯基)-L-丙胺酸異丙酯(本尼福韋)、EDP-235、ALG-097431、EDP-938、尼馬瑞韋或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受
之鹽、溶劑合物或水合物之組合(PaxlovidTM)、(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07321332,尼馬瑞韋)及/或S-217622、糖皮質激素諸如地塞米松及氫化可體松、恢復期血漿、重組人類血漿諸如膠溶素(Rhu-p65N)、單株抗體諸如瑞達韋單抗(瑞基瓦(Regkirova))、雷武珠單抗(武托米(Ultomiris))、VIR-7831/VIR-7832、BRII-196/BRII-198、COVI-AMG/COVI DROPS(STI-2020)、巴尼韋單抗(LY-CoV555)、瑪弗利單抗、樂利單抗(PRO140)、AZD7442、侖茲魯單抗、英利昔單抗、阿達木單抗、JS 016、STI-1499(COVIGUARD)、拉那利尤單抗(塔克日羅)、卡那單抗(伊拉利斯)、瑾司魯單抗及奧替利單抗、抗體混合物諸如卡斯瑞韋單抗/依米得韋單抗(REGN-Cov2)、重組融合蛋白諸如MK-7110(CD24Fc/SACCOVID)、抗凝血劑諸如肝素及阿哌沙班(apixaban)、IL-6受體促效劑諸如托珠單抗(tocilizumab)(安特美(Actemra))及/或沙利姆單抗(sarilumab)(克紮拉(Kevzara))、PIKfyve抑制劑諸如阿吡莫德二甲磺酸鹽、RIPK1抑制劑諸如DNL758、DC402234、VIP受體促效劑諸如PB1046、SGLT2抑制劑諸如達格列淨(dapaglifozin)、TYK抑制劑諸如艾維替尼(abivertinib)、激酶抑制劑諸如ATR-002、貝西替尼、阿卡替尼、洛嗎莫德、巴瑞替尼及/或托法替尼、H2阻斷劑諸如法莫替丁、驅蟲劑諸如氯硝柳胺、弗林蛋白酶抑制劑諸如三氮脒。
舉例而言,在一個實施例中,治療係選自由以下組成之群:尼馬瑞韋或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或水合物之組合(PaxlovidTM)。在另一
實施例中,治療包括(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07321332,尼馬瑞韋)。
接續圖2及系統200,系統200之呈現組件220一般可負責提供偵測到的呼吸病況資訊、使用者指令及/或用於獲得使用者語音資料及/或自我報告的資料及相關資訊之回饋。呈現組件220可包含在使用者裝置上、跨越多個使用者裝置或在雲端環境中之一或多個應用程式或服務。舉例而言,在一個實施例中,呈現組件220可管理跨越與使用者相關聯之多個使用者裝置向使用者提供資訊,諸如通知及警示。基於呈現邏輯、情境及/或其他使用者資料,呈現組件220可判定經由哪一(些)使用者裝置提供內容,以及提供之情境,諸如其如何提供(例如,格式及內容,其可視使用者裝置或情境而定)、其何時提供或提供資訊之其他此類態樣。
在一些實施例中,呈現組件220可產生使用者介面特徵,其相關聯於或用於促進向使用者(其可為所監測個人或所監測個人之臨床醫師)呈現系統200之其他組件之態樣,諸如使用者語音監測器260、使用者互動管理器280、呼吸病況追蹤器270及決策支援工具290。此類特徵可包括圖形或音訊介面元件(諸如圖示或指示器、圖形按鈕、滑件、功能表、聲音、音訊提示、警示、警報、振動、彈出視窗、通知列或狀態列項目、app內通知或用於與使用者介接之其他類似特徵)、查詢及提示。呈現組件220之一些實施例可採用語音合成、文字至語音或類似功能來產生語音且向使用者呈現語音,諸如在智慧型揚聲器上操作之實施例。可由呈現組件220產生且提供給使用者(亦即,所監測個人或臨床醫師)之圖形使用
者介面(GUI)之實例及示例音訊使用者介面元件之圖示結合圖5A至圖5E描述。利用音訊使用者介面功能之實施例描繪於圖4C至4F之實例中。由呈現組件220提供之音訊使用者介面的一些實施例包含語音使用者介面(VUI),諸如智慧型揚聲器上之VUI。可由呈現組件220產生且提供給使用者(亦即,所監測個人或臨床醫師)之圖形使用者介面(GUI)之實例及示例音訊使用者介面元件之圖示亦結合穿戴式裝置(諸如在圖4B中之智慧型手錶402a)來展示及描述。
示例系統200之儲存250一般可儲存資訊,包括資料、電腦指令(例如,軟體程式指令、常式或服務)、邏輯、設定檔及/或在本文所描述之實施例中所使用之模型。在一實施例中,儲存250可包含資料儲存(或電腦資料記憶體),諸如圖1之資料儲存150。此外,儘管描繪為單一資料儲存組件,但儲存250可體現為一或多個資料儲存或在雲端環境中。
如示例系統200中所示,儲存250包括語音音素提取邏輯233、音素特徵比較邏輯235及使用者病況推理邏輯237,其皆先前經描述。此外,儲存250可包括一或多個個人記錄(諸如個人記錄240,如圖2中所示)。個人記錄240可包括與特定經監測個人/使用者相關聯之資訊,諸如設定檔/健康資料(EHR)241、語音樣本242、音素特徵向量244、結果/推斷病況246、使用者帳戶/裝置248及設定249。儲存於個人記錄240中之資訊可用於資料收集組件210、使用者語音監測器260、使用者互動管理器280、呼吸病況追蹤器270、決策支援工具290或示例系統200之其他組件,如本文所描述。
設定檔/健康資料(EHR)241可提供與所監測個人之健康相關的資訊。設定檔/健康資料(EHR)241之實施例可包括個人之EHR之一部
分或全部或僅包括與呼吸病況相關之一些健康資料。舉例而言,設定檔/健康資料(EHR)241可指示過去或當前診斷之病況,諸如流感、鼻病毒、COVID-19、慢性阻塞性肺病(COPD)、哮喘或影響呼吸系統之病況;與治療呼吸病況或呼吸病況之潛在症狀相關聯之藥品;體重;或年齡。設定檔/健康資料(EHR)241可包括使用者自我報告的資訊,諸如結合自我報告工具284所描述之自我報告的症狀。
語音樣本242可包括原始及/或經處理語音相關資料,諸如自感測器103(圖1中所示)接收之資料。此感測器資料可包括用於呼吸道感染追蹤之資料,諸如所收集之語音記錄或樣本。在一些情況下,可暫時儲存語音樣本242,直至對所收集之樣本執行特徵向量分析為止及/或直至經過預定時段為止。
此外,音素特徵向量244可包括特定使用者之經判定音素特徵及/或音素特徵向量。音素特徵向量244可與個人記錄240中之其他資訊相關,諸如情境資訊或自我報告的資訊或複合症狀評分(其可為設定檔/健康資料(EHR)241之一部分)。另外,音素特徵向量244可包括用於建立特定使用者之音素特徵基線的資訊,如結合音素特徵比較邏輯235所描述。
結果/推斷病況246可包含使用者預報及使用者之推斷呼吸病況。結果/推斷病況246可為呼吸病況推理引擎278之輸出,且因而可包含當前或未來時間間隔中所監測使用者之呼吸病況的評分及/或可能性。結果/推斷病況246可由如先前所描述之決策支援工具290利用。
使用者帳戶/裝置248一般可包括關於經存取、使用或以其他方式與使用者相關聯之使用者計算裝置的資訊。此類使用者裝置之實例
可包括圖1之使用者裝置102a-n,且因而可包括智慧型揚聲器、行動電話、平板電腦、智慧型手錶或具有整合語音記錄能力或可通信連接至此類裝置之其他裝置。
在一個實施例中,使用者帳戶/裝置248可包括相關於與使用者相關聯之帳戶,例如線上或基於雲端之帳戶的資訊(例如,線上健康記錄入口網站、網路/健康提供者、網路網站、決策支援應用程式、社交媒體、電子郵件、電話、電子商務網站或其類似者)。舉例而言,使用者帳戶/裝置248可包括決策支援應用程式,諸如決策支援工具290之所監測個人帳戶;照護提供者站點之帳戶(其可用於實現例如預約之電子排程);及線上電子商務帳戶,諸如Amazon.com®或藥店(其可用於實現例如治療之線上訂購)。
另外,使用者帳戶/裝置248亦可包括使用者之行事曆、預約、應用程式資料、其他使用者帳戶或其類似者。使用者帳戶/裝置248之一些實施例可跨一或多個資料庫、知識圖譜或資料結構儲存資訊。如先前所描述,儲存於使用者帳戶/裝置248中之資訊可自資料收集組件210判定。
此外,設定249一般可包括與用於監測使用者語音資料之一或多個步驟(包括收集語音資料、收集自我報告的資訊或推斷及/或預測使用者之呼吸病況)或一或多個決策支援應用程式(諸如決策支援工具290)相關聯的使用者設定或偏好。舉例而言,在一個實施例中,設定249可包括用於收集語音相關資料之組態設定,諸如用於在使用者無意講話時收集語音資訊之設定。設定249可包括用於情境資訊之組態或偏好,包括用於獲得生理資料(例如,連結穿戴式感測器裝置之資訊)的設定。如本文所描
述,設定249可進一步包括隱私設定。設定249之一些實施例可指定特定音素或音素特徵以偵測或監測呼吸病況,且可進一步指定偵測或推理臨限值(例如,病況變化臨限值)。如本文所描述,設定249亦可包括用於使用者設定其呼吸病況之基線狀態的組態。藉助於實例而非限制,其他設定可包括使用者通知容限臨限值,其可定義使用者想要被通知使用者之呼吸病況判定或預測的時間及方式。在一些態樣中,設定249可包括應用程式之使用者偏好,諸如通知、較佳照護者、較佳藥房或其他商店及非處方藥品。設定249可包括使用者之治療之指示,諸如處方藥品。在一個實施例中,感測器(諸如圖1中所描述之感測器103)之校準、初始化及設定亦可儲存於設定249中。
現轉至圖3A,描繪併有系統200之組件中之至少一些的示例程序3100之圖解表示。示例程序3100展示一或多個使用者3102經由語音症狀應用程式3104提供資料,該應用程式可在使用者裝置,諸如智慧型行動裝置及/或智慧型揚聲器上操作。經由語音症狀應用程式3104提供之資料可包括聲音記錄(例如,圖2之聲音樣本242),可自其中提取音素,如關於圖2中之使用者語音監測器260所描述。另外,所接收之資料包括症狀評級值,其可由使用者手動輸入,如結合使用者互動管理器280所描述。
基於接收所記錄之語音樣本及症狀值,可駐存於伺服器(例如,圖1之伺服器106)上且經由網路(例如,圖1之網路110)存取之電腦系統可執行操作3106,包括與使用者通信、執行症狀演算法、提取語音特徵及應用語音演算法。與使用者通信可包括提供提示及回饋以收集可用資料,如結合使用者互動管理器280所描述。症狀演算法可包括基於使用者
之自我報告的症狀值產生複合症狀評分(CSS),如結合自我報告資料評估器276所描述。語音特徵抽取可包括語音樣本中所偵測之音素的所提取聲學特徵值,如結合使用者語音監測器260且更特定言之,聲學特徵提取器2614所描述。語音演算法可應用於所提取聲學特徵,其可包括比較來自不同日之個人的特徵向量(亦即,計算距離度量),如結合音素特徵比較器274所描述。
基於至少一些操作3106,提醒及通知可經由使用者裝置,諸如圖1中之使用者裝置102a以電子方式發送至一或多個使用者3102。提醒可提醒使用者知曉可能需要語音樣本或額外資訊,諸如自我報告的症狀登記。通知可在提供語音樣本時向使用者提供回饋,諸如指示是否需要較長持續時間、較大音量或較小背景雜訊,如關於使用者互動管理器280所描述。通知亦可指示使用者是否已及在多大程度上遵循用於提供語音樣本及(在一些情況下)症狀資訊之處方協定。舉例而言,通知可指示使用者已完成50%之語音練習以提供語音樣本。
另外,基於操作3106中之至少一些,所收集之資訊及/或其所得分析可發送至與臨床醫師相關聯之一或多個使用者裝置,諸如圖1中之臨床醫師使用者裝置108。臨床醫師儀錶板3108可由在臨床醫師使用者裝置108(圖1中)上操作或與其一起操作之電腦軟體應用程式(諸如決策支援app 105a或105b)產生。臨床醫師儀錶板3108可包含圖形使用者介面(GUI),其使得能夠存取及接收關於所監測之特定患者或一組患者(亦即,所監測使用者3102)之資訊,且在一些實施例中,直接或間接地與患者通信。臨床醫師儀錶板3108可包括呈現多個使用者之資訊的視圖(諸如各列含有關於不同使用者之資訊的圖表)。另外或替代地,臨床醫師儀錶板
3108可呈現所監測之單一使用者的資訊。
在一個實施例中,臨床醫師儀錶板3108可由臨床醫師用以經由語音症狀應用程式3104監測使用者3102之資料收集。舉例而言,臨床醫師儀錶板3108可指示使用者是否已提供可用語音樣本及(在一些實施例中)症狀嚴重程度評級。若使用者未遵守用於提供語音樣本及/或其他資訊之處方協定,則臨床醫師儀錶板3108可通知臨床醫師。在一些實施例中,臨床醫師儀錶板3108可包括使得臨床醫師能夠向使用者傳達(例如,傳送電子訊息)提醒以遵循用於收集資料之協定或遵循經修訂協定的功能。
在一些實施例中,操作3106可包括自所收集之語音樣本判定使用者之呼吸病況(例如,判定使用者是否患病),其一般可由呼吸病況追蹤器270之一實施例,且更特定言之,呼吸病況推理引擎278執行,如結合圖2所描述。在此等實施例中,可向使用者3102發送至指示經判定呼吸病況之通知。在一些實施例中,給使用者3102之通知可包括對動作之建議,如結合決策支援工具290所描述。此外,在使用者之語音相關資訊用於判定使用者之呼吸病況的情況下,臨床醫師儀錶板3108之一些實施例可由臨床醫師用以追蹤使用者之呼吸病況。臨床醫師儀錶板3108之一些實施例可指示使用者之呼吸病況的狀態(例如,呼吸病況評分,使用者是否患有呼吸道感染)及/或使用者之病況的趨勢(例如,使用者之病況正在惡化、改善還是保持相同)。可向臨床醫師提供警示或通知以指示使用者之病況是否尤其不良(諸如當呼吸病況評分低於臨限評分時)、使用者是否偵測到新感染及/或使用者之病況是否已改變。
在一些實施例中,臨床醫師儀錶板3108可用於特定監測已
被開立用於呼吸道感染之藥品及/或已由臨床醫師診斷患有呼吸病況的使用者,使得臨床醫師可監測病況及處方治療之功效,包括此類治療之副作用,如關於決策支援工具290及藥品功效追蹤器296所論述。因而,臨床醫師儀錶板3108之實施例可識別處方藥品或治療及使用者是否正在服用處方藥品或治療。
此外,在一些實施例中,臨床醫師儀錶板3108可包括使得臨床醫師能夠設定建議或所需語音樣本收集協定(例如,使用者提供語音樣本之頻率應如何)、使用者之處方治療或藥品及對使用者之額外建議(諸如是否飲用液體、休息、避免運動、自我隔離)的功能。臨床醫師儀錶板3108亦可由臨床醫師使用以設定或調整監測設定(例如,設定用於向臨床醫師及在一些實施例中向使用者產生警示之臨限值)。在一些實施例中,臨床醫師儀錶板3108亦可包括使得臨床醫師能夠判定語音症狀應用程式3104是否正確地操作及對語音症狀應用程式3104執行診斷的功能。
圖3B說明性地描繪用於收集資料以監測呼吸病況之示例程序3500的圖解表示。在此示例程序3500中,所監測個人可執行提供語音樣本及症狀評級之若干收集檢查點。收集檢查點可包括一個實驗室內「患病」訪視,在此期間個人已經歷呼吸道感染之症狀,或在一些實施例中具有呼吸道感染診斷;及一個實驗室內「健康」訪視,其中個人已自呼吸道感染恢復。另外,在兩個實驗室內訪視之間,個人可在傢俱有每天兩次(或每天或週期性)收集檢查點。居家檢查點可在至少兩週之時段內發生,且若個人之恢復時間長於兩週,則可能更長。在各收集檢查點期間,個人可提供語音樣本且對症狀進行評級。
實驗室內訪視可為臨床醫師訪視,諸如在臨床醫師辦公室
或在進行研究之實驗室中。在實驗室內訪視期間,可經由智慧型手機及與頭戴式耳機耦接之電腦同時記錄所監測個人之語音樣本。然而,經考慮,程序3500之實施例可僅利用此等方法中之一者以在實驗室內訪視期間收集語音樣本。個人可利用智慧型手機、智慧型手錶及/或智慧型揚聲器進行家庭收集,記錄語音樣本且提供症狀評級。
對於實驗室內訪視及家庭訪視兩者中之語音樣本,可提示個人記錄鼻腔子音及基本母音之持續發音,各持續5-10秒。在一個實施例中,記錄四個母音,及三個鼻腔子音。四個母音使用國際音標(IPA)可為/a/、/i/、/u/及/ae/,其中可使用較通俗之線索「o」、「E」、「OO」及「a」提示個人發音。三個鼻腔子音可為/n/、/m/及/ng/。另外,可要求個人記錄腳本化語音及/或非腳本化語音。語音記錄系統可使用不失真壓縮且具有16位元深度。在一些實施例中,語音資料可以44.1千赫茲(kHz)取樣。在另一實施例中,語音資料可以48kHz取樣。
在家庭恢復期期間,可要求個人每天早晨及每天晚間提供語音樣本且報告症狀。對於居家期期間之症狀評級,可要求個人對與呼吸道疾病相關之早晨19種症狀及晚間16種症狀之其感知症狀嚴重程度進行評級(0-5)。在一個實施例中,僅在早晨清單中包括四個睡眠問題,且僅在晚間詢問一天結束時疲倦的問題。症狀問題之示例清單可結合自我報告工具284提供。複合症狀評分(CSS)可藉由對至少一些症狀之評分求和來判定。在一個實施例中,CSS為7種症狀(鼻後分泌物、鼻塞、流鼻涕、帶有黏液之濃稠鼻分泌物、咳嗽、喉嚨痛及需要擤鼻涕)之總和。
圖4A至圖4F各自說明性地描繪利用本發明之實施例的個人(亦即,使用者410)之示例情境。使用者410可與使用者裝置(例如,使用
者電腦裝置102a-n中之任一者)上運行之電腦軟體應用程式(例如,圖1中之決策支援應用程式105a)的一或多個使用者介面(例如,圖形使用者介面及/或語音使用者介面)互動,如關於圖2中之呈現組件220所描述。各情境由意欲按時間順序(自左至右)排序的一系列場景(框)表示。不同場景(框)可能未必為不同的離散互動,而是可為使用者410與使用者介面組件之間的一個互動之部分。
圖4A、圖4B及圖4C描繪資料,諸如經由與運行於一或多個使用者裝置上之app或程式互動自使用者410收集之使用者語音資訊,該app或程式諸如圖3A中之語音症狀應用程式3104及/或圖5A至圖5E中之呼吸道感染監測app 5101之一實施例,如下文所論述。圖4A至圖4C中所描繪之實施例可由系統200之一或多個組件執行,諸如使用者互動管理器280、資料收集組件210及呈現組件220。
轉至圖4A,例如,在場景401中,向使用智慧型手機402c(其可為圖1中之使用者裝置102c之一實施例)之使用者410提供用於持續發音之指令405。指令405陳述:「讓我們開始您的語音病況評估。請說出且保持聲音『mmm』5秒,現在開始。」此等指令405可由圖2之使用者指令產生器282之一實施例提供。指令405可經由圖形使用者介面作為文字顯示於智慧型手機402c之顯示螢幕上。另外或替代地,指令405亦可提供為可聽指令以利用智慧型手機402c上之語音使用者介面。在場景402中,使用者410經展示藉由在智慧型手機402c上口頭地陳述「mmmmmmmm…」來提供語音樣本407,使得智慧型手機402c中之麥克風(未圖示)可拾取且記錄語音樣本407。
圖4B在場景411中類似地描繪提供給使用者410之指令
415。指令415可由使用者指令產生器282之一實施例產生且經由智慧型手錶402a提供,智慧型手錶可為圖1中之使用者裝置102a之一示例實施例。因而,指令415可經由智慧型手錶402a上之圖形使用者介面顯示為文字。另外或替代地,指令415可經由語音使用者介面提供為可聽指令。在場景412中,使用者410藉由對智慧型手錶402a說話,此產生語音樣本417(「aaaaaaaa…」),而對指令415作出回應。
圖4C描繪使用者410經來自智慧型揚聲器402b之一系列指令(其亦可稱為提示)導引以提供語音樣本,智慧型揚聲器可為圖1中之使用者裝置102b之一實施例。指令可經由語音使用者介面自智慧型揚聲器402b輸出,且來自使用者410之回應可為由智慧型揚聲器402b上之麥克風(未圖示)或通信耦接至智慧型揚聲器402b之另一裝置拾取的可聽回應。
另外,根據本發明之一些實施例,圖4C描繪由在智慧型揚聲器402b上運行或與其結合運行之應用程式或程式起始的語音記錄工作階段。舉例而言,在場景421中,智慧型揚聲器402b大聲陳述意圖424以起始語音記錄工作階段。意圖424陳述:「讓我們開始您的語音病況評估。您現在方便嗎?」,使用者410向其提供可聽回應425:「是。」。
在場景422中,智慧型揚聲器402b提供可聽指令426以供使用者410遵循以提供語音樣本,且使用者410提供可聽回應427,其包括一般確認(「OK」)及受指示聲音(「aaaaa…」)。一旦判定使用者提供回應,則可判定應針對另一語音樣本給出下一組指令。判定使用者410之回應及適當回饋以提供給使用者410或接下來的步驟可由使用者輸入回應產生器286之一實施例執行。在場景423中,用於下一語音樣本之指令428自智慧型揚聲器402b發出,使用者410以可聽語音樣本429「mmmmm…」
向其回應。智慧型揚聲器402b與使用者410之間的此指令來回可繼續,直至收集到所有所需語音樣本為止。
如本文所描述,可利用自使用者收集之語音資訊監測或追蹤使用者之呼吸病況。因而,圖4D、圖4E及圖4F描繪通知使用者關於追蹤使用者之呼吸病況之各種態樣的情境。用於圖4D至圖4F中之推理及預測的音訊資料可經由各種裝置且在不同日內收集,諸如圖4A至圖4C中所示。在一些實施例中,在圖4D至圖4F中之情境下的推理及預測的判定可由圖2之呼吸病況推理引擎278作出,且此類判定之通知及對其他資訊之請求可由使用者互動管理器280及/或決策支援工具290,諸如患病監測器292之實施例提供。
圖4D描繪使用者410被通知呼吸病況判定。在場景431中,智慧型揚聲器402b提供可聽訊息433,其指示基於最近語音資料,判定使用者410可能患病。使用者可能患病之此判定可根據呼吸病況追蹤器270之實施例作出。可聽訊息433進一步請求與呼吸病況一致之症狀的確認(例如,「您是否感覺鼻塞、疲倦或……?」),其可根據自我報告工具284及/或使用者輸入回應產生器286之實施例進行。使用者410可提供可聽回應435「有一點」。在圖4D中之場景432中,後續訊息437係回應於使用者410之感覺鼻塞的回應435而由智慧型揚聲器402b提供。後續訊息437藉由要求使用者410對使用者之鼻塞進行評級而請求來自使用者之症狀回饋。圖4D中之此情境可隨著使用者提供回應、對使用者之鼻塞及/或任何其他症狀進行評級而繼續。
圖4E描繪在使用者410之呼吸病況可繼續經由使用者410之語音資料監測時使用者410與智慧型揚聲器402b之間的其它互動。在場景
441中所示之可聽訊息443中,智慧型揚聲器402b提醒使用者410先前偵測到的呼吸病況(亦即,感冒)經追蹤且通知使用者410根據更為新近的資料作出的經更新呼吸病況判定。特定言之,訊息443陳述:「……您的咳嗽頻率似乎降低,且我對您的語音之分析展示改善。您是否感覺好轉?」。使用者410接著提供指示使用者410感覺好轉之可聽回應445。在場景442中,智慧型揚聲器402b提供向使用者410通知對使用者410之未來呼吸病況之預測的音訊訊息447。特定言之,訊息447通知使用者410預測使用者410將在三天內關於其呼吸病況感覺正常。訊息447亦提供繼續休息且遵循醫囑之建議。圖4E中使用者410之語音正在改善之判定及使用者可在三天內恢復之判定可由呼吸病況推理引擎278之實施例作出,如結合圖2所描述。
圖4F描繪一情境,其中使用者410之呼吸病況繼續經監測(例如,如由場景451中之訊息455指示,該訊息陳述:「您仍處於疾病監測模式……」)。在場景451中,智慧型揚聲器402b輸出可聽訊息455,其指示智慧型揚聲器402b仍處於疾病監測模式,且基於對過去數天內收集之語音樣本的分析,使用者410似乎未好轉。在訊息455中,智慧型揚聲器402b亦詢問使用者410是否正在服用其抗生素藥品。使用者410被開立藥品之判定可由處方監測器294之一實施例作出。使用者410提供回應457(「是。」),指示使用者410正在服用藥品。在場景452中,智慧型揚聲器402b基於使用者410確認使用者410正在服用藥品之回應457,經由網路與一或多個其他計算系統或裝置通信,如雲端458所示。在一個實施例中,智慧型揚聲器402b可與使用者410之照護提供者直接或間接地通信以對使用者410之處方進行再配藥,因為使用者410仍患病。因此,在場景453
中,智慧型揚聲器402b輸出可聽訊息459,告訴使用者410已聯絡使用者之照護提供者且已訂購抗生素處方之再配藥。
圖5A至圖5E描繪來自計算裝置之各種示例螢幕擷取畫面,其展示電腦軟體應用程式(或app)之示例圖形使用者介面(GUI)之態樣。特定言之,圖5A至圖5E之螢幕擷取畫面之所描繪之GUI的示例實施例(諸如圖5A之GUI 5100)用於電腦軟體應用程式5101,其在此等實例中稱為「呼吸道感染監測app」。雖然圖5A至圖5E中所描繪之示例app描述為監測呼吸道感染,但亦考慮本發明類似地適用於一般監測呼吸病況及呼吸病況之變化的應用。
示例呼吸道感染監測app 5101可包括使用者語音監測器260、使用者互動管理器280及/或其他組件或子組件之實施,如結合圖2所描述。另外或替代地,呼吸道感染監測app 5101之一些態樣可包括決策支援app 105a或105b之實施及/或可包括一或多個決策支援工具290之實施,如分別結合圖1及圖2所描述。示例呼吸道感染監測app 5101可在使用者計算裝置(或使用者裝置)5102a上操作(且GUI可顯示於其上),該裝置可體現為使用者裝置102a至102n中之任一者,如結合圖1所描述。圖5A至圖5E之螢幕擷取畫面中所描繪之示例GUI的GUI元件中之一些(諸如圖5A之漢堡功能表圖示5107)可由使用者選擇,諸如藉由觸控或點選GUI元件。使用者計算裝置5102a之一些實施例可包含觸控式螢幕或結合手寫筆或滑鼠操作之顯示器,例如以便於使用者與GUI互動。
在一些態樣中,經考慮,診斷患有呼吸病況(例如,流感、鼻病毒、COVID-19、哮喘或其類似病況)之患者的處方或建議標準照護可包含利用呼吸道感染監測app 5101之一實施例,其(如本文所描述)可在使
用者/患者之自有計算裝置,諸如行動裝置或其他使用者裝置102a至102n上操作,或可經由使用者/患者之健康照護提供者或藥房提供給使用者/患者。特定言之,監測及追蹤呼吸病況之習知解決方案可能存在主觀性(亦即,來自自我追蹤症狀)及不能進行早期偵測或早期偵測不切實可行等缺陷。然而,本文所描述之技術的實施例可為使用者提供客觀、非侵入且更準確的監測、偵測及追蹤呼吸病況資料之方式。因此,此等實施例藉此使得能夠針對被開立用於呼吸病況之某些醫藥的患者可靠地使用技術。以此方式,醫生或健康照護提供者可發出命令,其可包括使用者服用醫藥及使用電腦決策支援app(例如,呼吸道感染監測app 5101)等等,追蹤及判定處方治療之更精確功效。類似地,醫生或健康照護提供者可發出命令,其包括(或標準照護可指定)患者在服用藥品之前使用電腦決策支援app監測或追蹤使用者之呼吸病況,使得可基於對提供電腦決策支援app之分析、建議或輸出的考慮而開立醫藥。舉例而言,在電腦決策支援app可判定使用者可能患有呼吸病況且似乎未恢復之情況下,醫生可開立特定抗生素。此外,使用電腦決策支援app(例如,呼吸道感染監測app 5101)作為針對經投與或開立特定醫藥之患者的標準照護之一部分支援患者之有效治療,此係藉由使得健康照護提供者能夠更佳地理解處方醫藥之功效(包括副作用)、修改劑量或改變特定處方醫藥或指示使用者/患者停止其使用,因為由於患者之病況逐漸改善而不再需要該醫藥。
參考圖5A,描繪示例GUI 5100,其展示示例呼吸道感染監測app 5101之態樣,該app可用於監測使用者之呼吸病況且提供決策支援。舉例而言,除其他目的之外,呼吸道感染監測app 5101之一實施例可用於促進獲取呼吸病況資料及/或判定、檢視、追蹤、補充或報告關於使
用者之呼吸病況的資訊。GUI 5100中所描繪之示例呼吸道感染監測app 5101可包括接近GUI 5100之頂部定位的標頭區域5109,其包括漢堡功能表圖示5107、描述符5103、共用圖示5104、聽診器圖示5106及循環圖示5108。選擇漢堡功能表圖示5107可為使用者提供對呼吸道感染監測app 5101之其他服務、特徵或功能的功能表之存取,且可進一步包括對幫助、app版本資訊及安全使用者帳戶登入/登出功能之存取。在此示例GUI 5100中,描述符5103可指示當前日期。若使用者將在此日開始語音資料收集程序,則此日期為將與由使用者獲取之任何語音相關資料相關聯的日期時間,如結合語音分析器5120及圖5B所描述。在一些情況下,描述符5103可指示過去日期(諸如在使用者正在存取歷史資料之情況下)、呼吸道感染監測app 5101之模式或功能、對使用者之通知,或可為空白。
共用圖示5104可經選擇用於經由電子通信共用各種資料、分析或診斷、報告、使用者提供之註解或觀測結果(例如,註釋)。舉例而言,共用圖示5104可有助於使用者能夠向使用者之照護者以電子郵件發送、上載或傳輸最近音素特徵資料、呼吸病況變化、推理或預測或其他資料之報告。在一些實施例中,共用圖示5104可有助於在社交媒體上或與其他類似使用者共用經由呼吸道感染監測app 5101擷取、判定、顯示或存取之各種資料的態樣。在一個實施例中,共用圖示5104可有助於與政府機構或衛生部門共用使用者之呼吸病況資料,且在一些情況下共用相關資料(例如,位置、歷史資料或其他資訊)以便於監測呼吸道感染之爆發。此共用資訊可經去識別以保護使用者隱私且在通信之前經加密。
聽診器圖示5106之選擇可為使用者提供與使用者之健康照護提供者的各種通信或連接選項。舉例而言,選擇聽診器圖示5106可起
始功能以有助於排定遠距預約(或請求當面預約)、共用或上載資料至使用者之醫療記錄(例如,圖2之設定檔/健康資料(EHR)241)以供使用者之健康照護提供者存取,或存取健康照護提供者之線上入口網站以獲得額外服務。在一些實施例中,選擇聽診器圖示5106可起始功能以供使用者將特定資料(諸如使用者當前檢視之資料)傳達給使用者之健康照護提供者,或可通告使用者之健康照護提供者以請求健康照護提供者查看使用者之資料。最後,選擇循環圖示5108可引起經由呼吸道感染監測app 5101顯示之視圖及/或資料的再新或更新,使得視圖相對於可用資料為當前的。在一些實施例中,選擇循環圖示5108可再新自感測器(或自與自感測器(諸如圖1中之感測器103)之資料收集相關聯的電腦應用程式)及/或自與使用者相關聯之雲端資料儲存(例如,線上資料帳戶)提取之資料。
示例GUI 5100亦可包括圖示功能表5110,其包含各種使用者可選圖示5111、5112、5113、5114及5115,其對應於由呼吸道感染監測app 5101之此示例實施例提供的各種額外功能。特定言之,選擇此等圖示可將使用者導航至經由呼吸道感染監測app 5101提供之各種服務或工具。藉助於實例而非限制,選擇首頁圖示5111可將使用者導航至主畫面,其可包括結合圖5A至圖5E描述之示例GUI中之一者;歡迎畫面(諸如圖5E中之GUI 5510),其可包括由呼吸道感染監測app 5101提供之一或多個常用服務或工具;使用者之帳戶資訊;或任何其他視圖(未圖示)。
在一些實施例中,選擇示例GUI 5100中展示為經選擇之「語音記錄」圖示5112可將使用者導航至語音資料採集模式,諸如語音分析器5120,其包含應用功能以有助於自使用者獲取語音樣本。語音分析器5120之實施例可由包括使用者語音監測器260(或其子組件中之一或多
者)之系統200的一或多個組件執行,如圖2中所描述,且在一些情況下,由使用者互動管理器280(或其子組件中之一或多者)執行,亦如圖2中所描述。舉例而言,語音分析器5120用於獲取使用者語音樣本資料之功能可如結合語音樣本收集器2604所描述而進行。
在一些實施例中,語音分析器5120可提供導引使用者通過語音資料收集程序之指令,諸如圖5A中GUI元件5105上所示,且進一步結合圖5B描述。特定言之,GUI元件5105描繪提示使用者重複聲音持續設定持續時間之重複聲音練習的態樣。此處,舉例而言,請求使用者說出「mmm」聲音5秒。在一些實施例中,由語音分析器5120提供之指令可根據使用者互動管理器280或子組件中之一或多者,諸如使用者指令產生器282判定或產生。
描述符5103指示當前日期,其將與所收集之語音樣本相關聯。可提供計時器(GUI元件5122)以有助於指示使用者何時開始或結束記錄語音樣本。視覺語音樣本記錄指示器(GUI元件5123)亦可顯示以向使用者提供關於語音樣本記錄之回饋。在一實施例中,GUI元件5122及5123之操作由結合圖2描述之使用者輸入回應產生器286執行。其他視覺指示器(未圖示)可包括但不限於背景雜訊位準、麥克風位準、音量、進度指示器或結合使用者輸入回應產生器286描述之其他指示器。
在一些實施例中(未圖示),語音分析器5120可顯示使用者關於在時間間隔(例如,當天或半天)內獲取語音相關資料之進度。舉例而言,在經由無意互動或藉由朗讀段落獲取語音相關資料的情況下,語音分析器5120可描繪使用者進度之指示,諸如朝向完成之百分比、撥號盤或滑動進度列,或已成功地獲自或尚未獲自使用者語音之音素的指示。由語
音分析器5120執行之示例語音資料收集程序的額外GUI及細節結合圖5B進行描述。
再次參考圖5A,接續GUI 5100及圖示功能表5110,選擇展望圖示5113可將使用者導航至用於為使用者提供關於使用者之呼吸病況之工具及資訊的GUI及功能。此可包括例如關於使用者之當前呼吸病況、趨勢、預報或建議之資訊。與展望圖示5113相關聯之功能的額外細節結合圖5C進行描述。選擇日誌圖示5114(圖5A)可將使用者導航至日誌工具,其包含有助於呼吸病況追蹤或監測之功能,諸如結合圖5D及圖5E所描述。在一實施例中,與日誌工具或日誌圖示5114相關聯之功能可包括GUI及工具或服務,其用於接收及檢視使用者之生理資料、症狀資料或其他情境資訊。舉例而言,日誌工具之一個實施例包含用於記錄使用者症狀之自我報告工具,諸如結合圖5D及圖5E所描述。
在一些實施例中,選擇設定圖示5115可將使用者導航至使用者設定組態模式,其可使得能夠指定呼吸道感染監測app 5101之各種使用者偏好、設定或組態、語音相關資料之態樣(例如,靈敏度臨限值、音素特徵比較設定、關於音素特徵之組態或關於語音相關資料之獲取或分析的其他設定)、使用者帳戶、關於使用者之照護提供者、照護者、保險、診斷或病況、使用者照護/治療之資訊,或其他設定。在一些實施例中,設定之至少一部分可由使用者之健康照護提供者或臨床醫師組態。可經由設定圖示5115存取之一些設定可包括結合圖2之設定249論述的設定。
現轉至圖5B,提供示例GUI 5210、5220、5230及5240之序列5200,其展示用於獲取語音相關資料之示例程序的態樣,其中使用者經導引以提供各種發聲之語音樣本。序列5200之GUI中所描繪之程序可
由在使用者計算裝置5102a上操作之呼吸道感染監測app 5101提供,其可顯示GUI 5210、5220、5230及5240。在一實施例中,GUI 5210、5220、5230及5240中所描繪之功能藉由呼吸道感染監測app 5101之語音資料獲取模式,諸如圖5A中所描述之語音分析器5120提供,且可藉由選擇GUI 5100(圖5A)之語音記錄圖示5112存取或起始。GUI 5210、5220、5230及5240中所描繪之用於導引使用者之指令(例如,指令5213)可根據使用者互動管理器280或子組件中之一或多者,諸如使用者指令產生器282判定或產生。
如GUI 5210中所示,指令5213經展示導引使用者發聲一連串聲音作為重複聲音練習之一部分。重複聲音練習可包含待由使用者執行之一或多個發聲任務。在此實例中,使用者可藉由選擇開始按鈕5215而開始練習(或練習內之任務)。GUI 5210亦描繪進度指示器5214,其為指示使用者朝向提供用於此工作階段或時間間隔之語音樣本資料之進度(例如,60%完成)的滑動桿。
GUI 5220、5230及5240繼續描繪導引使用者發聲一連串聲音作為重複聲音練習之一部分的態樣。如序列5200中所示,示例GUI 5220、5230及5240包括各種視覺指示器以有助於導引使用者或向使用者提供回饋。舉例而言,GUI 5220包括GUI元件5222,其展示倒數計時器及背景雜訊檢查之指示器。GUI元件5222之倒數計時器指示直至使用者應開始發聲之時間。GUI 5230包括GUI元件5232,其展示計時器之另一實例,在此情況下指示使用者已持續發聲「ahhh」聲音之持續時間。類似地,GUI 5240包括GUI元件5242,其展示計時器之一實例,在此情況下指示使用者已發聲「mmm」聲音5秒。GUI 5240亦包括GUI元件5243,其
向使用者提供關於「mmm」聲音之語音樣本記錄的回饋。如先前所描述,與視覺指示器,諸如進度指示器5214、GUI元件5222之倒數計時器及背景雜訊指示器、GUI元件5232及5242之定時器或GUI元件5243之語音樣本記錄指示器相關聯的功能可由使用者輸入回應產生器286提供。可提供之視覺指示器及使用者回饋操作的其他實例結合使用者輸入回應產生器286描述。
接續序列5200,GUI 5240可表示用於獲取語音樣本資料之重複聲音練習的最終階段,或可表示用於獲取語音樣本資料之程序之多個階段當中的一個階段之結束。舉例而言,可存在待隨後執行之額外發聲任務或練習。在提供語音樣本後,使用者可藉由選擇完成按鈕5245結束練習(或練習內之任務)。替代地,若使用者希望重做任務且提供另一語音樣本,則使用者可選擇GUI元件5244以再次開始任務。在一些實施例中,可向使用者提供重做任務之指示或指令,諸如在語音樣本經判定為有缺陷之情況下,如結合樣本記錄稽核器2608及使用者輸入回應產生器286所描述。
用於收集語音相關資料之序列5200中所示的示例程序涉及用指令提示使用者作為重複聲音練習之一部分。然而,如本文所描述,呼吸道感染監測app 5101之其他實施例可自無意互動獲取語音相關資料。此外,在一些實施例中,語音相關資料可自無意互動之組合及自重複聲音練習收集,諸如圖5B中之實例。舉例而言,在無意互動尚未產生足夠或特定類型之給定時間間隔(例如,當天或半天)之可用語音相關資料的情況下,則可通知使用者(例如,經由呼吸道感染監測app 5101)經由重複聲音練習或類似互動提供額外語音相關資料。在一些實施例中,使用者可組態
關於可如何獲取其語音相關資料之選項,諸如經由設定圖示5115或如結合與圖2之設定249所描述。
現轉至圖5C,描繪呼吸道感染監測app 5101之另一態樣,包括GUI 5300。GUI 5300包括用於顯示使用者之呼吸病況展望(例如,展望5301)的各種使用者介面(UI)元件,且GUI 5300中所描繪之功能可藉由選擇GUI 5100之展望圖示5113(圖5A)來存取或起始。示例GUI 5300進一步包括指示使用者正在存取呼吸道感染監測app 5101之展望功能之當前日期(例如,今天,5月4日)的描述符5303,及指示使用者處於呼吸道感染監測app 5101之展望操作模式(或正在存取展望功能)的使用者之展望5301。如圖5C中所示,圖示功能表5110指示展望圖示5113經選擇,其可向使用者呈現GUI 5300,描繪使用者之展望5301。展望5301可包括針對使用者之呼吸病況判定及/或預報及相關資訊。舉例而言,展望5301可包括呼吸病況評分5312、可包括相關建議5315之傳播風險5314以及趨勢資訊,如趨勢描述符5316及GUI元件5318。
如本文所描述,呼吸病況評分5312可定量或表徵使用者之呼吸病況,其可表示使用者之當前呼吸病況、使用者之呼吸病況的變化或使用者之可能未來呼吸病況。如本文進一步描述,呼吸病況評分5312可基於使用者之語音相關資料,諸如經由圖5B中所示之示例程序獲取或結合圖2中之使用者語音監測器260描述之語音相關資料。在一些情況下,呼吸病況評分5312進一步可基於情境資訊,諸如使用者觀測結果(例如,自我報告的症狀評分)、健康或生理資料(例如,由穿戴式感測器或使用者之健康記錄提供的資料)、天氣、位置、社區感染資訊(例如,使用者之地理位置的當前感染率)或其他情境。判定呼吸病況評分5312之額外細節結
合圖2之呼吸病況推理引擎278及圖6B之方法6200提供。
GUI 5300中之傳播風險5314可指示使用者傳播偵測到的呼吸相關感染媒介物之風險。傳播風險5314可如結合圖2之呼吸病況推理引擎278及使用者病況推理邏輯237所描述判定。傳播風險可為定量或分類指示器,諸如示例GUI 5300中指示中至高風險的「中高」。連同傳播風險5314,展望5301可提供建議5315,其可包括用以降低傳播風險之建議實踐,諸如戴面罩、保持社交距離、自我隔離(居家)或諮詢健康照護提供者。
此等建議5315可包含預定建議,且在一些實施例中,可根據一組規則基於特定偵測到的呼吸病況及/或傳播風險5314判定。在一些實施例中,建議5315可基於使用者之歷史資訊(諸如歷史語音相關資訊)及/或情境資訊(諸如地理位置)而針對使用者進行定製。關於判定建議5315之額外細節結合圖2之呼吸病況推理引擎278及使用者病況推理邏輯237描述。
展望5301可提供趨勢資訊,諸如趨勢描述符5316,且在一些實施例中,提供使用者之呼吸病況隨時間推移之趨勢或變化之視覺化的GUI元件5318。趨勢描述符5316可指示使用者之呼吸病況之先前或當前偵測到的變化。此處,趨勢描述符5316陳述使用者之呼吸病況惡化。此外,GUI元件5318可包括使用者之資料的圖或圖表,或展示使用者呼吸病況之變化,諸如過去14天自語音樣本偵測到的音素特徵之變化的其他視覺指示。在其他實施例中,展望5301另外或替代地提供對使用者之未來呼吸病況之可能趨勢的預報。舉例而言,在一些實施例中,GUI元件5318可指示未來日期且預測使用者之呼吸病況的未來變化,如關於呼吸病況推理
引擎278所描述。在一個實施例中,展望5301提供指示使用者何時可能自呼吸道感染恢復的預報(例如,「您應在3天內感覺正常。」)。可由展望5301提供之另一示例預報包含早期警告預報,諸如在第一次偵測到可能呼吸道感染後,指示使用者可能預期在未來時間間隔患病的預報(例如,「您似乎正在罹患呼吸道感染且可能截至本週結束感覺患病。)。
在一些情況下,呼吸道感染監測app 5101可產生或向使用者(或照護者或臨床醫師)提供關於預報或關於由展望5301提供之其他資訊的電子通知。由展望5301提供之資訊(其可包括用於產生趨勢描述符5316及/或GUI元件5318之趨勢或預報資訊)可由呼吸病況追蹤器270或其子組件中之一或多者(諸如圖2中之呼吸病況推理引擎278)的示例實施例判定。判定呼吸病況資訊、傳播風險5314、建議5315、預報或趨勢資訊5316之額外細節結合圖2中之呼吸病況追蹤器270進行描述。
現轉至圖5D,描繪呼吸道感染監測app 5101之另一態樣,包括GUI 5400。GUI 5400包括用於顯示或接收呼吸病況相關資訊(諸如呼吸系統症狀)之UI元件且對應於由日誌圖示5114指示之日誌功能。特定言之,GUI 5400描繪用於記錄、檢視且在一些態樣中註解當前或歷史使用者資料之日誌工具5401之一實例。日誌工具5401可藉由自圖示功能表5110選擇日誌圖示5114來存取。在一些實施例中,日誌工具5401(或下文所描述之自我報告工具5415)可在判定使用者患有或可患有呼吸道感染後呈現給使用者(或使用者可接收存取日誌工具5401之通知)。示例GUI 5400進一步包括描述符5403,其指示由日誌工具5401顯示之資訊係針對日期星期一,5月4日。在日誌工具5401之一些實施例中,使用者可導航至先前日期以存取歷史資料,例如藉由選擇日期箭頭5403a或藉由選擇歷史索
引標籤5440且接著自行事曆視圖(未圖示)選擇特定曆日。
如呼吸道感染監測app 5101之此示例GUI 5400中所示,日誌工具5401包括五個可選索引標籤:添加症狀5410、註釋5420、報告5430、歷史5440及治療5450。此等索引標籤可對應於由日誌工具5401提供之額外功能。舉例而言,如GUI 5400中所示,選擇添加症狀索引標籤5410,且因此,為使用者呈現各種UI組件以自我報告可與其呼吸病況相關之症狀。特定言之,對應於添加症狀5410之功能包含自我報告工具5415,其包括症狀之清單及用於接收關於使用者正在經歷各症狀之嚴重程度之使用者輸入的使用者可選滑件。舉例而言,GUI 5400中所示之自我報告工具5415描繪使用者正在經歷中度水平之呼吸短促及鼻塞以及重度咳嗽。在一些實施例中,使用者可利用自我報告工具5415每天或一天多次(例如,每天早晨及每天晚間)輸入此症狀資料。在一些情況下,可在時間間隔或接近時間間隔鍵入症狀資料以自使用者收集語音相關資料。
在一些實施例中,添加症狀5410(或日誌工具5401)亦可包括供使用者輸入來自另一計算裝置,諸如穿戴式智慧型裝置或類似感測器之資料的可選選項5412。舉例而言,使用者可選擇輸入來自健身追蹤器之資料,使得資料可由日誌工具5401接收。在一些實施例中,可直接及/或自動地自智慧型裝置或自與裝置相關聯之資料庫(例如,線上帳戶)接收資料。在一些情況下,使用者可能需要將裝置與其呼吸道感染監測app 5101(或與呼吸道感染監測app 5101相關聯之使用者帳戶)連結或關聯以便輸入資料。在一些實施例中,使用者可在應用程式設定中組態用於自另一裝置輸入資料的各種參數(例如,藉由選擇設定圖示5115,如圖5A中所描述)。舉例而言,使用者可指定將輸入哪一資料(例如,由智慧型手錶獲取
之使用者之睡眠資料)、何時輸入資料,或可組態權限設定、帳戶連結或其他設定。
藉助於實例而非限制,輸入此類資料以利用可選選項5412可與或不與自我報告工具5415結合利用。舉例而言,自連結的智慧型裝置導入之資料可基於使用者輸入至連結的智慧型裝置中之資訊而提供對症狀之初始嚴重程度評級,但使用者可利用自我報告工具5415調整彼等初始評級。另外,添加症狀5410可包括另一可選選項5418以指示症狀自最後一次使用者記錄症狀,諸如前一天未改變。GUI 5400中與添加症狀5410相關聯之功能及UI元件可藉由利用使用者互動管理器280或一或多個子組件,諸如結合圖2描述之自我報告工具284的實施例產生。
接續圖5D中所示之GUI 5400,註釋索引標籤5420可將使用者導航至呼吸道感染監測app 5101之功能(或更特定言之,與日誌工具5401相關聯之日誌功能),用於自使用者或照護者接收或顯示該特定日期(此處,5月4日)之觀測資料。觀測資料之實例可包括記錄或涉及使用者之呼吸病況,諸如症狀的註釋5420。在一些實施例中,註釋5420包括用於自使用者接收文字(或音訊或視訊記錄)之UI。在一些態樣中,註釋5420之UI功能可包含展示人體之GUI元件,其經組態以自使用者接收輸入,指示受潛在或已知呼吸病況、症狀或副作用影響之使用者身體區域。在一些實施例中,使用者可輸入情境資訊,諸如使用者之地理位置、天氣及使用者當天期間進行之任何身體活動。
報告索引標籤5430可將使用者導航至用於檢視及產生由本文所描述之實施例偵測到的呼吸病況相關資料之各種報告的GUI。舉例而言,報告5430可包括關於使用者之呼吸病況之歷史或趨勢資訊或對使用
者之呼吸病況的預測。在另一實例中,報告5430可包括較大群體之呼吸病況資訊的報告。舉例而言,報告5430可展示偵測到相同或類似呼吸病況的呼吸道感染監測app 5101之許多其他使用者。在一些實施例中,由報告5430提供之功能可包含用於格式化或準備呼吸病況相關資料之操作,該資料將傳達至照護者或臨床醫師或與照護者或臨床醫師共用(例如,經由圖5A之共用圖示5104或聽診器圖示5106)。
歷史索引標籤5440可將使用者導航至用於檢視與呼吸病況監測相關之使用者歷史資料的GUI。舉例而言,選擇歷史5440可顯示具有行事曆視圖之GUI。行事曆視圖可有助於存取或顯示不同日期的使用者之所偵測及解釋的呼吸病況相關資料。舉例而言,藉由選擇顯示之行事曆內的特定先前日期,可向使用者呈現該日期之資料的概述。在選擇歷史索引標籤5440後顯示之行事曆視圖GUI之一些實施例中,指示器或資訊可顯示於行事曆之日期上,指示與該日期相關聯之偵測或預報的呼吸病況資訊。
在GUI 5400上選擇指示治療之索引標籤5450可將使用者導航至呼吸道感染監測app 5101內之GUI,其具有供使用者指定諸如使用者是否在該日期接受任何治療及/或具有任何副作用等細節的功能。舉例而言,使用者可指定使用者在特定日期接受處方抗生素或呼吸治療。亦考慮在一些實施例中,智慧型藥盒或智慧型容器(其可包括所謂的物聯網(IoT)功能)可自動偵測使用者已存取儲存於容器內之醫藥,且可將指示傳達至呼吸道感染監測app 5101,指示使用者在該日期接受治療。在一些實施例中,治療索引標籤5450可包含UI,使得使用者(或使用者之照護者或臨床醫師)能夠指定其治療,例如藉由選擇指示使用者在該日期遵循之治療種類的核取方塊(例如,服用處方醫藥、服用非處方醫藥、飲用大量透明液
體、休息等)。
轉至圖5E,提供示例GUI 5510、5520及5530之序列5500,其展示使用者起始之症狀報告之示例程序的態樣。GUI 5510、5520及5530可根據結合圖2描述之自我報告工具284之一實施例產生。在一些情況下,當使用者啟動使用者計算裝置5102a上之呼吸道感染監測app 5101時,GUI 5510可以歡迎/登入畫面形式提供。如本文所描述,呼吸道感染監測app 5101可與特定使用者相關聯,此可由使用者帳戶指示。如所描繪,GUI 5510包括供使用者輸入使用者憑據(亦即,使用者識別符,諸如電子郵件地址及密碼)以識別使用者之UI元件,使得可存取使用者特定資訊,且使用者輸入可適當地與使用者相關聯地儲存。在使用者經由GUI 5510登入之後,GUI 5520可具備提示使用者報告症狀之初始指令。GUI 5520可包括可選「症狀報告」按鈕,其可使得呈現具有有助於使用者症狀資訊輸入之UI元件的GUI 5530。在GUI 5530之示例實施例中,使用者可藉由將滑件移動至GUI 5530內顯示之各症狀的適當嚴重性等級來對症狀之嚴重程度進行評級。症狀資訊之使用者輸入的其他細節關於圖5D之GUI 5400進行描述。
圖6A及圖6B描繪用於監測使用者之呼吸病況之示例方法的流程圖。舉例而言,圖6A描繪繪示根據本發明之一實施例的用於獲得音素特徵之示例方法6100的流程圖。圖6B描繪繪示根據本發明之一實施例的用於基於音素特徵監測使用者之呼吸病況之示例方法6200的流程圖。方法6100及6200之各方塊或步驟包含可使用硬體、韌體及/或軟體之任何組合執行的計算程序。舉例而言,各種功能可藉由處理器執行儲存於記憶體中之指令來實施。該等方法亦可體現為儲存於電腦儲存媒體上之電
腦可用指令。該等方法可由獨立應用程式、服務或代管服務(獨立或與另一代管服務組合)或另一產品之外掛程式提供,僅列舉數例。因此,方法6100及6200可由一或多個計算裝置執行,諸如智慧型手機或其他使用者裝置、伺服器或分散式計算平台,諸如在雲端環境中。涵蓋音素特徵提取之實施的電腦程式常式之示例態樣說明性地描繪於圖15A至圖15M中。
轉至圖6A之方法6100,根據本發明之一實施例,方法6100包括用於偵測音素特徵之步驟,且方法6100之實施例可由系統200之一或多個組件,諸如結合圖2描述之使用者語音監測器260之實施例執行。在步驟6110處,接收音訊資料。在一些實施例中,步驟6110由結合圖2描述之語音樣本收集器2604之一實施例執行。步驟6110之其他實施例結合語音樣本收集器2604及使用者語音監測器260進行描述。
在步驟6110中接收之音訊資料可包括發聲個別音素聲音或音素組合,諸如腳本化或非腳本化語音之使用者的記錄(例如,音訊樣本、語音樣本)。以此方式,音訊資料包含關於使用者之語音資訊。音訊資料可在使用者與使用者裝置,諸如圖1之使用者裝置102a-n之無意或日常互動期間收集,該使用者裝置具有感測器(諸如圖1之感測器103之一實施例),諸如麥克風。
方法6100之一些實施例包括在步驟6110中接收音訊資料之前執行的操作。舉例而言,可執行用於判定用於獲得可用音訊資料之適當或最佳化組態的操作,諸如判定感測器(例如,麥克風)之聲學參數及/或修改聲學參數,諸如信號強度、方向性、靈敏度、頻率及信雜比(SNR)。此等操作可與圖2之錄音最佳化器2602有關。類似地,此等操作可包括識別且在一些態樣中移除或減少背景雜訊,如結合圖2之背景雜訊分析器2603
所描述。此等步驟可包括將雜訊強度位準與最大臨限值進行比較、檢查預定頻率內之語音及檢查間歇性尖峰或類似聲學假影。
在一些實施例中,可提供使用者指令以有助於接收音訊資料。舉例而言,可經由藉由遵循語音相關任務提供音訊日期來導引使用者。使用者指令亦可包括基於最近提供之樣本的回饋,諸如指示使用者較大聲說話或保持發聲音素較長持續時間。與使用者互動以有助於接收音訊資料可一般由使用者互動管理器280或由其結合圖2描述之子組件使用者指令產生器282之實施例執行。
在步驟6120處,判定對應於時間間隔之日期時間值。日期時間值可為自使用者之發聲接收或記錄音訊資料之時間。在一些實施例中,步驟6120由結合圖2描述之語音樣本收集器2604之一實施例執行。
在步驟6130處,音訊資料之至少一部分經處理以判定音素。步驟6130之一些實施例可由結合圖2描述之音素分割器2610之一實施例執行。自音訊資料之一部分判定音素可包括對音訊資料之部分執行自動語音辨識(ASR)以偵測音素且使所偵測音素與音訊資料之部分相關聯。ASR可自音訊資料之一部分判定文字(例如,字),且可基於所辨識之文字判定音素。替代地,判定音素可包括接收對應於音訊資料之一部分的音素之指示且使音素與音訊資料之部分相關聯。在音訊資料為基於給予使用者之語音相關任務之持續音素發聲的情況下,此程序可能尤其適用。舉例而言,可指示使用者說出「aaa」5秒,接著「eee」5秒,接著「nnnn」5秒,接著「mmm」5秒,且彼等指令可指示音訊資料預期的音素之次序(亦即,/a/、/e/、/n/及/m/)。
處理音訊資料以判定音素可包括偵測及隔離特定音素。在
一個實施例中,偵測對應於/a/、/e/、/i/、/u/、/ae/、/n/、/m/及/ng/之音素。在另一實施例中,僅偵測/a/、/e/、/m/及/n/。替代地,處理音訊資料可包括偵測存在哪些音素且隔離所有所偵測音素。可藉由應用強度臨限值以將背景雜訊與使用者之語音分離來偵測音素,如結合圖2之音素分割器2610進一步描述。
步驟6130中處理音訊資料之一些態樣可包括額外處理步驟,其可由圖2之信號準備處理器2606之一實施例執行。舉例而言,諸如高通或帶通濾波之頻率濾波可經應用以移除或衰減表示背景雜訊之音訊資料的頻率。在一個實施例中,例如應用1.5至6.4千赫茲(kHz)之帶通濾波器。步驟6130亦可包括執行音訊正規化以達成目標信號振幅位準、經由應用帶通濾波器及/或放大器之SNR改良或其他信號調節或預處理。
在步驟6140處,基於所判定之音素,判定音素特徵集。步驟6140之一些實施例由結合圖2描述之聲學特徵提取器2614之實施例執行。音素特徵集包含表徵音訊資料之經處理部分的至少一個聲學特徵。特徵集可包括功率及功率變異性、音調及音調變異性、頻譜結構及/或共振峰之量測,其結合聲學特徵提取器2614進一步描述。在一些實施例中,針對音訊資料中所偵測之不同音素判定不同特徵集(亦即,聲學特徵之不同組合)。舉例而言,在一例示性實施例中,針對/n/音素判定12個特徵,針對/m/音素判定12個特徵,且針對/a/音素判定8個特徵。所偵測/a/音素之特徵集可包括:共振峰1(F1)頻寬之標準差;音調四分位數間距;針對1.6至3.2千赫茲(kHz)頻率判定之頻譜熵;頻率擾動度;梅爾頻率倒頻譜係數MFCC9及MFCC12之標準差;梅爾頻率倒頻譜係數MFCC6之平均值;及針對3.2至6.4kHz頻率判定之頻譜對比度。所偵測/n/音素之特徵集
可包括:調和性;F1頻寬之標準差;音調四分位數間距;針對1.5至2.5kHz及1.6至3.2kHz頻率判定之頻譜熵;針對1.5至2.5kHz頻率判定之頻譜平坦度;梅爾頻率倒頻譜係數MFCC1、MFCC2、MFCC3及MFCC11之標準差;梅爾頻率倒頻譜係數MFCC8之平均值;及針對1.6至3.2kHz頻率判定之頻譜對比度。所偵測/m/音素之特徵集可包括:調和性;F1頻寬之標準差;音調四分位數間距;針對1.5至2.5kHz及1.6至3.2kHz判定之頻譜熵;針對1.5至2.5kHz頻率判定之頻譜平坦度;梅爾頻率倒頻譜係數MFCC2及MFCC10之標準差;梅爾頻率倒頻譜係數MFCC8之平均值;振幅擾動度;針對3.2至6.4kHz頻率判定之頻譜對比度;及200赫茲(Hz)三分之一倍頻帶之標準差。另外,在一些實施例中,特徵集中之一或多個特徵之值可經變換。在一示例實施例中,對數變換應用於音調四分位數間距、MFCC之標準差、頻譜對比度、頻率擾動度及200Hz三分之一倍頻帶內之標準差。
在步驟6155處,判定是否存在額外音訊資料待處理。在一些實施例中,步驟6155由使用者語音監測器260之一實施例執行。如所描述,所接收音訊資料可為多個持續音素或語音(腳本化或非腳本化)之記錄,且因而可具有多個音素。以此方式,音訊資料之不同部分可經處理以偵測不同音素。舉例而言,第一部分可經處理以判定第一音素,第二部分可經處理以判定第二音素,且第三部分可經處理以偵測第三音素,其中第一、第二及第三音素可分別對應於/a/、/n/及/m/。在一些態樣中,第四部分經處理以偵測第四音素,其中該第四音素可為/e/。此等音素可藉由使用者在一個記錄中發聲此三個音素來記錄。因而,步驟6155中之額外音訊資料可包括已經部分處理之同一語音樣本的額外部分。另外或替代地,
步驟6155可包括判定是否存在來自在同一工作階段中記錄(亦即,在同一時間框中獲取)之額外語音樣本的額外音訊資料待處理。舉例而言,三個音素可記錄於來自同一工作階段之獨立記錄中。
若在步驟6155處剩餘存在待處理之額外音訊資料,則可對額外音訊資料部分執行步驟6130及6140。圖6A描繪在處理音訊資料之初始部分且針對所偵測音素判定特徵集之後發生的步驟6155;然而,經考慮,方法6100之實施例可包括在提取任何特徵集之前在步驟6155中判定是否存在額外音訊資料待處理以偵測額外音素。
當不存在額外音訊資料待處理及特徵集待判定時,方法6100繼續進行至步驟6160,其中自音訊資料提取之音素特徵集儲存於與使用者相關聯之記錄中。所儲存之音素特徵集包括日期時間值之指示。在一些實施例中,步驟6160由使用者語音監測器260,或更特定言之聲學特徵提取器2614之一實施例執行。音素特徵集可儲存於使用者之個人記錄,諸如個人記錄240中。更特定言之,音素特徵集可儲存為向量且儲存為圖2中之音素特徵向量244。
方法6100之一些實施例包括隨時間推移監測使用者之呼吸病況,且在一些態樣中偵測使用者之呼吸病況之變化的額外操作。舉例而言,可對針對第一時間間隔記錄之第一音訊資料樣本執行步驟6110至6160,且可對針對第二後續時間間隔記錄之第二音訊資料樣本重複步驟6110至6160。因而,可針對第一時間間隔判定及儲存第一音素特徵集,且可針對第二時間間隔判定及儲存第二音素特徵集。方法6100接著可包括利用第一及第二音素特徵集隨時間推移監測使用者之呼吸病況的操作。舉例而言,第一及第二音素特徵集可經比較以偵測變化。此比較操作可由
音素特徵比較器274之一實施例執行,且可包括判定第一及第二時間間隔之特徵集向量之間的特徵距離量測(例如,歐氏距離)。基於特徵距離量測(例如,量測之量值及/或其為正還是為負),可判定使用者之呼吸病況在第二時間間隔與第一時間間隔之間是否改變。
在一些實施例中,方法6100進一步包括接收與時間間隔(例如,第一時間間隔及/或第二時間間隔)相關聯之情境資訊且將該情境資訊儲存於與針對相關時間間隔判定之特徵集相關聯的記錄中。此等操作可由圖2之情境資訊判定器2616之一實施例執行。情境資訊可包括使用者之生理資料,其可自我報告、自一或多個生理感測器接收及/或自使用者之電子健康記錄(例如,圖2中之設定檔/健康資料(EHR)241)判定。另外或替代地,情境資訊可包括使用者在相關時間間隔期間之位置資訊或與第一時間間隔相關聯之其他情境資訊。步驟6140之實施例可包括判定基於相關時間間隔之情境資料進一步判定之音素特徵集。
轉至圖6B,根據本發明之一實施例,方法6200包括用於基於音素特徵監測使用者之呼吸病況的步驟。方法6200可由系統200之一或多個組件,諸如結合圖2描述之呼吸病況追蹤器270的實施例執行。步驟6210包括接收表示使用者在不同時間之語音資訊的音素特徵向量(其亦可稱為音素特徵集)。因而,第一音素特徵向量(亦即,第一音素特徵集)與第一日期時間值相關聯,且第二音素特徵向量(亦即,第二音素特徵集)與第一日期時間值之後出現的第二日期時間值相關聯。舉例而言,第一音素特徵向量可基於在第一間隔(對應於第一時間日期值)期間擷取之音訊資料,與在第二間隔(對應於第二時間日期值)期間擷取音訊資料用以判定第二音素特徵向量在大致24小時內(例如,18至36小時之間)。經考慮,第一
時間日期值與第二時間日期值之間的時間可更短(例如,8至12小時)或更長(例如,三天、五天、一週、兩週)。步驟6210可一般由呼吸病況追蹤器270,或更特定言之,由特徵向量時間序列組合器272或音素特徵比較器274執行。
第一及第二音素特徵向量之判定可根據圖6A之方法6100之一實施例執行。在一些實施例中,判定第一及/或第二音素特徵集可藉由處理包含語音資訊之音訊資訊以判定第一及/或第二組音素且對於組內之各音素,提取表徵音素之特徵集而進行。在一些實施例中,第一及第二特徵向量包含表徵音素/a/、/m/及/n/之聲學特徵值。在一例示性實施例中,第一及第二特徵向量各自包括音素/a/之8個特徵、音素/n/之12個特徵及音素/m/之12個特徵。音素/a/之特徵可包括:共振峰1(F1)頻寬之標準差;音調四分位數間距;針對1.6至3.2千赫茲(kHz)頻率判定之頻譜熵;頻率擾動度;梅爾頻率倒頻譜係數MFCC9及MFCC12之標準差;梅爾頻率倒頻譜係數MFCC6之平均值;及針對3.2至6.4kHz頻率判定之頻譜對比度。音素/n/之特徵可包括:調和性;F1頻寬之標準差;音調四分位數間距;針對1.5至2.5kHz及1.6至3.2kHz頻率判定之頻譜熵;針對1.5至2.5kHz頻率判定之頻譜平坦度;梅爾頻率倒頻譜係數MFCC1、MFCC2、MFCC3及MFCC11之標準差;梅爾頻率倒頻譜係數MFCC8之平均值;及針對1.6至3.2kHz頻率判定之頻譜對比度。音素/m/之特徵可包括:調和性;F1頻寬之標準差;音調四分位數間距;針對1.5至2.5kHz及1.6至3.2kHz判定之頻譜熵;針對1.5至2.5kHz頻率判定之頻譜平坦度;梅爾頻率倒頻譜係數MFCC2及MFCC10之標準差;梅爾頻率倒頻譜係數MFCC8之平均值;振幅擾動度;針對3.2至6.4kHz頻率判定之頻譜對比度;及200
赫茲(Hz)三分之一倍頻帶之標準差。在一些實施例中,提取此等特徵中之一或多者以表徵/e/音素。
在一些實施例中,針對第一時間間隔判定之第一音素特徵向量係基於來自在第二日期時間值之前擷取之多個音訊樣本的多個音素特徵集。第一特徵向量可表示多個音素特徵向量之組合,諸如平均值。此等多個音訊樣本可獲自已知或假定個人健康(亦即,未患呼吸道感染)之時間,使得第一特徵向量可表示健康基線。替代地,用於判定第一音素特徵向量之音訊樣本可獲自已知或假定個人患病(亦即,患有呼吸道感染)之時間,且第一音素特徵向量可表示患病基線。
步驟6220包括執行第一及第二音素特徵向量之比較以判定音素特徵集距離。在一些實施例中,步驟6220可由圖2之音素特徵比較器274之一實施例執行。在一些實施例中,此比較包括判定第一音素特徵集與第二音素特徵集之間的歐氏距離。由特徵向量表示之各特徵可與另一特徵向量內之對應特徵相比較。舉例而言,第一音素特徵向量中之第一特徵(例如,音素/a/之頻率擾動度)可與第二音素特徵向量中之對應特徵(例如,音素/a/之頻率擾動度)相比較。
在步驟6230處,基於第一音素特徵向量與第二音素特徵向量之間的音素特徵集距離判定使用者之呼吸病況已改變。在一些實施例中,步驟6230由結合圖2描述之呼吸病況推理引擎278之一實施例執行。判定使用者之呼吸病況已改變可為判定音素特徵集距離滿足臨限距離(例如,病況變化臨限值),其可由照護者或臨床醫師預定或基於使用者之生理資料(例如,自我報告)、使用者設定或使用者之歷史呼吸病況資訊判定。替代地,病況變化臨限值可基於所監測個人之參考群體預設。
在一些實施例中,判定使用者之呼吸病況已改變可包括判定使用者之呼吸病況好轉、惡化還是完全未改變(例如,未好轉或惡化)。此可包括將所判定之音素特徵集距離與病況變化基線進行比較,該基線可為自關於參考群體之資訊判定之通用基線或可基於先前使用者資料針對使用者進行判定。舉例而言,表示健康基線之第三音素特徵向量可自判定使用者未患呼吸道感染時擷取之音訊資料判定,且第二音素特徵集距離藉由在第二(亦即,最近)音素特徵向量與第三(亦即,基線)音素特徵向量之間執行第二比較來判定。第三音素特徵集距離亦可藉由在第一(亦即,較早)音素特徵向量與第三(亦即,基線)音素特徵向量之間執行第三比較來判定。第三音素特徵集距離(表示健康基線與第一音素特徵向量之間的變化)與第二音素特徵集距離(表示健康基線與來自在第一音素特徵向量之後擷取之資料的第二音素特徵向量之間的變化)進行比較。若第二音素特徵集距離小於第三特徵集距離(使得來自最近獲得之資料的向量更接近於健康基線),則可判定使用者之呼吸病況正在改善。若第二音素特徵集距離大於第三特徵集距離(使得來自最近獲得之資料的向量更遠離健康基線),則可判定使用者之呼吸病況正在惡化。若第二音素特徵集距離等於第三特徵集距離,則可判定使用者之呼吸病況不改變(或至少大體上不改善或惡化)。
在步驟6240處,基於使用者之呼吸病況之所判定變化而起始動作。實例動作可包括用於治療呼吸病況及/或病況之症狀的動作及建議。步驟6240可由圖2中之決策支援工具290(包括患病監測器292、處方監測器294及/或藥品功效追蹤器296)及/或呈現組件220之實施例執行。
動作可包括經由使用者裝置(諸如圖1中之使用者裝置102a-
n)向使用者或經由臨床醫師使用者裝置(諸如圖1中之臨床醫師使用者裝置108)向臨床醫師發送或以其他方式電子傳達警示或通知。通知可指示使用者之呼吸病況是否存在變化,且在一些實施例中,變化是否為改善。通知或警示可包括呼吸病況評分,其定量或表徵使用者之呼吸病況的變化及/或呼吸病況之目前狀態。
在一些實施例中,動作可進一步包括處理呼吸病況資訊以供決策,其可包括基於使用者之呼吸病況提供治療及支援之建議。此類建議可包括建議諮詢健康照護提供者、繼續現有處方或非處方醫藥(諸如對處方進行再配藥)、修改當前治療之劑量及或藥品,及/或繼續監測呼吸病況。建議內此等動作中之一或多者可回應於呼吸病況中之所偵測變化(或缺乏變化)執行。舉例而言,基於所判定變化(或缺乏變化),藉由本發明之實施例可排定與使用者之健康照護提供者的預約及/或可對處方進行再配藥。
圖7至圖14描繪實際付諸實踐之本發明之示例實施例的各種態樣。舉例而言,圖7至圖14繪示所分析之聲學特徵之態樣、聲學特徵與使用者之呼吸病況(包括症狀)之間的相關性及自我報告的資訊。圖中所反映之資訊可能已經多個收集檢查點(例如,在診所/實驗室及/或在家)針對多個使用者收集。收集資訊之示例程序結合圖3B進行描述。
圖7在一個實施例中,描繪示例聲學特徵隨時間推移之代表性變化。在此實施例中,自在兩個收集檢查點(訪視1及訪視2)中獲得之語音樣本提取聲學特徵。訪視1可表示使用者患病期間之收集檢查點,而訪視2可表示使用者健康(亦即,已自患病恢復)期間之收集檢查點。如圖7中所示,量測七個音素之特徵,且圖710、圖720及圖730描繪兩次訪視之
間各音素之聲學特徵的變化。圖710描繪頻率擾動度(音調不穩定性之量度)之變化;圖720描繪振幅擾動度(振幅之量度)之變化;且圖730描繪頻譜對比度之變化。圖710及圖720展示所有音素在恢復期間(亦即,在訪視1與訪視2之間)頻率擾動度及振幅擾動度減少,指示個人在自呼吸道感染恢復之後可具有較佳語音穩定性。圖730展示鼻音(/n/、/m/及/ng/)在較高頻率下之頻譜對比度增加,此與鼻腔共振隨著恢復期間鼻塞減少而發音更多一致。
圖8描繪呼吸道感染症狀之衰減常數的圖形表示。直方圖810展示所有症狀之衰減常數,直方圖820展示鼻塞症狀之衰減常數,且直方圖830展示非鼻塞症狀之衰減常數。鼻塞症狀之實例可包括需要擤鼻涕、鼻塞及鼻後分泌物,而非鼻塞症狀之實例可包括流鼻涕、咳嗽、喉嚨痛及濃稠鼻分泌物。用於直方圖810、820及830之指數衰減模型為評分~ae -b(天-1)+,隨後將其擬合於一組所監測使用者之日常症狀表型(亦即,鼻塞、非鼻塞或所有)。直方圖810、820及830中之正值對應於症狀減少;零值對應於無變化;且負值對應於症狀惡化。直方圖810、820及830展示自我報告的症狀之恢復概況為可變的。恢復概況之兩個實例結合圖10進行描述。
圖9描繪聲學特徵與自我報告的呼吸道感染症狀之間的相關性。圖900係基於針對所有症狀之評級總和(例如,複合症狀評分)、所有鼻塞相關症狀之評級總和及所有非鼻塞相關症狀之評級總和計算的獨立衰減常數。計算斯皮爾曼相關係數,且具有朝向顯著性之趨勢(p<0.1)的所有相關性值隨症狀組而變展示於圖900中。在圖900中標繪相關性之絕對值。
對於大多數聲學特徵,症狀組之間的相關性方向相同。然而,共振峰1頻寬變異性(bw1sdF)與非鼻塞症狀正相關,但與鼻塞症狀負相關(且因此與所有加總症狀不相關)。圖900展示與非鼻塞表型相比,與鼻塞表型相關聯的較高頻率頻譜結構變化與自我報告的症狀變化之間的較強相關性。
圖10描繪兩個人之自我報告的症狀評分隨時間推移之變化。圖1010描繪一個人(個體26)之變化,其在恢復期間複合症狀評分(CSS)減緩衰減。相比之下,圖1020繪示另一個人(個體14)在恢復期間CSS相對快衰減。
圖11A至圖11B描繪針對不同聲學特徵計算之距離度量與自我報告的症狀評分之間的等級相關之圖形圖示。圖11A中之圖1100表示第一組聲學特徵之等級相關,而圖11B中之圖1150表示第二組聲學特徵之等級相關。圖1100及圖1150展示針對七個音素(/a/、/e/、/i/、/u/、/ae/、/n/、/m/及/或/ng/)之每一可能組合跨越一組所監測個人之特徵向量之距離度量與自我報告的症狀評分(例如,CSS)之間的斯皮爾曼等級相關之分佈。音素組合基於四分位變異係數(IQR/中值)以遞增次序排序。
根據本發明之實施例,圖1100及圖1150中之此等聲學特徵可自不同日收集之語音樣本提取。可在個人患病之日自各個人收集一個語音樣本,且可在個人健康(亦即,未患病)之稍後日自各個人收集另一語音樣本。距離方法之計算可如結合音素特徵比較器274所描述進行。距離度量與個人自我報告的症狀之評分相關(例如,斯皮爾曼r),此可如結合自我報告資料評估器2746所描述判定。圖1100及圖1150展示包括音素/n/、/m/及/a/之子集產生四分位變異係數之最低值,指示與所偵測呼吸病況之
相關性。在本發明之一個實施例中,基於圖1100及圖1150中所示之結果,可使用稀疏PCA執行進一步淘汰選擇以識別三個音素中之各者的聲學特徵之子集,且可選擇總共32個特徵(12個特徵來自/n/,12個特徵來自/n/,且八個特徵來自/a/)之子集用於作出關於個人之呼吸病況的推理及/或預測。
圖12A描繪展示跨越不同個人之距離度量與自我報告的症狀評分之間的等級相關值的圖1200。用於計算等級相關值之距離度量可基於自三個音素(例如,/n/、/m/及/a/)導出之32個音素特徵。個人在圖12200中按症狀之最大變化次序自左向右排序(其可能未必對應於由圖1200中之條形物展示之等級相關程度),且(*)指示所展示之等級相關判定為統計顯著(例如,p<0.05)。圖1200繪示展現較快速恢復(亦即,較高b值)之個人的相關性一般較高。b值高於中值之個人的平均等級相關為0.7(±0.13),與之相比,b值低於中值之個人的平均等級相關為0.46(±0.33)。所計算距離度量與自我報告的複合症狀評分(CSS)之間的中值相關性為0.63。
圖12B描繪根據本發明之一個實施例的針對患病與健康訪視之間的變化之成對T檢驗(p值)之結果以展示統計顯著相關性。表1210中僅包括p<0.05之值。表1210展示所有研究個人及僅高恢復組(藉由衰減常數b所量測)中之個人的結果。在表910中,標準差由「sd」標註,且對數變換由「LG」標註。
圖13描繪根據一些實施例,識別為個體17、20及28之三個示例個人之聲學特徵及自我報告的症狀隨時間推移之相對變化的圖形表示,圖1310、圖1320及圖1330各自描繪各個人之自我報告的複合症狀評
分(CSS)(由豎直條形物表示)與自音素特徵向量計算之距離度量(由虛線表示)隨時間推移的變化。圖1310繪示個體17隨時間推移展示顯著且相對單調的症狀減輕,此亦反映於距離度量中。圖1320繪示與個體17相比,個體28之症狀減輕較漸進且單調性較低,且個體28之恢復在第7天至第12天左右穩定,隨後在第13天症狀輕微下降。圖1320亦展示與距離度量之一致性係中度的,且可觀測到自疾病至恢復之轉變。與圖1310及圖1320形成對比,圖1330繪示個體20之自我報告的症狀開始為輕度(第1天CSS=5)且非鼻塞症狀(咳嗽及喉嚨痛)隨時間推移惡化。因此,相對於圖1310及圖1320,圖1330中與距離度量之一致性較低。
圖13中之圖1340包含跨越一組所監測個人(包括個體17、20及28)隨時間推移計算之距離度量的盒狀圖。圖1340展示隨著個人接近於恢復(或「健康」)狀態,距離傾向於減小,此可在14天左右。
圖14描繪呼吸道感染偵測器之效能的示例表示。特定言之,圖14繪示本發明之一實施例偵測呼吸病況之變化之能力的定量,此藉由自我報告的症狀評分(例如,CSS)量測。圖1410標繪相對於自我報告的症狀評分之變化的距離度量變化,展示隨著給定日自我報告的症狀之差異增加,音素特徵向量之間的距離亦增加。圖1420描繪根據本發明之實施例的用於利用音素特徵(及在音素特徵向量之間計算之距離)偵測自我報告的症狀評分中之不同量值之變化的接收者操作特徵(ROC)曲線及相關曲線下面積(AUC)值。如所描繪,7點變化(表示0至35之複合症狀評分範圍的20%)之AUC值為0.89。
圖15描繪根據本發明之一實施例的用於呼吸疾病之預篩檢及診斷分析的後端機器學習模型1500。如所示,後端機器學習模型1500
7092可包括具有多個內層之深度神經網路(亦稱為深度學習模型)。為了實施機器學習模型,可收集音訊1502。音訊1502可為特定聲音(例如,特定音素及文字,如整個本發明中所描述),可經由圖4A至圖4F中所示之一或多個介面及/或裝置請求使用者發出該等聲音。替代地,音訊1502可為使用者朗讀特定提示文字。在一些實施例中,音訊1502可在不提示使用者發出特定聲音或朗讀特定測試之情況下被動地收集。在一些實施例中,音訊1502可為特定使用者之縱向音訊(例如,隨時間收集)之一部分。在其他實施例中,音訊1502可為複數個使用者之縱向音訊之一部分。
音訊1502可轉換為音訊影像1504,其可包括音訊之梅爾聲譜圖。梅爾聲譜圖可包括基於人類聽力模型之音訊1502的頻譜顯現。舉例而言,相對於音訊1502內之頻率的線性或對數配置,音訊影像1504中之梅爾聲譜圖可將人耳感知之頻率配置為彼此等距。因此,基於人類聲音感知,頻譜間距離(亦即,個別頻率之間的距離)可隨著頻率增加而增加。
接著可將音訊影像1504載入卷積神經網路1506。在機器學習模型1500之訓練期間,可將含有多個音訊影像1504之訓練集載入卷積神經網路1506。在使用期間,可將專門收集之音訊影像1504(例如,經預篩檢之使用者的音訊影像1504)載入卷積神經網路1506。卷積神經網路1506可將自音訊影像1504收集之特徵映射至較高階之抽象中,自較低層級特徵建構較高層級特徵。特定音訊特徵已在整個本發明中描述。一般而言,卷積神經網路1506可經組態以學習大量特徵且自其產生特定抽象。
在示例機器學習模型1500中,卷積神經網路1506可包含卷積及整流線性激勵函數(rectified linear activation function,ReLU)層1508,其可形成卷積神經網路1506之第一層。第一層亦可稱為輸入層。
卷積及ReLU層1508之卷積部分可應用激勵函數,其可對輸入(此處,音訊影像1504之部分)進行濾波以用於下游傳播。換言之,激勵函數可基於輸入對下游層及/或機器學習模型1500之輸出的影響而將輸入之態樣在下游傳播。ReLU為基於分段線性函數之特定類型之濾波,若輸入高於某一臨限值(例如,「0」)則可將輸入提供為輸出,且若輸入低於某一臨限值則輸出「0」。
卷積神經網路1506可進一步包括池化層1510及1512,各池化層可包括卷積函數及ReLU函數,其可如上文所描述操作。池化層1510及1512可用於降低來自先前層之輸入的維度。換言之,池化層1510及1512可例如藉由將較低層級參數抽象至較高層級參數來減少來自先前層之參數。池化層可產生多維輸出1514。
來自池化層1510及1512之多維輸出1514可饋送至平坦化層1516。平坦化層1516可將多維輸出1514轉換為全連接層1518之一維輸入。全連接層1518可包括不具有捨棄之神經元,層中之各神經元連接至其前一層中之所有神經元。因此,全連接層1518中之各神經元驅動後續層之所有神經元的行為。
全連接層1518之輸出1520可基於音訊1502指示個人患病還是健康。輸出1520可因此用於預篩檢特定呼吸病況(例如,COVID-19、流感、RSV)。
圖16描繪根據本發明之一實施例的訓練機器學習模型以用於呼吸病況(諸如COVID-19)之預篩檢及/或診斷的示例方法1600之流程圖。應理解,在圖16中展示及本文中所描述之步驟僅為說明性的,且因此具有額外、替代或較少數步驟之方法應被視為在本發明之範疇內。
在步驟1602處,可收集訓練音訊樣本。可在任何種類之設定中自任何種類之裝置收集訓練音訊樣本。舉例而言,訓練音訊可自使用者裝置收集,諸如智慧型手機、智慧型手錶、智慧型揚聲器、平板計算裝置、具有麥克風之個人電腦、連接至計算裝置之具有麥克風的頭戴式耳機及/或經組態以擷取使用者音訊之任何其他類型的裝置。在一些實施例中,音訊收集可經由來自使用者裝置之提示(例如,如圖4A至圖4F中所示)。提示可針對使用者發出特定聲音(例如,「aaaaa」、「eeee」等)或朗讀特定文字。在其他實施例中,音訊收集可為被動的,其中一或多個裝置被動地自使用者收集音訊樣本(亦即,當使用者已提供必需權限時)。
所收集之音訊樣本可能必須符合所需品質。為此,可迭代地執行使用者之音訊樣本收集,直至達成所需品質。舉例而言,所收集之第一音訊樣本可能未必具有所需位準之信雜比(SNR)。可存在背景雜訊,且使用者可能未足夠大聲地說話。在此等情況下,可提示使用者大聲說話及/或請求使用者移動至背景雜訊較小之位置。
音訊樣本之品質亦可受音訊收集裝置之變化性影響。舉例而言,第一類型之智慧型手機可具有某一SNR,且第二類型之智慧型手機可具有不同SNR,因此希望在收集音訊樣本時必須考慮此等SNR。在一些實施例中,可覆寫音訊收集裝置之原生取樣率以產生所需音訊品質信號。舉例而言,藍牙頭戴式耳機可相對於其原生取樣率以48KHz取樣。
在步驟1604處,所收集音訊樣本可經預處理。預處理包括自樣本移除雜訊、移除樣本之部分以使得樣本具有類似長度及/或在整個本發明中描述之任何其他類型之預處理。此外,預處理中之一些可在步驟1602中進行(例如,覆寫音訊樣本收集裝置之原生取樣率)。
在步驟1606處,可自訓練音訊樣本提取特徵。經提取特徵之各種實例已在整個本發明中描述。自說出「ee」及「mm」之短持續時間音素任務提取的特徵之一些實例可包括共振峰特徵、頻率擾動度、振幅擾動度、調和性、熵、頻譜平坦度、有聲框、有聲低高比、倒頻譜峰值突出度、變異係數F0、三分之一倍頻帶能量、梅爾頻率倒頻譜係數及其類似者。自說出「ahh」之持續音素任務提取的示例特徵可包括最大發音時間及其類似者。自朗讀任務提取之一些示例特徵可包括梅爾頻率倒頻譜係數、說話速率、停頓數、平均停頓長度及其類似者。一般而言,「ee」及「mm」之短持續時間音素任務可產生集中於功率、音調及頻譜特徵之特徵。諸如說出「ahh」等持續音素任務可提供與肺容量相關之資訊。自朗讀提取之特徵可涵蓋頻譜結構及與呼吸短促及呼吸困難相關之量度兩者。在一些實施例中,音訊可轉換為梅爾頻率頻譜影像,且可自其中提取特徵。
在步驟1608處,可基於所提取之特徵及實況資料來訓練機器學習模型。實況資料可包括對使用者執行之實際測試。機器學習模型可包括深度學習模型(例如,如參考圖15所描述)。如圖17中所示,深度學習模型可能夠組合自朗讀文字、短持續時間音素任務(「ee」及「mm」)及持續發音任務(「ahh」)提取之特徵。對於訓練,諸如反向傳播之技術可用以經由循環迭代,直至機器學習模型產生所需準確度範圍內之結果為止。
在步驟1610處,可驗證且測試經訓練機器學習模型。對於測試,訓練音訊樣本可隨機分成訓練集(例如,60%之樣本)及測試集(30%之樣本)。第三驗證集(10%之樣本)可用於驗證經訓練機器學習模型。驗證
可包括重複分層k折交叉驗證,其中折數及重複數可基於樣本大小來選擇。驗證之後,測試樣本可用於最終測試。測試之效能度量可包括諸如靈敏度、特異性、準確度、F1評分、陽性預測值(PPV)、陰性預測值(NPV)、接收者操作特徵曲線下面積(AUC-ROC)等參數。
接著可部署經訓練機器學習模型以用於預篩檢(例如,如關於圖18所描述)、診斷學(例如,如關於圖19所描述)及/或治療(如關於圖20所描述)。
圖17描繪根據本發明之一實施例之深度學習模型1700的實例。如所示,深度學習模型1700可經訓練且部署以用於使用短持續時間音素任務、持續發音任務及朗讀任務之組合預測。特定言之,梅爾頻率聲譜圖1700可表示朗讀任務1704(例如,如由4秒資料擷取表示)、持續發音任務1706(例如,如由4秒資料擷取表示)、短音素任務1708及1710(例如,各自如由4秒資料擷取表示)中之一或多者。
深度神經網路1700可包括用於朗讀任務、短持續時間音素任務及持續發音任務中之各者的不同卷積神經網路。舉例而言,第一卷積神經網路1712可與朗讀任務1704相關聯,第二卷積神經網路1714可與持續音素任務1706相關聯,第三卷積神經網路1716可與短持續時間音素任務(「ee」)相關聯,且第四卷積神經網路1718可與另一短持續時間音素任務(「mm」)相關聯。在訓練及/或部署期間,經由卷積神經網路1712、1714、1716及1718中之各者的濾波可傳遞至全連接層1720或預測層1722上。
圖18描繪根據本發明之一實施例的部署機器學習模型以用於預篩檢呼吸病況(諸如COVID-19)之示例方法1800的流程圖。應理解,
在圖18中展示及本文中所描述之步驟僅為說明性的,且因此具有額外、替代或較少數步驟之方法應被視為在本發明之範疇內。
方法1800可在步驟1802處開始,其中可收集預篩檢音訊樣本。可在任何種類之設定中自任何種類之裝置收集預篩檢音訊樣本。舉例而言,訓練音訊可自使用者裝置收集,諸如智慧型手機、智慧型手錶、智慧型揚聲器、平板計算裝置、具有麥克風之個人電腦、連接至計算裝置之具有麥克風的頭戴式耳機及/或經組態以擷取使用者音訊之任何其他類型的裝置。在一些實施例中,音訊收集可經由來自使用者裝置之提示(例如,如圖4A至圖4F中所示)。提示可針對使用者發出特定聲音(例如,「aaaaa」、「eeee」等)或朗讀特定文字。在其他實施例中,音訊收集可為被動的,其中一或多個裝置被動地自使用者收集音訊樣本(亦即,當使用者已提供必需權限時)。
音訊樣本之品質亦可受音訊收集裝置之變化性影響。舉例而言,第一類型之智慧型手機可具有某一SNR,且第二類型之智慧型手機可具有不同SNR,因此希望在收集音訊樣本時必須考慮此等SNR。在一些實施例中,可覆寫音訊收集裝置之原生取樣率以產生所需音訊品質信號。舉例而言,藍牙頭戴式耳機可相對於其原生取樣率以48KHz取樣。
在步驟1804處,所收集音訊樣本可經預處理。預處理包括自樣本移除雜訊、移除樣本之部分以使得樣本具有類似長度及/或在整個本發明中描述之任何其他類型之預處理。此外,預處理中之一些可在步驟1802中進行(例如,覆寫音訊樣本收集裝置之原生取樣率)。
在步驟1806處,可自預篩檢音訊樣本提取特徵。經提取特徵之各種實例已在整個本發明中描述。自說出「ee」及「mm」之短持續
時間音素任務提取的特徵之一些實例可包括共振峰特徵、頻率擾動度、振幅擾動度、調和性、熵、頻譜平坦度、有聲框、有聲低高比、倒頻譜峰值突出度、變異係數F0、三分之一倍頻帶能量、梅爾頻率倒頻譜係數及其類似者。自說出「ahh」之持續音素任務提取的示例特徵可包括最大發音時間及其類似者。自朗讀任務提取之一些示例特徵可包括梅爾頻率倒頻譜係數、說話速率、停頓數、平均停頓長度及其類似者。一般而言,「ee」及「mm」之短持續時間音素任務可產生集中於功率、音調及頻譜特徵之特徵。諸如說出「ahh」等持續音素任務可提供與肺容量相關之資訊。自朗讀提取之特徵可涵蓋頻譜結構及與呼吸短促及呼吸困難相關之量度兩者。在一些實施例中,音訊可轉換為梅爾頻率頻譜影像,且可自其中提取特徵。
在步驟1808處,可在預篩檢音訊樣本上部署經訓練機器學習模型。機器學習模型可包括深度神經網路(例如,上文關於圖15及圖17所描述)。在一些實施例中,經訓練機器學習模型可在使用者裝置上為本端的,且可在本端執行預篩檢而未必涉及後端伺服器。在其他實施例中,本端使用者裝置可作為樣本收集裝置操作,其中機器學習模型之部署係在後端伺服器處。
在步驟1810處,可基於在步驟1808處部署經訓練機器學習而產生通知。通知可包括例如個人可能對呼吸病況(例如,COVID-19)呈陽性或對呼吸病況呈陰性。通知可以通知徽章、快顯訊息、電話呼叫、文字訊息及其類似者之形式提供。陽性通知亦可包括使用者應接受測試(例如,COVID-19之PCR測試)以確認預篩檢結果之訊息。
在步驟1812處,可基於測試之結果更新(例如,重新訓練)
機器學習模型。換言之,確認測試可產生指示預測是否準確的實況資料。此實況資料可用於進一步改良機器學習模型之準確度(例如,經由反向傳播技術)。
圖19描繪根據本發明之一實施例的部署機器學習模型以用於診斷呼吸病況(諸如COVID-19)之示例方法1900的流程圖。應理解,在圖19中展示及本文中所描述之步驟僅為說明性的,且因此具有額外、替代或較少數步驟之方法應被視為在本發明之範疇內。
方法1900可在步驟1902處開始,其中可收集診斷音訊樣本。可在任何種類之設定中自任何種類之裝置收集診斷音訊樣本。舉例而言,訓練音訊可自使用者裝置收集,諸如智慧型手機、智慧型手錶、智慧型揚聲器、平板計算裝置、具有麥克風之個人電腦、連接至計算裝置之具有麥克風的頭戴式耳機及/或經組態以擷取使用者音訊之任何其他類型的裝置。在一些實施例中,音訊收集可經由來自使用者裝置之提示(例如,如圖4A至圖4F中所示)。提示可針對使用者發出特定聲音(例如,「aa」、「ee」等)或朗讀特定文字。在其他實施例中,音訊收集可為被動的,其中一或多個裝置被動地自使用者收集音訊樣本(亦即,當使用者已提供必需權限時)。
音訊樣本之品質亦可受音訊收集裝置之變化性影響。舉例而言,第一類型之智慧型手機可具有某一SNR,且第二類型之智慧型手機可具有不同SNR,因此希望在收集音訊樣本時必須考慮此等SNR。在一些實施例中,可覆寫音訊收集裝置之原生取樣率以產生所需音訊品質信號。舉例而言,藍牙頭戴式耳機可相對於其原生取樣率以48KHz取樣。
在步驟1904處,所收集音訊樣本可經預處理。預處理包括
自樣本移除雜訊、移除樣本之部分以使得樣本具有類似長度及/或在整個本發明中描述之任何其他類型之預處理。此外,預處理中之一些可在步驟1902中進行(例如,覆寫音訊樣本收集裝置之原生取樣率)。
在步驟1906處,可自診斷音訊樣本提取特徵。經提取特徵之各種實例已在整個本發明中描述。自說出「ee」及「mm」之短持續時間音素任務提取的特徵之一些實例可包括共振峰特徵、頻率擾動度、振幅擾動度、調和性、熵、頻譜平坦度、有聲框、有聲低高比、倒頻譜峰值突出度、變異係數F0、三分之一倍頻帶能量、梅爾頻率倒頻譜係數及其類似者。自說出「ahh」之持續音素任務提取的示例特徵可包括最大發音時間及其類似者。自朗讀任務提取之一些示例特徵可包括梅爾頻率倒頻譜係數、說話速率、停頓數、平均停頓長度及其類似者。一般而言,「ee」及「mm」之短持續時間音素任務可產生集中於功率、音調及頻譜特徵之特徵。諸如說出「ahh」等持續音素任務可提供與肺容量相關之資訊。自朗讀提取之特徵可涵蓋頻譜結構及與呼吸短促及呼吸困難相關之量度兩者。在一些實施例中,音訊可轉換為梅爾頻率頻譜影像,且可自其中提取特徵。
在步驟1908處,可在診斷音訊樣本上部署經訓練機器學習模型。機器學習模型可包括深度神經網路(例如,上文關於圖15及圖17所描述)。在一些實施例中,經訓練機器學習模型可在使用者裝置上為本端的,且可在本端執行預篩檢而未必涉及後端伺服器。在其他實施例中,本端使用者裝置可作為樣本收集裝置操作,其中機器學習模型之部署係在後端伺服器處。
在步驟1910處,可基於在步驟1808處部署經訓練機器學習
而產生通知。通知可包括例如個人經診斷對呼吸病況(例如,COVID-19)呈陽性或對呼吸病況呈陰性。通知可以通知徽章、快顯訊息、電話呼叫、文字訊息及其類似者之形式提供。
在步驟1912處,可基於測試之結果更新(例如,重新訓練)機器學習模型。換言之,確認測試可產生指示預測是否準確的實況資料。此實況資料可用於進一步改良機器學習模型之準確度(例如,經由反向傳播技術)。
圖20描繪根據本發明之一些實施例的治療患有呼吸疾病(例如,COVID-19、流感、RSV等)之人類之示例方法2000的流程圖。應理解,在圖20中展示及本文中所描述之步驟僅為說明性的,且因此具有額外、替代或較少數步驟之方法應被視為在本發明之範疇內。
該方法可在步驟2002處開始,其中可篩檢人類之呼吸疾病。篩檢步驟2002可包括子步驟2002a及2002b。在子步驟2002a處,可獲得來自人類的包括音素之音訊資料。獲得包括音素之音訊資料的若干實施例已在整個本發明中描述。在子步驟2002b處,機器學習模型可部署於音素上以判定人類是否對呼吸疾病呈陽性。機器學習模型(例如,深度神經網路)之訓練及部署已在整個本發明中描述。
在步驟2004處,若人類對呼吸疾病呈陽性,則可向人類投與治療有效化合物或其醫藥學上接受之鹽。示例化合物已在整個本發明中描述。
因此,提供針對用於監測使用者之呼吸病況之系統及方法的技術之各種態樣。應理解,本文所描述之實施例的各種特徵、子組合以及修改具有實用性,且可在不參考其他特徵或子組合的情況下用於其他實
施例中。此外,示例方法或程序中所展示之步驟的次序及順序並不意謂以任何方式限制本發明之範疇,且實際上,該等步驟可以各種不同順序出現在此處之實施例內。此類變化及其組合亦經考慮在本發明之實施例的範疇內。
已描述各種實施,現描述適合於實施本發明之實施例的例示性計算環境。參考圖16,例示性計算裝置經提供且一般稱為計算裝置2100。計算裝置2100僅為合適計算環境的一個實例,且並不意欲暗示關於本發明之實施例之使用範疇或功能性的任何限制。計算裝置2100既不解釋為具有對所說明組件中之任一者或其組合的任何相依性,亦不解釋為關於任一者或其組合的要求。
本發明之實施例可在電腦程式碼或機器可使用指令(包括藉由電腦或其他機器(諸如個人資料助理、智慧型手機、平板PC或其他手持型或穿戴式裝置,諸如智慧型手錶)執行的電腦可用或電腦可執行指令,諸如程式模組)之一般內容中描述。一般而言,包括常式、程式、物件、組件、資料結構及其類似者的程式模組係指執行特定任務或實施特定抽象資料類型的程式碼。本發明之實施例可以多種系統組態來實踐,該等系統組態包括手持型裝置、消費型電子裝置、通用電腦或專用計算裝置。亦可在經由通信網路而連結之由遠端處理裝置執行任務的分散式計算環境中實踐本發明之實施例。在分散式計算環境中,程式模組可位於包括記憶體儲存裝置的本端及遠端電腦儲存媒體兩者中。
參考圖21,計算裝置2100包括直接或間接耦接各種裝置之匯流排1710,該等裝置包括記憶體2112、一或多個處理器2114、一或多個呈現組件2116、一或多個輸入/輸出(I/O)埠2118、一或多種I/O組件
2120及說明性電源2122。計算裝置2100之一些實施例可進一步包括一或多個無線電2124。匯流排2110表示一或多個匯流排(諸如位址匯流排、資料匯流排或其組合)。儘管圖21之各個方塊為清楚起見經展示具有線,但實際上此等方塊表示邏輯組件,未必為實際組件。舉例而言,可將諸如顯示裝置之呈現組件視為I/O組件。此外,處理器可具有記憶體。圖16僅說明可結合本發明之一或多個實施例使用的例示性計算裝置。諸如「工作站」、「伺服器」、「膝上型電腦」或「手持型裝置」的此等類別之間無區別,此係由於前述各者皆涵蓋於圖16的範疇內,且參考「計算裝置」。
計算裝置2100通常包括多種電腦可讀媒體。電腦可讀媒體可為任何可用媒體,該媒體可由計算裝置2100存取且包括揮發性及非揮發性媒體以及抽取式及非抽取式媒體兩者。藉助於實例而非限制,電腦可讀媒體可包含電腦儲存媒體及通信媒體。電腦儲存媒體包括在任何方法或技術中實施的用於儲存資訊(諸如,電腦可讀指令、資料結構、程式模組或其他資料)的揮發性及非揮發性媒體、抽取式及非抽取式媒體兩者。電腦儲存媒體包括但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、緊密光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光碟儲存器、匣式磁帶、磁帶、磁碟儲存器或其他磁性儲存裝置,或可用以儲存所要資訊且可由計算裝置2100存取之任何其他媒體。電腦儲存媒體本身不包含信號。通信媒體通常體現電腦可讀指令、資料結構、程式模組或諸如載波或其他輸送機構的經調變資料信號中的其他資料,且包括任何資訊遞送媒體。術語「經調變資料信號」意謂以使得在信號中編碼資訊之方式設定或改變其特性中的一或多者之信號。藉助於實例而非限制,通信媒
體包括有線媒體,諸如有線網路或直接有線連接,以及無線媒體,諸如聲學、射頻(RF)、紅外線及其他無線媒體。以上各者中任一者的組合亦應包括於電腦可讀媒體之範疇內。
記憶體2112包括呈揮發性及/或非揮發性記憶體之形式的電腦儲存媒體。記憶體可為抽取式、非抽取式或其組合。例示性硬體裝置包括例如固態記憶體、硬碟及光碟機。計算裝置2100包括自各種裝置,諸如記憶體2112或I/O組件2120讀取資料之一或多個處理器2114。呈現組件2116向使用者或其他裝置呈現資料指示。例示性呈現組件2116可包括顯示裝置、揚聲器、列印組件、振動組件及其類似者。
I/O埠2118允許計算裝置2100邏輯地耦接至包括I/O組件2120的其他裝置,其他裝置中的一些可被內裝。說明性組件包括麥克風、操縱桿、遊戲板、圓盤式衛星電視天線、掃描器、列印機或無線裝置。I/O組件2120可提供處理手勢感應、語音或由使用者產生之其他生理輸入的自然使用者介面(NUI)。在一些情況下,輸入可經傳輸至適當網路元件以供進一步處理。NUI可實施語音辨識、觸控及手寫筆辨識、人臉辨識、生物特徵辨識、手勢辨識(在螢幕上及鄰近於螢幕兩者)、手勢感應、頭部及眼睛追蹤以及與計算裝置2100上之顯示器相關聯之觸控辨識的任何組合。計算裝置2100可裝備有深度攝影機,諸如立體攝影機系統、紅外線攝影機系統、RGB攝影機系統及此等之組合,以用於手勢偵測及辨識。另外,計算裝置2100可裝備有使得能夠偵測運動的加速計或陀螺儀。加速計或陀螺儀之輸出可提供至計算裝置2100之顯示器以顯現沉浸式擴增實境或虛擬實境。
計算裝置2100之一些實施例可包括一或多個無線電2124
(或類似無線通信組件)。無線電2124傳輸及接收無線電或無線通信。計算裝置2100可為經調適以經由各個無線網路接收通信及媒體之無線終端。計算裝置2100可經由無線協定(諸如分碼多重存取(「CDMA」)、全球行動系統(「GSM」)、分時多重存取(「TDMA」)或其他無線方式)通信,以與其他裝置通信。無線電通信可為短程連接、長程連接或兩者之組合。此處,「短」及「長」類型之連接並非指兩個裝置之間的空間關係。實際上,此等連接類型一般係指短程及長程作為不同類別或類型之連接(亦即,主要連接及次要連接)。藉助於實例而非限制,短程連接可包括與提供對無線通信網路之存取的裝置(例如,行動熱點)之Wi-Fi®連接,諸如使用802.11協定之無線區域網路(WLAN)連接;與另一計算裝置之藍牙連接為短程連接之另一實例;或近場通信。長程連接可包括使用(藉助於實例而非限制)CDMA、通用封包無線電服務(GPRS)、GSM、TDMA及802.16協定中之一或多者的連接。
在一些實施例中,本文呈現之主題可用於篩檢及/或患有某些呼吸疾病之人類。舉例而言,患有呼吸疾病(諸如SARS-CoV-2、COVID-19或流感)之人類可對其語音進行取樣且篩檢此等疾病。且若特定人類經測試對呼吸疾病呈陽性,則可向該人類投與治療有效量之化合物或該化合物之醫藥學上可接受之鹽以治療人類呼吸疾病。
在實踐中,人類或個人之語音的取樣可藉由自該個人收集至少一個音訊樣本來進行。此音訊樣本可使用聲感測器裝置收集且可為特定聲音(例如,特定音素及文字,如在整個本發明中所描述),可經由圖4A至圖4F中所示之一或多個介面及/或裝置請求使用者發出該等聲音。替代地,音訊樣本可為使用者朗讀特定提示文字或預腳本化語音。在一些實施
例中,音訊可在不提示使用者發出特定聲音或朗讀特定測試之情況下被動地收集。在一些實施例中,音訊可為特定使用者之縱向音訊(例如,隨時間收集)之一部分。在其他實施例中,音訊可為複數個使用者之縱向音訊之一部分。所收集之音訊樣本可首先執行預處理或信號調節操作以有助於偵測音素及/或判定音素特徵。此等操作可包括例如修整音訊樣本資料、頻率濾波、正規化、移除背景雜訊、間歇性尖峰、其他聲學假影或如本文所描述之其他操作。
隨後,所收集之音訊樣本可轉換為音訊影像,其可包括音訊之梅爾聲譜圖或MFCC。其中梅爾頻率倒頻譜係數(MFCC)表示經縮放功率譜之離散餘弦變換,且MFCC共同地構成梅爾頻率倒頻譜(MFC)。MFCC通常對頻譜變化敏感且對環境雜訊強健。在例示性態樣中,判定平均MFCC值及標準差MFCC值。在一個實施例中,判定梅爾頻率倒頻譜係數MFCC6及MFCC8之平均值,且判定梅爾頻率倒頻譜係數MFCC1、MFCC2、MFCC3、MFCC8、MFCC9、MFCC10、MFCC11和MFCC12之標準差值。在一些實施例中,梅爾聲譜圖可包括基於人類聽力模型之音訊的頻譜顯現。舉例而言,相對於音訊樣本內之頻率的線性或對數配置,音訊影像中之梅爾聲譜圖可將人耳感知之頻率配置為彼此等距。因此,基於人類聲音感知,頻譜間距離(亦即,個別頻率之間的距離)可隨著頻率增加而增加。
在一些實施例中,所產生的MFCC可經分析以外推所收集音訊樣本之不同頻率的共變異數值。舉例而言,自所收集音訊樣本產生之MFCC可包括20個頻率區間,且可針對各頻率區間計算共變異數值以外推各頻率區間之相互關係。在此組態中,可產生20×20共變異數矩陣以包括
所有頻率區間之所有共變異數值。在一些實施例中,可省略一或多個頻率(例如,第一頻率區間)區間之共變異數值以最小化習慣化效應,藉此替代地產生19×19共變異數矩陣以更佳地表示音訊資料。
在一些實施例中,共變異數值可首先在黎曼幾何空間中表示,但稍後描繪或變換至切空間中。隨後,可採用機器學習技術以產生分類器,例如平衡隨機森林分類器。在此組態中,使用來自MFCC之共變異數值產生的機器學習分類器不受所收集音訊資料之頻率的線性變換束縛。實際上,亦考慮不同頻率之間的非線性關係,使得分類器對諸如雜訊或男性及女性語音之間的音調差異等變數更加強健。更重要地,以此方式建構之分類器可容易用於對第三人之音訊樣本進行取樣。此意謂不需要來自人類個體之先前音訊樣本來篩檢該特定人類個體之呼吸疾病。
在使用中,此機器學習分類器可用於篩檢或判定人類個體是否患有特定呼吸疾病。舉例而言,藉由判定分類器與自人類個體之音訊資料提取或外推之共變異數值之間的距離。且若人類個體被認為對呼吸疾病呈陽性,則可投與治療有效量之化合物或該化合物之醫藥學上可接受之鹽以治療人類呼吸疾病。
在示例態樣中,治療包括一或多種來自以下之治療劑:˙PLpro抑制劑,阿匹莫德、EIDD-2801、利巴韋林、纈更昔洛韋、β-胸苷、阿斯巴甜、氧烯洛爾、多西環素、乙醯奮乃靜、碘普羅胺、核黃素、茶丙特羅、2,2'-環胞苷、氯黴素、氯苯胺胺甲酸酯、左羥丙哌嗪、頭孢孟多、氟尿苷、泰格環黴素、培美曲塞、L(+)-抗壞血酸、麩胱甘肽、橘皮苷素、腺苷甲硫胺酸、馬索羅酚、異維甲酸、丹曲洛林、柳氮磺胺吡啶抗菌劑、水飛薊賓、尼卡地平、西地那非、桔梗皂苷、金黃素、新橙皮
苷、黃芩苷、蘇葛三醇-3,9-二乙酸酯、(-)-表沒食子兒茶素沒食子酸酯、菲安菊酯D、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、2,2-二(3-吲哚基)-3-吲哚酮、(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、白皮杉醇、迷迭香酸及/或厚朴酚;˙3CLpro抑制劑,離甲環素、氯己定、阿夫唑嗪、西司他汀、法莫替丁、阿米三嗪、普羅加比、奈帕芬胺、卡維地洛、安普那韋、泰格環黴素、孟魯司特、胭脂蟲酸、含羞草鹼、黃素、葉黃素、頭孢匹胺、苯氧乙基青黴素、坎沙曲、尼卡地平、戊酸雌二醇、吡格列酮、考尼伐坦、替米沙坦、多西環素、土黴素、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、樺腦醛、金黃素-7-O-β-葡萄糖苷酸、穿心蓮內酯苷、2-硝基苯甲酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯2β-羥基-3,4-斷-木栓烷-27-羧酸(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、Isodecortinol、酵母固醇、橙皮苷、新橙皮苷、新穿心蓮內酯苷元、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、大波斯菊苷、Cleistocaltone A、2,2-二(3-吲哚基)-3-吲哚酮、山奈酚3-O-洋槐糖苷、格尼迪木素、余甘子萜、茶黃素3,3'-二-O-沒食子酸酯、迷迭香酸、貴州獐牙菜苷I、齊墩果酸、豆甾-5-烯-3-醇、2'-間羥基苯甲醯獐牙菜苷及/或黃
鱔藤酚;˙RdRp抑制劑,纈更昔洛韋、氯己定、頭孢布坦、非諾特羅、氟達拉濱、伊曲康唑、頭孢呋辛、阿托喹酮、鵝去氧膽酸、色甘酸、泮庫溴銨、可體松、替勃龍、新生黴素、水飛薊賓、艾達黴素、溴麥角環肽、苯乙哌啶、苄基青黴醯G、達比加群酯、樺腦醛、格尼迪木素、2β,30β-二羥基-3,4-斷-木栓烷-27-內酯、14-去氧-11,12-二去氫穿心蓮內酯、格尼迪木春、茶黃素3,3'-二-O-沒食子酸酯、2-胺基-3-苯基丙酸(R)-((1R,5aS,6R,9aS)-1,5a-二甲基-7-亞甲基-3-側氧基-6-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫-1H-苯并[c]氮呯-1-基)甲酯、2β-羥基-3,4-斷-木栓烷-27-羧酸、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、余甘根苷B、14-羥基香附烯酮、穿心蓮內酯苷、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、穿心蓮內酯、蘇葛三醇-3,9-二乙酸酯、黃芩苷、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、1,7-二羥基-3-甲氧基酮、1,2,6-三甲氧基-8-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮及/或1,8-二羥基-6-甲氧基-2-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮、8-(β-D-葡萄哌喃糖基氧基)-1,3,5-三羥基-9H-二苯并哌喃-9-酮。
在示例態樣中,治療包括一或多種治療劑,其用於治療病毒感染,諸如SARS-CoV-2,其導致COVID-19。因而,治療劑可包括一或多種SARS-CoV-2抑制劑。在一些實施例中,治療包括一或多種SARS-
CoV-2抑制劑與上文所列之治療劑中之一或多者的組合。
在一些實施例中,治療包括一或多種選自先前鑑別之藥劑中之任一者以及以下之治療劑:˙布枯苷、橙皮苷、MK-3207、維奈托克、二氫麥角克鹼、勃拉嗪、R428、地特卡里、依託泊苷、替尼泊苷、UK-432097、伊立替康、魯瑪卡托、維帕他韋、艾沙度林、雷迪帕韋、咯匹那韋/利托那韋+利巴韋林、阿氟隆及普賴松;˙地塞米松、阿奇黴素及瑞德西韋以及波普瑞韋、烏米芬韋及法匹拉韋;˙α-酮醯胺化合物11r、13a及13b,如Zhang,L.;Lin,D.;Sun,X.;Rox,K.;Hilgenfeld,R.;X-ray Structure of Main Protease of the Novel Coronavirus SARS-CoV-2 Enables Design of α-Ketoamide Inhibitors;bioRxiv預印本doi:https://doi.org/10.1101/2020.02.17.952879中所描述;˙RIG 1路徑活化劑,諸如美國專利第9,884,876號中所描述之彼等;˙蛋白酶抑制劑,諸如Dai W,Zhang B,Jiang X-M等人Structure-based design of antiviral drug candidates targeting the SARS-CoV-2 main protease.Science.2020;368(6497):1331-1335中所描述之彼等,包括指定為DC402234之化合物;及/或˙抗病毒劑,諸如瑞德西韋、加利地韋、法維拉韋/阿維法韋、莫那比拉韋(MK-4482/EIDD 2801)、AT-527、AT-301、BLD-2660、法匹拉韋、卡莫司他、SLV213恩曲他濱/替諾福韋、克來夫定、達塞曲匹、波普瑞韋、ABX464、((S)-(((2R,3R,4R,5R)-5-(2-胺基-6-(甲胺基)-9H-嘌呤-9-
基)-4-氟-3-羥基-4-甲基四氫呋喃-2-基)甲氧基)(苯氧基)磷醯基)-L-丙胺酸異丙酯(本尼福韋)、EDP-235、ALG-097431、EDP-938、尼馬瑞韋或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或水合物之組合(PaxlovidTM)、(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07321332,尼馬瑞韋)及/或S-217622、糖皮質激素諸如地塞米松及氫化可體松、恢復期血漿、重組人類血漿諸如膠溶素(Rhu-p65N)、單株抗體諸如瑞達韋單抗(瑞基瓦)、雷武珠單抗(武托米)、VIR-7831/VIR-7832、BRII-196/BRII-198、COVI-AMG/COVI DROPS(STI-2020)、巴尼韋單抗(LY-CoV555)、瑪弗利單抗、樂利單抗(PRO140)、AZD7442、侖茲魯單抗、英利昔單抗、阿達木單抗、JS 016、STI-1499(COVIGUARD)、拉那利尤單抗(塔克日羅)、卡那單抗(伊拉利斯)、瑾司魯單抗及奧替利單抗、抗體混合物諸如卡斯瑞韋單抗/依米得韋單抗(REGN-Cov2)、重組融合蛋白諸如MK-7110(CD24Fc/SACCOVID)、抗凝血劑諸如肝素及阿哌沙班、IL-6受體促效劑諸如托珠單抗(安特美)及/或沙利姆單抗(克紮拉)、PIKfyve抑制劑諸如阿吡莫德二甲磺酸鹽、RIPK1抑制劑諸如DNL758、DC402234、VIP受體促效劑諸如PB1046、SGLT2抑制劑諸如達格列淨、TYK抑制劑諸如艾維替尼、激酶抑制劑諸如ATR-002、貝西替尼、阿卡替尼、洛嗎莫德、巴瑞替尼及/或托法替尼、H2阻斷劑諸如法莫替丁、驅蟲劑諸如氯硝柳胺、弗林蛋白酶抑制劑諸如三氮脒。
舉例而言,在一個實施例中,治療係選自由以下組成之
群:尼馬瑞韋或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或水合物之組合(PaxlovidTM)。在另一實施例中,治療包括(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07321332,尼馬瑞韋)。
現參考圖22,繪示篩檢及治療需要此類治療之人類之呼吸疾病的例示性方法。如所示,在步驟2202中,可自人類個體收集音訊樣本。音訊樣本之預處理可視情況如上文所呈現來執行。隨後,在步驟2204中,可基於所收集音訊樣本產生聲譜圖。在一些實施例中,所產生之聲譜圖可為具有20個頻率區間之MFCC。一旦產生MFCC,則可自所產生之MFCC估計共變異數值,如步驟2206中所呈現。所估計共變異數值可以共變異數矩陣(例如,19×19矩陣)之形式呈現。共變異數值可呈現於黎曼幾何空間中,但亦可變換至切空間中。隨後,在步驟2208中,可利用機器學習技術(例如,平衡隨機森林)使用共變異數值建構分類器。在一些實施例中,可藉由自經判定共變異數值外推模式來建構或訓練分類器。一旦經建構,分類器即可用於判定或篩檢呼吸病況或疾病,如步驟2210中所示。且若需要,則可對人類個體執行諸如投與治療化合物之動作,如步驟2212中所概述。
在又一實施例中,可引入基線資料值且將其用於預測呼吸疾病(諸如covid-19感染)之存在。現參考圖23,其中特定人類個體之基線資料或值可基於或使用來自人類個體之複數個所收集音訊資料樣本判定。在一個實施例中,人類個體之語音資料可每天收集,持續七天。隨
後,在一個實例中,此等所收集語音資料中之三天可用於產生或生產該人類個體之基線資料點或值。
類似於在圖22中所描述之音訊資料的處理,在一些實施例中,基線資料或值之產生或生產可藉由首先將所收集之音訊或語音資料(亦即,如上文所提及之音訊資料中之三天)轉換為音訊影像(例如,3個影像)來進行,其中音訊影像可包括音訊之梅爾聲譜圖或MFCC。舉例而言,音訊資料可首先下取樣至16kHz,隨後現參考圖24,其中使用Librosa Python程式庫執行MFCC提取。如所繪示,漢寧窗(Hanning window)可用於對輸入語音信號應用短期傅立葉變換(STFT),產生功率譜圖。可應用梅爾濾波器組以將聲譜圖映射至梅爾刻度且接著取對數以獲得對數梅爾聲譜圖。另外,可執行離散餘弦變換(DCT)變換以獲得MFCC。
在一些實施例中,梅爾頻率倒頻譜係數(MFCC)可表示經縮放功率譜之離散餘弦變換,且MFCC共同地構成梅爾頻率倒頻譜(MFC)。MFCC通常對頻譜變化敏感且對環境雜訊強健。在例示性態樣中,判定平均MFCC值及標準差MFCC值。在一個實施例中,判定梅爾頻率倒頻譜係數MFCC6及MFCC8之平均值,且判定梅爾頻率倒頻譜係數MFCC1、MFCC2、MFCC3、MFCC8、MFCC9、MFCC10、MFCC11和MFCC12之標準差值。在一些實施例中,梅爾聲譜圖可包括基於人類聽力模型之音訊的頻譜顯現。舉例而言,相對於音訊內之頻率的線性或對數配置,音訊影像中之梅爾聲譜圖可將人耳感知之頻率配置為彼此等距。因此,基於人類聲音感知,頻譜間距離(亦即,個別頻率之間的距離)可隨著頻率增加而增加。
在一些實施例中,所產生的MFCC可經分析以外推所收集
音訊樣本之不同頻率的共變異數值。舉例而言,自所收集音訊樣本產生之MFCC可包括20個頻率區間,且可針對頻率區間中之各者計算共變異數值以外推頻率區間中之各者的相互關係。在此組態中,可產生20×20共變異數矩陣以包括所有頻率區間之所有共變異數值。在一些實施例中,可省略一或多個頻率(例如,第一頻率區間)區間之共變異數值以最小化習慣化效應,藉此替代地產生19×19共變異數矩陣以更佳地表示音訊資料。
在實踐中,共變異數值可首先在黎曼幾何空間中表示,但稍後可投影或變換至切空間中。舉例而言,現參考圖25,為將黎曼幾何應用於MFCC,可首先估計MFCC之間的共變異數矩陣(CMM),其中各共變異數矩陣可為對稱正定(SPD)矩陣之實例。令X R m x f ,其中m為MFCC係數之數,且f為STFT框之數。各音訊記錄之MFCC之間的共變異數矩陣C i 使用勒多伊特-沃爾夫(Ledoit-Wolf,LW)收縮估計量估計為:
其中S(m)為實對稱矩陣之空間,其形成維度為m(m+1)/2之可微黎曼流形M。流形M上矩陣C之導數位於m(m+1)/2維向量空間中。為使用傳統的基於距離之分類方法且應用基線減除,各共變異數矩陣C i 可自黎曼流形M映射至切向量空間T C 。對於此映射,首先使用流形M上所有共變異數矩陣C之黎曼平均值自整個訓練資料估計參考點,如下:
在一些實施例中,此三個共變異數矩陣可首先在黎曼幾何空間中表示,且隨後投影或變換至切空間中。一旦投影或變換至切空間中,則三個共變異數矩陣可各自變為切空間中之一百九十維向量,其中此等向量可接著求平均以產生基線資料值,如圖23中所繪示。
一旦建立此基線資料值,則可藉由將基線資料值與一或多個後續收集之音訊資料組合而使用此基線資料值建構機器學習分類器,如2308中所繪示。舉例而言,在已產生或建立個人之語音或音訊基線資料值之後,可連續收集此個人之音訊資料2310,如圖23中所繪示。可自此後續收集之音訊資料2310產生一或多個聲譜圖,諸如MFCC 2306。隨後,可自所產生之MFCC提取或外推共變異數值,且所提取之共變異數值可以共變異數矩陣2304(例如,19×19矩陣)之形式呈現。共變異數值可呈現在黎曼幾何空間中,但稍後可投影或變換至切空間中,如2302中所繪示。切空間中之經投影或經變換共變異數值可呈一百九十維
向量之形式。與已建立之基線資料值組合,產生新向量-以表示該個人之調整後的音訊資料。在一些實施例中,使用基線資料值作為參考,此調整後的音訊資料-可更準確地表示人類個體之語音。此外,可收集來自不同人類個體之複數個此類調整後的音訊資料-以產生機器學習分類器2312。可採用諸如平衡隨機森林演算法2312之機器學習技術以產生分類器。應瞭解,在此組態中,使用來自MFCC之共變異數值產生的機器學習分類器不受所收集音訊資料之頻率的線性變換束縛。實際上,亦考慮不同頻率之間的非線性關係,使得分類器對諸如雜訊或男性及女性語音之間的音調差異等變數更加強健。更重要地,以此方式建構之分類器可容易用於對第三人之音訊樣本進行取樣。此意謂不需要來自人類個體之先前記錄之音訊樣本來篩檢此人類個體之呼吸疾病。一旦經建構,分類器即可用於判定或篩檢呼吸病況或疾病,例如藉由比較分類器與經判定共變異數值之間的距離。且若需要,則可對人類個體執行諸如投與治療化合物之動作。
在實踐中,配備有一或多個處理器及上面儲存有用於在由一或多個處理器執行時執行操作之電腦可執行指令的電腦記憶體的電腦化系統可經組態以執行類似於圖23中所概述之程序的程序。此類系統可首先判定使用該系統之人類個體是否具有已建立之基線資料值。舉例而言,健康照護設施可利用此類電腦化系統來每天篩檢健康照護專業人士或HCP之covid感染。諸如醫生之HCP在每天測試持續一週之後可能夠用此電腦化系統建立基線資料值(例如,使用第一週之音訊資料的七天中之三天)。隨後,系統可繼續使用使用此基線資料值產生的機器學習分類器來篩檢此醫生。舉例而言,此機器學習分類器可使用平衡隨機森林演算法使用已建立
之基線資料值及自醫生收集之音訊樣本來建構。此類分類器可使用圖23中所呈現及上文所描述之方法來建構。替代地,另一人類個體,諸如訪視健康照護設施之患者可能不具有已用此電腦化系統建立之基線資料值。在此情況下,該系統可替代地使用不同分類器來篩檢人類個體之covid。舉例而言,圖22中所呈現之機器學習分類器。且若人類個體被認為對呼吸疾病呈陽性,則可投與治療有效量之化合物或該化合物之醫藥學上可接受之鹽以治療人類呼吸疾病。
在示例態樣中,治療包括一或多種來自以下之治療劑:˙PLpro抑制劑,阿匹莫德、EIDD-2801、利巴韋林、纈更昔洛韋、β-胸苷、阿斯巴甜、氧烯洛爾、多西環素、乙醯奮乃靜、碘普羅胺、核黃素、茶丙特羅、2,2'-環胞苷、氯黴素、氯苯胺胺甲酸酯、左羥丙哌嗪、頭孢孟多、氟尿苷、泰格環黴素、培美曲塞、L(+)-抗壞血酸、麩胱甘肽、橘皮苷素、腺苷甲硫胺酸、馬索羅酚、異維甲酸、丹曲洛林、柳氮磺胺吡啶抗菌劑、水飛薊賓、尼卡地平、西地那非、桔梗皂苷、金黃素、新橙皮苷、黃芩苷、蘇葛三醇-3,9-二乙酸酯、(-)-表沒食子兒茶素沒食子酸酯、菲安菊酯D、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、2,2-二(3-吲哚基)-3-吲哚酮、(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、白皮杉醇、迷迭香酸及/或厚朴酚;˙3CLpro抑制劑,離甲環素、氯己定、阿夫唑嗪、西司他汀、法莫替丁、阿米三嗪、普羅加比、奈帕芬胺、卡維地洛、安普那韋、泰格環黴素、孟魯司特、胭脂蟲酸、含羞草鹼、黃素、葉黃素、頭孢匹胺、苯氧乙
基青黴素、坎沙曲、尼卡地平、戊酸雌二醇、吡格列酮、考尼伐坦、替米沙坦、多西環素、土黴素、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、樺腦醛、金黃素-7-O-β-葡萄糖苷酸、穿心蓮內酯苷、2-硝基苯甲酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、2β-羥基-3,4-斷-木栓烷-27-羧酸(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、Isodecortinol、酵母固醇、橙皮苷、新橙皮苷、新穿心蓮內酯苷元、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、大波斯菊苷、Cleistocaltone A、2,2-二(3-吲哚基)-3-吲哚酮、山奈酚3-O-洋槐糖苷、格尼迪木素、余甘子萜、茶黃素3,3'-二-O-沒食子酸酯、迷迭香酸、貴州獐牙菜苷I、齊墩果酸、豆甾-5-烯-3-醇、2'-間羥基苯甲醯獐牙菜苷及/或黃鱔藤酚;˙RdRp抑制劑,纈更昔洛韋、氯己定、頭孢布坦、非諾特羅、氟達拉濱、伊曲康唑、頭孢呋辛、阿托喹酮、鵝去氧膽酸、色甘酸、泮庫溴銨、可體松、替勃龍、新生黴素、水飛薊賓、艾達黴素、溴麥角環肽、苯乙哌啶、苄基青黴醯G、達比加群酯、樺腦醛、格尼迪木素、2β,30β-二羥基-3,4-斷-木栓烷-27-內酯、14-去氧-11,12-二去氫穿心蓮內酯、格尼迪木春、茶黃素3,3'-二-O-沒食子酸酯、2-胺基-3-苯基丙酸(R)-((1R,5aS,6R,9aS)-1,5a-二甲基-7-亞甲基-3-側氧基-6-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫-1H-苯并[c]氮呯-1-基)甲酯、2β-羥基-
3,4-斷-木栓烷-27-羧酸、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、余甘根苷B、14-羥基香附烯酮、穿心蓮內酯苷、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、穿心蓮內酯、蘇葛三醇-3,9-二乙酸酯、黃芩苷、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、1,7-二羥基-3-甲氧基酮、1,2,6-三甲氧基-8-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮及/或1,8-二羥基-6-甲氧基-2-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮、8-(β-D-葡萄哌喃糖基氧基)-1,3,5-三羥基-9H-二苯并哌喃-9-酮。
在示例態樣中,治療包括一或多種治療劑,其用於治療病毒感染,諸如SARS-CoV-2,其導致COVID-19。因而,治療劑可包括一或多種SARS-CoV-2抑制劑。在一些實施例中,治療包括一或多種SARS-CoV-2抑制劑與上文所列之治療劑中之一或多者的組合。
在一些實施例中,治療包括一或多種選自先前鑑別之藥劑中之任一者以及以下之治療劑:˙布枯苷、橙皮苷、MK-3207、維奈托克、二氫麥角克鹼、勃拉嗪、R428、地特卡里、依託泊苷、替尼泊苷、UK-432097、伊立替康、魯瑪卡托、維帕他韋、艾沙度林、雷迪帕韋、咯匹那韋/利托那韋+利巴韋林、阿氟隆及普賴松;˙地塞米松、阿奇黴素及瑞德西韋以及波普瑞韋、烏米芬韋及法匹拉韋;
˙α-酮醯胺化合物11r、13a及13b,如Zhang,L.;Lin,D.;Sun,X.;Rox,K.;Hilgenfeld,R.;X-ray Structure of Main Protease of the Novel Coronavirus SARS-CoV-2 Enables Design of α-Ketoamide Inhibitors;bioRxiv預印本doi:https://doi.org/10.1101/2020.02.17.952879中所描述;˙RIG 1路徑活化劑,諸如美國專利第9,884,876號中所描述之彼等;˙蛋白酶抑制劑,諸如Dai W,Zhang B,Jiang X-M等人Structure-based design of antiviral drug candidates targeting the SARS-CoV-2 main protease.Science.2020;368(6497):1331-1335中所描述之彼等,包括指定為DC402234之化合物;及/或˙抗病毒劑,諸如瑞德西韋、加利地韋、法維拉韋/阿維法韋、莫那比拉韋(MK-4482/EIDD 2801)、AT-527、AT-301、BLD-2660、法匹拉韋、卡莫司他、SLV213恩曲他濱/替諾福韋、克來夫定、達塞曲匹、波普瑞韋、ABX464、((S)-(((2R,3R,4R,5R)-5-(2-胺基-6-(甲胺基)-9H-嘌呤-9-基)-4-氟-3-羥基-4-甲基四氫呋喃-2-基)甲氧基)(苯氧基)磷醯基)-L-丙胺酸異丙酯(本尼福韋)、EDP-235、ALG-097431、EDP-938、尼馬瑞韋或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或水合物之組合(PaxlovidTM)、(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07321332,尼馬瑞韋)及/或S-217622、糖皮質激素諸如地塞米松及氫化可體松、恢復期血漿、重組人類血漿諸如膠溶素(Rhu-p65N)、單株抗體諸如瑞達韋單抗(瑞基瓦)、雷武珠單抗(武托
米)、VIR-7831/VIR-7832、BRII-196/BRII-198、COVI-AMG/COVI DROPS(STI-2020)、巴尼韋單抗(LY-CoV555)、瑪弗利單抗、樂利單抗(PRO140)、AZD7442、侖茲魯單抗、英利昔單抗、阿達木單抗、JS 016、STI-1499(COVIGUARD)、拉那利尤單抗(塔克日羅)、卡那單抗(伊拉利斯)、瑾司魯單抗及奧替利單抗、抗體混合物諸如卡斯瑞韋單抗/依米得韋單抗(REGN-Cov2)、重組融合蛋白諸如MK-7110(CD24Fc/SACCOVID)、抗凝血劑諸如肝素及阿哌沙班、IL-6受體促效劑諸如托珠單抗(安特美)及/或沙利姆單抗(克紮拉)、PIKfyve抑制劑諸如阿吡莫德二甲磺酸鹽、RIPK1抑制劑諸如DNL758、DC402234、VIP受體促效劑諸如PB1046、SGLT2抑制劑諸如達格列淨、TYK抑制劑諸如艾維替尼、激酶抑制劑諸如ATR-002、貝西替尼、阿卡替尼、洛嗎莫德、巴瑞替尼及/或托法替尼、H2阻斷劑諸如法莫替丁、驅蟲劑諸如氯硝柳胺、弗林蛋白酶抑制劑諸如三氮脒。
舉例而言,在一個實施例中,治療係選自由以下組成之群:尼馬瑞韋或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或水合物之組合(PaxlovidTM)。在另一實施例中,治療包括(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07321332,尼馬瑞韋)。
在不背離下文的申請專利範圍之範疇的情況下,所描繪各個組件以及未展示的組件的許多不同配置為可能的。已描述本發明之實施例,意欲說明而非限制。在閱讀本發明之後且由於閱讀本發明,替代性實
施例對本發明之讀者將變得顯而易見。可在不背離下文的申請專利範圍之範疇的情況下完成實施前述內容之替代性方式。某些特徵及子組合具有實用性,且可在不參考其他特徵及子組合的情況下加以使用,且涵蓋於申請專利範圍之範疇內。
100:操作環境
102a,102b,102c…102n:使用者電腦裝置/使用者裝置
103:感測器
104:電子健康記錄/EHR
105a:決策支援應用程式/決策支援app
105b:決策支援應用程式/決策支援app
106:伺服器
108:臨床醫師使用者裝置/使用者裝置
110:網路
150:資料儲存
Claims (20)
- 一種篩檢人類個體之呼吸疾病之方法,該方法包含:自該人類個體收集至少一個音訊樣本;使用所收集之至少一個音訊樣本產生基線資料值;自該人類個體收集第二音訊樣本;使用所產生之基線資料值處理該第二音訊樣本;使用所處理之第二音訊樣本建構機器學習分類器;及使用所建構之機器學習分類器判定該人類個體之呼吸病況。
- 如請求項1之方法,其中收集至少一個音訊樣本之步驟包含自該人類個體收集至少三個音訊樣本。
- 如請求項2之方法,其中產生該基線資料值之步驟包含為三個所收集之音訊樣本中之各者產生至少一個聲譜圖。
- 如請求項3之方法,其中產生該基線資料值之該步驟包含判定該三個所收集之音訊樣本中之各者的共變異數值。
- 如請求項4之方法,其中判定該三個所收集之音訊樣本中之各者的共變異數值之步驟包含將該等共變異數值自黎曼空間(Riemannian space)投影至切空間。
- 如請求項5之方法,其中產生該基線資料值之該步驟包含產生投影於該切空間中之該三個所收集之音訊樣本之該等共變異數值的平均值。
- 一種用於監測人類個體之呼吸病況之電腦化系統,該系統包含:一或多個處理器;及電腦記憶體,其上儲存有用於在由一或多個處理器執行時執行操作的電腦可執行指令,該等操作包含:自該人類個體收集至少一個音訊樣本;使用所收集之至少一個音訊樣本產生基線資料值;自該人類個體收集第二音訊樣本;使用所產生之基線資料值處理該第二音訊樣本;使用所處理之第二音訊樣本建構機器學習分類器;及使用所建構之機器學習分類器判定該人類個體之呼吸病況。
- 如請求項7之電腦化系統,其中收集至少一個音訊樣本之步驟包含自該人類個體收集至少三個音訊樣本。
- 如請求項8之電腦化系統,其中產生該基線資料值之步驟包含判定該三個所收集之音訊樣本中之各者的共變異數值。
- 如請求項9之電腦化系統,其中判定該三個所收集之音訊樣本中之各者的共變異數值之步驟包含將該等共變異數值自黎曼空間投影至切空間。
- 一種用於提供決策支援之電腦化系統,該系統包含:一或多個處理器;及電腦記憶體,其上儲存有用於在由一或多個處理器執行時執行操作的電腦可執行指令,該等操作包含:使用聲感測器裝置自人類個體收集至少一個音訊樣本;使用所收集之至少一個音訊樣本產生基線資料值(baseline data value);自該人類個體收集第二音訊樣本;使用所產生之基線資料值處理該第二音訊樣本;使用所處理之第二音訊樣本建構機器學習分類器(machine learning classifier);使用所建構之該機器學習分類器判定該人類個體之呼吸病況;及基於該人類個體之呼吸病況而向該人類個體或該人類個體之照護者提供新治療方案之建議。
- 如請求項11之電腦化系統,其中該呼吸疾病包含2019年冠狀病毒病(COVID-19)。
- 如請求項12之電腦化系統,其中該化合物係選自由以下組成之群:PLpro抑制劑阿匹莫德(Apilomod)、EIDD-2801、利巴韋林(Ribavirin)、纈更昔洛韋(Valganciclovir)、β-胸苷、阿斯巴甜(Aspartame)、氧烯洛爾(Oxprenolol)、多西環素(Doxycycline)、乙醯奮乃靜(Acetophenazine)、碘普羅胺(Iopromide)、核黃素、茶丙特羅(Reproterol)、2,2'-環胞苷、氯 黴素、氯苯胺胺甲酸酯、左羥丙哌嗪(Levodropropizine)、頭孢孟多(Cefamandole)、氟尿苷、泰格環黴素(Tigecycline)、培美曲塞(Pemetrexed)、L(+)-抗壞血酸、麩胱甘肽、橘皮苷素(Hesperetin)、腺苷甲硫胺酸、馬索羅酚(Masoprocol)、異維甲酸、丹曲洛林(Dantrolene)、柳氮磺胺吡啶(Sulfasalazine)抗菌劑、水飛薊賓(Silybin)、尼卡地平(Nicardipine)、西地那非(Sildenafil)、桔梗皂苷(Platycodin)、金黃素(Chrysin)、新橙皮苷(Neohesperidin)、黃芩苷(Baicalin)、蘇葛三醇-3,9-二乙酸酯(Sugetriol-3,9-diacetate)、(-)-表沒食子兒茶素沒食子酸酯、菲安菊酯(Phaitanthrin)D、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、2,2-二(3-吲哚基)-3-吲哚酮、(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、白皮杉醇(Piceatannol)、迷迭香酸(Rosmarinic acid)及厚朴酚(Magnolol);3CLpro抑制劑離甲環素(Lymecycline)、氯己定(Chlorhexidine)、阿夫唑嗪(Alfuzosin)、西司他汀(Cilastatin)、法莫替丁(Famotidine)、阿米三嗪(Almitrine)、普羅加比(Progabide)、奈帕芬胺(Nepafenac)、卡維地洛(Carvedilol)、安普那韋(Amprenavir)、泰格環黴素、孟魯司特(Montelukast)、胭脂蟲酸、含羞草鹼、黃素、葉黃素、頭孢匹胺(Cefpiramide)、苯氧乙基青黴素(Phenethicillin)、坎沙曲(Candoxatril)、尼卡地平、戊酸雌二醇、吡格列酮(Pioglitazone)、考尼伐坦(Conivaptan)、替米沙坦(Telmisartan)、多西環素、土黴素(Oxytetracycline)、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧 基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、樺腦醛(Betulonal)、金黃素-7-O-β-葡萄糖苷酸、穿心蓮內酯苷(Andrographiside)、2-硝基苯甲酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、2β-羥基-3,4-斷-木栓烷-27-羧酸(S)-(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-基-2-胺基-3-苯基丙酸酯、Isodecortinol、酵母固醇(Cerevisterol)、橙皮苷、新橙皮苷、新穿心蓮內酯苷元(Andrograpanin)、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、大波斯菊苷(Cosmosiin)、Cleistocaltone A、2,2-二(3-吲哚基)-3-吲哚酮、山奈酚3-O-洋槐糖苷(Biorobin)、格尼迪木素(Gnidicin)、余甘子萜(Phyllaemblinol)、茶黃素3,3'-二-O-沒食子酸酯、迷迭香酸、貴州獐牙菜苷(Kouitchenside)I、齊墩果酸(Oleanolic acid)、豆甾-5-烯-3-醇、2'-間羥基苯甲醯獐牙菜苷(Deacetylcentapicrin)及黃鱔藤酚(Berchemol);RdRp抑制劑纈更昔洛韋、氯己定、頭孢布坦(Ceftibuten)、非諾特羅(Fenoterol)、氟達拉濱(Fludarabine)、伊曲康唑(Itraconazole)、頭孢呋辛(Cefuroxime)、阿托喹酮(Atovaquone)、鵝去氧膽酸(Chenodeoxycholic acid)、色甘酸(Cromolyn)、泮庫溴銨(Pancuronium bromide)、可體松(Cortisone)、替勃龍(Tibolone)、新生黴素(Novobiocin)、水飛薊賓、艾達黴素(Idarubicin)、溴麥角環肽(Bromocriptine)、苯乙哌啶(Diphenoxylate)、苄基青黴醯(Benzylpenicilloyl)G、達比加群酯(Dabigatran etexilate)、樺腦醛、格尼迪木素、2β,30β-二羥基-3,4-斷-木栓烷-27-內酯、14-去氧-11,12-二去氫穿心蓮內酯、格尼迪木春(Gniditrin)、茶黃素3,3'-二-O-沒食 子酸酯、2-胺基-3-苯基丙酸(R)-((1R,5aS,6R,9aS)-1,5a-二甲基-7-亞甲基-3-側氧基-6-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫-1H-苯并[c]氮呯-1-基)甲酯、2β-羥基-3,4-斷-木栓烷-27-羧酸、2-(3,4-二羥基苯基)-2-[[2-(3,4-二羥基苯基)-3,4-二氫-5,7-二羥基-2H-1-苯并哌喃-3-基]氧基]-3,4-二氫-2H-1-苯并哌喃-3,4,5,7-四醇、余甘根苷(Phyllaemblicin)B、14-羥基香附烯酮(14-hydroxycyperotundone)、穿心蓮內酯苷、苯甲酸2-((1R,5R,6R,8aS)-6-羥基-5-(羥甲基)-5,8a-二甲基-2-亞甲基十氫萘-1-基)乙酯、穿心蓮內酯、蘇葛三醇-3,9-二乙酸酯、黃芩苷、5-((R)-1,2-二硫代戊環-3-基)戊酸(1S,2R,4aS,5R,8aS)-1-甲醯胺基-1,4a-二甲基-6-亞甲基-5-((E)-2-(2-側氧基-2,5-二氫呋喃-3-基)乙烯基)十氫萘-2-酯、1,7-二羥基-3-甲氧基酮、1,2,6-三甲氧基-8-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮及/或1,8-二羥基-6-甲氧基-2-[(6-O-β-D-木哌喃糖基-β-D-葡萄哌喃糖基)氧基]-9H-二苯并哌喃-9-酮、8-(β-D-葡萄哌喃糖基氧基)-1,3,5-三羥基-9H-二苯并哌喃-9-酮;布枯苷(Diosmin)、橙皮苷、MK-3207、維奈托克(Venetoclax)、二氫麥角克鹼(Dihydroergocristine)、勃拉嗪(Bolazine)、R428、地特卡里(Ditercalinium)、依託泊苷(Etoposide)、替尼泊苷(Teniposide)、UK-432097、伊立替康(Irinotecan)、魯瑪卡托(Lumacaftor)、維帕他韋(Velpatasvir)、艾沙度林(Eluxadoline)、雷迪帕韋(Ledipasvir)、咯匹那韋(Lopinavir)/利托那韋(Ritonavir)與利巴韋林之組合、阿氟隆(Alferon)及普賴松(prednisone);地塞米松(dexamethasone)、阿奇黴素(azithromycin)、瑞德西韋(remdesivir)、波普瑞韋(boceprevir)、烏米芬韋(umifenovir)及法匹拉韋(favipiravir);α-酮醯胺化合物;RIG 1路徑活 化劑;蛋白酶抑制劑;及瑞德西韋、加利地韋(galidesivir)、法維拉韋(favilavir)/阿維法韋(avifavir)、莫那比拉韋(molnupiravir,MK-4482/EIDD 2801)、AT-527、AT-301、BLD-2660、法匹拉韋、卡莫司他(camostat)、SLV213恩曲他濱(emtrictabine)/替諾福韋(tenofivir)、克來夫定(clevudine)、達塞曲匹(dalcetrapib)、波普瑞韋、ABX464、磷酸二氫(3S)-3-({N-[(4-甲氧基-1H-吲哚-2-基)羰基]-L-白胺醯基}胺基)-2-側氧基-4-[(3S)-2-側氧基吡咯啶-3-基]丁酯;及其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07304814)、(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其溶劑合物或水合物(PF-07321332)、S-217622、糖皮質激素、恢復期血漿、重組人類血漿、單株抗體、雷武珠單抗(ravulizumab)、VIR-7831/VIR-7832、BRII-196/BRII-198、COVI-AMG/COVI DROPS(STI-2020)、巴尼韋單抗(bamlanivimab,LY-CoV555)、瑪弗利單抗(mavrilimab)、樂利單抗(leronlimab,PRO140)、AZD7442、侖茲魯單抗(lenzilumab)、英利昔單抗(infliximab)、阿達木單抗(adalimumab)、JS 016、STI-1499(COVIGUARD)、拉那利尤單抗(lanadelumab)(塔克日羅(Takhzyro))、卡那單抗(canakinumab)(伊拉利斯(Ilaris))、瑾司魯單抗(gimsilumab)、奧替利單抗(otilimab)、抗體混合物、重組融合蛋白、抗凝血劑、IL-6受體促效劑、PIKfyve抑制劑、RIPK1抑制劑、VIP受體促效劑、SGLT2抑制劑、TYK抑制劑、激酶抑制劑、貝西替尼(bemcentinib)、阿卡替尼(acalabrutinib)、洛嗎莫德(losmapimod)、巴瑞替尼(baricitinib)、托法替尼(tofacitinib)、H2阻斷劑、驅蟲劑及弗林蛋白酶(furin)抑制劑。
- 如請求項12之電腦化系統,其中該化合物為磷酸二氫(3S)-3-({N-[(4-甲氧基-1H-吲哚-2-基)羰基]-L-白胺醯基}胺基)-2-側氧基-4-[(3S)-2-側氧基吡咯啶-3-基]丁酯或其醫藥學上可接受之鹽、溶劑合物或水合物(PF-07304814)。
- 如請求項12之電腦化系統,其中該化合物為(1R,2S,5S)-N-{(1S)-1-氰基-2-[(3S)-2-側氧基吡咯啶-3-基]乙基}-6,6-二甲基-3-[3-甲基-N-(三氟乙醯基)-L-纈胺醯基]-3-氮雜雙環[3.1.0]己烷-2-甲醯胺或其溶劑合物或水合物(PF-07321332,尼馬瑞韋(Nirmatrelvir))。
- 如請求項12之電腦化系統,其中該化合物為尼馬瑞韋或其醫藥學上可接受之鹽、溶劑合物或水合物與利托那韋或其醫藥學上可接受之鹽、溶劑合物或水合物之組合(PaxlovidTM)。
- 如請求項11之電腦化系統,其中收集至少一個音訊樣本之步驟包含自該人類個體收集至少三個音訊樣本。
- 如請求項17之電腦化系統,其中產生該基線資料值之步驟包含為三個所收集之音訊樣本中之各者產生至少一個聲譜圖。
- 如請求項17之電腦化系統,其中產生該基線資料值之該步驟包含判定該三個所收集之音訊樣本中之各者的共變異數值。
- 如請求項19之電腦化系統,其中判定該三個所收集之音訊樣本中之各者的共變異數值之步驟包含將該等共變異數值自黎曼空間投影至切空間。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202263315899P | 2022-03-02 | 2022-03-02 | |
| US63/315,899 | 2022-03-02 | ||
| US202263346675P | 2022-05-27 | 2022-05-27 | |
| US63/346,675 | 2022-05-27 | ||
| US202263376367P | 2022-09-20 | 2022-09-20 | |
| US63/376,367 | 2022-09-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202343476A TW202343476A (zh) | 2023-11-01 |
| TWI869780B true TWI869780B (zh) | 2025-01-11 |
Family
ID=85640994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112107316A TWI869780B (zh) | 2022-03-02 | 2023-03-01 | 用於篩檢人類個體之呼吸疾病、監測人類個體之呼吸病況以及提供決策支援之方法及電腦化系統 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20250191770A1 (zh) |
| TW (1) | TWI869780B (zh) |
| WO (1) | WO2023166453A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI891205B (zh) * | 2024-01-11 | 2025-07-21 | 宏碁股份有限公司 | 聲音訊號的處理方法及處理裝置 |
| CN120912638A (zh) * | 2024-05-06 | 2025-11-07 | 南宁富联富桂精密工业有限公司 | 孩童睡眠护理的提醒方法、装置及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544557A (zh) * | 2017-09-22 | 2019-03-29 | 淡江大学 | 基于区块的主成分分析转换方法及其装置 |
| WO2021119742A1 (en) * | 2019-12-16 | 2021-06-24 | ResApp Health Limited | Diagnosing respiratory maladies from subject sounds |
| US20210338103A1 (en) * | 2020-05-13 | 2021-11-04 | Ali IMRAN | Screening of individuals for a respiratory disease using artificial intelligence |
| US20220037022A1 (en) * | 2020-08-03 | 2022-02-03 | Virutec, PBC | Ensemble machine-learning models to detect respiratory syndromes |
| CN114105859A (zh) * | 2022-01-27 | 2022-03-01 | 南京桦冠生物技术有限公司 | 一种6,6-二甲基-3-氮杂双环[3.1.0]己烷的合成方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5757939A (en) * | 1994-12-22 | 1998-05-26 | Lucent Technologies Inc. | Method for demonstrating sound quality differences between audio samples |
| US9884876B2 (en) | 2014-05-09 | 2018-02-06 | Kineta, Inc. | Anti-viral compounds, pharmaceutical compositions, and methods of use thereof |
| WO2020243701A1 (en) * | 2019-05-30 | 2020-12-03 | Insurance Services Office, Inc. | Systems and methods for machine learning of voice attributes |
| WO2020245727A1 (en) * | 2019-06-02 | 2020-12-10 | Predicta Med Analytics Ltd. | A method of evaluating autoimmune disease risk and treatment selection |
| US11419917B2 (en) * | 2020-04-07 | 2022-08-23 | Drora Shevy | Treatment for SARS-CoV-2 and other coronaviruses |
| EP4487870A3 (en) * | 2020-04-21 | 2025-03-12 | Immunic AG | Vidofludimus for use in the treatment or prevention of viral diseases |
| EP4157332A4 (en) * | 2020-05-26 | 2024-06-05 | Lowell Therapeutics, Inc. | METHODS OF TREATING VIRAL INFECTION USING PROTEASE INHIBITORS |
| US12603176B2 (en) * | 2020-08-14 | 2026-04-14 | Smart Reporting Gmbh | Automated generation of medical training data for training AI-algorithms for supporting clinical reporting and documentation |
| EP3964134A1 (en) * | 2020-09-02 | 2022-03-09 | Hill-Rom Services PTE. LTD. | Lung health sensing through voice analysis |
| WO2022120209A1 (en) * | 2020-12-04 | 2022-06-09 | Acer Therapeutics, Inc. | Solid forms of emetine |
| US20240273361A1 (en) * | 2021-05-21 | 2024-08-15 | Interaxon Inc. | Systems and methods for neural networks and dynamic spatial filters to reweigh channels |
-
2023
- 2023-03-01 TW TW112107316A patent/TWI869780B/zh active
- 2023-03-02 US US18/842,257 patent/US20250191770A1/en active Pending
- 2023-03-02 WO PCT/IB2023/051937 patent/WO2023166453A1/en not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544557A (zh) * | 2017-09-22 | 2019-03-29 | 淡江大学 | 基于区块的主成分分析转换方法及其装置 |
| WO2021119742A1 (en) * | 2019-12-16 | 2021-06-24 | ResApp Health Limited | Diagnosing respiratory maladies from subject sounds |
| US20210338103A1 (en) * | 2020-05-13 | 2021-11-04 | Ali IMRAN | Screening of individuals for a respiratory disease using artificial intelligence |
| US20220037022A1 (en) * | 2020-08-03 | 2022-02-03 | Virutec, PBC | Ensemble machine-learning models to detect respiratory syndromes |
| CN114105859A (zh) * | 2022-01-27 | 2022-03-01 | 南京桦冠生物技术有限公司 | 一种6,6-二甲基-3-氮杂双环[3.1.0]己烷的合成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20250191770A1 (en) | 2025-06-12 |
| WO2023166453A1 (en) | 2023-09-07 |
| TW202343476A (zh) | 2023-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230329630A1 (en) | Computerized decision support tool and medical device for respiratory condition monitoring and care | |
| US12051513B2 (en) | Medical assessment based on voice | |
| US20200388287A1 (en) | Intelligent health monitoring | |
| Stasak et al. | Automatic detection of COVID-19 based on short-duration acoustic smartphone speech analysis | |
| US10010288B2 (en) | Screening for neurological disease using speech articulation characteristics | |
| CN114206361A (zh) | 一种用于语音属性的机器学习的系统和方法 | |
| JP6435257B2 (ja) | 患者音を処理するための方法および装置 | |
| US8784311B2 (en) | Systems and methods of screening for medical states using speech and other vocal behaviors | |
| US20240180482A1 (en) | Systems and methods for digital speech-based evaluation of cognitive function | |
| JP2021529382A (ja) | 精神的健康評価のためのシステム及び方法 | |
| US20210298711A1 (en) | Audio biomarker for virtual lung function assessment and auscultation | |
| JP2023538287A (ja) | 呼吸器症候群を検出するためのアンサンブル機械学習モデル | |
| US20250191770A1 (en) | Computerized decision support tool and medical device for respiratory condition monitoring and care | |
| Wen et al. | Assessing chronic obstructive pulmonary disease risk based on exhalation and cough sounds | |
| CN116600698A (zh) | 用于呼吸道状况监视和护理的计算机化决策支持工具和医疗设备 | |
| He et al. | Decoding Gender in Cough Sounds: A Transformer‐Based Analysis | |
| Obase et al. | Identification of individuals with COPD using biometric voice and cough sound features | |
| Aljbawi et al. | Developing a multi-variate prediction model for the detection of COVID-19 from Crowd-sourced Respiratory Voice Data | |
| Anwar | Deep learning for real-world sound processing in healthcare | |
| Najda et al. | Breathing and speech patterns for predictive modelling of exacerbations of asthma and COPD | |
| HK40120187A (zh) | 基於声音的医疗评估 |







































