TW202337387A - 用於擴增實境/虛擬實境應用程式和裝置之入耳式感測器及其使用之方法 - Google Patents
用於擴增實境/虛擬實境應用程式和裝置之入耳式感測器及其使用之方法 Download PDFInfo
- Publication number
- TW202337387A TW202337387A TW112103124A TW112103124A TW202337387A TW 202337387 A TW202337387 A TW 202337387A TW 112103124 A TW112103124 A TW 112103124A TW 112103124 A TW112103124 A TW 112103124A TW 202337387 A TW202337387 A TW 202337387A
- Authority
- TW
- Taiwan
- Prior art keywords
- user
- signal
- ear
- acoustic
- waveform
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 210000000613 ear canal Anatomy 0.000 claims abstract description 54
- 230000036541 health Effects 0.000 claims abstract description 31
- 230000036772 blood pressure Effects 0.000 claims description 32
- 239000004984 smart glass Substances 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 9
- 230000005236 sound signal Effects 0.000 claims description 7
- 230000007177 brain activity Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 210000003027 ear inner Anatomy 0.000 claims description 2
- 238000001615 p wave Methods 0.000 claims description 2
- 238000000718 qrs complex Methods 0.000 claims description 2
- 238000010183 spectrum analysis Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 10
- 238000013481 data capture Methods 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 59
- 238000013186 photoplethysmography Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 29
- 210000000707 wrist Anatomy 0.000 description 26
- 230000005670 electromagnetic radiation Effects 0.000 description 22
- 238000005259 measurement Methods 0.000 description 14
- 210000000038 chest Anatomy 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 230000003205 diastolic effect Effects 0.000 description 10
- 230000003862 health status Effects 0.000 description 9
- 230000036760 body temperature Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 230000035488 systolic blood pressure Effects 0.000 description 7
- 210000003454 tympanic membrane Anatomy 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 6
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 5
- 230000009471 action Effects 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 230000002526 effect on cardiovascular system Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000008103 glucose Substances 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 4
- 210000003423 ankle Anatomy 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 210000003811 finger Anatomy 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 210000002414 leg Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 210000002832 shoulder Anatomy 0.000 description 4
- 210000003371 toe Anatomy 0.000 description 4
- 206010011224 Cough Diseases 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000013076 target substance Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002612 cardiopulmonary effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000002346 layers by function Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 206010041232 sneezing Diseases 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- -1 AR/VR headsets Substances 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 229910021607 Silver chloride Inorganic materials 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 229920001940 conductive polymer Polymers 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000036757 core body temperature Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 210000003016 hypothalamus Anatomy 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6815—Ear
- A61B5/6817—Ear canal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
Abstract
本發明提供一種用於管理、處理及處置來自沉浸式實境應用程式之一入耳式監視器之感測器信號的電腦方法。該方法包括:從一第一電極接收來自一入耳式裝置之一使用者之一第一耳道中的一皮膚之一第一電子信號;從一第一麥克風接收來自該入耳式監視器之該使用者之該第一耳道的一第一聲學信號,及來自該使用者之一第二耳道的一第二聲學信號(雙耳資料捕獲);用該第一聲學信號形成一聲學波形;用該第一電子信號形成一電子波形;及基於該聲學波形及該電子波形而識別該使用者之一健康狀況。亦提供一種裝置,其包括儲存指令之一記憶體及執行該等指令以進行上述方法的處理器。
Description
本發明關於用於虛擬實境及擴增實境環境及裝置之入耳式感測器。更特定言之,本發明關於經組態以從耳內部及外部接收輸入以用於使用沉浸式實境應用程式之入耳式裝置進行健康監測的感測器。
相關申請案之交叉參考
本發明與以下美國臨時申請案相關且根據35 U.S.C. §119(e)主張以下美國臨時申請案之優先權:2022年2月2日申請之名稱為用於AR/VR應用程式及裝置之入耳式生物感測(IN-EAR BIO-SENSING FOR AR/VR APPLICATIONS AND DEVICES)的美國臨時申請案第63/305,932號;均於2022年6月29日向Morteza KHALEGHIMEYBODI等人申請之名稱為用於AR/VR應用程式及裝置之入耳式電極之(IN-EAR ELECTRODES FOR AR/VR APPLICATIONS AND DEVICES)的美國臨時申請案第63/356,851號、名稱為用於AR/VR應用程式及裝置之入耳式光學感測器(IN-EAR OPTICAL SENSORS FOR AR/VR APPLICATIONS AND DEVICES)的美國臨時申請案第63/356,860號、名稱為用於AR/VR應用程式及裝置之入耳式監視感測器(IN-EAR MOTION SENSORS FOR AR/VR APPLICATIONS AND DEVICES)的美國臨時申請案第63/356,864號、名稱為用於AR/VR應用程式及裝置之入耳式溫度感測器(IN-EAR TEMPERATURE SENSORS FOR AR/VR APPLICATIONS AND DEVICES)的美國臨時申請案第63/356,872號、名稱為用於AR/VR應用程式及裝置之入耳式麥克風(IN-EAR MICROPHONES FOR AR/VR APPLICATIONS AND DEVICES)的美國臨時申請案第63/356,877號、名稱為用於AR/VR應用程式及裝置之入耳式感測器及其使用方法(IN-EAR SENSORS AND METHODS OF USE THEREOF FOR AR/VR APPLICATIONS AND DEVICES)的美國臨時申請案第63/356,883號。本發明亦關於且主張2022年12月20日申請之美國非臨時申請案第18/069,106號之優先權。以上申請案之內容出於所有目的特此以全文引用之方式併入本文中。
用於行動及沉浸式應用程式之當前入耳式裝置(例如,助聽器、可聽設備、頭戴式耳機、耳塞及類似者)對使用者而言通常為大型的且不適的。將健康感測能力添加至入耳式裝置受到此類裝置中所需之小形狀因數及所涉及之複雜資料處理及分析的障礙。
在第一具體實例中,一種電腦實施方法包括:從第一電極接收來自入耳式裝置之使用者之第一耳道中的皮膚之第一電子信號;從第一麥克風接收來自入耳式監視器之使用者之第一耳道的第一聲學信號;用第一聲學信號形成聲學波形;用第一電子信號形成電子波形;及基於聲學波形及電子波形而識別使用者之健康狀況。
在第二具體實例中,一種電腦實施方法包括:從第一電極接收來自入耳式裝置之使用者之第一耳道中的皮膚之第一電子信號;將第一電磁輻射傳輸至入耳式裝置之使用者之耳道中;從電磁偵測器接收指示回應於第一電磁輻射的第二電磁輻射之信號;用第一電信號形成電子波形;基於第一電磁輻射及第二電磁輻射而形成電磁波形;及基於電子波形及電磁波形而識別使用者之健康狀態。
在第三具體實例中,一種電腦實施方法包括:從入耳式監視器之使用者之身體接收指示電活動中之一者的第一波形;接收指示聲學信號、入耳式監視器之使用者的內部運動或入耳式監視器之使用者之整體運動中的一者的第二波形;產生一陣列值,其中各值包括由係數加權之第一波形及第二波形之部分;從該陣列值識別使用者之狀況;基於使用者之狀況與基本真實狀況之間的比較而判定損失值;且在該損失值大於預先選擇臨限值時更新係數中之至少一者。
在第四具體實例中,一種電腦實施方法包括:從入耳式裝置中之感測器接收指示入耳式裝置之使用者之生命徵象的信號;用指示來自使用者之生命徵象之信號更新入耳式裝置的使用者之醫療狀況之時間線;基於醫療狀況之時間線而判定使用者之醫療狀況的趨勢;識別相對於參考趨勢線之醫療狀況之趨勢中的一或多個偏差;及基於一或多個偏差而投影入耳式裝置之使用者之醫療結果。
在其他具體實例中,一種非暫時性電腦可讀媒體儲存指令,該等指令在由處理器執行時使得電腦進行方法。該方法包括:從第一電極接收來自入耳式裝置之使用者之第一耳道中的皮膚之第一電子信號;從第一麥克風接收來自入耳式監視器之使用者之第一耳道的第一聲學信號;用第一聲學信號形成聲學波形;用第一電子信號形成電子波形;及基於聲學波形及電子波形而識別使用者之健康狀況。
在又其他具體實例中,一種系統包括用以儲存指令之第一構件及用以執行該等指令以使得系統進行方法之第二構件。該方法包括:從第一電極接收來自入耳式裝置之使用者之第一耳道中的皮膚之第一電子信號;從第一麥克風接收來自入耳式監視器之使用者之第一耳道的第一聲學信號;用第一聲學信號形成聲學波形;用第一電子信號形成電子波形;及基於聲學波形及電子波形而識別使用者之健康狀況。
此等及其他具體實例將鑒於下文而對所屬領域中具通常知識者變得顯而易見。
在以下詳細描述中,闡述諸多具體細節以提供對本發明之充分理解。然而,對於所屬技術領域中具有通常知識者將顯而易見,可在並無此等具體細節中之一些細節的情況下實踐本發明之具體實例。在其他情況下,尚未詳細展示熟知結構及技術以免混淆本揭示。
一般概述
頭戴式裝置(例如穿戴在頭部上之裝置,包括但不限於可聽設備、智慧型眼鏡、AR/VR耳機及智慧型眼鏡等)提供機會以存取有價值之健康資訊。
耳部(例如,耳道及耳甲及耳廓)與大腦、身體化學及指示大腦活動及心肺呼吸活動之血管及體內溫度非常接近。更特定言之,包括電極、慣性運動單元(inertial motion unit;IMU)、加速計及麥克風之感測器可置放在耳道內部或耳部周圍(在AR/VR耳機或智慧型眼鏡之情況下)以感測大腦、心臟及眼部電生理活動(例如,腦電圖、EEG、心電圖、ECG、眼電圖、EOG、皮膚電圖、EDA及類似者);或感測生命徵象(心跳速率、呼吸速率、血壓、體溫及類似者);或感測身體化學(例如,血液酒精含量、血糖估計及類似者)。
如本文所揭示之具體實例提供耳部中之溫度量測為有吸引力的,此是因為耳部接近於體內溫度。舉例而言,穿過耳膜之動脈直接經由下丘腦饋入,該下丘腦為控制體溫之大腦部分。因此,相較於在諸如腕部及手指之其他身體位置處具有溫度感測器,此可為使用者提供更準確之連續核心體溫感測。另外,耳道中之血管及神經結構之高密度使其從連續及不顯見之監測及量測之觀點而言成為方便存取的豐富資訊區域。
一些具體實例包括麥克風,諸如用以偵測運動之接觸式麥克風、內部麥克風及外部麥克風、聲學麥克風及類似者。除麥克風以外,如本文中所揭示之入耳式裝置亦可包括揚聲器以產生聲音信號及將聲音信號提供至入耳式裝置之使用者。
如本文中所揭示之具體實例中之電極可用於EOG、ECG及EEG量測,例如用於判定聽覺注意力;心跳速率估計、呼吸速率及類似者、聽覺穩態回應-ASSR-、聽覺腦幹回應-ABR-。在一些具體實例中,如本文所揭示之入耳式電極可適用於量測可追蹤鬆弛/活動之靜態電振盪(EEG中之α波)。藉由其他量測(例如,光體積變化描記圖法、PPG)之組合,開啟診斷可能性之新分支。入耳式EEG量測可應用於追蹤使用者注意力(例如,區分注意力焦點與眼部凝視方向)。
本文中所揭示之方法及裝置包括AR/VR耳機使用者之耳部中及周圍的運動、光學、聲學、運動感測器、化學感測器及溫度感測器,結合由以上感測器提供之信號之軟體相關性,以產生對使用者之綜合診斷及健康評估。
本文中所揭示之特徵中之一些包括使用紅外感測及頻譜學技術進行之入耳式或頭戴式體溫感測。在一些具體實例中,如本文中所揭示之感測器之接觸區域包括耳道(如入耳式耳塞中)及耳甲碗內(人類耳廓中)、人類耳頂部上之區域(眼鏡所在之位置)及耳機或智慧型眼鏡之鼻襯墊中之區域(眼鏡位於鼻子上之位置)。一些量測可包括在耳內或耳周圍之葡萄糖含量感測、酒精感測、體溫、血壓及類似者。一些具體實例包括用以使用光學及電信號(例如,分別為PPG + ECG感測器)之組合或使用電及聲學或基於運動之資訊(例如,分別為ECG+聲學或運動感測器)之組合而估計眼鏡/耳機裝置之血壓的脈衝傳輸時間(pulse transit time;PTT)方法。一些具體實例包括基於光學之脈衝傳輸時間(PTT)方法以使用從多種不同波長收集之光學信號之組合(例如,使用具有多於一個不同波長之PPG感測器)估計眼鏡/耳機裝置之血壓。一些具體實例使用光學感測技術(optical sensing technique;PPG)結合深度神經網路獲得使用者之血壓以基於使用PPG資訊及對應基本真實血壓資訊兩者來訓練網路。一些具體實例包括基於運動之脈衝傳輸時間(PTT)方法以使用運動感測器及電信號(例如,分別為IMU+ ECG感測器)之組合來估計眼鏡/耳機裝置之血壓。一旦完全經過訓練,神經網路接著可使用僅PPG資訊且利用此預訓練之網路來量化及預測使用者之血壓。為進一步改良準確性,一些主觀校準可為合乎需要的。在一些具體實例中,如本文中所揭示之在IEM裝置中收集之PPG信號可能夠藉由分析大腦之經氧化及脫氧血流(經氧化及去氧血紅蛋白)來估計使用者的認知負荷。一些具體實例包括經由耳朵周圍之排放物感測酒精含量。一些具體實例併入耳部接觸點周圍之化學感測攝入。在一些具體實例中,IEM裝置可在使用者鍛煉期間進行酒精監測及脂肪燃燒。
範例系統架構
圖1說明根據一些具體實例之架構10中之AR耳機110-1及入耳式監視器(IEM)100,該架構經組態以評估使用者101之健康。IEM 100插入使用者101之耳部170中,達至耳道161。AR耳機110-1可包括具有儲存指令之記憶體電路120之智慧型眼鏡及經組態以執行指令以進行如本文所揭示之方法中之步驟的處理器電路112。AR耳機110-1(或智慧型眼鏡)亦可包括通信模組118,該通信模組經組態以與使用者在AR耳機110-1(及/或入耳式裝置100,及/或智慧型手錶或以上各者之組合)與行動裝置110-2(AR耳機110-1及行動裝置110-2將在下文中統稱為「用戶端裝置110」)之間無線地傳輸資訊(例如,資料集103-1)。通信模組118可經組態以與網路150介接以與網路150上之其他裝置發送及接收資訊(諸如資料集103-1、資料集103-2及資料集103-3)、請求、回應及命令。在一些具體實例中,通信模組118可包括例如數據機或乙太網路卡。用戶端裝置110可進而經由網路150與遠端伺服器130及資料庫152以通信方式耦接,且彼此傳輸/共用資訊、檔案及其類似者(例如,資料集103-2及資料集103-3)。資料集103-1、103-2及103-3將在下文中統稱為「資料集103」。網路150可包括例如區域網路(local area network;LAN)、廣域網路(wide area network;WAN)、網際網路及其類似者中之任一或多者。此外,網路可包括但不限於以下網路拓樸中之任一或多者,包括匯流排網路、星形網路、環形網路、網狀網路、星形匯流排網路、樹或階層式網路及其類似者。
在一些具體實例中,如本文中所揭示之方法中之步驟中的至少一者藉由處理器112進行,從而將資料集103-1提供至行動裝置110-2。行動裝置110-2可進一步處理信號且經由網路150將資料集103-2提供至資料庫152。遠端伺服器130可從多個AR耳機110-1及行動裝置110-2以形式收集資料集103-2且進行進一步計算。另外,具有來自一群個體之聚集資料,遠端伺服器可進行有意義的統計。倘若所涉及使用者中之各者已同意去個人化或匿名化資料之使用,則可建立此資料週期。在一些具體實例中,遠端伺服器130及資料庫152可以由健康照護網路或健康照護設施或機構(例如,醫院、大學、政府機構、診所、健康保險網路及其類似者)代管。行動裝置110-2、AR耳機110-1、入耳式裝置100及其中之應用程式可由不同服務提供商(例如,網路載子、應用開發者及其類似者)代管。此外,AR耳機110-1及行動裝置110-2可來自不同的製造商。使用者101最終為資料集103-1及從其導出之所有資料(例如,資料集103)之唯一擁有者,且因此所有資料流(例如,資料集103)在由不同實體提供、處置或調節時由使用者101授權,且由網路150、伺服器130、資料庫152及行動裝置110-2保護隱私及安全。
圖2說明根據一些具體實例之擴增實境生態系統200,該系統包括耳部205-1、腕部205-2、胸205-3中之可穿戴裝置(例如,IEM)及智慧型眼鏡感測器205-4以評估使用者201之健康。在一些具體實例中,IEM 205-1進一步包括經組態以經由資料獲取模組(data acquisition;DAQ)230將光學信號220-1提供至電腦240中之處理器的光學感測器。IEM 205-1可進一步包括經組態以經由資料獲取模組(DAQ)230將電信號提供至電腦240中之處理器之一或多個接觸電極。電腦240經組態以基於來自IEM 205-1之第一電子信號及光學信號220-1而識別使用者201之心血管狀況。在一些具體實例中,IEM 205-1進一步包括經組態以經由DAQ 230將基於運動之信號提供至電腦240的運動感測器(例如,加速度計、接觸式麥克風或IMU)。在一些具體實例中,一對IEM 205將置放於兩邊耳部中,且不同光學、電(電極)、聲學(麥克風)或運動感測器(加速計、IMU、接觸麥克風等)可置放於兩側中;或在一些情況下,一些感測器可置放於一側(例如,右側)上,且一些其他感測器可置放於另一側(例如,左側)上。電腦240經組態以基於來自IEM 205-1之第一電子信號及運動信號而識別使用者之心血管狀況。光學感測器可為光體積描記(PPG)感測器且光學信號220-1可包括指示使用者201之耳部內之血管活動之數位或類比信號。胸部感測器205-3及智慧型眼鏡感測器205-4可包括ECG感測器以分別從使用者201之胸部及臉部(例如,耳朵外部、下頜及鼻子)周圍之一或多個區域提供分佈式信號220-3及220-4(或替代地,ECG可從置放於頭部上之一些電極或從置放於IEM 205-1中之電極或置放於腕部裝置205-2上之電極收集),且裝置205-2中之腕部PPG感測器可提供單獨信號220-2以用於圍繞使用者201之腕部的血管活動。IEM 205-1、腕部感測器205-2、胸部感測器205-3及智慧型眼鏡感測器205-4在下文中將統稱為「可穿戴裝置(及感測器)205」。血壓(Blood pressure;BP)量測可利用封套或無封套BP監視器210獲得且亦可藉由比較PPG信號220-1及220-2來判定。信號220-1、220-2、220-3及220-4(下文統稱為「信號220」)可由電腦240中之DAQ 230收集且數位化以用於處理。在一些具體實例中,信號220及其他可為有線的或無線的。在一些具體實例中,可較佳地具有與使用者201之不同穿戴裝置205之間的無線信號通信。在一些具體實例中,可穿戴裝置及感測器205可包括一或多個運動感測器,且從智慧型眼鏡、IEM、胸部或腕部收集之基於運動的資訊可組合以產生更有意義之資訊。
圖3A至圖3D說明根據一些具體實例之入耳式監視器(IEM) 300A、300B、300C及300D(下文中統稱為「IEM 300」)之不同具體實例。IEM 300可包括:前端301-1,其包括感測器且對耳道361及耳膜362開放;及後端301-2,其包括處理器312。IEM 300可包括諸如以下各者之感測器:用以感測電信號之電極305、聲學感測器325-1及325-2(例如,在下文中統稱為「麥克風325」)、運動感測器327(例如,加速計、接觸式麥克風、慣性運動單元-IMU及其類似者)、溫度感測器329及包括發射器321及偵測器323(例如,PPG感測器中之LED及PD、基於頻譜、基於傅立葉變換之功能近紅外線頻譜fNIRS感測器)之光學感測器。電極305可包括用於諸如EEG、ECG、EOG及EDA之應用程式之生物電位電極。在一些情況下,入耳式固定裝置340(亦稱為耳尖)可完全由軟式導電材料製成;因此,整個耳尖將為導電的且將充當軟式電極。另外,處理器312可經由數位類比及/或模數轉換器(digital-to-analog converter;DAC/analog-to-digital converter;ADC)330處置用於組件及感測器321、323、324(揚聲器)、325-1(內部麥克風)、325-2(外部麥克風,下文中統稱為「麥克風325」)、327及329之信號獲取及控制的操作中之至少一些。處理器312可包括協作以處理來自感測器之信號(雜訊降低、平衡、過濾及擴增)之前饋級311ff及回饋級311fb。
在一些具體實例中,電極305包括經組態以從使用者耳道中之皮膚傳輸電流之接觸電極。在一些具體實例中,電極305塗佈有金層、銀層、氯化銀層或其組合中之至少一者。在一些具體實例中,電極305包括安置成與使用者之皮膚充分接近但不接觸之電容耦合電極。在一些具體實例中,IEM 300進一步包括安裝於入耳式固定裝置340上之至少一個第二電極305,該第二電極305經組態以從耳道361中之皮膚接收第二電子信號。在一些具體實例中,入耳式固定裝置340可完全由軟式導電材料(例如,導電聚合物、導電黏著劑、導電塗料等)製成;因此,整個耳尖將為導電的且將充當軟式電極以從耳道之皮膚收集電信號。在一些具體實例中,處理器312經組態以在第一電子信號之品質高於預選臨限值時選擇第一電子信號。在一些具體實例中,處理器312經組態以用第二電子信號減少來自第一電子信號之雜訊背景。在一些具體實例中,處理器312經組態以從第一電子信號判定使用者之心跳速率。在一些具體實例中,處理器312經組態以從對應於在外部麥克風中接收之聲學刺激之第一電子信號來判定大腦活動。
AR耳機或智慧型眼鏡中之IEM 300可包括:入耳式固定裝置340,其經組態以氣密封使用者之耳道;第一電極305,其安裝於入耳式固定裝置340上且經組態以從耳道361中之皮膚接收第一電子信號;及內部麥克風325-1,其經耦接以接收經由耳道361傳播之內部聲學信號。聲學前端包括內部麥克風325-1,其經組態以偵測經由耳道361傳播且由身體內部產生之聲波(x
BC(t))(例如,約<100Hz之心跳速率、約50Hz至1000Hz之呼吸速率及喉腔中之其他聲音)。外部麥克風325-2經耦接以接收經由使用者之環境傳播之外部聲學信號x(t)。在一些具體實例中,與外部信號x(t)結合之內部信號x
BC(t)可用於聲學程序中,諸如音訊串流、聽通、主動雜訊消除(active noise cancelation;ANC)、聽覺校正、虛擬存在及空間音訊、呼叫服務及其類似者。在一些具體實例中,以上程序中之至少一些在左耳與右耳IEM監視器300之間結合來進行。
在一些具體實例中,揚聲器324及內部麥克風325-1可為自混合干涉儀(self-mixing interferometer;SMI)之部分。SMI為緊密、低功率、廉價及敏感聲學干涉裝置,該裝置經組態以基於所發射聲波之一部分與從皮膚反射之聲波之間的聲學干擾圖案而量測皮膚之位移。在一些具體實例中,用SMI獲得之皮膚之位移與心跳速率量測(例如,來自PPG感測器、運動感測器或ECG電極)結合以量測血壓及心跳速率,或甚至亦充當內部麥克風之耳膜振動。
IEM 300B包括密封墊片341,該密封墊片將耳道361之內部部分與環境分離,留下背面容積通風口,該背面容積通風口包括用於均壓器(pressure equalizer;PEQ)管342之聲學電阻網344以通風至電阻網344(亦展示於IEM 300C中)。密封空腔可在低功率使用下及在小形狀因數下實現呼吸及心跳速率監測(例如,隔離來自內部聲學麥克風325-1之信號)。
IEM 300C說明處理器電路312以基於第一電子信號、內部聲學信號及外部聲學信號(例如,來自麥克風325)中之至少一者而識別使用者之心血管狀況或神經狀況。一些具體實例可包括電耦接IEM與VR耳機或智慧型眼鏡之向下纜線345(包括應變消除343)。
IEM 300D說明將內部電連接提供至不同組件及感測器321、323、324、325、327及329之可撓性印刷電路板(printed circuit board;FPCB)342。
圖4說明根據一些具體實例之與ECG信號415結合之IEM信號410及血壓回歸圖420。在一些具體實例中,入耳式麥克風信號形成可與由入耳式電極(例如,電極305)或安置於可穿戴裝置(例如,智慧型手錶或腕帶205-2及類似者)上的任何電極提供之ECG信號415重疊的聲學波形410。在一些具體實例中,可使用來自IMU(例如,加速計、陀螺儀)之運動感測器信號而非IEM信號410。ECG信號415提供用於心臟脈衝之開始之參考時間,從該心臟脈衝可識別心跳聲音之聲學波形410之收縮部分405及舒張部分407。因此,ECG信號415中之初始電子脈衝與舒張部分407之間的時間流逝417可指示使用者之血壓401或具有與使用者之血壓401之直接相關性(例如,收縮部分405與舒張部分407之間的比率402)。識別使用者之血壓401之其他相關因素可包括收縮部分405之振幅與舒張部分407的振幅之間的比率。
在一些具體實例中,收縮部分405及舒張部分407之頻譜特性亦可指示使用者之生命徵象。通常觀察到,收縮部分405包括較窄頻寬,而舒張部分407具有較寬頻寬。
圖5為說明根據一些具體實例之用IEM中之接觸式麥克風獲得之波形510以判定使用者之心跳速率的圖500。圖500包括橫座標501(例如,以秒為單位之時間)及縱座標502(信號振幅)。從IEM使用者之耳道內部之接觸式麥克風獲得波形510。在一些具體實例中,可藉由IMU、加速計及其類似者獲得類似波形。基本真實ECG 515包括使用者之心跳之R峰值517的位置。
圖6說明根據一些具體實例之具有用於識別入耳式裝置之使用者的健康狀況之耳部PPG波形610-1、ECG波形610-2及腕部PPG波形610-3(下文統稱為「波形610」)之組合的圖600。圖600繪製具有橫座標601(例如,時間)縱座標602(例如,信號振幅)之波形610。可觀察到耳部PPG波形610-1之峰612比腕部PPG波形610-3之峰613(頭部比腕部更接近於心臟)更早(約30至40毫秒)出現。耳部PPG波形610-1之另一態樣為相較於腕部PPG波形610-3,此等特徵更明顯,此是因為耳中或耳周圍之動脈較佳灌注。
其他量測可從從接觸式麥克風所收集之波形獲得。此等因素除了心跳速率及呼吸速率之外亦包括(但不限於):步數、姿勢估計及跌倒偵測。此外,一些具體實例使得能夠使用結合接觸式麥克風/運動感測器與ECG感測器之脈衝傳輸時間(PTT)技術進行血壓估計。
耳部PPG峰612與腕部PPG峰613之間的時間流逝為約32毫秒。PTT技術判定耳部PPG波形中峰值點612與基點611之間的時間為約211毫秒。腕部PPG波形610-3中之PTT為約243毫秒。上述條件下之血壓為:Sys:132 mmHg/Dia:88 mmHg/HR:75/分鐘。因此,在一些具體實例中,以上特徵可相關以尋找(例如)作為PTT之函數之收縮血壓(systolic blood pressure;SBP)、或在來自耳部波形610-1與腕部PPG波形610-3之間的特徵之間的PTT差異,或耳部PPG波形610-1與腕部PPG波形610-3之間的時延,或耳部PPG波形610-1與610-3中之特徵與ECG波形610-2中之特徵之間的時延。
圖7說明根據一些具體實例之用以組合波形610中之特徵以識別入耳式裝置之使用者之健康狀況的回歸方法720A及720B。舉例而言,可在不同條件下(白天(712a-1及712b-1)、夜間(712a-2及712b-2)及全天週期(712a-3及712b-3))分別獲得不同曲線以用於使PTT量測701與SBP量測702相關。因此,從耳部或腕部PPG波形中之一者之PTT量測可提供SBP指示。為了增強SBP預測之準確度,可指示使用者使用基本真實血壓系統(例如,基於袖口之臂血壓監視器)進行一次校準。在此具體實例中,使用者可在正使用入耳式裝置、眼鏡及/或腕部捕獲感測器信號資料時捕獲基本真實BP資訊;或所有此等的組合。使用者可需要捕獲靜止時及在升高血壓值下(例如,當使用者進行一些訓練時)之基本真實BP資訊以在多種SBP值下獲得此類回歸曲線。
在一些具體實例中,入耳式麥克風及接觸式麥克風可擷取與使用者之生命徵象相關聯之身體攜帶次聲及低頻聲音。信號處理技術結合人工智慧(artificial intelligence;AI)處理可用於從此等聲學波形(例如,心跳速率、心跳速率可變性、呼吸速率及血壓)提取使用者之生命徵象。
圖8為說明根據一些具體實例之在入耳式監視器中使用麥克風、運動感測器、光學感測器、電極及溫度計以用於評估耳機或智慧型眼鏡之使用者之健康的方法800中之步驟的流程圖。在一些具體實例中,方法800中之步驟中之至少一或多者可藉由處理器進行,該處理器執行儲存在智慧型眼鏡或使用者之身體部位(例如頭部、手臂、腕部、腿、腳踝、手指、腳趾、膝部、肩部、胸部、背部及其類似者)上之其他可穿戴裝置中的任一者中之記憶體中的指令。在一些具體實例中,方法800中之步驟中之至少一或多者可藉由執行儲存於記憶體中之指令之處理器進行,其中處理器或記憶體或兩者為用於使用者之行動裝置、遠端伺服器或資料庫的部分,該裝置、伺服器或資料庫經由網路以通信方式彼此耦接(參見處理器112、312及記憶體120、用戶端裝置110、伺服器130、資料庫152及網路150)。此外,行動裝置、智慧型眼鏡及可穿戴裝置可經由無線通信系統及協定(例如,通信模組118、無線電、WiFi、藍牙、近場通信-NFC-及類似者)以通信方式彼此耦接。在一些具體實例中,與本發明一致之方法可包括來自方法800之一或多個步驟,該一或多個步驟按任何次序、同時、凖同時或在時間上重疊地進行。
步驟802包括從第一電極接收來自入耳式裝置之使用者之第一耳道中之皮膚的第一電子信號。在一些具體實例中,步驟802包括從第二電極接收來自入耳式裝置之使用者之第一耳道中之皮膚的第二電子信號且用第一電子信號移除來自第一電子信號之干擾。在一些具體實例中,步驟802包括從第二電極接收來自入耳式裝置之使用者之第二耳道中之皮膚的第二電子信號,及基於第一電子信號及第二電子信號而識別眼部凝視方向。在一些具體實例中,步驟802包括:回應於聲學刺激而從入耳式裝置中之外部麥克風接收聲學信號;使聲學信號與第一電子信號相關;及基於來自第一電子信號及聲學刺激之大腦活動而評估對聲學刺激之使用者回應。在一些具體實例中,步驟802包括:從第二麥克風接收來自入耳式監視器之使用者之第一耳道的第二聲學信號;用從第二聲學信號過濾之第一聲學信號形成第二波形;及經由揚聲器將第二波形提供至使用者,其中第二聲學信號為來自使用者之外部環境之音訊信號。在一些具體實例中,步驟802包括用揚聲器為使用者將聲音信號提供至第一耳道中,其中第一聲學信號包括來自內耳之聲音信號之背向反射,且其中識別使用者之健康狀況包括基於聲音信號之背向反射之延遲及振幅而判定使用者之聽力狀況。在一些具體實例中,第一聲學信號包括藉由使用者產生為輸入命令之聲音手勢,且步驟802包括從聲學波形識別輸入命令,及在智慧型眼鏡中具有處理器以執行輸入命令。
在一些具體實例中,為改良信號雜訊比,步驟802可包括從第二電極接收來自入耳式裝置雙耳捕獲及處理之使用者之第一耳道中的皮膚之第一電子信號(意謂此等資料同時從左耳及右耳兩者捕獲)。
步驟804包括從第一麥克風接收來自入耳式監視器之使用者之第一耳道的第一聲學信號。
步驟806包括用第一聲學信號形成聲學波形。
步驟808包括用第一電子信號形成電子波形。
步驟810包括基於聲學波形及電子波形而識別使用者之健康狀況。在一些具體實例中,步驟810包括對電子波形進行頻譜分析以識別心電圖中之p波、QRS複合波及T複合波。在一些具體實例中,第一聲學信號為來自使用者之身體之內部信號且步驟810包括基於聲學波形而判定使用者之心跳速率。在一些具體實例中,步驟810包括產生聲學波形之頻譜圖;及從該聲學波形之頻譜圖識別心跳速率值或血壓值中之至少一者。在一些具體實例中,第一聲學信號為來自使用者之身體之內部信號且步驟810包括判定使用者之心跳速率。在一些具體實例中,步驟810包括基於第一電子信號與第一聲學信號之相關性而識別聲學波形之收縮部分及舒張部分,及用聲學波形之收縮部分及舒張部分判定血壓值。在一些具體實例中,步驟810包括從入耳式裝置中之運動感測器接收指示入耳式裝置之使用者的內部身體運動或全體運動之運動信號,及用運動信號形成運動波形,其中識別使用者之健康狀況包括比較電子波形與運動波形。在一些具體實例中,步驟810包括從第二入耳式裝置中之第二運動感測器接收指示內部身體運動或全體運動之第二運動信號,且其中形成運動波形包括用第二運動信號移除來自運動信號之雜訊分量或干擾中之至少一者。在一些具體實例中,運動信號指示內部身體運動,且步驟810包括基於內部身體運動而判定使用者之心跳速率及呼吸速率中的至少一者。在一些具體實例中,運動信號指示使用者之全體運動,且步驟810包括以下中之至少一者:偵測使用者之跌倒、使用者之咳嗽、使用者之打噴嚏或判定使用者之步數。在一些具體實例中,步驟810包括從運動波形識別收縮心臟脈衝及舒張心臟脈衝,且步驟810包括識別收縮心臟脈衝及舒張心臟脈衝中之特徵。在一些具體實例中,步驟810包括用運動波形過濾雜訊分量及來自音訊信號對安裝於入耳式裝置中之揚聲器的干擾中之一者,且用揚聲器將音訊信號提供至使用者。在一些具體實例中,步驟810包括從溫度感測器接收指示入耳式裝置之使用者之體內溫度之溫度信號,及用溫度信號形成溫度波形,其中識別使用者之健康狀況包括將電子波形或聲學波形中之一者與溫度波形比較。在一些具體實例中,接收溫度信號包括藉由紅外線偵測器及過濾器從使用者之耳道收集預選頻寬中之紅外線輻射。在一些具體實例中,接收溫度信號包括基於在體溫範圍內之偵測靈敏度而過濾頻寬內之紅外線輻射。在一些具體實例中,步驟810包括在所選頻寬內模型化具有使用者之耳道之所選發射率的黑體發射器,及基於耳道之所選發射率而判定體內溫度。在一些具體實例中,接收溫度信號包括將紅外線輻射發射至使用者之耳道中(或在耳膜上)及在預先選擇之頻寬內判定耳道中之組織的發射率及吸收率以校準溫度信號。在一些具體實例中,接收溫度信號包括將紅外線輻射提供至耳道(或耳膜)及收集反向散射紅外線輻射以將耳道(或耳膜)之發射率值及吸收率值校準至溫度波形中。在一些具體實例中,接收溫度信號包括從與使用者之耳道接觸之熱電偶電極接收電壓值。
圖9為說明根據一些具體實例之在入耳式監視器中使用麥克風、運動感測器、光學感測器、電極及溫度計來評估耳機或智慧型眼鏡之使用者之健康的方法900中之步驟的流程圖。在一些具體實例中,方法900中之步驟中之至少一或多者可藉由處理器進行,該處理器執行儲存在智慧型眼鏡或使用者之身體部位(例如頭部、手臂、腕部、腿、腳踝、手指、腳趾、膝部、肩部、胸部、背部及其類似者)上之其他可穿戴裝置中的任一者中之記憶體中的指令。在一些具體實例中,方法900中之步驟中之至少一或多者可藉由執行儲存於記憶體中之指令之處理器進行,其中處理器或記憶體或兩者為用於使用者之行動裝置、遠端伺服器或資料庫的部分,該裝置、伺服器或資料庫經由網路以通信方式彼此耦接(參見處理器112、312及記憶體120、用戶端裝置110、伺服器130、資料庫152及網路150)。此外,行動裝置、智慧型眼鏡及可穿戴裝置可經由無線通信系統及協定(例如,通信模組118、無線電、WiFi、藍牙、近場通信-NFC-及類似者)以通信方式彼此耦接。在一些具體實例中,與本發明一致之方法可包括來自方法900之一或多個步驟,該一或多個步驟按任何次序、同時、凖同時或在時間上重疊地進行。
步驟902包括從第一電極接收來自入耳式裝置之使用者之第一耳道中之皮膚的第一電子信號。
步驟904包括將第一電磁輻射傳輸至入耳式裝置之使用者的耳道中。在一些具體實例中,第一電磁輻射包括時間多工程式碼且接收指示第二電磁輻射之信號包括根據時間多工程式碼解碼信號。在一些具體實例中,步驟904可包括傳輸多個雷射源(例如,各自覆蓋從λ
1至λ
n之數個不同波長範圍,覆蓋從近紅外線至紅外線(約700 nm至4 µ波長範圍)之寬頻寬)。在一些具體實例中,步驟904包括依序照明耳道,每次照明各雷射。
步驟906包括從電磁偵測器接收指示回應於第一電磁輻射之第二電磁輻射的信號。在一些具體實例中,第二電磁輻射指示嵌入於入耳式裝置中之晶片中之功能層的光學性質之變化,且步驟906包括基於功能層之光學性質之變化而判定預選擇之目標物質的存在,其中健康狀況與預選擇之目標物質的存在相關。在一些具體實例中,第二電磁輻射對應於多個雷射源中之各者在特定波長範圍中之透射及/或反射,且使用偵測器來量測。
步驟908包括用第一電子信號形成電子波形。
步驟910包括基於第一電磁輻射及第二電磁輻射而形成電磁波形。
步驟912包括基於電子波形及電磁波形而識別使用者之健康狀況。在一些具體實例中,第一電磁輻射與安置於入耳式裝置中之金屬層之電漿模式共振,且步驟912包括基於電漿共振對第二電磁輻射之變化而判定預選擇目標物質之存在。在一些具體實例中,第二電磁輻射包括第一電磁輻射之反向散射部分,且步驟912包括基於第一電磁輻射之反向散射部分之波形而識別心肺狀況。在一些具體實例中,第一電磁輻射與第二電磁輻射之間的差異指示使用者之耳道中之所選分子的痕量且識別使用者之健康狀況包括判定所選分子之濃度高於健康臨限值。在一些具體實例中,使用者之健康狀況為糖尿病狀況,且步驟912包括監測使用者之血糖含量。因此,第二電磁輻射可指示指示使用者之血糖含量之唯一反射及透射頻譜。因此,步驟912可包括從內耳道之血管識別多頻帶反射頻譜,以用於遠端且連續地監測使用者之血糖含量。
圖10為說明根據一些具體實例之在入耳式監視器中使用麥克風、運動感測器、光學感測器、電極及溫度計以用於評估耳機或智慧型眼鏡之使用者之健康的方法1000中之步驟的流程圖。在一些具體實例中,方法1000中之步驟中之至少一或多者可藉由處理器進行,該處理器執行儲存在智慧型眼鏡或使用者之身體部位(例如頭部、手臂、腕部、腿、腳踝、手指、腳趾、膝部、肩部、胸部、背部及其類似者)上之其他可穿戴裝置中的任一者中之記憶體中的指令。在一些具體實例中,方法1000中之步驟中之至少一或多者可藉由執行儲存於記憶體中之指令之處理器進行,其中處理器或記憶體或兩者為用於使用者之行動裝置、遠端伺服器或資料庫的部分,該裝置、伺服器或資料庫經由網路以通信方式彼此耦接(參見處理器112、312及記憶體120、用戶端裝置110、伺服器130、資料庫152及網路150)。此外,行動裝置、智慧型眼鏡及可穿戴裝置可經由無線通信系統及協定(例如,通信模組118、無線電、WiFi、藍牙、近場通信-NFC-及類似者)以通信方式彼此耦接。在一些具體實例中,與本發明一致之方法可包括來自方法1000之一或多個步驟,該一或多個步驟按任何次序、同時、凖同時或在時間上重疊地進行。
步驟1002包括從入耳式監視器之使用者之身體接收指示電活動中之一者的第一波形。
步驟1004包括接收指示聲學信號、入耳式監視器之使用者的內部運動或入耳式監視器之使用者的整體運動中之一者的第二波形。
步驟1006包括產生值陣列,其中各值包括藉由係數加權之第一波形及第二波形之部分。在一些具體實例中,步驟1006包括使第一波形及第二波形中之各者與從歷史資料庫為入耳式監視器之使用者擷取之基線波形形成二維卷積。在一些具體實例中,步驟1006包括從健康照護資料庫擷取多個使用者之基線波形且使第一波形及第二波形與基線波形卷積。在一些具體實例中,第一波形為腦電圖,且第二波形為聲音波形,且步驟1006包括使腦電圖與聲音波形相關以產生使用者之注意力係數比聲音波形之源的值。在一些具體實例中,步驟1006包括使分類器與第一波形或第二波形之部分相關聯,該分類器與來自使用者之生命徵象相關聯。在一些具體實例中,第一波形為心電圖,且第二波形指示使用者體內之心血管運動,且步驟1006包括使心電圖與使用者體內之心血管運動相關,且該等值陣列包括指示使用者血壓之至少一個特徵。在一些具體實例中,使用者之內部運動為打噴覆或咳嗽,第二波形指示使用者之體內溫度,且步驟1006包括使體內溫度與使用者之內部運動及疾病狀況相關。在一些具體實例中,使用者之內部運動為打噴覆或咳嗽,第二波形指示使用者之體內溫度,且步驟1006包括使體內溫度與使用者之內部運動及疾病狀況相關。在一些具體實例中,第一波形為腦電圖,且步驟1006包括判定聲學信號與腦電圖之間的相關性,且識別使用者之情況包括基於聲學信號及相關性之振幅而識別聽覺回應臨限值。
步驟1008包括從值陣列識別使用者狀況。在一些具體實例中,第一波形指示使用者之眼部之位置,且步驟1008包括判定使用者之凝視方向。
步驟1010包括基於使用者之狀況與基礎真實狀況之間的比較而判定損失值。
步驟1012包括在損失值大於經預先選擇臨限值時更新係數中之至少一者。
圖11為說明根據一些具體實例之產生隨時間推移之量測資料以產生參考及趨勢線之方法1100中之步驟的流程圖。在一些具體實例中,方法1100中之步驟中之至少一或多者可藉由處理器進行,該處理器執行儲存在智慧型眼鏡或使用者之身體部位(例如頭部、手臂、腕部、腿、腳踝、手指、腳趾、膝部、肩部、胸部、背部及其類似者)上之其他可穿戴裝置中的任一者中之記憶體中的指令。在一些具體實例中,方法1000中之步驟中之至少一或多者可藉由執行儲存於記憶體中之指令之處理器進行,其中處理器或記憶體或兩者為用於使用者之行動裝置、遠端伺服器或資料庫的部分,該裝置、伺服器或資料庫經由網路以通信方式彼此耦接(參見處理器112、312及記憶體120、用戶端裝置110、伺服器130、資料庫152及網路150)。此外,行動裝置、智慧型眼鏡及可穿戴裝置可經由無線通信系統及協定(例如,通信模組118、無線電、WiFi、藍牙、近場通信-NFC-及類似者)以通信方式彼此耦接。在一些具體實例中,與本發明一致之方法可包括來自方法1100之一或多個步驟,該一或多個步驟按任何次序、同時、凖同時或在時間上重疊地進行。
步驟1102包括從入耳式裝置中之感測器接收指示入耳式裝置之使用者之生命徵象的信號。在一些具體實例中,步驟1102包括組合來自入耳式裝置中之一或多個感測器之多個信號,該等信號包含至少電子信號、聲學信號及光學信號。在一些具體實例中,步驟1102包括接收心電圖信號及聲學信號,且更新醫療資訊之時間線包含組合心電圖信號及聲學信號以判定入耳式裝置之使用者的血壓值。在一些具體實例中,步驟1102包括從與入耳式裝置以通信方式耦接之行動裝置接收命令以基於趨勢中之一或多個偏差而調整入耳式裝置中之感測器之組態設定。
步驟1104包括用指示來自使用者之生命徵象之信號更新入耳式裝置之使用者的醫療狀況之時間線。在一些具體實例中,入耳式裝置與藉由入耳式裝置之使用者穿戴的沉浸式實境耳機以通信方式耦接,且步驟1104包括將入耳式裝置之使用者的醫療狀況之時間線從沉浸式實境耳機傳輸至遠端伺服器。
步驟1106包括基於醫療狀況之時間線而判定使用者之醫療狀況之趨勢。在一些具體實例中,入耳式裝置與入耳式裝置之使用者的行動裝置以通信方式耦接,且步驟1106包括存取行動裝置中之應用程式,該行動裝置儲存指示來自入耳式裝置之使用者的生命徵象之多個先前值。
步驟1108包括識別相對於參考趨勢線之醫療狀況之趨勢中的一或多個偏差。在一些具體實例中,步驟1108包括從遠端資料庫接收參考趨勢線。在一些具體實例中,步驟1108包括基於具有入耳式裝置之使用者的人口統計概況之一群個體之醫療狀況的多個時間線而形成參考趨勢線。
步驟1110包括基於該一或多個偏差而投影入耳式裝置之使用者之醫療結果。在一些具體實例中,步驟1110包括從遠端伺服器接收入耳式裝置之使用者的醫療結果。在一些具體實例中,步驟1110包括匿名化使用者之醫療狀況之趨勢及將使用者的醫療狀況的趨勢傳輸至與入耳式裝置以通信方式耦接之遠端伺服器。
硬體概述
圖12為說明根據一些具體實例之可實施耳機及其他用戶端裝置110及方法800至方法1100之例示性電腦系統1200的方塊圖。在某些態樣中,電腦系統1200可使用硬體或軟體與硬體之組合來實施於專屬伺服器中或合併至另一實體中或跨多個實體分佈。電腦系統1200可包括桌上型電腦、膝上型電腦、平板電腦、平板手機、智慧型手機、功能型手機、伺服器電腦或其他。伺服器電腦可遠端地位於資料中心或在本端儲存。
電腦系統1200包括匯流排1208或用於傳達資訊之其他通信機構,以及與匯流排1208耦接以用於處理資訊之處理器1202(例如,處理器112)。藉助於實例,可用一或多個處理器1202實施電腦系統1200。處理器1202可為通用微處理器、微控制器、數位信號處理器(Digital Signal Processor;DSP)、特殊應用積體電路(Application Specific Integrated Circuit;ASIC)、現場可程式閘陣列(Field Programmable Gate Array;FPGA)、可程式化邏輯裝置(Programmable Logic Device;PLD)、控制器、狀態機、閘控邏輯、離散硬體組件或可進行資訊之計算或其他操縱的任何其他合適實體。
除了硬體之外,電腦系統1200可包括為所討論之電腦程式創建執行環境之程式碼,例如,構成處理器韌體、協定堆疊、資料庫管理系統、作業系統或儲存於所包括記憶體1204(例如,記憶體120)中之前述各者中之一或多者的組合之程式碼,所包括記憶體諸如隨機存取記憶體(Random Access Memory;RAM)、快閃記憶體、唯讀記憶體(Read-Only Memory;ROM)、可程式化唯讀記憶體(Programmable Read-Only Memory;PROM)、可抹除PROM(Erasable PROM;EPROM)、暫存器、硬碟、可移磁碟、CD-ROM、DVD或任何其他合適的儲存裝置,該儲存裝置與匯流排1208耦接以用於儲存待由處理器1202執行的資訊及指令。處理器1202及記憶體1204可由專用邏輯電路補充或併入於專用邏輯電路中。
該等指令可儲存在記憶體1204中,且根據所屬技術領域中具有通常知識者熟知之任何方法於諸如電腦可讀媒體上編碼之電腦程式指令的一或多個模組等一或多個電腦程式產品中實施以供電腦系統1200執行或控制該電腦系統之操作,該等指令包括但不限於如下電腦語言:資料導向語言(例如,SQL、dBase)、系統語言(例如,C、Objective-C、C++、彙編)、架構語言(例如,Java、.NET)和應用語言(例如,PHP、Ruby、Perl、Python)。指令亦可以電腦語言實施,諸如陣列語言、特性導向語言、彙編語言、製作語言、命令行介面語言、編譯語言、並行語言、波形括號語言、資料流語言、資料結構式語言、宣告式語言、深奧語言、擴展語言、第四代語言、函數語言、互動模式語言、解譯語言、反覆語言、串列為基的語言、小語言、以邏輯為基的語言、機器語言、巨集語言、元程式設計語言、多重範型語言(multiparadigm language)、數值分析、非英語語言、物件導向分類式語言、物件導向基於原型的語言、場外規則語言、程序語言、反射語言、基於規則的語言、指令碼處理語言、基於堆疊的語言、同步語言、語法處置語言、視覺語言、wirth語言及基於xml的語言。記憶體1204亦可用於在執行待由處理器1202執行之指令期間儲存暫時變數或其他中間資訊。
如本文所論述之電腦程式未必對應於檔案系統中之檔案。可將程式儲存於保持其他程式或資料(例如儲存於標示語言文件中之一或多個指令碼)之檔案的一部分中、儲存於專用於所討論程式之單一檔案中,或儲存於多個經協調檔案(例如,儲存一或多個模組、子程式或部分程式碼的檔案)中。電腦程式可經部署以在一個電腦上或在位於一個位點或跨越多個位點分佈且由通信網路互連之多台電腦上執行。本說明書中所描述之製程及邏輯流程可由一或多個可程式化處理器進行,該一或多個可程式化處理器執行一或多個電腦程式以藉由對輸入資料進行操作且產生輸出來進行功能。
電腦系統1200進一步包括與匯流排1208耦接以用於儲存資訊及指令之資料儲存裝置1206,諸如磁碟或光碟。電腦系統1200可經由輸入/輸出模組1210耦接至各種裝置。輸入/輸出模組1210可為任何輸入/輸出模組。例示性輸入/輸出模組1210包括諸如USB埠之資料埠。輸入/輸出模組1210經組態以連接至通信模組1212。例示性通信模組1212包括網路連接介面卡,諸如乙太網卡及數據機。在某些態樣中,輸入/輸出模組1210經組態以連接至複數個裝置,諸如輸入裝置1214及/或輸出裝置1216。例示性輸入裝置1214包括鍵盤及指標裝置,例如,滑鼠或軌跡球,消費者可藉由該指標裝置將輸入提供至電腦系統1200。其他種類之輸入裝置1214亦可用於提供與消費者之互動,諸如觸覺輸入裝置、視覺輸入裝置、音訊輸入裝置或腦機介面裝置。舉例而言,提供給使用者之回饋可為任何形式之感測回饋,諸如視覺回饋、聽覺回饋或觸覺回饋;且可從消費者接收任何形式之輸入,包括聲輸入、語音輸入或腦波輸入。例示性輸出裝置1216包括用於向消費者顯示資訊之顯示裝置,諸如LCD(液晶顯示)監視器。
根據本發明之一個態樣,回應於處理器1202執行記憶體1204中含有的一或多個指令之一或多個序列,可至少部分地使用電腦系統1200實施耳機及用戶端裝置110。此等指令可從諸如資料儲存裝置1206等另一機器可讀媒體讀取至記憶體1204中。主記憶體1204中含有之指令序列之執行使處理器1202進行本文中所描述之程序步驟。呈多處理配置之一或多個處理器亦可用以執行主記憶體1204中含有之指令序列。在替代態樣中,硬佈線電路系統可代替軟體指令使用或與軟體指令組合使用,以實施本發明之各種態樣。因此,本發明之態樣不限於硬體電路及軟體之任何特定組合。
本說明書中所描述之主題的各種態樣可在計算系統中實施,該計算系統包括後端組件,例如資料伺服器,或包括中間軟體組件,例如應用伺服器,或包括前端組件,例如具有消費者可與本說明書中所描述之主題之實施方式互動所經由的圖形消費者介面或網路瀏覽器的用戶端電腦,或一或多個此類後端組件、中間軟體組件或前端組件的任何組合。系統之組件可藉由數位資料通信之任何形式或媒體(例如,通信網路)互連。通信網路可包括例如LAN、WAN、網際網路及其類似者中之任一或多者。另外,通信網路可包括但不限於例如以下網路拓樸中之任何一或多者,包括匯流排網路、星形網路、環形網路、網狀網路、星形匯流排網路、樹或階層式網路或類似者。通信模組可例如為數據機或乙太網卡。
電腦系統1200可包括用戶端及伺服器。用戶端及伺服器一般彼此遠離且通常經由通信網路進行互動。用戶端及伺服器之關係藉助於在各別電腦上運行且彼此具有主從式關係的電腦程式產生。電腦系統1200可為例如但不限於桌上型電腦、膝上型電腦或平板電腦。電腦系統1200亦可嵌入於另一裝置中,例如但不限於行動電話、PDA、行動音訊播放器、全球定位系統(Global Positioning System;GPS)接收器、視訊遊戲控制台及/或電視機上盒。
如本文中所使用之術語「電腦可讀儲存媒體」或「電腦可讀媒體」指參與將指令提供至處理器1202以供執行之任一或多個媒體。此類媒體可採用包括但不限於非揮發性媒體、揮發性媒體及傳輸媒體之許多形式。非揮發性媒體包括例如光碟或磁碟,諸如資料儲存裝置1206。揮發性媒體包括動態記憶體,諸如記憶體1204。傳輸媒體包括同軸纜線、銅線及光纖,包括形成匯流排1208之電線。電腦可讀媒體之常見形式包括例如軟磁碟、軟性磁碟、硬碟、磁帶、任何其他磁性媒體、CD-ROM、DVD、任何其他光學媒體、打孔卡、紙帶、具有孔圖案之任何其他實體媒體、RAM、PROM、EPROM、FLASH EPROM、任何其他記憶體晶片或卡匣或可供電腦讀取之任何其他媒體。機器可讀儲存媒體可為機器可讀儲存裝置、機器可讀儲存基板、記憶體裝置、影響機器可讀傳播信號之物質的組成物,或其中之一或多者的組合。
如本文中所使用,在一系列項目之前的藉由術語「及」或「或」分隔該等項目中之任一者的片語「中之至少一者」修飾清單整體,而非清單中之每一部件(例如,每一項目)。片語「中之至少一者」不需要選擇至少一個項目;實情為,該片語允許包括該等項目中之任一者中之至少一者及/或該等項目之任何組合中之至少一者及/或該等項目中之各者中之至少一者的涵義。作為實例,片語「A、B及C中之至少一者」或「A、B或C中之至少一者」各自指僅A、僅B或僅C;A、B及C之任何組合;及/或A、B及C中之各者中的至少一者。
本文中使用字「例示性」以意謂「充當實例、例子或說明」。在本文中描述為「例示性」之任何具體實例不應解釋為比其他具體實例較佳或有利。諸如一態樣、該態樣、另一態樣、一些態樣、一或多個態樣、一實施方式、該實施方式、另一實施方式、一些實施方式、一或多個實施方式、一具體實例、該具體實例、另一具體實例、一些具體實例、一或多個具體實例、一組態、該組態、另一組態、一些組態、一或多個組態、本發明技術、本揭示、本發明、其其他變化及類似者之片語是為方便起見,且不暗示與此類片語相關之揭示內容對於本發明技術是必需的,亦不暗示此類揭示內容適用於本發明技術之所有組態。與此類片語相關之揭示內容可適用於所有組態或一或多個組態。與此類片語相關之揭示內容可提供一或多個範例。諸如一態樣或一些態樣之片語可指一或多個態樣且反之亦然,且此情況類似地適用於其他前述片語。
除非具體陳述,否則以單數形式對元件之提及並不意欲意謂「一個且僅一個」,而指「一或多個」。陽性代詞(例如,他的)包括陰性及中性性別(例如,她的及它的)且反之亦然。術語「一些」指一或多個。帶下劃線及/或斜體標題及子標題僅為了便利,而不限制本發明技術,且不結合本發明技術之描述的解釋予以參考。關係術語,諸如第一及第二及類似者,可用於區分一個實體或行為與另一實體或行為,而未必需要或意指此類實體或行為之間的任何實際此類關係或次序。所屬技術領域中具有通常知識者已知或稍後將知曉的貫穿本揭示內容而描述之各種組態之元件之全部結構及功能等效物以引用之方式明確地併入本文中,並且意欲由本發明技術涵蓋。此外,本文中所揭示之任何內容皆不意圖專用於公眾,無論在以上描述中是否明確地敍述此類揭示內容。所主張元件不應被解釋為依據35 U.S.C. §112第六段的規定,除非元件明確地使用片語「用於...之構件」來敍述,或在方法請求項之情況下,元件使用片語「用於...之步驟」來敍述。
雖然本說明書含有許多特性,但此等特性不應理解為限制可能描述之內容的範圍,而是應理解為對主題之特定實施的描述。在個別具體實例之上下文中描述於本說明書中之某些特徵亦可在單一具體實例中以組合形式實施。相反,在單一具體實例之上下文中描述的之各種特徵亦可在多個具體實例中分別或以任何合適子組合形式實施。此外,儘管上文可將特徵描述為以某些組合起作用且甚至最初按此來描述,但來自所描述組合之一或多個特徵在一些情況下可從該組合刪除,且所描述之組合可針對子組合或子組合之變化。
本說明書之主題已關於特定態樣加以描述,但其他態樣可經實施且在以下申請專利範圍之範圍內。舉例而言,儘管在圖式中以特定次序來描繪操作,但不應將此理解為需要以所展示之特定次序或以順序次序進行此等操作,或進行所有所說明操作以達成合乎需要的結果。申請專利範圍中所陳述之動作可以不同次序進行且仍達成合乎需要之結果。作為一個實例,附圖中描繪之程序未必需要展示之特定次序,或依序次序,以實現合乎需要之結果。在某些情形中,多任務及並行處理可為有利的。此外,不應將上文所描述之態樣中之各種系統組件的分離理解為在所有態樣中皆要求此分離,且應理解,所描述之程式組件及系統可大體一同整合於單一軟體產品或封裝至多個軟體產品中。
在此將標題、背景技術、圖式簡單說明、摘要及圖式併入本揭示內容中且提供為本揭示內容之說明性實例而非限定性描述。遵從以下理解:其將不用於限制申請專利範圍之範圍或含義。另外,在實施方式中可見,出於精簡本揭示內容之目的,本說明書提供說明性實例且在各種實施中將各種特徵分組在一起。然而,不應將本揭示方法解釋為反映以下意圖:相較於各請求項中明確陳述之特徵,所描述之主題需要更多的特徵。實情為,如申請專利範圍所反映,本發明主題在於單一所揭示組態或操作之少於全部的特徵。申請專利範圍特此併入實施方式中,其中各請求項就其自身而言作為分開描述之主題。
申請專利範圍並不意欲限於本文中所描述之態樣,而應符合與語言申請專利範圍一致之完整範圍且涵蓋所有法定等效物。儘管如此,申請專利範圍均不意欲涵蓋未能滿足可適用專利法之要求之主題,且亦不應以此方式解釋該等主題。
10:架構
100:入耳式監視器
101:使用者
103:資料集
103-1:資料集
103-2:資料集
103-3:資料集
110:用戶端裝置
110-1:AR耳機
110-2:行動裝置
112:處理器電路
118:通信模組
120:記憶體電路
130:伺服器
150:網路
152:資料庫
161:耳道
170:耳部
200:實境生態系統
201:使用者
205:可穿戴裝置/感測器
205-1:耳部可穿戴裝置/入耳式監視器
205-2:腕部可穿戴裝置/腕部感測器/腕帶
205-3:胸部可穿戴裝置/胸部感測器
205-4:智慧型眼鏡感測器
210:監視器
220:信號
220-1:光學信號
220-2:信號
220-3:信號
220-4:信號
230:資料獲取模組
240:電腦
300:入耳式監視器
300A:入耳式監視器
300B:入耳式監視器
300C:入耳式監視器
300D:入耳式監視器
301-1:前端
301-2:後端
305:電極
311ff:前饋級
311fb:回饋級
312:處理器
321:發射器
323:偵測器
324:感測器/揚聲器
325:麥克風
325-1:聲學感測器/內部麥克風
325-2:聲學感測器/外部麥克風
327:運動感測器
329:溫度感測器
330:數位類比及/或模數轉換器
340:入耳式固定裝置
341:密封墊片
342:均壓器管/可撓性印刷電路板
343:應變消除
344:聲學電阻網
345:向下纜線
361:耳道
362:耳膜
401:血壓
402:比率
405:收縮部分
407:舒張部分
410:入耳式監視器信號/聲學波形
415:ECG信號
417:時間流逝
420:血壓回歸圖
500:圖
501:橫座標
502:縱座標
510:波形
515:ECG
517:R峰值
600:圖
601:橫座標
602:縱座標
610:波形
610-1:耳部PPG波形
610-2:ECG波形
610-3:腕部PPG波形
611:基點
612:峰
613:峰
701:PTT量測
702:SBP量測
712a-1:白天
712a-2:夜間
712a-3:全天週期
712b-1:白天
712b-2:夜間
712b-3:全天週期
720A:回歸方法
720B:回歸方法
800:方法
802:步驟
804:步驟
806:步驟
808:步驟
810:步驟
900:方法
902:步驟
904:步驟
906:步驟
908:步驟
910:步驟
912:步驟
1000:方法
1002:步驟
1004:步驟
1006:步驟
1008:步驟
1010:步驟
1012:步驟
1100:方法
1102:步驟
1104:步驟
1106:步驟
1108:步驟
1110:步驟
1200:電腦系統
1202:處理器
1204:記憶體
1206:資料儲存裝置
1208:匯流排
1210:輸入/輸出模組
1212:通信模組
1214:輸入裝置
1216:輸出裝置
x
BC(t):內部信號
x(t):外部信號
[圖1]說明根據一些具體實例之經組態以評估使用者之健康的架構中之AR耳機及入耳式監視器(in-ear monitor;IEM)。
[圖2]說明根據一些具體實例之包括在耳部及腕部中用以評估使用者之健康之可穿戴裝置的擴增實境生態系統。
[圖3A]至[圖3D]說明根據一些具體實例之入耳式監視器(IEM)之不同具體實例。
[圖4]說明根據一些具體實例之與ECG信號組合之IEM信號及血壓回歸圖。
[圖5]說明根據一些具體實例之藉由IEM中之接觸式麥克風獲得的用以判定使用者之心跳速率之波形。
[圖6]說明根據一些具體實例之用於識別入耳式裝置之使用者之健康狀況的PPG波形、ECG波形及腕部PPG波形之組合。
[圖7]說明根據一些具體實例之用以組合圖6之波形中之特徵以識別入耳式裝置之使用者的健康狀況之若干回歸方法。
[圖8]為說明根據一些具體實例之在入耳式監視器中使用麥克風、運動感測器、光學感測器、電極及溫度計以用於評估耳機或智慧型眼鏡之使用者之健康的方法中之步驟的流程圖。
[圖9]為說明根據一些具體實例之在入耳式監視器中使用麥克風、運動感測器、光學感測器、電極及溫度計以用於評估耳機或智慧型眼鏡之使用者之健康的方法中之步驟的流程圖。
[圖10]為說明根據一些具體實例之在入耳式監視器中使用麥克風、運動感測器、光學感測器、電極及溫度計以用於評估耳機或智慧型眼鏡之使用者之健康的方法中之步驟的流程圖。
[圖11]為說明根據一些具體實例之產生隨時間推移之量測資料以產生參考及趨勢線之方法中之步驟的流程圖。
[圖12]為說明根據一些具體實例之具有系統實施耳機及其他用戶端裝置且以圖8至圖11中之方法實施的例示性電腦系統之方塊圖,及。
在諸圖中,除非另外明確表示,否則具有相同或類似參考編號之元件與相同或類似屬性之元件相關聯。
10:架構
100:入耳式監視器
101:使用者
103-1:資料集
103-2:資料集
103-3:資料集
110-1:AR耳機
110-2:行動裝置
112:處理器電路
118:通信模組
120:記憶體電路
130:伺服器
150:網路
152:資料庫
161:耳道
170:耳部
Claims (20)
- 一種電腦實施方法,其包含: 從一第一電極接收來自一入耳式裝置之一使用者之一第一耳道中的一皮膚之一第一電子信號; 從一第一麥克風接收來自一入耳式監視器之該使用者之該第一耳道的一第一聲學信號; 用該第一聲學信號形成一聲學波形; 用該第一電子信號形成一電子波形;及 基於該聲學波形及該電子波形而識別該使用者之一健康狀況。
- 如請求項1之電腦實施方法,其進一步包含從一第二電極接收來自該入耳式裝置之該使用者之該第一耳道中的該皮膚之一第二電子信號,及用該第一電子信號移除來自該第一電子信號之一干擾。
- 如請求項1之電腦實施方法,其進一步包含從一第二電極接收來自該入耳式裝置之該使用者之一第二耳道中的該皮膚之一第二電子信號,及基於該第一電子信號及該第二電子信號而識別一眼部凝視方向。
- 如請求項1之電腦實施方法,其進一步包含:回應於一聲學刺激而從該入耳式裝置中之一外部麥克風接收一聲學信號;使該聲學信號與該第一電子信號相關;及基於來自該第一電子信號及該聲學刺激之一大腦活動而評估對該聲學刺激之一使用者回應。
- 如請求項1之電腦實施方法,其進一步包含:從一第二麥克風接收來自該入耳式監視器之該使用者之該第一耳道的一第二聲學信號;用從該第二聲學信號過濾之該第一聲學信號形成一第二波形;及經由一揚聲器將該第二波形提供至該使用者,其中該第二聲學信號為來自該使用者之一外部環境的一音訊信號。
- 如請求項1之電腦實施方法,其進一步包含用一揚聲器為該使用者將一聲音信號提供至該第一耳道中之,其中該第一聲學信號包含來自一內耳之該聲音信號之一背向反射,且其中識別該使用者之一健康狀況包含基於該聲音信號之該背向反射之一延遲及振幅而判定該使用者之一聽力狀況。
- 如請求項1之電腦實施方法,其中該第一聲學信號包括由該使用者產生之一聲音手勢作為一輸入命令,該方法進一步包含從該聲學波形識別該輸入命令,且在一智慧型眼鏡中具有一處理器以執行該輸入命令。
- 如請求項1之電腦實施方法,其中識別該使用者之一健康狀況進一步包含對該電子波形進行一頻譜分析以識別一心電圖中之一p波、一QRS複合波及一T複合波。
- 如請求項1之電腦實施方法,其中該第一聲學信號為來自該使用者之一身體之一內部信號且識別該使用者之一健康狀況包含基於該聲學波形而判定該使用者之一心跳速率。
- 如請求項1之電腦實施方法,其中識別該使用者之一健康狀況包含產生該聲學波形之一頻譜圖;及從該聲學波形之該頻譜圖識別一心跳速率值或一血壓值中之至少一者。
- 一種電腦實施方法,其包含: 從一入耳式裝置中之一感測器接收指示該入耳式裝置之一使用者之一生命徵象的一信號; 用指示來自該使用者之該生命徵象之該信號更新該入耳式裝置之該使用者之一醫療狀況的一時間線; 基於該醫療狀況之該時間線而判定該使用者之該醫療狀況之一趨勢; 識別該醫療狀況之該趨勢中相對於一參考趨勢線的一或多個偏差;及 基於該一或多個偏差而投影該入耳式裝置之該使用者之一醫療結果。
- 如請求項11之電腦實施方法,其中接收指示該入耳式裝置之該使用者之該生命徵象的該信號包含組合來自該入耳式裝置中之一或多個感測器的多個信號,該等信號包含至少一電子信號、一聲學信號及一光學信號。
- 如請求項11之電腦實施方法,其中接收指示該入耳式裝置之該使用者之該生命徵象的該信號包含接收一心電圖信號及一聲學信號,且更新該醫療資訊之該時間線包含組合該心電圖信號及該聲學信號以判定該入耳式裝置之該使用者的一血壓值。
- 如請求項11之電腦實施方法,其中該入耳式裝置與由該入耳式裝置之該使用者穿戴之一沉浸式實境耳機以通信方式耦接,該方法進一步包含將該入耳式裝置之該使用者的該醫療狀況之該時間線從該沉浸式實境耳機傳輸至一遠端伺服器。
- 如請求項11之電腦實施方法,其中該入耳式裝置與該入耳式裝置之該使用者的一行動裝置以通信方式耦接,且基於該時間線而判定該醫療狀況之該趨勢包含存取該行動裝置中之一應用程式,該行動裝置儲存指示來自該入耳式裝置之該使用者的該生命徵象之多個先前值。
- 如請求項11之電腦實施方法,其進一步包含從與該入耳式裝置以通信方式耦接之一行動裝置接收一命令以基於該趨勢中之該一或多個偏差而調整該入耳式裝置中之該感測器的一組態設定。
- 如請求項11之電腦實施方法,其進一步包含從一遠端資料庫接收該參考趨勢線。
- 如請求項11之電腦實施方法,其中投影該入耳式裝置之該使用者的該醫療結果包含從一遠端伺服器接收該入耳式裝置之該使用者的該醫療結果。
- 如請求項11之電腦實施方法,其進一步包含基於具有該入耳式裝置之該使用者之一人口統計概況的一群個體之醫療狀況之多個時間線而形成該參考趨勢線。
- 如請求項11之電腦實施方法,其進一步包含匿名化該使用者之該醫療狀況的該趨勢且將該使用者之該醫療狀況之該趨勢傳輸至以通信方式與該入耳式裝置耦接的一遠端伺服器。
Applications Claiming Priority (16)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263305932P | 2022-02-02 | 2022-02-02 | |
US63/305,932 | 2022-02-02 | ||
US202263356883P | 2022-06-29 | 2022-06-29 | |
US202263356877P | 2022-06-29 | 2022-06-29 | |
US202263356860P | 2022-06-29 | 2022-06-29 | |
US202263356864P | 2022-06-29 | 2022-06-29 | |
US202263356851P | 2022-06-29 | 2022-06-29 | |
US202263356872P | 2022-06-29 | 2022-06-29 | |
US63/356,877 | 2022-06-29 | ||
US63/356,860 | 2022-06-29 | ||
US63/356,864 | 2022-06-29 | ||
US63/356,872 | 2022-06-29 | ||
US63/356,851 | 2022-06-29 | ||
US63/356,883 | 2022-06-29 | ||
US18/069,106 US20230240611A1 (en) | 2022-02-02 | 2022-12-20 | In-ear sensors and methods of use thereof for ar/vr applications and devices |
US18/069,106 | 2022-12-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202337387A true TW202337387A (zh) | 2023-10-01 |
Family
ID=85462089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW112103124A TW202337387A (zh) | 2022-02-02 | 2023-01-30 | 用於擴增實境/虛擬實境應用程式和裝置之入耳式感測器及其使用之方法 |
Country Status (2)
Country | Link |
---|---|
TW (1) | TW202337387A (zh) |
WO (1) | WO2023150228A2 (zh) |
-
2023
- 2023-01-30 TW TW112103124A patent/TW202337387A/zh unknown
- 2023-02-02 WO PCT/US2023/012217 patent/WO2023150228A2/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023150228A2 (en) | 2023-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200281480A1 (en) | Personal monitoring system | |
US20230355110A1 (en) | Wearable Appliance | |
CN111867475B (zh) | 次声生物传感器系统和方法 | |
US9028405B2 (en) | Personal monitoring system | |
US9814425B2 (en) | Health monitoring appliance | |
US8968195B2 (en) | Health monitoring appliance | |
US8500636B2 (en) | Health monitoring appliance | |
US8708903B2 (en) | Patient monitoring appliance | |
US8108036B2 (en) | Mesh network stroke monitoring appliance | |
US20150269825A1 (en) | Patient monitoring appliance | |
TW202337387A (zh) | 用於擴增實境/虛擬實境應用程式和裝置之入耳式感測器及其使用之方法 | |
US20230240611A1 (en) | In-ear sensors and methods of use thereof for ar/vr applications and devices | |
US20230277130A1 (en) | In-ear microphones for ar/vr applications and devices | |
Yarici et al. | Hearables: In-ear multimodal brain computer interfacing | |
TW202332408A (zh) | 用於擴增實境/虛擬實境應用程式和裝置之入耳式運動感測器 | |
TW202404528A (zh) | 用於擴增實境/虛擬實境應用程式和裝置之入耳式麥克風 | |
TW202345746A (zh) | 用於擴增實境/虛擬實境應用程式和裝置之入耳式溫度感測器 | |
US20230172468A1 (en) | Ppg and ecg sensors for smart glasses | |
WO2023150220A1 (en) | In-ear electrodes for ar/vr applications and devices | |
US20230107691A1 (en) | Closed Loop System Using In-ear Infrasonic Hemodynography and Method Therefor | |
US20240115202A1 (en) | Smart watch | |
WO2023102248A1 (en) | Ppg and ecg sensors for smart glasses |