KR20200103749A - 모션 감지를 위한 장치, 시스템, 및 방법 - Google Patents
모션 감지를 위한 장치, 시스템, 및 방법 Download PDFInfo
- Publication number
- KR20200103749A KR20200103749A KR1020207021041A KR20207021041A KR20200103749A KR 20200103749 A KR20200103749 A KR 20200103749A KR 1020207021041 A KR1020207021041 A KR 1020207021041A KR 20207021041 A KR20207021041 A KR 20207021041A KR 20200103749 A KR20200103749 A KR 20200103749A
- Authority
- KR
- South Korea
- Prior art keywords
- processor
- signal
- user
- readable medium
- audio device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 258
- 230000033001 locomotion Effects 0.000 title claims abstract description 251
- 238000001514 detection method Methods 0.000 title claims abstract description 147
- 238000012545 processing Methods 0.000 claims abstract description 263
- 230000002452 interceptive effect Effects 0.000 claims abstract description 150
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 122
- 230000005236 sound signal Effects 0.000 claims abstract description 111
- 238000004891 communication Methods 0.000 claims abstract description 43
- 230000004044 response Effects 0.000 claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims abstract description 35
- 230000001755 vocal effect Effects 0.000 claims abstract description 30
- 230000007958 sleep Effects 0.000 claims description 216
- 230000008569 process Effects 0.000 claims description 49
- 230000008859 change Effects 0.000 claims description 45
- 230000007613 environmental effect Effects 0.000 claims description 33
- 230000036387 respiratory rate Effects 0.000 claims description 25
- 238000012544 monitoring process Methods 0.000 claims description 23
- 230000000977 initiatory effect Effects 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000000747 cardiac effect Effects 0.000 claims description 20
- 230000000241 respiratory effect Effects 0.000 claims description 16
- 230000006872 improvement Effects 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 230000037007 arousal Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 5
- 230000001939 inductive effect Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000002592 echocardiography Methods 0.000 claims 2
- 230000009885 systemic effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 46
- 238000013459 approach Methods 0.000 description 24
- 230000000694 effects Effects 0.000 description 24
- 230000001276 controlling effect Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 18
- 238000001914 filtration Methods 0.000 description 17
- 230000008901 benefit Effects 0.000 description 13
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 description 13
- 238000002604 ultrasonography Methods 0.000 description 12
- 230000001965 increasing effect Effects 0.000 description 9
- 230000008667 sleep stage Effects 0.000 description 9
- 208000008784 apnea Diseases 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000005562 fading Methods 0.000 description 7
- 230000036541 health Effects 0.000 description 7
- 230000004622 sleep time Effects 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 238000012512 characterization method Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000000737 periodic effect Effects 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000002618 waking effect Effects 0.000 description 6
- 206010041235 Snoring Diseases 0.000 description 5
- 230000004075 alteration Effects 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 201000002859 sleep apnea Diseases 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000001976 improved effect Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000002644 respiratory therapy Methods 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 208000017667 Chronic Disease Diseases 0.000 description 3
- 241000282412 Homo Species 0.000 description 3
- 206010062519 Poor quality sleep Diseases 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000001734 parasympathetic effect Effects 0.000 description 3
- 230000035790 physiological processes and functions Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000002889 sympathetic effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 240000007124 Brassica oleracea Species 0.000 description 2
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 2
- 235000012905 Brassica oleracea var viridis Nutrition 0.000 description 2
- 208000003417 Central Sleep Apnea Diseases 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 2
- 206010013975 Dyspnoeas Diseases 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 2
- 244000046052 Phaseolus vulgaris Species 0.000 description 2
- 208000004756 Respiratory Insufficiency Diseases 0.000 description 2
- 206010038678 Respiratory depression Diseases 0.000 description 2
- 208000010340 Sleep Deprivation Diseases 0.000 description 2
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 210000003489 abdominal muscle Anatomy 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 206010003549 asthenia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 235000021152 breakfast Nutrition 0.000 description 2
- 230000035565 breathing frequency Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 206010022437 insomnia Diseases 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000008452 non REM sleep Effects 0.000 description 2
- 208000001797 obstructive sleep apnea Diseases 0.000 description 2
- 208000028173 post-traumatic stress disease Diseases 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000037321 sleepiness Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010003658 Atrial Fibrillation Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 208000010201 Exanthema Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- BXNJHAXVSOCGBA-UHFFFAOYSA-N Harmine Chemical compound N1=CC=C2C3=CC=C(OC)C=C3NC2=C1C BXNJHAXVSOCGBA-UHFFFAOYSA-N 0.000 description 1
- 206010021079 Hypopnoea Diseases 0.000 description 1
- 229920000079 Memory foam Polymers 0.000 description 1
- 206010028923 Neonatal asphyxia Diseases 0.000 description 1
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 208000004301 Sinus Arrhythmia Diseases 0.000 description 1
- 206010047924 Wheezing Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 108091008698 baroreceptors Proteins 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000035559 beat frequency Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002612 cardiopulmonary effect Effects 0.000 description 1
- 230000002802 cardiorespiratory effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 201000005884 exanthem Diseases 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000030214 innervation Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 239000008210 memory foam Substances 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000004237 neck muscle Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 210000002976 pectoralis muscle Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 210000001774 pressoreceptor Anatomy 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 206010037844 rash Diseases 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000037322 slow-wave sleep Effects 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000002438 stress hormone Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4818—Sleep apnoea
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7228—Signal modulation applied to the input signal sent to patient or subject; demodulation to recover the physiological signal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/749—Voice-controlled interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/22—Status alarms responsive to presence or absence of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B27/00—Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations
- G08B27/005—Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations with transmission via computer network
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
- G08B5/222—Personal calling arrangements or devices, i.e. paging systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0048—Detecting, measuring or recording by applying mechanical forces or stimuli
- A61B5/0053—Detecting, measuring or recording by applying mechanical forces or stimuli by applying pressure, e.g. compression, indentation, palpation, grasping, gauging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/02—Measuring pulse or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0083—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Psychiatry (AREA)
- Cardiology (AREA)
- Computer Hardware Design (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
Abstract
방법 및 디바이스는 예컨대 대화형 오디오 디바이스에 대한 능동 사운드 발생을 이용한, 제스처, 호흡, 심장 및/또는 전신 모션과 같은, 생리학적 운동 검출을 제공한다. 프로세서는 대화형 오디오 디바이스에 결합된 마이크로폰을 통해, 감지된 가청 구두 통신을 평가할 수 있다. 프로세서는 프로세서에 결합된 스피커를 통해 사용자 부근에서 사운드 신호를 생성하는 것을 제어할 수 있다. 프로세서는 프로세서에 결합된 마이크로폰을 통해 반사 사운드 신호를 감지하는 것을 제어할 수 있다. 이러한 반사 사운드 신호는 부근 또는 사용자로부터의 발생된 사운드 신호의 반사이다. 프로세서는 예를 들어 복조 기법에 의해 반사된 사운드를 처리하여 생리학적 운동 신호를 유도할 수 있다. 프로세서는 감지된 가청 구두 통신에 응답하여, 유도된 생리학적 운동 신호의 평가에 기초한 출력을 발생시킬 수 있다.
Description
1
관련 출원의 상호 참조
본 출원은 2017년 12월 22일자로 출원된 미국 가특허 출원 번호 62/610,013호의 이득을 주장하며, 이의 전체 내용은 본원에 참조로 포함된다.
2
배경 기술
2.1
기술 분야
본 기술은 살아있는 대상체와 연관된 생체-모션을 오디오 장비로 검출하는 것에 관한 것이다. 보다 구체적으로는, 본 기술은 예컨대 호흡 운동, 심장 운동 및/또는 살아있는 대상체의 다른 덜 주기적인 신체 운동과 같은 생리학적 운동 등의 생리학적 특성을 검출하는 데 오디오 장비를 이용한 음향 감지를 사용하는 것에 관한 것이다.
2.2
관련 기술의 설명
예를 들어, 수면 중인 사람의 호흡 및 신체(사지를 포함) 운동을 감시하는 것은 많은 방식에서 유용할 수 있다. 예를 들어, 이와 같은 감시는 수면 무호흡과 같은 수면 호흡 장애 상태를 감시 및/또는 진단하는 데 유용할 수 있다. 전통적으로, 능동 무선 측위 또는 거리측정 적용에 대한 진입 장벽은 특화된 하드웨어 회로 및 안테나가 요구된다는 점이다.
스마트폰 및 다른 휴대용 및 눈에 띄지 않는 프로세싱 또는 전자 통신 디바이스는 지상 통신선을 이용할 수 없는 개발 도상국에서도 일상 생활에서 보편적으로 사용되고 있다. 예를 들어, 많은 가정은 사운드를 방출 및 기록할 수 있는 오디오 디바이스 - 예를 들어, 스마트 스피커, 능동 사운드 바, 스마트 디바이스, 스마트 TV, 및 다른 디바이스를 포함한다. 이와 같은 디바이스는 수신된 구두 명령을 프로세싱하고 오디오 출력에 응답하는 가상 비서를 사용하여 음성 명령을 지원할 수 있다.
효율적이고 효과적인 방식으로 생체-모션(즉, 생리학적 운동)을 감시하기 위한 방법을 갖는 것이 바람직할 것이다. 이와 같은 시스템 및 방법의 실현은 상당한 기술적 과제를 다룰 것이다.
3
기술의 간단한 개요
본 기술은, 예를 들어 대상체가 잠들어 있는 동안 대상체의 운동을 검출하기 위한 시스템, 방법 및 장치에 관한 것이다. 예를 들어, 호흡 운동을 포함한 이와 같은 운동 검출에 기초하여, 대상체의 운동, 수면 관련 특성, 호흡 특성, 심장 특성, 수면 상태 등이 검출될 수 있다. 보다 구체적으로는, 프로세서 구동형 오디오 장비, 예컨대 대화형 오디오 디바이스 또는 다른 프로세싱 디바이스, 예컨대 스마트폰, 태블릿, 스마트 스피커 등과 연관된 애플리케이션은 통합된, 및/또는 외부적으로 연결 가능한, 스피커(들) 및 마이크로폰(들)과 같은, 프로세싱 디바이스 센서의 오디오 기능을 적용하여 모션을 검출한다.
용어 “디바이스”는 본 명세서에서 넓은 의미로 사용되고 하나 이상의 스피커, 하나 이상의 마이크로폰 및 하나 이상의 프로세서를 포함할 수 있는 집중되거나 분산된 시스템을 포함할 수 있다. 그러나, 몇몇 버전에서, 그것은 또한 예컨대 본 명세서에서 설명된 구성요소 및 감지/검출 방법론의 특징 중 임의의 하나 이상을 유닛으로서 실질적으로 제공하기 위해 통합된 디바이스일 수 있다. 예를 들어, 방법론 및 감지 구성요소를 갖는 프로세싱 디바이스는 핸드헬드 시스템(예를 들어, 감지 구성된 스마트폰) 또는 다른 이와 같은 휴대용 시스템과 같은, 일원화된 시스템에 통합될 수 있다.
본 기술의 몇몇 버전은 프로세서에 의해 실행될 때, 프로세서로 하여금 사용자의 생리학적 운동의 검출 등으로 생리학적 매개변수를 검출하게 하는, 프로세서 실행 가능한 명령어가 저장된 프로세서 판독 가능한 매체를 포함할 수 있다. 생리학적 운동은 호흡 운동, 심장 운동, 사지 운동, 제스처 운동 및 전신 운동 중 임의의 하나 이상을 포함할 수 있다. 생리학적 매개변수는 또한 검출된 생리학적 운동으로부터 유도된 하나 이상의 특성(예를 들어, 호흡 진폭, 상대 호흡 진폭, 호흡 속도, 호흡 속도 가변성, 상대 심장 진폭, 심장 진폭, 심장 속도, 심장 속도 가변성 등)뿐만 아니라, 다른 생리학적 매개변수로부터 유도될 수 있는 다른 특성(예를 들어, (a) 존재 상태(존재 부재); (b) 수면 상태, 예컨대, 각성 또는 수면; (c) 수면 단계 예컨대 N-REM 1(비-REM 얕은 수면 하위-단계 1), N-REM 2(비-REM 얕은 수면 하위-단계 2), N-REM 3(비-REM 깊은 수면(또한 느린 파형 수면(SWS)으로 지칭됨)), REM 수면 등; 또는 다른 수면 관련 매개변수 예컨대 (d) 피로 및/또는 (e) 졸림; 등)을 포함할 수 있다. 프로세서 실행 가능한 명령어는 대화형 오디오 디바이스에 결합된 스피커를 통해 사용자를 포함할 수 있는 부근의 사운드 신호를 생성하는 것을 제어하기 위한 명령어를 포함할 수 있다. 프로세서 실행 가능한 명령어는 대화형 오디오 프로세싱 디바이스에 결합된 마이크로폰을 통해 사용자로부터 반사된 사운드 신호를 감지하는 것을 제어하기 위한 명령어를 포함할 수 있다. 프로세서 실행 가능한 명령어는 감지된 사운드 신호를 프로세싱하기 위한 명령어를 포함할 수 있다. 프로세서 실행 가능한 명령어는 대화형 오디오 디바이스에 결합된 마이크로폰을 통해, 감지된 가청 구두 통신을 평가하기 위한 명령어를 포함할 수 있다. 프로세서 실행 가능한 명령어는 사운드 신호 및 반사된 사운드 신호로 생리학적 운동 신호를 유도하기 위한 명령어를 포함할 수 있다. 프로세서 실행 가능한 명령어는 감지된 가청 구두 통신에 응답하여, 유도된 생리학적 운동 신호의 평가에 기초한 출력을 발생시키기 위한 명령어를 포함할 수 있다.
본 기술의 몇몇 버전은 대화형 오디오 디바이스의 프로세서에 의해 실행될 때, 프로세서로 하여금 사용자의 생리학적 운동을 검출하게 하는, 프로세서 실행 가능한 명령어가 저장된 프로세서 판독 가능한 매체를 포함한다. 프로세서 실행 가능한 명령어는 대화형 오디오 디바이스에 결합된 스피커를 통해, 대화형 오디오 디바이스의 부근의 사운드 신호를 생성하는 것을 제어하기 위한 명령어를 포함할 수 있다. 프로세서 실행 가능한 명령어는 대화형 오디오 디바이스에 결합된 마이크로폰을 통해 부근으로부터의 반사 사운드 신호를 감지하는 것을 제어하기 위한 명령어를 포함할 수 있다. 프로세서 실행 가능한 명령어는 감지된 반사 사운드 신호의 적어도 일부분 및 사운드 신호의 적어도 일부분을 나타내는 신호로 생리학적 운동 신호를 유도하기 위한 명령어를 포함할 수 있다. 프로세서 실행 가능한 명령어는 유도된 생리학적 운동 신호의 적어도 일부의 평가에 기초하여 출력을 발생시키기 위한 명령어를 포함할 수 있다.
몇몇 버전에서, 감지에 사용된 그러한 것과 같은, 생성된 사운드 신호의 적어도 일부분은 실질적 비가청 사운드 범위에 있을 수 있다. 적어도 생성된 사운드 신호의 부분은 저주파 초음파 음향 신호일 수 있다. 사운드 신호의 부분을 나타내는 신호는 내부 발생된 발진기 신호 또는 직접 경로 측정된 신호를 포함할 수 있다. 생리학적 운동 신호를 유도하기 위한 명령어는 (a) 생성된 사운드 신호의 적어도 일부분 및 감지된 반사 사운드 신호의 적어도 일부분 또는 (b) 감지된 반사 사운드 신호의 부분 및 생성된 사운드 신호의 적어도 일부분과 연관될 수 있는 연관된 신호로 생리학적 운동 신호를 유도하도록 구성될 수 있다. 선택적으로, 연관된 신호는 내부 발생된 발진기 신호 또는 직접 경로 측정된 신호일 수 있다. 생리학적 운동 신호를 유도하기 위한 명령어는 발진기 신호를 감지된 반사 사운드 신호의 부분과 승산하도록 구성될 수 있다. 유도된 생리학적 운동 신호는 호흡 모션, 전신 모션, 또는 심장 모션 중 하나 이상 또는 이와 같은 모션 중 임의의 하나 이상의 검출을 포함할 수 있다. 매체는 대화형 오디오 디바이스에 결합된 마이크로폰을 통해, 감지된 가청 구두 통신을 평가하기 위한 프로세서 실행 가능한 명령어를 추가로 포함할 수 있고; 출력을 발생시키기 위한 명령어는 감지된 가청 구두 통신에 응답하여 출력을 발생시키도록 구성될 수 있다. 생리학적 운동 신호를 유도하기 위한 프로세서 실행 가능한 명령어는 사운드 신호의 적어도 일부분과 감지된 반사 사운드 신호의 부분의 복조를 포함한다. 복조는 사운드 신호의 부분, 및 감지된 반사 사운드 신호의 부분의 승산을 포함할 수 있다.
사운드 신호를 생성하는 것을 제어하기 위한 프로세서 실행 가능한 명령어는 이중 톤 주파수 변조된 지속파 신호를 발생시킬 수 있다. 이중 톤 주파수 변조된 지속파 신호는 반복된 파형에서 제2 톱니 주파수 변경과 중복된 제1 톱니 주파수 변경을 포함할 수 있다. 매체는 초광대역(UWB) 사운드 신호를 가청 백색 잡음으로서 발생시키기 위한 프로세서 실행 가능한 명령어를 포함할 수 있고, 프로세서 판독 가능한 매체는 UWB 사운드 신호로 사용자 모션을 검출하기 위한 명령어를 포함할 수 있다. 매체는 셋업 프로세스에서, 스피커로부터 프로빙 음향 시퀀스를 발생시켜 저주파 초음파 에코의 거리 측정을 교정하기 위한 프로세서 실행 가능한 명령어를 추가로 포함할 수 있다. 매체는 셋업 프로세스에서, 스피커를 포함하는 하나 이상의 스피커로부터 시간 동기화된 교정 음향 신호를 발생시켜, 대화형 오디오 디바이스의 마이크로폰과 다른 마이크로폰 사이의 거리를 추정하기 위한 프로세서 실행 가능한 명령어를 포함할 수 있다. 매체는 빔 포밍 프로세스를 동작하여 검출된 영역을 추가로 국부화하기 위한 프로세서 실행 가능한 명령어를 포함할 수 있다. 유도된 생리학적 운동 신호의 평가에 기초한 발생된 출력은 감시된 사용자 수면 정보를 포함할 수 있다.
몇몇 버전에서, 유도된 생리학적 운동 신호의 일부의 평가는 하나 이상의 생리학적 매개변수를 검출하는 것을 포함할 수 있다. 하나 이상의 생리학적 매개변수는 호흡 속도, 호흡의 상대 진폭, 심장 진폭, 상대 심장 진폭, 심박수 및 심박수 가변성 중 임의의 하나 이상을 포함할 수 있다. 감시된 사용자 수면 정보는 수면 스코어, 수면 단계 및 수면 단계에서의 시간 중 임의의 것을 포함할 수 있다. 발생된 출력은 대화형 질의 및 응답 제시를 포함할 수 있다. 발생된 대화형 질의 및 응답 제시는 스피커에 의해 수행될 수 있다. 발생된 대화형 질의 및 응답 제시는 감시된 사용자 수면 정보를 개선하기 위한 어드바이스를 포함할 수 있다. 유도된 생리학적 운동 신호의 일부의 평가에 기초한 발생된 출력은 네트워크 상의 서버에 액세스하는 것 및/또는 네트워크 자원의 검색을 수행하는 것에 추가로 기초할 수 있다. 검색은 이력 사용자 데이터에 기초할 수 있다. 유도된 생리학적 운동 신호의 적어도 일부의 평가에 기초한 발생된 출력은 자동화 기기 또는 시스템을 제어하기 위한 제어 신호를 포함할 수 있다. 매체는 제어 신호를 네트워크를 통해 자동화 기기 또는 시스템에 송신하기 위한 프로세서 제어 명령어를 추가로 포함할 수 있다. 네트워크는 인터넷일 수 있다.
선택적으로, 매체는 제어 신호를 발생시켜 유도된 생리학적 운동 신호의 적어도 일부의 평가에 기초하여 대화형 오디오 디바이스의 설정을 변경하기 위한 프로세서 제어 명령어를 추가로 포함할 수 있다. 대화형 오디오 디바이스의 설정을 변경하기 위한 제어 신호는 대화형 오디오 디바이스로부터의 사용자 거리, 사용자의 상태 또는 사용자의 위치의 검출에 기초한 볼륨의 변경을 포함할 수 있다. 프로세서 실행 가능한 명령어는 상이한 음향 감지 범위의 모션 특성을 평가하여 복수의 사용자의 수면 특성을 감시하도록 구성될 수 있다. 사운드 신호를 생성하는 것을 제어하기 위한 명령어는 상이한 주파수로 상이한 사용자를 감지하기 위해 상이한 감지 주파수에서 동기 감지 신호를 생성하는 것을 제어할 수 있다. 사운드 신호를 생성하는 것을 제어하기 위한 명령어는 상이한 시간에 상이한 사용자를 감지하기 위해 인터리빙된 음향 감지 신호를 생성하는 것을 제어할 수 있다. 매체는 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 사용자의 존재 또는 부재를 검출하기 위한 프로세서 실행 가능한 명령어를 추가로 포함할 수 있다.
몇몇 버전에서, 매체는 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 사용자의 생체측정 인식을 수행하기 위한 프로세서 실행 가능한 명령어를 추가로 포함할 수 있다. 매체는 (a) 유도된 생리학적 운동 신호의 적어도 일부의 분석으로부터 결정된 생체측정 평가, 및/또는 (b) 유도된 생리학적 운동 신호의 적어도 일부의 분석으로부터 결정되는 검출된 존재에 기초하여 네트워크를 통한 통신을 발생시키기 위한 프로세서 실행 가능한 명령어를 추가로 포함할 수 있다. 매체는 대화형 오디오 디바이스가 사용자의 모션 존재를 음향적으로 검출하게 하고, 사용자를 가청으로 시도하게 하고, 사용자를 가청으로 인증하게 하고, 사용자를 인가하거나 알람 메시지를 사용자에 대해 통신하게 하도록 구성된 프로세서 실행 가능한 명령어를 추가로 포함할 수 있다. 사용자를 가청으로 인증하기 위한 프로세서 실행 가능한 명령어는 마이크로폰에 의해 감지된 사용자의 구두 사운드 파를 이전에 기록된 구두 사운드 파와 비교하도록 구성될 수 있다. 선택적으로, 프로세서 실행 가능한 명령어는 모션 기반 생체측정 감지로 사용자를 인증하도록 구성될 수 있다.
몇몇 버전에서, 매체는 대화형 오디오 디바이스가 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 모션 제스처를 검출하게 하기 위한 프로세서 실행 가능한 명령어를 포함할 수 있다. 매체는 검출된 모션 제스처에 기초하여, 제어 신호를 발생시켜 통지를 송신하거나, (a) 자동화 기기 및/또는 (b) 대화형 오디오 디바이스의 동작에 대한 변경을 제어하기 위한 프로세서 실행 가능한 명령어를 포함할 수 있다. 대화형 오디오 디바이스의 동작에 대한 변경을 제어하기 위한 제어 신호는 대화형 오디오 디바이스의 대화형 보이스 어시스턴트 동작을 개시하기 위한 마이크로폰 감지를 활성화하는 것을 달성할 수 있으며, 그것에 의해 비활성 대화형 보이스 어시스턴트 프로세스가 관여될 수 있다. 대화형 보이스 어시스턴트 동작을 개시하는 것은 마이크로폰 감지에 의한 구두 키워드의 검출에 추가로 기초할 수 있다. 매체는 대화형 오디오 디바이스가 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 사용자의 호흡 모션을 검출하게 하고 출력 큐를 발생시켜 사용자에게 동기를 부여해서 사용자 호흡을 조정하게 하기 위한 프로세서 실행 가능한 명령어를 포함할 수 있다.
몇몇 버전에서, 매체는 대화형 오디오 디바이스가 대화형 오디오 디바이스의 마이크로폰에 의해 감지된 비가청 사운드 파를 통해 다른 프로세싱 디바이스에 의해 제어된, 다른 대화형 오디오 디바이스로부터의 통신을 수신하게 하기 위한 프로세서 실행 가능한 명령어를 포함할 수 있다. 대화형 오디오 디바이스의 부근에서 사운드 신호를 생성하는 것을 제어하기 위한 명령어는 통신에 기초하여 사운드 신호의 적어도 일부를 생성하기 위한 매개변수를 조정할 수 있다. 조정된 매개변수는 대화형 오디오 디바이스와 다른 대화형 오디오 디바이스 사이의 간섭을 감소시킨다. 유도된 생리학적 운동 신호의 적어도 일부의 평가는 수면 개시 또는 각성 개시의 검출을 추가로 포함할 수 있고, 평가에 기초한 출력은 서비스 제어 신호를 포함할 수 있다. 서비스 제어 신호는 조명 제어; 기기 제어; 볼륨 제어; 서모스탯 제어; 및 윈도우 개폐 제어 중 하나 이상을 포함할 수 있다. 매체는 사용자에게 피드백을 수집하고 상기 유도된 생리학적 운동 신호의 일부 및 상기 피드백 중 적어도 하나에 기초하여 응답하는 어드바이스를 발생시키도록 재촉하기 위한 프로세서 실행 가능한 명령어를 추가로 포함할 수 있다. 매체는 환경 데이터를 결정하기 위한 프로세서 실행 가능한 명령어를 포함할 수 있고, 어드바이스는 결정된 환경 데이터에 추가로 기초할 수 있다. 매체는 환경 데이터를 결정하고, 결정된 환경 데이터 및 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 환경 제어 시스템에 대한 제어 신호를 발생시키기 위한 프로세서 실행 가능한 명령어를 포함할 수 있다. 매체는 수면 개선 서비스를 제공하기 위한 프로세서 실행 가능한 명령어를 포함할 수 있으며, 수면 개선 서비스는 (a) 검출된 수면 조건 및/또는 수집된 사용자 피드백에 응답하여 어드바이스를 발생시키는 것; 및 (b) 제어 신호를 발생시켜 환경 기기를 제어해서 환경 수면 조건을 설정하고 그리고/또는 수면 관련 어드바이스 메시지를 사용자에게 제공하는 것 중 임의의 것을 포함할 수 있다.
몇몇 버전에서, 매체는 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 제스처를 검출하고 대화형 오디오 디바이스의 대화형 보이스 어시스턴트 동작을 개시하기 위한 마이크로폰 감지를 개시하기 위한 프로세서 실행 가능한 명령어를 포함할 수 있다. 매체는 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 낮잠 세션을 개시 및 감시하기 위한 프로세서 실행 가능한 명령어를 포함할 수 있다. 매체는 생성된 사운드 신호의 적어도 일부의 매개변수를 변화시켜 부근을 통해 사용자의 운동을 추적함으로써 검출 범위를 변화시키기 위한 프로세서 실행 가능한 명령어를 포함할 수 있다. 매체는 유도된 생리학적 운동 신호의 적어도 일부로 비인가된 운동을 검출하고 알람 또는 통신을 발생시켜 사용자 또는 제3자에 통지하기 위한 프로세서 실행 가능한 명령어를 포함할 수 있다. 통신은 스마트폰 또는 스마트 워치 상에 알람을 제공할 수 있다.
본 기술의 몇몇 버전은 서버를 포함할 수 있다. 서버는 본 명세서에서 설명된 임의의 프로세서 판독 가능한 매체에 액세스할 수 있다. 서버는 프로세서 판독 가능한 매체에 대한 프로세서 실행 가능한 명령어를 네트워크를 통해 대화형 오디오 디바이스에 다운로드하기 위한 요청을 수신하도록 구성될 수 있다.
본 기술의 몇몇 버전은 대화형 오디오 디바이스를 포함할 수 있다. 대화형 오디오 디바이스는 하나 이상의 프로세서를 포함할 수 있다. 대화형 오디오 디바이스는 하나 이상의 프로세서에 결합된 스피커를 포함할 수 있다. 대화형 오디오 디바이스는 하나 이상의 프로세서에 결합된 마이크로폰을 포함할 수 있다. 대화형 오디오 디바이스는 본 명세서에서 설명된 임의의 프로세서 판독 가능한 매체를 포함할 수 있고 그리고/또는 하나 이상의 프로세서는 본 명세서에서 설명된 서버(들) 중 임의의 것으로 프로세서 실행 가능한 명령어에 액세스하도록 구성될 수 있다. 선택적으로, 대화형 오디오 디바이스는 휴대용 및/또는 핸드헬드 디바이스일 수 있다. 대화형 오디오 디바이스는 모바일 폰, 스마트 워치, 태블릿 컴퓨터, 또는 스마트 스피커를 포함할 수 있다.
본 기술의 몇몇 버전은 본 명세서에서 설명된 프로세서 판독 가능한 매체(들) 중 임의의 것에 액세스 가능한 서버의 방법을 포함할 수 있다. 방법은 서버에서, 프로세서 판독 가능한 매체에 대한 프로세서 실행 가능한 명령어를 네트워크를 통해 대화형 오디오 디바이스에 다운로드하기 위한 요청을 수신하는 단계를 포함할 수 있다. 방법은 요청에 응답하여 프로세서 실행 가능한 명령어를 대화형 오디오 디바이스로 송신하는 단계를 포함할 수 있다.
본 기술의 몇몇 버전은 대화형 오디오 디바이스의 프로세서의 방법을 포함할 수 있다. 방법은 본 명세서에서 설명된 임의의 프로세서 판독 가능한 매체를 프로세서를 사용하여 액세스하는 단계를 포함할 수 있다. 방법은 프로세서에서 프로세서 판독 가능한 매체의 프로세서 실행 가능한 명령어를 실행하는 단계를 포함할 수 있다.
본 기술의 몇몇 버전은 사용자의 생리학적 운동을 검출하기 위한 대화형 오디오 디바이스의 방법을 포함할 수 있다. 방법은 대화형 오디오 디바이스에 결합된 스피커를 통해, 대화형 오디오 디바이스의 부근의 사운드 신호를 생성하는 단계를 포함할 수 있다. 방법은 대화형 오디오 디바이스에 결합된 마이크로폰을 통해, 부근으로부터 반사된 사운드 신호를 감지하는 것을 포함할 수 있다. 방법은 프로세서에서, 반사 사운드 신호의 적어도 일부분 및 사운드 신호의 적어도 일부분을 나타내는 신호로 생리학적 운동 신호를 유도하기 위한 명령어를 포함할 수 있다. 방법은 프로세서로부터 유도된 생리학적 운동 신호의 적어도 일부의 평가에 기초한 출력을 발생시키는 단계를 포함할 수 있다.
몇몇 버전에서, 감지에 사용된 그러한 것과 같은, 생성된 사운드 신호의 적어도 일부분은 실질적 비가청 사운드 범위에 있을 수 있다. 생성된 사운드 신호의 부분은 저주파 초음파 음향 신호일 수 있다. 사운드 신호의 부분을 나타내는 신호는 내부 발생된 발진기 신호 또는 직접 경로 측정된 신호를 포함할 수 있다. 방법은 (a) 생성된 사운드 신호의 적어도 일부분 및 감지된 반사 사운드 신호의 적어도 일부분 또는 (b) 감지된 반사 사운드 신호 및 생성된 사운드 신호의 적어도 일부분과 연관될 수 있는 연관된 신호로 생리학적 운동 신호를 유도하는 것을 포함할 수 있다. 선택적으로, 연관된 신호는 내부 발생된 발진기 신호 또는 직접 경로 측정된 신호일 수 있다. 방법은 발진기 신호를 감지된 반사 사운드 신호의 부분과 승산하는 것에 의해 생리학적 운동 신호를 유도하는 단계를 포함할 수 있다. 방법은 프로세서에서, 대화형 오디오 디바이스에 결합된 마이크로폰을 통해, 감지된 가청 구두 통신을 평가하는 단계를 포함할 수 있으며, 출력을 발생시키는 단계는 감지된 가청 구두 통신에 응답할 수 있다. 방법은 사운드 신호의 적어도 일부로 감지된 반사 사운드 신호의 일부를 복조함으로써 생리학적 운동 신호를 유도하는 단계를 포함할 수 있다. 복조는 사운드 신호의 부분, 및 감지된 반사 사운드 신호의 부분의 승산을 포함할 수 있다. 사운드 신호를 생성하는 것은 이중 톤 주파수 변조된 지속파 신호를 발생시킬 수 있다. 이중 톤 주파수 변조 지속파 신호는 반복된 파형에서 제2 톱니 주파수 변경과 중복된 제1 톱니 주파수 변경를 포함할 수 있다. 방법은 초광대역(UWB) 사운드 신호를 가청 백색 잡음으로서 발생시키는 단계; 및 UWB 사운드 신호로 사용자 모션을 검출하는 단계를 추가로 포함할 수 있다. 방법은 셋업 프로세스에서, 스피커로부터 프로빙 음향 시퀀스를 발생시켜 저주파 초음파 에코의 거리 측정을 교정하는 단계를 포함할 수 있다.
몇몇 버전에서, 방법은 셋업 프로세스에서, 스피커를 포함하는 하나 이상의 스피커로부터 시간 동기화된 교정 음향 신호를 발생시켜, 대화형 오디오 디바이스의 마이크로폰과 다른 마이크로폰 사이의 거리를 추정하는 단계를 포함할 수 있다. 방법은 빔 포밍 프로세스를 동작하여 검출된 영역을 추가로 국부화하는 단계를 포함할 수 있다. 선택적으로, 유도된 생리학적 운동 신호의 적어도 일부의 평가에 기초한 발생된 출력은 감시된 사용자 수면 정보를 포함할 수 있다. 유도된 생리학적 운동 신호의 적어도 일부의 평가는 하나 이상의 생리학적 매개변수를 검출하는 단계를 포함할 수 있다. 하나 이상의 생리학적 매개변수는 호흡 속도, 호흡의 상대 진폭, 심박수, 심장 진폭, 상대 심장 진폭, 및 심박수 가변성 중 임의의 하나 이상을 포함할 수 있다. 감시된 사용자 수면 정보는 수면 스코어, 수면 단계 및 수면 단계에서의 시간 중 임의의 것을 포함할 수 있다. 발생된 출력은 대화형 질의 및 응답 제시를 포함할 수 있다. 발생된 대화형 질의 및 응답 제시는 스피커에 의해 수행될 수 있다. 발생된 대화형 질의 및 응답 제시는 감시된 사용자 수면 정보를 개선하기 위한 어드바이스를 포함할 수 있다.
몇몇 버전에서, 유도된 생리학적 운동 신호의 적어도 일부의 평가에 기초한 발생된 출력은 네트워크 상의 서버에 액세스하는 것 및/또는 네트워크 자원의 검색을 수행하는 것에 추가로 기초할 수 있다. 검색은 이력 사용자 데이터에 기초할 수 있다. 유도된 생리학적 운동 신호의 평가의 적어도 일부에 기초한 발생된 출력은 자동화 기기 또는 시스템을 제어하기 위한 제어 신호를 포함할 수 있다. 방법은 제어 신호를 네트워크를 통해 자동화 기기 또는 시스템에 송신하는 단계를 추가로 포함할 수 있다. 네트워크는 인터넷일 수 있다. 방법은 프로세서에서, 제어 신호를 발생시켜 유도된 생리학적 운동 신호의 적어도 일부의 평가에 기초하여 대화형 오디오 디바이스의 설정을 변경하는 단계를 추가로 포함할 수 있다. 대화형 오디오 디바이스의 설정을 변경하기 위한 제어 신호는 대화형 오디오 디바이스로부터의 사용자 거리, 사용자의 상태 또는 사용자의 위치에 기초하여 볼륨의 변경을 포함할 수 있다. 방법은 프로세서에서, 상이한 음향 감지 범위의 모션 특성을 평가하여 복수의 사용자의 수면 특성을 감시하는 단계를 추가로 포함할 수 있다.
방법은 상이한 주파수로 상이한 사용자를 감지하기 위해 상이한 감지 주파수에서 동시 음향 감지 신호를 생성하는 것을 제어하는 단계를 추가로 포함할 수 있다. 방법은 상이한 시간에 상이한 사용자를 감지하기 위해 인터리빙된 음향 감지 신호를 생성하는 것을 제어하는 단계를 포함할 수 있다. 방법은 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 사용자의 존재 또는 부재를 검출하는 단계를 포함할 수 있다. 방법은 프로세서로, 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 사용자의 생체측정 인식을 수행하는 단계를 포함할 수 있다. 방법은 (a) 유도된 생리학적 운동 신호의 적어도 일부의 분석으로부터 결정된 생체측정 평가, 및/또는 (b) 유도된 생리학적 운동 신호의 적어도 일부의 분석으로부터 결정되는 검출된 존재에 기초하여 네트워크를 통한 통신을 프로세서로 발생시키는 단계를 포함할 수 있다. 방법은 대화형 오디오 디바이스로, 사용자의 모션 존재를 음향적으로 검출하는 단계, 사용자를 가청으로 시도하게 하는 단계, 사용자를 가청으로 인증하는 단계, 및 사용자를 인가하는 단계 또는 알람 메시지를 사용자에 대해 통신하는 단계를 포함할 수 있다. 선택적으로, 사용자를 가청으로 인증하는 단계는 마이크로폰에 의해 감지된 사용자의 구두 사운드 파를 이전에 기록된 구두 사운드 파와 비교하는 단계를 포함할 수 있다. 방법은 모션 기반 생체측정 감지로 사용자를 인증하는 단계를 포함할 수 있다.
몇몇 버전에서, 방법은 대화형 오디오 디바이스로, 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 모션 제스처를 검출하는 단계를 포함할 수 있다. 방법은 대화형 오디오 디바이스의 프로세서에서, 검출된 모션 제스처에 기초하여, 제어 신호를 발생시켜 통지를 송신하거나, (a) 자동화 기기 및/또는 (b) 대화형 오디오 디바이스의 동작에 대한 변경을 제어하는 단계를 포함할 수 있다. 대화형 오디오 디바이스의 동작에 대한 변경을 제어하기 위한 제어 신호는 대화형 오디오 디바이스의 대화형 보이스 어시스턴트 동작을 개시하기 위한 마이크로폰 감지를 활성화하는 것을 포함할 수 있으며, 그것에 의해 비활성 대화형 보이스 어시스턴트 프로세스가 관여될 수 있다. 방법은 마이크로폰 감지에 의한 구두 키워드의 검출에 기초하여 대화형 보이스 어시스턴트 동작을 개시하는 단계를 포함할 수 있다. 방법은 대화형 오디오 디바이스로, 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 사용자의 호흡 모션을 검출하는 단계 및 출력 큐를 발생시켜 사용자에게 동기를 부여해서 사용자 호흡을 조정하는 단계를 포함할 수 있다. 방법은 대화형 오디오 디바이스의 마이크로폰에 의해 감지된 비가청 사운드 파를 통해 다른 프로세싱 디바이스에 의해 제어된, 다른 대화형 오디오 디바이스로부터의 통신을, 대화형 오디오 디바이스로 수신하는 단계를 포함할 수 있다. 방법은 통신에 기초하여 대화형 오디오 디바이스의 부근에서 사운드 신호의 적어도 일부를 생성하기 위한 매개변수를 조정하는 단계를 포함할 수 있다. 매개변수를 조정하는 단계는 대화형 오디오 디바이스와 다른 대화형 오디오 디바이스 사이의 간섭을 감소시킬 수 있다. 유도된 생리학적 운동 신호의 적어도 일부의 평가는 수면 개시 또는 각성 개시를 검출하는 단계를 추가로 포함할 수 있고, 평가에 기초한 출력은 서비스 제어 신호를 포함할 수 있다. 서비스 제어 신호는 조명 제어; 기기 제어; 볼륨 제어; 서모스탯 제어; 및 윈도우 개폐 제어 중 하나 이상을 포함할 수 있다.
방법은 사용자에게 피드백을 수집하고 유도된 생리학적 운동 신호 및 피드백 중 적어도 하나에 기초하여 응답하는 어드바이스를 발생시키도록 재촉하는 단계를 포함할 수 있다. 방법은 환경 데이터를 결정하는 단계를 포함할 수 있고, 어드바이스는 결정된 환경 데이터에 추가로 기초할 수 있다. 방법은 환경 데이터를 결정하여, 결정된 환경 데이터 및 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 환경 제어 시스템에 대한 제어 신호를 발생시키는 단계를 포함할 수 있다. 방법은 수면 개선 서비스를 제공하는 것을 제어하는 단계를 추가로 포함할 수 있으며, 수면 개선 서비스는 (a) 검출된 수면 조건 및/또는 수집된 사용자 피드백에 응답하여 어드바이스를 발생시키는 것; 및 (b) 제어 신호를 발생시켜 환경 기기를 제어해서 환경 수면 조건을 설정하고 그리고/또는 수면 관련 어드바이스 메시지를 사용자에게 제공하는 것 중 임의의 것을 포함할 수 있다. 방법은 유도된 생리학적 운동 신호에 기초하여 제스처를 검출하는 단계 및 대화형 오디오 디바이스의 대화형 보이스 어시스턴트 동작을 개시하기 위한 마이크로폰 감지를 개시하는 단계를 포함할 수 있다. 방법은 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 낮잠 세션을 개시 및 감시하는 단계를 포함할 수 있다. 방법은 생성된 사운드 신호의 적어도 일부의 매개변수를 변화시켜 부근을 통해 사용자의 운동을 추적함으로써 검출 범위를 변화시키는 단계를 포함할 수 있다. 방법은 유도된 생리학적 운동 신호의 적어도 일부로 비인가된 운동을 검출하는 단계 및 알람 또는 통신을 발생시켜 제3자 사용자 또는 제3자에게 통지하는 단계를 포함할 수 있다. 통신은 스마트폰 또는 스마트 워치 상에 알람을 제공한다.
본 명세서에서 설명된 방법, 시스템, 디바이스 및 장치는 범용 또는 특정 용도 컴퓨터, 휴대용 컴퓨터 프로세싱 디바이스(예를 들어, 모바일 폰, 스마트 워치, 태블릿 컴퓨터, 스마트 스피커, 스마트 텔레비전 등), 호흡 모니터 및/또는 마이크로폰 및 스피커를 이용한 다른 프로세싱 장치의 프로세서와 같은 프로세서에서 개선된 기능을 제공할 수 있다. 또한, 설명된 방법, 시스템, 디바이스 및 장치는 자동화된 스마트 오디오 디바이스의 기술 분야에서 개선을 제공할 수 있다.
물론, 양태의 일부분은 본 기술의 하위-양태를 형성할 수 있다. 또한, 하위-양태 및/또는 양태 중 다양한 양태는 다양한 방식으로 조합될 수 있고, 또한 본 기술의 부가 양태 또는 하위-양태를 구성할 수 있다.
본 기술의 다른 특징은 다음의 상세한 설명, 요약서, 도면 및 청구범위에 포함된 정보의 고려로부터 자명해질 것이다.
4
도면의 간단한 설명
본 기술은 유사한 참조 부호가 유사한 요소를 지칭하는 첨부 도면의 도면에서 제한적인 것이 아니라 예로서 예시된다:
도 1은 본 명세서에서 설명된 신호 발생 및 프로세싱 기법으로 저주파 초음파 생체모션 감지를 사용하는 것과 같은 예시적인 음성 가능 오디오 디바이스를 예시한다.
도 2는 디바이스의 부근으로부터 오디오 정보를 수신하기 위한 예시적인 프로세싱 디바이스 및 디바이스의 예시적인 프로세스의 개략도를 예시한다.
도 3은 본 기술의 몇몇 형태에 따라 구성될 수 있는 바와 같이, 스마트 스피커 디바이스와 같은 프로세싱 디바이스의 개략도이다.
도 4a는 주파수 변조 지속파 감지(FMCW)를 위해서와 같이 단일 톤 처프의 주파수 특성을 도시한다.
도 4b는 주파수 변조 지속파 감지(FMCW)를 위해서와 같이 이중 톤 처프의 주파수 특성을 도시한다.
도 5는 본 기술의 감지 시스템에 대해 구현될 수 있는 이중 톤 FMCW의 예시적인 복조를 예시한다.
도 6은 본 명세서에서 설명된 신호 발생 및 프로세싱 기법으로 저주파 초음파 생체 모션 감지를 사용하는 것과 같은 음성 가능 오디오 디바이스의 예시적인 동작을 예시한다.
도 7은 예컨대 본 명세서에서 설명된 프로세싱을 위한 예시적인 오디오 프로세싱 모듈 또는 블록을 예시한다.
도 8은 오디오 유도된 모션 특성의 프로세싱에 의해 생성된 예시적인 출력(예를 들어, 수면 단계 데이터)을 예시한다.
도 8a, 도 8b 및 도 8c는 예컨대 FMCW 시스템에 대한 삼각형 단일 톤의 다양한 신호 특성을 예시한다.
도 9a, 도 9b 및 도 9c는 예컨대 FMCW 시스템에 대한 삼각형 이중 톤의 다양한 신호 특성을 예시한다.
본 기술은 유사한 참조 부호가 유사한 요소를 지칭하는 첨부 도면의 도면에서 제한적인 것이 아니라 예로서 예시된다:
도 1은 본 명세서에서 설명된 신호 발생 및 프로세싱 기법으로 저주파 초음파 생체모션 감지를 사용하는 것과 같은 예시적인 음성 가능 오디오 디바이스를 예시한다.
도 2는 디바이스의 부근으로부터 오디오 정보를 수신하기 위한 예시적인 프로세싱 디바이스 및 디바이스의 예시적인 프로세스의 개략도를 예시한다.
도 3은 본 기술의 몇몇 형태에 따라 구성될 수 있는 바와 같이, 스마트 스피커 디바이스와 같은 프로세싱 디바이스의 개략도이다.
도 4a는 주파수 변조 지속파 감지(FMCW)를 위해서와 같이 단일 톤 처프의 주파수 특성을 도시한다.
도 4b는 주파수 변조 지속파 감지(FMCW)를 위해서와 같이 이중 톤 처프의 주파수 특성을 도시한다.
도 5는 본 기술의 감지 시스템에 대해 구현될 수 있는 이중 톤 FMCW의 예시적인 복조를 예시한다.
도 6은 본 명세서에서 설명된 신호 발생 및 프로세싱 기법으로 저주파 초음파 생체 모션 감지를 사용하는 것과 같은 음성 가능 오디오 디바이스의 예시적인 동작을 예시한다.
도 7은 예컨대 본 명세서에서 설명된 프로세싱을 위한 예시적인 오디오 프로세싱 모듈 또는 블록을 예시한다.
도 8은 오디오 유도된 모션 특성의 프로세싱에 의해 생성된 예시적인 출력(예를 들어, 수면 단계 데이터)을 예시한다.
도 8a, 도 8b 및 도 8c는 예컨대 FMCW 시스템에 대한 삼각형 단일 톤의 다양한 신호 특성을 예시한다.
도 9a, 도 9b 및 도 9c는 예컨대 FMCW 시스템에 대한 삼각형 이중 톤의 다양한 신호 특성을 예시한다.
5
본 기술의 예에 대한 상세한 설명
본 기술이 더 상세히 설명되기 전에, 본 기술은 본 명세서에서 설명된 특정 예에 한정되지 않으며, 이는 변경될 수 있음을 이해해야 한다. 본 개시에 사용된 용어는 논의된 특정 예를 설명하기 위한 것이고 한정하려는 의도가 아니라는 것을 또한 이해해야 한다.
다음의 설명은 공통 특성 또는 특징을 공유할 수 있는 본 기술의 다양한 형태와 관련하여 제공된다. 임의의 하나의 예시적인 형태의 하나 이상의 특징은 다른 형태의 하나 이상의 특징과 조합될 수 있음을 이해해야 한다. 또한, 본 명세서에서 설명된 임의의 형태의 임의의 단일 특징 또는 특징의 조합은 추가의 예시적인 형태를 구성할 수 있다.
5.1
오디오 장비에 의한 스크리닝, 감시, 및 검출
본 기술은 대상체가 잠들어있을 때와 같이, 예를 들어, 전신 운동, 호흡 운동 및/또는 심장 관련 흉부 운동을 포함한, 대상체의 운동을 검출하는 오디오 시스템, 방법 및 장치에 관한 것이다. 보다 구체적으로는, 스마트 스피커와 같은, 대화형 오디오 디바이스와 연동된 프로세싱 애플리케이션. 몇몇 버전에서, 오디오 디바이스는 스마트폰, 태블릿, 모바일 디바이스, 모바일 폰, 스마트 텔레비전, 랩톱 컴퓨터 등일 수 있으며 그것은 디바이스 센서, 예컨대 스피커 및 마이크로폰을 사용하여, 이와 같은 모션을 검출한다.
본 기술을 구현하는 데 적합한 예시적인 시스템의 특히 최소한적이거나 눈에 띄지 않는 버전은 이제, 도 1 내지 도 3을 참조하여 설명된다. 대화형 오디오 디바이스는 대상체(110)의 운동을 검출하기 위한 애플리케이션(200)으로 구성된 스마트 스피커일 수 있는, 마이크로컨트롤러와 같은, 하나 이상의 프로세서를 갖는 프로세싱 디바이스(100)로서 구현될 수 있다. 그것은 대상체(110) 근처의 침상 테이블 상에 배치되거나 그렇지 않으면 방 내에 위치될 수 있다. 대안적으로, 프로세싱 디바이스(100)는 예를 들어, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 스마트 텔레비전 또는 다른 전자 디바이스일 수 있다. 프로세싱 디바이스(100)의 프로세서(들)는 특히, 오디오 신호가 디바이스의 실내 부근에서와 같은 일반적으로 개방되거나 제한되지 않은 매체로서 전형적으로 공기를 통해 발생 및 송신되게 하는 것을 포함한, 애플리케이션(200)의 기능을 실행하도록 구성될 수 있다. 프로세싱 디바이스는 예를 들어, 마이크로폰과 같은 변환기로 신호를 감지함으로써 송신된 신호의 반사를 수신할 수 있다. 프로세싱 디바이스는 감지된 신호를, 예를 들어 송신된 신호와의 복조에 의해 프로세싱하여 신체 운동 예컨대 전신 운동, 심장 운동 및 호흡 운동을 결정할 수 있다. 전형적으로, 프로세싱 디바이스(100)는 다른 구성 요소 중에서도, 스피커 및 마이크로폰을 포함할 것이다. 스피커는 발생된 오디오 신호를 송신하기 위해 구현되고 마이크로폰은 반사된 신호를 수신하기 위해 구현될 수 있다. 감지 및 프로세싱을 위한 발생된 오디오 신호는 2017년 9월 19일자로 출원된 국제 특허 출원 PCT/EP2017/073613호에 설명된 기법 중 임의의 것으로 구현될 수 있으며, 그의 전체 개시는 본 명세서에 참조로 포함된다. 도 1 내지 도 3에 예시된 버전은 통합된 감지 장치를 갖는 다양한 프로세싱 디바이스를 예시하지만(예를 들어, 하우징이 마이크로폰 및 스피커와 같은 감지 장치 또는 구성요소의 모두를 포함하는 경우), 몇몇 버전에서, 감지 장치는 유선 및/또는 무선 연결(들)을 통해 연결되거나 함께 작동하는 개별의 또는 분리적으로 수용된 구성요소일 수 있다.
감지 장치가 일반적으로 음향 감지(예를 들어, 저주파 초음파 감지)에 관해 본 명세서에서 설명되지만, 방법 및 디바이스는 다른 감지 기법을 사용하여 구현될 수 있다는 점이 이해된다. 예를 들어, 대안으로서, 프로세싱 디바이스는 발생된 신호 및 반사된 신호가 RF 신호이도록, 감지 장치의 역할을 하기 위해 RF 센서의 무선 주파수(RF) 송수신기로 구현될 수 있다. 프로세싱 디바이스와 통합되거나 이 디바이스에 결합될 수 있는 이와 같은 RF 감지 디바이스는 발명의 명칭이 “Range Gated Radio Frequency Physiology Sensor”이고 2013년 7월 19일자로 출원된 국제 특허 출원 번호 PCT/US2013/051250호; 발명의 명칭이 “Digital Radio Frequency Motion Detection Sensor”이고 2017년 8월 16일자로 출원된 국제 특허 출원 번호 PCT/EP2017/070773호; 및 발명의 명칭이 “Digital Range Gated Radio Frequency Sensor”이고 2017년 8월 16일자로 출원된 국제 특허 출원 번호 PCT/EP2016/069413호 설명된 기법 및 세너 구성요소 중 임의의 것으로 구현될 수 있다. 유사하게, 대안 버전에서, 감지 신호의 송신 및 그의 반사의 감지를 위한 이와 같은 감지 장치는 적외선 방사선 발생기 및 적외선 방사선 검출기(예를 들어, IR 방출기 및 IR 검출기)로 구현될 수 있다. 본 명세서에서 설명된 바와 같은 모션 검출 및 특성화를 위한 이와 같은 신호의 프로세싱은 유사하게 구현될 수 있다.
이러한 상이한 감지 기법 중 2개 이상의 조합을 사용하는 것은 각각의 기법의 장점을 조합함으로써 감지 결과를 향상시킬 수 있다. 예를 들어, 논의된 음향 감지 기법은 우리의 일상 생활의 잡음 환경에서 전적으로 허용 가능하다. 그러나, 매우 민감한 청각을 갖는 사용자는 밤에 이와 같은 기술을 사용하는 것에 문제가 있다고 느낄 수 있는데, 밤에는 잡음이 훨씬 적어서 감지 신호가 잘 들린다. 유사하게, IR 감지는 밤 시간 동안 양호한 S/N 신호를 제공하지만, 그것의 사용은 낮의 빛(및 열)에 문제가 있을 수 있다. IR 감지는 이러한 경우에 낮 동안 음향 감지의 사용에 의해 보완되는 밤에 사용될 수 있다.
선택적으로, 프로세싱 디바이스의 사운드-기반 감지 방법론은 치료 디바이스가 프로세싱 디바이스(100)로서 기능하거나 별도의 프로세싱 디바이스(100)와 함께 동작하는 도 5에 예시된 호흡 치료 디바이스(5000)와 같은 침상 디바이스(예를 들어, 지속적 기도 양압(예를 들어, “CPAP”) 디바이스와 같은 호흡 치료 디바이스 또는 고-흐름 치료 디바이스)와 같은 다른 유형의 디바이스에서 또는 이와 같은 디바이스에 의해 구현될 수 있다. 압력 디바이스 또는 송풍기(예를 들어, 볼류트 내의 모터 및 임펠러), 하나 이상의 센서 및 압력 디바이스 또는 송풍기의 중앙 제어기를 포함한, 이와 같은 디바이스의 예는 2014년 10월 28일자로 출원된 국제 특허 공개 번호 WO/2015/061848(출원 번호 PCT/AU2014/050315)호 및 2016년 3월 14일자로 출원된 국제 특허 공개 번호 WO/2016/145483(출원 번호 PCT/AU2016/050117)호에 설명된 디바이스를 참조하여 고려될 수 있으며, 이들의 전체 개시는 본 명세서에 참조로 포함된다. 이와 같은 호흡 치료 디바이스(5000)는 선택적인 가습기(4000)를 포함하고 치료를 환자 회로(4170)(예를 들어, 도관)를 통해 환자 인터페이스(3000)에 제공할 수 있다. 몇몇 경우에, 호흡 치료 디바이스(5000)는 본 출원에 걸쳐 설명된 프로세스의 외부 사운드 관련 음향 조건을 감지하는 역할을 하는 것과 대조적으로, 환자 회로(4170) 내에 그리고 환자 회로를 통해 내부 사운드 관련 조건을 감지하기 위한, 마이크로폰과 같은 별도의 센서를 가질 수 있다.
프로세싱 디바이스(100)는 대상체의 호흡 및/또는 다른 운동 관련 특성을 감시하는 효율적이고 효과적인 방법을 제공하도록 적응될 수 있다. 수면 중에 사용될 때, 프로세싱 디바이스(100) 및 그의 연관된 방법은 예를 들어, 사용자의 호흡을 검출하고 수면 단계, 수면 상태, 수면 상태들 사이의 전이, 호흡 및/또는 다른 호흡 특성을 식별하는 데 사용될 수 있다. 웨이크 상태 동안에 사용될 때, 프로세싱 디바이스(100) 및 그의 연관된 방법은 사람의 존재 유무 또는 대상체 호흡(들숨, 날숨, 중지 및 유도된 속도) 및/또는 심장탄도 파형 그리고 후속하여 유도된 심박수와 같은 운동을 검출하는 데 사용될 수 있다. 이와 같은 운동 또는 운동 특성은 본 명세서에서 보다 상세히 설명된 바와 같은 다양한 기능을 제어하는 데 사용될 수 있다.
프로세싱 디바이스(100)는 집적 칩, 메모리 및/또는 다른 제어 명령어, 데이터 또는 정보 저장 매체를 포함할 수 있다. 예를 들어, 본 명세서에서 설명된 평가/신호 프로세싱 방법론을 포함한 프로그래밍된 명령어는 ASIC(application specific integrated chip)을 형성하기 위해 디바이스 또는 장치의 메모리에 집적된 칩에 코딩될 수 있다. 이와 같은 명령어는 또한 또는 대안적으로, 적절한 데이터 저장 매체를 사용하여 소프트웨어 또는 펌웨어로서 로딩될 수 있다. 선택적으로, 이와 같은 프로세싱 명령어는 예컨대 네트워크(예를 들어, 인터넷)를 통해 서버로부터 프로세싱 디바이스로 다운로드될 수 있어 명령어가 실행될 때, 프로세싱 디바이스는 스크리닝 디바이스 또는 감시 디바이스로서의 역할을 한다.
따라서, 프로세싱 디바이스(100)는 도 3에 예시된 바와 같은 다수의 구성요소를 포함할 수 있다. 프로세싱 디바이스(100)는 다른 구성요소 중에서도, 마이크로폰 또는 사운드 센서(302), 프로세서(들)(304), 선택적인 디스플레이 인터페이스(306), 선택적인 사용자 제어/입력 인터페이스(308), 스피커(310), 및 메모리/데이터 저장장치(312)(예컨대, 본 명세서에서 설명된 프로세싱 방법론/모듈의 프로세싱 명령어를 지님)를 포함할 수 있다. 몇몇 경우에, 마이크로폰 및/또는 스피커는 예를 들어, 프로세싱 디바이스가 예컨대 스피커를 통해, 마이크로폰에 의해 감지된 오디오 및/또는 구두 명령에 응답할 때, 예컨대 프로세싱 디바이스의 동작을 제어하기 위해, 디바이스의 프로세서(들)와의 사용자 인터페이스의 역할을 할 수 있다. 이와 관련하여, 프로세싱 디바이스(100)는 예컨대 자연 언어 처리를 사용하여 보이스 어시스턴트의 역할을 할 수 있다.
프로세싱 디바이스(100)의 구성요소 중 하나 이상은 프로세싱 디바이스(100)와 일체형이거나 프로세싱 디바이스(100)와 작동 가능하게 결합될 수 있다. 예를 들어, 마이크로폰(들) 또는 사운드 센서(302)는, 예컨대 유선 또는 무선 링크(예를 들어, 블루투스, 와이파이 등)를 통해 프로세싱 디바이스(100)와 일체형이거나 프로세싱 디바이스(100)와 결합될 수 있다. 따라서, 프로세싱 디바이스(100)는 데이터 통신 인터페이스(314)를 포함할 수 있다.
메모리/데이터 저장장치(312)는 프로세서(304)를 제어하기 위한 복수의 프로세서 제어 명령어를 포함할 수 있다. 예를 들어, 메모리/데이터 저장장치(312)는 본 명세서에서 설명된 프로세싱 방법론/모듈의 프로세싱 명령어에 의해 애플리케이션(200)이 수행되게 하기 위한 프로세서 제어 명령어를 포함할 수 있다.
본 기술의 예는 프로세싱 디바이스(100)를 사용하여 사용자가 수면 중일 때 모션, 호흡 및 선택적으로 수면 특성을 검출하기 위해, 애플리케이션(들)(200)에 의해 구현될 수 있는 하나 이상의 알고리즘 또는 프로세스를 사용하도록 구성될 수 있다. 예를 들어, 애플리케이션(200)은 수개의 서브-프로세스 또는 모듈에 의해 특징화될 수 있다. 도 2에 도시된 바와 같이, 애플리케이션(200)은 오디오 신호 발생 및 송신 서브-프로세스(202), 모션 및 생물리학 특성 검출 서브-프로세스(204), 모션 특성화 서브-프로세스(206)(예컨대 대상체 부재/존재 검출, 생체측정 식별, 수면 특성화, 호흡 또는 심장 관련 특성화 등을 위한), 및 결과 출력 서브-프로세스(208)(예컨대 본 명세서에서 보다 상세히 설명된 바와 같이 다양한 디바이스를 제어하거나 정보를 제시하기 위한)를 포함할 수 있다.
예를 들어, 수면 스테이징 프로세싱 모듈에서와 같이, 프로세싱(206)에서의 선택적인 수면 스테이징이 구현될 수 있다. 그러나, 임의의 하나 이상의 이와 같은 프로세싱 모듈/블록(예를 들어, 수면 스코어링 또는 스테이징, 대상체 인식 프로세싱, 모션 감시 및/또는 예측 프로세싱, 기기 제어 로직 프로세싱, 또는 다른 출력 프로세싱 등)이 선택적으로 추가될 수 있다. 몇몇 경우에, 신호 후-프로세싱 단계의 기능은 다음의 특허 또는 특허 출원 중 어느 하나에 설명된 장치, 시스템 및 방법론의 임의의 구성요소, 디바이스 및/또는 방법론을 사용하여 수행될 수 있으며, 그것의 전체 개시는 본 명세서에 참조로 포함된다: 2007년 6월 1일자로 출원되고 발명의 명칭이 "Apparatus, System, and Method for Monitoring Physiological Signs"인 국제 특허 출원 번호 PCT/US2007/070196 호; 2007년 10월 31일자로 출원되고 발명의 명칭이 "System and Method for Monitoring Cardio-Respiratory Parameters"인 국제 특허 출원 번호 PCT/US2007/083155호; 2009년 9월 23일자로 출원되고 발명의 명칭이 “Contactless and Minimal-Contact Monitoring of Quality of Life Parameters for Assessment and Intervention”인 국제 특허 출원 번호 PCT/US2009/058020호; 2010년 2월 4일자로 출원되고 발명의 명칭이 "Apparatus, System, and Method for Chronic Disease Monitoring"인 국제 출원 번호 PCT/US2010/023177호; 2013년 3월 30일자로 출원되고 발명의 명칭이 "Method and Apparatus for Monitoring Cardio-Pulmonary Health"인 국제 특허 출원 번호 PCT/AU2013/000564호; 2015년 5월 25일자로 출원되고 발명의 명칭이 “Methods and Apparatus for Monitoring Chronic Disease”인 국제 특허 출원 번호 PCT/AU2015/050273호; 2014년 10월 6일자로 출원되고 발명의 명칭이 "Fatigue Monitoring and Management System"인 국제 특허 출원 번호 PCT/AU2014/059311호; 2017년 8월 16일자로 출원되고 발명의 명칭이 "Digital Radio Frequency Motion Detection Sensor"인 국제 특허 출원 번호 PCT/EP2017/070773호; 2013년 9월 19일자로 출원되고 발명의 명칭이 "System and Method for Determining Sleep Stage"인 국제 특허 출원 번호 PCT/AU2013/060652호; 2016년 4월 20일자로 출원되고 발명의 명칭이 "Detection and Identification of a Human from Characteristic Signals"인 국제 특허 출원 번호 PCT/EP2016/058789호; 2016년 12월 8일자로 출원되고 발명의 명칭이 "Periodic Limb Movement Recognition with Sensors"인 국제 특허 출원 번호 PCT/EP2016/080267호; 2016년 8월 17일자로 출원되고 발명의 명칭이 "Screener for Sleep Disordered Breathing"인 국제 특허 출원 번호 PCT/EP2016/069496호; 2016년 4월 20일자로 출원되고 발명의 명칭이 "Gesture Recognition with Sensors"인 국제 특허 출원 번호 PCT/EP2016/058806호; 2016년 8월 16일자로 출원되고 발명의 명칭이 " Digital Range Gated Radio Frequency Sensor”인 국제 출원 번호 PCT/EP2016/069413호; 2016년 8월 26일자로 출원되고 발명의 명칭이 “Systems and Methods for Monitoring and Management of Chronic Disease”인 국제 특허 출원 번호 PCT/EP2016/070169호; 2014년 7월 8일자로 출원되고 발명의 명칭이 “Methods and Systems for Sleep Management”인 국제 특허 출원 번호 PCT/US2014/045814호; 및 2016년 3월 24일자로 출원되고 발명의 명칭이 "Detection of Periodic Breathing"인 미국 특허 출원 번호 15/079,339호. 따라서, 몇몇 예에서, 예를 들어 호흡 운동을 포함한 검출된 운동의 프로세싱은 (a) 수면을 나타내는 수면 상태; (b) 각성을 나타내는 수면 상태; (c) 깊은 수면을 나타내는 수면 단계; (d) 얕은 수면을 나타내는 수면 단계; 및 (e) REM 수면을 나타내는 수면 단계 중 임의의 하나 이상을 결정하기 위한 기초로서의 역할을 할 수 있다. 이와 관련하여, 본 개시의 사운드 관련 감지 기술이 이러한 포함된 참조문헌의 일부에 설명된 바와 같은 레이더 또는 RF 감지 기술과 비교할 때, 스피커 및 마이크로폰을 사용하고 사운드 신호를 프로세싱하는 것과 같은 모션 감지를 위한 상이한 메커니즘/프로세스를 제공하지만, 일단 호흡 속도와 같은 호흡 신호가 본 명세서에서 설명된 사운드 감지/프로세싱 방법론으로 얻어지면, 수면 상태/단계 정보의 추출을 위한 호흡 또는 다른 모션 신호를 프로세싱하는 원리는 이러한 포함된 참조 문헌의 결정 방법론에 의해 구현될 수 있다. 예를 들어, 호흡 속도 및 운동 및 활동 카운트가 RF이든지 소나이든지 모션으로부터 결정되면, 수면 스테이징은 공통 분석이다. 부가 예로서, 감지 파장은 RF 펄스화된 CW와 소나 FMCW 구현 간에 상이할 수 있다. 따라서, 속도는 예컨대 범위(상이한 감지 거리)에 걸쳐 운동을 검출함으로써 상이하게 결정될 수 있다. FMCW에 대해, 운동 검출은 다수의 범위에서 이루어질 수 있다. 따라서, 하나 이상의 이동 타겟은 (그것이 2명의 사람, 또는 실제로 사람의 상이한 부분이든지 - 소나 센서에 대한 각도에 따라) 추적될 수 있다.
전형적으로, 예컨대 본 명세서에서 설명된 하나 이상의 톤을 사용하는 오디오 신호 등의 감지를 위해서 스피커로부터의 오디오 신호가 발생되어 사용자를 향해 송신될 수 있다. 톤은 하나 이상의 특정 주파수에서 매체(예를 들어, 공기)에 압력 변동을 제공한다. 이러한 설명의 목적을 위해, 발생된 톤(또는 오디오 신호 또는 사운드 신호)은 이들이 (예를 들어, 스피커에 의해) 가청 압력 파와 유사한 방식으로 생성될 수 있기 때문에 "사운드", "음향" 또는 "오디오"로서 지칭될 수 있다. 그러나, 이와 같은 압력 변동 및 톤(들)은 용어 "사운드", "음향" 또는 "오디오" 중 어느 하나에 의해 특징화됨에도 불구하고 가청 또는 비가청일 수 있는 것으로 본 명세서에서 이해되어야 한다. 따라서, 발생된 오디오 신호는 가청 또는 비가청일 수 있으며, 인간 모집단에 걸친 가청성의 주파수 임계값은 연령에 따라 변한다. 신호는 대부분의 사람이 사운드를 사운드(예를 들어, 18kHz 위의 범위에서) 분별할 수 없도록 실질적으로 비가청일 수 있다. 전형적인 "오디오 주파수" 표준 범위는 약 20 Hz 내지 20,000 Hz(20 kHz)이다. 더 높은 주파수 청력의 임계값은 나이에 따라 감소하는 경향이 있는데, 중년의 사람은 흔히 15 내지 17 kHz 초과의 주파수를 갖는 소리를 들을 수 없는 반면에, 10대는 18 kHz를 들을 수 있다. 스피치를 위한 가장 중요한 주파수는 대략 250 내지 6,000 Hz 범위이다. 전형적인 소비자용 스마트폰에 대한 스피커 및 마이크로폰 신호 응답은 대부분의 경우 19 내지 20 kHz 초과에서 롤 오프하도록 설계되며, 일부는 23 kHz 이상(특히 디바이스가 96 kHz와 같은 48 kHz 초과의 샘플링 속도를 지원하는 경우)으로 확장된다. 따라서, 대부분의 사람에 대해, 17/18 내지 24 kHz 범위의 신호를 사용하고 비가청을 유지하는 것이 가능하다. 19 kHz가 아닌 18 kHz를 들을 수 있는 젊은 사람에 대해, 21 kHz라고 말하는 19 kHz의 대역이 사용될 수 있다. 일부 가정용 애완동물은 더 높은 주파수(예를 들어, 개는 최대 60 kHz까지 그리고 고양이는 최대 79 kHz까지)를 들을 수 있다. 본 기술의 감지 오디오 신호에 대한 적절한 범위는 낮은 초음파 주파수 범위 예컨대 15 내지 24 kHz, 18 내지 24 kHz, 19 내지 24 kHz, 15 내지 20 kHz, 18 내지 20 kHz 또는 19 내지 20 kHz에 있을 수 있다.
예컨대 PCT/EP2017/073613호에 설명된 바와 같이, 저주파 초음파 감지 신호의 사용으로, 오디오 감지의 배열 및 방법 중 임의의 것은 본 명세서에서 설명된 프로세싱 디바이스에 의해 구현될 수 있다. 그러나, 몇몇 경우에, 이중 톤 FMCW(또한 이중 램프 기술로 언급됨)는 본 명세서에서 설명된 바와 같이 구현될 수 있다.
예를 들어, 하나의 “톤”을 갖는 삼각형 FMCW 파형(즉, 주파수에서 스윕 업 및 다운됨)은 스피커(들)를 사용하여 프로세싱 디바이스에 의해 발생될 수 있으며 파형은 도 4a에 예시된 주파수 대 시간 특성을 갖고, 업-스윕, 또는 단지 다운-스윕, 또는 심지어 둘 모두의 프로세싱은 거리 검출에 대해 평가될 수 있다. 하나의 톤에 대한 위상 연속 삼각형 형태는 위상 불연속성에 의해 생성되는 플레이된 사운드에서 가청 인공물을 최소화하거나 제거하므로 매우 바람직하다. 이의 램프 변형은 스피커(들)가 주파수에서의 특정 진폭 사운드를 플레이하는 것으로부터 샘플의 공간 내의 유사한 진폭에서의 훨씬 더 낮은(또는 훨씬 더 높은) 주파수로 점핑하도록 요청받으므로, 매우 불쾌하고 가청 윙윙거리는 사운드를 일으킬 수 있으며; 스피커의 기계적 변경은 클릭을 일으킬 수 있고, 처프의 빈번한 반복은 사용자가 윙윙거리는 소리(많은 밀접히 이격된 클릭)를 듣는 것을 의미한다.
대안적으로, 본 기술의 몇몇 버전에서, FMCW로서의 음향 감지 신호는 램프 파형을 갖는 특수 이중 “톤”(예를 들어, 업-스위프 또는 다운-스위프만으로 구성됨)으로 구현될 수 있어 - 가청 인공물 없이 하나의 램프의 끝(주파수 램프 업 및 다운)으로 다음(주파수 램프 업 및 다운)으로 주파수의 급격한 변경이 있다. 이와 같은 이중 “톤” 주파수 변조된 파형은 도 4b에서 시간에 대해 그것의 주파수 특성을 나타낸다. 이는 시스템에서 데이터 프로세싱을 궁극적으로 단순화하고, 또한 삼각형 파형의 각각의 지점에서 잠재적으로 높은 진폭 전이를 제거할 수 있다. 급격하고 반복적인 전이는 때때로 시스템의 낮은 레벨 DSP / CODEC / 펌웨어에서 이상한 작용을 촉발시킬 수 있다.
도 4a 및 도 4b는 FMCW 단일 톤(도 4a) 및 이중 톤(도 4b) 구현의 주파수 도메인 비교를 도시한다. 단일 톤(도 4a)은 비가청성을 보장하기 위해 다운스위프(시간에 걸친 생성된 주파수의 감소)를 우선적으로 포함할 수 있다. 그러나, 다운스위프는 생략될 수 있지만 몇몇 가청성을 야기할 수 있다. 이중 톤(톤 페어)(도 4b)은 시간 도메인 표현이 예컨대 비가청이도록 형상화됨에 따라, 이와 같은 다운스위프에 대한 요구를 회피하는 데 도움이 될 수 있다. 도 4b는 제1 톤(4001) 및 선택적인 제2 톤(4002) 중복을 도시한다. 도면은 수신된 에코(즉, 반사 신호)를 도시하지 않는다. 따라서, 톤은 반복된 파형에서 제2 톱니 주파수 변경과 중복된 제1 톱니 주파수 변경을 형성한다. 그들은 감지 기간 동안 반복될 수 있도록 연속적이다.
따라서, FMCW 유형의 접근법으로 저주파 초음파 감지 시스템을 구현할 때 음향 감지 신호가 생성될 수 있는 상이한 방식이 있다. 이는 주파수 도메인(예를 들어, 삼각형(대칭 또는 비대칭), 램프, 사인파 등), 기간(시간에서의 “처프”의 지속), 및 대역폭(“처프”에 의해 커버되는 주파수 - 예를 들어, 19 내지 21 kHz)에서 파형 형상의 차이를 수반할 수 있다. 또한 FMCW 구성에서 2개 이상의 동시 톤을 사용하는 것이 가능하다.
샘플의 수의 선택은 가능한 출력 복조된 샘플링 속도를 정의하는 반면에(예를 들어, 48 kHz의 샘플링 속도에서의 512 샘플은 93.75 Hz(48,000/512)와 동등함), 4096 샘플 지속 스윕 시간은 11.72 Hz(48,000/4096)와 동등하다. 삼각형 파형이 1500 샘플 업 시간, 및 1500 샘플 다운 시간에 사용되면, 이때 출력 샘플링 속도는 16 Hz(48,000/3000)이다. 이러한 유형의 시스템에 대해, 동기화는 예를 들어 신호에 참조 템플릿을 승산함으로써 수행될 수 있다.
출력 샘플링 속도의 선택에 관해, 경험적 테스팅은 1/f 잡음(공기 이동, 잠재적으로 강한 페이딩, 및/또는 방 모드로 인한 낮은 주파수 효과)뿐만 아니라 더 높은 복조된 샘플링 속도에서 인식된 잔향 영역 밖에 머무르는 것을 광범위하게 회피하므로, 8 내지 16 Hz의 근사 영역에서 동작하는 것이 바람직한 것을 나타냈다(즉, 감지 파형 “처프”의 임의의 하나의 주파수 내의 에너지에 대한 시간이 다음 “처프” 내의 다음 유사한 성분 전에 페이딩되는 것을 허용했음). 제시된 다른 방식, 빈을 너무 넓게 하면, 기류 및 온도의 변경(예를 들어, 문을 열고 열이 방 안으로 들어오고 방 밖으로 나감)은 보고 있는 임의의 블록이 호흡과 같이 보일 수 있는 원치 않는 베이스라인 드리프트를 포함할 수 있는 것을 의미한다. 실제로, 이는 공기가 이동함에 따라 파가 대역을 가로질러(범위 빈을 가로질러) 이동하는 것으로 보여지는 것을 의미한다. 이는 책상 또는 받침대 팬, 또는 공기 조화 또는 다른 HVAC 시스템으로부터의 더 국부적인 효과와 별개이다. 효과적으로, 블록이 너무 넓어지면, 시스템은 CW 시스템 “처럼 보이기” 시작한다. 다른 한편, 시스템이 너무 높은 리프레시 속도(즉, 너무 짧은 램프)로 작동하면 리버브를 얻을 수 있다.
도 4a에 예시된 바와 같이 하나의 “톤”(즉, 주파수에서 위 및 아래로 스윕됨)을 갖는 삼각형 FMCW 파형에 대해, 시스템은 예를 들어, 단지 업-스위프, 또는 단지 다운-스위프를 프로세싱할 수 있거나, 실제로 둘 모두는 거리 검출을 위해 프로세싱될 수 있다. 하나의 톤에 대한 위상 연속 삼각형 형태는 위상 불연속성에 의해 생성되는 플레이된 사운드에서 가청 인공물을 최소화하거나 제거하므로 매우 바람직하다. 이의 램프 변형은 스피커(들)가 주파수에서의 특정 진폭 사운드를 플레이하는 것으로부터 샘플의 공간 내의 유사한 진폭에서의 훨씬 더 낮은(또는 훨씬 더 높은) 주파수로 점핑하도록 요청받으므로, 매우 불쾌하고 가청 윙윙거리는 사운드를 일으킬 수 있으며; 스피커의 기계적 변경은 클릭을 일으킬 수 있고, 처프의 빈번한 반복은 사용자가 윙윙거리는 소리(많은 밀접히 이격된 클릭)를 듣는 것을 의미한다.
따라서, 본 기술의 몇몇 버전에서, FMCW로서의 음향 감지 신호는 램프 파형을 갖는 특수 이중 “톤”(예를 들어, 업-스위프 또는 다운-스위프만으로 구성됨)으로 구현될 수 있어 - 가청 인공물 없이 하나의 램프의 끝(주파수 램프 업 및 다운)으로 다음(주파수 램프 업 및 다운)으로 주파수의 급격한 변경이 있다. 시간에 대해 주파수 특성을 나타내는 이와 같은 이중 "톤" 주파수 변조된 파형은 - 적어도 2개의 변경 주파수 램프는 시간의 기간 동안 중복되고 이러한 주파수 램프는 기간 내의 시간의 임의의 순간에 예컨대 램핑의 지속 동안 다른 것(들)에 대해 상이한 주파수를 각각 가질 수 있음 - 파선 대 실선에 대해 도 4b에 예시된다. 이는 시스템에서 데이터 프로세싱을 궁극적으로 단순화하고, 또한 삼각형 파형의 각각의 지점에서 잠재적으로 높은 진폭 전이를 제거할 수 있다. 급격하고 반복적인 전이는 때때로 시스템의 낮은 레벨 DSP / CODEC / 펌웨어에서 이상한 작용을 촉발시킬 수 있다.
이와 같은 이중 톤 신호를 구현하는 중요한 고려는 결과적인 형상이 이루어져(형상화되어) 스피커 / 시스템이 급격한 전이를 할 필요가 없고, 그것이 제로 지점을 갖는다는 것이다. 이는 신호 비가청을 렌더링하기 위해 다르게 구현될 필터링에 대한 요구를 감소시킬 수 있다. 예를 들어, 고역 통과 또는 대역 통과 필터링은 신호가 비가청 감지 신호로서 동작하는 것을 여전히 허용하면서 회피될 수 있다. 파형 내의 제로의 존재는 제로가 이와 같은 신호의 송신 및 수신의 동기화를 (예를 들어, 복조를 위해) 간략화하기 때문에 신호 프로세싱을 용이하게 한다. 이중 톤의 결과는 하나보다 많은 톤이 사용됨에 따라 페이딩 견고성의 요소를 제공한다는 것이고 - 페이딩은 사용된 주파수뿐만 아니라, 위상 또는 주파수에 따라 변화될 수 있다(예를 들어, 하나는 이중 톤 시스템 내의 FMCW 톤 사이에 100Hz 오프셋을 사용할 수 있음).
도 4a의 FMCW 단일 톤 및 도 4b의 FMCW 이중 톤의 성능은 도 8 및 도 9를 참조하여 고려될 수 있다. 도 8a, 도 8b 및 도 8c는 도 7a의 FMCW 단일 톤 예의 신호 특성을 도시한다. 도 9a, 도 9b 및 도 9c는 도 7b의 FMCW 이중 톤 예의 신호 특성을 도시한다.
도 8a는 음향 감지 시스템에서 동작하는 삼각형 단일 톤 FMCW로서 동작하는 송신된(Tx) 신호(8001), 및 수신된(Rx) 반사(8001-R)(에코)를 도시한다. 도 8b는 시간 도메인 파형을 도시한다. 도 8c는 신호의 스펙트럼 성분을 도시한다. 분명한 바와 같이, 더 낮은 주파수에(FMCW 신호의 대역폭을 관련시키는 피크 영역 외부에) 여전히 콘텐츠가 있다. 따라서, 이와 같은 더 낮은 주파수는 가청 주파수 범위에 있고 그것에 의해 바람직하지 않은 성능 특성을 초래할 수 있다.
도 9a는 신호 그래프(9002)로 이중 톤 램프 FMCW 신호를 도시한다. 신호 그래프(9002)는 톤 둘 모두를 표현하고, 신호 그래프(9002-R)는 2개의 톤 / 멀티 톤의 수신된 에코를 표현한다. 도 9b는 제로 지점(결과적인 제로 크로싱)에서, 이중 톤의 코사인 유사 기능 형상을 도시한다. 도 9c는 더 낮은 주파수에서 훨씬 더 매끄러운 피크 및 더 낮은 전력 진폭을 도시한다. 도 9c의 경사 영역(SR)은 도 8c의 경사 영역(SR)과 비교할 때, 더 낮은 주파수 내에/로 이중 톤 램프 FMCW의 전력(dB)의 더 급격한 경사를 예시한다. 높은(실질적으로 비가청, 감지를 위해 이용됨) 주파수의 범위로부터 그리고 더 낮은(가청, 전형적으로 감지를 위해 이용되지 않음) 주파수 내로 더 급격한 롤- 오프는 사용자에게 덜 눈에 띄므로 바람직한 음향 감지 성질이다. 더 낮은 주파수(FMCW 신호의 대역폭에 관한 피크 영역의 외부)에서의 전력은 도 8c에 예시된 단일 톤 FMCW 삼각형 형태의 경우에서의 것보다 작은 40dB 일 수 있다. 도 9c에 예시된 바와 같이, 도 9c의 상부 평활 피크 영역(PR)은 도 8c의 멀티 에지 피크 영역(PR)과 비교할 때, 이중 톤 램프 FMCW 신호가 더 양호한 음향 감지 성질을 가질 수 있고 스피커에 덜 요구되고 있는 것을 표시한다.
이와 같은 다수의 톤 FMCW 또는 이중 톤 FMCW 시스템(예를 들어 리눅스 기반 단일 보드 컴퓨터 상에 실행함)은 4m 이상의 감지 범위 내에서 다수의 사람을 식별하는 것이 가능하도록 감지를 제공하 수 있다. 그것은 또한 예를 들어 프로세싱 디바이스로부터 1.5 미터에서 심박수, 및 대략 4 미터 이상까지의 밖에서 호흡 속도(들)를 검출할 수 있다. 예시적인 시스템은 18,000Hz 및 18,011.72 Hz에서 2개의 톤을 사용할 수 있으며, 이는 예를 들어, 19,172 Hz 및 19183.72 Hz 각각으로 램핑될 수 있다.
1,172 Hz의 이러한 램프에 대해, 예를 들어, 48,000Hz/4096=11.72의 빈 폭에서, 크기 4096 지점의 FFT를 사용하는 것을 고려할 수 있다. 340m/s로서의 사운드의 속도에 대해, 100 빈에 걸친 340ms/s / 11.72 / 2(아웃 및 백에 대함) = 14.5m 또는 각각의 빈에 대한 14.5cm를 주목한다. 각각의 “빈”은 예를 들어 한 사람(빈 당)까지를 검출할 수 있다(그러나 실제로 사람은 이것 이상으로 분리될 것이다.) 동기화 프로세스의 일부로서, 신호는 예를 들어, 더 계산적으로 비싼 상관 동작을 회피하기 위해, 제곱될 수 있으며, 신호는 참조 템플릿에 승산된다. 사용된 FFT 크기와 독립적으로, 최대 범위 분해능은 음속/(대역폭*2) = 340/(1172*2)=14.5cm이다. 그러나, 감지된 반사 신호를 감지된 직접 경로 신호와 교차 상관시키는 것을 포함하는 동기화 프로세스가 선택적으로 제공될 수 있다. 동기화 프로세스는 참조 템플릿을 감지된 반사 사운드 신호의 적어도 일부분과 승산하는 단계를 선택적으로 포함할 수 있다.
이와 같은 다수의 톤 FMCW 또는 이중 톤 FMCW 시스템(예를 들어 리눅스 기반 단일 보드 컴퓨터 상에 실행함)은 4m 이상의 감지 범위 내에서 다수의 사람을 식별하는 것이 가능하도록 감지를 제공하 수 있다. 그것은 또한 예를 들어 프로세싱 디바이스로부터 1.5 미터에서 심박수, 및 대략 4 미터 이상까지의 밖에서 호흡 속도(들)를 검출할 수 있다. 예시적인 시스템은 18,000Hz 및 18,011.72 Hz에서 2개의 톤을 사용할 수 있으며, 이는 예를 들어, 19,172 Hz 및 19183.72 Hz 각각으로 램핑될 수 있다.
1,172 Hz의 이러한 램프에 대해, 예를 들어, 48,000Hz/4096=11.72의 빈 폭에서, 크기 4096 지점의 FFT를 사용하는 것을 고려할 수 있다. 340m/s로서의 사운드의 속도에 대해, 100 빈에 걸친 340ms/s / 11.72 / 2(아웃 및 백에 대함) = 14.5m 또는 각각의 빈에 대한 14.5cm를 주목한다. 각각의 “빈”은 예를 들어 한 사람(빈 당)까지를 검출할 수 있다(그러나 실제로 사람은 이것 이상으로 분리될 것이다.) 동기화 프로세스의 일부로서, 신호는 예를 들어, 더 계산적으로 비싼 상관 동작을 회피하기 위해, 제곱될 수 있으며, 신호는 참조 템플릿에 승산된다. 사용된 FFT 크기와 독립적으로, 최대 범위 분해능은 음속/(대역폭*2) = 340/(1172*2)=14.5cm이다.
도 5는 신호를 자체와 승산(적산)함으로써 이중 톤 FMCW 램프의 “자가 혼합” 복조의 일 예를 예시한다. 선택적으로, 복조는 수신된 에코 신호를 발생된 송신 신호를 나타내는 신호(예를 들어, 발진기로부터의 신호)와 승산하여 스피커 또는 프로세싱 디바이스(100)의 범위에서 거리 또는 모션을 반영하는 신호를 생성함으로써 수행될 수 있다. 프로세싱은 때때로 “중간” 주파수(IF) 신호로 지칭되는 “비트 주파수” 신호를 생성한다. FMCW를 이용하면, 수신 Rx 신호가 예컨대 본 명세서에서 더 상세히 설명된 바와 같이 국부 발진기에 의해 또는 자체에 의해 복조되고, 저역 통과 필터링될 때, 그것은 기저대역인 것으로 아직 간주되지 않는 비정상 "중간" 신호를 생성할 수 있다. IF 신호는 예컨대 고속 푸리에 변환 프로세싱(FFT)의 적용에 의해 프로세싱되어, 기저대역(BB)가 될 수 있다.
도 5에 예시된 바와 같이, 복조는 수신(반사 사운드 신호) Rx 신호만으로 수행된다. 그것은 Rx 신호가 송신(Tx) 신호를 나타내는 대부분의 신호(예를 들어, 부분적으로, 스피커로부터 마이크로폰으로의 직접 경로를 이동하고 반사된 사운드로 감지될 수 있는 생성된 사운드)를 그것 내에 포함하기 때문에 수학적으로 가능하다. 디바이스는 수신 신호(Rx)에 자체를 승산할 수 있다(예컨대 복조가 승산 동작으로 간주될 수 있기 때문에 그것을 단지 제곱함으로써). 이것 다음에 필터링 프로세스(예를 들어, 저역통과)가 이어질 수 있다.
도 5가 자가 혼합을 예시하지만, 수개의 상이한 접근법은 반사된 신호, 및 감지 신호 (즉, Tx 또는 사운드 신호)로 모션 신호를 유도하도록 구현될 수 있다. 하나의 이와 같은 버전에서, 국부 발진기(LO)(또한 사운드 신호를 생성할 수 있음)는 복조를 위한 Tx 신호의 카피를 효과적으로 생성할 수 있다. 실제로 생성된 Tx 신호는 지연 또는 왜곡 때문에 발진기로부터의 내부 신호와 약간 상이할 수 있다. 그 다음, 복조는 국부 발진기(LO)(Tx)*Rx로부터의 신호의 승산에 의해 수행될 수 있으며 이 후에 또한 필터링(예를 들어, 저역통과)이 계속될 수 있다.
다른 버전에서, 2개의 국부 발진기는 2개의 LO 신호를 발생시키기 위해 구현될 수 있다. 예를 들어, LO 신호의 사인 및 코사인 카피는 수신 신호의 직교 복조를 제공하기 위해 구현될 수 있다. 전형적으로, 발진기로부터의 하나의 신호(사인 또는 코사인)만이 송신된다. 정확한 Tx 신호는 지연 또는 왜곡으로 인해 국부 발진기(LO)로부터의 신호와 다소 상이할 것이다. 이러한 버전에서, 복조는 (a) RX*LO(Sin) 및 (b) RX*LO(Cos)에 의해 수행될 수 있으며, 이 후에 I 및 Q 복조 성분 둘 모두를 생성하기 위해 필터링(예를 들어, 저역통과)가 각각의 경우에 계속될 수 있다.
감지 - 시스템에 의한 다른 오디오 재생(뮤직, 말소리, 코골이 등)과 음향 감지의 혼합(공존)
본 기술의 몇몇 버전은 프로세싱 디바이스(100)가 본 명세서에서 설명된 초음파 감지에 더하여, 다른 목적을 위해 그의 스피커 및/또는 마이크로폰을 사용할 수 있을 때 구현될 수 있다. 부가 프로세스는 이와 같은 동시 기능성을 허용하기 위해 구현될 수 있다. 예를 들어, 송신 비트스트림(음향 감지 신호)은 동시 오디오 콘텐츠 생성 및 초음파 감지에 대해 이전에 언급된 바와 같이 스피커에 의해 플레이되고 있는 임의의 다른 오디오 콘텐츠(가청)와 디지털 혼합될 수 있다. 수개의 접근법은 이와 같은 가청 오디오 콘텐츠 및 초음파 프로세싱을 수행하는 데 사용될 수 있다. 하나의 접근법은 다른 오디오 콘텐츠(예컨대 많은 채널 서라운드 사운드 시스템에서 모노, 스테레오 또는 더욱 많은 채널일 수 있음)가 감지 파형과 중복되는 임의의 스펙트럼 성분을 제거하기 위해 사전 프로세싱되는 것을 필요로 한다. 예를 들어, 뮤직 시퀀스는 예를 들어, 18 내지 20kHz 감지 신호와 중복될 18kHz 이상의 성분을 포함할 수 있다. 이러한 경우에, 18 kHz 근처의 뮤직 성분은 저역 통과 필터링 아웃될 수 있다. 제2 선택권은 뮤직을 적응 필터링하여 중복 감지(직접 경로 및 에코) 동안 짧은 시간 기간에 대한 주파수 성분을 제거하고, 필터링되지 않은 뮤직을 다른 방법으로 허용하는 것이며; 이러한 접근법은 뮤직의 충실도를 유지하도록 설계된다. 제3 선택권은 전혀 뮤직 소스를 간단히 변경하지 않을 수 있다.
지연이 특정 채널 상의 오디오 소스(예를 들어, 돌비 프로 로직, 디지털, 아트모스, DTS 등 또는 실제로 가상화된 스패셜라이저 기능)에 고의로 추가되는 경우, 임의의 이와 같은 대역 내 신호는 또한 적절히 프로세싱되고, 감지 파형은 에코를 프로세싱할 때, 지연되지 않거나 지연은 허용되지 않는다는 점이 주목되어야 한다.
감지 - 보이스 어시스턴트와의 공존
초음파 감지 파형(예를 들어, 삼각형 FMCW)의 특정 실현은 가청 대역 내에 스펙트럼 성분을 가지므로, 구글 홈과 같은 음성 인식 서비스를 수행하고 있는 특정 보이스 어시스턴트에 비의도적으로 그리고 원치 않게 영향을 미칠 수 있다는 점이 주목되어야 한다. 이와 같은 잠재적인 누화는 이중 램프 톤 쌍을 사용하거나, 또는 감지 파형을 사전 필터링하거나(삼각형 파형을 고역 통과 또는 대역 통과 필터링함), 음성 인식 신호 프로세싱을 적응시켜 초음파 감지 신호 성분에 견고하게 함으로써 회피될 수 있다.
FMCW 램프 신호(y)를 이하와 같이 고려한다:
시간 기간(T)에서 주파수 f_1로부터 주파수 f_2로의 이러한 램프. 이는 T의 시간 기간에 스위칭됨에 따라 하위 고조파를 갖는다.
이것의 분석은 그것이 더 낮은 주파수에 나타나므로 청취될 수 있는 대역 고조파 범위 밖을 갖는 것을 나타낸다.
이제 특정 이중 램프 쌍(y)을 이하와 같이 고려한다:
따라서, 하위-고조파가 소거되고(상기에서 차감됨), 신호가 유지된다. 1/T은 매우 구체적이며c; (1/T), 또는 실제로 -(1/T)을 사용함으로써, 시간 기간(T)에서의 스위칭의 효과가 상쇄된다. 따라서, 결과적인 신호는 비가청이다. 그것은 수학적으로 간단하면서 이것을 행하며, 이는 디바이스(예를 들어, 스마트 모바일 폰 디바이스) 상에서 계산적으로 부담되지 않음에 따라 장점이다.
이중 톤이 DC 레벨(“0”)에서 스위칭되기 때문에, 턴 오프하기 위해, 예컨대 클릭킹을 회피(즉, 라우드스피커가 빅 점프를 이루는 것을 회피하는 방식으로 턴 온 및 오프)하기 위해 파형 처프(신호의 시작 및 끝)에 자연적인 지점이 있다. “0”’은 또한 잔향을 완화하고 - 그리고/또는 특정 송신기를 식별(즉, 온/오프 처프 시간의 시퀀스를 오버레이)하기 위해, 각각의 처프 사이에, 또는 실제로 처프의 그룹 사이에 휴지 기간을 도입하는 것을 허용한다.
하위-고조파의 결여는 또한 동일한 시간에 방에서 동작하는 2개의 디바이스를 고려할 때 간섭의 가능한 소스를 제거함에 따라 장점이다. 따라서, 2개의 상이한 디바이스는 비중복(주파수에서) 톤 쌍 - 또는 실제로 주파수에서(그러나 비중복 조용한 기간의 추가로 인해 - 시간에서는 아님)의 중복 톤 쌍을 사용할 수 있다. 후자는 라우드스피커/마이크로폰 조합이 이용 가능한 비가청 대역폭을 제한했던 장점일 수 있다(즉, 그들의 감도는 19 또는 20 kHz에 걸쳐 엄격하게 롤 오프됨).
심지어 비교적 비가청 삼각형 FMCW 신호를 이중 톤 램프와 비교하면, 후자는 매우 더 작은 레벨의 하위 고조파를 갖는다(실세계 스마트 디바이스 상에서 - 예를 들어, 양자화 레벨 근처에서 잡음 플로어를 접근함).
이중 톤 램프가 (삼각형보다는 오히려) 램프 업 또는 다운되고 대역 성분 밖에서 아직 어떤 것도 갖지 않기 때문에, 삼각형 램프로 발생할 수 있는 램프 간 블리드 문제는 없다.
표준 램프 오디오 신호는 광범위한 필터링 없이 비가청으로 이루어질 수 없으며, 이는 결과적인 파형의 위상 및 진폭을 잠재적으로 왜곡할 것이다.
감지 - 성능을 최적화하기 위한 교정 / 방 매핑
프로세싱 디바이스는 셋업 프로세스로 구성될 수 있다. 디바이스가 우선 셋업될 때(또는 주기적으로 동작 동안) 그것은 음향 프로빙 시퀀스를 발송하여 방 환경, 방 내의 사람의 존재 및/또는 수 등을 매핑할 수 있다. 프로세스는 디바이스가 나중에 이동되거나, 감지된 신호의 품질이 검출되어 감소했으면 반복될 수 있다. 시스템은 또한 음향 트레이닝 시퀀스를 방출하여 스피커(들) 및 마이크(들)의 능력을 체크하고, 균등화 매개변수를 추정할 수 있다; 실세계 변환기는 (예를 들어, 라우드 스피커가 정착하는데 수 분이 걸릴 수 있으므로) 온도 및 턴 온 특성뿐만 아니라, 시스템에 의해 사용된 초음파 주파수 내의 일부 비선형성을 가질 수 있다.
감지 - 국부화를 위한 빔 포밍
전용 빔 포밍을 구현하거나 기존 빔 포밍 기능을 활용하는 것이 가능하다 - 신호 프로세싱은 센서 어레이로 송신되거나 그로부터 수신된 신호의 방향성 또는 공간 선택성을 제공하기 위해 이용된다. 이는 전형적으로 파면이 저주파 초음파에 대해 상대적으로 평탄한 "원거리 장(far field)"("근거리 장"인 의료 영상과는 반대로) 문제이다. 순수한 CW 시스템에 대해, 오디오 파는 스피커에서 나와 최대 및 최소 영역으로 이어진다. 그러나, 다수의 변환기가 이용 가능하면, 이러한 방사 패턴을 본 발명의 장점 - 빔 포밍으로 공지된 접근법 - 으로 제어하는 것이 가능하게 된다. 수신 측에서, 다수의 마이크로폰이 또한 사용될 수 있다. 이는 음향 감지가 일 방향으로 우선적으로 일방향으로 조향되게 하고(예를 들어, 다수의 스피커가 있는 경우 방출된 사운드 및/또는 수신된 음파를 조정하고), 영역을 가로질러 스윕되게 한다. 침대에 있는 사용자의 경우에 대해, 감지는 대상체 쪽으로 - 또는 예를 들어, 침대에 2명의 사람이 있는 다수의 대상체 쪽으로 - 조향될 수 있다. 빔 스티어링은 송신 또는 수신에 관해 구현될 수 있다. 낮은 비용 초음파 변환기(마이크로폰 또는 스피커)가 상당히 방향적일 수 있으므로(예를 들어, 작은 변환기에 대해, 파장이 변환기의 크기와 비교 가능한 경우), 이는 조향될 수 있는 영역을 제한할 수 있다.
감지 - 복조 및 하향 변환
도 5를 다시 참조하면, 감지된 신호는 예컨대 도 7에 도시된 승산기(혼합기) 모듈(7440)로, 또는 도 5의 복조기에 따라 복조되어, 감지 필드 내의 “존재” - 사람의 특성적인 모션에 관련되는, 수신된 에코의 변경에 관련되는 복조된 신호의 방해가 있는지를 검출하기 위해 추가로 프로세싱될 수 있는 기저대역 신호를 생성한다. 수신된 에코 신호에 더하여, 강한 수신 “직접 경로”(스피커로부터 마이크로폰으로의 높은 누화, 예를 들어, 고채를 통하는 송신 대 공기를 통하는 송신 및/또는 스피커로부터 마이크로의 짧은 거리) 신호가 있는 경우, 결과적인 합의 승산은 복조하기 위해 수행될 수 있다. 그렇지 않으면, 수신된 에코는 원래 송신 신호의 일부와 승산(혼합)될 수 있으며, 이는 전자, 및 음향이 아닌 형태로 추출된다. 이러한 특정 예에서, 시스템은 송신 신호를 복조하기 위해 수신 신호에 송신 신호를 승산하지 않는다(그러나 그것은 다른 구현예에서 가능할 수 있음). 대신에, 시스템은 이하와 같이 수신 신호(수신 에코(들)뿐만 아니라, 송신 신호의 감쇠된 버전을 포함함)를 그것만으로 승산할 수 있다:
송신 = ATX(Cos(P) - Cos(Q) )
수신 = A(Cos(P) - Cos(Q) ) + B(Cos(R) - Cos(S) )
셀프 믹서 = [A(Cos(P) - Cos(Q) ) + B(Cos(R) - Cos(S) )] x [A(Cos(P) - Cos(Q) ) + B(Cos(R) - Cos(S) )] 즉, 수신 x 수신
저역 통과 필터링 후의 셀프 믹서 성분(복조됨): 
방정식 단순화 후의 셀프 믹서 출력(복조됨): 
, 여기서 AA 및 BB는 DC 성분이다.
(관련된 운동뿐만 아니라 정적일 수 있는) 반사된 신호 정보를 포함하는 복조된 성분: 
이것의 장점은 이하이다: 어떠한 동기화는 모든 타이밍 정보가 수신에만 포함되고, 그것이 계산적으로 빠르고 간단함(어레이를 제곱함)에 따라, 송신과 수신 사이에 요구되지 않는다.
I, Q(동위상 및 직교) 복조 후에, 난기류, 다중경로 반사(동일한 것에 관련된 페이딩을 포함함) 및 다른 느린 이동(일반적으로 비생리학적) 정보에 관한 낮은 주파수 성분을 분리하는 법의 선택이 있다. 몇몇 경우에, 이러한 프로세싱은 클러터 제거로 칭해질 수 있다. DC 레벨(평균)은 차감될 수 있거나, 일부 다른 추세 제거(예컨대 선형 경향 제거)는 중복 또는 비중복 블록 기초로 수행되며; 고역 통과 필터는 또한 DC 및 매우 낮은 주파수 성분(VLF)을 제거하기 위해 적용될 수 있다. “제거된” 정보는 이와 같은 DC 및 VLF 데이터의 세기 - 예컨대 강한 기류, 또는 상당한 다중경로 효과가 있는지를 추정하기 위해 프로세싱될 수 있다. 그 다음, 필터링된 복조 신호는 스펙트럼 분석 단계에 전달될 수 있다. 다른 선택은 고역 통과 필터를 사용하고 필터링되지 않은 신호를 스펙트럼 분석 프로세싱 블록에 직접 전달하지 않고, 이러한 단계에서 DC 및 VLF 추정을 수행하는 것이다.
예시적인 시스템 아키텍처
저주파 초음파 생체 모션 감지를 사용한 음성 가능 수면 개선 시스템의 예시적인 시스템 아키텍처는 도 6에 예시된다. 시스템은 감지 기법 본 명세서에서 설명된 감지 기법(예를 들어, 멀티 톤 FMCW 음향 감지)으로 구현될 수 있다. 사용자는 사용자의 수면을 감시하기 위해 이전에 활성화된 음성 활성화 스피커에 말할 수 있다. 예를 들어, 구두 명령어는 스마트 스피커에 질의할 수 있으며, 이는 마이크로폰에 의해 수신되고 마이크로폰 신호의 질의는 프로세서에 의해 평가되어 질의의 콘텐츠 또는 명령어를 결정해서, 결정된 수면 스코어, 호흡(SDB) 현상 또는 수면 통계의 가청 보고를 생성한다. 보고에 기초하여, 시스템의 프로세싱은 또한 예컨대 치료 디바이스가 수면을 원조하는 것을 제안함으로써, 수면을 개선하는 것에 관한 가청 어드바이스를 생성할 수 있다. 예를 들어, 도 8에 예시된 수면 관련 데이터, 예를 들어, 수면 스코어, 수면 단계에서의 시간 등은 “나의 지난밤 수면은 어땠는지?”와 같은 마이크로폰에 의해 수신된 질의에 응답하여 프로세싱 디바이스(100)의 스피커(들)를 통해 사용자에게 구두로 요약되고 가청으로 설명될 수 있다. 이에 응답하여, 프로세싱 디바이스(100)는 소나 감지로부터와 같이 프로세싱 디바이스에 의해 검출된 데이터와 함께 그것의 스피커를 통해 사운드/오디오와 같은 출력을 발생시킬 수 있다. 예를 들어, 이에 응답하여, 프로세싱 디바이스는 이하를 설명하는 오디오 보고를 발생시킬 수 있다: “당신의 총 수면시간은 6 시간이고 수면 시간 동안 2회만 깼습니다. 당신은 4 시간의 깊은 수면 및 2 시간의 얕은 수면을 가졌습니다. 당신은 2개의 현상의 무호흡 및 호흡저하 카운트를 가졌습니다.”
본 기술의 저주파 초음파 감지로 인에이블되는 스피커 가능 프로세싱 디바이스(100)의 부근의 모션의 검출을 위한 시스템 프로세싱은 도 7에 예시된 예시적인 모듈에 관해 고려될 수 있다. 프로세싱 디바이스(7102)는 스피커(들)(7310) 및, 선택적으로, 마이크로폰(들)(7302)뿐만 아니라 하나 이상의 프로그래머블 프로세서를 갖는 마이크로컨트롤러(7401)를 포함한다. 모듈은 마이크로컨트롤러의 메모리 내로 프로그래밍될 수 있다. 이와 관련하여, 오디오 샘플 또는 오디오 콘텐츠는 예컨대 선택적인 오디오 콘텐츠가 감지 신호와 동시에 스피커에 의해 생성되면, 7410에서 선택적인 업샘플링 프로세싱 모듈에 의해 업샘플링될 수 있고 합산기 모듈(7420)에 제공될 수 있다. 이와 관련하여, 합산기 모듈(7420)은 FMCW 신호(예를 들어, 원하는 낮은 초음파 주파수 범위 내의 이중 톤 FMCW 신호)를 생성하는 FMCW 프로세스 모듈(74430)로부터 원하는 주파수 범위 내의 FMCW 신호와 오디오 콘텐츠를 선택적으로 조합한다. 그 다음, 합산된 FMCW 신호는 예컨대 스피커(7310)에 의한 출력을 위해 변환기 모듈에 의해 프로세싱될 수 있다. FMCW 신호는 또한 승산기 모듈(7440)과 같은 복조기에 인가되며, FMCW 신호는 마이크로폰(7302)에서 관찰되는 수신된 에코 신호로 프로세싱(이를 들어, 혼합/승산)된다. 이와 같은 혼합 전에, 수신된 에코 신호는 관심있는 주파수 스펙트럼 외부의 원하지 않는 주파수를 제거하기 위해 본 명세서에서 이전에 언급된 바와 같이, 예컨대 적응적으로 필터링될 수 있다. 오디오 출력 프로세싱 모듈(들)(7444)은 필터링된 출력을 선택적으로 다운 샘플링하고 그리고/또는 신호를 변환하여 오디오 신호를 생성할 수 있다. 그 다음, 승산기 모듈(7440)로부터의 복조된 신호 출력은 예컨대 프로세싱 후 모듈(7450)에 의해, 추가로 프로세싱될 수 있다. 예를 들어, 그것은 예를 들어, (a) 호흡 모션 또는 운동, (b) 심장 모션 또는 운동, 및 (c) 전체 모션 또는 운동, 예컨대 전신 모션 또는 전신 운동을 분리하기 위해 검출된 미가공 생리학적 운동 신호 또는 다른 별도의 모션을 주파수 범위만큼 개선하도록 주파수 프로세싱(예를 들어, FFT) 및 디지털 신호 프로세싱에 의해 프로세싱될 수 있다. 그 다음, 생리학적 모션 신호(들)는 이전에 언급된 바와 같이 다양한 정보 출력(수면, 수면 단계, 모션, 호흡 이벤트, 등)을 검출하기 위해 신호의 다양한 모션을 특징화하도록 7460에서 특성 프로세싱에 의해 기록되거나 다른 방식으로, 디지털로 프로세싱될 수 있다.
전체 운동 또는 전신 모션의 검출에 관하여, 이와 같은 운동은 팔 운동, 머리 운동, 몸통 운동, 사지 운동, 및/또는 전체 신체 운동 등 중 어느 것을 포함할 수 있다. 소나 사운드-유형 모션 검출에 적용될 수 있는, 모션 검출을 위한 송신된 및 반사된 신호로부터의 이와 같은 검출에 대한 방법론은 예를 들어, 국제 특허 출원 번호 PCT/EP2016/058806호 및/또는 PCT/EP2016/080267호에 설명된 바와 같이, 고려되고 적용될 수 있으며, 그것의 전체 개시는 본 명세서에 참조로 포함된다. 그것의 성질에 의해, 이와 같은 RF 또는 소나 기술은 모든 신체 운동을 즉시, 또는 그것의 적어도 대부분을 인식하고 있을 수 있고 - 그것은 정확히 “빔”이 지향되는 곳에 의존할 수 있다. 예를 들어, 그것은 머리 및 가슴, 또는 전체 신체 등을 주로 조명하고 있다. 다리 운동은 예컨대 주기적일 때, 운동의 빈도에 기초한 모션으로서, 그리고 선택적으로 상이한 자동 이득 제어(AGC) 동작을 수행함으로써 주로 구별될 수 있다. 호흡 검출은 호흡 파형의 특성 주파수 및 신호 형상를 분리하기 위해, 보다 적은 전신 운동이 있을 때 가장 효과적이다(경시적으로 평가되는 정상의 COPD 또는 CHF 변화율 및 들숨/날숨 비율, SDB 이벤트, 더 긴 기간SDB 변조 등)
모션이 침대 내의 사람과 연관될 때, 가장 큰 진폭 신호는 롤과 같은 전신 운동과 연관될 수 있다. 손 또는 다리 운동은 더 빠르지만(예를 들어, I/Q 신호로부터의 속도) 더 낮은 상대 진폭일 수 있다. 따라서, 모션 신호의 분석에 의해 이와 같은 운동의 상이한 성분, 및 또는 성분의 시퀀스는 그것이 전체 운동 및 가속도, 팔 운동의 속도로 시작하고, 그 다음 정지하는 등 하는지와 같은 식별에서 고려될 수 있다. 이러한 식별은 상이한 모션 제스처에 대해 더 타겟팅될 수 있다.
감지 - 다른 오디오 디지털 신호 프로세싱(DSP)와의 공존
프로세싱 디바이스(100)의 스피커-생성된 음향 신호에 의한 사용에서의 감지 주파수/주파수들) 및 파형 형상/형상들에 대해, 디바이스 또는 연관된 하드웨어 또는 소프트웨어 내의 임의의 기존 에코 소거는 억제(예를 들어, 디스에이블)될 수 있다. 자동 이득 제어(AGC) 및 잡음 억제는 종종 진폭이 비교적 작은 반사된 “에코” 신호의 방해(의도되지 않은 신호의 프로세싱)를 최소화하기 위해, 또한 금지될 수 있다.
결과적인 수신된 신호(예를 들어, 스피커에서 수신됨)는 상이한 주파수에서의 다른 신호(예를 들어, 말소리, 배경 잡음, 동일한 또는 공동 위치된 디바이스에서 실행되는 상이한 감지 신호 등)로부터 의도된 송신 감지 파형을 분리하기 위해 디지털 대역 통과 필터링된다.
감지 - 다중모달 / 하이브리드 감지
지속파(CW) 시스템은 빠른 검출을 사용하여 “어떤 것”(즉, 방 내의 일반적 모션)을 검출할 수 있지만, 정확란 범위 게이팅이 없고, 페이딩에 대해 상대적으로 나쁘다. 향상은 페이딩을 방지하기 위해 멀티 톤 CW를 사용하는 것이다. 모션을 국부화하기 위해 - 범위 게이팅을 사용할 수 있음 - 그러한 이유로 FMCW, UWB, 또는 일부 다른 변조 스킴 예컨대 FSK 또는 PSK을 사용하는 것이 바람직하다. FMCW는 CW와 같이 급격한 널을 갖지 않고, 범위 게이팅을 원조하고 방 내의 모드의 구축에 견딘다.
다시 말해, 이중 또는 멀티 톤 지속파(CW)와 같은 파형은 큰 방과 같은 영역 내에서 임의의 운동을 감지하는 데 사용될 수 있다. 다수의 톤은 멀티 경로 반사 및/또는 잔향으로 인해 발생된 정재 또는 진행 파에 의해 야기되는 임의의 널을 최소화하기 위해 선택된다. 이러한 접근법의 장점은 임의의 모션이 검출되고, 잠재적으로 더 큰 신호를 사용하여 공간을 채우는 것을 허용한다는 것이다. 따라서, 그것은 민감 모션 검출기로서 사용되고, 침입자 검출기로서의 역할을 할 수 있다. 후보 모션이 검출될 때, 시스템은 있음직한 후보 생리학적 신호, 예컨대 사용자가 방 안으로 걸어 들어가는 것, 전형적인 활동 시퀀스, 및 그 다음 호흡, 심박수, 및 특성 운동 예컨대 제스처를 검색한다. 시스템은 범위 정보를 직접 제공하지 않는 CW 스타일 시스템으로부터, 지정된 범위에서 검출할 수 있는 시스템으로 스위칭되고, 모션 - 예컨대 주파수 변조 지속파(FMCW) 또는 초광대역(UWB) 신호를 추적할 수 있다.
UWB 시스템은 스피커 및 마이크의 주파수 응답에 따라, 가청 또는 비가청일 수 있으며; 이러한 구성요소가 더 높은 주파수를 지원할 수 있으면, 넓은 대역 신호는 인간 청각 외부에 여전히 있을 수 있다. 더 전형적인 소비자 스피커에 대해, UWB 사운드는 가청일 가능성이 많고, 사운드 유사 필터링된 백색 잡음(예를 들어, 핑크 잡음 - 또는 인간 귀에 "거칠게" 들리지 않은 몇몇 변형)으로 형상화될 수 있다. 이는 예를 들어, 백색 잡음 발생기를 모방함으로써, 수면 중일 때 허용 가능할 수 있다. 그렇지 않으면, UWB는 사용자가 보안 애플리케이션을 위해 가정에서 떨어져 있을 때 범위 기반 감지를 제공하기 위한 다른 선택권이다.
몇몇 버전에서, 감지는 다수의 감지 장치로, 예컨대 감지 장치의 유형 중 임의의 2개 이상(예를 들어, 음향 감지 장치, RF 감지 장치 및 IR 감지 장치 중 임의의 2개 이상)을 사용하여 수행될 수 있다. 예를 들어, 프로세싱 디바이스는 RF 감지 및 음향 감지(예를 들어, FMCW)로 모션을 검출할 수 있다. 프로세싱 디바이스는 IR 감지 및 음향 감지(예를 들어, FMCW)로 모션을 검출할 수 있다. 프로세싱 디바이스는 IR 감지 및 RF 감지로 모션을 검출할 수 있다. 프로세싱 디바이스는 IR 감지, RF 감지, 및 음향 감지(예를 들어, FMCW)로 모션을 검출할 수 있다.
감지 - 생리학적 신호
DC 및 VLF(예를 들어, 기류)의 분리 후, 호흡, 심박수 및 전체 모션 신호가 분리된다. 이는 FFT 윈도우에서 빈 검색하고, 윈도우에 걸쳐 추적함으로써, 및/또는 지정된 범위에서의 시간 도메인 신호(예를 들어, 복조된 신호의 복소 FFT 분석을 사용하여 추출된 지정된 거리 범위에 대한 “시간 도메인” 신호)의 직접 피크/트로프 또는 제로 크로싱 분석을 통해 추정될 수 있다. 이는 사용자 모션을 갖는 범위의 선택을 허용한다. 이는 때때로 FFT와 같이 “2D”(two dimensional) 프로세싱으로 지칭된다.
스마트 스피커를 사용한 생체측정 감지
가정 환경 내에서 “스마트 스피커”와 같은 소위 “스마트” 디바이스를 채택하는 경향이 늘어나면서 새로운 생리학적 감지 서비스를 위한 기회가 제공되고 있다.
스마트 스피커 또는 유사한 디바이스는 전형적으로 예를 들어, 도 6에 예시된 바와 같이, 홈 자동화를 위한 다른 연결된 홈 디바이스(예를 들어, 스마트 자동화 기기, 스마트 라이팅, 스마트 서모스탯, 또는 기기에 전력을 공급하는 스마트 파워 스위치 등)로 그리고 이 디바이스로부터 무선 수단(예컨대 블루투스, Wi-Fi, 지그비, 메쉬, 피어 투 피어 네트워킹 등)을 통한 및 네트워크 예컨대 인터넷을 통한 통신을 포함한다. 음향 신호를 간단히 방출하도록 설계된 표준 스피커와 달리, 스마트 스피커는 통상, 프로세싱 전자기기 외에도 하나 이상의 스피커, 하나 이상의 마이크로폰을 포함한다. 마이크로폰(들), 스피커 및 프로세서(들)는 개인화된 음성 제어를 제공하기 위해 지능형 보조장치(인공 지능(AI) 시스템)와 인터페이스하기 위해 구현될 수 있다. 몇몇 예는 “오케이 구글(OK Google)", "헤이 시리(Hey Siri)", "알렉사(Alexa)" 문구를 사용하여 음성을 활성화하는 구글 홈(Google Home), 애플 홈팟(Apple HomePod), 아마존 에코(Amazon Echo)이다. 이러한 디바이스 및 연결된 센서는 “사물 인터넷(IoT)”의 일부로 간주될 수 있다.
이전에 논의된 초음파 검출 기술(가청 또는 비가청 음향 신호를 사용함)을 스마트 스피커 내로 통합할 때, 특정 최적화는 그들의 능력(스마트 스피커 시스템의 설계 시간에 추정되고 그리고/또는 특정 디바이스의 실제 성능에 기초하여 업데이트됨)에 기초하여 요구된다. 대략 말하면, 스피커(들) 및 마이크로폰(들) 둘 모두에 의해 지원된 최대 주파수는 사용될 수 있는 가장 높은 주파수 비가청 감지 신호를 궁극적으로 정의할 것이고, 이는 특정 디바이스에 대한 제조 공차에 기초하여 약간 변할 수 있다.
예를 들어, 제1 디바이스(예를 들어, 구글 홈 디바이스) 내의 스피커는 삼성 갤럭시 S5 스마트폰와 같은 제2 디바이스 내의 스피커와 상이한 특성을 가질 수 있다. 제1 디바이스 스피커는 유사한 주파수에 대한 거의 평평한 마이크로폰 응답을 갖는 24 kHz까지 민감할 수 있다. 그러나, 제2 디바이스는 18kHz 이상의 감도에서 피크 및 트로프를 갖는 더 낮은 주파수에서 롤 오프되는 스피커를 가질 수 있다. 아마존 알렉사 디바이스의 스피커는 예를 들어 20 kHz에서 롤 오프될 수 있다. 예시적인 구글 디바이스는 돌아오는 파를 위상 반전하고 그것을 옆으로 송신하도록 설계된 수동 리플렉스 스피커를 사용할 수 있으며, 이는 그의 음향 특성을 변경한다(예를 들어, “10 kHz” 스피커는 실제로 25 kHz 스피커가 됨).
몇몇 디바이스는 마이크로폰 어레이, 예컨대 평탄 상의 다수의 마이크로폰을 가질 수 있고, 이득 및 평균화 기능을 구현할 수 있지만 - 분리는 마이크로폰 요소(예를 들어, 동적 어레이 다양한 어레이) 사이에 있다. 이와 같은 프로세싱은 수치적으로, 즉 디지털 신호 프로세싱을 사용하는 디지털 도메인에서 행해질 수 있다.
이와 같은 시스템에 대해 관리될 하나의 잠재적인 차이는 스피커(들) 및 마이크로폰(들)의 배향과 관련된다. 예를 들어, 특정 구현에 관해, 스피커는 전방을 향할 수 있고, 사용자의 예상 방향으로 지시될 수 있다. 그러나, 마이크로폰(들)은 방 또는 천장을 향해 20 내지 30 도로 향할 수 있다.
따라서, 거리 음향 감지를 위한 사운드 픽업을 최적화하기 위해, 애플리케이션은 스피커를 통해, 프로빙 시퀀스를 발생시켜 방의 토폴로지를 러닝하고, 있음직한 반사 경로를 허용하도록 구성될 수 있다. 따라서, 셋업 프로세스는 저주파 초음파 에코의 거리 측정을 교정하기 위해(예를 들어, 그것이 스마트 스피커로부터 다르게 떨어져 있을 때, 다수의 사람 또는 모션 소스의 감시를 동시에 지원하기 위해) 시퀀스를 발생시킬 수 있다. 신호 프로세싱 관점에서, 잔향 플로어(반사 음향 파의 에너지가 소모하는데 얼마나 걸리는지)는 상이한 감지 신호에 대해 상이할 것이다 - 예를 들어, CW(지속파)에 대해서는 2 내지 3의 인자를 갖고, FMCW에 대해서는 약 5(감소된 리버브)의 인자를 갖는다(즉, FMCW는 반복 시퀀스의 주파수 스팬, 지속, 및 형상에 따라, 리버브 페이딩을 여전히 당할 수 있음).
마이크로폰 분리는 어려움을 제시할 수 있다. 예를 들어, 공통 하우징 내의 마이크로폰 어레이가 스마트 스피커 상에 이용 가능한 경우, 마이크로폰의 예시적인 분리는 71mm 떨어져 있을 수 있다. 20 mm 파장에 대해, 이는 하나의 마이크로폰이 트로프 내에 있을 수 있는 반면, 다른 것이 피크 영역 내에 있는 것을 암시한다(예를 들어, 고정 스피커를 요구함에 따라, SNR은 마이크로폰 사이에서 변할 것임). 바람직한 구성은 19 내지20mm의 영역 내의 특정 오디오 감지 파장 관련 간격으로 2개의 마이크로폰을 구성한 것일 수 있다. 이와 같은 거리가 사전 구성된 시스템에 대해 공지되지 않은 경우, 셋업 프로세스의 일부와 같은 교정 프로세스는 거리를 검출할 수 있다. 예를 들어, 셋업 프로세스는 하나 이상의 스피커를 통해 시간 동기화된 교정 사운드를 발생시켜 각각의 스피커로부터 각각의 마이크로폰으로의 전파 시간을 계산 또는 추정하고 이러한 계산에 기초하여 마이크로폰 사이의 차이를 추정할 수 있다. 따라서, 마이크로폰 사이의 거리는 2개 이상의 마이크로폰을 갖는 스마트 폰으로부터의 거리를 감지할 때 고려될 수 있다.
능동 사운드 바(즉, 마이크로폰을 포함함) 및 모바일 스마트 디바이스와 같은 다른 디바이스는 또한 본 명세서에서 설명된 감지 동작으로 구현될 수 있다.
적어도 하나의 스피커 및 적어도 하나의 마이크로폰(또는 이러한 기능을 수행하도록 구성될 수 있는 변환기)의 존재는 생체측정 감지가 활성 저주파 초음파를 사용하고, 그의 에코를 프로세싱하여 이러한 디바이스 상에 수행되는 것을 허용한다. 이전에 언급된 바와 같이, 이는 예를 들어, 대부분의 사용자의 청각 범위(예를 들어, 18kHz 위) 바로 밖에 있지만 공지된 또는 결정된 시스템 능력(예를 들어, 48 kHz의 샘플링 속도에 대해 24 kHz 아래에 있을 수 있지만, 통상 25 또는 30 kHz 아래임) 내에 있는 음향 신호를 플레이(송신)함으로써 구현될 수 있다. 대조적으로, 의료 초음파는 통상 훨씬 더 높은 주파수 - 예를 들어 1 내지 18 MHz에서 동작하고 이러한 동작을 위해 특화된 장비를 필요로 한다. 논의된 초음파 측정 기법은 임의의 고가 장비를 구매할 필요 없이 - 거의 모든 가정에 이미 이용 가능한 스마트 스피커 시스템(스마트 폰을 포함함)을 단지 사용함으로써 편리한 비접촉 측정을 제공한다.
상이한 감지 디바이스 / 애플리케이션의 공존
코딩된 또는 코딩되지 않은 초음파 신호는 상이한 디바이스에 의해 발생되어 디바이스 및 시스템이 식별 및 다른 데이터 교환 목적을 구현하는 것을 허용할 수 있는 점이 인식될 수 있다. 예를 들어, 모바일 폰 애플리케이션은 근처의 다른 감지 가능 디바이스/시스템, 예컨대 스마트 스피커에 대해 자신을 식별하고 그 역도 또한 마찬가지이도록 이와 같은 신호를 통신 목적으로 발생시키도록 구성될 수 있다. 이러한 유형의 신호는 식별을 위한 단거리 무선 주파수 통신 대신에 사용될 수 있다(예를 들어, 블루투스은 이용 가능하지 않거나 디스에이블됨). 그 다음, 시스템의 디바이스는 감지 부근에서 다른 프로세싱 디바이스의 존재를 (예를 들어, 다른 프로세싱 디바이스로부터의 비가청 음향적으로 발생된 통신 신호를 통해) 자동적으로 결정하고, (예를 들어, 상이한 주파수 대역을 사용하고 그리고/또는 시간에 중복되지 않음으로써) 그들이 비간섭 감지 모드에서 동작할 수 있도록 발생된 감지 신호의 매개변수를 조정할 수 있다.
저주파 초음파(소나) 감지
많은 장소는 인간 청각 임계치 바로 위의 저주파 초음파 범위 내의 사운드를 방출 및 기록할 수 있는 오디오 디바이스 - 예를 들어, 인포테인먼트 시스템을 포함한다. 이와 같은 디바이스 및 시스템은 저주파 초음파 기법을 사용하여 부근에 있는 사람의 생리학적 감지를 수행하도록 적응될 수 있다. 이와 같은 감지는 표준 오디오 시스템의 원래 의도된 기능에 영향을 주지 않고 수행될 수 있다. 일 예에서, 이와 같은 감지 기능은 소프트웨어 업데이트로서 구현될 수 있다(즉, 추가 유용한 기능이 상품의 비용을 증가시키지 않고 추가되는 것을 허용함). 몇몇 경우에, 새로운 디바이스 또는 시스템 내의 변환기 중 하나 이상은 이러한 사양을 충족시키는 것을 보장하기 위해 제조에서 추가 테스팅으로, 저주파 초음파 감지를 위한 오디오 주파수 범위를 지원하도록 지정될 수 있다.
이와 같은 음향(가청 또는 비가청) 감지 기술은 사전적 건강 관리, 의료 디바이스, 및 보안 기능을 포함하는 매우 다양한 목적에 사용될 수 있다.
약 25 kHz까지 동작하는 저주파 초음파 시스템은 모바일 스마트 디바이스 또는 스마트 스피커 디바이스 상에 실현될 수 있다. 이는 전자 디바이스 상의 하나 이상의 변환기를 사용하여 하나 이상의 대상체를 향해 사운드 에너지를 송신하며, 변환기는 25kHz 미만의 주파수를 포함하는 주파수의 범위에 걸쳐 사운드 에너지를 발생시키도록 구성된다. 스피커는 스마트 폰, 스마트 스피커, 사운드 바, 휴대용 TV 스크린, 또는 저주파 초음파 감지 및 프로세싱을 지원할 수 있는 변환기를 포함하는 다른 디바이스 및 구성에 포함될 수 있다. 컴퓨터가 스피커 시스템을 제어하기 위해 구현되면, 그것은 스마트 스피커 시스템을 효과적으로 생성한다.
가청 사운드 예컨대 호흡의 사운드, 기침, 자고 있을 때의 코골이, 헐떡임, 쌕쌕거림, 말소리, 코 훌쩍임, 재채기는 모션 감지를 위해 검출될 반사된 감지 신호로부터의 이러한 사운드의 분리를 허용하기 위해 부근 내에서 감지된 오디오 신호로부터 추출 및 분류될 수 있다. 이러한 사운드(예를 들어, 기침)의 몇몇은 (특히 매우 낮은 사운드 압력 레벨에서 동작하고 있으면) 바람직하지 않은 감지 신호를 마스킹할 수 있다. 그러나, 이와 같은 사운드는 다른 환경 사운드(예를 들어, 차 경적 분출, 모터 잡음, 거리 사운드, 바람, 꽝하는 또는 닫히는 문 등)로부터 분리될 수 있도록 여전히 검출 가능할 수 있다. 호흡의 사운드는 전형적으로, 조용한 환경에서 신호 품질이 더 양호하며, 능동 감지 접근법(예컨대 소나 또는 레이더(RF one을 포함함)(몸통 및 사지 운동을 주로 검출함), 또는 카메라/적외선 시스템)이 갖춰졌을 경우 들숨/날숨 시간(및 따라서 호흡 속도)의 양호한 제2 추정을 제공할 수 있다. 다시 말해, 시스템은 사운드의 특성에 관한 정보를 여전히 추출할 수 있으며, 심지어 매우 큰 사운드는 연관된 신호 품질이 허용 가능한 임계값 아래로 떨어짐에 따라 시스템이 감지된 신호의 작은 섹션을 스킵할 수 있는 것을 의미한다.
소나 시스템에서, 들숨 또는 날숨에 의해 야기되는 공기 이동은 또한 (감지 환경에 셋업된 음향 모드의 방해로 인해 - 감지 신호가 잔향을 경험하기에 충분히 길게 지속되면) 결과적인 진행 파면을 추적하는 방법에 의해 검출될 수 있다. 가청 시그니처로부터 직접 코골이를 검출하는 것은 보다 용이한데, 예를 들어, 평균 최대 데시벨 레벨을 사용하여 코골이를 경도(40 내지 50 db), 중등도(50 내지 60 db), 또는 중증(60 db 초과)으로 분류하는 비교적 큰 프로세스이기 때문이다.
따라서, 몇몇 경우에, 프로세싱 디바이스(100)는 호흡을 검출하기 위한 모션 검출(예를 들어, 소나) 기법을 사용할 수 있다. 그러나, 몇몇 경우에, 마이크로폰에서 가청 호흡 신호의 음향 분석은 호흡의 검출을 위한 프로세싱 디바이스(100)에 의해 구현될 수 있다.
RF(레이더) 감지
몇몇 시스템은 보안을 위한 간단한 내부 운동 검출용 단일 펄스 도플러 레이더 모듈을 포함할 수 있다. 이는 (업데이트된 소프트웨어로) 향상되거나 - 각각의 좌석/착석 영역 상에서 사람을 검출 및 구별할 수 있도록 모션 검출을 부근의 특정 영역에 국부화할 수 있는 모듈로 대체될 수 있다. 센서는 초광대역(UWB) 감지 신호 또는 주파수 변조 지속파(FMCW) 감지 신호와 같은 또는 그들의 발생된 감지 신호에서 OFDM, PSK, FSK 등과 같은 다른 코딩 스킴을 포함하는 기술로 향상될 수 있다. 이것은 정확한 레인징 능력(1cm 이하)을 갖는 센서로 구현될 수 있다. 이와 같은 센서는 정의된 영역(예를 들어, 특정 좌석 배향 감지 방향을 갖기 위해 부근 내에 구성될 수 있는 안테나 설계를 통해 설정됨)에서 감지할 수 있다. 몇몇 경우에, 다수의 안테나는 특정 감지 영역에 대해 구현될 수 있고 빔포밍 기법과 함께 사용되어 상이한 안테나와 연관된 거리 감지 차이를 설정할 수 있다. 다수의 센서(예를 들어, 각각의 좌석에 대한 센서)는 사람(또는 애완동물)이 있을 수 있는 다수의 영역의 커버리지를 제공하기 위해 영역 내에 사용될 수 있다.
다중모달 데이터 프로세싱
소나, RF, 또는 적외선 감지(즉, 적외선 방출기 및 IR 파 송신 및 수신용 검출기)를 사용할 때, 프로세싱 디바이스(100)는 생체 모션 감지가 장비로부터의 데이터에 기초할 수 있도록 부근의 이와 같은 장비(예를 들어, 점유를 추정하기 위함)에 의해 발생된 부가 데이터 또는 신호를 수신할 수 있다. 예를 들어, 사람이 주어진 좌석 상에 또는 침대 내에 앉아 있는지를 검출하는 좌석/침대 부하 센서는 특정 좌석 또는 침대와 연관될 수 있는 감지에 대해 생체 모션 감지를 개선할 때를 결정하기 위한 정보를 생체 모션 프로세싱 디바이스(100)에 제공할 수 있다. 적외선 시스템은 선택적으로, 예를 들어, 졸림 검출을 위한 것과 같이, 인간 눈 운동을 추적할 수 있는 카메라 시스템과 통합될 수 있다.
프로세싱 디바이스는 생체 모션 특성의 검출을 위한 관련 범위/거리를 평가하기 위한 거리 정보로 구성될 수 있다. 예를 들어, 프로세싱 디바이스(100)는 부근 내부(예컨대 방)의 거리 매핑(맵)을 가질 수 있다. 이와 같은 맵은 예를 들어, 설계 단계에서 초기에 제공되어, 초기 감지 구성을 지정할 수 있다. 선택적으로, 감지 시스템은 프로세싱 디바이스의 제어 하에, 한명 이상의 사람에 의해 사용중일 때 맵을 동적으로 업데이트(또는 검출)할 수 있다. 초기 구성은 예를 들어, 좌석의 위치, 및 가장 있음직한 좌석 구성을 캡처/검출할 수 있으며; 좌석이 이동 가능한 경우, 센서는 현재 설정을 시스템에 보고하여 감지 매개변수를 업데이트할 수 있다(예를 들어, 앉아 있는 사람의 위치는 좌석이 후방 또는 전방으로 미끄러지거나, 접혀지는 등 함에 따라, 감지 라우드스피커에 대해 이동할 수 있음).
생체측정 특징 검출 - 호흡, 심장, 운동, 및 범위
센서 신호의 프로세싱
특히 프로세싱 디바이스(100)를 포함하는 시스템은 예컨대 선택적으로 복조가 프로세싱 디바이스에 의해 수행되지 않으면 센서로부터(예컨대 소나, RF/레이더, 또는 적외선으로부터) 복조된 신호를 수신할 수 있다. 그 다음, 프로세싱 디바이스(100)는 직류 신호 DC 및 매우 낮은 주파수(VLF)(예를 들어, 기류), 호흡, 심박수 및 전체 모션 신호와 같은 관심있는 성분을 분리함으로써 신호를 프로세싱할 수 있다. 이는 고속 푸리에 변환(FFT) 윈도우에서 빈 검색하고, 윈도우에 걸쳐 추적함으로써, 및/또는 지정된 범위에서의 시간 도메인 신호(예를 들어, 복조된 신호의 복소 FFT 분석을 사용하여 추출되는 지정된 거리 범위에 대한 "시간 도메인" 신호)의 직접 피크/트로프 또는 제로 크로싱 분석을 통해 추정/검출될 수 있다. 이는 때때로 FFT가 국제 특허 출원 PCT/EP2017/073613에 설명된 것과 같은 FFT로 수행됨에 따라 “2D”(two dimensional) 프로세싱으로 지칭된다.
소나 감지를 위해, 중요한 다른 정보는 오디오 대역에서 발견되고 마이크로폰에 의해 픽업될 수 있다. 이와 같은 정보는 인포테인먼트 사운드(뮤직, 라디오, TV, 영화), 전화 또는 비디오 호출(인간 말소리를 포함함), 주변 잡음, 및 다른 내부 및 외부 사운드 예컨대 모터, 교통 또는 차량 잡음일 수 있다. 이러한 오디오 성분의 대부분은 방해자인 것으로 간주될 수 있고, 생체측정 매개변수 추정으로부터 억제(예를 들어, 필터링)될 수 있다.
레이더 감지를 위해, 다른 RF 소스로부터의 신호 성분은 억제될 수 있다.
적외선 감지를 위해(예컨대 눈 추적에 더하여 생리학적 감지를 수행할 때), 온도 변경 및 태양 위치는 간섭을 야기할 수 있고 고려될 수 있다. 따라서, 서모스탯 온도 센서로부터와 같은 온도 센서, 및 시간은 감지 신호를 프로세싱할 시에 평가될 수 있다.
사용된 정확한 감지 기법(RF, IR, 소나)에 관계없이, 수신된 시간 도메인 반사된 신호는 (예를 들어, 포락선 검출기에 의해, 및 그 다음 피크/트로프 검출기에 의해 평가되는 대역 필터에 의한 대역 필터링에 의해) 추가로 프로세싱될 수 있다. 포락선 검출은 힐버트 변환으로 또는 호흡 데이터를 제곱하고, 저역 통과 필터를 통해 제곱된 데이터를 송신하고, 결과적인 신호의 제곱근을 계산함으로써 수행될 수 있다. 몇몇 예에서, 호흡 데이터는 피크 및 트로프 검출(또는 대안적으로 제로 크로싱) 프로세스를 통해 정규화되고 송신될 수 있다. 검출 프로세스는 들숨 및 날숨 부분을 분리할 수 있고, 몇몇 경우에, 사용자의 들숨 및 날숨 부분을 검출하기 위해 교정될 수 있다.
호흡 활동은 전형적으로 0.1 내지 0.7 Hz(6 호흡/분 - 예컨대 진행되는 깊은 호흡에서 발생함 내지 42 호흡/분 - 성인의 전형적으로 빠른 호흡 속도) 범위 내에 있다. 심장 활동은 더 높은 주파수의 신호에 반영되고, 이러한 활동은 0.7 내지 4 Hz(48 비트/분 내지 240 비트/분) 범위의 통과 대역을 가진 대역 필터로 필터링함으로써 액세스될 수 있다. 전체 모션으로 인한 활동은 전형적으로 4 Hz 내지 10 Hz 범위이다. 이들 범위에서 중첩될 수 있음에 유의해야 한다. 강한(뚜렷한) 호흡 흔적은 강력한 고조파를 야기할 수 있고, 이들은 호흡 배음과 심장 신호와의 혼동을 회피하기 위해 추적될 필요가 있다. 변환기로부터의 더 긴 거리(예를 들어, 수 미터)에서, 비교적 작은 심장 기계 신호를 검출하는 것은 매우 어려운 일일 수 있고, 이와 같은 심박수 추정은 사용자가 스마트 스피커의 1 미터 내에 - 예컨대 의자/긴 의자 상에 또는 침대 내에 조용하게 누워 있는 설정에 더 잘 적합하다.
부재/존재가 “존재”로서 결정되었다면, 호흡, 심장, 및 모션/활동 신호(더불어서, 그들의 상대적인 위치 및 이동하고 있는 경우(예를 들어 부근에 들어가고 나가는 이동)의 속도)의 추정은 센서의 필드 내의 한명 이상의 사람에 대해 수행된다. 범위 정보를 산출하는 시스템은 - 다수의 사람이 유사한 휴식 호흡 속도(젊은 커플에 있을 수 있음)를 가질 지라도 다수의 사람의 생체측정 데이터를 분리할 수 있다는 점이 인식될 수 있다.
이러한 매개변수에 기초하여, 다양한 통계 측정값(예를 들어, 평균, 중간값, 제3 및 제4 모멘트, 로그, 제곱근 등), 파 형상(형태적 프로세싱), 및 그 다음 특성화 시스템에의 공급, 예컨대 간단한 분류 또는 로지스틱 회귀 기능, 또는 신경 네트워크 또는 인공 지능 시스템을 사용하는 더 복잡한 머신 러닝 시스템을 준비하는 것이 가능하다. 이러한 프로세싱의 목적은 수집된 생체측정 데이터로부터 추가 통찰력을 얻는 것이다.
수면 스테이징 분석
부재 / 존재 / 각성 /(NREM) 수면 단계 1 / 수면 단계 2 / 수면 단계 3(느린 파 수면 SWS / 깊은) / REM이 수면 사이클을 표현하는 기초 수면 아키텍처에 관련된 시퀀스를 가지므로, 그것은 시퀀스되지 않은 문제보다는 오히려 시퀀스된 문제로서 이것을 고려하는 데 도움이 될 수 있다(즉, 전형적인 수면 사이클을 반영하며, 사람은 시간의 기간 동안 한 상태에 남아 있음). 수면의 시퀀스는 예를 들어 밤(“수면”) 동안 내내 관찰에 명시적 순서를 부과한다.
몇몇 시스템은 또한 밤의 시작을 향해 더(더 높은 보급) 깊은 수면(SWS), 및 밤의 끝을 향해 더 REM 수면을 갖는 “정상” 수면 패턴을 이용할 수 있다. 이러한 이전 지식은 정상 수면자를 위한 분류 시스템을 가중(예를 들어, 시간에 걸쳐 이러한 상태의 이전 확률을 조정)하는 데 사용될 수 있지만; 모집단 규범 값으로부터의 이러한 가정은 비정상 수면자, 또는 주간에 정기적으로 낮잠자는 사람에 대해 유지되지 않을 수 있거나 - 부족한 수면 위생(부족한 수면 습관 - 예컨대 광범위하게 변화하는 ‘취침’ 및 ‘취침 외’ 시간)을 가질 수 있다는 점이 주목되어야 한다.
고전적으로, 수면 스테이징은 문헌[Rechtschaffen & Kales guidelines(Rechtschaffen and Kales, 1968)(a manual of standardized terminology, techniques and scoring system for sleep stages of human subjects. U.S. Public Health Service, U.S. Government Printing Office, Washington D.C. 1968)]까지 거슬러 올라가 30 초 “에포크”에서 고려되어왔다. 뇌전도(EEG)를 볼 때 종이 속도가 10 mm/s가 되므로(한 페이지는 30 초와 동등함) 알파 및 스핀들 관찰에 이상적인 30 초 인터벌이라는 것을 문헌에서 기재하고 있다. 물론, 수면 및 불면(및 부재 / 존재)의 실제 생리학적 프로세스는 30 초 블록으로 균일하게 분할되지 않으므로, 더 길거나 더 짧은 시간이 선택될 수 있다. 여기서 개략 설명된 시스템은 우선적으로 1 초(1 Hertz) 수면 단계 출력을 사용하지만, 그것은 1 초(1 Hertz)(기초 프로세싱 블록의 크기에 관련되는 연관된 지연)마다 업데이트를 전달하는 중복 방식으로 데이터의 더 긴 블록을 사용한다. 이러한 1 초 출력은 수면 사이클에서 미묘한 변경 / 전이를 더 양호하게 나타내기 위해 사용된다.
수면 특징 - 수동적으로 대 자동적으로 발생됨
감지된 신호(거리 대 시간(모션) 정보를 표현하는 신호)는 수면 특징과 같은 다양한 특징을 계산하는 데 사용된다. 그 다음, 이러한 특징은 사용자의 생리학적 상태에 관한 정보를 유도하는 데 사용될 수 있다.
특징 발생을 위해, 다수의 접근법이 구현될 수 있다. 예를 들어, 인간 전문가는 호흡 및 다른 생리학적 데이터 및 그의 분포를 검토하여, 특정 변경의 생리학적 기초, 및 시행 및 착오를 이해함으로써, 그들의 경험에 기초하여 프로세싱된 또는 프로세싱되지 않은 신호로부터 특징을 수동으로 생성할 수 있다. 대안적으로, 머신은 예상된 결과를 갖는 라벨링된 데이터가 공급된 몇몇 인간 감독(“머신 러닝”의 분야의 코어 개념) 및 제공된 몇몇 인간 도움으로, 또는 일부 데이터가 공급될 수 있거나 라베링된 데이터가 공급되지 않을 수 있는 완전 자동 방식으로 특징을 "러닝"할 수 있다.
딥 러닝은 이하의 넓은 카테고리: 심층 신경 넷(DNN), 합성곱 신경 넷(CNN), 순환 신경 넷(RNN), 및 다른 유형으로 광범위하게 고려될 수 있다. DNN 내에서, 딥 빌리프 네트워크(DBN), 다층 퍼셉트론(MLP)뿐만 아니라, 적층된 오토인코더(SAE)를 고려할 수 있다.
딥 빌리프 네트워크(DBN)는 예를 들어, 발생 능력을 소유하여, 입력 데이터로부터 특징을 자동적으로 발생시킨다. 이러한 목적을 위한 다른 접근법은 퍼지 C-평균 클러스터링(FCM), 즉 사전 프로세싱된 데이터에서 고유 구조를 발견하는 것을 돕는 감시되지 않은 러닝의 형태이다.
핸드크래프트 특징은 디지털 신호 프로세싱 기법을 감지된 운동 데이터에 적용함으로써 형성될 수 있다. 실제 경우에서의 호흡 신호는 숨을 들여 마시고 그 다음 숨을 내쉬는 것으로 설명된, 2개의 진폭(깊거나 얕음) 및 일정한 주파수(일정한 호흡 속도)를 갖는 완전한 사인파이다. 실세계에서, 그것은 사인파 - 특히 몸통 영역 비아 및 음향 또는 무선 주파수 기반 감지 접근법으로부터 검출된 바와 같이 사인파와 거리가 멀 수 있다. 예를 들어, 들숨은 날숨보다 더 급격하고, 더 빠를 수 있으며, 호흡이 잠시 동안 유지되면 파형 상에 노치가 있을 수 있다. 들숨 및 날숨 진폭뿐만 아니라, 호흡 주파수가 변화될 수 있다. 몇몇 추출 방법은 피크 및 트로프를 검출하는 것, 그 다음 2개(국부 피크를 검출하는 것 및 트로프를 폐기하는 것) 중 더 양호한 품질을 검출하는 것에 집중한다. 이는 피크 및 트로프 시간 둘 모두가 들숨 및 날숨 시간 둘 모두뿐만 아니라, 체적(예를 들어, 계산된 참조 베이스라인에 대한 시간 도메인 신호의 적분에 의해 계산됨)을 추정하기 위해 요구되면 이상적이지 않지만 - 호흡 속도 추정에 충분히 양호할 수 있다.
다양한 방법은 호흡 및/또는 심박수 또는 진폭과 같은, 이러한 특징 중 임의의 것의 추정을 돕는 데 사용될 수 있다.
예를 들어, 피크 및 트로프 후보 신호 추출은 더 낮은 호흡 속도(예를 들어, 자발적 호흡에 드물지만, 사용자가 그들의 호흡을 더 느린 속도로 유도하도록 요청받으면 일어날 수 있는, 4 내지 8 호흡/분)의 정확한 검출을 복잡하게 할 수 있는 더 낮은 주파수 잡음의 우세로, 잡음(및 다양한 대역 외 및 대역 내 잡음이 있을 수 있음)으로부터 호흡 파 형상을 복원하는 것을 필요로 한다. 시간 도메인 검출 방법은 저역 통과 필터링 후에 최대 및 최소 검출을 포함하여, 적응 임계값(깊고 얕은 호흡이 검출되는 것을 허용하기 위해 다수의 호흡의 블록을 통해 조정됨)을 사용한다. 선택적으로, 신호는 저역 통과 필터링되고 미분(예를 들어, 도함수)될 수 있다. 그 다음, 변경의 최대 속도에 관한 미분된 신호에서의 피크는 호흡 이벤트의 표시를 제공하기 위해 검출될 수 있다. 이와 같은 방법은 그것 상에 몇몇 잡음을 갖는 정현 곡선으로서 모델링되는 호흡 파형의 기점을 추출한다. LPF는 더 높은 주파수 잡음을 제거한다. 그 다음, 미분이 행해지고 피크가 검출된다. 실제로, 이는 - 호흡 파형이 종종 넓은 피크보다는 오히려 변경의 최대 속도에서 가장 분명하므로(예를 들어, 짧은 시간의 양 동안 유지되는 호흡이 있으면) 원래 신호의 피크 및 트로프보다는 오히려, 원래 신호의 변경의 최대 속도의 지점을 발견한다. 잠재적으로 더 견고한 방법은 이러한 경계의 크로싱이 신호의 진폭에서의 국부 변경에 직접적으로 영향을 받지 않으므로, 제로 크로싱을 (고정 또는 적응 베이스라인 주위에서) 검출하는 것이다.
호흡 신호가 시간 도메인 신호 (센서(들)로부터의 가슴의 거리 및 각도에 따라) 시간 도메인 신호에서 쉽게 보여질 수 있지만, 심장 모션은 전형적으로 호흡과 비교하여 매우 작은 신호이다. 호흡의 고차 고조파(예를 들어, 파 형상에 관련됨)는 심장 신호 추출을 복잡하게 하고, 거절, 또는 검출 및 배제될 필요가 있을 수 있다.
주파수 도메인 방법은 또한 예를 들어 호흡 데이터에 적용될 수 있다. 이러한 방법은 중복(예를 들어, 예를 들어, 1 초만큼 반복적으로 시프트되는 데이터 스트림의 데이터의 30s의 블록) 또는 비중복(예를 들어, 데이터 스트림은 30 총 청크에서 비중복되는 것으로 간주됨)될 수 있는 데이터의 블록을 사용하여 FFT의 대역 내의 검출된 피크(스펙트럼 누설을 방지하기 위해 윈도우잉될 수 있음)를 사용하는 것을 포함할 수 있다. 웰치의 방법을 사용하는 전력 스펙트럼 밀도(PSD), 또는 매개변수 모델(자기회귀)은 또한 후속 피크 검색으로 사용될 수 있다. 스펙트럼 피크는 호흡 신호가 더 적은 사인파가 됨에 따라 더 넓어지는(더 확산되는) 경향이 있을 것이고, 형상이 급격한 피크, 급격한 트로프, 또는 노치를 가지면 고조파를 포함할 수 있다. 다른 방법은 자기상관(자체의 시프트된 버전과 신호의 유사성을 설명함)을 사용하는 것이며, 가정은 기초 호흡 파 형상이 시간의 기간 동안 상대적으로 안정하다는 것이고, 자기상관에서의 주기적인 국부 최대는 호흡 속도를 추정하기 위해 가장 있음직한 후보(예를 들어, 잡음에 관련되지 않음) 최대에 의해 추적 및 필터링될 수 있다. 자기상관은 시간 도메인에서 수행되거나, 주파수 도메인에서 FFT에 의해 수행될 수 있다. 웨이브렛과 같은 시간 주파수 접근법은 또한 사인파 형상을 갖는 적절한 웨이브렛(예를 들어, 심릿(symlet), 데보키스(Debauchies) 등)이 선택되는 경우 유용하며, 그것은 강한 잡음 제거를 수행할 수 있고; 또한, 피크 검출은 궁극적으로 관심있는 시간척도에서(즉, 타겟 호흡 속도 범위 내에서) 수행된다.
칼만 필터(재귀 알고리즘)은 시스템 상태를 추정하기 위해 시간 도메인 신호에 적용될 수 있으며; 이러한 접근법은 이전 단계의 사용에만 기초하여, 시스템의 장래의 알려지지 않은 상태를 예측하는 방식을 제공한다. 필터링에 더하여, 그것은 예컨대 큰 운동, 호흡, 및 심장 운동의 신호 분리를 제공할 수 있다.
(잡음 오염 관찰(예를 들어, 잡음 환경에서 생리학적 운동을 검출하기 위함)
호흡 피크 및 트로프의 임의의 검출은 대상체가 호흡을 정지(예를 들어, 무호흡)하거나 매우 얕은 호흡(예를 들어, 호흡저하)을 나타내면, 대상체가 큰 운동을 하는 것(침대에서 뒤척임 또는 운전 동안 움직이는 것)과 같이, 잠재적으로 혼동하는 효과를 인식할 필요가 있다. 위치를 추적할 수 있는 감지를 사용하는 것은 이러한 효과를 분리하는 유용한 수단을 제공한다. 예를 들어, 롤은 공간 내의 위치의 변경뿐만 아니라, 높은 주파수 운동 둘 모두로서 보여질 수 있다. 따라서, 후속 호흡은 진폭이 더 높거나 더 낮을 수 있지만 - 여전히 “건강한” 호흡일 수 있다. 다시 말해, 검출된 진폭 변경은 사람의 호흡의 변경보다는 오히려, 추출된 수신 호흡 신호(하향 변환 등 후의) 강도의 변경으로 인한 것일 수 있다. 따라서, 이는 새로운 교정 접근법을 허용할 수 있으며, 검출된 거리는 신호 강도를 호흡의 깊이에 관련시키는 데(그리고 일회 호흡령을 근사시키는 데) 사용될 수 있다는 점이 인식될 수 있다. 이와 같은 운동 또는 변위가 인식되지 않는 경우, 지정된 지속 범위 의 축소, 중단, 또는 변경(예를 들어, 폐쇄 이벤트 동안 가슴 및 배에 관한 모순 운동으로 인함)은 비정상 호흡(예를 들어, 무호흡/호흡저하 이벤트)으로서 식별될 수 있다.
실제적인, 견고한 심호흡 추정 시스템은 매개변수를 국부화하기 위한 다수의 방법에 의존할 수 있는 것이 인식될 수 있다. 양호한 신호 품질 경우에 대해, 주파수(또는 시간 주파수) 추정은 있음직한 호흡 속도, 국부 호흡 가변성의 추정을 국부화하고, 그 다음 미묘한 피크 및 트로프 시간을 추출하고, 범위에서 교정을 수행하고 들숨 및 날숨 체적(수면 스테이징에 대한 유용한 특징)을 추정할 수 있다. 이와 같은 신호 품질 메트릭은 시간에 걸쳐 변화되는 것으로 예상된다. 측정된 호흡 속도의 변화가 있으면, 프로세싱은 상이한 시간 스케일 동안 행해질 수 있으며, 예를 들어 평균 또는 중앙 필터링은 30, 60, 90, 120, 150 초 등 동안 행해진다.
소나 경우에서, 미가공 수신된 파형(예를 들어, 음향 FMCW 신호)의 포락선은 메인으로서, 또는 이차 입력으로서 예컨대 호흡 속도 추정을 위해(예컨대 소나를 사용하여 RF 감지 시스템을 위한 추가의 정보를 제공하고 그 역도 또한 마찬가지임), 다른 추가 감지 신호가 구현될 때, 프로세싱될 수 있다. 이는 사람의 날숨의 공기에서 실제 방해를 검출하는 성질에 기초한다. 이는 객실, 방 또는 부근 내에(예를 들어, 개방 창문, 인근 공기 조화 유닛, 인근 히터 등으로부터) 다른 강한 기류가 없는 것을 암시하며; 있으면, 측정에 관한 그들의 효과는 폐기되거나, 환경에서 기류의 변경을 변경하는 데 사용될 수 있다.
큰 기류는 범위 빈에 걸친 낮은 주파수 운동(즉, 범위에 걸쳐 흐르는 섭동)으로서 검출 가능한 경향이 있을 것이다. 이는 더 많은 잔향을 갖는 파형(예를 들어, 하나의 주파수의 에너지가 방, 및 연관된 방 모드에서 강화되는 것을 허용함)을 감지하는 데 더 분명하다.
일반 모집단(즉, 정상 건강한 조건을 갖는 사용자, 호흡 상태 예컨대 수면 무호흡, COPD, 심장 문제를 포함하는 다양한 건강 조건을 갖는 사용자 등을 포함함)에 걸쳐 작동되는 수면 스테이징 시스템을 고려할 때, 호흡 속도 및 심박수의 베이스라인이 광범위하에 변환될 수 있다는 점이 인식될 수 있다. 예를 들어 나이, 성, 및 신체 질량 지수(BMI)에서 차이를 휘한다. 여성은 유사한 나이 및 BMI의 남성보다 약간 더 높은 베이스라인 호흡 속도를 가질 수 있다(그러나 어린이 나이(4 내지 16)의 최근의 연구는 통계 차이를 나타내지 않음). 더 높은 BMI를 갖는 것은 유사한 나이의 누군가의 평균보다 더 빠르게 호흡하는 경향이 있을 것이다. 어린이는 통상 성인보다 훨씬 더 높은 정상 호흡 속도를 갖는다.
따라서, 몇몇 버전에서, 예컨대 센서 유형에 관계없이 프로세싱 디바이스(100)를 갖는 시스템은 예컨대 딥 빌리프 네트워크(DBN)를 적용하기 전에, 초기 신호 프로세싱 및 몇몇 핸드 크래프트 특징이 형성되는 경우, 하이브리드 구현으로 이루어질 수 있다. (하이브리드 구현은 머신에 의해 러닝되는 특징과 조합된 인간 “핸드 크래프트,” 디지털 신호 프로세싱(DSP) 유도 특징의 혼합을 수반한다.) 초기 감독된 트레이닝은 전문가 스코어 수면다원검사(PSG) 오버나이트 데이터세트를 사용하여 수면 실험실 또는 가정 PSG로부터, 세계 곳곳의 다수의 장소로부터 수행되고, 지정된 스코어링 방법론을 사용하여, 적어도 하나의 스코러에 의해 스코어링된다. 추가 무감독 트레이닝은 선택 감지 방법 중 하나 이상으로 수집된 데이터세트로부터 수행된다. 이는 시스템이 진화하여 수면 실험실 외부에서 새롭고 더 다양한 데이터를 반영하는 것을 허용한다.
핸드 크래프트 특징(즉, 인간 기술자 / 데이터 과학자가 그것을 설계, 선택 또는 생성함)에 관해, 연관된 신호 품질 레벨을 갖는 호흡 신호가 추출되며, 관심있는 특정 특징은 상이한 시간척도를 통한 호흡 속도의 가변성, 및 들숨 및 날숨 시간의 변화이다. 불면 및 수면에 대한 개인화된 베이스라인 호흡 속도의 추정이 형성된다. 예를 들어 깨어 있는 동안 호흡 속도 가변성의 단기 변경은 무드, 및 무드의 변경에 관련될 수 있는 반면에, 자고 있는 동안 이러한 변경은 수면 단계의 변경에 관련되는 것은 공지되어 있다. 예를 들어, 호흡 속도 가변성은 REM 수면에서 증가한다. 호흡 속도 자체의 더 장기적인 변경은 정신 건강의 표시자를 제공하는 것과 같이, 정신 조건의 변경에 관련될 수 있다. 이러한 효과는 사용자가 수면일 때, 특히 더 긴 기간 동안 분석될 때, 그리고 모집단 규범 값과 비교하여 더 엄청날 수 있다.
하나는 사용자의 상태(수면/각성) 또는 수면 단계(REM, N1, 그 다음 N2, 그 다음 SWS 수면에서의 최저)의 표시로서 측정된 호흡 속도의 가변성을 사용할 수 있다. 예를 들어, 정상적인 건강한 사람에서 15 분과 같은 기간에 걸쳐 정규화된 호흡 속도 가변성을 볼 때, 그들이 깨어 있는 경우 가장 큰 가변성을 인식하는 것이 가능며; 이러한 가변성은 모든 수면 상태에서 떨어지고, 다음으로 가장 큰 것은 REM 수면에 있으며(그러나 각성보다 여전히 더 작음), 그 다음 reducing further in N1에서, 그 다음 N2에서 더 감소되고, 그 다음 SWS 수면에서 가장 낮다. 여담으로서, 호흡으로 인한 공기 압력은 REM 수면에서 증가할 수 있으며, 이는 검출된 음향 신호 - 조용한 환경에서 또는 더 조용한 시간에 검출될 수 있는 잠재적인 추가의 특징에 영향을 미칠 수 있다.
이와 같은 정규화된 호흡 속도 값은 건강한 사람에 대한 상이한 위치(반듯이 누움, 엎드려 있음, 바른 위치 등) 사이에서 상당히 변화되어서는 안된다. 그러나, 정확한 일회 호흡량에 대한 교정은 바람직할 가능성이 있음에 주목해야 한다. 예를 들어, 시스템은 한 사람의 평균 호흡 속도가 예를 들어 자고 있는 동안 13.2 호흡/분(BR/MIN)일 수 있는 반면에 다른 사람의 평균이 17.5 BR/MIN일 수 있으므로 전체 밤에 걸쳐 정규화할 수 있다. 양 속도는 수면 단계 당 유사한 가변성을 나타낸다. 속도의 차이는 수면 상태를 분류하기 위해 고려될 수 있는 변경을 마스킹할 뿐이다. 시스템은 시간이 지남에 따라 그 자체, 또는 실제로 유사한 인구 통계 내의 어떤 사람과 비교하는 것과 같이 다른 목적을 위해 평균 속도(또는 전체 속도 그래프)를 고려할 수 있다. 폐쇄 수면 무호흡(OSA)을 갖는 사람에 대해, 호흡 가변성은 슈파인 위치(등에 놓임)에서 - 사용자의 호흡 건강의 잠재적으로 유용한 표시를 증가시킬 것으로 예상된다.
혼합된 무호흡 또는 중추 무호흡을 갖는 대상체는 정상 대상체(유용한 생체지표)보다 깨어 있는 더 큰 호흡 가변성을 디스플레이할 경향이 있으며, 폐쇄 무호흡을 갖는 사람들은 또한 깨어 있는 동안 변경 대 정상을 갖고, 이는 분명하지 않다(그러나 많은 경우에 여전히 존재함).
사람 특정 수면 패턴(예를 들어, 호흡 가변성)은 시간에 걸쳐 시스템에 의해 러닝될 수 있으며; 따라서, 감독되지 않은 러닝을 수행할 수 있는 시스템은 필드에 전개되면, 매우 바람직하다.
이러한 패턴은 하룻밤 동안(즉, 수면 세션 동안) 변할 수 있고 호흡의 부분 또는 완전 중단(또는 방해된 기도가 있을 때 가슴 및 배의 모순 운동)으로서, 수면 시간 동안 발생하는 무호흡에 영향을 받을 수 있다. 이러한 문제를 다루는 하나의 방식은 수면 단계를 계산하면, 검출된 무호흡을 갖는 기간(및 호흡 속도의 연관된 진동)을 억제함으로써 된다는 인식될 수 있다. 하나는 그러한 시점에 수면 단계를 분류하려고 시도하기 보다는 오히려, 무호흡 및 잠재적인 미세 각성을 간단히 플래그할 수 있다. 체인 스토크스 호흡(CSR)과 같은 주기성 호흡 패턴은 강한 발진 패턴을 가지며; 이는 또한 수면 프리프로세싱 단계 동안 검출될 수 있다. CSR이 수면의 임의의 단계에서 발생할 수 있지만, 중지는 비-REM 수면에서 더 규칙적인 경향이 있고, REM 수면(시스템이 CSR을 갖는 대상체에서 수면 스테이징을 정제하기 위해 사용할 수 있는 정보)에서 더 불규칙적인 경향이 있다.
유사하게, 심장 신호는 호흡 파형 형태에 관한 임의의 고조파를 억제하는 프로세싱 단계로 추출될 수 있다. 폐쇄, 혼합 또는 중추 무호흡과 같은 특정 패턴은 임의의 관련된 회복 호흡, 및 헐떡임에 관련된 운동과 함께, 검출된다. 심장 신호로부터, 비트 대 비트 “심박수 가변성”(HRV) 신호는 생리학적으로 타당한 심박수 값에 기초하여 추정된다. 스펙트럼 HRV 메트릭, 예컨대 평균 호흡 주파수의 로그 파워, LF/HF(낮은 주파수 대 높은 주파수) 비율, 정규화된 HF의 로그 등이 계산될 수 있다.
비트 대 비트 시간의 HF 스펙트럼(HRV 파형)은 2.5 내지 7 초의 부교감 신경 또는 미주신경 활동(호흡 동성 부정맥 - 또는 RSA)의 리듬에 관한, 0.15 내지 0.4Hz 범위의 전력이고, 때때로 “호흡 대역”으로 지칭된다.
LF 대역은 0.04 내지 0.15Hz이며, 이는 휴식 중에 휴식 중에 압력수용체 활성을 반영하는 것으로 생각된다(그리고 일부 연구 제안은 심장 교감 신경 분포와의 관계를 가질 수 있음).
VLF(very low frequency) HRV 파워는 0.0033 내지 0.04Hz(300 내지 25 초)이고, 감소된 값은 부정맥 및 외상 후 스트레스 장애(PTSD)에 관련된다.
HRV 매개변수는 또한 시간 도메인 방법, 예컨대 SDNN(정상 비트간 간격의 표준 편차 - 더 긴 기간 가변성을 캡처하기 위함) 및 RMSSD(연속 심박 간격 차이의 제곱 평균 - 단기 가변성을 캡처하기 위함)을 사용하여 추출될 수 있다. RMSSD는 또한 예컨대 심방 세동에서 보여지는, 불정기로 불규칙적인 비트 대 비트 작용에 대해 스크리닝하는 데 사용될 수 있다.
HRV에 관해, 계산된 바와 같이 LF/HF 비율의 시프트는 REM 수면 동안 “교감” HF 지배에 대한 시프트(교감으로부터 부교감 신경 균형으로 관련될 수 있음)와 함께, 비-REM 수면의 검출 가능한 특성이다.
더 일반적으로, REM 수면에서 전형적으로 증가된 HRV가 있다.
호흡 속도 및 심박수 신호의 더 긴 기간 평균 또는 중간값은 시간에 걸쳐 분석할 때 - 특히 몇몇 중재, 예컨대 약물, 치료, 병(육체 또는 정신)으로부터의 회복, 피트니스 레벨의 변경, 시간에 걸친 수면 습관의 변경이 있으면 특정 사람에게 중요하다. 그들은 (매우 유사한 그룹에 대한 것이 아닌 한) 사람마다 직접 비교하는 데 다소 덜 유용하다. 따라서, 호흡 및 심장 가변성 특징에 대해, 그것이 모집단에 걸쳐 더 양호하게 일반화될 수 있도록 이들(예를 들어, 메트릭에 적절한 바와 같이 중간값을 떨어뜨리는 것, 제거하는 것 등)을 정규화하는 것이 유용하다.
추출된 특징의 추가 분석은 딥 빌리프 네트워크(DBN)를 이용할 수 있다. 이와 같은 네트워크는 제한적 볼츠만 머신(RBM), 오토인코더, 및/또는 퍼셉트론의 빌딩 블록으로 구성된다. DBN은 이러한 추출된 특징으로부터 러닝하는 데 특히 유용하다. DBN은 감독 없이 사용되고, 그 이후에 라벨링된 데이터(즉, 인간 전문가 입력에 의해 확인된 데이터)로 트레이닝될 수 있다.
DBN 위로 전달될 수 있는 예시적인 인간 크래프트 “예에 의한 러낭” 추출된 특징은 무호흡 유형 및 위치, 상이한 시간척도에 걸친 동일한 것의 호흡 속도 및 가변성, 호흡, 들숨 및 날숨 시간, 들숨 및 날숨의 깊이, 상이한 시간척도에 걸친 동일한 것의 심장 속도 및 가변성, 심탄동도 비트 형상/형태 운동 및 활동 유형 예컨대 전체 운동, PLM/RLS, 신호 품질(시간에 걸친 측정의 무결성), 사용자 정보 예컨대 나이, 높이, 체중, 성, 건강 조건, 점유 등을 포함할 수 있다. 신호의 사행도, 첨예도, 엔트로피와 같은 다른 통계적 매개변수가 또한 계산될 수 있다. DBN은 수개의 특징 자체를 결정(그들을 “러닝”)할 것이다. 때때로 정확히 그들이 표현하는 것을 이해하는 것이 어려울 수 있지만, 그들은 인간보다 더 양호한 일을 종종 행할 수 있다. 과제는 그들이 때때로 나쁜 국부 최적도에 처하게 될 수 있다는 것이다. 그들이 특징을 "러닝"했으면, 시스템은 몇몇 라벨링된 데이터로 그들을 조정할 수 있다(예를 들어, 인간 전문가에 의해 입력된 데이터는 특징(하나의 전문가 또는 수개의 전문가의 일치)을 스코어링할 수 있음).
DBN은 또한 호흡 파형, 활동 레벨, 심장 파형, 미가공 오디오 샘플(소나의 경우), I/Q 생체 모션 데이터(소나 또는 레이더의 경우), 세기 및 컬러 레벨(예를 들어, 적외선 카메라 데이터로부터의) 등으로부터 포함하는 입력 매개변수로부터 새로운 특징을 직접 러닝할 수 있다.
핸드 크래프트 특징을 순전히 사용하는 머신 러닝 접근법은 성능 레벨에 관해 안정 상태에 달하는 경향이 있는 "샐로우 러닝" 접근법이다. 대조적으로, “딥 러닝” 접근법은 데이터의 크기가 증가함에 따라 계속 개선될 수 있다. 위에 논의된 접근법은 딥 러닝(이러한 경우에 DBN)을 사용하여 클래식 머신 러닝에 대한 새로운 특징을 생성한다(예를 들어, 새로운 특징, 특징 성능에 의한 특징 선택 윈노윙을 취하고, ICA(independent component analysis) 또는 PCA(principal component analysis)(즉, 차원성 감소)를 화이트닝하고, 결정 트리 기반 접근법 예컨대 랜덤 포레스트 또는 서포트 벡터 머신(SVM)를 사용하여 분류함).
전체 딥 러닝 접근법은 여기서 사용된 바와 같이, 이와 같은 특징 선택 단계를 회피하며, 이는 시스템이 인간 모집단에서 인식되는 엄청난 다양성의 시야를 사용하지 않는 것으므로 장점인 것으로 인식될 수 있다. 그 다음, 새로운 특징은 라벨링되지 않은 데이터로부터 러닝될 수 있다.
이러한 다중모달 신호에 대한 하나의 접근법은 우선 각각의 신호에 관해 딥 빌리프 네트워크를 트레이닝하고, 그 다음 연결 데이터에 관해 트레이닝하는 것이다. 이것에 대한 이유는 특정 데이터-스트림이 시간의 기간 동안 간단히 유효하지 않을 수 있다는 것이다(예를 들어, 심장 신호 품질은 사용 가능한 임계값 아래에 있지만, 이용 가능한 양호한 품질 호흡, 운동, 및 오디오 특징 신호가 있으며 - 그 경우에, 심장 데이터로부터의 임의의 러닝된 또는 유도된 특징은 이러한 기간 동안 무의미할 것임).
분류를 위해, 은닉 마르코프 모델(HMM)과 같은 시퀀스 기반 접근법이 적용될 수 있다. 이와 같은 HMM은 수면 단계을 분리하기 위해, 병원 수면 실험실 PSG 시스템을 통해 제공될 수 있는 바와 같이 출력 수면 그래프를 단계적 “수면 아키텍처”에 매핑하기 위해, 비정상 수면 단계 스위칭을 최소화하기 위해 출력에서 여전히 선택적으로 사용될 수 있다. 그러나, 수면이 점진적인 생리학적 프로세스인 것을 인식하면, 시스템을 소수의 수면 단계에 강제하지 않는 것을 선호하고, 그것이 점진적 변경을 캡처하는 것(즉, 더욱 많은 "중간" 수면 상태를 갖는 것)을 허용할 수 있다.
은둔 층을 갖지 않는 더 간단한 상태 머신 접근법이 가능하지만, 궁극적으로 수면자의 큰 모집단에 걸쳐 일반화하는 문제를 가질 수 있으며, 그들 자체의 고유 인간 생리학적 특성 및 행동을 각각 갖는다. 은닉 상태 CRF, 잠재적 동적 CRF, 또는 조건부 신경 필드(CNF) 또는 잠재적 동적 CNF와 같은 조건부 임의 필드(CRF) 또는 변형으로서의 다른 접근법. 장단기 메모리(LSTM)는 특히 시퀀스 패턴 인식(정상적인 건강한 수면자에서 더 전형적임)에 적용될 때, 양호한 차별적 능력을 가질 수 있다는 점이 주목되어야 한다.
준감독 러닝은 순환 신경 네트워크(RNN)를 사용하여 수행될 수 있으며, 이는 라벨링되지 않은 데이터에서 구조를 발견할 시에 효과적일 수 있다. RNN은 입력, 은닉 층, 및 출력을 갖는 표준 신경 넷 구조이다. 그것은 그래프 언롤링 및 매개변수 공유 기법을 사용하여 시퀀싱된 입력 / 출력을 갖는다(즉, 다음 입력은 이전 출력에 의존하여 - 즉, 은둔 유닛은 정보를 넘겨 주는 재귀 연결을 가짐). LSTM RNN은 자연 언어 처리 애플리케이션(증가 및 소멸 경사 문제를 방지하기 위한 LSTM을 가짐)으로 널리 공지되어 있다.
수면 개시를 검출하는 것에 관해, 스피치 인식 서비스가 실행되고 있으면, 사용자에 의한 음성 명령은 “각성”의 제2 결정자로서 사용될 수 있다(무의미한 수면 대화와 혼동되지 않음). 개인 스마트 디바이스가 사용되면(사용자에 의해 - 그 다음 UI 입력, 가속도계의 운동, 자이로스코프 등으로 언로킹되면), 이는 또한 다른 수면/각성 감지 서비스를 증가시키기 위해 각성의 결정자로서 사용될 수 있다.
수면 아키텍처 및 수면 스코어 및 다른 모션 특성
저주파 초음파 시스템 및 기법을 사용하는 상술한 감지 동작은 사람의 존재/부재, 사람의 운동뿐만 아니라, 다수의 생체측정 특성을 검출하기 위해 구현될 수 있다. 호흡 속도, 호흡의 상대 진폭(얕은, 깊은 등), 심박수 및 심박수 가변성, 운동 세기 및 지속, 및 활동 지수를 포함하는, 매우 다양한 매개변수가 추정될 수 있다. 그 다음, 이러한 매개변수 중 하나 이상을 사용하면, 대상체가 깨어있는지 혹은 수면 중인지, 그리고 수면 중이라면, 그들의 수면 단계(얕은 N1 또는 N2 수면, 깊은 수면 또는 REM 수면)가 무엇인지를 결정할 뿐만 아니라, 있음직한 다음 수면 단계를 예측할 수 있다. 이러한 특성화를 위한 방법론은 예를 들어, 2014년 7월 8일자로 출원된 국제 특허 출원 번호 PCT/US2014/045814호, 2017년 9월 19일자로 출원된 국제 특허 출원 PCT/EP2017/073613호, 및 2016년 12월 8일자로 출원된 국제 특허 출원 번호 PCT/EP2016/080267호뿐만 아니라 본 명세서에서 이전에 확인된 특허 출원 중 임의의 것에 설명된 “모션 신호를 프로세싱 및/또는 발생시키기 위한 기법“에 따라 구현될 수 있다.
시스템은 예컨대 상이한 대상체가 스마트 스피커 또는 프로세싱 디바이스와 상이한 범위에 있는 경우 디바이스의 별개 감지 범위에 따른 모션을 평가함으로써, 수면의 완전히 자동적인 끊김없는 검출 - 및 하나의 디바이스로부터 2명 이상의 사람 수면을 검출하는 능력을 제공할 수 있다. 예를 들어, 음향 감지 파형은 예컨대 PCT/EP2017/073613에 설명된 프로세싱 디바이스로부터 상이한 범위를 검출하기 위해 프로세싱될 수 있다. 그 다음, 스마트 스피커의 프로세싱은 예컨대 검출 범위를 자동적으로 주기적으로 변경하여 상이한 범위에서 감지를 가능하게 함으로써, PCT/EP2017/070773호에 설명된 상이한 시간 동적 범위 감시 스킴으로 상이한 범위의 모션 특성을 평가하도록 구성될 수 있다. 선택적으로, 파형을 감지하는 것은 예컨대 본 명세서에서 설명된 다수의 범위에서 동시 감지를 허용하기 위해 코딩 스킴을 사용할 수 있다.
수면 개시의 정확한 검출은 특히 가정 스피커가 가정 자동화 / 사물 인터넷 플랫폼에 인터페이스되는 경우, 서비스 제어 신호(들) 중 하나 이상을 발생시키는 것과 같이, 서비스의 범위를 제공하는 데 사용될 수 있다. 예를 들어, 사용자가 잠들어 있을 때, 가정 조명은 흐리거나 컬러를 변경(예를 들어, 백색에서 적색으로)할 수 있고, 커튼 또는 블라인드는 자동적으로 폐쇄될 수 있고, 서모스탯 설정은 수면 환경의 온도를 관리하기 위해 조정될 수 있고, 뮤직 재생은 볼륨이 감소되고 시간에 따라 턴 오프될 수 있다. 사용자의 전체 운동을 검출하기 위한 검출기의 능력은 자동화 기기의 제어를 위한 기초의 역할을 할 수 있다. 예를 들어, 사용자가 밤 동안 깨어 있고 걷기 시작하면, 운동은 스마트 스피커에 의해(발생된 음향 발생 및 감지 프로세싱으로) 검출될 수 있고 그 다음 스마트 스피커는 특정 모션 감지에 기초하여 자동화된 조명의 설정에 대한 변경을 제어할 수 있다. 예를 들어, 스마트 스피커는 서틀한 경로 조명장치(예를 들어, 침대 밑 둘레의 LED)가 수면을 지나치게 방해하지 않되, 화장실까지 가는 길을 보이게 할 정도로 조명이 들어오도록 제어할 수 있다. 이와 관련하여, 기기 제어 응답은 디바이스를 온 및 오프로 설정할 수 있고, 또는 기기에 점진적인 수준의 변화를 줄 수 있다(예를 들어, 밝기의 고저 대비). 디바이스에는 구성 가능한 셋업 프로세스가 구비되어서, 상이한 모션 또는 수면 관련 검출에 반응하는 원하는 시스템 제어 작용을 사용자가 사전 선택할 수 있도록 할 수 있다.
시스템은 사람의 전체 수면 세션을 자동적으로 캡처할 수 있으며, 단계 예컨대 침대에 눕는 것, 잘 시간, 실제 수면 시간, 각성 및 최종 기상이 캡처된다. 수면 분절 및 수면 효율은 사람에 대해 추정될 수 있다. 논의된 소나 센서가 PCT/US2014/045814에 설명된 RF 센서와 약간 상이하지만, 모션이 결정되고 그리고/또는 수면 관련 매개변수가 측정되면, 수면 스코어는 거기에 설명된 것과 유사한 방식으로 추정될 수 있다. 건강한 사람에 다한 전형적인 수면 스코어 입력 매개변수는 전체 수면 시간, 깊은 수면 시간, REM 수면 시간, 얕은 수면 시간, 수면 개시 후 각성(WASO) 시간, 및 수면 개시(잠드는 시간)를 포함한다. 수면 스코어는 그들의 정규화된 스코어 대 모집단 규범(규범 값)을 제공하기 위해 사람의 나이 및 성을 선택적으로 사용할 수 있다. 이력 매개변수 값은 또는 계산에 사용될 수 있다.
마스킹 사운드
스마트 스피커는 그것의 스피커(들)를 통해 마스킹 사운드를 발생시키기 위해 구현될 수 있다. 예를 들어, 그것은 백색 잡음을 발생시킬 수 있으며, 이는 클래식 마스킹 사운드이다. 백색 잡음이 잠재적으로 신경쓰이는 다른 환경 잡음을 감춰줄 수 있어서 일부 사람들은 백색 잡음을 써서 잠에 들기를 좋아한다. 다른 마스킹 사운드는, 예컨대 감지된 잡음에 대해 반전된 위상을 갖는 사운드를 발생시키는 것에 의한, 사운드 소거 잡음일 수 있다. 수딩(soothing) 마스킹 잡음을 이용해서, 시스템은 성인 또는 아기가 수면하는 것을 도울 뿐만 아니라 그들의 호흡을 감시하는 데 사용될 수 있다. 몇몇 경우에, 마스킹 잡음 자체가 감지 음향 신호일 수 있는데, 예컨대 시스템이 초광대역(UWB) 스킴을 사용함으로써 낮은 초음파 음향 감지를 발생시키는 경우이다.
수면 개시 서비스
프로세서 또는 마이크로컨트롤러는 예컨대 음향 감지에 의한 전형적인 이력 수면 단계 결정 및/또는 수면 단계의 사이클의 타이밍에 기초하여, 수면의 다음 단계 또는 현재 수면 단계의 예상된 길이를 예측하도록 구성될 수 있다. 이와 같은 예측에서, 그것은 기기(이미 논의된 바와 같음)을 조정하기 위해 기기, 예컨대 오디오 및 조명원에 대한 제어된 변경을 할 수 있다(즉, 스마트 스피커 또는 프로세싱 디바이스는 예컨대 무선 제어 신호로 기기를 제어할 수 있음). 예를 들어, 스마트 스피커는 (낮 및 밤에) “항상 켜지 있는” 연속적인 감지로 구성될 수 있다. 따라서, 그것은 사람이 존재할 때, 사람이 자고 있을 때(전체 수면 세션이든지, 낮잠이든지)뿐만 아니라, 깨어 있을 때, 부재할 때 등의 기간을 자동적으로 식별할 수 있다. 스마트 스피커는 사용자가 잠들기 시작할 때뿐만 아니라, 그들이 잠을 깨우기 시작하고 있을 때를 식별할 수 있다. 이와 같은 검출을 이용하여, 시스템은 디바이스 근처에 잠들어 있는 누군가를 검출하고, 검출에 응답하여 (스피커(들), TV 등의 오디오 콘텐츠의) 재생 볼륨을 감소시킬 수 있다. 그 다음, 볼륨 및 TV 등은 사람이 더 깊은 수면 국면에 접어들었다는 것을 디바이스가 검출한 경우 5 내지 10 분 후에 턴 오프될 수 있다. 이와 같은 검출은 또한 제어 결정의 역할을 하여 자동으로 조명을 어둡게 하는 것, 자동화된 도난 알람 설정, 난방/냉방 설정을 조정, 연동된 스마트 디바이스(들)(예를 들어, 스마트폰) 상에 "방해금지" 기능을 활성화하는 것 등을 수행할 수 있다.
수면이 그것의 프로세싱에 의해 검출되면, 스마트 스피커 또는 프로세싱 디바이스(100)는 사람을 우연히 깨우는 것을 회피하는 데 도움이 될 수 있는 보이스 어시스턴트 프롬프트를 디스에이블할 수 있다. 이와 같은 프롬프트는 사전 정의된 각성 윈도우까지 디스에이블될 수 있다(예를 들어, 프롬프트가 예컨대 수면의 사전 선택된 단계로부터 사람을 깨우는 것을 허용하여 "스마트 알림"의 역할을 하고, 수면 무력증을 잠재적으로 최소화함).
프로세싱 디바이스는 감지 공간에서 검출된 사람의 수에 의존하여 이와 같은 제어 결정을 할 수 있다. 예를 들어, 2명의 사람이 침대에 있고, 디바이스가 한 사람이 잠들어 있고 다른 사람이 깨어 있는 것을 검출하면, 시스템은 볼륨 설정을 제어하여 예컨대 보이스 어시스턴트 볼륨을 가능한 최저로 감소시키면서 그것이 여전히 사용되는 것을 허용할 수 있다. 이는 깨어 있는 사람이 디바이스를 듣는 것을 허용할 수 있지만 또한 디바이스가 자고 있는 사람을 깨울 위험을 최소화할 수 있다. 반대로, 적어도 한명의 깨어 있는 사람이 검출되고 적어도 한 명의 수면중인 사람이 검출되었을 때 미디어 콘텐츠(예를 들어, 뮤직, 또는 영화)가 플레이되고 있으면, 디바이스는 아직 깨어 있는 사람을 위해, 미디어 볼륨을 낮추는 것을 억제하거나, 미디어 볼륨을 약간 감소시킬 수 있다. 그 다음, 이 디바이스가 나머지 사람(들) 역시 잠든 것을 디바이스가 검출했을 때 미디어 콘텐츠를 추가로 감소시키고 턴 오프할 수 있다.
몇몇 경우에, 프로세싱 디바이스는 프로세싱 디바이스가 있는 방 안의 사용자(들)의 위치 및/또는 존재의 검출에 기초하여 볼륨(가청 오디오 콘텐츠 볼륨)의 레벨에 대한 조정을 제어할 수 있다. 예를 들어, 사용자가 존재하는 것으로 검출되지 않으면, 볼륨은 감소되거나 대안적으로 증가될 수 있다. 디바이스는 예컨대 디바이스로부터의 증가하는 거리에 따라 볼륨을 증가시키고 그리고/또는 디바이스로부터의 감소하는 거리에 따라 볼륨을 감소시킴으로써 검출된 위치(예를 들어, 프로세싱 디바이스 또는 특정 장소(예를 들어, 침대)로부터의 거리)의 함수에 기초하여 또는 함수로서 볼륨 조정을 제어할 수도 있다. 추가 예로서, 프로세싱 디바이스는 사용자가 침대에 있는 것을 검출하면, 볼륨은 감소될 수 있고, 혹은 침대에서 떨어져 있으면 볼륨은 증가될 수 있다.
각성 개시 서비스
시스템은 수 개의 각성 시나리오를 위한 서비스를 제공할 수 있다. 예를 들어, 사용자가 밤에 깨어난 경우, 다시 잠드는 것을 돕기 위해 보이스 어시스턴스를 수신할 수 있다(예를 들어 개인 피드백이 있는 명상 프로그램을 사용하여). 대안적으로, 또는 보이스 어시스턴스 이외에도, 시스템은 다른 매개변수 및 연결된 기기 설정에 대한 변경을 제어하여 사람이 다시 잠들도록 장려할 수 있다. 이는 예를 들어, 온도 설정, 조명 설정, TV, 디스플레이 패널 상의 또는 투사기에 의해 생성된 이미지의 투사에 대한 변경을 제어하는 것, 연결된/스마트 크립 셰이커(crib shaker)등으로 침대 진동을 활성화하는 것 등을 포함할 수 있다. 예를 들어, 자고 있는 아기의 경우, 음향 모션 감지 디바이스는 (예를 들어, 깊은 수면 단계로부터 얕은 수면 단계로의 변경 및 증가 신체 운동을 검출함으로써) 아기가 깨려고 하거나 아기가 깨어 있는 것을 검출하면, 요람 흔들기(rocking cradle)가 활성화될 수 있다. 선택적으로, 오디오 콘텐츠는 스마트 디바이스의 스피커로 동요 또는 뮤직을 플레이하는 것과 같이, 또는 일부 자동화된 형태의 이야기를 플레이함으로써 플레이될 수 있다. 이는 수면 시간 또는 부모가 아기를 돌보는 것을 지연시킬 수 있는 시간을 연장하여, 잠들지 못하는 아기 또는 유아의 부모에게 몹시 필요한 브레이크를 제공하는 데 도움이 될 수 있다.
사용자가 알람 시간 윈도우를 설정하면, 프로세싱 디바이스는 사용자를 깨우기 위한 적절한 수면 단계(통상 - 얕은 수면 단계) 동안 사용자의 수면 단계를 감시할 수 있다. 이와 같은 단계가 없을 때, 프로세싱 디바이스는 또한 미묘한 광 및 사운드를 능동적으로 도입하여 대체 단계, 예컨대 깊은 또는 REM 수면 단계로부터, 얕은 수면으로 그 다음 불면으로 그들을 가져올 수 있다. 이와 같은 스마트 알람 프로세싱 디바이스는 또한 추가적으로 연결된 가정 자동화 기기 기능을 제어하도록 구성될 수 있다. 예를 들어, 사용자가 깨는 것을 검출할 시, 프로세싱 디바이스는 기기들과 통신하여 예컨대, 자동화된 커튼 / 블라인드를 열어 기상 상태를 최적화하고, 자동화된 토스터 오븐이 아침식사를 데우게 하고, 자동화된 커피 머신을 작동시켜 커피 추출을 시작하도록 하는 것 따위가 가능하다.
낮잠 프로그램은 또한 생체측정 감지를 사용하여 구성될 수 있다. 이것을 사용하면, 오후 3시 30분경에 약속이 있어서, 그즈음에 정신이 맑은 상태로 깨어 있어야 한다는 것을 알고서 낮잠에 들 수 있다(다시말해, 광자극 및 사운드 자극을 이용하여 낮잠 도중에 숙면에서 바로 깨어나지 않도록 하거나, 숙면에 빠지는 것을 아예 방지해서 어났을 때 몽롱함을 느끼지 않게 하도록 한다는 것).
수면 개선 서비스
어드바이스는 사용자에게 전달되어 그들의 최근의 동향에 기초한 그들의 수면 작용(수면 위생), 및 유사한 나이, 성, 생활양식 등의 사람에 대한 모집단 규범을 개선할 수 있다.
설명된 시스템은 사용자로부터의 피드백의 수집을 추가로 허용한다. 피드백은 사용자가 현재 어떻게 느끼는지, 사용자가 지난 밤에 어떻게 잤는지, 제공된 어드바이스, 약물 또는 운동의 사용이 유익했는지 등과 관련될 수 있다. 임의의 이와 같은 피드백은 입력 디바이스로 수집될 수 있다. 일 예에서, 이것은 스마트폰의 키보드일 수 있다. 스마트 스피커가 개인 오디오 보조 애플리케이션 기능성을 포함하는 경우, 사용자로부터 음성을 통해 피드백을 유도하고 프로세싱하는 것이 가능하며 - 예를 들어, 그들의 조건에 관한 질문에 대답하고, 그들이 어떻게 느끼는지를 요구하고, 그들의 졸림에 관한 데이터, 및 피로 조건를 제공하는 것을 포함하는, 개인화된 피드백을 그들에게 제공한다. 따라서, 시스템, 예컨대 프로세싱 디바이스는 대화 인터페이스로서, 규제된 대화 시퀀스(예를 들어, 가청 구두 명령/질의)를 시스템에 제공하기 위해, 예컨대 음향적으로 감지된 모션 신호의 평가에 기초할 수 있는 프로세싱 디바이스로부터의 정보를 획득하기 위해 자연 언어 처리를 위한 소프트웨어 모듈로 구성될 수 있다. 예시적인 자연 언어 처리 모듈 또는 대화 인터페이스는 구글 클라우드 플랫폼, 다이얼로그플로우 엔터프라이즈 개발 스위트로 구현될 수 있다.
일 예로서, 한 세트의 또는 복수의 프로세싱 디바이스(100)를 구비한 다수실 또는 복층 건물을 생각해 보자. 음향 기반 감지를 구비한 프로세싱 디바이스(100)는 주방 내에 위치될 수 있고 하나는 침실 내에 위치될 수 있다. 아침식사를 준비하는 동안, “오케이 구글 나의 수면은 어땠는지”를 말로 표현함으로써 수면 정보를 질의할 수 있다. 이에 응답하여, 프로세싱 디바이스는 다른 프로세싱 디바이스(100)의 음향 기반 모션 감지 애플리케이션(즉, 하나는 침실 내에 있음)으로 검출되었을 수 있는 이전 밤의 수면 세션으로부터의 수면 매개변수(및 이전 밤으로부터의 추세)를 위치시킬 수 있다. 프로세싱 디바이스에 대한 이와 같은 질의는 예를 들어, 질의된 수면 등에 관련된 데이터를 포함하는 핏빗, 가민 워치, ResMed S+, 및 임의의 다른 웹사이트 또는 네트워킹된 서버로부터 기록된 세션 데이터를 검색하는 것에 유사하게 적용될 수 있다.
따라서, 사람은 그들의 수면에 관한 어드바이스를 수신할 시점 및 형태를 선택할 수 있다. 이와 관련하여, 수면 관리 시스템은 프로세싱 디바이스(100)의 마이크로폰(들) 및 스피커(들)를 사용하는 의문 및 응답 구두 질문을 통해 제시되는 오디오 콘텐츠를 통해 수면 어드바이스 너겟을 대화형으로 전달하거나 제시할 수 있다. PCT/US2014/045814에 설명된 수면 관리 시스템과 같은 수면 관리 시스템으로부터의 어드바이스는 프로세싱 디바이스(100)를 통해 전달될 수 있고, 수면 습관의 변화, 생활양식 변화, 또는 새로운 제품 추천과 관련될 수 있다.
예를 들어, 프로세싱 디바이스(100)의 스피커 및 마이크로폰을 수반하는 예시적인 질의/대답 질문 세션은 이하의 출력을 발생시킬 수 있다: “레드몬드 님, 당신의 최근 수면 단편화, 당신의 구매 이력, 그리고 낮 동안 당신의 불편 보고에 기초하면, 당신은 새 매트리스의 도움을 받을 수 있을것 같군요. 메모리 폼 옵션을 선호하시지 않기 때문에, 할인된 특별 판매 가격으로 프리미엄 신제품 내부 코일 스프링 매트릭스를 찾았습니다. 주문하시겠습니까?”. 이와 같은 콘텐츠는 인터넷의 하나 이상의 검색 및 이력 사용자 데이터뿐만 아니라, 프로세싱 디바이스에 의해 이루어진 검출된 수면 조건에 기초하여 수집 및 발생될 수 있다.
이와 같이, 시스템은 예를 들어, 음향적으로 이루어진, 수면 검출 및 대화형 구두 통신(사용자와 프로세싱 디바이스(100)의 보이스 어시스턴트 애플리케이션 사이의 대화)에 기초하여 피드백 및 추가 동작을 허용한다. 이와 같은 피드백 및 동작은 프로세싱 디바이스가 환경 데이터(예를 들어, 사운드 데이터, 온도 데이터, 광 데이터 등을 포함함)에 액세스하는 것에 기초할 수 있어 그것은 환경 관련 시스템 및 센서를 검색하거나 그렇지 않으면 이 시스템 및 센서로 검출할 수 있고 환경 시스템’ 동작을 제어하기 위한 제어 신호의 발생을 포함할 수 있다. 이와 같은 플랫폼의 발생된 출력은 또한 예컨대 수면 조건을 다루기 위해 사람에게 관련 제품을 판매하는 것을 제안할 수 있다. 예를 들어, 시스템은 규제된 대화를 시스템에 제공하기 위해 자연 언어를 사용하여 플랫폼 상에 개발될 수 있다. 그 다음, 개인화된 수면 어드바이스는 수면 관련 메시지의 단순한 송신이 아니라, 프로세싱 디바이스(100)와 상호작용함으로써 제시될 수 있다. 예를 들어, 사용자는 프로세싱 디바이스를 요구할 수 있다: “오케이 구글 지난 밤에 나의 수면은 어땠지?” “안녕하세요 레드몬드 님, ResMed 수면 스코어 앱입니다, 지난 밤 당신의 스코어는 38이었습니다. 음. 낮은것 같군.” “무슨 일이 있었는지?” 우리는 당신의 수면 환경 및 당신의 호흡 패턴에서 몇몇 문제를 발견했습니다. 더 알고 싶습니까?” “그럼!” “당신의 침실은 화씨 77도로 너무 따뜻했습니다. 오늘밤 취침 한 시간 전에 냉방을 활성화할 수 있습니다. 그렇게 하시겠습니까?” “그래.” “그리고 호흡에 관해 알려줘.” “우리는 당신이 지난 밤에 큰 소리로 코를 골고 있었고, 꿈꾸는 REM 수면 동안 당신의 호흡에 갭이 일부 있었던 것을 검출했습니다. 계속 알려드릴까요?” “그래, 이게 의미하는 바가 무엇이지?” “당신은 지난 밤 심하게 코를 골았습니다. 그리고 호흡 패턴에 몇몇 중단이 있었습니다. 이것이 스코어가 낮은 이유입니다. 낮 동안 피곤을 느끼는 경우가 많습니까?” “그래 피곤함을 느껴.” “의사에게 전화를 걸어 이 증상에 대해 상담하시겠습니까? 현재 건강 플랜의 경우, 10분 무료 상담을 받으실 수 있습니다.”
이와 같은 상호작용을 위해서, 네트워크 상의 지원 서버의 프로세싱과 함께 작동하는 것과 같은 프로세싱 디바이스(100)는 주간 활동(예를 들어, 검출된 훈련 또는 단계 정보 및 심박수 예컨대 모션 감지 등을 통해 이와 같은 정보를 또한 검출할 수 있는 웨어러블 GPS, 가속도계, 심박수 센서 및 다른 활동 모니터)로부터의 검출된 정보(예를 들어, 이력 사용자 데이터) 및 검출된 수면 정보를 조합하고, 조합된 검출 데이터에 기초하여, 수면 관련 어드바이스 및 제품 제안과 같은, 맞춤 서비스를 전달함으로써 개선된 유연성 및 범위를 제공하기 위한 인공 지능(AI) 프로세스를 포함할 수 있다.
생체측정 인식 서비스(또한 보안 감지 참조)
생체측정 특징은 사람 인식, 및 위에 개략 설명된 바와 같이 생활 환경에서의 장비의 제어, 및 클라우드 서비스와의 데이터의 교환을 위해 사용될 수 있다. 예를 들어, 생체측정 인식은 생리학적 모션 신호(들)로부터 유도된 모션 관련 특성의 분석에 의해 구현될 수 있다. 이와 같은 모션 기반 생체측정 방법은 PCT/EP2016/058789에 설명된 것일 수 있다. 따라서, 거기에 설명된 바와 같은 생체측정 식별은 본 명세서에서 설명된 음향 기반 감지 방법론으로부터 유도된 모션 신호에 기초할 수 있다.
초음파 감지를 사용하여 사람 인식을 달성하는 것은 프로세싱 디바이스(100)가 배경 잡음과 음향 감지 신호 간을 구별하고, 디바이스 근처의 사람의 존재를 검증하기 위해 사용되는 것을 시사한다. 따라서, 몇몇 버전에서, 프로세싱 디바이스(100)는 빔 포밍 프로세스를 동작하도록 구성될 수 있으며, 예컨대 상이한 채널(상이한 스피커 신호)에 대한 적절한 지연은 음향 신호 수신의 타이밍이 검출 부근 및 스피커 위치와 연관된 차이에 대해 조정될 수 있도록 습득된다. 그와 같은, 시스템은 빔 포밍을 사용하여 (예를 들어, 상세한 범위 검출, 및 객체 추적을 위해) 검출된 영역을 추가로 국부화할 수 있다. 이와 같은 프로세스는 대상체의 존재가 감지 부근 내에서 검출될 때 셋업 절차 또는 조정 절차로서 실행될 수 있다.
이미 언급된 바와 같이, 저주파 초음파는 예컨대 프로세싱 디바이스(100)가 검출 범위 내의 대상체의 부재/존재를 검출할 때, 및/또는 그 다음 생체측정 신호 프로세싱에 기초하여 사람을 검출 및 식별함으로써 정교한 보안 감지 플랫폼을 산출할 수 있다.
몇몇 경우에, 프로세싱 디바이스(100)는 그것의 감지 신호를 심지어 적응시켜 적어도 2개의 모드를 제공할 수 있다. 하나의 모드는 사람이 감시된 영역에 진입할 때를 검출하는 것을 목표로 한 일반 감시 모드를 포함할 수 있으며, 상이한 검출 스킴(예를 들어, UWB, CW, FMCW, 등)은 존재 검출을 위해 이용될 수 있다. 감시된 영역 내의 사람의 존재가 검출되면, 시스템은 강화된 레인징 및 선택적으로 심장 감지, 호흡 감지 모드 등(예를 들어, 이중 톤 FMCW 또는 (A)FHRG)으로 스위칭될 수 있다. 그 다음, 검출된 매개변수(예를 들어, 심장 매개변수, 호흡 매개변수, 전신 모션 매개변수 등)는 사람의 “시그니처” 매개변수가 프로세싱 디바이스(예를 들어, 기록된 데이터) 또는 프로세싱 디바이스와 협력하여 작동하는 다른 디바이스(예를 들어, 네트워킹된 서버)에 액세스 가능할 때, 사람을 식별하는 데 사용될 수 있다. 대안적으로, 프로세싱 디바이스(또는 협력 서버)는 이와 같은 시그니처가 기록된 데이터와 관련하여 인식되지 않으면 새로운 사람이 감지 부근에 진입했던 것을 결정할 수 있다.
따라서, 시스템은 디바이스 주위의 영역을 감지함으로써, 알려지지 않은 또는 인식되지 않은 생체모션 신호 또는 인식되지 않은 제스처를 검출할 수 있다. 이와 같은 검출에 기초하여, 프로세싱 디바이스와 같은 시스템은 잠재적으로 원하지 않은 존재의 경고 또는 다른 메시지를 활성화 또는 통신할 수 있다. 하나의 실제 예는 스마트폰에 의해 송신된 경고를 포함한다. 스마트폰은 인식된 소유자와 다른 어떤 사람이 폰을 사용하고 있거나 폰을 사용하려고 시도하는 것을 폰이 음향 감지 및 식별 방법을 통해, 검출할 때, 그것이 잊혀졌고/방치되었던 것을 결정할 수 있다.
다른 예에서, 구글 홈 스마트 스피커, 또는 다른 스마트 스피커 또는 프로세싱 디바이스는 음향 감지를 사용하여, 아파트, 방 또는 집을 감시할 수 있고, 매우 지능적인 침입자 알람으로서의 역할을 할 수 있다. 예를 들어, 프로세싱 디바이스는 예컨대 모션의 부재의 기간 후에, 아파트에서 모션을 검출할 수 있다. 이에 응답하여, 프로세싱 디바이스는 하나 이상의 자동화 기기를 제어할 수 있다. 예를 들어, 이차 라이트는 검출에 기초하여 프로세싱 디바이스에 의해 발생되거나 개시된 제어 신호에 의해 조명될 수 있다. 프로세싱은 또한 스피커를 통해 예컨대 사람이 그 자신 또는 그녀 자신을 식별하는 것을 가청으로 요구함으로써 질문을 개시할 수 있거나, 가청 환영인사를 제공할 수 있다. 그러면, 그 사람은 “나야 레드몬드”라고 말할 수 있다. 그 다음, 프로세싱 디바이스는 마이크로폰을 통해, 예컨대 특정한 알려진 사람과 관련하여 그것의 구두 시그니처를 인식하려고 시도함으로써, 예를 들어, 가청 응답을 이전에 기록된 가청 응답(예를 들어, 사운드 파 분석)과 비교함으로써 응답을 평가할 수 있다. 스피치가 인식되면, 프로세싱 디바이스는 시도 / 응답 질문을 종료할 수 있다. 어떠한 응답이 없으면 또는 프로세싱 디바이스가 구두 시그니처를 인식하지 않으면, 프로세싱 디바이스는 예컨대 그것의 통신 인터페이스를 통해 다른 서비스와 통신할 수 있다. 예를 들어, 그것은 (예를 들어, 폰 등에 의해 이메일, 텍스트 메시지, 기록된 오디오 메시지의 발생을 제어함으로써) 네트워크 또는 인터넷을 통해 다른 사람 또는 소유자에게 침입이 있었던 것을 통지할 수 있다. 다시 말해, 프로세싱 디바이스, 및 선택적으로 하나 이상의 추가 시스템 프로세싱 디바이스 또는 서버는 이하를 수행했다: 음향 검출, 가청 시도, 가청 인증, 인가 또는 알람 또는 경고 메시지의 통신. 또한, 선택적으로, 예컨대 음성 인식 대신에, 또는 음성 인식에 더하여, 프로세싱 디바이스는 예컨대 호흡 속도 및 심박수를 검출함으로써, 이전에 논의된 바와 같이 모션 기반 생체측정 인증을 수행하여, 프로세싱 디바이스의 부근에 사람의 인증 또는 이차 인증의 수단을 제공할 수 있다.
프로세싱 디바이스는 예컨대 사람의 구두 시그니처가 인식될 때, 추가 프로세스를 수행하도록 구성될 수 있다. 그 다음, 예를 들어, 프로세싱 디바이스는 예컨대 라이트를 턴 온한 후에, 추가 대화 질문에 관여할 수 있다. 프로세싱 디바이스는 사람에게 그/그녀가 이전에 있던 곳에 대해 문의할 수 있다. 예를 들어, 외출 전에, 그 사람(레드몬드)은 체육관에 갈 것이라고 프로세싱 디바이스에 말해 둘 수도 있고, 혹은 자신의 휴대전화 또는 운동 기기의 추적 서비스를 연동시켜, 이를 통해 추적위치를(예를 들어 GPS를 통해) 프로세싱 디바이스와 공유하도록 해 둘 수도 있다. 프로세싱 디바이스가 음향 검출에 의해 사람의 존재를 검출할(및 선택적으로 사용자/레드몬드를 인식할) 때, 프로세싱 디바이스는 예컨대 다음과 같은 대화를 개시할 수 있다. “체육관에서는 어땠습니까? 레드몬드? 최고기록을 달성하셨나요?". 프로세싱 디바이스는 또한 무선 디바이스의 도착을 검출하고 데이터의 다운로드를 개시할 수 있다. 예를 들어, 그것은 무선 가능 운동 / 건강 추적기(예를 들어, 블루투스 핏비트)를 검출할 수 있고 단계 카운트, 심박수 또는 다른 활동 매개변수를 다운로드할 수 있다. 이와 같은 데이터는 또한 특정 사람의 인증/인식의 신뢰를 입증하는 역할을 할 수 있다. 그 다음, 프로세싱 디바이스에 의해 발생된 추가 대화는 예를 들어, 스피커를 통해, 가청 응답을 제공하는 것과 같이, 다운로드된 데이터에 기초할 수 있다. 카메라 기반 얼굴 또는 신체 인식과 같은 다른 매개변수는 또한 멀티 모달 식별에서, 디바이스에 의해, 예컨대 프로세싱 디바이스에 의해 제어될 수 있는 카메라 기기로 개시될 수 있다.
비-침입자 알람 구성에 대해, 또는 사람이 이미 식별되었을 때, 방 내의 검출된 운동은 예를 들어, 어둠이 검출되면(이는 타임/클록에 의해 또는 프로세싱 디바이스에 결합된 광 센서에 의해 결정될 수 있음) 조명 변경의 제어를 위한 기초의 역할을 할 수 있으며, 프로세싱 디바이스는 프로세싱 디바이스(100) 자체에서 가정 자동화 또는 광원을 통한 라이트로, 조명을 턴 온하거나 그렇지 않으면 증가시키기 위해 제어 신호를 발생시킬 수 있다.
CW 음향 감지 모드는 방에서 외풍(공기 흐름)을 검출하여, 예를 들어, 프로세싱 디바이스에 의한 리마인더의 발생을 위한 기초의 역할을 할 수 있다. 이와 같은 리마인더는, 창문을 열어둔 채로 외출했다거나, 선풍기가 작동중이라는 등의, 스피커를 통한 사람에게의 가청 대화 메시지를 가진다. 몇몇 경우에, 자동화된 팬 기기는 이와 같은 외풍의 존재 또는 부재의 검출에 기초하여 프로세싱 디바이스의 제어 신호로 활성화 또는 비활성화될 수 있다.
범위 검출
예컨대 본 명세서에서 설명된 음향 감지 방법론으로, 프로세싱 디바이스(100)의 스피커로부터 한명 이상의 사람의 거리를 검출함으로써, 상이한 서비스는 - 스피커를 통한 오디오에 의해, 또는 다른 가정 자동화 서비스(예를 들어, 기기)를 통해 전달될 수 있다. 예를 들어, 프로세싱 디바이스는 스피커(예를 들어, 멀리 떨어진 것에 대해 더 크고, 더 가까운 것에 대해 더 낮음)로부터의 검출된 거리에 기초하여 프로세싱 디바이스의 스피커(들)의 볼륨 레벨을, 예컨대 보이스 어시스턴트 애플리케이션에 대해, 적절한 레벨로 설정할 수 있다. 볼륨은 검출된 사용자 거리에 기초하여 자동적으로 변경될 수 있다.
몇몇 버전에서, 다른 검출은 또한 거리 검출을 개선하는 역할을 할 수 있다. 예를 들어, 범위 정보는 다른 센서 예컨대 적외선 구성요소(예를 들어, IR 근접 센서)로부터 유도될 수 있다. 거리 검출은 범위(또는 실제로 속도) 추정의 정확도를 증가시키기 위해 조합될 수 있다.
근거리 및 원거리 장 마이크로폰으로부터의 데이터는 또한 - 특히 마이크로폰의 양 유형이 동일한 하드웨어 상에 존재하면 소나 에코를 더 잘 국부화하는 데 사용될 수 있다.
제스처 제어
프로세싱 디바이스는 또한 본 명세서에서 설명된 음향 감지 방법론에 기초하여 그리고 생리학적 모션 신호의 프로세싱에 의해 제스처를 인식하도록 구성될 수 있다. 예를 들어, 프로세싱 디바이스는 예컨대 생리학적 모션 신호가 본원에서의 음향 감지 방법론에 의해 유도되는 경우, PCT/EP2016/058806에 설명된 바와 같이, 모션 신호로부터 특정 손, 팔, 또는 다리 운동과 같은 특성 제스처를 인식하도록 구성될 수 있다. 따라서, 프로세싱 디바이스의 기능, 및/또는 프로세싱 디바이스에 의해 제어될 수 있는 자동화 기기의 기능은 검출된 제스처 - 예를 들어, 스피커 상에서 볼륨을 증가시키기 위한 시계방향 원형 모션, 및 볼륨을 감소시키고 디바이스(예를 들어, 본 명세서에서 설명된 프로세싱 디바이스(100) 또는 임의의 기기)를 선택적으로 턴 오프하기 위한 반시계방향 모션에 따라 조정될 수 있다. 제스처는 프로세싱 디바이스를 제어하는 데 예컨대 그것이 통신을 개시하게 하는 데, 예컨대 음성 호출 또는 비상 호출, 텍스트 메시지, 이메일 등과 같은 프로세싱 디바이스로 이루어질 수 있는 통지를 송신하는 데 사용될 수 있다.
호흡 제어 및 피드백 서비스
프로세싱 디바이스(100)는 예컨대 음향적으로 유도된 모션 신호에 기초하여, 깊은 호흡 훈련과 같은 명상 출력을 발생시킴으로써, 스트레스 및 혈압을 감소시키기 위해, 주간 적용으로 구현될 수 있다. 예를 들어, 호흡 모션 신호는 프로세싱 디바이스(100)에 의해 프로세싱/평가되어 그것의 스피커(들) 및/또는 관련 기기(예를 들어, 제어된 라이트)를 통한 제어기 출력에 의해 맞춤형 마인드풀니스 호흡 훈련(예를 들어, 8 호흡/분 아래의 속도의 “배 호흡”)을 제공하는 데 도움이 될 수 있는 타이밍 큐를 발생시킬 수 있다. 시스템은 호흡의 동조를 사용하여 타겟 값을 달성할 수 있으며, 예컨대 디바이스는 검출된 호흡 곡선을 시스템에 전달된 호흡 자극 / 큐에 관련시킴으로써, 사용자에 대한 청각 및/또는 시각 피드백을 제어한다.
호흡 큐은 가청 자극일 수 있으며, 시스템은 타겟 호흡 케이던스로 뮤직을 사전 필터링하고, 그 다음 재생 전에 감지 신호로 오버레이된다. 시스템은 또한 사용자의 검출된 호흡 속도 및/또는 심박수에 가까운 템포로 뮤직의 유형을 선택할 수 있다.
사용자의 호흡 패턴은 불안해하거나 스트레스받을 때 얕거나 빠를 수 있으며, 윗 가슴 및 목 근육은 복부 근역 대신에, 호흡을 위해 사용된다. 개인화된 호흡 코칭의 몇몇 장점은 약물 개입없는 건강 개선을 위해 스트레스 호르몬를 잠재적으로 감소시키고, 자율 신경계(부교감 및 교감)의 "균형을 유지하고", 뇌 알파 파의 생성을 증가시키고, 횡격막 및 복부 근육의 기능을 (특히 기본 호흡 조건을 갖는 사람에서) 개선한다.
프로세싱 디바이스에 의해 제공되는 예시적인 휴식 게임은 사용자에게 천천히 그리고 깊게 호흡하라고 요구할 수 있고, 음향 모션 감지를 통해 프로세싱 디바이스에 의한 호흡 모션의 검출에 기초하여, 형상이 프로세싱 디바이스에 의해 제어된 디스플레이 기기 상에 제시될 수 있다. 볼 또는 벌룬은 본 명세서에서 설명된 음향 감지 방법에 의해 자동적으로 감지된 바와 같이, 사용자의 가슴 운동과 동시에 디스플레이 상에서 팽창하고 수축하도록 제어될 수 있다. 사용자가 타겟 - 예컨대 적은 운동을 갖는 3 분의 안정한 호흡에 도달할 때, 프로세싱 디바이스는 디스플레이를 변경한다. 예를 들어, 벌룬은 완료를 표현하기 위해 떠오를 수 있고 프로세싱 디바이스는 스피커를 통해 사용자가 “승리한” 것을 알릴 수 있다. 심장 신호가 또한 프로세싱 디바이스에 의해 검출되는 경우, 호흡과 심박수 사이의 증가된 일관성은 게임에서 여분의 지점을 얻는 데 사용될 수 있다. 형상은 또한 호흡과 동시에 세기를 변경하는 광, 또는 강한 율동 성분을 갖는 사운드로 대체될 수 있고, 휴식 게임을 "획득"하기 위한 보상은 광 컬러의 변경, 또는 뮤직 시퀀스일 수 있다.
시스템의 다른 사용은 하나 이상의 조정된 조명(광 또는 디스플레이 디바이스를 통함) 및/또는 전문화된 오디오 시퀀스를 사용하여 각성도 호흡 훈련을 제공하여 사용자의 호흡 속도를 증가시키고 선택적으로 저주파 초음파 생체측정 검출로부터의 바이오피드백으로, 사용자의 들숨/날숨 시간을 조절하는 것이다.
프라이버시의 증가
많은 가상 비서는 스피치 인식 서비스를 항상 리스닝(예를 들어, “오케이 구글”, “알렉사”, “헤이 시리” 등의 키워드 / 구문 등을 연속적으로 국부적으로 리스닝)하고 있다(마이크로폰(들)은 활성을 유지함). 이러한 점에 있어서, 가상 비서는 상시 활성이다. 키워드/키 구문 뒤에 말한 것은 인터넷으로 보내질 수 있다. 몇몇 사람은 그들의 대화가 이러한 방식으로 끊임없이 감시된다는 사실로 인해 불편해한다. 상기 설명된 운동 검출의 장점 중 하나는 사용자가 프로세싱 디바이스를 사용할 준비가 될 때까지 프로세싱 디바이스가 그것의 마이크로폰을 비활성화하는 것을 허용한다는 것이다. 이와 관련하여, 프로세싱 디바이스의 음성 보조 동작은 상시 비활성이도록 구성될 수 있다. 예를 들어, 프로세싱 디바이스는 그것의 음향 모션 검출 방법론을 적용하여, 예컨대 특정 모션 또는 모션 제스처를 검출함으로써, 마이크로폰으로 전형적인 오디오 키워드 인식을 사용하는 것이 아니라 마이크로폰 감시를 개시할 수 있다. 이는 사용자의 대화의 끊임없는 감시에 대한 필요를 제거하고 사용자에게 더 많은 프라이버시를 허용한다. 이와 같은 모션 검출이 프로세싱 디바이스에 아주 근접하여 이루어질 수 있지만, 그것은 또한 프로세싱 디바이스를 둘러싸는 부근에서 검출될 수 있다. 이와 같은 방법은 표준 모션 제스처 또는 사용자 맞춤형 모션 제스처(예를 들어, 셋업 프로세스에서 습득됨)를 사용하여 프로세싱 디바이스가 스피커를 활성화하는 것을 트리거할 수 있다. 이는 프로세싱 디바이스로부터 스피커를 통해 구두 응답을 트리거하는 것과 같이 프로세싱 디바이스로 자연 언어 세션을 개시할 수 있다. 그러나, 선택적으로, 프로세싱 디바이스는 그것의 활성화 후에 마이크로폰으로 가청 키워드를 검출하는 것을 추가적으로 대기할 수 있다. 그 다음, 구두 키워드는 프로세싱 디바이스(100)로 자연 언어 대화 세션을 개시하기 위한 트리거의 역할을 할 수 있다.
프로세싱 디바이스를 웨이크 업하거나 세션을 개시하기 위한 이와 같은 방법론은 종래의 방법에 더 바람직할 수 있다. 움직이지 않고 말하고 있는 사용자에 대해, 프로세싱 디바이스의 보조 애플리케이션은 모션이 검출될 때까지, 구두 키워드를 리스닝하지 않을 것이다. 이와 같은 특징은 또한 방 내에 아무도 없는 동안 프로세싱 디바이스가 스피치(또는 방 내의 다른 잡음)를 리스닝하고 있지 않는다는 것을 의미할 수 있다. 그러나, 이와 같은 활성 리스닝 모드는 선택적으로는 예컨대 사용자가 떠나고 있으면 더 연속적인 단위로 턴 온될 수 있다(“내가 지금 떠나고 있기 때문에 방을 감시해 주십시요”).
다른 프라이버시 장점은 상세한 수면 추적 또는 주간 부재/존재, 호흡 및/또는 심박수 추적이 침실 / 거실에서 레코딩 카메라를 필요로 하는 것 없이 가능하다는 것이다.
다른 적용
본 기술의 다른 용도는 스피커 및 마이크로폰이 이미 이용 가능하거나, 용이하게 개장(retrofit)될 수 있는 경우를 포함한다. 예를 들어, 리프트(엘리베이터 및 기존 스피커 및 마이크로폰(긴급 통신을 위해 사용됨) 내의 점유 센서는 공간 내의 호흡 또는 다른 운동 신호(들)를 감지하는 데 사용될 수 있다.
또한 FMCW를 사용하는 범위에 걸친 감지, 또는 CW를 사용하는 대면적 감지를 위한 장내 방송(PA) 시스템을 사용하는 것이 가능하다. 많은 이와 같은 시스템은 올바르게 기능중인 것을 보장하기 위해 20kHz 또는 유사한 톤을 이미 사용하고 있으며, 초음파 생체측정 감지(예를 들어, 기차역, 도서관, 상점 등에서의 용도로)를 포함하기 위해 업그레이드될 수 있다.
원기 회복 낮잠
시스템의 프로세싱 디바이스(100)은 사람이 침대에서, 카우치에서, 또는 프로세싱 디바이스의 임의의 영역/부근 내에 누워 있든지 간에, 스마트 냅을 원조하기 위한 냅 기능으로 프로그래밍될 수 있다. 예를 들어, 사용자는 디바이스에게 “나는 낮잠을 자고 있다”고 알려 줄 수 있다. 그 다음, 대화형 오디오 디바이스는 사용자가 잠드는 것을 가청으로 돕고, 그 다음, 수면 및/또는 시간을 감시함으로써, 예상 가용 시간, 현재 수면 부족의 추정, 시각, 및 사용자 요청에 기초하여 적절한 낮잠 지속기간을 갖도록 사람을 가이드할 수 있다. 예를 들어, 그것은 20 분, 30 분, 60 분 또는 90 분(전체 수면 사이클)과 같은 타겟 지속기간에 최적화될 수 있다. 60 분 낮잠은 깊은 수면이 최적화되도록 하고 수면 말미에 임의의 수면 무력증에서 회복될 수 있도록 일정 시간을 할애하는 반면, 20 및 30 분 타겟 시간은 사용자가 아직 얕은 수면에 있는 동안, 또는 1분 또는 2 분 초과 동안 깊은 수면에 있기 전에 사용자를 깨우기 위해 최적화된다. 수면(낮잠) 전 깨어 있는 시간은 또한 낮잠 시간에 더하여 기록된다.
더 오래 자게 되면 그날 밤 수면에 영향을 미칠 수 있으므로, 사용자가 며칠간 정상적인 수면을 가졌다면, 20 내지 25 분 낮잠은 90 분 전체 수면 사이클에 우선할 수 있다.
다중사용자 부근 감지
몇몇 버전에서, 프로세싱 디바이스는 하나 이상의 스피커(들) 및 하나 이상의 마이크로폰(들)으로 동시에 2명의 사람(그 이상)을 감시하도록 구성될 수 있다. 예를 들어, 프로세싱 디바이스는 상이한 주파수로 상이한 사용자를 감지하기 위해 상이한 감지 주파수에서 다수의 감지 신호를 생성할 수 있다. 몇몇 경우에, 그것은 상이한 시간에 상이한 사용자를 감지하기 위한 인터리빙된 감지 신호(예를 들어, 상이한 시간에 상이한 감지 신호)를 생성하는 것을 제어할 수 있다. 몇몇 경우에, 그것은 상이한 시간에 상이한 범위를 감지하기 위한(예를 들어, 병렬 감지를 위한) 범위 게이팅을 순차적으로 조정할 수 있다.
몇몇 경우에, 신호 품질을 최대화하는 데 도움이 될 수 있는 몇몇 조건이 있다. 예를 들어, 프로세싱 디바이스(예를 들어, RF 센서, 또는 소나 가능 스마트폰)는 침대 측면 로커 상에 배치될 수 있다. 이러한 경우에, 신체가 상당한 수의 감지 신호를 차단할 수 있고 (실제로 범위 게이팅(침대에서 한 명의 사람을 감지할 뿐임)의 이득을 얻는) 제1 사람의 “섀도잉” 효과가 있을 수 있다. 소나에서, 프로세싱 디바이스는 2개의(또는 그 이상의) 상이한 감지 신호 - 또는 심지어 단일 FMCW(삼각형, 이중 램프 또는 다른) 감지 신호를 발생시켜 2명의(또는 그 이상의) 사람을 검출할 수 있다. FMCW의 범위 분리성은 (예컨대 방 내에 하나의 스피커/마이크만이 있으면) 하나의 감지 신호가 충분한 것을 의미한다. 이상적으로, 2명의 사람을 동시에 감시하기 위해, 사용자는 다수의 음향 에너지가 사용자 둘 모두에 도달하도록(예를 들어 제1 사용자 및 그/그녀의 시트 / 두베 컴포터(duvet comforter)가 너무 많은 감지 신호를 차단하지 않도록) 상승된 위치에 프로세싱 디바이스를 배치할 수 있다. 동일한 디바이스 상에 2개의 마이크로폰이 있으면, 이는 또한 상당한 보강/상쇄 간섭이 있는 경우(예를 들어, 그것이 하나 상에 피크, 및 다른 것 상에 널에 더 가까움에 따라 - 특히 더 먼 대상체로부터의 더 작은 진폭 수신 신호에 대해) 장점을 제공할 수 있다.
그것은 제2 사람에 더 가까운 소나/스마트폰이 있으면, 더 유익할 수 있다(및 더 높은 신호 품질을 잠재적으로 달성함). 제2 사람은 그들의 스마트폰/프로세싱 디바이스를 사용할 수 있고 제1 사람은 그들의 스마트폰/프로세싱 디바이스를 사용한다. 감지 신호는 간섭을 서로 회피하기 위해(즉, 시간 및/또는 주파수에서 중복하지 않기 위해) 발생될 수 있다. 디바이스는 부근의 다른 디바이스로부터의 이전 존재 감지 신호를 방해하지 않는 감지 신호 변조/ 기법을 선택적으로 고르기 위해 (송신하고 있을 때 수신된 신호를 송신 및/또는 프로세싱하기 전에 리스닝함으로써) 환경을 자동적으로 감지할 수 있다.
몇몇 경우에, 송신 및 수신 감도의 사운드 압력 레벨은 공기 감쇄, 및 음향 흡수 표면(직물, 카페트, 침구 등)의 혼합이 간섭 임계값 아래에서 제2 소스를 유지하는 영향을 가질 수 있으므로, 정확히 동일한 감지 신호를 갖는 2개의 스마트폰이 간섭을 야기하지 않게 한다. 각각의 프로세싱 디바이스가 각각의 사용자에 의해 사용되면, 디바이스는 감시된 대상체의 생체측정 신호가 예컨대 가장 낮은 필요한 출력 전력으로 충분히 검출될 수 있게 하기 위해 각각의 출력 전력을 선택적으로 자동적으로 감소시키도록 구성될 수 있다. 이와 같은 프로세스는 다른 디바이스와의 간섭을 회피하면서 각각이 모션을 검출하는 것을 허용할 수 있다.
잡음/간섭 회피
몇몇 경우에, 프로세싱 디바이스가 스피커에 콘텐츠 사운드(예를 들어, 뮤직, 스피치 등)를 플레이할 때, 프로세싱 디바이스는 이러한 콘텐츠 사운드를 저역 통과시켜 (예를 들어) 18 kHz를 넘는 임의의 콘텐츠를 제거할 수 있다. 그 다음, 프로세싱 디바이스는 감지를 위한 저주파 초음파 신호를 오버레이할 수 있다. 이는 시스템이 감지 능력에 영향을 줄 수 있는 “뮤직”의 성분을 제거(또는 상당히 감쇠)하는 것을 의미한다. 그러나, 몇몇 경우에, 이와 같은 필터링이 생략될 수 있다. 이와 같은 필터링은 고급 하이-파이에서는 콘텐츠 사운드(하이에 영향을 미침)를 혼란시킬 수 있다(또는 그것은 사용자로 하여금 이것이 일어날 것이라고 생각하게 한다 - 실제 일어난 문제가 아니라 그러한 인식). 프로세싱 디바이스는 뮤직/사운드 콘텐츠를 저역 통과 필터링하는 것을 억제하도록 구성될 수 있다(또는 심지어 개별 구성이되 인근에 위치한 스피커에서 플레이되면, 그것을 필터링하는 기능을 실제로 갖지 않을 수 있음). 따라서, 감지 신호에 원하지 않는 성분이 있을 수 있다. 이것을 완화시키는 하나의 방식은 감지 신호를 적응시키기 위해 실시간 및 최근(제시간) “대역내” 간섭에 피드백을 구현하는 것이다. 불충분할(또는 매우 빠른 (낮은 레이턴시)의 역할을 하기를 원할) 수 있는 프로세싱 자원에 따라, 프로세싱 디바이스는2개의 감지 신호를 동시에 송신할 수 있다(FMCW 신호의 경우 - 이는 2개의 함께 배치된 삼각형 램프 또는 실제로 2개의 세트의 이중 램프 등일 수 있음). 그 다음, 프로세싱 디바이스는 결과적인 생체모션 신호를 평가하여 신호에서의 검출된 모션에 기초하여 더 좋은 신호를 (신호 품질에 관해) 선택하기 위해 보팅 프로세스를 포함할 수 있다. 이와 같은 프로세스는 감지 프로세싱(사용의 시간)의 전체에 걸쳐 동적으로 계속될 수 있다.
5.2
다른 비고
본 특허 문서의 개시 부분은 저작권 보호를 받는 자료를 포함한다. 저작권 소유자는 특허청의 특허 파일이나 기록에 나타나 있듯이 누구나 특허 문서 또는 특허 개시에 의한 팩스 복제에 대한 이의를 제기하지 않지만, 무엇이든지 간에 모든 저작권 권리를 보유한다.
문맥상 달리 명확하게 지시하지 않고 값의 범위가 제공되는 경우에, 하한 단위의 1/10까지, 해당 범위의 상한과 하한 사이, 그리고 그 언급된 범위의 임의의 다른 언급 또는 개재된 값인 각각의 개재 값은 본 기술 내에 포함되는 것으로 이해된다. 개재 범위에 독립적으로 포함될 수 있는 이들 개재 범위의 상한 및 하한은 언급된 범위 내의 임의의 특히 배제된 한계값에 속하는 것으로 본 기술범위 내에 또한 포함된다. 언급된 범위가 하나 또는 둘 모두의 한계값을 포함하는 경우, 이들 포함된 한계값 중 하나 또는 둘 모두를 배제한 범위가 또한 본 기술범위 내에 포함된다.
또한, 값 또는 값들이 본 기술의 일부로서 구현되는 것으로 본 명세서에서 언급되는 경우, 이와 같은 값은 달리 언급되지 않는 한 근사값일 수 있고, 이와 같은 값은 실용적인 기술 구현으로 이를 허용하거나 요구할 수 있는 범위의 임의의 적합한 유효 자릿수로 사용될 수 있다.
달리 정의되지 않는 한, 본 명세서에서 사용된 모든 기술 및 과학 용어는 본 기술이 속하는 분야의 당업자 중 한 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 본 명세서에서 설명된 것과 유사하거나 동등한 임의의 방법 및 재료가 또한 본 기술의 실시 또는 테스트에 사용될 수 있지만, 제한된 수의 예시적인 방법 및 재료만이 본 명세서에서 설명된다.
특정 재료가 구성요소를 구성하는 데 사용되는 것으로 확인될 때, 유사한 성질을 가진 명백한 대체 재료가 대체물로 사용될 수 있다. 또한, 달리 명시되지 않는 한, 본 명세서에서 설명된 임의의 그리고 모든 구성요소는 제조될 수 있는 것으로 이해되며, 그 때문에 함께 또는 개별적으로 제조될 수 있다.
본 명세서에서 그리고 첨부된 청구범위에서 사용된 바와 같이, 단수 형태("a", "an" 및 "the")는 문맥이 달리 명백하게 지시하지 않는 한 그들의 복수 등가물을 포함한다는 것에 유의해야 한다.
본 명세서에서 언급된 모든 공보는 이들 공보의 대상인 방법 및/또는 재료를 개시하고 설명하기 위해 그 전체가 참조로 본 명세서에 포함된다. 본 명세서에서 논의된 공보는 본 출원의 출원일 이전에 그 공개를 위해서만 제공된다. 본 명세서 중의 어떠한 내용도 본 기술이 선행특허를 위해 이러한 공개문헌에 선행하고 있지 않다고 인정하는 것으로 해석되어서는 안 된다. 또한, 제공된 공보의 날짜는 실제 공개 날짜와 상이할 수 있으며, 이는 독자적으로 확인할 필요가 있을 수 있다.
용어 "포함한다" 및 "포함하는"은 참조된 요소, 구성요소 또는 단계가 존재할 수 있거나, 명시적으로 참조되지 않은 다른 요소, 구성요소 또는 단계와 사용되거나 조합될 수 있음을 나타내는 비배타적인 방식으로 요소, 구성요소 또는 단계를 지칭하는 것으로 해석되어야 한다.
상세한 설명에 사용된 제목은 독자의 용이한 참조용으로만 포함되며 본 개시 또는 청구범위에 걸쳐 발견된 요지를 제한하는 데 사용되어서는 안 된다. 제목은 청구범위 범주 또는 청구범위 한계를 해석할 때 사용되어서는 안 된다.
본 명세서의 기술이 특정 예를 참조하여 설명되었지만, 이들 예는 단지 기술의 원리 및 용례의 예시라고 이해해야 한다. 몇몇 경우에, 용어 및 부호는 기술을 실시하는 데 요구되지 않은 특정 세부사항을 의미할 수 있다. 예를 들어, 용어 "제1" 및 "제2"가 사용될 수 있지만, 이들 용어는 달리 명시하지 않는 한, 임의의 순서를 표시하도록 의도되는 것이 아니라 별개의 요소를 구별하는 데 사용될 수 있다. 또한, 방법론의 프로세스 단계가 순서대로 설명되거나 예시될 수 있지만, 이와 같은 순서는 요구되지 않는다. 당업자는 이와 같은 순서가 수정될 수 있고/있거나 그 양태가 동시에 또는 심지어 동기적으로 수행될 수 있다는 것을 인식할 것이다.
따라서, 많은 수정이 예시적인 예에 대해 이루어질 수 있고 다른 배열이 기술의 사상 및 범주를 벗어나지 않고 강구될 수 있음을 이해해야 한다.
Claims (116)
- 대화형 오디오 디바이스의 프로세서에 의해 실행될 때, 상기 프로세서가 사용자의 생리학적 운동을 검출하게 하는, 프로세서 실행 가능한 명령어가 저장된 프로세서 판독 가능한 매체로서, 상기 프로세서 실행 가능한 명령어는:
상기 대화형 오디오 디바이스에 결합된 스피커를 통해, 상기 대화형 오디오 디바이스의 부근의 사운드 신호를 생성하는 것을 제어하기 위한 명령어;
상기 대화형 오디오 디바이스에 결합된 마이크로폰을 통해, 부근으로부터 반사된 사운드 신호를 감지하는 것을 제어하기 위한 명령어;
상기 감지된 반사 사운드 신호의 적어도 일부분 및 상기 사운드 신호의 적어도 일부분을 나타내는 신호로 생리학적 운동 신호를 유도하기 위한 명령어; 및
상기 유도된 생리학적 운동 신호의 적어도 일부의 평가에 기초하여 출력을 발생시키기 위한 명령어를 포함하는, 프로세서 판독 가능한 매체. - 제1항에 있어서, 상기 생성된 사운드 신호의 적어도 일부분은 실질적 비가청 사운드 범위 내에 있는, 프로세서 판독 가능한 매체.
- 제2항에 있어서, 상기 생성된 사운드 신호의 부분은 저주파 초음파 음향 신호인, 프로세서 판독 가능한 매체.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 사운드 신호의 부분을 나타내는 신호는 내부 발생된 발진기 신호 또는 직접 경로 측정된 신호를 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호는 호흡 모션, 전신 모션, 또는 심장 모션 중 하나 이상을 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 생리학적 운동 신호를 유도하기 위한 명령어는 발진기 신호를 상기 감지된 반사 사운드 신호의 부분과 승산하도록 구성되는, 프로세서 판독 가능한 매체.
- 제1항 내지 제6항 중 어느 한 항에 있어서, 대화형 오디오 디바이스에 결합된 마이크로폰을 통해, 감지된 가청 구두 통신을 평가하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하고; 상기 출력을 발생시키기 위한 명령어는 감지된 가청 구두 통신에 응답하여 출력을 발생시키도록 구성되는, 프로세서 판독 가능한 매체.
- 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 생리학적 운동 신호를 유도하기 위한 프로세서 실행 가능한 명령어는 상기 사운드 신호의 적어도 일부분과 상기 감지된 반사 사운드 신호의 부분의 복조를 포함하는, 프로세서 판독 가능한 매체.
- 제8항에 있어서, 상기 복조는 상기 사운드 신호의 부분, 및 상기 감지된 반사 사운드 신호의 부분의 승산을 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 사운드 신호를 생성하는 것을 제어하기 위한 프로세서 실행 가능한 명령어는 이중 톤 주파수 변조된 지속파 신호를 발생시키는, 프로세서 판독 가능한 매체.
- 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 이중 톤 주파수 변조된 지속파 신호는 반복된 파형에서 제2 톱니 주파수 변경과 중복된 제1 톱니 주파수 변경을 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제11항 중 어느 한 항에 있어서, 초광대역(UWB) 사운드 신호를 가청 백색 잡음으로서 발생시키기 위한 프로세서 실행 가능한 명령어를 추가로 포함하고, 상기 프로세서 판독 가능한 매체는 상기 UWB 사운드 신호로 사용자 모션을 검출하기 위한 명령어를 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제12항 중 어느 한 항에 있어서, 셋업 프로세스에서, 상기 스피커로부터 프로빙 음향 시퀀스를 발생시켜 저주파 초음파 에코의 거리 측정을 교정하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제13항 중 어느 한 항에 있어서, 셋업 프로세스에서, 상기 스피커를 포함하는 하나 이상의 스피커로부터 시간 동기화된 교정 음향 신호를 발생시켜, 상기 대화형 오디오 디바이스의 마이크로폰과 다른 마이크로폰 사이의 거리를 추정하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제14항 중 어느 한 항에 있어서, 빔 포밍 프로세스를 동작하여 검출된 영역을 추가로 국부화하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제15항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 일부의 평가에 기초한 발생된 출력은 감시된 사용자 수면 정보를 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 일부의 평가는 하나 이상의 생리학적 매개변수를 검출하는 것을 포함하는, 프로세서 판독 가능한 매체.
- 제17항에 있어서, 상기 하나 이상의 생리학적 매개변수는 호흡 속도, 호흡의 상대 진폭, 심박수, 심장 진폭, 상대 심장 진폭, 및 심박수 가변성 중 임의의 하나 이상을 포함하는, 프로세서 판독 가능한 매체.
- 제16항 내지 제18항 중 어느 한 항에 있어서, 상기 감시된 사용자 수면 정보는 수면 스코어, 수면 단계 및 수면 단계에서의 시간 중 임의의 것을 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제19항 중 어느 한 항에 있어서, 상기 발생된 출력은 대화형 질의 및 응답 제시를 포함하는, 프로세서 판독 가능한 매체.
- 제20항에 있어서, 상기 발생된 대화형 질의 및 응답 제시는 스피커에 의해 수행되는, 프로세서 판독 가능한 매체.
- 제21항에 있어서, 상기 발생된 대화형 질의 및 응답 제시는 감시된 사용자 수면 정보를 개선하기 위한 어드바이스를 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제22항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 일부의 평가에 기초한 발생된 출력은 네트워크 상의 서버에 액세스하는 것 및/또는 네트워크 자원의 검색을 수행하는 것에 추가로 기초하는, 프로세서 판독 가능한 매체.
- 제23항에 있어서, 상기 검색은 이력 사용자 데이터에 기초하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제24항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 일부의 평가에 기초한 발생된 출력은 자동화 기기 또는 시스템을 제어하기 위한 제어 신호를 포함하는, 프로세서 판독 가능한 매체.
- 제25항에 있어서, 상기 제어 신호를 네트워크를 상기 자동화 기기 또는 시스템에 송신하기 위한 프로세서 제어 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제26항 중 어느 한 항에 있어서, 제어 신호를 발생시켜 상기 유도된 생리학적 운동 신호의 적어도 일부의 평가에 기초하여 상기 대화형 오디오 디바이스의 설정을 변경하기 위한 프로세서 제어 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제27항에 있어서, 상기 대화형 오디오 디바이스의 설정을 변경하기 위한 제어 신호는 상기 대화형 오디오 디바이스로부터의 사용자 거리, 사용자의 상태 또는 사용자의 위치의 검출에 기초한 볼륨의 변경을 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제28항 중 어느 한 항에 있어서, 상기 프로세서 실행 가능한 명령어는 상이한 음향 감지 범위의 모션 특성을 평가하여 복수의 사용자의 수면 특성을 감시하도록 구성되는, 프로세서 판독 가능한 매체.
- 제29항에 있어서, 상기 사운드 신호를 생성하는 것을 제어하기 위한 명령어는 상이한 주파수로 상이한 사용자를 감지하기 위해 상이한 감지 주파수에서 동시 감지 신호를 생성하는 것을 제어하는, 프로세서 판독 가능한 매체.
- 제30항에 있어서, 상기 사운드 신호를 생성하는 것을 제어하기 위한 명령어는 상이한 시간에 상이한 사용자를 감지하기 위해 인터리빙된 음향 감지 신호를 생성하는 것을 제어하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제32항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 적어도 부분에 기초하여 사용자의 존재 또는 부재를 검출하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제32항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 사용자의 생체측정 인식을 수행하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제33항 중 어느 한 항에 있어서, (a) 상기 유도된 생리학적 운동 신호의 분석으로부터 결정된 생체측정 평가, 및/또는 (b) 상기 유도된 생리학적 운동 신호의 적어도 일부의 분석으로부터 결정되는 검출된 존재에 기초하여 네트워크를 통한 통신을 발생시키기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제34항 중 어느 한 항에 있어서, 상기 대화형 오디오 디바이스가 사용자의 모션 존재를 음향적으로 검출하게 하고, 상기 사용자를 가청으로 시도하게 하고, 상기 사용자를 가청으로 인증하게 하고, 상기 사용자를 인가하거나 상기 알람 메시지를 사용자에 대해 통신하게 하도록 구성된 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제35항에 있어서, 상기 사용자를 가청으로 인증하기 위한 프로세서 실행 가능한 명령어는 상기 마이크로폰에 의해 감지된 사용자의 구두 사운드 파를 이전에 기록된 구두 사운드 파와 비교하도록 구성되는, 프로세서 판독 가능한 매체.
- 제35항 내지 제36항 중 어느 한 항에 있어서, 프로세서 실행 가능한 명령어는 모션 기반 생체측정 감지로 상기 사용자를 인증하도록 구성되는, 프로세서 판독 가능한 매체.
- 제1항 내지 제37항 중 어느 한 항에 있어서,
상기 대화형 오디오 디바이스가 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 모션 제스처를 검출하게 하는 프로세서 실행 가능한 명령어; 및
상기 검출된 모션 제스처에 기초하여, 제어 신호를 발생시켜, 통지를 송신하거나, (a) 자동화 기기 및/또는 (b) 상기 대화형 오디오 디바이스의 동작에 대한 변경을 제어하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체. - 제38항에 있어서, 상기 대화형 오디오 디바이스의 동작에 대한 변경을 제어하기 위한 제어 신호는 상기 대화형 오디오 디바이스의 대화형 보이스 어시스턴트 동작을 개시하기 위한 마이크로폰 감지를 활성화하는 것을 포함하며, 그것에 의해 비활성 대화형 보이스 어시스턴트 프로세스가 관여되는, 프로세서 판독 가능한 매체.
- 제39항에 있어서, 상기 대화형 보이스 어시스턴트 동작을 개시하는 것은 상기 마이크로폰 감지에 의한 구두 키워트의 검출에 추가로 기초하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제40항 중 어느 한 항에 있어서,
상기 대화형 오디오 디바이스가 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 사용자의 호흡 모션을 검출하게 하고 출력 큐를 발생시켜 상기 사용자에게 동기를 부여해서 사용자 호흡을 조정하게 하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체. - 제1항 내지 제41항 중 어느 한 항에 있어서,
상기 대화형 오디오 디바이스가 상기 대화형 오디오 디바이스의 마이크로폰에 의해 감지된 비가청 사운드 파를 통해 다른 프로세싱 디바이스에 의해 제어된, 다른 대화형 오디오 디바이스로부터의 통신을 수신하게 하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체. - 제42항에 있어서, 상기 대화형 오디오 디바이스의 부근에서 상기 사운드 신호를 생성하는 것을 제어하기 위한 명령어는 상기 통신에 기초하여 상기 사운드 신호의 적어도 일부를 생성하기 위한 매개변수를 조정하는, 프로세서 판독 가능한 매체.
- 제43항에 있어서, 상기 조정된 매개변수는 상기 대화형 오디오 디바이스와 상기 다른 대화형 오디오 디바이스 사이의 간섭을 감소시키는, 프로세서 판독 가능한 매체.
- 제1항 내지 제44항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 일부의 평가는 수면 개시 또는 각성 개시의 검출을 추가로 포함하고, 상기 평가에 기초한 출력은 서비스 제어 신호를 포함하는, 프로세서 판독 가능한 매체.
- 제45항에 있어서, 상기 서비스 제어 신호는 조명 제어; 기기 제어; 볼륨 제어; 서모스탯 제어; 및 윈도우 개폐 제어 중 하나 이상을 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제46항 중 어느 한 항에 있어서, 사용자에게 피드백을 수집하고 상기 유도된 생리학적 운동 신호의 일부 및 상기 피드백 중 적어도 하나에 기초하여 응답하는 어드바이스를 발생시키도록 재촉하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제47항에 있어서, 환경 데이터를 결정하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하고, 상기 어드바이스는 상기 결정된 환경 데이터에 추가로 기초하는, 프로세서 판독 가능한 매체.
- 제48항에 있어서, 환경 데이터를 결정하고, 상기 결정된 환경 데이터 및 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 환경 제어 시스템에 대한 제어 신호를 발생시키기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제49항 중 어느 한 항에 있어서, 수면 개선 서비스를 제공하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하며, 상기 수면 개선 서비스는 (a) 검출된 수면 조건 및/또는 수집된 사용자 피드백에 응답하여 어드바이스를 발생시키는 것; 및 (b) 제어 신호를 발생시켜 환경 기기를 제어해서 환경 수면 조건을 설정하고 그리고/또는 수면 관련 어드바이스 메시지를 상기 사용자에게 제공하는 것 중 임의의 것을 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제50항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 제스처를 검출하고 상기 대화형 오디오 디바이스의 대화형 보이스 어시스턴트 동작을 개시하기 위한 마이크로폰 감지를 개시하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제51항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 낮잠 세션을 개시 및 감시하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제52항 중 어느 한 항에 있어서, 상기 생성된 사운드 신호의 적어도 일부의 매개변수를 변화시켜 상기 부근을 통해 사용자의 운동을 추적함으로써 검출 범위를 변화시키기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제53항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 적어도 일부로 비인가된 운동을 검출하고 알람 또는 통신을 발생시켜 상기 사용자 또는 제3자에 통지하기 위한 프로세서 실행 가능한 명령어를 추가로 포함하는, 프로세서 판독 가능한 매체.
- 제54항에 있어서, 상기 통신은 스마트폰 또는 스마트 워치 상에 알람을 제공하는, 프로세서 판독 가능한 매체.
- 제1항 내지 제55항 중 어느 한 항의 프로세서 판독 가능한 매체에 액세스 가능한 서버로서, 상기 서버는 네트워크를 통해 대화형 오디오 디바이스에 프로세서 판독 가능한 매체의 프로세서 실행 가능한 명령어를 다운로드하기 위한 요청을 수신하도록 구성되는, 서버.
- 대화형 오디오 디바이스로서, 하나 이상의 프로세서; 상기 하나 이상의 프로세서에 결합된 스피커; 상기 하나 이상의 프로세서에 결합된 마이크로폰을 포함하고, 제1항 내지 제55항 중 어느 한 항에 따른 프로세서 판독 가능한 매체를 포함하거나 상기 하나 이상의 프로세서는 제56항의 서버를 이용하여 상기 프로세서 실행 가능한 명령어에 액세스하도록 구성되는, 대화형 오디오 디바이스.
- 제57항에 있어서, 상기 대화형 오디오 디바이스는 휴대용 디바이스인, 대화형 오디오 디바이스.
- 제57항 내지 제58항 중 어느 한 항에 있어서, 상기 대화형 오디오 디바이스는 모바일 폰, 스마트 워치, 태블릿 컴퓨터 또는 스마트 스피커를 포함하는, 대화형 오디오 디바이스.
- 제1 항 내지 제55항 중 어느 한 항에 따른 프로세서 판독 가능한 매체에 액세스 가능한 서버의 방법으로서, 상기 서버에서, 네트워크를 통해 대화형 오디오 디바이스에 상기 프로세서 판독 가능한 매체의 프로세서 실행 가능한 명령어를 다운로드하기 위한 요청을 수신하는 단계; 및 상기 요청에 응답하여 상기 프로세서 실행 가능한 명령어를 상기 대화형 오디오 디바이스에 송신하는 단계를 포함하는, 방법.
- 대화형 오디오 디바이스의 프로세서의 방법으로서,
프로세서로 제1항 내지 제55항 중 어느 한 항의 프로세서 판독 가능한 매체에 액세스하는 단계, 및
프로세서에서 프로세서 판독 가능한 매체의 프로세서 실행 가능한 명령어를 실행하는 단계를 포함하는, 방법. - 사용자의 생리학적 운동을 검출하기 위한 대화형 오디오 디바이스의 방법으로서,
상기 대화형 오디오 디바이스에 결합된 스피커를 통해, 상기 대화형 오디오 디바이스의 부근의 사운드 신호를 생성하는 단계;
상기 대화형 오디오 디바이스에 결합된 마이크로폰을 통해, 부근으로부터 반사된 사운드 신호를 감지하는 단계;
프로세서에서, 상기 감지된 반사 사운드 신호의 적어도 일부분 및 상기 사운드 신호의 적어도 일부분을 나타내는 신호로 생리학적 운동 신호를 유도하는 단계; 및
상기 프로세서로부터 상기 유도된 생리학적 운동 신호의 적어도 일부의 평가에 기초한 출력을 발생시키는 단계를 포함하는, 방법. - 제62항에 있어서, 상기 생성된 사운드 신호의 적어도 일부분은 실질적 비가청 사운드 범위 내에 있는, 방법.
- 제63항에 있어서, 상기 생성된 사운드 신호의 부분은 저주파 초음파 음향 신호인, 방법.
- 제62항 내지 제64항 중 어느 한 항에 있어서, 상기 사운드 신호의 부분을 나타내는 신호는 내부 발생된 발진기 신호 또는 직접 경로 측정된 신호를 포함하는, 방법.
- 제62항 내지 제65항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호는 호흡 모션, 전신 모션, 또는 심장 모션 중 하나 이상을 포함하는, 방법.
- 제62항 내지 제66항 중 어느 한 항에 있어서, 발진기 신호를 상기 감지된 반사 사운드 신호의 부분과 승산하는 것에 의해 생리학적 운동 신호를 유도하는 단계를 포함하는, 방법.
- 제62항 내지 제67항 중 어느 한 항에 있어서, 프로세서에서, 상기 대화형 오디오 디바이스에 결합된 마이크로폰을 통해, 감지된 가청 구두 통신을 평가하는 단계를 추가로 포함하며, 상기 출력을 발생시키는 단계는 상기 감지된 가청 구두 통신에 응답하는, 방법.
- 제62항 내지 제68항 중 어느 한 항에 있어서, 상기 생리학적 운동 신호를 유도하는 단계는 상기 사운드 신호의 적어도 일부분과 상기 감지된 반사 사운드 신호의 부분을 복조하는 것을 포함하는, 방법.
- 제69항에 있어서, 상기 복조는 상기 사운드 신호의 부분, 및 상기 감지된 반사 사운드 신호의 부분의 승산을 포함하는, 방법.
- 제62항 내지 제70항 중 어느 한 항에 있어서, 상기 사운드 신호를 생성하는 단계는 이중 톤 주파수 변조된 지속파 신호를 발생시키는, 방법.
- 제62항 내지 제71항 중 어느 한 항에 있어서, 상기 이중 톤 주파수 변조된 지속파 신호는 반복된 파형에서 제2 톱니 주파수 변경과 중복된 제1 톱니 주파수 변경을 포함하는, 방법.
- 제62항 내지 제72항 중 어느 한 항에 있어서, 초광대역(UWB) 사운드 신호를 가청 백색 잡음으로서 발생시키는 단계를 추가로 포함하고, 사용자 모션은 상기 UWB 사운드 신호로 검출되는, 방법.
- 제62항 내지 제73항 중 어느 한 항에 있어서, 셋업 프로세스에서, 상기 스피커로부터 프로빙 음향 시퀀스를 발생시켜 저주파 초음파 에코의 거리 측정을 교정하는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제74항 중 어느 한 항에 있어서, 셋업 프로세스에서, 상기 스피커를 포함하는 하나 이상의 스피커로부터 시간 동기화된 교정 음향 신호를 발생시켜, 상기 대화형 오디오 디바이스의 마이크로폰과 다른 마이크로폰 사이의 거리를 추정하는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제75항 중 어느 한 항에 있어서, 빔 포밍 프로세스를 동작하여 검출된 영역을 추가로 국부화하는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제76항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 일부의 평가에 기초한 발생된 출력은 감시된 사용자 수면 정보를 포함하는, 방법.
- 제62항 내지 제77항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 일부의 평가는 하나 이상의 생리학적 매개변수를 검출하는 단계를 포함하는, 방법.
- 제78항에 있어서, 상기 하나 이상의 생리학적 매개변수는 호흡 속도, 호흡의 상대 진폭, 심박수, 상대 심장 진폭, 심장 진폭, 및 심박수 가변성 중 임의의 하나 이상을 포함하는, 방법.
- 제77항 내지 제79항 중 어느 한 항에 있어서, 상기 감시된 사용자 수면 정보는 수면 스코어, 수면 단계 및 수면 단계에서의 시간 중 임의의 것을 포함하는, 방법.
- 제62항 내지 제80항 중 어느 한 항에 있어서, 상기 발생된 출력은 대화형 질의 및 응답 제시를 포함하는, 방법.
- 제81항에 있어서, 상기 발생된 대화형 질의 및 응답 제시는 스피커에 의해 수행되는, 방법.
- 제82항에 있어서, 상기 발생된 대화형 질의 및 응답 제시는 감시된 사용자 수면 정보를 개선하기 위한 어드바이스를 포함하는, 방법.
- 제62항 내지 제83항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 일부의 평가에 기초한 발생된 출력은 네트워크 상의 서버에 액세스하는 것 및/또는 네트워크 자원의 검색을 수행하는 것에 추가로 기초하는, 방법.
- 제84항에 있어서, 상기 검색은 이력 사용자 데이터에 기초하는, 방법.
- 제62항 내지 제85항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 일부의 평가에 기초한 발생된 출력은 자동화 기기 또는 시스템을 제어하기 위한 제어 신호를 포함하는, 방법.
- 제86항에 있어서, 상기 제어 신호를 네트워크를 통해 상기 자동화 기기 또는 상기 시스템에 송신하는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제87항 중 어느 한 항에 있어서, 상기 프로세서에서, 제어 신호를 발생시켜 상기 유도된 생리학적 운동 신호의 적어도 일부의 평가에 기초하여 상기 대화형 오디오 디바이스의 설정을 변경하는 단계를 추가로 포함하는, 방법.
- 제88항에 있어서, 상기 대화형 오디오 디바이스의 설정을 변경하기 위한 제어 신호는 상기 대화형 오디오 디바이스로부터의 사용자 거리, 사용자의 상태 또는 사용자의 위치의 검출에 기초한 볼륨의 변경을 포함하는, 방법.
- 제62항 내지 제89항 중 어느 한 항에 있어서, 상기 프로세서에서, 상이한 음향 감지 범위의 모션 특성을 평가하여 복수의 사용자의 수면 특성을 감시하는 단계를 추가로 포함하는, 방법.
- 제90항에 있어서, 상이한 주파수로 상이한 사용자를 감지하기 위해 상이한 감지 주파수에서 동시 음향 감지 신호를 생성하는 것을 제어하는 단계를 추가로 포함하는, 방법.
- 제91항에 있어서, 상이한 시간에 상이한 사용자를 감소시키기 위해 인터리빙된 음향 감지 신호를 생성하는 것을 제어하는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제92항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 사용자의 존재 또는 부재를 검출하는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제93항 중 어느 한 항에 있어서, 상기 프로세서로, 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 사용자의 생체측정 인식을 수행하는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제94항 중 어느 한 항에 있어서, (a) 상기 유도된 생리학적 운동 신호의 분석으로부터 결정된 생체측정 평가, 및/또는 (b) 상기 유도된 생리학적 운동 신호의 적어도 일부의 분석으로부터 결정되는 검출된 존재에 기초하여 네트워크를 통한 통신을 상기 프로세서로 발생시키는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제95항 중 어느 한 항에 있어서, 상기 대화형 오디오 디바이스로, 사용자의 모션 존재를 음향적으로 검출하는 단계, 상기 사용자를 가청으로 시도하게 하는 단계, 상기 사용자를 가청으로 인증하는 단계, 및 상기 사용자를 인가하는 단계 또는 알람 메시지를 상기 사용자에 대해 통신하는 단계를 추가로 포함하는, 방법.
- 제96항에 있어서, 상기 사용자를 가청으로 인증하는 단계는 상기 마이크로폰에 의해 감지된 사용자의 구두 사운드 파를 이전에 기록된 구두 사운드 파와 비교하는 단계를 포함하는, 방법.
- 제96항 내지 제97항 중 어느 한 항에 있어서, 모션 기반 생체측정 감지로 사용자를 인증하는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제98항 중 어느 한 항에 있어서,
상기 대화형 오디오 디바이스로, 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 모션 제스처를 검출하는 단계; 및
상기 대화형 오디오 디바이스의 프로세서에서, 상기 검출된 모션 제스처에 기초하여, 제어 신호를 발생시켜 통지를 송신하거나, (a) 자동화 기기 및/또는 (b) 상기 대화형 오디오 디바이스의 동작에 대한 변경을 제어하는 단계를 추가로 포함하는, 방법. - 제99항에 있어서, 상기 대화형 오디오 디바이스의 동작에 대한 변경을 제어하기 위한 제어 신호는 상기 대화형 오디오 디바이스의 대화형 보이스 어시스턴트 동작을 개시하기 위한 마이크로폰 감지를 활성화하는 것을 포함하며, 그것에 의해 비활성 대화형 보이스 어시스턴트 프로세스가 관여되는, 방법.
- 제100항에 있어서, 상기 대화형 보이스 어시스턴트 동작을 개시하는 단계는 상기 마이크로폰 감지에 의한 구두 키워드의 검출에 추가로 기초하는, 방법.
- 제62항 내지 제101항 중 어느 한 항에 있어서,
상기 대화형 오디오 디바이스로, 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 사용자의 호흡 모션을 검출하는 단계 및 출력 큐를 발생시켜 상기 사용자에게 동기를 부여해서 사용자 호흡을 조정하는 단계를 추가로 포함하는, 방법. - 제62항 내지 제102항 중 어느 한 항에 있어서,
상기 대화형 오디오 디바이스로, 상기 대화형 오디오 디바이스의 마이크로폰에 의해 감지된 비가청 사운드 파를 통해 다른 프로세싱 디바이스에 의해 제어된, 다른 대화형 오디오 디바이스로부터 통신을 수신하는 단계를 추가로 포함하는, 방법. - 제103항에 있어서, 상기 통신에 기초하여 상기 대화형 오디오 디바이스의 부근의 사운드 신호의 적어도 일부를 생성하기 위한 매개변수를 조정하는 단계를 추가로 포함하는, 방법.
- 제104항에 있어서, 상기 매개변수를 조정하는 단계는 상기 대화형 오디오 디바이스와 상기 다른 대화형 오디오 디바이스 사이의 간섭을 감소시키는, 방법.
- 제62항 내지 제105항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 일부의 평가는 수면 개시 또는 각성 개시를 검출하는 단계를 추가로 포함하고, 상기 평가에 기초한 출력은 서비스 제어 신호를 포함하는, 방법.
- 제106항에 있어서, 상기 서비스 제어 신호는 조명 제어; 기기 제어; 볼륨 제어; 서모스탯 제어; 및 윈도우 개폐 제어 중 하나 이상을 포함하는, 방법.
- 제62항 내지 제107항 중 어느 한 항에 있어서, 사용자에게 피드백을 수집하고 상기 유도된 생리학적 운동 신호의 일부 및 상기 피드백 중 적어도 하나에 기초하여 응답하는 어드바이스를 발생시키도록 재촉하는 단계를 추가로 포함하는, 방법.
- 제108항에 있어서, 환경 데이터를 결정하는 단계를 추가로 포함하고, 상기 어드바이스는 상기 결정된 환경 데이터에 추가로 기초하는, 방법.
- 제108항에 있어서, 환경 데이터를 결정하여, 상기 결정된 환경 데이터 및 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 환경 제어 시스템에 대한 제어 신호를 발생시키는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제110항 중 어느 한 항에 있어서, 수면 개선 서비스를 제공하는 것을 제어하는 단계를 추가로 포함하며, 상기 수면 개선 서비스는 (a) 검출된 수면 조건 및/또는 수집된 사용자 피드백에 응답하여 어드바이스를 발생시키는 것; 및 (b) 제어 신호를 발생시켜 환경 기기를 제어해서 환경 수면 조건을 설정하고 그리고/또는 수면 관련 어드바이스 메시지를 상기 사용자에게 제공하는 것 중 임의의 것을 포함하는, 방법.
- 제62항 내지 제111항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호에 기초하여 제스처를 검출하는 단계 및 상기 대화형 오디오 디바이스의 대화형 보이스 어시스턴트 동작을 개시하기 위한 마이크로폰 감지를 개시하는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제112항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 적어도 일부에 기초하여 낮잠 세션을 개시 및 감시하는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제113항 중 어느 한 항에 있어서, 상기 생성된 사운드 신호의 적어도 일부의 매개변수를 변화시켜 상기 부근을 통해 사용자의 운동을 추적함으로써 검출 범위를 변화시키는 단계를 추가로 포함하는, 방법.
- 제62항 내지 제114항 중 어느 한 항에 있어서, 상기 유도된 생리학적 운동 신호의 적어도 일부로 비인가된 운동을 검출하는 단계 및 알람 또는 통신을 발생시켜 제3자의 사용자 또는 제3자에 통지하는 단계를 추가로 포함하는, 방법.
- 제115항에 있어서, 상기 통신은 스마트폰 또는 스마트 워치 상에 알람을 제공하는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762610013P | 2017-12-22 | 2017-12-22 | |
| US62/610,013 | 2017-12-22 | ||
| PCT/EP2018/086764 WO2019122413A1 (en) | 2017-12-22 | 2018-12-21 | Apparatus, system, and method for motion sensing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200103749A true KR20200103749A (ko) | 2020-09-02 |
Family
ID=65011990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207021041A KR20200103749A (ko) | 2017-12-22 | 2018-12-21 | 모션 감지를 위한 장치, 시스템, 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11615688B2 (ko) |
| EP (2) | EP3727135B1 (ko) |
| JP (2) | JP7464522B2 (ko) |
| KR (1) | KR20200103749A (ko) |
| CN (2) | CN111629658B (ko) |
| WO (1) | WO2019122413A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3975203A1 (en) * | 2020-09-28 | 2022-03-30 | Hill-Rom Services, Inc. | Voice control in a healthcare facility |
Families Citing this family (115)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12094614B2 (en) | 2017-08-15 | 2024-09-17 | Koko Home, Inc. | Radar apparatus with natural convection |
| US11004567B2 (en) | 2017-08-15 | 2021-05-11 | Koko Home, Inc. | System and method for processing wireless backscattered signal using artificial intelligence processing for activities of daily life |
| KR102649497B1 (ko) | 2017-12-22 | 2024-03-20 | 레스메드 센서 테크놀로지스 리미티드 | 차량에서의 생리학적 감지를 위한 장치, 시스템, 및 방법 |
| EP3727135B1 (en) | 2017-12-22 | 2024-02-28 | ResMed Sensor Technologies Limited | Apparatus, system, and method for motion sensing |
| US20200367810A1 (en) * | 2017-12-22 | 2020-11-26 | Resmed Sensor Technologies Limited | Apparatus, system, and method for health and medical sensing |
| KR102533993B1 (ko) * | 2018-02-02 | 2023-05-19 | 삼성전자주식회사 | 복수의 생체 신호에 기반하여 건강 정보를 생성하는 전자 장치 및 이의 동작 방법 |
| WO2019236120A1 (en) * | 2018-06-05 | 2019-12-12 | Google Llc | Systems and methods of ultrasonic sensing in smart devices |
| US20200019690A1 (en) * | 2018-07-12 | 2020-01-16 | Electronics And Telecommunications Research Institute | Biometric authentication system and biometric authentication method using frequency response characteristics of biometric signal |
| JP7405769B2 (ja) * | 2018-12-28 | 2023-12-26 | 南 紀之 | 情報処理装置、情報処理方法、情報処理プログラム、および情報処理システム |
| WO2020136592A1 (ja) * | 2018-12-28 | 2020-07-02 | 南紀之 | 情報処理装置、情報処理方法、情報処理プログラム、および情報処理システム |
| US11997455B2 (en) | 2019-02-11 | 2024-05-28 | Koko Home, Inc. | System and method for processing multi-directional signals and feedback to a user to improve sleep |
| US11971503B2 (en) | 2019-02-19 | 2024-04-30 | Koko Home, Inc. | System and method for determining user activities using multiple sources |
| US10810850B2 (en) * | 2019-02-19 | 2020-10-20 | Koko Home, Inc. | System and method for state identity of a user and initiating feedback using multiple sources |
| JPWO2020235303A1 (ko) * | 2019-05-17 | 2020-11-26 | ||
| US11134900B2 (en) | 2019-07-23 | 2021-10-05 | KMZ Holdings LLC | System and method for diagnostic analysis of human body systems, organs, and cells |
| JP7419719B2 (ja) * | 2019-09-24 | 2024-01-23 | カシオ計算機株式会社 | 睡眠ステージ推定装置、睡眠ステージ推定方法及びプログラム |
| US11719804B2 (en) | 2019-09-30 | 2023-08-08 | Koko Home, Inc. | System and method for determining user activities using artificial intelligence processing |
| RU196533U1 (ru) * | 2019-11-28 | 2020-03-03 | Общество С Ограниченной Ответственностью "Яндекс" | Умная колонка с медианной фильтрацией значений tof-сенсора |
| US11875659B2 (en) | 2019-12-12 | 2024-01-16 | Google Llc | Privacy-preserving radar-based fall monitoring |
| US12089949B2 (en) | 2020-01-31 | 2024-09-17 | Resmed Sensor Technologies Limited | Sleep status detection for apnea-hypopnea index calculation |
| EP4097731A1 (en) | 2020-01-31 | 2022-12-07 | ResMed Sensor Technologies Limited | Systems and methods for reducing insomnia-related symptoms |
| CN115244624A (zh) | 2020-01-31 | 2022-10-25 | 瑞思迈传感器技术有限公司 | 用于请求数据同意的系统和方法 |
| KR102223294B1 (ko) * | 2020-02-20 | 2021-03-05 | 한국과학기술원 | 복수 사용자의 움직임 추적을 통한 인공지능 스피커와의 대화 상호작용 흐름 관리 기술 |
| CN115605959A (zh) | 2020-02-26 | 2023-01-13 | 瑞思迈传感器技术有限公司（Ie） | 用于水肿检测的方法和装置 |
| WO2021171266A1 (en) | 2020-02-27 | 2021-09-02 | Resmed Sensor Technologies Limited | Systems and methods for predicting alertness |
| WO2021176406A1 (en) | 2020-03-05 | 2021-09-10 | Resmed Sensor Technologies Limited | Systems and methods for increasing a sleepiness of individuals |
| EP4378506A3 (en) | 2020-03-06 | 2024-08-07 | ResMed Sensor Technologies Limited | Systems and methods for detecting an intentional leak characteristic curve for a respiratory therapy system |
| US11809151B1 (en) | 2020-03-27 | 2023-11-07 | Amazon Technologies, Inc. | Activity-based device recommendations |
| WO2021198871A1 (en) | 2020-03-28 | 2021-10-07 | Resmed Sensor Technologies Limited | User interface with integrated sensor |
| CN115802938A (zh) | 2020-03-31 | 2023-03-14 | 瑞思迈传感器技术有限公司 | 用于检测rem行为障碍的系统和方法 |
| US20230218845A1 (en) | 2020-03-31 | 2023-07-13 | Resmed Sensor Technologies Limited | Systems and methods for determining movement of a conduit |
| EP4125572A1 (en) | 2020-03-31 | 2023-02-08 | ResMed Sensor Technologies Limited | System and method for mapping an airway obstruction |
| CA3173464A1 (en) * | 2020-04-01 | 2021-10-07 | Omid SAYADI | Speech-controlled health monitoring systems and methods |
| US11240635B1 (en) | 2020-04-03 | 2022-02-01 | Koko Home, Inc. | System and method for processing using multi-core processors, signals, and AI processors from multiple sources to create a spatial map of selected region |
| US11184738B1 (en) | 2020-04-10 | 2021-11-23 | Koko Home, Inc. | System and method for processing using multi core processors, signals, and AI processors from multiple sources to create a spatial heat map of selected region |
| US20230148952A1 (en) | 2020-04-20 | 2023-05-18 | ResMed Asia Pte. Ltd. | Systems and methods for analyzing sleep-related parameters |
| CA3176352A1 (en) | 2020-04-21 | 2021-10-28 | Cary Chu | Systems and methods for improved accuracy of bullying or altercation detection or identification of excessive machine noise |
| AU2021265344A1 (en) | 2020-04-30 | 2022-12-08 | Resmed Sensor Technologies Limited | Systems and methods for promoting a sleep stage of a user |
| JP2023525691A (ja) | 2020-04-30 | 2023-06-19 | レズメド センサー テクノロジーズ リミテッド | 個人の身体的特徴を分析するためのシステム及び方法 |
| CN116018089A (zh) | 2020-04-30 | 2023-04-25 | 瑞思迈传感器技术有限公司 | 警觉性服务 |
| EP4153043A1 (en) | 2020-05-19 | 2023-03-29 | ResMed Sensor Technologies Limited | Methods and apparatus for detection and monitoring of health parameters |
| JP7529811B2 (ja) | 2020-06-05 | 2024-08-06 | レズメド センサー テクノロジーズ リミテッド | ユーザインタフェースを識別するシステム及び方法 |
| CA3181675A1 (en) | 2020-06-08 | 2021-12-16 | Graeme LYON | Systems and methods for categorizing and/or characterizing a user interface |
| EP4171356A1 (en) | 2020-06-26 | 2023-05-03 | ResMed Sensor Technologies Limited | Systems and methods for communicating an indication of a sleep-related event to a user |
| WO2022006183A1 (en) | 2020-06-30 | 2022-01-06 | ResMed Pty Ltd | Systems and methods for multi-component health scoring |
| JP2023536260A (ja) | 2020-07-30 | 2023-08-24 | レズメド インコーポレイテッド | 呼吸システムユーザに対してローカルにあるデバイスにより、健康状態を決定するためのシステム及び方法 |
| US20240042149A1 (en) | 2020-07-31 | 2024-02-08 | Resmed Sensor Technologies Limited | Systems and methods for determining movement during respiratory therapy |
| US11406281B2 (en) | 2020-08-11 | 2022-08-09 | Google Llc | Contactless cough detection and attribution |
| US11832961B2 (en) | 2020-08-11 | 2023-12-05 | Google Llc | Contactless sleep detection and disturbance attribution |
| US11754676B2 (en) | 2020-08-11 | 2023-09-12 | Google Llc | Precision sleep tracking using a contactless sleep tracking device |
| US11808839B2 (en) | 2020-08-11 | 2023-11-07 | Google Llc | Initializing sleep tracking on a contactless health tracking device |
| US12070324B2 (en) | 2020-08-11 | 2024-08-27 | Google Llc | Contactless sleep detection and disturbance attribution for multiple users |
| US20220054039A1 (en) * | 2020-08-20 | 2022-02-24 | Samsung Electronics Co., Ltd. | Breathing measurement and management using an electronic device |
| EP4203782B1 (en) * | 2020-08-28 | 2024-06-12 | Google LLC | Contactless device for respiratory health monitoring |
| US11441805B2 (en) * | 2020-08-28 | 2022-09-13 | Google Llc | Thermostat control using touch sensor gesture based input |
| US11360252B2 (en) | 2020-08-28 | 2022-06-14 | Google Llc | Partially-reflective cover for a smart home device |
| WO2022047339A1 (en) | 2020-08-31 | 2022-03-03 | Resmed Corp. | Systems and methods for pre-symptomatic disease detection |
| US20240145085A1 (en) | 2020-08-31 | 2024-05-02 | ResMed Pty Ltd | Systems and methods for determining a recommended therapy for a user |
| JP2023544515A (ja) | 2020-09-18 | 2023-10-24 | レズメド センサー テクノロジーズ リミテッド | 呼吸治療システムのユーザを支援するためのシステム及び方法 |
| JP2023544119A (ja) | 2020-09-18 | 2023-10-20 | レズメド センサー テクノロジーズ リミテッド | 併存疾患を監視するシステム及び方法 |
| CN112152728B (zh) * | 2020-09-18 | 2021-07-27 | 西北农林科技大学 | 一种面向行为感知的便捷超声多路收发硬件系统 |
| WO2022060369A1 (en) * | 2020-09-21 | 2022-03-24 | Google Llc | Smart home device using a single radar transmission mode for activity recognition of active users and vital sign monitoring of inactive users |
| CN113440103B (zh) * | 2020-09-22 | 2023-01-10 | 广东人联网电子商务有限公司 | 基于大数据的睡眠质量监测系统 |
| WO2022064449A2 (en) | 2020-09-25 | 2022-03-31 | Resmed Sensor Technologies Limited | Systems and methods for diagnosing operational issues in a respiratory system |
| EP4225230A1 (en) | 2020-10-09 | 2023-08-16 | ResMed Sensor Technologies Limited | Automatic oral appliance adjustment |
| WO2022091034A1 (en) | 2020-10-30 | 2022-05-05 | Resmed Sensor Technologies Limited | Systems and methods for determining a length and/or a diameter of a conduit |
| EP4248458A1 (en) | 2020-11-20 | 2023-09-27 | ResMed Sensor Technologies Limited | Systems and methods for monitoring a comfort level of an individual |
| EP4251039A4 (en) * | 2020-11-27 | 2024-10-02 | Resmed Inc | SYSTEMS AND METHODS FOR GENERATING IMAGE DATA ASSOCIATED WITH A SLEEP-RELATED EVENT |
| WO2022113027A1 (en) | 2020-11-27 | 2022-06-02 | Resmed Sensor Technologies Limited | Systems and methods for identifying user body position during respiratory therapy |
| CN116685867A (zh) | 2020-12-01 | 2023-09-01 | 舒尔获得控股公司 | 声学距离测距系统 |
| US11256878B1 (en) * | 2020-12-04 | 2022-02-22 | Zaps Labs, Inc. | Directed sound transmission systems and methods |
| CN116888684A (zh) | 2020-12-18 | 2023-10-13 | 瑞思迈传感器技术有限公司 | 群组睡眠表现评估 |
| EP4267223B1 (en) | 2020-12-23 | 2024-08-21 | ResMed Sensor Technologies Limited | Systems and methods for detecting rainout in a respiratory therapy system |
| WO2022137065A1 (en) | 2020-12-23 | 2022-06-30 | Resmed Sensor Technologies Limited | Systems and methods for detecting occlusions in headgear conduits during respiratory therapy |
| CN117042693A (zh) * | 2021-01-25 | 2023-11-10 | Med-El电子医疗设备有限公司 | 基于人体内bm延迟的优化声学啁啾 |
| WO2022162589A1 (en) | 2021-01-29 | 2022-08-04 | Resmed Sensor Technologies Limited | Systems and methods for estimating a subjective comfort level |
| DE102021201310A1 (de) * | 2021-02-11 | 2022-08-11 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Bereitstellen einer Alarmanlagenfunktion in einem mobilen Gerät und mobiles Gerät, insbesondere Mobiltelefon oder Tabletcomputer |
| US20220268925A1 (en) * | 2021-02-23 | 2022-08-25 | Google Llc | Presence detection using ultrasonics and audible sound |
| WO2022208368A1 (en) | 2021-03-31 | 2022-10-06 | Resmed Sensor Technologies Limited | Systems and methods for managing blood pressure conditions of a user of a respiratory therapy system |
| CN113091257B (zh) * | 2021-04-06 | 2023-05-16 | 青岛海尔空调器有限总公司 | 空调的控制方法、装置、设备和存储介质 |
| US20240181185A1 (en) | 2021-04-16 | 2024-06-06 | Resmed Sensor Technologies Limited | Systems and methods for characterizing a urser interface or a vent using acoustic data associated with the vent |
| EP4329848A1 (en) | 2021-04-29 | 2024-03-06 | ResMed Sensor Technologies Limited | Systems and methods for modifying pressure settings of a respiratory therapy system |
| WO2022249013A1 (en) | 2021-05-24 | 2022-12-01 | Resmed Sensor Technologies Limited | Systems and methods for determining a sleep stage of an individual |
| US20240335630A1 (en) | 2021-06-30 | 2024-10-10 | Resmed Digital Health Inc. | Systems and methods for characterizing a conduit in a respiratory therapy system |
| US20240282182A1 (en) | 2021-08-05 | 2024-08-22 | Signify Holding B.V. | Apparatus for controlling radiofrequency sensing |
| CN118202422A (zh) | 2021-08-30 | 2024-06-14 | 瑞思迈数字健康公司 | 针对失眠的生物反馈认知行为疗法 |
| CN118215969A (zh) | 2021-08-30 | 2024-06-18 | 瑞思迈数字健康公司 | 智能呼吸夹带 |
| CN113707146A (zh) * | 2021-08-31 | 2021-11-26 | 北京达佳互联信息技术有限公司 | 信息交互方法和信息交互装置 |
| TWI845871B (zh) * | 2021-10-29 | 2024-06-21 | 緯創資通股份有限公司 | 資料前處理方法與運動生理感測雷達 |
| NO347534B1 (en) * | 2021-11-05 | 2023-12-11 | Elliptic Laboratories Asa | Person or object detection |
| CN118647308A (zh) | 2021-11-10 | 2024-09-13 | 瑞思迈数字健康公司 | 增强的可佩戴感测 |
| WO2023126840A1 (en) | 2021-12-30 | 2023-07-06 | Resmed Sensor Technologies Limited | Systems and methods for monitoring the use of a respiratory therapy system by an individual with diabetes |
| NO20220132A1 (en) * | 2022-01-26 | 2023-07-27 | Elliptic Laboratories As | Improved presence detection |
| CN114913671A (zh) * | 2022-03-28 | 2022-08-16 | 山东浪潮科学研究院有限公司 | 一种基于边缘计算的老人看护方法及系统 |
| WO2023187686A1 (en) | 2022-03-30 | 2023-10-05 | ResMed Pty Ltd | Systems and methods for determining a positional sleep disordered breathing status |
| NO347269B1 (en) * | 2022-03-31 | 2023-08-21 | Elliptic Laboratories Asa | Dynamic sampling rate |
| WO2023192481A1 (en) | 2022-03-31 | 2023-10-05 | Resmed Inc. | Methods and systems for an overall health score |
| WO2023194167A1 (en) * | 2022-04-04 | 2023-10-12 | Signify Holding B.V. | System for performing a sound-based sensing of a subject in a sensing area |
| CN114782945A (zh) * | 2022-04-19 | 2022-07-22 | 西安医学院 | 一种智能交互型运动员投篮姿态矫正系统 |
| WO2024020106A1 (en) | 2022-07-22 | 2024-01-25 | ResMed Pty Ltd | Systems and methods for determining sleep scores based on images |
| WO2024020231A1 (en) | 2022-07-22 | 2024-01-25 | Resmed Digital Health Inc. | Systems and methods for selectively adjusting the sleeping position of a user |
| WO2024023743A1 (en) | 2022-07-28 | 2024-02-01 | Resmed Sensor Technologies Limited | Systems for detecting a leak in a respiratory therapy system |
| WO2024039569A1 (en) | 2022-08-17 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for determining a risk factor for a condition |
| WO2024039742A1 (en) | 2022-08-19 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for presenting dynamic avatars |
| WO2024039752A1 (en) | 2022-08-19 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for determining matches based on sleep information |
| WO2024039774A1 (en) | 2022-08-19 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for collaborative sleep therapy usage |
| WO2024039890A1 (en) | 2022-08-19 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for determining a user interface type |
| WO2024039751A1 (en) | 2022-08-19 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for providing a sleep therapy community |
| WO2024049704A1 (en) | 2022-08-30 | 2024-03-07 | Resmed Digital Health Inc. | Systems and methods for pulmonary function testing on respiratory therapy devices |
| WO2024064028A1 (en) * | 2022-09-21 | 2024-03-28 | Reach Power, Inc. | System and method for wireless power transmission and/or field detection |
| WO2024069436A1 (en) | 2022-09-27 | 2024-04-04 | Resmed Sensor Technologies Limited | Systems and methods for analyzing sounds made by an individual during a sleep session |
| WO2024069500A1 (en) | 2022-09-29 | 2024-04-04 | Resmed Sensor Technologies Limited | Systems and methods for cardiogenic oscillation detection |
| WO2024127844A1 (ja) * | 2022-12-14 | 2024-06-20 | 住友理工株式会社 | モビリティ利用者に対する健康情報サービス提供装置、および搭乗者の健康情報サービス提供装置 |
| WO2024134555A1 (en) | 2022-12-20 | 2024-06-27 | Resmed Sensor Technologies Limited | Diagnostic headband |
| WO2024154086A1 (en) | 2023-01-18 | 2024-07-25 | Resmed Sensor Technologies Limited | Systems and methods for characterizing a user interface using flow generator data |
Family Cites Families (85)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE39539E1 (en) | 1996-08-19 | 2007-04-03 | Torch William C | System and method for monitoring eye movement |
| US6661345B1 (en) | 1999-10-22 | 2003-12-09 | The Johns Hopkins University | Alertness monitoring system |
| JP3980868B2 (ja) | 2001-11-02 | 2007-09-26 | パイオニア株式会社 | 車両自動誘導システム、車両自動誘導システムにおける制御装置、車両自動誘導方法および自動誘導処理プログラム。 |
| US7020508B2 (en) * | 2002-08-22 | 2006-03-28 | Bodymedia, Inc. | Apparatus for detecting human physiological and contextual information |
| US6996394B2 (en) * | 2002-08-30 | 2006-02-07 | Qualcomm Incorporated | Server processing in providing messages for a wireless device connecting to a server |
| DE10259522A1 (de) * | 2002-12-19 | 2004-07-01 | Robert Bosch Gmbh | Radargestützte Sensierung von Lage und/oder Bewegung des Körpers oder im Körper von Lebewesen |
| ATE391978T1 (de) | 2003-05-08 | 2008-04-15 | Koninkl Philips Electronics Nv | Notfallmeldesystem, notfallmeldesystem ermöglichendes körperliches netz, verfahren zur meldung einer notlage und fahrzeug ausgestattet mit einem notfallmeldesystem |
| US9779751B2 (en) * | 2005-12-28 | 2017-10-03 | Breath Research, Inc. | Respiratory biofeedback devices, systems, and methods |
| US20080074307A1 (en) | 2006-05-17 | 2008-03-27 | Olga Boric-Lubecke | Determining presence and/or physiological motion of one or more subjects within a doppler radar system |
| US8562526B2 (en) | 2006-06-01 | 2013-10-22 | Resmed Sensor Technologies Limited | Apparatus, system, and method for monitoring physiological signs |
| JP5628520B2 (ja) | 2006-11-01 | 2014-11-19 | レスメッド センサー テクノロジーズ リミテッド | 心肺パラメータモニタ用システム |
| US8078334B2 (en) | 2007-01-23 | 2011-12-13 | Alan Goodrich | Unobtrusive system and method for monitoring the physiological condition of a target user of a vehicle |
| IL186768A0 (en) * | 2007-10-18 | 2008-02-09 | Shaked Rahamim | Infant apnea detector and system |
| JP5386867B2 (ja) | 2008-07-03 | 2014-01-15 | 日産自動車株式会社 | 人体状態判定装置及びその作動方法 |
| DE102008038022B4 (de) | 2008-08-16 | 2018-05-24 | Daimler Ag | Weckeinrichtung |
| KR101850855B1 (ko) | 2008-09-24 | 2018-04-20 | 레스메드 센서 테크놀로지스 리미티드 | 평가 및 조정을 위한 삶의 질 변수의 비접촉 및 최소접촉 모니터링 |
| US9526429B2 (en) | 2009-02-06 | 2016-12-27 | Resmed Sensor Technologies Limited | Apparatus, system and method for chronic disease monitoring |
| US8525679B2 (en) | 2009-09-18 | 2013-09-03 | Hill-Rom Services, Inc. | Sensor control for apparatuses for supporting and monitoring a person |
| WO2011140993A1 (zh) | 2010-05-12 | 2011-11-17 | 北京星河易达科技有限公司 | 基于综合状态检测的智能交通安全系统及其决策方法 |
| EP2618733B1 (en) | 2010-09-22 | 2018-01-31 | Koninklijke Philips N.V. | Method and apparatus for monitoring the respiration activity of a subject |
| JP5454703B2 (ja) | 2010-11-08 | 2014-03-26 | トヨタ自動車株式会社 | 睡眠状態推定装置 |
| EP2648618B1 (en) * | 2010-12-10 | 2021-07-14 | Joyson Safety Systems Acquisition LLC | System for monitoring a vehicle driver |
| JP5734740B2 (ja) | 2011-05-23 | 2015-06-17 | 株式会社豊田中央研究所 | 弾性波検出装置及び弾性波検出プログラム |
| US9737261B2 (en) * | 2012-04-13 | 2017-08-22 | Adidas Ag | Wearable athletic activity monitoring systems |
| EP2854636B1 (en) | 2012-05-30 | 2019-08-21 | ResMed Sensor Technologies Limited | Method and apparatus for monitoring cardio-pulmonary health |
| US20130345921A1 (en) | 2012-06-22 | 2013-12-26 | Masimo Corporation | Physiological monitoring of moving vehicle operators |
| US9445729B2 (en) | 2012-07-20 | 2016-09-20 | Resmed Sensor Technologies Limited | Range gated radio frequency physiology sensor |
| WO2014047310A1 (en) | 2012-09-19 | 2014-03-27 | Resmed Sensor Technologies Limited | System and method for determining sleep stage |
| JP6188332B2 (ja) | 2013-01-21 | 2017-08-30 | 東芝メディカルシステムズ株式会社 | 医用画像表示装置及びプログラム |
| US9430938B2 (en) | 2013-03-04 | 2016-08-30 | Hello Inc. | Monitoring device with selectable wireless communication |
| US20140276165A1 (en) * | 2013-03-14 | 2014-09-18 | Covidien Lp | Systems and methods for identifying patient talking during measurement of a physiological parameter |
| US9751534B2 (en) | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
| US10004451B1 (en) * | 2013-06-21 | 2018-06-26 | Fitbit, Inc. | User monitoring system |
| US9993166B1 (en) | 2013-06-21 | 2018-06-12 | Fitbit, Inc. | Monitoring device using radar and measuring motion with a non-contact device |
| US10009581B2 (en) | 2015-01-02 | 2018-06-26 | Fitbit, Inc. | Room monitoring device |
| WO2015006364A2 (en) | 2013-07-08 | 2015-01-15 | Resmed Sensor Technologies Limited | Method and system for sleep management |
| US8874301B1 (en) | 2013-07-09 | 2014-10-28 | Ford Global Technologies, Llc | Autonomous vehicle with driver presence and physiological monitoring |
| CN105793923A (zh) * | 2013-09-20 | 2016-07-20 | 亚马逊技术股份有限公司 | 本地和远程语音处理 |
| NZ630770A (en) | 2013-10-09 | 2016-03-31 | Resmed Sensor Technologies Ltd | Fatigue monitoring and management system |
| US9936916B2 (en) * | 2013-10-09 | 2018-04-10 | Nedim T. SAHIN | Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device |
| US11318275B2 (en) | 2013-10-30 | 2022-05-03 | ResMed Pty Ltd | Control for pressure of a patient interface |
| KR101610443B1 (ko) | 2013-12-20 | 2016-04-20 | 현대자동차주식회사 | 운전 보조 장치 및 운전 보조 방법 |
| US9645786B2 (en) | 2014-01-06 | 2017-05-09 | Avnera Corporation | Gesture-controlled tabletop speaker system |
| WO2016021236A1 (ja) | 2014-08-07 | 2016-02-11 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法 |
| RS20140182A1 (en) | 2014-04-14 | 2015-10-30 | Novelic D.O.O. | RADAR SENSOR FOR DRIVER DETECTION DETECTION OPERATING IN MILLIMETER FREQUENCY AND OPERATION METHOD |
| EP4029441A1 (en) | 2014-05-26 | 2022-07-20 | ResMed Sensor Technologies Limited | Methods and apparatus for monitoring chronic disease |
| US9717427B2 (en) * | 2014-05-30 | 2017-08-01 | Microsoft Technology Licensing, Llc | Motion based estimation of biometric signals |
| WO2015192980A1 (de) | 2014-06-20 | 2015-12-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, verfahren und computerprogramm zur detektion eines sekundenschlafs |
| CN204306833U (zh) | 2014-11-03 | 2015-05-06 | 沈阳正道安全科技股份有限公司 | 一种车载红外疲劳检测装置 |
| FR3028741B1 (fr) * | 2014-11-25 | 2019-06-14 | Psa Automobiles Sa. | Dispositif de mesure du rythme cardiaque du conducteur d’un vehicule |
| JP6757532B2 (ja) | 2014-12-05 | 2020-09-23 | 東京都公立大学法人 | 睡眠段階判定装置、睡眠段階判定方法、睡眠段階判定プログラム |
| EP3229694B1 (en) * | 2014-12-08 | 2024-08-14 | University of Washington | Methods of identifying motion of a subject |
| US9489817B2 (en) | 2015-01-29 | 2016-11-08 | Vigo Technologies, Inc. | Infrared sensing of eye and eyelid movements to detect drowsiness |
| EP3268881B1 (en) * | 2015-03-09 | 2022-05-11 | Koninklijke Philips N.V. | Method and wearable device for obtaining audio data for diagnosis |
| NZ734910A (en) | 2015-03-13 | 2022-04-29 | ResMed Pty Ltd | Respiratory therapy apparatus and method |
| US10159421B2 (en) | 2015-03-30 | 2018-12-25 | Resmed Sensor Technologies Limited | Detection of periodic breathing |
| JP6412458B2 (ja) | 2015-03-31 | 2018-10-24 | セコム株式会社 | 超音波センサ |
| CN114545355A (zh) | 2015-04-20 | 2022-05-27 | 瑞思迈传感器技术有限公司 | 由特征信号对人类的检测和识别 |
| WO2016170011A1 (en) | 2015-04-20 | 2016-10-27 | Resmed Sensor Technologies Limited | Gesture recognition with sensors |
| JP2018519029A (ja) | 2015-05-27 | 2018-07-19 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 多要素無線周波数アンテナによる動き検出 |
| US9618936B2 (en) | 2015-06-04 | 2017-04-11 | Delphi Technologies, Inc. | Automated vehicle control-rule selection based on operator state-of-awareness |
| KR20170015113A (ko) | 2015-07-30 | 2017-02-08 | 삼성전자주식회사 | 자율 주행 차량을 제어하는 장치 및 방법 |
| CN106406925A (zh) * | 2015-08-03 | 2017-02-15 | 阿里巴巴集团控股有限公司 | 用于支持在线升级的设备和方法 |
| JP2018531370A (ja) | 2015-08-14 | 2018-10-25 | レスメッド センサー テクノロジーズ リミテッド | デジタルレンジゲート無線周波数センサー |
| EP3337388B1 (en) | 2015-08-17 | 2022-09-28 | ResMed Sensor Technologies Limited | Screener for sleep disordered breathing |
| EP3340876A2 (en) | 2015-08-26 | 2018-07-04 | ResMed Sensor Technologies Limited | Systems and methods for monitoring and management of chronic disease |
| JP6599723B2 (ja) | 2015-10-01 | 2019-10-30 | ヘルスセンシング株式会社 | 生体情報取得装置及び信号処理方法 |
| WO2017097907A1 (en) | 2015-12-08 | 2017-06-15 | Resmed Limited | Non-contact diagnosis and monitoring of sleep disorders |
| WO2017098609A1 (ja) | 2015-12-09 | 2017-06-15 | 富士通株式会社 | センサシステム、センサ情報処理装置、センサ情報処理プログラム、及び、ベッド |
| US11202585B2 (en) | 2015-12-10 | 2021-12-21 | Georgia Tech Research Corporation | Multi-carrier noncontact signal detection with noise suppression based on a phase-locked loop |
| DE102015122245A1 (de) | 2015-12-18 | 2017-06-22 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Betreiben eines Kraftfahrzeugs mit einerZustandsüberwachungseinrichtung, Fahrerassistenzsystem und Kraftfahrzeug |
| US10171971B2 (en) * | 2015-12-21 | 2019-01-01 | Skullcandy, Inc. | Electrical systems and related methods for providing smart mobile electronic device features to a user of a wearable device |
| US10386482B2 (en) | 2016-01-25 | 2019-08-20 | Board Of Regents, The University Of Texas System | Device-free tracking system that accurately tracks hand movement |
| US10059287B2 (en) | 2016-02-17 | 2018-08-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for enhanced comfort prediction |
| US9500489B1 (en) | 2016-03-03 | 2016-11-22 | Mitac International Corp. | Method of adjusting a navigation route based on detected passenger sleep data and related system |
| US11234675B2 (en) | 2016-03-28 | 2022-02-01 | Robert Bosch Gmbh | Sonar-based contactless vital and environmental monitoring system and method |
| WO2018033574A1 (en) | 2016-08-16 | 2018-02-22 | Resmed Sensor Technologies Limited | Digital radio frequency motion detection sensor |
| JP7110183B2 (ja) | 2016-09-19 | 2022-08-01 | レスメッド センサー テクノロジーズ リミテッド | 音声信号およびマルチモード信号から生理学的動きを検出するための装置、システムおよび方法 |
| KR102463705B1 (ko) | 2017-03-13 | 2022-11-07 | 현대자동차주식회사 | 차량의 수면 보조 장치, 그를 포함한 시스템 및 그 방법 |
| US10673479B2 (en) | 2017-03-28 | 2020-06-02 | Qualcomm Incorporated | Range-based transmission parameter adjustment |
| US10166438B2 (en) * | 2017-04-11 | 2019-01-01 | Motorola Mobility Llc | Apparatus, method, and program product for tracking physical activity |
| GB2567826B (en) | 2017-10-24 | 2023-04-26 | Cambridge Cognition Ltd | System and method for assessing physiological state |
| US20190133511A1 (en) | 2017-11-09 | 2019-05-09 | Lear Corporation | Occupant motion sickness sensing |
| CN108113706B (zh) | 2017-12-19 | 2021-01-05 | 清华大学无锡应用技术研究院 | 一种基于音频信号的心率监测方法、装置及系统 |
| EP3727135B1 (en) | 2017-12-22 | 2024-02-28 | ResMed Sensor Technologies Limited | Apparatus, system, and method for motion sensing |
-
2018
- 2018-12-21 EP EP18833244.9A patent/EP3727135B1/en active Active
- 2018-12-21 WO PCT/EP2018/086764 patent/WO2019122413A1/en unknown
- 2018-12-21 JP JP2020534898A patent/JP7464522B2/ja active Active
- 2018-12-21 KR KR1020207021041A patent/KR20200103749A/ko not_active Application Discontinuation
- 2018-12-21 CN CN201880087497.1A patent/CN111629658B/zh active Active
- 2018-12-21 US US15/733,162 patent/US11615688B2/en active Active
- 2018-12-21 EP EP24159813.5A patent/EP4349250A3/en active Pending
- 2018-12-21 CN CN202311100433.XA patent/CN116898406A/zh active Pending
-
2023
- 2023-03-03 US US18/177,889 patent/US12033485B2/en active Active
-
2024
- 2024-03-28 JP JP2024053605A patent/JP2024104301A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3975203A1 (en) * | 2020-09-28 | 2022-03-30 | Hill-Rom Services, Inc. | Voice control in a healthcare facility |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111629658B (zh) | 2023-09-15 |
| CN111629658A (zh) | 2020-09-04 |
| US20240005768A1 (en) | 2024-01-04 |
| EP3727135A1 (en) | 2020-10-28 |
| EP4349250A2 (en) | 2024-04-10 |
| EP4349250A3 (en) | 2024-06-26 |
| CN116898406A (zh) | 2023-10-20 |
| US20210150873A1 (en) | 2021-05-20 |
| JP2024104301A (ja) | 2024-08-02 |
| EP3727135B1 (en) | 2024-02-28 |
| US12033485B2 (en) | 2024-07-09 |
| JP7464522B2 (ja) | 2024-04-09 |
| US11615688B2 (en) | 2023-03-28 |
| JP2021507775A (ja) | 2021-02-25 |
| WO2019122413A1 (en) | 2019-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12033485B2 (en) | Apparatus, system, and method for motion sensing | |
| KR102658390B1 (ko) | 건강 및 의료 감지를 위한 장치, 시스템, 및 방법 | |
| KR102649497B1 (ko) | 차량에서의 생리학적 감지를 위한 장치, 시스템, 및 방법 | |
| JP7273909B2 (ja) | 特性信号から人間の検出及び識別 | |
| AU2021265344A1 (en) | Systems and methods for promoting a sleep stage of a user | |
| WO2020104465A2 (en) | Methods and apparatus for detection of disordered breathing | |
| JP2023539060A (ja) | 非接触型睡眠検出および障害帰属 | |
| US20220047209A1 (en) | Contactless sleep detection and disturbance attribution for multiple users | |
| US20240350077A1 (en) | Contactless sleep detection and disturbance attribution for multiple users |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal |