JP2024021088A - セキュリティを保証するための無線監視のための方法、装置、およびシステム - Google Patents
セキュリティを保証するための無線監視のための方法、装置、およびシステム Download PDFInfo
- Publication number
- JP2024021088A JP2024021088A JP2021163689A JP2021163689A JP2024021088A JP 2024021088 A JP2024021088 A JP 2024021088A JP 2021163689 A JP2021163689 A JP 2021163689A JP 2021163689 A JP2021163689 A JP 2021163689A JP 2024021088 A JP2024021088 A JP 2024021088A
- Authority
- JP
- Japan
- Prior art keywords
- user
- mode
- wireless
- monitoring
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 617
- 238000012544 monitoring process Methods 0.000 title claims abstract description 346
- 230000033001 locomotion Effects 0.000 claims abstract description 1139
- 230000004044 response Effects 0.000 claims abstract description 135
- 230000005021 gait Effects 0.000 claims description 397
- 238000004458 analytical method Methods 0.000 claims description 129
- 230000008859 change Effects 0.000 claims description 91
- 230000003993 interaction Effects 0.000 claims description 69
- 238000001914 filtration Methods 0.000 claims description 66
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 51
- 230000006399 behavior Effects 0.000 claims description 46
- 238000003860 storage Methods 0.000 claims description 45
- 230000002123 temporal effect Effects 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 36
- 230000009183 running Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 29
- 230000000977 initiatory effect Effects 0.000 claims description 26
- 230000005540 biological transmission Effects 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 21
- 230000007958 sleep Effects 0.000 claims description 19
- 230000003213 activating effect Effects 0.000 claims description 14
- 230000035945 sensitivity Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 10
- ZRHANBBTXQZFSP-UHFFFAOYSA-M potassium;4-amino-3,5,6-trichloropyridine-2-carboxylate Chemical compound [K+].NC1=C(Cl)C(Cl)=NC(C([O-])=O)=C1Cl ZRHANBBTXQZFSP-UHFFFAOYSA-M 0.000 claims description 10
- 238000003825 pressing Methods 0.000 claims description 9
- 239000000779 smoke Substances 0.000 claims description 8
- 230000001755 vocal effect Effects 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 4
- 241000282414 Homo sapiens Species 0.000 abstract description 103
- 230000006870 function Effects 0.000 description 302
- 238000001514 detection method Methods 0.000 description 244
- 238000012360 testing method Methods 0.000 description 234
- 230000001133 acceleration Effects 0.000 description 184
- 238000005311 autocorrelation function Methods 0.000 description 133
- 238000005259 measurement Methods 0.000 description 132
- 230000015654 memory Effects 0.000 description 112
- 239000000523 sample Substances 0.000 description 106
- 230000009184 walking Effects 0.000 description 93
- 238000012549 training Methods 0.000 description 89
- 230000000694 effects Effects 0.000 description 88
- 230000004888 barrier function Effects 0.000 description 70
- 238000012545 processing Methods 0.000 description 69
- 239000013598 vector Substances 0.000 description 52
- 239000000047 product Substances 0.000 description 49
- 238000009826 distribution Methods 0.000 description 48
- 230000009466 transformation Effects 0.000 description 46
- 230000000875 corresponding effect Effects 0.000 description 45
- 239000000284 extract Substances 0.000 description 45
- 238000013459 approach Methods 0.000 description 41
- 238000000354 decomposition reaction Methods 0.000 description 31
- 238000012795 verification Methods 0.000 description 31
- 230000000737 periodic effect Effects 0.000 description 29
- 238000013528 artificial neural network Methods 0.000 description 26
- 238000004422 calculation algorithm Methods 0.000 description 25
- 238000000605 extraction Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 25
- 210000003127 knee Anatomy 0.000 description 24
- 230000003044 adaptive effect Effects 0.000 description 23
- 230000003252 repetitive effect Effects 0.000 description 21
- 238000004378 air conditioning Methods 0.000 description 20
- 238000005457 optimization Methods 0.000 description 20
- 230000001020 rhythmical effect Effects 0.000 description 20
- 238000012937 correction Methods 0.000 description 19
- 230000007613 environmental effect Effects 0.000 description 19
- 230000007246 mechanism Effects 0.000 description 18
- 238000013527 convolutional neural network Methods 0.000 description 17
- 230000005484 gravity Effects 0.000 description 17
- 239000000463 material Substances 0.000 description 17
- 230000036961 partial effect Effects 0.000 description 17
- 101000825071 Homo sapiens Sclerostin domain-containing protein 1 Proteins 0.000 description 15
- 102100022432 Sclerostin domain-containing protein 1 Human genes 0.000 description 15
- 238000007726 management method Methods 0.000 description 15
- 239000002245 particle Substances 0.000 description 15
- 230000003068 static effect Effects 0.000 description 15
- 239000003826 tablet Substances 0.000 description 15
- 238000012935 Averaging Methods 0.000 description 14
- 230000002354 daily effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 14
- 238000013480 data collection Methods 0.000 description 13
- 210000002683 foot Anatomy 0.000 description 13
- 238000000513 principal component analysis Methods 0.000 description 13
- 238000000926 separation method Methods 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 13
- 238000013135 deep learning Methods 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 12
- 230000000306 recurrent effect Effects 0.000 description 12
- 230000009467 reduction Effects 0.000 description 12
- 230000033764 rhythmic process Effects 0.000 description 12
- 238000013136 deep learning model Methods 0.000 description 11
- 239000006185 dispersion Substances 0.000 description 11
- 230000004927 fusion Effects 0.000 description 11
- 238000012880 independent component analysis Methods 0.000 description 11
- 230000001052 transient effect Effects 0.000 description 11
- 230000004913 activation Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 10
- 230000000903 blocking effect Effects 0.000 description 10
- 238000013139 quantization Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 230000001360 synchronised effect Effects 0.000 description 10
- 238000007476 Maximum Likelihood Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 9
- 238000009434 installation Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 9
- 230000011664 signaling Effects 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 8
- 230000003247 decreasing effect Effects 0.000 description 8
- 238000009499 grossing Methods 0.000 description 8
- 230000001976 improved effect Effects 0.000 description 8
- 230000004807 localization Effects 0.000 description 8
- 230000027387 rhythmic behavior Effects 0.000 description 8
- 238000009423 ventilation Methods 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 150000001875 compounds Chemical class 0.000 description 7
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 7
- 230000004069 differentiation Effects 0.000 description 7
- 230000036541 health Effects 0.000 description 7
- 230000007774 longterm Effects 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 229910052782 aluminium Inorganic materials 0.000 description 6
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 6
- 238000003491 array Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 6
- 235000019504 cigarettes Nutrition 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 6
- 239000011888 foil Substances 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 210000002414 leg Anatomy 0.000 description 6
- 230000008520 organization Effects 0.000 description 6
- 230000001902 propagating effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000002604 ultrasonography Methods 0.000 description 6
- 238000012952 Resampling Methods 0.000 description 5
- 206010044565 Tremor Diseases 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 230000003750 conditioning effect Effects 0.000 description 5
- 238000010411 cooking Methods 0.000 description 5
- 230000003203 everyday effect Effects 0.000 description 5
- 239000012530 fluid Substances 0.000 description 5
- 235000013305 food Nutrition 0.000 description 5
- 230000004886 head movement Effects 0.000 description 5
- 238000010438 heat treatment Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 229910052751 metal Inorganic materials 0.000 description 5
- 239000002184 metal Substances 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000012797 qualification Methods 0.000 description 5
- 238000013112 stability test Methods 0.000 description 5
- 238000000844 transformation Methods 0.000 description 5
- 241000269400 Sirenidae Species 0.000 description 4
- 239000000654 additive Substances 0.000 description 4
- 230000000996 additive effect Effects 0.000 description 4
- 239000002390 adhesive tape Substances 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000004146 energy storage Methods 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000008449 language Effects 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 239000007788 liquid Substances 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013450 outlier detection Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000013439 planning Methods 0.000 description 4
- 238000013442 quality metrics Methods 0.000 description 4
- 230000000241 respiratory effect Effects 0.000 description 4
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 4
- 239000004984 smart glass Substances 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000012614 Monte-Carlo sampling Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 244000144980 herd Species 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 210000001260 vocal cord Anatomy 0.000 description 3
- 230000036642 wellbeing Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 239000004820 Pressure-sensitive adhesive Substances 0.000 description 2
- 238000012884 algebraic function Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 235000021152 breakfast Nutrition 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 235000019994 cava Nutrition 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 239000001679 citrus red 2 Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 238000011173 large scale experimental method Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 150000002739 metals Chemical class 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 235000013550 pizza Nutrition 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 238000012892 rational function Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000008080 stochastic effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- JIAARYAFYJHUJI-UHFFFAOYSA-L zinc dichloride Chemical compound [Cl-].[Cl-].[Zn+2] JIAARYAFYJHUJI-UHFFFAOYSA-L 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 241000251468 Actinopterygii Species 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 239000004229 Alkannin Substances 0.000 description 1
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 239000004230 Fast Yellow AB Substances 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101000893100 Homo sapiens Protein fantom Proteins 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 239000004235 Orange GGN Substances 0.000 description 1
- 206010033557 Palpitations Diseases 0.000 description 1
- 239000004231 Riboflavin-5-Sodium Phosphate Substances 0.000 description 1
- 206010041235 Snoring Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 239000004234 Yellow 2G Substances 0.000 description 1
- BPKGOZPBGXJDEP-UHFFFAOYSA-N [C].[Zn] Chemical compound [C].[Zn] BPKGOZPBGXJDEP-UHFFFAOYSA-N 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000012237 artificial material Substances 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 239000004176 azorubin Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008275 binding mechanism Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000002612 cardiopulmonary effect Effects 0.000 description 1
- 239000004106 carminic acid Substances 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 239000004927 clay Substances 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000012885 constant function Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 239000004148 curcumin Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000030808 detection of mechanical stimulus involved in sensory perception of sound Effects 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000001667 episodic effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000009187 flying Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000004880 lymph fluid Anatomy 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000005404 monopole Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- -1 photo frames Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 230000005158 plant movement Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 239000004172 quinoline yellow Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000002151 riboflavin Substances 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000011896 sensitive detection Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 230000008667 sleep stage Effects 0.000 description 1
- 238000009450 smart packaging Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000004173 sunset yellow FCF Substances 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000004149 tartrazine Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 210000000515 tooth Anatomy 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
- 235000005074 zinc chloride Nutrition 0.000 description 1
- 239000011592 zinc chloride Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/003—Bistatic radar systems; Multistatic radar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
- G01S7/006—Transmission of data between radar, sonar or lidar systems and remote stations using shared front-end circuitry, e.g. antennas
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Alarm Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Burglar Alarm Systems (AREA)
Abstract
【課題】無線監視、移動追跡、人認識および音響センシングのための方法、装置及びシステムを開示する。【解決手段】場所のマルチパスチャネルを通して第1の無線信号を送信するように構成された送信機と、無線マルチパスチャネルを介して第2の無線信号を受信するように構成された受信機と、プロセッサとを備える。第2の無線信号は無線マルチパスチャネルと場所のオブジェクトの動きのために第1の無線信号とは異なる。プロセッサは、第2の無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得し、TSCIに基づいて時空間情報(STI)を計算し、TSCIとSTIとに基づいてオブ弱との動きを監視し、監視に基づいてタスクを実行し、タスクに基づいて応答を生成するように構成される。【選択図】なし
Description
本開示は一般に、無線監視、動き追跡、人間認識、および音響センシングに関する。より具体的には、本開示は、無線チャネル情報(CI)処理によるセキュリティ向上のための動き無線監視、カバレッジエリアを拡大するために物理的なバリアを有するアンテナ配置に基づく無線監視、無線CIに基づいて微動統計値を計算することによってオブジェクトの微動を無線で監視すること、場所内の動くオブジェクトの位置および軌跡の追跡、無線CIを処理することによって無線で検出された1つまたは複数の歩容特徴に基づく人間認識、及び無線CIを処理することによる無線信号に基づく音響センシング、に関する。
今日では、オブジェクトの動き検出はますます重要になってきている。例えば、セキュリティおよび/または管理目的のために、ユーザはユーザの家の中のあらゆるオブジェクト動きを検出することを望むことができ、スーパーマーケットの管理者はスーパーマーケットの中のあらゆるオブジェクト動きを検出することを望むことができ、病院の看護師は、病院の中の患者のあらゆる動きを検出することを望むことができる。
オブジェクトの動きを検出するための現存のシステムおよび方法は、十分な精度を提供することができず、しばしば誤警報をもたらす。現存のアプローチには、パッシブ赤外線(PIR)、アクティブ赤外線(AIR)、超音波に基づくアプローチがある。PIRセンサは、動く人が発する熱とバックグラウンド熱との差分を感知して人の動きを検知する、ホームセキュリティシステムで最も広く使用されている動きセンサである。しかしながら、PIRセンサに基づく解決策は、熱/冷気流や太陽光のような環境変化に対する感度のために誤警報を起こしやすい。これらの解決策は、断熱性の着ぐるみ服を着用するなど、身体の発熱を遮断することで容易に無効にされる。さらに、この解決策は検出範囲が限られており、見通し線(LOS)が必要であり、したがって、複数デバイスが必要である。AIRベースのアプローチでは、赤外線(IR)放射器がIRビームを送り、このIRビームがIR受信機によって受信される。光線が遮断されると、動きが検出される。しかしながら、この種のアプローチは通常のカメラまたは任意の赤外線検出メカニズムを使用するものとして容易に見られることができ、また、限られた範囲を有し、したがって、LOSを必要とする。超音波センサは、超音波を空間に送り出して戻ってくる速度を測定することで人間の動きを検知し、周波数変化があれば運動を検知することができる。しかしながら、この種のアプローチは、無響スーツを着用することによって無効にされうる。加えて、超音波は、家具又は箱のような固いオブジェクトに浸透することができず、従って、検出視野に隙間を生じさせる。さらに、盗難者によるゆっくりした動きは、超音波ベースの検出システムにおいて警報をトリガーしないことがある。
動き測定はロボットナビゲーション、室内追跡、モバイルゲームなど、さまざまな用途に不可欠な入力であり、ロボット、ドローン、車載、無人車両、各種家電、動くものほとんどに広く使われてきた。主流の技術は、動き追跡に慣性計測装置(IMU)を使用してきた。スマートデバイスの生産の増加に伴い、正確でロバストな動き追跡の需要が高まっており、IMUマーケットを牽引している。動き測定の改善は、多くのシステムおよびアプリケーションに深い影響を与える。
正確かつロバスト動き計測は簡単なことではない。センサ、例えば直線加速度を測定する加速度計によって実現される現存のIMUは、著しいエラーとドリフトに悩まされることがよく知られている。例えば、加速度計はノイズの多い読み取り値のために、移動距離を測定することはほとんどできない。従って、既存方法では速度を得るために加速を積算し、次に距離を得るために速度を積算することによって移動距離を計算することは雑音のために信頼できない。これは室内追跡、バーチャルリアリティ、および動きセンシングゲームのような正確な動き処理を必要とする多くのアプリケーションを妨げる。
ユビキタスの人間認識は、個人化された環境制御、セキュリティマネージメント、オートマチックドア及び物のインターネット(IoT)デバイスのためのアクセスコントロール等のような、スマート空間における種々のアプリケーションのための必須要素として作用する。主流の手法は、指紋認証、顔認識、音声認証などに依存し、通常、ユーザは一定の近傍内で積極的に協力する必要がある。人間の身体がマルチパスチャネル伝搬を変更させる独特の方法に基づく無線バイオメトリックが提案されているが、これは環境変更に非常にセンシティブであり、したがって多くのトレーニングおよび較正を必要とする。
近年、人間の歩容はよりパッシブな人物識別、すなわち、他のいかなる能動的なアクションも伴わない通常の歩行中の識別に役立つ効果的な生体認証として提案されている。ユビキタスで信頼性のあるアプリケーションを可能にするために、歩容認識システムは、高精度を維持しながら、過度なユーザの協力および再較正を必要とせずに、環境変化に対してロバストであり、使用が容易でなければならず、これは、従来のアプローチでは満足されないことが多い。視覚、音響センシング、ウェアラブルセンサ、および感圧パッドなどの様々な歩容認識モダリティが文献において考慮されてきた。これらのアプローチの各々は、上記の基準に関していくつかの欠点を有する。例えば、視覚ベースのシステムは、環境変化に悩まされ、プライバシ上の懸念を課す。慣性センサを使用する方法はユーザの協力を必要とし、従って、実用的ではない。
人間の通信の最も自然な方法としての音響センシングは、人間と機械の環境相互作用のためのユビキタスなモダリティにもなっている。音声インタフェース、スマートホームおよび建物における音響イベント監視、ジェスチャおよび健康のための音響センシングなどを含む多くの用途が、物のインターネット(IoT)において現れている。例えば、スマートスピーカは現在、ユーザの声を理解し、IoTのデバイスを制御し、環境を監視し、ガラスが割れること又は煙検出器のような関心のある音を感知することができ、これらは全て、現在、主要なインタフェースとしてマイクロホンを使用している。
マイクロホンは音響イベントを感知するために最も一般的に使用されてきたセンサであるが、それらには一定の限界がある。目的地(すなわち、マイクロホンの位置)でのみ音を感知することができるので、単一のマイクロホンは、複数音源を分離し識別することができず、一方、マイクロホンアレイは方位角方向にのみ分離することができ、大きな開口を必要とする。目的地に到着したあらゆる音を感知することによって、マイクロホンは、家庭においてユビキタスで継続的な音響センシングインタフェースとしてマイクロホンを配備する場合に、潜在的なプライバシの問題を引き起こす。加えて、マイクロホンは、受信した音を感知するだけで音源については何も感知しないので、聞こえない音声の攻撃およびリプライ攻撃を受けやすい。
これらの限界のいくつかを克服するために、加速度計、振動モータ、カメラなどのように、音響信号を感知するために種々のモダリティが利用されてきた。これらのシステムは依然として目的地の音声を感知し、従ってマイクロホンと同様の欠点を有するか、又は見通し線(LOS)及び照明条件下で作動することを必要とする。その結果、これらのモダリティは完全に満足できるものではない。
無線チャネル状態情報(CSI)を用いた無線監視は、物のインターネットの時代に多くの注目を集めている。環境の変化と人間の活動は、CSIの変動に埋め込まれたマルチパス伝搬に影響を及ぼし、無線CSIを分析することによって環境を監視することができる。現存のシステムでは、送信アンテナと受信アンテナが無線監視のための打倒なカバー範囲を提供するために、異なったデバイスである。例えば、デバイス費用を削減するために、送信アンテナと受信アンテナが同じデバイスにコロケーションされる場合、送信アンテナと受信アンテナの間に強くて支配的な見通し線(LOS)が存在する。環境変化や人間の活動がある場合、マルチパス伝播へのそれらの影響は、強力なLOSによって圧倒される可能性がある。その場合、送信機(TX)または受信機(RX)に非常に近くの活動のみが、小さいチャンスで検出され得る。したがって、無線監視の妥当なカバレッジエリアを保証するために、送信および受信アンテナの特別な構成をデザインすることが望まれる。
今日、オブジェクトの動き検出はますます重要になってきている。例えば、セキュリティおよび/または管理目的のために、ユーザはユーザの家の中のあらゆるオブジェクト動きを検出することを望むことができ、スーパーマーケットの管理者はスーパーマーケットの中のあらゆるオブジェクト動きを検出することを望むことができ、病院の看護師は、病院の中の患者のあらゆる動きを検出することを望むことができる。
オブジェクト動きを検出するための現存するシステムおよび方法は、十分な精度を提供することができず、しばしば誤警報をもたらす。従来のアプローチには、パッシブ赤外線(PIR)、アクティブ赤外線(AIR)、超音波に基づくアプローチがある。PIRセンサは、移動する人が発するバックグラウンド熱と熱の差分を感知して人の動きを検知する、ホームセキュリティシステムで最も広く使用されている動きセンサである。しかしながら、PIRセンサに基づく解決策は、熱/冷気流や日光のような環境変化に対する感度のために誤警報を起こしやすい。これらの解決策は、断熱性のフル身体服を着用するなど、身体の発熱を遮断することで容易に打ち消される。さらに、この解決策は検出範囲が限られており、見通し線(LOS)が必要であり、したがって、複数デバイスが必要である。AIRベースのアプローチでは、赤外線(IR)放射器がIRビームを送り、このIRビームがIR受信機によって受信される。光線が遮断されると、動きが検出される。しかしながら、この種のアプローチは通常のカメラまたは任意の赤外線検出メカニズムを使用するものとして容易に見ることができ、また、限られた範囲を有し、したがって、LOSを必要とする。超音波センサは超音波を空間に送り出して戻ってくる速度を測定することで人間の動きを検知し、周波数変化があれば動きを検知することができる。しかしながら、この種のアプローチは、無響スーツを着用することによって打ち負かすことができる。加えて、超音波は、家具又は箱のような固体のオブジェクトに浸透することができず、従って、検出場に隙間を生じさせる。さらに、盗難者によるゆっくりした動きは、超音波ベースの検出システムにおいて警報をトリガーしないことがある。
したがって、無線監視、動き追跡、人間認識、および/または音響センシングのための現存のシステムおよび方法は、完全に満足できるものではない。
本開示は一般に、無線監視、動き追跡、人間認識、および音響センシングに関する。より具体的には、本開示が無線チャネル情報(CI)処理によるセキュリティを改善するための動き動き無線監視、カバレッジエリアを拡大するための物理的なバリアを有するアンテナ配置に基づく無線監視、無線CIに基づいて微動統計値を計算することによってオブジェクトの微動を無線で監視すること、場所内の動くオブジェクトの位置および軌跡の追跡、無線CIを処理することによって無線で検出された1つまたは複数の歩容特徴に基づく人間の認識、および無線CIを処理することによる無線信号に基づく音声感知、に関する。
一実施形態では、無線動き監視のためのシステムが記載される。このシステムは、場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成された送信機と、無線マルチパスチャネルを介して第2の無線信号を受信するように構成された受信機と、プロセッサとを備える。第2の無線信号は、場所中のオブジェクトの無線マルチパスチャネルおよび動きのために第1の無線信号とは異なる。プロセッサは、第2の無線信号に基づく無線マルチパスチャネルの時系列チャネル情報(TSCI)の取得、TSCIに基づく時空間情報(STI)の計算、TSCIとSTIに基づく前記オブジェクトの前記動きのモニタ、モニタに基づくタスクの実行、およびタスクに基づいて応答を生成するように構成される。
別の実施形態では、無線監視システムの無線デバイスが記載される。無線デバイスは、プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合された受信機とを含む。本無線監視システムの追加の無線デバイスは、現在の動作モードに従って場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成される。受信機は、現在のモードに従って無線マルチパスチャネルを介して第2の無線信号を受信するように構成される。第2の無線信号は、場所中のオブジェクトの無線マルチパスチャネルおよび動きのために第1の無線信号とは異なる。プロセッサは、タスクおよび前記オブジェクトの前記動きに関連付けられた複数のサポートされている動作モードから現在の動作モードを選択し、第2の無線信号に基づく無線マルチパスチャネルの時系列チャネル情報(TSCI)の取得し、TSCIに基づく時空間情報(STI)の計算し、TSCIとSTIとに基づく前記オブジェクトの前記動きの監視し、モニタリングに基づいてタスクを実行し、タスクに基づいて応答を生成するように構成される。
さらに別の実施形態では、無線監視システムの方法が記載される。方法は、場所の無線マルチパスチャネルを介して非同期的に複数の無線信号を送信することであって、各々の無線信号は、無線監視システム内の複数の第1のデバイスのそれぞれ1つから送信される、送信すること、無線マルチパスチャネルを介して無線監視システム内の複数の第2のデバイスによって複数の無線信号を受信することであって、それぞれの受信無線信号は、場所内のオブジェクトの無線マルチパスチャネルおよび動きによって、それぞれの送信無線信号とは異なる、受信すること、それぞれの受信無線信号に基づいて無線マルチパスチャネルの複数の時系列チャネル情報(TSCI)の各々を取得すること、各々がそれぞれのTSCIに基づいて複数の時空間情報(STI)を計算すること、複数のTSCIの第1のサブセットおよび複数のSTIの第1のサブセットに基づいて第1の状況の前記オブジェクトの前記動きを監視すること、複数のTSCIの第2のサブセットおよび複数のSTIの第2のサブセットに基づいて前記オブジェクトの前記動きの第2の状況を監視すること、動きの第1の状況を監視することに基づいて第1のタスクを実行すること、動きの第2の状況を監視することに基づいて第2のタスクを実行すること、第1のタスクに基づいて第1の応答を生成し、第2のタスクに基づいて第2の応答を生成すること、を含む。
一実施形態では、動き追跡のためのシステムが記載される。システムは、少なくとも1つの検知情報(SI)を生成するように構成された少なくとも1つのセンサ、メモリ、メモリおよび少なくとも1つのセンサに通信可能に結合されたプロセッサ、及びメモリに保存されている命令のセット、を備える。命令のセットはプロセッサによって実行される場合、プロセッサに、少なくとも1つのセンサから少なくとも1つの時系列のSI(TSSI)を取得させ、少なくとも1つのTSSIを分析し、少なくとも1つのTSSIに基づいて、場所内のオブジェクトの動きを追跡させ、少なくとも1つのTSSIに基づいて、第1の増分期間におけるオブジェクトの動きに関連する増分距離を計算させ、少なくとも1つのTSSIに基づいて、第2の増分期間におけるオブジェクトの動きに関連する方向を計算させ、そして、現在の時間におけるオブジェクトの現在の位置、現在の時間におけるオブジェクトの現在の向き、増分距離、方向、または場所のマップのうちの少なくとも1つに基づいて、次の時間におけるオブジェクトの次の位置を計算させる。
別の実施形態では、動き追跡システムのデバイスが記載される。デバイスは、プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合されたセンサとを備える。センサは、少なくとも1つのセンシング情報(SI)を生成するように構成される。プロセッサはセンサから少なくとも1つの時系列のSI(TSSI)を取得し、少なくとも1つのTSSIを分析し、少なくとも1つのTSSIに基づいて場所内のオブジェクトの動きを追跡し、少なくとも1つのTSSIに基づいて、第1の増分期間におけるオブジェクトの移動に関連する増分距離を計算し、少なくとも1つのTSSIに基づいて、第2の増分期間におけるオブジェクトの移動に関連する方向を計算し、そして、現在の時間におけるオブジェクトの現在の位置、現在の時間におけるオブジェクトの現在の向き、増分距離、方向、または場所のマップのうちの少なくとも1つに基づいて、次の時間におけるオブジェクトの次の位置を計算するように構成される。
さらに別の実施形態では、動き追跡システムの一方法が記載される。方法は、少なくとも1つのセンシング情報(SI)を生成することと、少なくとも1つの時系列のSI(TSSI)を得ることと、少なくとも1つのTSSIを分析することと、少なくとも1つのTSSIに基づいて、場所内のオブジェクトの動きを追跡することと、少なくとも1つのTSSIに基づいて、第1の増分時間周期内のオブジェクトの動きに関連する増分距離を計算することと、前記少なくとも1つのTSSIに基づいて、第2の増分期間における前記オブジェクトの動きに関連する方向を計算することと、現在の時間における前記オブジェクトの現在の位置、現在の時間における前記オブジェクトの現在の向き、前記増分距離、前記方向、または前記場所のマップのうちの少なくとも1つに基づいて、次の時間における前記オブジェクトの次の位置を計算することと、を含む。
一実施形態では、人間の認知のためのシステムが記載される。システムは、場所の無線チャネルを通して第1の無線信号を送信するように構成された送信機と、無線チャネルを通して第2の無線信号を受信するように構成された受信機であって、第2の無線信号は場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含む、受信機と、プロセッサとを備える。プロセッサは、第2の無線信号に基づいて無線チャネルの時系列のチャネル情報(CI)を取得し、CI(TSCI)の時系列に基づいて場所内を移動する人物の存在を判定し、TSCIから人物の少なくとも1つの歩容特徴を抽出し、少なくとも1つの歩容特徴に基づいて人物のアイデンティティを認識するように構成される。
別の実施形態では、人間認識システムの無線デバイスが記載される。無線デバイスは、プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合された受信機とを含む。人間認識システムの追加の無線デバイスは、場所の無線チャネルを介して第1の無線信号を送信するように構成される。受信機は、無線チャネルを介して第2の無線信号を受け取るように構成される。第2の無線信号は、場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含む。プロセッサは、第2の無線信号に基づいて無線チャネルの時系列チャネル情報(CI)を取得し、CI(TSCI)の時系列に基づいて場所内を移動する人物の存在を判定し、TSCIから人物の少なくとも1つの歩容特徴を抽出し、少なくとも1つの歩容特徴に基づいて人物のアイデンティティを認識するように構成される。
さらに別の実施形態では、人間認識システムの方法が記載される。方法は、場所の無線チャネルを介して第1の無線信号を送信することと、無線チャネルを介して第2の無線信号を受信するステップであって、ここで、第2の無線信号は、場所中の少なくとも1つのオブジェクトによる第1の無線信号の反射を含む、受信することと、第2の無線信号に基づいて無線チャネルの時系列チャネル情報(CI)を取得することと、CI(TSCI)の時系列に基づいて場所内を移動する人物の存在を判定することと、TSCIから人物の少なくとも1つの歩容特徴を抽出し、少なくとも1つの歩容特徴に基づいて人物のアイデンティティを認識することと、を含む。
一実施形態では、音響センシングのためのシステムが記載される。システムは場所の無線チャネルを通して第1の無線信号を送信するように構成された送信機と、無線チャネルを通して第2の無線信号を受信するように構成された受信機と、を備え、第2の無線信号は場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含む、受信機と、プロセッサと、を備える。プロセッサは第2の無線信号に基づいて無線チャネルの時系列チャネル情報(CI)を取得し、CIの時系列(TSCI)に基づいて場所内の振動オブジェクトの存在を判定し、TSCIからサウンド信号を抽出し、音響信号に基づいて少なくとも1つの音声を再構成するように構成される。
別の実施形態では、音響センシングシステムの無線デバイスが記載される。無線デバイスは、プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合された受信機とを含む。音響センシングシステムの追加の無線デバイスは、場所の無線チャネルを介して第1の無線信号を送信するように構成される。受信機は、無線チャネルを介して第2の無線信号を受け取るように構成される。第2の無線信号は、場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含む。プロセッサは、第2の無線信号に基づいて無線チャネルの時系列のチャネル情報(CI)を取得し、CIの時系列(TSCI)に基づいて場所内の振動オブジェクトの存在を決定し、TSCIからサウンド信号を抽出し、音響信号に基づいて少なくとも1つの音声を再構成するように構成される。
さらに別の実施形態では、音響センシングシステムの方法が記載される。方法は、場所の無線チャネルを介して第1の無線信号を送信することと、無線チャネルを介して第2の無線信号を受信することであって、第2の無線信号は、場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含む、受信することと、第2の無線信号に基づいて無線チャネルの時系列チャネル情報(CI)を取得することと、CI(TSCI)の時系列に基づいて場所内の振動オブジェクトの存在を決定することと、TSCIから音響信号を抽出することと、音響信号に基づいて少なくとも1つの音声を再構成することと、を含む。
一実施形態では、無線動き監視のためのシステムが記載される。このシステムは、場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成された送信機と、無線マルチパスチャネルを介して第2の無線信号を受信するように構成された受信機と、プロセッサとを備える。第2の無線信号は、場所中のオブジェクトの無線マルチパスチャネルおよび動きのために第1の無線信号とは異なる。プロセッサは、第2の無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得し、TSCIのそれぞれのチャネル情報(CI)はN1個の CI成分を含み、N1は1より大きい整数である、取得することと、N2がN1以下の整数であるTSCIのN1個の CI成分の第1の分析に基づいてN1個の CI成分からN2個の CI成分を選択することと、TSCIのN2個の選択されたCI成分と第1の分析に基づいて微動(micro-motion(MM))統計値を計算することと、MM統計の第2の分析に基づく前記オブジェクトの前記動きを監視することと、第1の分析および第2の分析に基づいてタスクを実行することと、タスク、第1の分析および第2の分析に基づいて応答を生成するように構成される。
別の実施形態では、無線監視システムの無線デバイスが記載される。無線デバイスは、プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合された受信機とを含む。本無線監視システムの追加の無線デバイスは、場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成される。受信機は、無線マルチパスチャネルを介して第2の無線信号を受け取るように構成される。第2の無線信号は、場所中のオブジェクトの無線マルチパスチャネルおよび動きのために第1の無線信号とは異なる。プロセッサは、第2の無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得することであって、TSCIのそれぞれのチャネル情報(CI)はN1 CI成分を含み、N1は1より大きい整数である、取得することと、N2がN1以下の整数でTSCIのN1個の CI成分の第1の分析に基づいてN1個の CI成分からN2個の CI成分を選択することと、TSCIのN2個の選択されたCI成分と第1の分析に基づいて微動(MM)統計を計算することと、MM統計の第2の分析に基づいて前記オブジェクトの前記動きを監視することと、第1の分析および第2の分析に基づいてタスクを実行し、タスク、第1の分析および第2の分析に基づいて応答を生成するように構成される。
さらに別の実施形態では、無線監視システムの方法が記載される。方法は、無線監視システム内の第1のデバイスから、場所の無線マルチパスチャネルを介して第1の無線信号を送信することと、無線監視システム内の第2のデバイスによって、無線マルチパスチャネルを通る第2の無線信号を受信することであって、第2の無線信号は、場所内のオブジェクトの無線マルチパスチャネルおよび動きのために第1の無線信号とは異なる、受信することと、第2の無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得することであって、TSCIのそれぞれのチャネル情報(CI)はN1 個のCI成分を含み、N1は1より大きい整数である、取得することと、TSCIのN1個の CI成分の第1の分析に基づいてN1個の CI成分からN2個の CI成分を選択することであって、N2はN1以下の整数である選択することと、TSCIのN2個の選択されたCI成分と第1の分析に基づいて微動(MM)統計を計算することと、MM統計の第2の分析に基づく前記オブジェクトの前記動きを監視することと、第1の分析および第2の分析に基づいてタスクを実行することと、タスク、第1の分析および第2の分析に基づいて応答を生成することと、を含む。
他の概念は、無線監視、動き追跡、人間認識、および音響センシングに関して本開示を実施するためのソフトウエアに関する。追加の新規な特徴は以下の説明に部分的に説明され、また、当業者には以下の図面および添付の図面を検討することによって部分的に明らかになるか、または実施例の製造または動作によって学習され得る。本開示の新規な特徴は、以下に述べる詳細な実施例に記載される方法、手段、および組み合わせの様々な側面の実施または使用によって実現および達成され得る。
本明細書で説明される方法、システム、および/またはデバイスは、例示的な実施形態に関してさらに説明される。これらの例示的な実施形態は、図面を参照して詳細に説明される。これらの実施形態は非限定的な例示的な実施形態であり、図面の複数の図を通して、同様の参照符号は同様の構造を表す。
以下の詳細な説明では、関連する開示の完全な理解を提供するために、多数の特定の詳細が、例として記載される。しかしながら、本開示は、そのような詳細なしに実施され得ることは、当業者に明らかであるべきである。他の例では、本開示の態様を不必要に不明瞭にすることを避けるために、周知の方法、手順、構成要素、及び/または回路が、詳細なしに、比較的高レベルで記載されている。
一実施形態では、本開示は、無線監視システムの方法、装置、デバイス、システム、及び/またはソフトウエア(方法/装置/デバイス/システム/ソフトウエア)を開示する。無線マルチパスチャネルの時系列チャネル情報(CI)は、プロセッサ、プロセッサと通信可能に結合されたメモリ、及びメモリに記憶された一連の指示を使用して(例えば、動的に)得られ得る。CIの時系列(TSCI)は、チャネルを介して場所(venue)でタイプ1異種(heterogeneous)無線装置(たとえば、無線送信機、TX)とタイプ2異種無線装置(たとえば、無線受信機、RX)との間で送信される無線信号(信号)から抽出され得る。チャネルは、場所のオブジェクトの表現(例えば、動き、動き、表現、及び/または位置/ポーズ/形状/表現の変化)によって影響され得る。オブジェクト及び/またはオブジェクトの運動の特性及び/または空間-時間情報(STI、例えば、動き情報)は、TSCIに基づいて監視され得る。タスクは、特性及び/またはSTIに基づいて実行され得る。タスクに関連付けられたプレゼンテーションは、ユーザのデバイス上のユーザインタフェース(UI)において生成されてもよい。TSCIは、無線信号ストリームであってもよい。TSCIまたは各CIは、前処理され得る。装置は、ステーション(STA)であってもよい。記号「A/B」は、本開示における「A及び/又はB」を意味する。
表現(expression)は、配置、移動可能な部分の配置、場所、位置、向き、同定可能な場所、領域、空間座標、プレゼンテーション、状態、表現、静的な表現、サイズ、長さ、幅、高さ、角度、スケール、形状、カーブ、表面、面積、体積、ポーズ、姿勢、兆候、体表現、動的な表現、動的な体言、運動、動きシーケンス、ジェスチャ、伸長、収縮、歪み、変形、身体表現(例えば、頭部、顔面、目、口、舌、髪、声、首、肢、腕、手、脚、足、筋肉、可動部分)、表面表現(例えば、形状、質感、材料、色、電磁気(EM)特性、視覚パターン、湿度、反射率、半透明度、柔軟性)、材料特性(例えば、生きている組織、毛、織物、金属、木、皮革、プラスチック、金属、人工材料、固体、液体、ガス、温度)、動き、活動、ふるまい、表現の変化、及び/又は 何らかの組み合わせ、を含むことができる。
無線信号は、送信/受信信号、EM放射、RF信号/送信、認可された/無免許/ISM帯域内の信号、帯域制限信号、ベースバンド信号、無線/移動/セルラ通信信号、無線/移動/セルラネットワーク信号、メッシュ信号、光信号/通信、ダウンリンク/アップリンク信号、ユニキャスト/マルチキャスト/ブロードキャスト信号、標準(例えばWLAN、WWAN、WPAN、WBAN、国際、国内、業界、デファクト、IEEE、IEEE 802、802.11/15/16、WiFi、802.11n/ac/ax/be、3G/4G/LTE/5G/6G/7G/8G、3GPP、blue tooth、BLE、Zigbee、RFID、UWB、WiMax)準拠シグナル、プロトコル信号、標準フレーム、ビーコン/パイロット/探索/問い合わせ/確認/ハンドシェイク/同期シグナル、管理/制御/データ信号、標準化された無線/セルラ通信プロトコル、参照信号、ソースシグナル、モーションプローブ/検出/ センシングシグナル、及び/または一連のシグナル、を含むことができる。無線信号は、見通し線(LOS)、及び/または非LOS構成要素(または経路/リンク)を含み得る。各CIは、タイプ2デバイスのレイヤ(例えば、OSIモデルのPHY/MACレイヤ)において抽出/生成/計算/検出され、アプリケーション(例えば、ソフトウエア、ファームウェア、ドライバ、アプリ、無線監視ソフトウエア/システム)によって得られ得る。
無線マルチパスチャネルは、以下を含むことができる:通信チャネル、アナログ周波数チャネル(例えば、700/800/900MHz、1.8/1.8/2.4/3/5/6/27/60GHz付近のアナログ搬送周波数、)、符号化チャネル(例えば、CDMA)、及び/または無線ネットワーク/システムのチャネル(例えば、WLAN、WiFi、メッシュ、LTE、4G/5G、Bluetooth、Zigbee、UWB、RFID、マイクロ波)。それは、2つ以上のチャネルを含み得る。チャネルは連続(隣接/重なり帯域など)または非連続チャネル(重なりのないWiFi チャネル、1つは2.4GHzで、1つは5GHz)である可能性がある。
TSCIは、タイプ2デバイスのレイヤ(例えば、OSI参照モデルのレイヤ、物理レイヤ、データリンクレイヤ、論理リンク制御レイヤ、メディアアクセス制御(MAC)レイヤ、ネットワークレイヤ、トランスポートレイヤ、セッションレイヤ、プレゼンテーションレイヤ、アプリケーションレイヤ、TCP/IPレイヤ、インターネットレイヤ、リンクレイヤ)において、無線信号から抽出することができる。TSCIは、無線信号(例えば、RF信号)から導出された導出信号(例えば、ベースバンド信号、動き検出信号、動きセンシング信号)から抽出されてもよい。それは、既存のメカニズム(例えば、無線/セルラ通信標準/ネットワーク、3G/LTE/4G/5G/6G/7G/8G、WiFi、IEEE 802.11/15/16)を使用する、通信プロトコル(例えば、標準化されたプロトコル)によって検出される(無線)測定であり得る。導出された信号は、プリアンブル、ヘッダ及びペイロード(例えば、無線リンク/ネットワークにおけるデータ/制御/管理のための)のうちの少なくとも1つを有するパケットを含み得る。TSCIは、パケット中のプローブシグナル(例えば、トレーニングシーケンス、STF、LTF、L-STF、L-LTF、L-SIG、HE-STF、HE-LTF、HE-SIG-A、HE-SIG-B、CEF)から抽出され得る。動き検出/センシング信号は、プローブ信号に基づいて認識/識別されてもよい。パケットは、標準準拠プロトコルフレーム、管理フレーム、コントロールフレーム、データフレーム、サウンディングフレーム、エキサイテーションフレーム、イルミネーションフレーム、ヌルデータフレーム、ビーコンフレーム、パイロットフレーム、プローブフレーム、要求フレーム、応答フレーム、関連付けフレーム、再関連付けフレーム、離脱フレーム、認証フレーム、アクションフレーム、レポートフレーム、ポールフレーム、アナウンスフレーム、拡張フレーム、問い合わせフレーム、確認応答フレーム、RTSフレーム、CTSフレーム、QoSフレーム、CF-Pollフレーム、CF-Ackフレーム、ブロック確認応答フレーム、参照フレーム、トレーニングフレーム、及び/または同期フレームであり得る。
パケットは、制御データ及び/または動き検出プローブを含み得る。ペイロードからデータ(例えば、タイプ1デバイスのID/パラメータ/特性/設定/制御信号/命令/指示/通知/放送関連情報)を取得することができる。無線信号は、タイプ1デバイスによって送信され得る。それは、タイプ2デバイスによって受け取られ得る。データベース(例えば、ローカルサーバ、ハブデバイス、クラウドサーバ、ストレージネットワークにおける)は、TSCI、特性、STI、署名、パターン、挙動、傾向、パラメータ、分析、出力応答、識別情報、ユーザ情報、デバイス情報、チャネル情報、場所(例えば、地図、環境モデル、ネットワーク、近接デバイス/ネットワーク)情報、タスク情報、クラス/カテゴリ情報、プレゼンテーション(例えば、UI)情報、及び/または他の情報を記憶するために使用され得る。
タイプ1/タイプ2デバイスは、エレクトロニクス、回路、送信機(TX)/受信機(RX)/トランシーバ、RFインタフェース、「オリジンサテライト」/「トラッカーボット」、ユニキャスト/マルチキャスト/ブロードキャストデバイス、無線電源デバイス、電源/デスティネーションデバイス、無線ノード、ハブデバイス、対象デバイス、動き検出デバイス、センサデバイス、遠隔/無線センサデバイス、無線通信デバイス、無線対応デバイス、標準準拠デバイス、及び/または受信機のうちの少なくとも1つを含み得る。タイプ1(またはタイプ2)装置は、タイプ1(またはタイプ2)装置の複数の例が存在する場合、異なる回路、エンクロージャ、構造、目的、補助機能性、チップ/IC、プロセッサ、メモリ、ソフトウエア、ファームウェア、ネットワーク接続性、アンテナ、ブランド、モデル、外観、形態、形状、色、材料、及び/または仕様を有し得るため、異種であり得る。タイプ1/タイプ2デバイスは、アクセスポイント、ルータ、メッシュルータ、物のインターネット(IoT)デバイス、無線端末、1つ以上の無線/RFサブシステム/無線インタフェース(例えば、2.4GHz無線、5GHz無線、フロントホール無線、バックホール無線)、モデム、RFフロントエンド、RF/無線チップまたは集積回路(IC)を含み得る。
タイプ1デバイス、タイプ2デバイス、それらの間のリンク、オブジェクト、特性、STI、動きの監視、及びタスクのうちの少なくとも1つは、UUIDなどの識別(ID)に関連付けられ得る。タイプ1/タイプ2/別のデバイスは、TSCIを取得/保存/検索/アクセス/前処理/条件/プロセス/分析/監視/適用することができる。タイプ1及びタイプ2デバイスは、無線信号と並列に他のチャネル(例えば、イーサネット、HDMI(登録商標)、USB、Bluetooth、BLE、WiFi、LTE、他のネットワーク、無線マルチパスチャネル)でネットワークトラフィックを通信することができる。 タイプ2デバイスは、タイプ1デバイスとの接続(例えば、関連付け/認証)を確立することなく、またはタイプ1デバイスからサービスを要求することなく、無線マルチパスチャネルにおいてタイプ1デバイスからの無線信号を受動的に観察/監視/受信し得る。
送信機(すなわち、タイプ1デバイス)は、受信機(すなわち、タイプ2デバイス)として、一時的に、散発的に、連続的に、反復的に、交換可能に、交互に、同時に、並列に、及び/または同時に、機能する(その役割を果たす)ことができ、逆もまた同様である。装置は、一時的に、散発的に、連続的に、繰り返して、同時に、並列に及び/または同時的に、タイプ1デバイス(送信機)及び/またはタイプ2デバイス(受信機)として機能し得る。それぞれがタイプ1(TX)及び/またはタイプ2(RX)装置である複数の無線ノードが存在する場合がある。TSCIは、無線信号を交換/通信するとき、2つのノードごとに取得され得る。オブジェクトの特性及び/またはSTIは、TSCIに基づいて個別に、または2つ以上(例えば、すべて)のTSCIに基づいて共同で監視され得る。
オブジェクトの動きは、能動的に(そのタイプ1デバイス、タイプ2デバイス、またはその両方は、オブジェクトの着用可能/関連付けられる点で)及び/または受動的に(タイプ1デバイス及びタイプ2デバイスの両方はオブジェクトの着用可能ではない/関連付けられないという点で)監視され得る。それは、オブジェクトがタイプ1デバイス及び/またはタイプ2デバイスに関連付けられていない可能性があるため、受動的であり得る。オブジェクト(例えば、ユーザ、自動誘導車両またはAGV)は、いかなる装着物/固定具も持ち運ぶ/設置する必要はないかもしれない(すなわち、タイプ1デバイス及びタイプ2デバイスは、オブジェクトがタスクを実行するために持ち運ぶ必要がある装着可能/取り付けられた装置ではない)。これは、オブジェクトがタイプ1デバイスまたはタイプ2デバイスのいずれかに関連付けられている可能性があるため、アクティブになっている可能性がある。オブジェクトは、装着可能/取付け具(例えば、タイプ1デバイス、タイプ2デバイス、タイプ1デバイスまたはタイプ2デバイスのいずれかと通信可能に結合された装置)を運ぶ(または設置する)ことができる。
プレゼンテーションは、ビジュアル、オーディオ、画像、ビデオ、アニメーション、グラフィックプレゼンテーション、テキストなどである。タスクの計算は、タイプ1デバイスのプロセッサ(または論理ユニット)、タイプ1デバイスのICのプロセッサ(または論理ユニット)、タイプ2デバイスのプロセッサ(または論理ユニット)、タイプ2デバイスのICのプロセッサ、ローカルサーバ、クラウドサーバ、データ解析サブシステム、信号解析サブシステム、及び/または別のプロセッサによって実行することができる。このタスクは、無線フィンガードプリントまたはベースライン(例えば、収集、処理、処理、送信、及び/またはトレーニングフェーズ/前回の調査/最新の調査/初期の無線調査、受動指摘書)、トレーニング、プロフィール、トレーニングされたプロフィール、静態的プロフィール、静態的プロフィール、調査、初期無線調査、初期設定、設置、再トレーニング、更新及びリセット)を用いて/しないで実施することができる。
タイプ1デバイス(TX装置)は、少なくとも1つの異種無線送信機を備えることができる。タイプ2デバイス(RXデバイス)は、少なくとも1つの異種無線受信機を含み得る。タイプ1デバイス及びタイプ2デバイスは、コロケーションされ得る。タイプ1デバイスとタイプ2デバイスは同じ装置であってもよい。任意の装置は、データ処理ユニット/装置、計算ユニット/システム、ネットワークユニット/システム、プロセッサ(例えば、論理ユニット)、プロセッサと通信可能に結合されたメモリ、及びプロセッサによって実行されるべきメモリに記憶された命令のセットを有し得る。一部のプロセッサ、メモリ、及び一連の指示は、協調することができる。
同じタイプ2デバイス(または複数のタイプ2デバイス)と相互作用する(例えば、通信する、交換信号/制御/通知/他のデータ)複数のタイプ1デバイスが存在してもよく、及び/または同じタイプ1デバイスと相互作用する複数のタイプ2デバイスが存在してもよい。複数のタイプ1デバイス/タイプ2デバイスは、同期及び/または非同期、同じ/異なるウインドウ幅/サイズ及び/または時間シフト、同じ/異なる同期開始時間、同期終了時間などであり得る。複数のタイプ1デバイスによって送信される無線信号は、散発的、一時的、連続的、反復的、同期的、同時的、同時的、及び/または同時的であってもよい。複数のタイプ1デバイス/タイプ2デバイスは、独立して、及び/または協働して動作し得る。タイプ1及び/またはタイプ2のデバイスは、異種ハードウェア回路(例えば、無線信号を生成/受信し、受信信号からCIを抽出し、またはCIを利用可能にすることができる異種チップまたは異種IC)を有する/備えることができる。それらは、同一または異なるサーバ(例えば、クラウドサーバ、エッジサーバ、ローカルサーバ、ハブ装置)に通信可能に結合され得る。
1つの装置の動作は、動作、状態、内部状態、記憶装置、プロセッサ、メモリ出力、物理的位置、計算リソース、別の装置のネットワークに基づくことができる。異なる装置は、直接的に、及び/または別の装置/サーバ/ハブ装置/クラウドサーバを介して通信し得る。装置は、1人以上のユーザに関連付けられ、関連付けられた設定を持つことができる。設定は、一度選択され、事前にプログラムされ、及び/または経時的に変更され得る(例えば、調整され、変化され、修正され)/変化され得る。方法には、さらなるステップが存在し得る。方法のステップ及び/または追加のステップは、示された順序で、または別の順序で実行され得る。任意のステップは、並行して、反復して、または他の方法で反復して、または別の方法で実行され得る。ユーザは、ヒト、成人、高齢成人、男性、女性、幼児、子供、乳児、ペット、動物、生物、機械、コンピュータモジュール/ソフトウエアなどであり得る。
1つまたは複数のタイプ2デバイスと相互作用する1つまたは複数のタイプ1デバイスの場合、任意の処理(例えば、時間領域、周波数領域)は、異なるデバイスについて異なることができる。処理は、位置、向き、方向、役割、ユーザ関連特性、設定、構成、利用可能なリソース、利用可能な帯域幅、ネットワーク接続、ハードウェア、ソフトウエア、プロセッサ、コプロセッサ、メモリ、バッテリ寿命、利用可能な電力、アンテナ、アンテナの種類、アンテナの指向性/一方向特性、電力設定、及び/または装置の他のパラメータ/特性に基づくことができる。
無線受信機(例えば、タイプ2デバイス)は、無線送信機(例えば、タイプ1デバイス)から信号及び/または別の信号を受信し得る。無線受信機は、別の無線送信機(例えば、第2のタイプ1デバイス)から別の信号を受信することができる。無線送信機は、信号及び/または別の信号を別の無線受信機(例えば、第2のタイプ2のデバイス)に送信することができる。無線送信機、無線受信機、別の無線受信機及び/または別の無線送信機は、オブジェクト及び/または別のオブジェクトと共に移動してもよい。別のオブジェクトを追跡することができる。
タイプ1及び/またはタイプ2デバイスは、少なくとも2つのタイプ2及び/またはタイプ1デバイスと無線結合することが可能であり得る。タイプ1デバイスは、場所の別の位置で、タイプ2デバイスから第2のタイプ2デバイスへの無線結合(例えば、関連付け、認証)を切り替える/確立するように引き起こされ得る/制御され得る。同様に、タイプ2デバイスは、場所のさらに別の場所で、タイプ1デバイスから第2のタイプ1デバイスへの無線結合を切り替える/確立するように、引き起こされ/制御され得る。スイッチングは、サーバ(またはハブ装置)、プロセッサ、タイプ1デバイス、タイプ2デバイス、及び/または別の装置によって制御できる。切り替え前後に使用する無線機は異なっていてもよい。第2の無線信号(第2の信号)は、チャネルを通して、タイプ1デバイスと第2のタイプ2デバイスとの間(またはタイプ2デバイスと第2のタイプ1デバイスとの間)に送信され得る。第2の信号から抽出されたチャネルの第2のTSCIが得られ得る。第2の信号は、第1の信号であってもよい。オブジェクトの特性、STI及び/または別の量は、第2のTSCIに基づいて監視され得る。タイプ1デバイスとタイプ2デバイスは同じであってもよい。異なるタイムスタンプを有する特性、STI及び/または別の量は、波形を形成し得る。波形は、プレゼンテーションで表示することができる。
無線信号及び/または別の信号は、データが埋め込まれていてもよい。無線信号は、一連のプローブ信号(例えば、プローブ信号の繰り返し送信、1つまたは複数のプローブ信号の再使用)であってもよい。プローブ信号は、時間の経過とともに変化/変化しうる。プローブ信号は、規格準拠信号、プロトコル信号、標準化無線プロトコル信号、制御信号、データ信号、無線通信ネットワーク信号、セルラーネットワーク信号、WiFi信号、LTE/5G/6G/7G信号、参照信号、ビーコン信号、動き検出信号、及び/または動きセンシング信号であってもよい。プローブ信号は、無線ネットワーク標準(例えば、WiFi)、セルラーネットワーク標準(例えば、LTE/5G/6G)、または別の標準に従ってフォーマットされ得る。プローブ信号は、ヘッダ及びペイロードを有するパケットを含み得る。プローブ信号は、データが埋め込まれていてもよい。ペイロードは、データを含むことができる。プローブ信号は、データ信号に置き換えられてもよい。プローブ信号は、データ信号に埋め込まれてもよい。無線受信機、無線送信機、別の無線受信機及び/または別の無線送信機は、少なくとも1つのプロセッサ、それぞれのプロセッサと通信可能に結合されたメモリ、及び/または実行されたときにプロセッサに、オブジェクトのSTI(例えば、動き情報)、初期STI、初期時間、方向、瞬間位置、瞬間角度、及び/または速度を判定するために必要な任意のステップ及び/またはすべてのステップを実行させる、メモリに記憶されたそれぞれの命令セットに関連付けられてもよい。
プロセッサ、メモリ及び/または命令のセットは、タイプ1デバイス、少なくとも1つのタイプ2デバイス、オブジェクト、オブジェクトに関連付けられた装置、場所に関連付けられた別の装置、クラウドサーバ、ハブ装置、及び/または別のサーバに関連付けられ得る。
タイプ1デバイスは、場所のチャネルを通して少なくとも1つのタイプ2デバイス(単数または複数)に放送方式で信号を送信することができる。信号は、任意のタイプ2デバイスとの無線接続(例えば、関連付け、認証)を確立するタイプ1デバイスなしで、及びタイプ1デバイスからのサービスを要求するタイプ2デバイスなしで送信される。タイプ1デバイスは、複数のタイプ2デバイスに共通の特定のメディアアクセスコントロール(MAC)アドレスに送信できる。各々のタイプ2デバイスは、そのMACアドレスを特定のMAC アドレスに調整できる。特定のMACアドレスは、場所に関連付けられ得る。関連付けは、関連付けサーバ(例えば、ハブデバイス)の対応付けテーブルに記録され得る。場所は、特定のMACアドレス、一連のプローブ信号、及び/またはプローブ信号から抽出された少なくとも1つのTSCIに基づいて、タイプ1デバイス、タイプ2デバイス及び/または別の装置によって識別され得る。
例えば、タイプ2デバイスは、場所の新しい位置に(例えば、別の場所から)移動され得る。タイプ1デバイスは、タイプ1及びタイプ2デバイスが互いに認識しないように、場所に新たに設定され得る。セットアップ中、タイプ1デバイスは、一連のプローブ信号を特定のMACアドレスに送るように、指示され/ガイドされ/引き起こされ/制御され得る(例えば、ダミー受信機を使用すること、ハードウェアピン設定/接続を使用すること、保存された設定を使用すること、ローカル設定を使用すること、リモート設定を使用すること、ダウンロードされた設定を使用すること、ハブ装置を使用すること、またはサーバを使用すること)。電源を投入すると、タイプ2デバイスは、異なる場所(例えば、ハウス、オフィス、エンクロージャ、フロア、多層ビル、店舗、空港、モール、スタジアム、ホール、ステーション、地下鉄、ロット、地域、領域、区域、地方、都市、国、大陸などの異なる場所に使用される異なるMACアドレス)でブロードキャストするために使用され得るMACアドレスのテーブル(例えば、指定されたソース、サーバ、ハブデバイス、クラウドサーバに記憶された)に従って、プローブ信号をスキャンし得る。タイプ2デバイスが、特定のMACアドレスに送られたプローブ信号を検出すると、タイプ2デバイスは、MACアドレスに基づいて場所を識別するために、テーブルを使用することができる。
場所のタイプ2デバイスの位置は、特定のMACアドレス、一連のプローブ信号、及び/またはプローブ信号からタイプ2デバイスによって得られる少なくとも1つのTSCIに基づいて計算され得る。計算は、タイプ2デバイスによって実行されてもよい。
特定のMACアドレスは、経時的に変更(例えば、調整、変更、修正)され得る。それは、予定表、ルール、方針、モード、条件、状況及び/または変化に従って変更され得る。特定のMACアドレスは、MACアドレスの利用可能性、予め選択されたリスト、衝突パターン、トラフィックパターン、タイプ1デバイスと他の装置との間のデータトラフィック、有効な帯域幅、ランダム選択、及び/またはMACアドレススイッチングプランに基づいて選択することができる。特定のMACアドレスは、第2の無線デバイス(例えば、ダミー受信機、またはダミー受信機として機能する受信機)のMACアドレスであり得る。
タイプ1デバイスは、一組のチャネルから選択されたチャネルにおいて、プローブ信号を送信してもよい。選択されたチャネルの少なくとも1つのCIは、選択されたチャネルにおいて送信されるプローブ信号から、それぞれのタイプ2デバイスによって取得され得る。
選択されたチャネルは、経時的に変更(例えば、調整、変更、修正)され得る。変更は、予定表、ルール、方針、モード、条件、状況、及び/または変化に従うことができる。選択されたチャネルは、チャネルの利用可能性、ランダム選択、予め選択されたリスト、同一チャネル間干渉、チャネル間干渉、チャネルトラフィックパターン、タイプ1デバイスと別のデバイスとの間のデータトラフィック、チャネルに関連する有効帯域幅、セキュリティ基準、チャネルスイッチングプラン、基準、品質基準、信号品質条件、及び/または考慮に基づいて選択され得る。
特定のMACアドレス及び/または選択されたチャネルの情報は、ネットワークを介してタイプ1デバイスとサーバ(例えば、ハブ装置)との間で通信することができる。特定のMACアドレス及び/または選択されたチャネルの情報は、別のネットワークを介してタイプ2デバイスとサーバ(例えば、ハブ装置)との間で通信することもできる。タイプ2デバイスは、特定のMACアドレス及び/または選択されたチャネルの情報を別のタイプ2デバイス(例えば、メッシュネットワーク、Bluetooth、WiFi、NFC、ZigBeeなどを介して)に通信することができる。特定のMACアドレス及び/または選択されたチャネルは、サーバ(例えば、ハブ装置)によって選択され得る。特定のMACアドレス及び/または選択されたチャネルは、タイプ1デバイス、タイプ2デバイス及び/またはサーバ(例えば、ハブ装置)によってアナウンスメントチャネル内でシグナリングされ得る。通信される前に、任意の情報が前処理され得る。
タイプ1デバイスと別の無線装置との間の無線接続(例えば、関連付け、認証)は、(例えば、シグナルハンドシェイクを使用して)確立され得る。タイプ1デバイスは、第1のハンドシェイク信号(例えば、サウンディングフレーム、プローブ信号、送信要求RTS)を別の装置に送ることができる。別のデバイスは、第2のハンドシェイク信号(例えば、コマンド、または送信可CTS)をタイプ1デバイスに送信することによって応答することができ、いずれのタイプ2デバイスとの接続を確立することなく、複数のタイプ2デバイスにブロードキャスト方式で信号(例えば、一連のプローブ信号)を送信するようにタイプ1デバイスをトリガする。第2のハンドシェイク信号は、第1のハンドシェイク信号に対する応答または確認応答(例えば、ACK)であり得る。第2のハンドシェイク信号は、場所、及び/またはタイプ1デバイスの情報を有するデータを含み得る。別の装置は、タイプ1デバイスとの無線接続を確立し、第1の信号を受信し、及び/または第2の信号を送るための目的(例えば、一次目的、二次目的)を有するダミー装置であり得る。別の装置は、タイプ1デバイスに物理的に取り付けられてもよい。
別の例では、別の装置は、いずれのタイプ2デバイスとの接続(例えば、関連付け、認証)を確立することなく、信号(例えば、一連のプローブ信号)を複数のタイプ2デバイスにブロードキャストすることをタイプ1デバイスにトリガする第3のハンドシェイク信号をタイプ1デバイスに送ることができる。タイプ1デバイスは、第4のハンドシェイク信号を他の装置に送信することにより第3の特別信号に応答することができる。別の装置は、複数のタイプ1デバイスがブロードキャストすることをトリガするために使用され得る。トリガは、連続的、部分的に連続的、部分的に並列、または完全に並列であってもよい。別の装置は、複数の送信機を並列にトリガするために、複数の無線回路を有してもよい。並列トリガはまた、少なくとも1つのさらに別の装置を使用して、別の装置と並行して(別の装置が行うのと同様の)トリガを実行することによって達成され得る。別の装置は、タイプ1デバイスとの接続を確立した後、タイプ1デバイスと通信(または通信を一時停止)できない。一時停止した通信が再開される場合がある。別の装置は、タイプ1デバイスとの接続を確立した後、非アクティブモード、休眠モード、スリープモード、スタンバイモード、低電力モード、OFFモード及び/またはパワーダウンモードに入ることができる。別の装置は、タイプ1デバイスが信号を特定のMACアドレスに送信するように、特定のMACアドレスを有してもよい。タイプ1デバイス及び/または別の装置は、タイプ1デバイスに関連付けられた第1のプロセッサ、別の装置に関連付けられた第2のプロセッサ、指定されたソースに関連付けられた第3のプロセッサ、及び/または別の装置に関連付けられた第4のプロセッサによって制御及び/または調整されてもよい。第1及び第2のプロセッサは、互いに調整することができる。
第1の一連のプローブ信号は、第1の場所の第1のチャネルを通して、タイプ1デバイスの第1のアンテナによって少なくとも1つの第1のタイプ2デバイスに送信されてもよい。第2の一連のプローブ信号は、第2の場所の第2のチャネルを通して、タイプ1デバイスの第2のアンテナによって、少なくとも1つの第2のタイプ2デバイスに送信されてもよい。第1の一連のプローブ信号及び第2の一連のプローブ信号は、異なっていてもよい/異なっていなくてもよい。少なくとも1つの第1のタイプ2デバイスは、少なくとも1つの第2のタイプ2デバイスと異なっていてもよい/異なっていなくてもよい。第1及び/または第2の一連のプローブ信号は、タイプ1デバイスと任意のタイプ2デバイスとの間で確立された接続(例えば、関連付け、認証)なしにブロードキャストされ得る。第1及び第2のアンテナは、同じ/異なるものであってもよい。
2つの場所は、異なるサイズ、形状、マルチパス特性を有することができる。第1及び第2の場所は、重複してもよい。第1及び第2のアンテナの近傍のそれぞれの直近の領域は、重複することができる。第1及び第2のチャネルは、同じ/異なることができる。例えば、第1のものはWiFiであってもよく、第2のものはLTEであってもよい。または、両方ともWiFiであってもよいが、最初のものは2.4GHzのWiFiであってもよく、2番目は5GHzのWiFiであってもよい。または、両方とも2.4GHz WiFiであってもよいが、異なるチャネル番号、SSID名、及び/またはWiFi設定を有する。
各タイプ2デバイスは、それぞれの一連のプローブ信号から少なくとも1つのTSCIを取得することができ、CIは、タイプ2デバイスとタイプ1デバイスとの間のそれぞれのチャネルである。いくつかの第1のタイプ2デバイス(単数または複数)及びいくつかの第2のタイプ2デバイス(単数または複数)は、同じであり得る。第1及び第2の一連のプローブ信号は、同期/非同期であってもよい。プローブ信号は、データと送信されてもよく、またはデータ信号で置き換えられてもよい。第1のアンテナと第2のアンテナは同じであってもよい。
第1の一連のプローブ信号は、第1の速度(例えば、30Hz)で送信されてもよい。第2の一連のプローブ信号は、第2の速度(例えば、200Hz)で送信されてもよい。第1及び第2の速度は、同じ/異なることができる。第1及び/または第2の速度は、経時的に変更(例えば、調整、変化、修正)され得る。変更は、予定表、ルール、方針、モード、条件、状況、及び/または変化に従うことができる。任意の速度は、経時的に変更(例えば、調整、変更、修正)され得る。
第1及び/または第2の一連のプローブ信号は、それぞれ、第1のMACアドレス及び/または第2のMACアドレスに送信され得る。2つのMAC アドレスは同じ/異なる場合がある。第1の一連のプローブ信号は、第1のチャネル内で送信されてもよい。第2の一連のプローブ信号は、第2のチャネルで送信されてもよい。2つのチャネルは、同じ/異なることができる。第1または第2のMACアドレス、第1または第2のチャネルは、時間の経過と共に変化し得る。任意の変更は、予定表、ルール、方針、モード、状態、状況、及び/または変化に従うことができる。
タイプ1の装置及び別の装置は、制御及び/または調整され、共通の装置に物理的に取り付けられ、または共通の装置のもの/共通の装置の中であり得る。それらは、共通のデータプロセッサークにより制御され/へ接続され、又は、共通のバスインターコネクト/ネットワーク/LAN/Bluetoothネットワーク/ NFCネットワーク/ BLE/有線ネットワーク/無線ネットワーク/メッシュネットワーク/モバイルネットワーク/クラウドに接続されてもよい。それらは、共通メモリを共有することができ、あるいは、共通ユーザ、ユーザ装置、プロファイル、アカウント、アイデンティティ(ID)、識別子、家庭、住宅、物理アドレス、位置、地理座標、IPサブネット、SSID、家庭装置、オフィス装置、及び/または製造装置と関連付けることができる。
各タイプ1デバイスは、それぞれのタイプ2デバイスのセットの信号源であり得る(すなわち、それは、それぞれの信号(例えば、それぞれの一連のプローブ信号)をそれぞれのタイプ2デバイスのセットに送る)。各タイプ2デバイスは、その信号源として全てのタイプ1デバイスの中からタイプ1デバイスを選択する。各タイプ2デバイスは非同期に選択できる。少なくとも1つのTSCIは、タイプ1デバイスからのそれぞれの一連のプローブ信号から、それぞれのタイプ2デバイスによって取得され得、CIは、タイプ2デバイスとタイプ1デバイスとの間のチャネルである。
それぞれのタイプ2デバイスは、すべてのタイプ1デバイスの中から、アイデンティティ(ID)またはタイプ1/タイプ2デバイスの識別子、実行されるべきタスク、過去の信号源、履歴(例えば、過去の信号源、タイプ1デバイス、別のタイプ1デバイス、それぞれのタイプ2受信機、及び/または別のタイプ2受信機の)、信号源を切り替えるための閾値、及び/またはユーザの情報、アカウント、アクセス情報、パラメータ、特性、及び/または信号強度(例えば、タイプ1デバイス及び/またはそれぞれのタイプ2受信機に関連する)に基づいて、タイプ1デバイスをその信号源として選択する。
最初に、初回で、タイプ1デバイスは、初期のそれぞれのタイプ2デバイスのセット(すなわち、タイプ1デバイスは、初期のそれぞれのタイプ2デバイスのセットにそれぞれの信号(一連のプローブ信号)を送る)の信号源であり得る。各初期のそれぞれのタイプ2デバイスは、その信号源として、すべてのタイプ1デバイスの中からタイプ1デバイスを選択する。
特定のタイプ2デバイスの信号源(タイプ1デバイス)は、次の場合に変更(例えば、調整、変更、修正)され得る、(1)タイプ2デバイスの現在の信号源から受信される2つの隣接するプローブ信号(例えば、現在のプローブ信号とすぐ前のプローブ信号との間、または次のプローブ信号と現在のプローブ信号との間)の間の時間間隔は、第1の閾値を超える、(2)タイプ2デバイスの現在の信号源に関連する信号強度は、第2の閾値未満である、(3)タイプ2デバイスの現在の信号源に関連する処理済み信号強度が第3の閾値未満であり、信号強度は、ローパスフィルタ、バンドパスフィルタ、メジアンフィルタ、移動平均フィルタ、加重平均フィルタ、線形フィルタ及び/または非線形フィルタで処理される、及び/または(4)タイプ2デバイスの現在の信号源に関連する信号強度(または処理された信号強度)は、最近のタイムウインドウのかなりのパーセンテージ(例えば、70%、80%、90%)に対して、第4の閾値を下回っている。パーセンテージは、第5の閾値を超えることができる。第1、第2、第3、第4及び/または第5の閾値は、時間変化し得る。
条件(1)は、タイプ1デバイスとタイプ2デバイスとが徐々に互いに遠くになるときに起こり得、その結果、タイプ1デバイスからのいくつかのプローブ信号が弱すぎて、タイプ2デバイスによって受信されないようになる。条件(2)~(4)は、信号強度が非常に弱くなるように、2つのデバイスが互いに遠く離れると発生する可能性がある。
タイプ2デバイスの信号源は、他のタイプ1デバイスが、現在の信号源のファクタ(例えば、1、1.1、1.2、または1.5)よりも弱い信号強度を有する場合、変わらなくてもよい。
信号源が変更された場合(調整、変更、修正など)、新しい信号源は近い将来(例えば、それぞれの次回)に有効になることがある。新しい信号源は、最も強い、信号強度及び/または処理された信号強度、を有するタイプ1デバイスであってもよい。現在の信号源と新しい信号源は同じでも、異なってもよい。
使用可能なタイプ1デバイスのリストは、各タイプ2デバイスにより初期化及び保持されうる。リストは、タイプ1デバイスのそれぞれのセットに関連する信号強度及び/または処理された信号強度を調べることによって更新され得る。タイプ2デバイスは、第1のタイプ1デバイスからの第1の一連のプローブ信号と、第2のタイプ1デバイスからの第2の一連のプローブ信号との間で、それぞれのプローブ信号レート、MACアドレス、チャネル、特徴/特性/状態、タイプ2デバイスによって実行されるべきタスク、第1及び第2の一連の信号強度、及び/または別の考慮事項に基づいて選択することができる。
一連のプローブ信号は、一定の速度(例えば、100Hz)で送信されてもよい。一連のプローブ信号は、規則的な間隔(例えば、100Hzに対して0.01s)でスケジュールされ得るが、各プローブ信号は、おそらく、タイミング要件、タイミング制御、ネットワーク制御、ハンドシェイキング、メッセージパッシング、衝突回避、キャリアセンシング、輻輳、リソースの利用可能性、及び/または別の考慮事項に起因して、小さな時間摂動を経験し得る。
レートは、変更され得る(例えば、調整され、変更され、修正され得る)。変更は、予定表(例えば、1時間ごとに変更される)、規則、方針、モード、条件及び/または変化(例えば、あるイベントが発生したときにいつでも変更される)に従うことができる。たとえば、レートは通常100Hzであるが、要求の厳しい状況では1000Hzに変更され、低電力/スタンバイ状況では1Hzに変更される。プローブ信号は、バーストで送信されてもよい。
プローブ信号レートは、タイプ1デバイスまたはタイプ2デバイスによって実行されるタスクに基づいて変化する場合がある(例えば、タスクは通常100Hz、20秒間について一時的に1000Hzを必要とする場合がある)。一例では、送信機(タイプ1デバイス)、受信機(タイプ2デバイス)、及び関連するタスクは、クラス(例えば、低優先度、高優先度、緊急、クリティカル、通常、特権、非加入、加入、有料、及び/または非課金であるクラス)に適応的に(及び/または動的に)関連付けられ得る。(トランスミッターの)レートは、いくつかのクラス(例えば、高優先度クラス)のために調整され得る。そのクラスの必要性が変化した場合、レートを変更することができる(例えば、調整、変更、修正)。受信機が臨界的に低い電力を有する場合、レートは、プローブ信号に応答するために受信機の電力消費を低減するために低減されてもよい。1つの例では、プローブ信号を使用して、電力を無線で受信機(タイプ2デバイス)に転送し、レートを調整して、受信機に転送される電力の量を制御してもよい。
レートは、以下によって(またはそれに基づいて)変更することができる:サーバ(例えば、ハブデバイス)、タイプ1デバイス及び/またはタイプ2デバイス。制御信号は、それらの間で通信されてもよい。サーバは、タイプ2デバイスの必要性及び/又はタイプ2デバイスによって実行されるタスクを監視、追跡、予測及び/又は予想し、かつレートを変更するためにタイプ1デバイスを制御することができる。サーバは、予定表に従って、レートにスケジュールされた変更を行うことができる。サーバは、緊急事態を検知し、直ちにレートを変更することができる。サーバは、発展状態を検出し、レートを徐々に調整することができる。
特性及び/またはSTI(例えば、動き情報)は、特定のタイプ1デバイス及び特定のタイプ2デバイスに関連するTSCIに基づいて個別に監視され得るか、及び/または特定のタイプ1デバイス及び任意のタイプ2デバイスに関連する任意のTSCIに基づいて共同で監視され得るか、及び/または特定のタイプ2デバイス及び任意のタイプ1デバイスに関連する任意のTSCIに基づいて共同で監視され得るか、及び/または任意のタイプ1デバイス及び任意のタイプ2デバイスに関連する任意のTSCIに基づいてグローバルに監視され得る。任意の共同モニタリングは、以下に関連し得る:ユーザ、ユーザアカウント、プロファイル、家庭、場所の地図、場所の環境モデル、及び/またはユーザ履歴、など。
タイプ1デバイスとタイプ2デバイスとの間の第1のチャネルは、別のタイプ1デバイスと別のタイプ2デバイスとの間の第2のチャネルとは異なりうる。2つのチャネルは、異なる周波数帯域、帯域幅、搬送波周波数、変調、無線規格、コーディング、暗号化、ペイロード特性、ネットワーク、ネットワークID、SSID、ネットワーク特性、ネットワーク設定、及び/またはネットワークパラメータなどに関連し得る。
2つのチャンネルは、異なる種類の無線システム(例えば次の、WiFi、LTE、LTE-A、LTE-U、2.5G、3G、3.5G、4G、ビヨンド4G、5G、6G、7G、携帯ネットワーク規格、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA(登録商標)、TD-SCDMA、802.11システム、802.15システム、802.16システム、メッシュネットワーク、Zigbee、NFC、WiMax、Bluetooth、BLE、RFID、UWB、マイクロ波システム、レーダ類似システム、の内の2つ)に関連することができる。例えば、一方はWiFiであり、他方はLTEである。
2つのチャネルは、同様の種類の無線システムに関連付けられている場合があるが、ネットワークが異なる。例えば、第1のチャネルは、20MHzの帯域幅を有する2.4GHz帯域で「Pizza及びPizza」と命名されたWiFiネットワークに関連付けられ得、一方、第2のチャネルは、40MHzの帯域幅を有する5GHz帯域で「StarBudホットスポット」のSSIDを有するWiFiネットワークに関連付けられ得る。2つのチャネルは、同じネットワーク内で異なるチャネルになる場合がある(「StarBud ホットスポット」ネットワークなど)。
一実施形態では、無線監視システムは、複数のイベントに関連付けられたトレーニングTSCIに基づいて、場所の複数のイベントの分類器(classifier)をトレーニングすることを含むことができる。イベントに関連するCIまたはTSCIは、そのイベント(及び/または場所、環境、オブジェクト、オブジェクトの動き、状態/感情状態/精神状態/状態/ステージ/ジェスチャ/歩容/アクション/動き/活動/日常活動/履歴/オブジェクトのイベントなど)に関連する無線サンプル/特性/フィンガプリントを考慮/含むことができる。
既知のイベントに関連するそれぞれのトレーニング(例えば、調査、無線調査(wirelee survey)、初期無線調査)時間において場所で起こる複数の既知のイベントの各々について、それぞれのトレーニング無線信号(例えば、それぞれの一連のトレーニングプローブ信号)は、第1のタイプ1デバイスのプロセッサ、メモリ、及び命令のセットを使用する第1のタイプ1異種無線装置のアンテナによって、それぞれのトレーニング時間において場所の無線マルチパスチャネルを通して少なくとも1つの第1のタイプ2異種無線装置に送信され得る。
トレーニングCIの少なくとも1つのそれぞれの時系列(トレーニングTSCI)は、(それぞれの)トレーニング信号から、少なくとも1つの第1のタイプ2デバイスのそれぞれによって非同期的に取得され得る。CIは、既知のイベントに関連するトレーニング時間において、第1のタイプ2デバイスと第1のタイプ1デバイスとの間のチャネルのCIであり得る。少なくとも1つのトレーニングTSCIは、前処理され得る。トレーニングは、無線調査(例えば、タイプ1デバイス及び/またはタイプ2デバイスの設置の間の)であり得る。
現在の期間において場所内で起こる現在のイベントについて、現在の無線信号(例えば、一連の現在のプローブ信号)は、第2のタイプ1デバイスのプロセッサ、メモリ、及び命令のセットを使用する第2のタイプ1異種無線装置のアンテナによって、現在のイベントに関連する現在の期間において場所のチャネルを通して少なくとも1つの第2のタイプ2異種無線装置に送信され得る。
現在のCIの少なくとも1つの時系列(現在のTSCI)は、現在の信号(例えば、一連の現在のプローブ信号)から少なくとも1つの第2のタイプ2デバイスの各々によって非同期的に取得され得る。CIは、現在のイベントに関連する現在の期間において、第2のタイプ2デバイスと第2のタイプ1デバイスとの間のチャネルのCIであり得る。少なくとも1つの現在のTSCIは、前処理され得る。
分類器(classifier)は、少なくとも1つの第2のタイプ2デバイスによって、一連の現在のプローブ信号から得られる少なくとも1つの現在のTSCIを分類するために、特定の現在のTSCIの少なくとも1部分を分類するために、及び/または特定の現在のTSCIの少なくとも1部分と別のTSCIの別の部分との組み合わせを分類するために、適用され得る。分類器は、TSCI (または特徴/STIまたは他の分析または出力応答)をクラスタに分割し、クラスタを特定のイベント/オブジェクト/対象/位置/動き/活動に関連付けることができる。ラベル/タグは、クラスタについて生成され得る。クラスタは、記憶及び検索することができる。分類器は、現在のTSCI (または、おそらく現在のイベントに関連する特性/STIまたは他の分析/出力応答)を、以下と関連付けるために適用され得る:クラスタ、既知/特定のイベント、クラス/カテゴリ/グループ/グループ化/リスト/クラスタ、既知のイベントのセット/対象/位置/移動/アクティビティ、未知イベント、クラス/カテゴリ/グループ/グループ化/リスト/クラスタ/未知イベントのセット/対象/位置/移動/アクティビティ、及び/または別のイベント/対象/位置/移動/アクティビティ/クラス/カテゴリ/グループ/グループ化/リスト/クラスタ。各TSCIは、それぞれがそれぞれのタイムスタンプに関連する少なくとも1つのCIを含み得る。2つのタイプ2デバイスに関連する2つのTSCIは、異なる開始時間、持続時間、停止時間、CIの量、サンプリング頻度、サンプリング期間、によって異なる。それらのCIは、異なる特徴を有し得る。第1及び第2のタイプ1デバイスは、場所の同じ位置にあってもよい。それらは、同じ装置であってもよい。少なくとも1つの第2のタイプ2デバイス(またはそれらの位置)は、少なくとも1つの第1のタイプ2デバイス(またはそれらの位置)の置換であり得る。特定の第2のタイプ2デバイス及び特定の第1のタイプ2デバイスは、同じ装置であり得る。
第1のタイプ2デバイスのサブセットと第2のタイプ2デバイスのサブセットは同じであってもよい。少なくとも1つの第2のタイプ2デバイス及び/または少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットであり得る。少なくとも1つの第1のタイプ2デバイス及び/または少なくとも1つの第1のタイプ2デバイスのサブセットは、少なくとも1つの第2のタイプ2デバイスのサブセットの置換であり得る。少なくとも1つの第2のタイプ2デバイス及び/または少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットの置換であり得る。少なくとも1つの第2のタイプ2デバイス及び/または少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットと同じそれぞれの位置であり得る。少なくとも1つの第1のタイプ2デバイス及び/または少なくとも1つの第1のタイプ2デバイスのサブセットは、少なくとも1つの第2のタイプ2デバイスのサブセットと同じそれぞれの位置であり得る。
タイプ1デバイスのアンテナ及び第2のタイプ1デバイスのアンテナは、場所の同じ位置にあってもよい。少なくとも1つの第2のタイプ2デバイスのアンテナ及び/または少なくとも1つの第2のタイプ2デバイスのサブセットのアンテナは、少なくとも1つの第1のタイプ2デバイスのサブセットのそれぞれのアンテナと同じそれぞれの位置であり得る。少なくとも1つの第1のタイプ2デバイスのアンテナ及び/または少なくとも1つの第1のタイプ2デバイスのサブセットのアンテナは、少なくとも1つの第2のタイプ2デバイスのサブセットのそれぞれのアンテナと同じそれぞれの位置であり得る。
第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2のセクションの第2の持続時間の第2のセクションとを整列(aligne)させてもよい。第1セクションのアイテムと第2セクションのアイテムとの間のマップを計算することができる。第1のセクションは、第1の開始/終了時間を有する第1のTSCIの第1のセグメント(例えば、サブセット)、及び/または処理された第1のTSCIの別のセグメント(例えば、サブセット)を含み得る。処理された第1のTSCIは、第1の操作によって処理された第1のTSCIであってもよい。第2のセクションは、第2の開始時間及び第2の終了時間を有する第2のTSCIの第2のセグメント(例えば、サブセット)、ならびに処理された第2のTSCIの別のセグメント(例えば、サブセット)を含み得る。処理された第2のTSCIは、第2の操作によって処理された第2のTSCIであってもよい。第1の操作及び/または第2の操作は、サブサンプリング、再サンプリング、補間、フィルタリング、変換、特徴抽出、前処理、及び/または別の操作を含み得る。
第1のセクションの第1のアイテムは、第2のセクションの第2のアイテムにマッピングされ得る。第1セクションの第1アイテムはまた、第2セクションの別のアイテムにマッピングされ得る。第1セクションの別のアイテムはまた、第2セクションの第2アイテムにマッピングされ得る。マッピングは、1対1、1対多、多対1、多対多であり得る。第1のTSCIの第1のセクションの第1のアイテム、第1のTSCIの別のアイテム、第1のアイテムのタイムスタンプ、第1のアイテムの時間差、第1のアイテムの時間差、第1のアイテムの隣接タイムスタンプ、第1のアイテムの隣接タイムスタンプ、第1のアイテムに関連する別のタイムスタンプ、第2のTSCIの第2のセクションの第2のアイテム、第2のTSCIの別のアイテム、第2のアイテムのタイムスタンプ、第2のアイテムの時間差、第2のアイテムの時間差、第2のアイテムの隣接タイムスタンプ、及び第2のアイテムに関連する別のタイムスタンプのうちの少なくとも1つの少なくとも1つの関数は、少なくとも1つの制約を満たすことができる。
1つの制約は、第1のアイテムのタイムスタンプと第2のアイテムのタイムスタンプとの間の差が、適応的(及び/または動的に調整された)上側閾値によって上限され得、適応的下側閾値によって下限され得ることであり得る。
最初のセクションは、最初のTSCI全体であってもよい。第2のセクションは、第2のTSCI全体であってもよい。第1の時間持続時間は、第2の時間持続時間に等しくてもよい。TSCIの時間持続時間のセクションは、適応的に(及び/または動的に)判定され得る。TSCIの仮セクションを計算することができる。セクション(例えば、仮セクション、セクション)の開始時間及び終了時間を判定することができる。セクションは、仮セクションの開始部分及び終了部分を除去することによって判定することができる。仮セクションの開始部分は、以下のように判定することができる。反復的に、タイムスタンプの増加に伴う仮セクションのアイテムは、一度に1つのアイテムである現在のアイテムと見なすことができる。
各反復において、少なくとも1つの活動尺度/指標が計算及び/または考慮され得る。少なくとも1つの活動尺度は、現在のタイムスタンプに関連する現在のアイテム、現在のタイムスタンプよりも大きくないタイムスタンプをもつ仮セクションの過去のアイテム、及び/または現在のタイムスタンプよりも小さくないタイムスタンプをもつ仮セクションの将来のアイテムのうちの少なくとも1つに関連することができる。少なくとも1つの活動尺度に関連する少なくとも1つの基準(例えば、品質基準、信号品質条件)が満たされる場合、現在のアイテムは、仮セクションの開始部分に追加されてもよい。
活動尺度に関連する少なくとも1つの基準は、以下のうちの少なくとも1つを含み得る:(a)活動尺度は適応的な(動的に調整される)上側閾値よりも小さい。(b)活動尺度は適応的な下側閾値よりも大きい。(c)活動尺度は、少なくとも連続したタイムスタンプの所定の量に対して連続して適応的上限閾値よりも小さい、(d)活動尺度は、少なくとも連続したタイムスタンプの別の所定の量に対して連続して適応的下側閾値よりも大きい、(e)活動尺度は、少なくとも連続したタイムスタンプの所定の量の所定のパーセンテージに対して連続して適応的な上側閾値よりも小さい、(f)活動尺度は、少なくとも連続したタイムスタンプの別の所定の量の別の所定のパーセンテージに対して連続して適応的な下側閾値よりも大きい、(g)現在のタイムスタンプに関連した別のタイムスタンプに関連した別の活動尺度は、別の適応的上側閾値よりも小さく、別の適応的下側閾値よりも大きい、(h)現在のタイムスタンプに関連した少なくとも1つのそれぞれのタイムスタンプに関連した少なくとも1つの活動尺度は、それぞれの上側閾値よりも小さく、それぞれの下側閾値よりも大きい。(i)現在のタイムスタンプに関連付けられた一組のタイムスタンプにおける、それぞれの上限閾値よりも小さく、それぞれの下限閾値よりも大きい、活動尺度に関連付けられたタイムスタンプのパーセンテージが、閾値を超える、及び(j)別の基準(例えば、品質基準、信号品質条件)。
時間T1におけるアイテムに関連する活動尺度/指標は、以下の少なくとも1つを含み得る:(1) 時間T1でのアイテム及び時間T1-D1でのアイテムの第1の関数であって、ここで、D1は、所定の正の量(例えば、一定時間オフセット)、(2)時間T1でのアイテム及び時間T1+D1でのアイテムの第2の関数、(3)時間T1でのアイテム及び時間T2でのアイテムの第3の関数であり、ここで、T2は、所定の量(例えば、固定された初期基準時間、 T2は、時間とともに変更(例えば、調整、変化、修正)され得る、 T2は、周期的に更新され得る、T2は、期間の開始であり得、T1は、期間におけるスライディングタイムであり得る)、ならびに(4)時間T1でのアイテム及び他のアイテムの第4の関数。
第1の関数、第2の関数、第3の関数、及び/または第4の関数のうちの少なくとも1つは、少なくとも2つの引数X及びYを持つ関数(例えば、F(X、Y、...))であり得る。2つの引数は、スカラであってもよい。関数(例えば、F)は、X、Y、(X-Y)、(Y-X)、abs(X-Y)、X^a、Y^b、abs(X^a-Y^b)、(X-Y)^a、(X/Y)、(X+a)/ (Y+b)、(X^a/Y^b)、及び((X/Y)^a-b)のうちの少なくとも1つの関数であり得、ここでa及びbは、ある所定量であり得る。例えば、この関数は、単にabs(X-Y)、または(X-Y)^2、(X-Y)^4とすることができる。この関数は、ロバストな関数であってもよい。例えば、関数は、abs(X-Y)が閾値Tよりも小さい場合には(X-Y)^2であり、abs(X-Y)がTよりも大きい場合には(X-Y)+aである。あるいは、abs(X-Y)がTより大きい場合、関数は定数であってもよい。また、abs(X-y)がTより大きい場合、関数はゆっくりと増加する関数によって制限され得、その結果、外れ値は、結果に重大な影響を及ぼすことができない。この関数の別の例は、(abs(X/Y)-a)(式中、a=1)であり得る。このようにして、X=Y (すなわち、変更または活動なし)の場合、関数は0の値を与える。XがYより大きい場合、(X/Y)は1より大きくなり(XとYが正であると仮定)、関数はポジティブとなる。XがYより小さい場合、(X/Y)は1より小さくなり、関数はネガティブになる。別の例では、引数XとYの両方が、X=(x_1、x_2、...、x_n)とY=(y_1、y_2、...、y_n)となるn-タプル(n-tuples)であってもよい。この関数は、x_i,y_i,(x_i-y_i),(y_ix_i), abs(x_i-y_i),x_i^a, y_i^b,abs(x_i^a-y_i^b), (x_i-y_i)^a,(x_i/y_i),(x_i+a)/(y_i +b),(x_i^a/y_i^b),及び((x_i/y_i)^a-b)のうち少なくとも1つの関数であってもよく、ここで、iは、n-タプルX及びYの成分インデックスであり、1<=i<=nである。例えば、x_1 の成分インデックスはi=1で、x_2の成分インデックスはi=2 である。関数は、x_i,y_i,(x_i-y_i),(y_ix_i),abs(x_i-y_i),x_i^a,y_i^b,abs(x_i^a-y_i^b),(x_i-y_i)^a,(x_i/y_i),(x_i+a)/(y_i +b),(x_i ^a/y_i^b),及び((x_i/y_i)^a-b)のうちの少なくとも1つのコンポーネントごとの別の関数の合計を含むことができ、iは、nタプルX及びYのコンポーネントインデックスである。例えば、この関数は、sum_{i=1}^n(abs(x_i/y_i)-1)/n,又はsum_{i=1}^nw_i*(abs(x_i/y_i)-1) の形式である可能性がある。ここで、w_iはコンポーネントiの重みである。
マップは、動的タイムワーピング(dynamictime warping:DTW)を使用して計算され得る。DTWは、マップ、第1のTSCIのアイテム、第2のTSCIのアイテム、第1の持続時間、第2の持続時間、第1のセクション、及び/または第2のセクションのうちの少なくとも1つに対する制約を含み得る。マップで、i^{th} ドメインアイテムがj^{th} 範囲アイテムにマップされているとする。制約は、iとjとの許容可能な組み合わせ(iとjとの間の関係に関する制約)上であり得る。第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2の持続時間の第2のセクションとの間のミスマッチコストを計算することができる。
第1のセクション及び第2のセクションは、複数のリンクを含むマップが、第1のTSCIの第1のアイテムと第2のTSCIの第2のアイテムとの間で確立され得るように、整列され得る。各リンクでは、第1のタイムスタンプを持つ第1のアイテムの1つと、2番目のタイムスタンプを持つ2番目のアイテムの1つを関連付けることができる。整列された第1のセクションと整列された第2のセクションとの間のミスマッチコストが計算され得る。ミスマッチコストは、マップの特定のリンクによって関連付けられる第1のアイテムと第2のアイテムとの間のアイテムに関するコストと、マップの特定のリンクに関連付けられるリンクに関する(link-wise)コストとの関数を含むことができる。
整列された第1のセクション及び整列された第2のセクションは、それぞれ、同じベクトル長の第1のベクトル及び第2のベクトルとして表され得る。ミスマッチコストは、第1のベクトルと第2のベクトルとの間の、内積、内積様量、相関に基づく量、相関インジケータ、共分散に基づく量、識別スコア、距離、ユークリッド距離、絶対距離、Lk距離(例えば、L1、L2、・・・)、加重距離、距離様量及び/または別の類似値のうちの少なくとも1つを含み得る。ミスマッチコストは、それぞれのベクトル長によって正規化され得る。
第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2の持続時間の第2のセクションとの間のミスマッチコストから導出されるパラメータは、統計的分布でモデル化され得る。統計的分布のスケールパラメータ、位置パラメータ及び/または別のパラメータのうちの少なくとも1つを推定することができる。
第1のTSCIの最初の持続時間の第1のセクションは、第1のTSCIのスライディングセクションであり得る。第2のTSCIの第2の持続時間の第2のセクションは、第2のTSCIのスライディングセクションであってもよい。
第1のスライディングウインドウは、第1のTSCIに適用され得、対応する第2のスライディングウインドウは、第2のTSCIに適用され得る。第1のTSCIの第1スライディングウインドウと第2のTSCIの対応する第2のスライディングウインドウとは、整列され得る。
第1のTSCIの整列された第1のスライディングウインドウと、第2のTSCIの対応する整列された第2のスライディングウインドウとの間のミスマッチコストを計算することができる。現在のイベントは、ミスマッチコストに基づいて、既知のイベント、未知のイベント及び/または別のイベントのうちの少なくとも1つに関連付けられてもよい。
分類器は、少なくとも1つの仮分類結果を得るために、第1のTSCIの第1の持続時間の各第1のセクション、及び/または第2のTSCIの第2の持続時間の各第2のセクション、のうちの少なくとも1つに適用され得る。各仮分類結果は、それぞれの第1のセクション及びそれぞれの第2のセクションに関連付けられ得る。
現在のイベントは、ミスマッチコストに基づき、既知のイベント、未知のイベント、クラス/カテゴリ/グループ/グループ化/リスト/未知イベントのセット、及び/または別のイベント、のうちの少なくとも1つに関連することができる。現在のイベントは、第1のTSCIの複数のセクション及び対応する第2のTSCIの複数のセクションにおける最も多数の仮分類結果に基づいて、既知のイベント、未知のイベント及び/または別のイベント、の少なくとも1つに関連し得る:。例えば、ミスマッチコストが、N回の連続した(例えば、N=10)特定の既知のイベントを指し示す場合、現在のイベントは、特定の既知のイベントに関連付けられ得る。別の例では、現在のイベントは、特定の既知のイベントを指し示すN回の連続した直前のN個内のミスマッチコストのパーセンテージが、所定の閾値(例えば、>80%)を越える場合、特定の既知のイベントに関連付けられ得る。
別の例では、現在のイベントは、時間内の最も多くの回数について最小のミスマッチコストを達成する既知のイベントに関連付けられ得る。現在のイベントは、少なくとも1つの第1のセクションに関連する少なくとも1つのミスマッチコストの加重平均である、最小の全体的ミスマッチコストを達成する既知のイベントに関連付けられ得る。現在のイベントは、別の全体的なコストの最小を達成する特定の既知のイベントに関連付けられ得る。現在のイベントは、既知のイベントのいずれも、少なくとも1つの第1のセクションの十分なパーセンテージにおいて、第1の閾値T1よりも低いミスマッチコストを達成しない場合、「未知のイベント」と関連付けられ得る。現在のイベントはまた、いずれのイベントも第2の閾値T2よりも低い全体的なミスマッチコストを達成しない場合、「未知のイベント」に関連付けられ得る。現在のイベントは、第1のTSCIの少なくとも1つの追加セクション及び第2のTSCIの少なくとも1つの追加セクションに関連するミスマッチコスト及び追加のミスマッチコストに基づいて、既知のイベント、未知のイベント及び/または別のイベント、のうちの少なくとも1つに関連付けられ得る。既知のイベントは、ドア閉めイベント、ドア開けイベント、窓閉めイベント、窓開けイベント、マルチ状態イベント、オン状態イベント、オフ状態イベント、中間状態イベント、連続状態イベント、離散状態イベント、人の存在イベント、人の不在イベント、生命存在イベント、及び/または生命不存在イベントのうちの少なくとも1つを含み得る。
各CIのための射影(projection)は、トレーニングTSCIに基づく次元削減方法を使用してトレーニングされ得る。次元削減法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判定式、ベクトル量子化、教師あり学習、教師なし学習、自己組織化マップ、オートエンコーダ、ニューラルネットワーク、ディープニューラルネットワーク、及び/または別の方法のうちの少なくとも1つを含み得る。射影は、分類器のための、少なくとも1つのイベントに関連するトレーニングTSCI、及び/または現在のTSCIのうちの少なくとも1つに適用され得る。
少なくとも1つのイベントのための分類器は、少なくとも1つのイベントに関連する射影及び関連するトレーニングTSCIに基づいてトレーニングされ得る。少なくとも1つの現在のTSCIは、射影及び現在のTSCIに基づいて分類/カテゴリ化され得る。射影は、トレーニングTSCI、射影を再トレーニングする前の少なくとも1つの現在のTSCI、及び/または追加のトレーニングTSCIのうちの少なくとも1つに基づいて、次元削減方法、及び別の次元削減方法のうちの少なくとも1つを使用して、再トレーニングされ得る。別の次元削減方法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判定式、ベクトル量子化、教師あり学習、教師なし学習、自己組織化マップ、オートエンコーダ、ニューラルネットワーク、ディープニューラルネットワーク、及び/またはさらに別の方法のうちの少なくとも1つを含み得る。少なくとも1つのイベントの分類器は、再トレーニングされた射影、少なくとも1つのイベントに関連するトレーニングTSCI、及び/または少なくとも1つの現在のTSCIのうちの少なくとも1つに基づいて、再トレーニングされ得る。少なくとも1つの現在のTSCIは、再トレーニングされた射影、再トレーニングされた分類器、及び/または現在のTSCIに基づいて分類され得る。
各CIは、複素数値のベクトルを含み得る。各複素数値は、複素数値の大きさを与えるために前処理され得る。各CIは、対応する複素数値の大きさを含む非負の実数のベクトルを与えるために前処理され得る。各トレーニングTSCIは、射影のトレーニングにおいて重み付けされ得る。射影は、複数の射影構成要素を含み得る。射影は、少なくとも1つの最も有意な射影構成要素を含むことができる。射影は、分類器に有益であり得る少なくとも1つの射影された構成要素を含み得る。
チャネル/チャネル情報/場所(venue)/時空間(spatia-temporal)情報/動き/オブジェクト
チャネル情報(CI)は、信号強度、信号振幅、信号位相、スペクトルパワー尺度、モデムパラメータ(例えば、WiFi、4G/LTEなどのデジタル通信システムにおける変調/復調に関連して使用される)、動的ビームフォーミング情報(例えばIEEE802.11又は他の標準などの標準化プロセスに従って、無線通信デバイスによって生成されるフィードバック又はステアリングマトリックスを含む)、伝達関数コンポーネント、無線状態(例えば、デジタルデータ、ベースバンド処理状態、RF処理状態などを復号するためにデジタル通信システムで使用される)、測定可能変数、センシングデータ、層の粗視化/細粒度情報(例えば、物理層、データリンク層、MAC層など)、デジタル設定、利得設定、RFフィルタ設定、RFフロントエンドスイッチ設定、DCオフセット設定、DC補正設定、IQ補正設定、伝搬中の環境(例えば場所)による無線信号への影響、入力信号(タイプ1デバイスによって送信される無線信号)の出力信号(タイプ2デバイスによって受信される無線信号)への変換、環境の安定した挙動、状態プロファイル、無線チャネル測定、受信信号強度指標(RSSI)、チャネル状態情報(CSI)、ビームフォーミング動的情報(例えばIEEE802.11又は他の標準などの標準化プロセスに従って、無線通信デバイスによって生成されるフィードバック又はステアリングマトリックスを含む)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、帯域幅における周波数成分(例えばサブキャリア)の特性、チャネル特性、チャネル応答、タイムスタンプ、補助情報、データ、メタデータ、ユーザデータ、アカウントデータ、アクセスデータ、セキュリティデータ、セッションデータ、ステータスデータ、監督データ、家庭データ、識別(ID)、識別子、装置データ、ネットワークデータ、近傍データ、環境データ、リアルタイムデータ、センサデータ、記憶されたデータ、暗号化データ、圧縮データ、保護されたデータ、及び/または別のチャネル情報、に関連付けられる/含みうる。各CIは、タイムスタンプ、及び/または到達時間に関連付けられ得る。CSIは、マルチパスチャネル効果(送信チャネル)を等化し/元に戻し/最小化し/低減するのに使用され、マルチパスチャネルを通して送信機によって送信されたものと同様の信号を復調することができる。CIは、チャネルを通る信号の周波数帯域、周波数シグネチャ、周波数位相、周波数振幅、周波数トレンド、周波数特性、周波数様特性、時間領域要素、周波数領域要素、時間-周波数領域要素、直交分解特性、及び/または非直交分解特性に関連する情報に関連付けられ得る。TSCIは、無線信号(例えば、CI)のストリームであり得る。
CIは、前処理、処理、後処理、格納(例えば、ローカルメモリ、ポータブル/モバイルメモリ、リムーバブルメモリ、ストレージネットワーク、クラウドメモリに、揮発性の方法で、不揮発性の方法で)、検索、送信及び/または受信され得る。1つ以上のモデムパラメータ及び/または無線状態パラメータを一定に保つことができる。モデムパラメータは、無線サブシステムに適用することができる。モデムパラメータは無線状態を表すことができる。動き検出信号(例えば、ベースバンド信号、及び/またはベースバンド信号から復号/復調されたパケットなど)は、記憶されたモデムパラメータによって表される無線状態を使用して、無線サブシステムによって第1の無線信号(例えば、RF/WiFi/LTE/5G信号)を処理(例えば、ダウンコンバート)することによって取得され得る。モデムパラメータ/無線状態は、(例えば、以前のモデムパラメータまたは以前の無線状態を使用して)更新することができる。前の及び更新されたモデムパラメータ/無線状態の両方が、デジタル通信システムの無線サブシステムに適用され得る。前回及び更新されたモデムパラメータ/無線状態の両方を、タスクで比較/分析/処理/監視することができる。
チャネル情報はまた、無線信号を処理するために使用されるモデムパラメータ(例えば、記憶された、または新しく計算された)であり得る。無線信号は、複数のプローブ信号を含んでもよい。複数のプローブ信号を処理するために、同じモデムパラメータを使用することができる。同じモデムパラメータを使用して、複数の無線信号を処理することもできる。モデムパラメータは、無線センサデバイスの無線サブシステムまたはベースバンドサブシステム(またはその両方)の動作のための設定または全体構成を示すパラメータを含むことができる。モデムパラメータは、利得設定、RFフィルタ設定、RFフロントエンドスイッチ設定、DCオフセット設定、または無線サブシステムのためのIQ補償設定、またはデジタルDC補正設定、デジタル利得設定、及び/またはデジタルフィルタリング設定(例えば、ベースバンドサブシステムのための)、のうちの1つまたは複数を含み得る。CIはまた信号の、時間、時間シグネチャ、タイムスタンプ、時間振幅、時間位相、時間トレンド、及び/または時間特性に関連する情報に関連してもよい。CIは信号の、時間-周波数分割、シグネチャ、振幅、位相、トレンド、及び/または特性に関連する情報に関連付けられ得る。CIは、信号の分解に関連し得る。CIは、方向、到達角度(AoA)、指向性アンテナの角度、及び/またはチャネルを通る信号の位相に関連する情報に関連し得る。CIは、チャネルを通る信号の減衰パターンに関連し得る。各CIは、タイプ1デバイス及びタイプ2デバイスに関連付けられ得る。各CIは、タイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナに関連付けられ得る。
CIは、CIを提供することができる通信ハードウェア(例えば、タイプ2デバイス、またはタイプ1デバイス)から得ることができる。通信ハードウェアは、WiFi対応チップ/IC (集積回路)、802.11または802.16または他の無線/無線標準に準拠したチップ、次世代WiFi対応チップ、LTE対応チップ、5G対応チップ、6G/7G/8G対応チップ、Bluetooth対応チップ、NFC(近距離無線通信)対応チップ、BLE (Bluetooth低電力)対応チップ、UWBチップ、他の通信チップ(例えば、Zigbee、WiMax、メッシュネットワーク)などであり得る。通信ハードウェアはCIを計算し、CIをバッファメモリに保存して、CIを抽出に使用できるようにする。CIは、チャネル状態情報(CSI)に関連するデータ及び/または少なくとも1つのマトリックスを含み得る。少なくとも1つのマトリックスは、チャネル等化、及び/またはビームフォーミングなどのために使用され得る。チャネルは、場所に関連付けられ得る。減衰は、場所における信号伝搬、空気(例えば、場所の空気)を通る/での/近傍の信号伝搬/反射/屈折/回折、壁、ドア、家具、障害物及び/またはバリアなどの屈折媒体/反射面などに起因し得る。減衰は、床、天井、家具、備品、オブジェクト、人、ペットなどの表面及び障害物(例えば、反射面、障害物)における反射によるものであり得る。各CIは、タイムスタンプに関連付けられうる。各CIは、N1個の成分(例えば、CFRにおけるN1個周波数ドメイン成分、CIRにおけるN1個時間ドメイン成分、またはN1個分解成分)を含み得る。各成分は、成分インデックスに関連付けられ得る。各成分は、実数、虚数、または複素数量、大きさ、位相、フラグ、及び/またはセットであり得る。各CIは、複素数のベクトルまたはマトリックス、混合量のセット、及び/または少なくとも1つの複素数の多次元の集合を含み得る。
特定の成分インデックスに関連するTSCIの成分は、それぞれのインデックスに関連するそれぞれの成分時系列を形成し得る。TSCIは、N1個の成分時系列に分けられ得る。各個別の成分時系列は、それぞれの成分インデックスに関連付けられる。オブジェクトの動きの特性/STIは、成分時系列に基づいて監視することができる。1つの例では、CI成分の1つ以上の範囲(例えば、成分11から成分23までの1つの範囲、成分44から成分50までの2番目の範囲、及び1つの成分のみを有する3番目の範囲)は、さらなる処理のための基準/コスト関数/信号品質メトリック(例えば、信号対雑音比、及び/又は干渉レベルに基づいて)に基づいて選択され得る。
TSCIの成分-特徴時系列の成分に関する(component-wise)の特性を計算してもよい。成分に関する(component-wise)特性は、スカラ(例えば、エネルギ)であってもよいし、ドメインと範囲を持つ関数(例えば、自己相関関数、変換、逆変換)であってもよい。オブジェクトの動きの特性/STIは、成分に関する特性に基づいて監視され得る。TSCIの全特性(例えば、集約された特性)は、TSCIの各成分時系列の成分に関する特性に基づいて計算され得る。全特性は、成分に関する特性の加重平均であってもよい。オブジェクトの動きの特性/STIは、全特性に基づいて監視され得る。総量は、個々の量の加重平均であってもよい。
タイプ1デバイス及びタイプ2デバイスは、WiFi、WiMax、3G/3Gビヨンド、4G/4Gビヨンド、LTE、LTE-A、5G、6G、7G、Bluetooth、NFC、BLE、Zigbee、UWB、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA、メッシュネットワーク、独自の無線システム、IEEE 802.11規格、802.15規格、802.16規格、3GPP規格、及び/または別の無線システムをサポートし得る。
共通の無線システム及び/または共通の無線チャネルは、タイプ1トランシーバ及び/または少なくとも1つのタイプ2トランシーバによって共有され得る。少なくとも1つのタイプ2トランシーバは、共通無線システム及び/または共通無線チャネルを使用して、同時(または:非同期、同期、散発的、連続、繰り返し、並行、同時及び/または一時に)にそれぞれの信号を送信することができる。タイプ1トランシーバは、共通無線システム及び/または共通無線チャネルを使用して、信号を少なくとも1つのタイプ2トランシーバに送信することができる。
各タイプ1デバイス及びタイプ2デバイスは、少なくとも1つの送受信アンテナを有することができる。各CIは、タイプ1デバイスの送信アンテナのうちの1つ、及びタイプ2デバイスの受信アンテナのうちの1つに関連付けられ得る。送信アンテナ及び受信アンテナの各ペアは、リンク、経路、通信経路、信号ハードウェア経路などに関連付けられ得る。例えば、タイプ1デバイスがM(例えば、3)の送信アンテナを有し、タイプ2デバイスがN(例えば、2)の受信アンテナを有する場合、M×N (例えば、3×2=6)のリンクまたは経路があり得る。各リンクまたはパスは、TSCIに関連付けられ得る。
少なくとも1つのTSCIは、タイプ1デバイスとタイプ2デバイスとの間の種々のアンテナの対に対応し得る。タイプ1デバイスは、少なくとも1つのアンテナを有することができる。タイプ2デバイスも、少なくとも1つのアンテナを有してもよい。各TSCIは、タイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナに関連付けられ得る。アンテナリンクにわたる平均化または重み付け平均化を実行してもよい。平均化または重み付け平均化は、少なくとも1つのTSCIにわたってもよい。平均化は、オプションとして、アンテナ対のサブセットに対応する少なくとも1つのTSCIのサブセットに対して実行され得る。
TSCIの一部のCIのタイムスタンプは、不規則であり得、時間補正されたCIの補正されたタイムスタンプが時間的に均一に間隔を空けられ得るように補正され得る。複数のタイプ1デバイス及び/または複数のタイプ2デバイスの場合、修正されたタイムスタンプは、同じクロックまたは異なるクロックに関係している可能性がある。CIの各々に関連するオリジナルなタイムスタンプが判定され得る。オリジナルなタイムスタンプは、時間的に均一な間隔ではないかもしれない。現在のスライディングタイムウインドウにおける特定のTSCIの特定の部分のすべてのCIのオリジナルなタイムスタンプは、時間補正されたCIの補正されたタイムスタンプが時間的に均一な間隔にできるように補正され得る。
特性及び/またはSTI(例えば、動き情報)は、位置、位置の座標、位置の変化、位置(例えば初期位置、新しい位置)、マップ上の位置、高さ、水平位置、垂直位置、距離、変位、速度、加速度、回転速度、回転加速度、方向、動き角、方位、運動の方向、回転、経路、変形、変換、収縮、伸長、歩容、歩容サイクル、頭部運動、繰り返し運動、周期的運動、擬似周期的運動、インパルス運動、突然の動き、転倒運動、過渡的運動、挙動、過渡的挙動、運動周期、動きの頻度、時間傾向、時間的プロファイル、時間的特性、発生、変化、時間的変化、CIの変化、周波数の変化、タイミングの変化、歩容サイクルの変化、タイミング、開始時間、始まり時間、終了時間、継続時間、動きの履歴、動きの種類、動きの分類、周波数、周波数スペクトル、周波数特性、存在、不存在、近接、近接する、後退する、オブジェクトの識別/識別子、オブジェクトの構成物、頭部運動速度、頭部運動方向、口に関連するレート、目に関連するレート、呼吸速度、心拍数、一回換気量、呼吸の深さ、吸入時間、吐き出し時間、吸入対掃き出し時間比、空気流量、心拍間隔、心拍数変動性、手の動きレート、手の運動方向、脚の運動、身体の動き、歩行速度、手の動き速度、位置の特性、オブジェクトの動きに関連する特性(例えば位置/場所の変化)、工具の動き、機械の動き、複合運動、及び/または多重運動の組み合わせ、イベント、信号統計値、信号動態、異常、運動統計、運動パラメータ、動き検出の表示、動きの大きさ、動きの位相、類似性スコア、距離スコア、ユークリッド距離、加重距離、L_1ノルム、L_2ノルム、k>2のためのL_kノルム、統計的距離、相関、相関インジケータ、 自己相関、共分散、自己共分散、相互共分散、内積、直積、動き信号変換、動き特徴、動きの存在、動きの不存在、動きの局在化、運動識別、動きの認識、対象物の存在、対象物の不存在、オブシェクトの入り口、オブシェクトの出口、オブジェクトの変化、動作サイクル、動き回数、歩容周期、動きリズム、動き変形、ジェスチャ、手書き、頭部動き、口の動き、心臓運動、体内臓運動、動きトレンド、サイズ、長さ、領域、容量、容量、形状、形態、タグ、開始/開始位置、終了位置、開始/開始量、終了量、イベント、転倒イベント、セキュリティイベント、事故イベント、ホームイベント、オフィスイベント、工場イベント、ウェアハウスイベント、製造イベント、組立ラインイベント、保守イベント、カー関連イベント、ナビゲーションイベント、追跡イベント、ドアイベント、ドア開けイベント、ドアクローズイベント、窓イベント、窓開けイベント、窓閉めイベント、繰り返し可能イベント、ワンタイムイベント、消費量、未消費量、状態、物理的状態、健康状態、快適状態、感情状態、精神状態、別のイベント、分析、出力応答、及び/または別の情報、を含みうる。特性及び/またはSTIは、CIまたはTSCIから計算された特徴(例えば、特徴計算/抽出)に基づいて計算/監視され得る。静的セグメントまたはプロファイル(及び/または動的セグメント/プロファイル)は、特徴の分析に基づいて、同定/計算/分析/監視/抽出/取得/マーク/提示/指示/強調/記憶/通信され得る。分析は、動き検出/動き評価/存在検出を含み得る。計算ワークロードは、タイプ1デバイス、タイプ2デバイス、及び別のプロセッサで共有できる。
タイプ1デバイス及び/またはタイプ2デバイスは、ローカルデバイスであり得る。ローカルデバイスは、スマートフォン、スマートデバイス、TV、サウンドバー、セットトップボックス、アクセスポイント、ルータ、リピータ、無線信号リピータ/エクステンダー、リモコン、スピーカ、ファン、冷蔵庫、マイクロ波オーブン、コーヒーマシン、熱湯ポット、器具、テーブル、椅子、ライト、ランプ、ドアロック、カメラ、マイクロホン、動きセンサ、防犯装置、消火栓、ガレージドアスイッチ、電源アダプタ、コンピュータ、ドングル、コンピュータ周辺、電子パッド、ソファ、タイル、アクセサリ、家庭デバイス、車両デバイス、オフィスデバイス、建築設備、製造設備、腕時計、ガラス、時計、テレビ、オーブン、エアコンディショナー、アクセサリ、ユーティリティ、電気器具、スマートマシン、スマートビークル、物のインターネット(IoT)、スマートハウス、スマートオフィス、スマートビル、スマート駐車場、スマートシステム、及び他のデバイス、でありうる。
各タイプ1デバイスは、それぞれの識別子(例えば、ID)に関連付けられてもよい。各タイプ2デバイスはまた、それぞれの識別(ID)に関連付けられ得る。IDは、数字、テキストと数字の組み合わせ、名前、パスワード、アカウント、アカウントID、ウェブリンク、ウェブアドレス、何らかの情報へのインデックス、及び/または別のID、を含むことができる。IDを割り当てることができる。IDは、ハードウェア(例えば、ハードワイヤード、ドングル及び/または他のハードウェアを介して)、ソフトウエア及び/またはファームウェアによって割り当てることができる。IDは、記憶されうる(例えば、データベース内、メモリ内、サーバ内(例えば、ハブ装置)内、クラウド内、ローカルに記憶され、リモートに記憶され、永久に記憶され、一時的に記憶され)、そして検索され得る。IDは、少なくとも1つのレコード、アカウント、ユーザ、家庭、住所、電話番号、社会保障番号、顧客番号、別のID、別の識別子、タイムスタンプ、及び/またはデータの収集、に関連付けられ得る。タイプ1デバイスのID及び/またはIDの一部は、タイプ2デバイスに利用可能にされ得る。IDは、タイプ1デバイス及び/またはタイプ2デバイスによって、登録、初期化、通信、識別、検証、検出、認識、認証、アクセス制御、クラウドアクセス、ネットワーキング、ソーシャルネットワーキング、ロギング、記録、カタログ、分類、タグ付け、アソシエーション、ペアリング、トランザクション、電子トランザクション、及び/または知的所有権制御、に使用され得る。
オブジェクトは、人、ユーザ、対象、乗客、子供、老人、幼児、睡眠中の幼児、車両中の幼児、患者、労働者、高価値労働者、専門家、専門医、ウエイター、モールにおける顧客、空港/電車ステーション/バスターミナル/出荷ターミナルの旅行者、工場/モール/スーパーマーケット/オフィス/職場におけるスタッフ/労働者/顧客サービス職員、下水/空気換気システム/リフトウェルにおけるサービス職員、リフトウェルにおけるリフト、エレベータ、被収容者、追跡/モニタリングされる人、動物、植物、生物、ペット、イヌ、猫、スマートフォン、電話付属物、コンピュータ、タブレット、携帯コンピュータ、ドングル、コンピュータ付属装置、ネットワーク設備、WiFi装置、IoT装置、スマートウォッチ、スマート眼鏡、スマートデバイス、スピーカ、キー、スマートキー、札入れ、財布、ハンドバッグ、バックパック、商品、貨物、荷物、装置、モータ、機械、空気調和機、ファン、空調機器、照明器具、可動式ライト、テレビ、カメラ、オーディオ及び又はビデオ装置、 ステーショナリ、監視装置、パーツ、看板、道具、カート、チケット、駐車券、通行チケット、飛行機チケット、クレジットカード、プラスチックカード、アクセスカード、食品包装、器具、テーブル、椅子、洗浄器具/道具、車両、自動車、駐車施設の車両、倉庫/店舗/スーパーマーケット/流通センター内の商品、ボート、自転車、飛行機、ドローン、リモコン車/飛行機/ボート、ロボット、製造装置、組立ライン、工場フロア上の材料/未完成部品/ロボット/ワゴン/輸送手段、空港/ショッピングマート/スーパーマーケット内の追跡対象物、非対象物、対象物の非存在、対象物の存在、形状のあるオブジェクト、形状を変化させたオブジェクト、形状のないオブジェクト、流体の質量、液体の質量、気体/煙の質量、火、火炎、電磁(EM)源、EM媒体、及び/または他のオブジェクト、でありうる。
オブジェクト自体は、WiFi、MiFi、3G/4G/LTE/5G/6G/7G、Bluetooth、NFC、BLE、WiMax、Zigbee、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA、メッシュネットワーク、アドホックネットワーク、及び/または他のネットワークなどのいくつかのネットワークと通信可能に結合され得る。オブジェクト自体はAC電源でかさばることがあるが、設置、清掃、メンテナンス、リフォームなどの際に移動する。またオブジェクトは、リフト、パッド、可動式、プラットフォーム、エレベータ、コンベアベルト、ロボット、ドローン、フォークリフト、自動車、ボート、車両などの可動式プラットフォームに設置することもできる。オブジェクトは、複数の部分を有することができ、各部分は、異なる動き(例えば、場所/位置の変化)を有する。例えば、オブジェクトは、前を歩く人であってもよい。歩行中、彼の左手と右手は、異なる瞬間速度、加速度、動きを有して異なる方向に移動し得る。
無線送信機(例えば、タイプ1デバイス)、無線受信機(例えば、タイプ2デバイス)、別の無線送信機及び/または別の無線受信機は、(例えば、前の移動、現在の移動及び/または将来の移動において)オブジェクト及び/または別のオブジェクトと共に移動し得る。それらは、1つ以上の近くのデバイスに通信可能に結合され得る。それらは、TSCI及び/またはTSCIに関連する情報を、近くのデバイスに、及び/または互いに送信することができる。それらは、近くの装置と一緒であってもよい。無線送信機及び/又は無線受信機は、小型(例えば、コインサイズ、タバコ箱サイズ、又は更に小型の)軽量携帯装置の一部であってもよい。ポータブルデバイスは、近くのデバイスと無線で結合されてもよい。
近くの装置(nearby device)は、スマートフォン、iPhone(登録商標)、Androidフォン、スマートデバイス、スマートアプライアンス、スマートビークル、スマートガジェット、スマートTV、スマート冷蔵庫、スマートスピーカ、スマートウォッチ、スマート眼鏡、スマートパッド、iPad(登録商標)、コンピュータ、ウェアラブルコンピュータ、ノートブックコンピュータ、ゲートウェイであり得る。近くの装置は、クラウドサーバ、ローカルサーバ(例えば、ハブ装置)及び/又は他のサーバに、インターネット、有線インターネット接続及び/又は無線インターネット接続を介して接続することができる。近くの装置は携帯型であってもよい。ポータブルデバイス、近くの装置、ローカルサーバ(例えば、ハブデバイス)、及び/またはクラウドサーバは、タスク(例えば、TSCIを取得し、オブジェクトの移動(例えば、位置/位置の変化)に関連するオブジェクトの特性/STIを判定し、電力(例えば、信号強度)情報の時系列の計算を行い、特定の関数を判定/計算し、局所極値を探索し、分類、オフセット時間の特定値を識別し、雑音除去し、処理、単純化、クリーニング、無線スマートセンシングタスク、信号からのCIの抽出、スイッチング、セグメント化、軌跡/経路/追跡を推定し、マップを処理し、環境モデル/制約/制限に基づく軌跡/経路/追跡の処理、補正、補正調整、調整、マップベース(またはモデルベース)補正、誤差検出、境界ヒットについての確認、閾値化)及び情報(例えば、TSCI)についての計算及び/又は格納を共有することができる。近くの装置は、オブジェクトとともに動く/動かない場合がある。近くの装置は、携帯型/非携帯型/移動型/非移動型であり得る。近くの装置は、電池電力、太陽光、AC電源及び/または他の電源を使用することができる。近くの装置は、交換可能/交換不可能バッテリ、及び/または充電可能/非充電可能バッテリを有してもよい。近くの装置は、オブジェクトに類似していてもよい。近くの装置は、オブジェクトと同一の(及び/又は同様の)ハードウエア及び/又はソフトウエアを有することができる。近くの装置は、スマートデバイス、ネットワーク対応デバイス、WiFi/3G/4G/5G/6G/ Zigbee/ Bluetooth/ NFC/ UMTS/3GPP/ GSM/ EDGE/ TDMA/ FDMA/ CDMA/ WCDMA/ TD-SCDMA/アドホックネットワーク/他のネットワークへの接続を有する装置、スマートスピーカ、スマートウオッチ、スマート時計、スマートアプライアンス、スマートマシン、スマート機器、スマートツール、スマートビークル、物のインターネット(IoT)装置、インターネット対応デバイス、コンピュータ、ポータブルコンピュータ、タブレット、及び他のデバイスであり得る。無線受信機、無線送信機、別の無線受信機、別の無線送信機及び/またはクラウドサーバ(クラウド内)に関連する近くのデバイス及び/または少なくとも1つのプロセッサは、オブジェクトの初期STIを判定し得る。それらのうちの2つ以上は、共同して初期空間-時間情報を判定し得る。それらのうちの2つ以上は、初期STI(例えば、初期位置)の判定において中間情報を共有し得る。
一例では、無線送信機(例えば、タイプ1デバイス、またはトラッカーボット)は、オブジェクトと共に移動する。無線送信機は、信号を無線受信機(例えば、タイプ2デバイス、またはオリジンレジスタ(Origin Register))に送るか、またはオブジェクトの初期STI (例えば、初期位置)を判定することができる。無線送信機はまた、信号及び/または別の信号を、オブジェクトの動き(空間-時間情報)の監視のために、別の無線受信機(例えば、別のタイプ2デバイス、または別のオリジンレジスタ)に送ることができる。また、無線受信機は、オブジェクトの動きを監視するために、無線送信機及び/又は別の無線送信機からの信号及び/又は別の信号を受信してもよい。無線受信機及び/または別の無線受信機の位置は、分かりうる。別の例では、無線受信機(例えば、タイプ2デバイス、またはトラッカーボット)は、オブジェクトと共に移動し得る。無線受信機は、オブジェクトの初期空間-時間情報(例えば、初期位置)を判定するために、無線送信機(例えば、タイプ1デバイス、またはオリジンレジスタ)から送信された信号を受信しうる。無線受信機はまた、オブジェクトの現在の動き(例えば、空間-時間情報)の監視のために、別の無線送信機(例えば、別のタイプ1デバイス、または別のオリジンレジスタ)から信号及び/または別の信号を受信してもよい。無線送信機はまた、信号及び/または別の信号を、オブジェクトの動きを監視するために、無線受信機及び/または別の無線受信機(例えば、別のタイプ2デバイス、または別のトラッカーボット)に送信してもよい。無線送信機及び/又は別の無線送信機の位置は知ることができる。
場所は、センシング領域、部屋、家屋、事務所、財産、作業空間、廊下、リフト、リフトウェル、エスカレータ、エレベータ、下水道、換気システム、階段、集合領域、ダクト、空気ダクト、管、閉鎖空間、閉鎖構造、半閉鎖構造、少なくとも1つの壁を有する閉鎖領域、植物、機械、エンジン、構造物、木材を有する構造、ガラスを有する構造物、金属を有する構造物、壁を有する構造物、ドアを有する構造物、隙間を有する構造物、反射面を有する構造物、液体を有する構造、建物、屋上、店舗、工場、アセンブリライン、ホテルの部屋、博物館、教室、学校、大学、政府の建物、倉庫、ガレージ、モール、空港、駅、バス端末、ハブ、交通ハブ、貨物ターミナル、庁舎、公共施設、学校、大学、エンターテイメント施設、レクリエーション施設、病院、小児/新生児病棟などの空間、老人ホーム、老人介護施設、老人施設、コミュニティセンター、スタジアム、遊び場、フィールド、バスケットボールコート、テニスコート、サッカースタジアム、野球場、体育館、ガレージ、ショッピングマート、ノール、スーパーマーケット、製造施設、パーキング施設、建設現場、鉱山施設、輸送施設、幹線道路、道路、谷間、森林、木、地形、景観、ほら穴、パティオ、陸地、道路、アミューズメントパーク、都市部、農村部、郊外エリア、大都市部、庭、四角い広場、広場、音楽ホール、ダウンタウン施設、解放施設、半開放施設、閉領域、電車プラットフォーム、電車駅、配給センター、倉庫、店、配給センター、貯蔵施設、地下空間、空間(例えば、地上部、宇宙)施設、フローティング施設、洞窟、トンネル施設、屋内施設、屋外施設、いくつかの壁/ドア/反射バリアを有する屋外施設、開放施設、セミオープン施設、自動車、トラック、バス、バン、コンテナ、船舶/ボート、潜水艦、列車、電車、飛行機、乗り物、移動ホーム、洞穴、トンネル、パイプ、チャネル、大都市圏、比較的高い建物がある繁華街エリア、谷、井戸、ダクト、経路、ガスライン、油管、水管、相互接続経路/アレイ/道路/チューブ/空洞/洞窟/パイプ様構造/空間/流体スペース、人体、動物のからだ、体腔、器官、骨、歯、軟組織、硬組織、堅い組織、非硬組織、血液/体液管、風管、空気ダクト、巣穴、などの領域である。場所は、室内空間、屋外空間であってもよく、場所は、空間の内側及び外側の両方を含んでもよい。例えば、場所は、建物の内側及び建物の外側の両方を含むことができる。例えば、場所は、1階または複数階を有するビルであり得、ビルの一部は、地下であり得る。建物の形状は、例えば、丸形、正方形、長方形、三角形、又は不規則な形状とすることができる。これらは単なる例である。本開示は、他のタイプの場所または空間におけるイベントを検出するために使用することができる。
無線送信機(例えば、タイプ1デバイス)及び/または無線受信機(例えば、タイプ2デバイス)は、オブジェクトと共に移動し得る(例えば、前の移動及び/または現在の移動において)ポータブルデバイス(例えば、モジュール、またはモジュールを有するデバイス)に埋め込まれ得る。ポータブルデバイスは、有線接続(例えば、USB、マイクロUSB、ファイアワイヤ、HDMI、シリアルポート、パラレルポート、及び他のコネクタを介して)及び/または接続(例えば、Bluetooth、Bluetooth Low Energy (BLE)、WiFi、LTE、NFC、ZigBee)を使用して、オブジェクトと通信可能に結合され得る。ポータブルデバイスは、軽量な装置であってもよい。ポータブルは、電池、充電池及び/またはAC電源により電力を供給され得る。ポータブルデバイスは、非常に小さくてもよく(例えば、サブミリメートルスケール及び/またはサブセンチメートルスケールで)、及び/または小さくてもよい(例えば、コインサイズ、カードサイズ、ポケットサイズ、またはそれより大きい)。携帯装置は、大型で、サイズが大きく、及び/または、かさばる(例えば、設置された重機械)ことがある。ポータブルデバイスは、WiFiホットスポット、アクセスポイント、モバイルWiFi(MiFi)、USB/マイクロUSB/ファイアワイヤ/他のコネクタ付きドングル、スマートフォン、ポータブルコンピュータ、コンピュータ、タブレット、スマートデバイス、物のインターネット(IoT)デバイス、WiFi対応デバイス、LTE対応デバイス、スマートウォッチ、スマートガラス、スマートミラー、スマートアンテナ、スマートバッテリ、スマートライト、スマートペン、スマートリング、スマートドア、スマートウインドウ、スマートクロック、スマートバッテリ、スマート札入れ、スマートベルト、スマートハンドバッグ、スマートクロス/ガーメント、スマートオーナメント、スマートパッケージング、スマートペーパー/ブック/マガジン/ポスター/印刷物/サイネージ/ディスプレイ/明るくされたシステム/照明システム、スマートキー/ツール、スマートブレスレット/チェーン/ネックレス/衣服/アクセサリ、スマートパッド/クッション、スマートタイル/ブロック/ブリック/建材/他の材料、 スマートゴミ缶/廃棄物容器、スマート食料キャリッジ/格納、スマートボール/ラケット、スマートチェア/ソファ/ベッド、スマート靴/履物/カーペット/マット/靴棚、スマート手袋/ハンドウェア/リング/ハンドウェア、スマートハット/帽子/化粧品/ステッカー/タトウ、スマートミラー、スマート玩具、スマートピル、スマート調理器具、スマートボトル/食品容器、スマートツール、スマートデバイス、IoTデバイス、WiFi対応デバイス、ネットワーク対応デバイス、3G/4G/5G/6G対応デバイス、UMTSデバイス、3GPPデバイス、GSMデバイス、EDGEデバイス、TDMAデバイス、FDMAデバイス、CDMAデバイス、WCDMAデバイス、TD-SCDMAデバイス、埋め込みデバイス、埋め込み可能なデバイス、エアコン、冷蔵庫、ヒータ、炉、家具、オーブン、調理デバイス、テレビ/セットトップボックス(STB)/DVDプレーヤー/オーディオプレーヤー/ビデオプレーヤー/リモコン、ハイファイ、オーディオデバイス、スピーカ、ランプ/ライト、壁、ドア、窓、屋根、瓦/屋根板/構造/屋根裏構造/デバイス/特徴/設置/固定具、芝刈り機/園具/工具/機械工具/ガレージ用具、ごみかん/コンテナ、20フィート/40フィートコンテナ、貯蔵容器、工場/生産/製造装置、修理工具、流体容器、機械、設置された機械、車両、カート、ワゴン、倉庫車両、自動車、自転車、オートバイ、ボート、船舶、飛行機、バスケット/箱/バッグ/バケット/容器、スマートプレート/カップ/ボウル/ポット/マット/器具/台所用具/台所用品/キッチンアクセサリ/キャビネット/テーブル/椅子/タイル/ライト/水道管/蛇口/ガスレンジ/オーブン/食器洗浄機/、などでありうる。ポータブルデバイスは、交換可能、交換不可能、再充電可能、及び/または非再充電可能であり得るバッテリを有し得る。ポータブルデバイスは、無線で充電されてもよい。ポータブルデバイスは、スマートペイメントカードであってもよい。ポータブルデバイスは、駐車場、高速道路、エンターテイメントパーク、または支払いを必要とする他の場所/施設で使用されるペイメントカードであってもよい。ポータブルデバイスは、上述のように、アイデンティティ(ID)/識別子を有することができる。
イベントはTSCIに基づいて監視され得る。イベントは、オブジェクト(例えば、人及び/または疾病者)の転倒、回転、躊躇、休息、衝撃(例えば、人がサンドバッグ、ドア、窓、ベッド、椅子、テーブル、机、キャビネット、箱、別の人、動物、鳥、飛行、テーブル、椅子、ボール、ボウリングボール、テニスボール、フットボール、サッカーボール、野球、バスケットボール、バレーボールをたたく)、二体作用(例えば、バルーンを放置し、魚を捕らえ、粘土を成形し、論文を書き、人がコンピュータに入力する)、自動車をガレージで移動させる、スマートフォンを携帯し、空港/モール/官庁/オフィス/などを歩き回る人、周りを移動する自律移動可能なオブジェクト/機械(例えば、バキュームクリーナー、ユーティリティービークル、カー、ドローン、自走自動車)などのオブジェクト関連イベントであり得る。
タスクまたは無線スマートセンシングタスクは、オブジェクト検出、存在検出、近接検出、オブジェクト認識、アクティビティ認識、オブジェクト検証、オブジェクト計数、日常アクティビティモニタリング、健康モニタ、生命兆候モニタリング、健康状態モニタリング、ベビーモニタリング、老人モニタリング、睡眠モニタリング、睡眠段階モニタリング、歩行モニタリング、動きモニタリング、ツール検出、ツール認識、ツール検証、患者検出、患者モニタリング、患者検証、機械検出、機械検証、人間検出、人間認識、人間検証、ベビー検出、ベビー認識、ベビー検証、人間呼吸検出、人間呼吸認識、人間呼吸推定、人間呼吸検証、人間心拍検出、人間心拍認識、人間心拍推定、人間心拍検証、転倒検出、転倒認識、転倒推定、転倒検証、感情検出、感情認識、感情推定、感情検証、動き検出、動き度合い推定、運動認識、動き推定、動作検証、周期的運動検出、周期的運動推定、周期的運動検証、繰り返し動き検出、周期運動認識、反復運動推定、反復運動検証、静止運動認識、静止運動検出、静止運動推定、静止運動検証、周期定常(cycrostationary)運動検出、周期定常運動認識、周期定常運動推定、周期定常運動検証、過渡運動検出、過渡運動認識、過渡運動推定、過度運動検証、トレンド検出、トレンド認識、トレンド推定、トレンド検証、呼吸検出、呼吸認識、呼吸推定、ヒト生体計測検出、ヒト生体計測学的認識、ヒト生体計測学的推定、ヒト生体計測学的検証、環境情報学的検出、環境情報学的認識、環境情報学的推定、環境情報学的検証、歩容検出、歩容認識、歩容推定、歩容検証、ジェスチャ検出、ジェスチャ認識、ジェスチャ推定、ジェスチャ検証、機械学習、教師有り学習、教師なし学習 半教師有り学習、クラスタ化、特徴抽出、特徴トレーニング、主成分分析、固有値分解、周波数分解、時間分解、 時間-周波数分解、函数分解、他の分解、トレーニング、識別トレーニング、教師有りトレーニング、教師なしトレーニング、半教師ありトレーニング、ニューラルネットワーク、突然の動きの検出、転倒検出、危険検出、生命-脅威検出、規則的運動検出、静止運動検出、周期定常運動検出、侵入検出、怪しい動き検出、セキュリティ、安全性モニタリング、ナビゲーション、ガイダンス、地図ベースの処理、地図ベースの補正、モデルベースの処理/補正、不規則性検出、位置特定、部屋センシング、追跡、複数オブジェクト追跡、室内追跡、室内位置決め、室内ナビゲーション、エネルギ管理、電力伝送、無線電力伝送、オブジェクト計数、パーキングガレージにおける自動車追跡、デバイス/システムの起動(例えば、防犯システム、アクセスシステム、警報、サイレン、スピーカ、テレビ、娯楽システム、カメラ、ヒータ/空調(HVAC)システム、換気システム、照明システム、ゲームシステム、コーヒーマシン、調理器具、クリーニング装置、ハウスキーピング装置)、幾何学的推定 、拡張現実、無線通信、データ通信、信号ブロードキャスト、ネットワーキング、調整、管理、暗号化、保護、クラウド計算、他の処理及び/または他のタスク、を含んでもよい。タスクは、タイプ1デバイス、タイプ2デバイス、別のタイプ1デバイス、別のタイプ2デバイス、近くの装置、ローカルサーバ(ハブ装置など)、エッジサーバ、クラウドサーバ、及び/または別の装置によって実行できる。 このタスクは、タイプ1デバイスとタイプ2デバイスの任意の対の間のTSCIに基づくことができる。タイプ2デバイスは、タイプ1デバイスであってもよく、逆もまた同様である。タイプ2デバイスは、タイプ1デバイスの役割(例えば、機能性)を、一時的に、連続的に、散発的に、同時に、及び/または同時的に、及び/またはその逆に、果たし得る。タスクの第1の部分は、前処理、処理、信号調整、信号処理、後処理、散発的/連続的/同時/同時的/動的/適応的/オンデマンド的/必要に応じた処理、較正、雑音除去、特徴抽出、コーディング、暗号化、変換、マッピング、動き検出、動き推定、動作変化検出、動きパターン検出、動きパターン推定、動きパターン認識、バイタルサイン検出、バイタルサイン推定、バイタルサイン認識、周期的動き検出、周期的動き推定、反復動作検出/推定、呼吸数検出、呼吸数推定、呼吸パターン検出、呼吸パターン推定、呼吸パターン認識、心拍検出、心拍推定、心臓パターン検出、心臓パターン推定、心臓パターン認識、ジェスチャ検出、ジェスチャ推定、ジェスチャ認識、速度検出、速度推定、オブジェクト位置決め、オブジェクト追跡、ナビゲーション、加速度推定、加速度検出、転倒検出、変化検出、侵入者(及び/または不法行為)検出、ベビー検出、ベビーモニタリング、患者モニタリング、オブジェクト認識、無線電力伝送、及び/または無線充電、のうちの少なくとも1つを含み得る。
タスクの第2の部分は、スマートホームタスク、スマートオフィスタスク、スマートビルディングタスク、スマートファクトリータスク(例えば、機械または組立ラインを用いた製造)、スマート物のインターネット(IoT)タスク、スマートシステムタスク、スマートホームオペレーション、スマートオフィスオペレーション、スマートビルディングオペレーション、スマート製造オペレーション(例えば、機械/組立ラインへの供給品/部品/原材料の移動)、IoTオペレーション、スマートシステムオペレーション、ライトの点灯、ライトの消灯、部屋、領域、及び/または場所の少なくとも1つでの光の制御、サウンドクリップの再生、部屋、領域、及び/または場所の少なくとも1つでのサウンドクリップの再生、ウェルカム、挨拶、別れ、第1のメッセージ、及び/またはタスクの第1の部分に関連する第2のメッセージのうちの少なくとも1つのサウンドクリップの再生すること、家電製品をオンにする、家電製品をオフにする、 部屋、領域、及び/または場所の少なくとも1つにおいて電気製品を制御すること、電気システムをオンにすること、電気システムをオフにすること、部屋、領域、及び/または場所の少なくとも1つにおいて電機システムを制御すること、防犯システムをオンにすること、防犯システムをオフにすること、部屋、領域、及び/または場所の少なくとも1つにおいて防犯システムを制御すること、機械システムをオンにすること、機械システムをオフにすること、部屋、領域、及び/または場所の少なくとも1つにおいて機械システムを制御すること、及び/または空調システム、暖房システム、換気システム、照明システム、暖房装置、ストーブ、エンターテイメントシステム、ドア、塀、窓、ガレージ、コンピュータシステム、ネットワーク化された装置、ネットワーク化されたシステム、家電機器、事務機器、照明装置、ロボット(例えば、ロボットアーム)、スマートビークル、スマートマシン、 アセンブリライン、スマートデバイス、物のインターネット(IoT)デバイス、スマートホームデバイス、及び/またはスマートオフィスデバイスの少なくとも1つを制御すること、のうちの少なくとも1つを含みうる。
このタスクは、ユーザの帰宅を検知し、ユーザの外出を検知し、1つの部屋から別の部屋へ移動するユーザを検知し、窓/ドア/ガレージドア/ガレージドア/ブラインド/カーテン/パネル/ソーラーパネル/サンシェードをコントロール/ロック/解除/オープン/クローズ/部分的にオープンすることを検知し、ペットを検知し、ユーザが何か(例えば、ソファで寝ていること、寝室で寝ていること、トレッドミルで走ること、調理していること、ソファで座っていること、TVを見ること、台所で食事をすること、食堂で食事を食べること、階段を上り下りすること、外出/戻ること、洗面所にいること)することを検出/監視し、ユーザ/ペットの位置を監視/検知し、検知すると自動的に何か(例えば、メッセージを送ること、人に知らせること/報告すること)、を行い、ユーザを検知するとユーザに対して何かを行うこと、ライトをオン/オフ/暗くすること、音楽/ラジオ/ホームエンターテイメントシステムをオン/オフし、テレビ/ハイファイ/セットトップボックス(STB)/ホームエンターテイメントシステム/スマートスピーカ/スマートデバイスをオン/オフ/調整/制御し、エアコンシステムをオン/オフ/調整し、換気システムをオン/オフ/調整し、暖房システムをオン/オフ/調整し、カーテン/ライトシェードを調整/コントロールし、コンピュータをオン/オフ/起動し、コーヒーマシン/温水ポットをオン/オフ/プレヒート/制御し、クッカー/オーブン/電子レンジ/他の調理機器をオン/オフ/プレヒート/制御し、温度をチェック/調整し、天気予報をチェックし、電話メッセージボックスをチェックし、メールのチェックをし、システムをチェックし、システムを制御/調整し、防犯システム/ベビーモニタをチェック/制御/用意/解除し、冷蔵庫をチェック/制御し、報告すること(例えば、グーグルホーム、アマゾンエコーなどのスピーカを通して、ウェブページ/電子メール/メッセージングシステム/通知システムを介し。)、を含みうる。
例えば、ユーザが自宅に車内に到着した場合、そのタスクは、ユーザまたはその乗り物が近づいていることを自動的に検出し、検出時にガレージドアを開き、ユーザがガレージに近づくにつれて私設車道/ガレージにライトを点灯させ、空調装置/ヒータ/ファンをオンさせるなどであってもよい。ユーザが家に入るにつれて、そのタスクは、自動的に、入口ライトをオンにし、私設車道/ガレージのライトをオフにし、ユーザをウェアカムするグリーティングメッセージを発し、音楽をオンにし、ラジオをオンにし、ユーザの好きなラジオニュースチャネルに合わせて調整し、カーテン/ブラインドを開き、ユーザの気分を監視し、ユーザの気分またはユーザの毎日のカレンダー上の現在/差し迫ったイベント(例えば、ユーザが1時間でガールフレンドと食事する予定であるため、ロマンチックな照明及び音楽を行う)に応じて照明及び音環境を調整し、ユーザが朝に準備した食品をマイクロウェーブで暖め、ハウス内の全てのシステムの診断チェックを行い、明日の作業のための天気予報をチェックし、ユーザの興味のあるニュースをチェックし、ユーザのカレンダー、to-doリスト。リマインダをチェックし、電話応答システム、メッセージングシステム、電子メールをチェックし、対話システム/音声合成を使って口頭報告を伝え、ユーザの母の誕生日を思い出させる(例えば、スピーカ、ハイファイ、音声合成、サウンド、声、音楽、歌、音場、バックグラウンド音場、対話システムなどの可聴ツールを使い、TV/エンターテイメントシステム/コンピュータ/ノートブック/スマートパッド/ディスプレイ/光/色/明るさ/パターンなどの視覚ツールを使用し、触覚ツール/仮想現実ツール/ジェスチャ/ツールを使用し、スマートデバイス/器具/材料/家具/備品を使用し、ウェブツール/サーバ/ハブデバイス/クラウドサーバ/フォグサーバ/エッジサーバ/ホームネットワーク/メッシュネットワークを使用し、メッセージングツール/通知ツール/通信ツール/スケジューリングツール/電子メールを使用し、ユーザインタフェース/GUIを使用し、香り/匂い/芳香/味を使用し、神経ツール/神経システムツールを使用し、組合せを使用し)、報告書を作成し、報告書を提供する(例えば、上述のように思い出させるためのツールを使用する)。タスクは、事前に空調装置/ヒータ/換気システムを起動したり、事前にスマートサーモスタットの温度設定を調整したりすることがある。ユーザが玄関からリビングに移動するとき、そのタスクは、リビングルームライトを点灯し、リビングルームカーテンを開き、窓を開き、ユーザの背後にある玄関の光を消し、TVとセットトップボックスをオンにし、セットトップボックスをオンにし、TVをユーザの好みのチャネルに設定し、ユーザの好み及び条件/状態に応じて器具を調整する(例えば、照明を調整し、ロマンチックな雰囲気を構築するために音楽を選択/再生する)ことなどであり得る。
別の例は、以下であり得る。ユーザが朝、目を覚ましたとき、そのタスクは、ベッドルーム内を動き回るユーザを検出し、ブラインド/カーテンを開き、窓を開き、目覚まし時計をオフにし、室内温度プロファイルを夜間温度プロファイルから昼間温度プロファイルに調整し、ベッドルームライトをオンにし、ユーザがトイレに近づくにつれてトイレライトをオンにし、ラジオまたはストリーミングチャネルをチェックし、朝のニュースを再生し、コーヒーマシンをオンにし、水を予熱し、防犯システムをオフにするなどすることであり得る。ユーザがベッドルームから台所へ歩くとき、そのタスクは、台所及び廊下灯を点灯させ、ベッドルーム及びトイレの照明を消し、音楽/メッセージ/リマインダをベッドルームから台所に移動させ、台所のTVを点灯させ、TVを朝のニュースチャネルに変更し、台所ブラインドを下げ、新鮮な空気をもたらすために台所窓を開け、ユーザがバックヤードをチェックするためにバックドアを解錠し、台所の温度設定を調整することなどであり得る。別の例は、以下であり得る。ユーザが仕事のために家から離れるとき、そのタスクは、ユーザが離れることを検出し、別れをし、及び/または、良い一日を過ごすようにとメッセージを発し、ガレージドアを開閉し、ガレージ灯及び私設車道灯をオン/オフにし、エネルギを節約するためにオフ/暗くし(ユーザが失敗した場合にのみ)、全ての窓/ドアを閉じ/ロックし(ユーザが失敗した場合にのみ)、器具(特に、ストーブ、オーブン、電子レンジ)をオフにし、侵入者に対して家の防護のために家の防犯システムをオン/装備し、エネルギを節約するために「家から離れた」プロファイルに空調/暖房/換気システムを調整し、警告/報告/更新をユーザのスマートフォンに送るなどであり得る。
動きは、動きなし、休息の動き、動きのない動作、動き、場所/位置の変化、決定論的動き、過渡的動き、転倒動き、繰り返し動き、周期的動き、疑似周期的動き、呼吸に関連する周期的/繰り返し動き、心拍に関連する周期的/繰り返し動き、生物に関連する周期的/繰り返しの動き、機械に関連する周期的/繰り返し動き、人工物体に関連する周期的/繰り返し動き、自然に関連する周期的/繰り返しの動き、過渡的要素及び周期的要素に関連する複雑な動き、反復動き、非決定論的動き、確率論的動き、カオス動き、ランダムな動き、非決定論的要素及び決定論的要素を有する複雑な動き、定常ランダム動き、疑似定常ランダム動き、周期定常ランダム動き、非定常ランダム動き、周期的自己相関関数(ACF)を有する非定常ランダム動き、期間に対する周期的ACFを伴ったランダム動き、期間に対する疑似定常的なランダム動き、瞬間ACFが期間に対して疑似周期的/反復的要素を持つランダム動き、機械運動、メカニカルな動き、ビークルの動き、ドローンの動き、空気関連の動き、風関連の動き、天気関連動作、水関連動作、流体関連動作、地面関連運動、磁気特性の変化、地表面下運動、地震動、植物の動き、動物の動き、動物の運動、人体の運動、正常な動き、異常な動き、危険な動き、警告動作、疑わしい動き、雨、火災、洪水、津波、爆発、衝突、差し迫った衝突、人体運動、頭部運動、顔面運動、眼運動、口腔運動、舌運動、首運動、指の動き、手の動き、腕の動き、肩の動き、体動、胸の動き、腹部の動き、腰の運動、脚の動き、足の動き、体関節運動、膝の動き、ひじの動き、上体の動き、下半身の動き、皮膚の動き、皮下の動き、皮下組織運動、 血管の動き、静脈運動、臓器運動、心臓の動き、肺の動き、胃ぼ動き、腸の動き、便通運動、摂食運動、呼吸運動、顔の表情、眼の表情、口の表情、声の動き、歌う動き、摂食運動、ジェスチャ、手のジェスチャ、腕のジェスチャ、キーストローク、タイピングストローク、ユーザインタフェースジェスチャ、マンマシン相互作用、歩容、ダンスの動き、協調運動、及び/または協調身体運動、のうちの少なくとも1つを含んでもよい。
タイプ1デバイス及び/または任意のタイプ2受信機の異種ICは、低雑音増幅器(LNA)、電力増幅器、送信-受信スイッチ、メディアアクセスコントローラ、ベースバンド無線機、2.4GHz無線機、3.65GHz無線機、4.9GHz無線機、5GHz無線機、5.9GHz無線機、6GH未満の無線機、60GHz無線機、60GHz未満無線機及び/または別の無線機を含み得る。異種ICは、プロセッサと、プロセッサと通信可能に結合されたメモリと、プロセッサによって実行されるメモリに記憶された命令のセットとを含み得る。IC及び/または任意のプロセッサは、汎用プロセッサ、特殊目的プロセッサ、マイクロプロセッサ、マルチプロセッサ、マルチコアプロセッサ、並列プロセッサ、CISCプロセッサ、RISCプロセッサ、マイクロコントローラ、中央処理ユニット(CPU)、グラフィカルプロセッサユニット(GPU)、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、埋め込みプロセッサ(例えばARM)、論理回路、他のプログラマブル論理デバイス、ディスクリートロジック及び/または組み合わせ、のうちの少なくとも1つを含み得る。異種ICは、ブロードバンドネットワーク、無線ネットワーク、モバイルネットワーク、メッシュネットワーク、セルラーネットワーク、無線ローカルエリアネットワーク(WLAN)、ワイドエリアネットワーク(WAN)、メトロポリタネリアネットワーク(MAN)、WLAN標準、WiFi、LTE、LTE-A、LTE-U、802.11規格、802.11a、802.11b、802.11g、802.11n、802.11ac、802.11af、802.11ah、802.11ax、802.11ay、メッシュネットワーク標準802.16、3G、3.5G、4G、ビヨンド4G、4.5G、6G、7G、8G、9G、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA、Bluetooth、Bluetooth Low-Energy (BLE)、NFC、Zigbee、WiMax、その他の無線ネットワークプロトコル、をサポートしうる。
プロセッサは、汎用プロセッサ、特別目的プロセッサ、マイクロプロセッサ、マイクロコントローラ、組込みプロセッサ、デジタルシグナルプロセッサ、中央処理装置、グラフィカル処理ユニット(GPU)、マルチプロセッサ、マルチコアプロセッサ、及び/またはグラフィック能力を有するプロセッサ、及び/または組み合わせ、を含むことができる。メモリは、揮発性、不揮発性、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、プログラム可能ROM(EPROM)、電気的に消去可能なプログラマブルROM(EEPROM)、ハードディスク、フラッシュメモリ、CD-ROM、DVD-ROM、磁気記憶装置、光記憶装置、有機記憶装置、記憶システム、記憶ネットワーク、ネットワーク記憶装置、クラウド記憶装置、エッジ記憶装置、ローカル記憶装置、外部記憶装置、内部記憶装置、または技術的に知られている他の形態の非一時的記憶媒体であってもよい。方法のステップに対応する命令のセット(マシン実行可能コード)は、ハードウェア、ソフトウエア、ファームウェア、またはそれらの組み合わせで直接実施可能である。指示のセットは、組み込み、プリロード、ブート時にロード、オンザフライでロード、オンデマンドでロード、プリインストール、インストール、及び/またはダウンロードすることができる。
プレゼンテーションは、視覚的な方法(例えば、視覚、グラフィックス、テキスト、シンボル、色、シェード、ビデオ、アニメーション、サウンド、音声、音響などの組み合わせを使用する)、グラフィカルな方法(例えば、GUI、アニメーション、ビデオを使用する)、テキスト的な方法(例えば、テキスト付ウェブページ、メッセージ、アニメーションテキスト)、記号的な方法(例えば、絵文字、サイン、手のジェスチャ)、または機械的な方法(例えば、バイブレーション、アクチュエータの動き、触覚など)によるプレゼンテーションであってもよい。
基本計算
この方法に関連する計算ワークロードは、プロセッサ、タイプ1異種無線装置、タイプ2異種無線装置、ローカルサーバ(例えば、ハブ装置)、クラウドサーバ、及び他のプロセッサの間で共有される。
操作、前処理、処理及び/または後処理は、データ(例えば、TSCI、自己相関、TSCIの特徴)に適用され得る。操作には、前処理、処理及び/または後処理がありうる。前処理、処理及び/または後処理は、操作であってもよい。操作は、前処理、処理、後処理、スケーリング、信頼係数の計算、視線(LOS)量の計算、非LOS (NLOS)量の計算、LOS及びNLOSを含む量の計算、単一リンク(例えば、パス、通信経路、送信アンテナと受信アンテナの間のリンク)量の計算、多重リンクを含む量の計算、オペランドの関数を計算すること、フィルタリング、線形フィルタリング、非線形フィルタリング、フォールディング、グルーピング、エネルギ計算、ローパスフィルタリング、バンドパスフィルタリング、ハイパスフィルタリング、メジアンフィルタリング、ランクフィルタリング、四分位フィルタリング、パーセンタイルフィルタリング、有限インパルス応答(FIR)フィルタリング、無限インパルス応答(IIR)フィルタリング、移動平均(MA)フィルタリング、自己回帰(AR)フィルタリング、自己回帰移動平均(ARMA)フィルタリング、選択フィルタリング、適応フィルタリング、補間、デシメーション、サブサンプリング、アップサンプリング、リサンプリング、時間補正、時間ベース補正、位相補正、大きさ補正、位相洗浄、振幅洗浄、マッチドフィルタリング、エンハンスメント、復元、雑音除去、スムージング、信号調整、エンハンスメント、復元、線形変換、非線形変換、逆変換、周波数変換、逆周波数変換、フーリエ変換(FT)、離散時間FT (DTFT)、離散FT(DFT)、高速FT(FFT)、ウェーブレット変換、ラプラス変換、ヒルバート変換、ハダマール変換、トリゴノメトリック変換、サイン変換、コサイン変換、DCT、2のべき乗変換、スパース変換、グラフベース変換、グラフ信号処理、高速変換、ゼロパディングと組み合わせた変換、サイクリックパディング、パディング、ゼロパディング、特徴抽出、分解、射影、直交射影、非直交射影、過剰射影(oecomlee ojecion)、固有分解、特異値分解(SVD)、原理成分分析(ICA)、独立成分分析(ICA)、グループ化、仕分け、閾値化、ソフト閾値化、ハード閾値化、クリッピング、ソフトクリッピング、一次微分、二次微分、高次微分、畳み込み、乗算、分割、加算、減算、積分、最大化、最小化、最小二乗誤差、再帰最小二乗、制約付き最小二乗法、バッチ最小二乗、最小絶対偏差、最小平均二乗偏差、最小絶対偏差、局所最大化、局所最小化、コスト関数の最適化、ニューラルネットワーク、認識、ラベリング、トレーニング、クラスタリング、機械学習、教師有り学習、教師なし学習、半教師あり学習、他のTSCIとの比較、類似度スコア計算、量子化、ベクトル量子化、マッチング追跡、圧縮、暗号化、符号化、記憶、送信、正規化、時間正規化、周波数領域正規化、分類、クラスタリング、ラベリング、タグ付け、学習、検出、推定、学習ネットワーク、マッピング、再マッピング、拡張、記憶、検索、送信、受信、表現、結合、合併すること、分割、追跡、監視、マッチドフィルタリング、カルマンフィルタリング、粒子フィルタリング、内挿、外挿、ヒストグラム推定 、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、表現、合併、結合、分割、スクランブリング、エラー保護、前方エラー訂正、何もしない、時間変動処理、調整平均化、加重平均化、算術平均、幾何平均、調和平均、選択された周波数にわたる平均化、アンテナリンクにわたる平均化、論理的操作、置換、組合せ、ソーティング、AND、OR、XOR、結合、交差、ベクトル加算、ベクトル減算、ベクトル乗算、ベクトル除算、逆、ノルム、距離、及び/または別の演算、を含みうる。操作は、前処理、処理、及び/または後処理であり得る。動作は、複数の時系列または関数上で共同して適用され得る。
関数(例えばオペランドの関数)は、スカラ関数、ベクトル関数、離散関数、連続関数、多項式関数、特性、特徴、大きさ、位相、指数関数、対数関数、三角関数、超越関数、論理関数、線形関数、代数的関数、非線形関数、区分関数、実数関数、複素関数、ベクトル値関数、逆関数、導関数、積分関数、円形関数、他の関数の関数、1対1関数、1対多関数、多対1関数、多対多関数、ゼロクロス、絶対関数、指標関数、平均、モード、中央値、範囲、統計、ヒストグラム、分散、標準偏差、変化の尺度、拡大、分散、偏差、ダイバージェンス、範囲、四分位範囲、全偏差、絶対偏差、算術平均、幾何平均、調和平均、トリム平均、パーセンタイル、二乗、立方、平方根、パワー、サイン、コサイン、タンジェント、コタンジェント、楕円関数、放物線関数、双曲線関数、ゲーム関数、ゼータ関数、絶対値、閾値、制限関数、フロア関数、丸め関数、符号関数、量子化、区分定数関数、合成関数、関数の関数、演算で処理される時間関数(例えばフィルタリング)、確率論的関数、推計学的関数、決定論的関数、周期関数、反復関数、変換、周波数変換、逆周波数変換、離散時間変換、ラプラス変換、ヒルベルト変換、正弦変換、余弦変換、三角変換、ウェーブレット変換、整数変換、2のべき乗変換、スパース変換、射影、分解、主成分分析(PCA)、ニューラルネットワーク、特徴抽出、移動関数、時系列の隣接項目の移動ウインドウの関数、フィルタリング関数、畳み込み、平均関数、ヒストグラム、分散/標準偏差関数、統計関数、短時間変換、離散変換 、離散フーリエ変換、離散コサイン変換、離散サイン変換、アダマール変換、固有値分解、固有値、特異値分解(SVD)、特異値、直交分解、マッチング追求、スパース変換、任意の分解、グラフベース処理、グラフベース変換、グラフ信号処理、分類、クラス/グループ/カテゴリの識別、ラベリング、学習、機械学習、検出、推定、特徴抽出、学習ネットワーク、特徴抽出、雑音除去、信号強調、符号化、暗号化、マッピング、再マッピング、ベクトル量子化、ローパスフィルタリング、ハイパスフィルタリング、バンドパスフィルタリング、マッチドフィルタリング、カルマンフィルタリング、前処理、後処理、粒子フィルタリング、FIRフィルタリング、IIRフィルタリング、自己回帰(AR)フィルタリング、適応的フィルタリング、一次導関数、高次導関数、積分、ゼロ交差、スムージング、メディアンフィルタリング、モードフィルタリング、サンプリング、ランダムサンプリング、リサンプリング関数、ダウンサンプリング、ダウンコンバーティング、アップサンプリング、アップコンバーティング、内挿、外挿、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、統計学、 短期統計、長期統計、自己相関関数、相互相関、積率母関数、時間平均、加重平均、特殊関数、ベッセル関数、誤差関数、相補誤差関数、ベータ関数、ガンマ関数、積分関数、ガウス関数、ポアソン関数など、を含みうる。
本開示のステップ(または各ステップ)には、機械学習、トレーニング、識別トレーニング、ディープラーニング、ニューラルネットワーク、連続時間処理、分散計算、分散記憶、GPU/DSP/コプロセッサ/マルチコア/マルチプロセッシングを使用するアクセラレーション、が適用され得る。
周波数変換は、フーリエ変換、ラプラス変換、アダマール変換、ヒルベルト変換、サイン変換、コサイン変換、三角変換、ウェーブレット変換、整数変換、2のべき乗変換、ゼロパディング及び変換の組み合わせ、ゼロパディングを有する電力フーリエ変換、及び/または別の変換を含んでもよい。変換の高速バージョン及び/または近似バージョンが実行され得る。変換は、浮動小数点、及び/または固定小数点演算を使用して行うことができる。
逆周波数変換は、逆フーリエ変換、逆ラプラス変換、逆アダマール変換、逆ヒルベルト変換、逆サイン変換、逆コサイン変換、逆三角変換、逆ウェーブレット変換、逆整数変換、逆2のべき乗変換、ゼロパディング及び変換の組み合わせ、ゼロパディングを有する逆フーリエ変換、及び/または別の変換を含むことができる。変換の高速バージョン及び/または近似バージョンが実行され得る。変換は、浮動小数点、及び/または固定小数点演算を使用して行うことができる。
TSCIから量/特徴を計算することができる。量は、運動、位置、マップ座標、高さ、速度、加速度、移動角度、回転、寸法、体積、時間トレンド、ワンタイムパターン、反復パターン、発展パターン、時間パターン、相互に除外されるパターン、関連/相関パターン、原因-効果、短期/長期相関、傾向、傾き、好み、統計、典型的挙動、非典型的挙動、時間トレンド、時間プロファイル、周期的運動、反復運動、反復、傾向、変化、急激な変化、ゆるやかな変化、頻度、過渡的、呼吸、歩容、行動、イベント、疑わしいイベント、危険イベント、警告イベント、警告、信念、近接、衝突、電力、信号、信号電力、信号強度、信号量、受信信号強度指標(RSSI)、信号振幅、信号位相、信号周波数成分、信号周波数帯域成分、チャネル状態情報(CSI)、マップ、時間、周波数、時間-周波数、分解、直交分解、非直交分解、追跡、呼吸、動悸、統計パラメータ、心肺統計/分析(例えば、出力応答)、日常活動統計/分析、慢性疾患統計/分析、医療統計/分析、早期(または瞬間または同時または遅延)指示/示唆/兆候/標識/検証器/検出/症状/条件/状態、生体計測、ベビー、患者、機械、デバイス、温度、車両、駐車場、場所、リフト、エレベータ、空間、道路、流体流、家庭、室、事務所、家屋、建物、倉庫、保管、システム、換気、ファン、パイプ、ダクト、人々、人間、車、ボート、トラック、飛行機、ドローン、ダウンタウン、群集、衝動的イベント、周期定常、環境、振動、材料、表面、3次元、2次元、局所、全体、存在、及び/または他の測定可能な量/変数、のうちの少なくとも1つの統計量を含みうる。
スライディングウインドウ/アルゴリズム
スライディングタイムウインドウは、時間変化するウインドウ幅を有し得る。迅速な獲得を可能にするためには、最初はより小さくてもよく、定常状態サイズまで経時的に増加してもよい。定常状態サイズは、監視される周波数、反復運動、過渡的運動、及び/またはSTIに関連し得る。定常状態においてさえ、ウインドウサイズは、電池寿命、電力消費、利用可能な計算パワー、対象の量の変化、監視される動きの性質などに基づいて、適応的に(及び/または動的に)変化され得る(例えば、調整され、変化され、修正され)。
隣接する時間事例における2つのスライディングタイムウインドウ間の時間シフトは、時間にわたって(経時的に)一定/可変/局所的に適応/動的に調節され得る。より短い時間シフトが使用される場合、任意の監視の更新は、より頻繁であり得、これは、迅速に変化する状況、オブジェクトの動き、及び/またはオブジェクトのために使用され得る。より長い時間シフトは、より遅い状況、オブジェクトの動き、及び/またはオブジェクトのために使用され得る。
ウインドウ幅/サイズ及び/または時間シフトは、ユーザの要求/選択に応じて変更(例えば、調整、変更、修正)され得る。時間シフトは、自動的に(例えば、プロセッサ/コンピュータ/サーバ/ハブ装置/クラウドサーバによって制御されるように)及び/または適応的に(及び/または動的に)変更することができる。
関数(例えば、自己相関関数、自己共分散関数、相互相関関数、相互共分散関数、パワースペクトル密度、時間関数、周波数ドメイン関数、周波数変換)の少なくとも1つの特性(例えば、特徴値、または特徴点)は、(例えば、オブジェクト追跡サーバ、プロセッサ、タイプ1異種デバイス、タイプ2異種デバイス、及び/または別の装置によって)決定され得る。この関数の少なくとも1つの特性は、最大、最小、極値、局所的最大値、局所的最小値、局所的極値、正の時間オフセットを有する局所的極値、正の時間オフセットを有する第1の局所的極値、正の時間オフセットを有するn番目の局値、負の時間オフセットを有する第1の局所的極値、制限された最大、制限された最小、制限された極値、有意な最大、有意な最小、有意な極値、勾配、導関数、高次の導関数、最大勾配、最小勾配、局所最大勾配、正の時間オフセットを有する局所的最大勾配、局所的最小勾配、制限された最大の勾配、制限された最小勾配、最大の高次の導関数、最小の高次の導関数、制限された高次の導関数、ゼロ交差、正の時間オフセットを有するゼロ交差、正の時間オフセットを有するn^番目のゼロ交差、負の時間オフセットを有するゼロ交差、負の時間オフセットを有するn^番目のゼロ交差、制限されたゼロ交差、勾配のゼロ交差、高次の導関数の勾配のゼロ交差、及び/またはその他の特性、を含みうる。関数の少なくとも1つの特性に関連する関数の少なくとも1つの引数が、識別され得る。ある量(例えば、オブジェクトの空間的-時間的情報)は、関数の少なくとも1つの引数に基づいて決定され得る。
特性(例えば場所におけるオブジェクトの動き特性)は、瞬時特性、短期特性、反復特性、繰返し特性、履歴、増分特性、変化特性、偏差特性、位相、振幅、度合い、時間特性、周波数特性、時間周波数特性、分解特性、直交分解特性、非直交分解特性、決定論的特性、確率特性、推計学的な特性、自己相関関数(ACF)、平均、分散値、標準偏差、変化の尺度、広がり、ばらつき、偏差、ダイバージェンス、範囲、四分位数範囲、全変動、絶対偏差、全偏差、統計、持続時間、時期、トレンド、周期特性、反復特性、長期特性、履歴特性、平均特性、最新特性、過去特性、将来特性、予測特性、位置、距離、高さ、速度、方向、ベロシティ、加速度、加速度の変化、角度、角速度(angular speed)、角速度(angular velocity)角速度の変化、オブジェクトの 角加速度、角加速度の変化、オブジェクトの方向、回転の角度、オブジェクトの変形、オブジェクトの形状、オブジェクトの形状の変化、オブジェクトの大きさの変化、オブジェクトの構造の変化、及び/またはオブジェクトの特性の変化、のうちの少なくとも1つを含む。
関数の少なくとも1つの極大値及び少なくとも1つの極小値が識別され得る。少なくとも1つの局所信号対雑音比類似(SNR類似)パラメータは、隣接する極大値及び極小値の各対に対して計算されてもよい。SNR類似パラメータは、極小値の同じ量にわたる極大値の量(例えば、電力、大きさ)の分数(fraction)の関数(例えば、線形、対数、指数関数、単調関数)であり得る。それはまた、極大値の量と極小値の同じ量との間の差の関数であり得る。有意な局所ピークを識別または選択することができる。各有意な局所ピークは、閾値T1より大きいSNR類似パラメータを有する極大、及び/または閾値T2より大きい振幅を有する極大であり得る。周波数領域内の少なくとも1つの極小値及び少なくとも1つの極小値は、持続性に基づくアプローチを使用して識別/計算され得る。
選択された有意な局所的ピークのセットは、選択基準(例えば、品質基準、信号品質状態)に基づいて、識別された有意な局所的ピークのセットから選択され得る。オブジェクトの特性/STIは、選択された有意な局所的ピークのセット及び選択された有意な局所的ピークのセットに関連する頻度値(frequency values)に基づいて計算され得る。1つの例において、選択基準は、範囲内の最も強いピークを選択することに常に対応し得る。最も強いピークが選択されてもよいが、選択されていないピークは、依然として有意であり得る(むしろ強い)。
未選択の有意なピークは、将来のスライディングタイムウインドウにおける将来の選択において使用するための「予約」ピークとして保存及び/または監視され得る。一例として、経時的に一貫して現れる特定のピーク(特定の周波数における)が存在し得る。最初は、有意であっても選択されない場合がある(他のピークがより強くなる可能性があるため)。しかし、後の時間には、ピークがより強く、より支配的になり、選択され得る。「選択」となった場合は、時間的に逆トレースされ、有意であるが選択されていない早い時期に「選択」されたとすることができる。このような場合、逆トレースされたピークは、早い時期に、以前に選択されたピークを置き換えることができる。置換されたピークは、比較的弱いピーク、または時間的に分離して現れる(すなわち、時間的に短時間のみ現れる)ピークであり得る。
その他の例では、選択基準は、範囲内の最も強いピークを選択することに対応しない場合がある。その代わりに、ピークの「強さ」だけでなく、過去に起こった可能性のあるピーク、特に長い間識別されたピークの「トレース」を考慮してもよい。
例えば、有限状態機械(FSM)が使用される場合、それは、FSMの状態に基づいてピークを選択し得る。判定閾値は、FSMの状態に基づいて適応的に(及び/または動的に)計算され得る。
類似性スコア及び/または成分類似性スコアは、TSCIの一対の時間的に隣接するCIに基づいて(例えば、サーバ(例えば、ハブ装置)、プロセッサ、タイプ1デバイス、タイプ2デバイス、ローカルサーバ、クラウドサーバ、及び/または別の装置によって)計算され得る。対は、同じスライディングウインドウまたは2つの異なるスライディングウインドウから得られ得る。類似性スコアはまた、二つの異なるTSCIからの一対の、時間的に隣接しているか、それほど隣接していない、CIに基づいてもよい。類似性スコア及び/または成分類似性スコアは、時間反転共鳴強度(time reversal resonating strength(TRRS))、相関、相互相関、自己相関、相関インジケータ、共分散、相互共分散、自己共分散、2つのベクトルの内積、距離スコア、ノルム、メトリック、品質メトリック、信号品質条件、統計特性、識別スコア、ニューラルネットワーク、ディープラーニングネットワーク、機械学習、トレーニング、識別、加重平均、前処理、雑音除去、信号調整、フィルタリング、時間補正、時間調整、位相オフセット補償、変換、成分ごとの操作、特徴抽出、有限状態機械、及び/または別のスコア、でありうる/含み得る。特性及び/またはSTIは、類似性スコアに基づいて判定され/計算され得る。
任意の閾値は、有限状態機械によって予め判定され、適応的に(及び/または動的に)判定され、及び/または判定され得る。適応的判定は、時間、空間、位置、アンテナ、経路、リンク、状態、バッテリ寿命、バッテリ残量、利用可能電力、利用可能な計算資源、利用可能なネットワーク帯域幅などに基づいてもよい。
2つのイベント(または2つの条件、または2つの状況、または2つの状態)、A及びBを区別するために試験統計に適用される閾値は、判定され得る。データ(例えば、CI、チャネル状態情報(CSI)、電力パラメータ)は、トレーニングの場面においてAの下及び/またはBの下で収集され得る。試験的統計値は、データに基づいて計算することができる。Aの下の試験的統計値の分布は、Bの下の試験的統計値の分布(リファレンス分布)と比較することができ、閾値は、いくつかの基準に従って選択することができる。判定基準は、最尤推定(ML)、最大事後確率(MAP)、識別トレーニング、所与のタイプ2誤差についての最小タイプ1誤差、所与のタイプ1誤差についての最小タイプ2誤差、及び/または他の判定基準(例えば、品質基準、信号品質条件)を含み得る。閾値は、A、B、及び/または別のイベント/条件/場面/状態に対する異なる感度を達成するように調整され得る。閾値調整は、自動、半自動及び/または手動であってもよい。閾値調整は、1回、時には、しばしば、周期的に、繰り返し、時折、散発的に、及び/またはオンデマンドで適用され得る。閾値調整は、適応的(及び/または動的に調整され得る)であり得る。閾値調整は、オブジェクト、オブジェクト移動/位置/方向/動作、オブジェクト特性/ STI/サイズ/特性/形質/習慣/挙動、場所、場所における/場所での/場所の、特徴/備品/家具/バリア/材料/機械/生物/物体/オブジェクト/境界/表面/媒体、マップ、マップの制約(または環境モデル)、イベント/状態/場面/条件、時間、タイミング、持続時間、現在の状態、過去の履歴、ユーザ、及び/または個人的な好みなどに依存し得る。
反復アルゴリズムの停止基準(またはスキップまたはバイパスまたはブロッキングまたは一時停止または通過または拒否する基準)は、反復における更新における現在のパラメータ(例えば、オフセット値)の変化が閾値未満であることであり得る。閾値は、0.5、1、1.5、2、または別の数であり得る。閾値は、適応的(及び/または動的に調整される)であり得る。それは、反復が進行するにつれて変化し得る。オフセット値に関して、適応的閾値は、タスク、初回の特定の値、現在の時間オフセット値、回帰ウインドウ、回帰分析、回帰関数、回帰誤差、回帰関数の凸性、及び/または反復数に基づいて判定され得る。
局所極値は、回帰ウインドウにおける回帰関数の対応する極値として決定され得る。局所極値は、回帰ウインドウ内の時間オフセット値のセット及び関連する回帰関数値のセットに基づいて決定され得る。時間オフセット値のセットに関連する関連する回帰関数値のセットの各々は、回帰ウインドウにおける回帰関数の対応する極値からの範囲内であり得る。
局所極値の探索は、ロバスト探索、最小化、最適化、最適化、統計的最適化、双対最適化、制約最適化、凸最適化、大域最適化、局所最適化、エネルギ最小化、線形回帰、二次回帰、高次回帰、線形計画法、非線形計画法、確率的プログラミング、コンビナトリアル最適化、制約プログラミング、制約充足、バリエーションの計算、最適制御、動的計画法、数理計画法、多目的最適化、マルチモーダル最適化、選言的プログラミング、空間マッピング、無限次元最適化、ヒューリスティク、メタヒューリスティク、凸計画法、半正定値計画問題、円錐計画法、二次錐計画問題、整数計画法、二次計画法、フラクショナルプログラミング、数値解析、シンプレックスアルゴリズム、反復法、勾配降下、部分勾配法、座標勾配法、共役勾配法、ニュートンのアルゴリズム、逐次二次計画法、内点法、楕円法、縮小勾配法、準ニュートン法、同時摂動確率近似、補間法、パターン探索法、線探索、非微分最適化、遺伝的アルゴリズム、進化的アルゴリズム、動的緩和 山登り法、粒子群最適化、重力探索アルゴリズム、シミュレーテッドアニーリング、ミームティック(memetic)アルゴリズム、差分進化、動的緩和、確率的トンネリング、タブ探索、反応探索最適化、曲線あてはめ、最小二乗、シミュレーションベース最適化、変分計算、及び/または変形、を含みうる。局所的極値の検索は、目的関数、損失関数、コスト関数、効用関数、フィットネス関数、エネルギ関数、及び/またはエネルギ関数に関連しうる。
回帰は、回帰ウインドウにおいて、サンプリングされたデータ(例えば、CI、CIの特徴、CIの成分)または別の関数(例えば、自己相関関数)に適合させるために、回帰関数を使用して実施され得る。少なくとも1つの反復において、回帰ウインドウの長さ及び/または回帰ウインドウの位置が変化し得る。回帰関数は、線形関数、二次関数、三次関数、多項式関数、及び/又は別の関数であり得る。
回帰分析は、誤差、集計誤差、成分誤差、射影領域における誤差、選択された軸における誤差、選択された直交軸における誤差、絶対誤差、二乗誤差、絶対偏差、二乗偏差、高次誤差(例えば、三次、四次)、ロバスト誤差(例えば、より小さい大きさの誤差のため及びより大きい誤差のための絶対誤差に対する二乗誤差、またはより小さい大きさの誤差のための第1の種類の誤差及びより大きい大きさの誤差のための第2の種類の誤差)、別の誤差、絶対/二乗誤差の加重和(または加重平均)(例えば、複数のアンテナを有する無線送信機及び複数のアンテナを有する無線受信機の場合、送信機アンテナ及び受信機アンテナの各対はリンクを形成する)、平均絶対誤差、平均二乗誤差、平均絶対偏差、及び/または平均二乗偏差、のうちの少なくとも1つを最小化し得る。異なるリンクに関連する誤差は、異なる重みを有し得る。1つの可能性は、いくつかのリンク及び/またはより大きな雑音またはより低い信号品質メトリックを有するいくつかの構成要素が、より小さいまたはより大きな重みを有し得ることである。(二乗誤差の加重和、高次誤差の加重和、ロバスト誤差の加重和、別の誤差の加重和、絶対コスト、二乗コスト、高次コスト、ロバストコスト、別のコスト、絶対コストの加重和、二乗コストの加重和、高次コストの加重和、ロバストコストの加重和、及び/または別のコストの加重和)。
判定される回帰誤差は、絶対誤差、二乗誤差、高次誤差、ロバスト誤差、さらに別の誤差、絶対誤差の加重和、二乗誤差の加重和、高次誤差の加重和、ロバスト誤差の加重和、及び/またはさらに別の誤差の加重和であり得る。
回帰ウインドウ内の特定の関数に関する回帰関数の最大回帰誤差(または最小回帰誤差)に関連する時間オフセットは、反復における更新された現在の時間オフセットとなり得る。
局所極値は、2つの異なる誤差の差(例えば、絶対誤差と二乗誤差との間の差)を含む量に基づいて検索することができる。2つの異なる誤差の各々は、絶対誤差、二乗誤差、高次誤差、ロバスト誤差、別の誤差、絶対誤差の加重和、二乗誤差の加重和、高次誤差の加重和、ロバスト誤差の加重和、及び/または別の誤差の加重和を含み得る。
量は、F-分布、中心F-分布、別の統計的分布、閾値、確率/ヒストグラムに関連する閾値、偽ピークを発見する確率/ヒストグラムに関連する閾値、F-分布に関連する閾値、中心F-分布に関連する閾値、及び/または別の統計的分布に関連する閾値などの参照データまたは参照分布と比較され得る。
回帰ウインドウ(regression window)は、オブジェクトの移動(例えば、場所/位置の変化)、オブジェクトに関連する量、オブジェクトの移動に関連するオブジェクトの少なくとも1つの特性及び/またはSTI、局所的極値の推定位置、雑音特性、推定雑音特性、信号品質メトリック、F分布、中心F分布、別の統計的分布、閾値、事前設定しきい値、確率/ヒストグラムに関連する閾値、所望の確率に関連する閾値、誤ったピークを発見する確率に関連する閾値、F分布に関連する閾値、中心F分布に関連する閾値、別の統計的分布に関連する閾値、ウインドウ中心におけるその量が回帰ウインドウ内で最大である条件、回帰ウインドウ内で初めて特定の値についての特定の関数の局所的極値のうちの1つのみが存在する条件、別の回帰ウインドウ、及び/または他の条件、うちの少なくとも1つに基づいて判定されうる。
回帰ウインドウの幅は、検索される特定の局所極値に基づいて判定され得る。局所的極値は、第1の局所最大、第2の局所最大、高次の局所最大、正の時間オフセットを有する第1の局所最大、正の時間オフセット値を有する第2の局所最大、正の時間オフセット値を有する高次の局所最大、負の時間オフセット値を有する第1の局所最大、負の時間オフセット値を有する第2の局所最大、負の時間オフセット値を有する第2の局所最大、負の時間オフセット値を有する高次の局所最大、第1の局所最小、第2の局所最小、高次の局所的最小、正の時間オフセット値を有する第1の局所最小、正の時間オフセット値を有する第2の局所最小、正の時間オフセット値を有する高次の局所最小、負の時間オフセット値を有する第1の局所最小、負の時間オフセット値を有する第2の局所最小、負の時間オフセット値を有する高次の局所最小、第1の局所的極値、第2の局所的極値、高次の局所極値、正の時間オフセット値を有する第1の局所極値、正の時間オフセット値を有する第2の局所極値、負の時間オフセット値を有する第1の局所極値、負の時間オフセット値を有する第2の局所極値、負及び/または 負の時間オフセット値を有する高次の極値、を含みうる。
現在のパラメータ(例えば、時間オフセット値)は、ターゲット値、対象プロファイル、トレンド、過去のトレンド、現在のトレンド、目標速度、速度プロファイル、目標速度プロファイル、過去の速度トレンド、オブジェクトの運動または移動(例えば、場所/位置の変化)、オブジェクトの動きに関連するオブジェクトの少なくとも1つの特性及び/またはSTI、オブジェクトの位置量、オブジェクトの動きに関連するオブジェクトの初期速度、事前定義された値、回帰ウインドウの初期幅、持続時間、信号の搬送波周波数に基づく値、信号のサブ搬送波周波数に基づく値、信号の帯域幅、チャネルに関連するアンテナの総計、雑音特性、信号 h メトリック、及び/または適応(及び/または動的に調整された)値に基づいて初期化され得る。現在の時間オフセットは、回帰ウインドウの中心、左側、右側、及び/または別の固定相対位置にあってもよい。
プレゼンテーションでは、情報は、場所の地図(または環境モデル)と共に表示され得る。情報は、位置、ゾーン、領域、領域、カバレッジ領域、補正された位置、おおよその位置、場所の地図に関する(w.r.t.)位置、分割された場所に関する位置、方向、経路、マップ及び/またはセグメンテーションに関する経路、トレース(例えば、過去5秒、または過去10秒などのタイムウインドウ内の位置、タイムウインドウ持続時間を適応的に(及び/または動的に)調整することができ、タイムウインドウ持続時間は、適応的に(及び/または動的に)速度、加速度に関して調整されうる)、経路の履歴、経路に沿った近似領域/ゾーン、過去の位置の履歴/概要、過去の関心位置の履歴、頻繁に訪れた領域、顧客トラフィック、群れの布、群れの挙動、群れの制御情報、速度、加速度、運動統計、呼吸速度、心拍数、運動の存在/不在、人またはペットまたはオブジェクトの有無、バイタルサインの有無、ジェスチャ制御(ジェスチャを用いた装置の制御)、位置ベースのジェスチャ制御、位置ベースの操作の情報、関心のあるオブジェクト(例えば、ペット、人、自己ガイド式機械/デバイス、車両、ドローン、カー、ボート、自転車、無人車、ファン付き機械、空調機、TV、可動部を備えた機械)のアイデンティティ(ID)または識別子、ユーザの識別(例えば、人)、ユーザの情報、位置/速度/加速/方向/動き/ジェスチャ/ジェスチャ制御/動きトレース、ユーザのIDまたは識別子、ユーザの活動、ユーザの状態、ユーザの睡眠/休息特性、ユーザの感情状態、ユーザの生命サイン、場所の環境情報、場所の天気情報、地震、爆発、暴風雨、雨、火災、温度、衝突、衝撃、振動、イベント、ドア開けイベント、ドア閉めイベント、窓開けイベント、ウインドウ閉めイベント、転倒イベント、燃焼イベント、凍結イベント、水関連イベント、風関連イベント、空気移動イベント、事故イベント、擬似周期的イベント(例えば、トレッドミル上での走行、ピョンピョン跳ねる、縄跳び、でんぐり返しなど)、繰り返しイベント、群れるイベント、車両イベント、ユーザのジェスチャ(例えば、手ジェスチャ、アームジェスチャ、足ジェスチャ、足ジェスチャ、身体ジェスチャ、頭部ジェスチャ、顔ジェスチャ、口のジェスチャ、目のジェスチャなど)、を含みうる。
位置は、2次元(例えば、2次元座標を用いて)、3次元(例えば、3次元座標を用いて)であり得る。位置は、相対的(例えば、地図または環境モデルに関して)または関係的(例えば、点Aと点Bとの間の中間、角の周り、上の階、テーブルの上、天井、床上、ソファ上、点Aに近い、点Aからの距離R、点AからのRの半径内など)であり得る。位置は、直交座標、極座標、及び/または別の表現で表現され得る。
情報(例えば、場所)は、少なくとも1つのシンボルでマークされ得る。シンボルは、時間変化してもよい。シンボルは、色/強度を変化させても変化させなくても点滅及び/または脈動してもよい。サイズは、経時的に変化し得る。シンボルの向きは、経時的に変化し得る。シンボルは、瞬時量(例えば、ユーザのバイタルサイン/呼吸数/心拍数/ジェスチャ/状況/状態/動作/動き、温度、ネットワークトラフィック、ネットワーク接続性、デバイス/機械の状態、デバイスの残り電力、デバイスの状態など)を反映する数であってもよい。変化速度、サイズ、配向、色、強度及び/またはシンボルは、それぞれの運動を反映し得る。情報は、視覚的に提示され、及び/または口頭で説明され得る(例えば、事前に記録された音声、または音声合成を使用して)。情報は、テキストで記述することができる。情報はまた、機械的な方法(例えば、アニメーション化されたガジェット、可動部分の動き)で提示され得る。
ユーザインタフェース(UI)デバイスは、スマートフォン(例えば、iPhone、Android phone)、タブレット(例えば、iPad)、ラップトップ(例えば、ノートパソコン)、パーソナルコンピュータ(PC)、グラフィックユーザインタフェース(GUI)を有するデバイス、スマートスピーカ、音声/音/スピーカ能力を有する装置、仮想リアリティ(VR)装置、拡張リアリティ(AR)装置、スマートカー、車内ディスプレイ、音声アシスタント、車内音声アシスタントなどであり得る。
地図(または環境モデル)は、2次元、3次元及び/またはより高次元であってもよい。(例えば、時間的に変化する2次元/3次元マップ/環境モデル)、壁、ウインドウ、ドア、入口、出口、禁止区域は、地図またはモデルにマークされることがある。地図は、施設のフロアプランを含むことができる。マップまたはモデルは、1つまたは複数のレイヤー(オーバーレイ)を有することができる。地図/モデルは、水道管、ガス管、配線、ケーブル配線、エアダクト、クロールスペース、天井レイアウト、及び/または地下レイアウトを含むメンテナンス地図/モデルとすることができる。場所は、ベッドルーム、リビングルーム、貯蔵室、歩行路、台所、食堂、ホワイエ、ガレージ、1階、2階、トイレ、事務所、会議室、受付エリア、各種事務所エリア、各種倉庫エリア、各種施設エリアなどのような、複数のゾーン/領域/地理的領域/セクタ/セクション/テリトリー/地区/行政上の区域/現場/近隣/エリア/ストレッチ(stretch)/広々した場所に区分/細分化/領域化/グループ化することができる。セグメント/領域/区域は、マップ/モデルで提示することができる。異なる領域は、色分けされてもよい。異なる領域は、特性(例えば、色、明るさ、色強度、テクスチャ、アニメーション、点滅、点滅速度など)をもって提示されてもよい。場所の論理的セグメンテーションは、少なくとも1つの異種タイプ2デバイス、またはサーバ(例えば、ハブ装置)、またはクラウドサーバなどを使用して行うことができる。
ここでは、開示されるシステム、装置、及び方法の一例である。ステファンと彼の家族は、開示された無線動き検出システムを設置して、ワシントン州シアトルの2000平方フィートの2階建てタウンハウス内での動きを検出したいと考えている。彼の家は二階建てであるので、ステファンは1つのタイプ2デバイス(Aという名前のもの)と2つのタイプ1デバイス(BとCという名のもの)を1階に使うことにした。1階は台所、食堂、居間の3部屋を中心に、食堂は真ん中に、直線に並んで配置されている。台所と居間は家の反対側にある。彼は、タイプ2デバイス(A)を食堂に置き、1台のタイプ1デバイス(B)を台所に置き、もう1台のタイプ1デバイス(C)を居室に置いた。この装置の設置に伴い、動き検知システムを用いて、彼は具体的には1階を3区域(食堂、居室、台所)に区画化している。動きがAB対及びAC対によって検出される場合、システムは、動き情報を分析し、動きを3つのゾーンのうちの1つに関連付ける。
ステファンと彼の家族が週末に外出するとき(例えば、長い週末にキャンプに行くとき)、ステファンは携帯電話アプリ(例:AndroidフォンアプリやiPhoneアプリ)を使って動き検出システムをオンにした。システムが動きを検出すると、警告信号がステファンへ送信される(例えば、SMSテキストメッセージ、電子メール、携帯電話アプリへのプッシュメッセージなど)。ステファンが月々の料金(例えば、10ドル/月)を払う場合、サービス会社(例えば、セキュリティ会社)は、有線ネットワーク(例えば、ブロードバンド)または無線ネットワーク(例えば、家庭用WiFi、LTE、3G、2.5Gなど)を通して警告信号を受信し、ステファンのためのセキュリティ手順を実行する(例えば、問題を確認させるために彼に電話し、ある人に家をチェックするために送り、ステファンに代わって警察に連絡する、など)。ステファンは彼の年をとった母親が大好きで、家に一人でいるときは彼女の幸せを気にかけている。家族の残りが外出中(例えば、仕事に行く、ショッピングに行く、または休みに行く)に母親が家に一人でいる場合、ステファンは、母親が大丈夫でいることを確実にするために、彼のモバイルアプリを使用して動き検出システムをオンにする。その後、彼はモバイルアプリを使って、家の中での母親の動きを監視する。ステファンがモバイルアプリを使って、母親が3つの領域の間で家の中を動き回っているのを見ると、彼女の日々のルーチンによれば、ステファンは母親が大丈夫であることを知っている。ステファンは、動き検出システムが、彼が家から離れている間、彼の母親の幸福を監視するのを助けることができることに感謝している。
典型的な日には、母親は午前7時頃に目覚める。彼女は約20分間で、台所で朝食を作るつもりだった。それから食堂で朝食を30分くらい食べた。それから、居間のソファーに座って、自分の好きなテレビ番組を見る前に、リビングルームで毎日の運動をしていた。動き検出システムは、ステファンが家の3つの領域のそれぞれにおける動きのタイミングを見ることを可能にする。動きが毎日のルーチンに合致するとき、ステファンは母親が上手くやっているはずであることを大まかに知っている。しかし、運動パターンが異常に見えると(例えば、AM10時まで運動がないか、長く台所に滞在しすぎるか、長く動かないままであるか、など)、ステファンは何かが違っていると疑い、母親をチェックするために母親に電話をする。ステファンは、誰か(例えば、家族、近所の人、有給の職員、友人、ソーシャルワーカー、サービス提供者)に母親を確認してもらうことさえある。
時には、ステファンはタイプ2デバイスの位置を変えるように感じる。彼は、単に装置を元のAC電源プラグから抜き、別のAC電源プラグに差し込むだけである。彼は、無線動き検出システムがプラグアンドプレイであり、再配置がシステムの動作に影響しないことを満足している。電源を入れると、すぐに機能する。
またの機会には、ステファンは、われわれの無線動き検出システムが、非常に高い精度と非常に低い警報で運動を実際に検出できることを確信しており、実際にモバイルアプリを使用して、1階の運動を監視することができる。彼は、2階の寝室を監視するために、2階に同様の構成(すなわち、1つのタイプ2デバイス及び2つのタイプ1デバイス)を設置することを決定する。再び、彼は、タイプ2デバイス及びタイプ1デバイスを2階のAC電源プラグに単に差し込む必要があるので、システムセットアップが極めて容易であることを発見した。特別な設置は必要ない。そして、同じモバイルアプリを使用して、1階と2階の動きを監視することができる。1階/2階の各タイプ2デバイスは、1階と2階の両方のタイプ1デバイスすべてと相互に作用することができる。ステファンは、タイプ1デバイス及びタイプ2デバイスへの投資を2倍にするにつれて、組み合わされたシステムの2倍以上の能力を有することを見て幸せである。
様々な実施形態によれば、各CI(CI)は、チャネル状態情報(CSI)、周波数ドメインCSI、CSIの周波数表現、少なくとも1つのサブバンドに関連する周波数ドメインCSI、時間領域CSI、ドメイン内CSI、チャネル応答、チャネル応答推定、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、チャネル特性、チャネルフィルタ応答、無線マルチパスチャネルのCSI、無線マルチパスチャネルの情報、タイムスタンプ、補助情報、データ、メタデータ、ユーザデータ、アカウントデータ、アクセスデータ、セキュリティデータ、セッションデータ、ステータスデータ、管理データ、家族データ、アイデンティティ(ID)、識別子、デバイスデータ、ネットワークデータ、近傍データ、環境データ、リアルタイムデータ、センサデータ、記憶データ、暗号化データ、圧縮データ、保護データ、及び/または別のCIのうちの少なくとも1つを含み得る。一実施形態では、開示されるシステムは、ハードウェア構成要素(例えば、アンテナを備えた無線送信機/受信機、アナログ回路、電源、プロセッサ、メモリ)及び対応するソフトウエア構成要素を有する。本開示の様々な実施形態によれば、開示されるシステムは、バイタルサイン検出及び監視のためのBot(タイプ1デバイスと呼ばれる)及びオリジン(Origin)(タイプ2デバイスと呼ばれる)を含む。各デバイスは、トランシーバと、プロセッサと、メモリとを備える。
開示されたシステムは、多くの場合に適用することができる。一例では、タイプ1デバイス(送信機)は、テーブル上に載置される小さなWiFi対応装置であってもよい。また、WiFi対応テレビ(TV)、セットトップボックス(STB)、スマートスピーカ(例えば、Amazonエコー)、スマート冷蔵庫、スマート電子レンジ、メッシュネットワークルータ、メッシュネットワークサテライト、スマートフォン、コンピュータ、タブレット、スマートプラグなどであってもよい。一例では、タイプ2(受信機)は、テーブル上に置かれるWiFi対応デバイスであってもよい。また、WiFi対応テレビ(TV)、セットトップボックス(STB)、スマートスピーカ(例えば、Amazonエコー)、スマート冷蔵庫、スマート電子レンジ、メッシュネットワークルータ、メッシュネットワークサテライト、スマートフォン、コンピュータ、タブレット、スマートプラグなどであってもよい。タイプ1デバイス及びタイプ2デバイスは、人々を数えるために、会議室の中/近くに配置され得る。タイプ1デバイス及びタイプ2デバイスは、日常活動及び症状の任意の徴候(例えば、認知症、アルツハイマー病)を監視するための高齢者についての健康監視システムであり得る。タイプ1デバイス及びタイプ2デバイスは、生きている幼児のバイタルサイン(呼吸)を監視するための幼児モニタにおいて使用され得る。タイプ1デバイス及びタイプ2デバイスは、睡眠の質及び任意の睡眠時無呼吸を監視するために、寝室に配置され得る。タイプ1デバイス及びタイプ2デバイスは、乗客及び運転手の健康を監視し、運転手の睡眠を検出し、自動車内に残されたすべての赤ちゃんを検出するために、自動車内に配置され得る。タイプ1デバイス及びタイプ2デバイスは、トラック及びコンテナに隠された人間を監視することによって、人身売買を防止するために、物流において使用され得る。タイプ1デバイス及びタイプ2デバイスは、がれきの中の捕われたた被害者を探索するために、災害地域の救急サービスによって配備され得る。タイプ1デバイス及びタイプ2デバイスは、任意の侵入者の呼吸を検出するために、ある領域に配置され得る。装着型ではない無線呼吸監視には、多数のアプリケーションがある。
ハードウェアモジュールは、タイプ1トランシーバ及び/またはタイプ2トランシーバを含むように構成されてもよい。ハードウェアモジュールは、最終的な市販品を設計、構築、及び販売するために、バリアブルブランドで販売/使用され得る。開示されたシステム及び/または方法を使用する製品は、家庭/事務セキュリティ製品、睡眠監視製品、WiFi製品、メッシュ製品、TV、STB、エンターテイメントシステム、HiFi,スピーカ、家電製品、ランプ、ストーブ、オーブン、電子レンジ、テーブル、椅子、ベッド、棚、工具、器具、トーチ、バキュームクリーナー、煙検知器、ソファ、ピアノ、ファン、ドア、ウインドウ、ドア/ウインドウハンドル、ロック、煙検出装置群、カーアクセサリ、コンピューティングデバイス、事務用品、エアコン、ヒータ、パイプ、コネクタ、監視カメラ、アクセスポイント、コンピュータ装置群、モバイル装置、LTE装置、3G/4G/5G/6Gデバイス、UMTSデバイス、3GPP装置、GSM装置、EDGE装置、TDMA装置、FDMA装置、CDMA装置、WCDMA装置、TD-SCDMA装置、ゲーム装置、めがね、ガラスパネル、VRゴーグル、ネックレス、腕時計、ウェストバンド、ベルト、ウォレット、ペン、ハット、衣服、インプラント用具、タグ、パーキングチケット、スマートフォン、等、でありうる。
要約は、以下を含むことができる:分析、出力応答、選択したタイムウインドウ、サブサンプリング、変換、及び/または射影。プレゼンテーションは、月/週/日毎のビュー、簡略化/詳細のビュー、断面ビュー、小型/大型フォームファクタビュー、色分けビュー、比較ビュー、要約ビュー、動画、ウェブビュー、音声アナウンス、及び繰り返し動きの周期的/反復特性に関連する別のプレゼンテーション、のうちの少なくとも1つを提示することを含み得る。
タイプ1/タイプ2デバイスは、アンテナ、アンテナを有するデバイス、筐体を有するデバイス(例えば、無線機、アンテナ、データ/信号処理ユニット、無線IC、回路のための)、別のデバイス/システム/コンピュータ/電話/ネットワーク/データアグリゲータにインタフェース/付属/接続/リンクされるデバイス、ユーザインタフェース(UI)/グラフィカルUI/ディスプレイを有するデバイス、無線送受信機を有するデバイス、無線送信機を有するデバイス、無線受信機を有するデバイス、インターネットオブスイング(IoT)デバイス、無線ネットワークを有するデバイス、有線ネットワーク機能及び無線ネットワーク機能の両方を有するデバイス、無線集積回路(IC)を有するデバイス、Wi-Fiデバイス、Wi-Fiチップを有するデバイス(例えば、802.11a/b/g/n/ac/ax規格に準拠する)、Wi-Fiアクセスポイント(AP)、Wi-Fiクライアント、WiFiルータ、 Wi-Fiリピータ、WiFiハブ、WiFiメッシュネットワークルータ/ハブ/AP、無線メッシュネットワークルータ、アドホックネットワークデバイス、無線メッシュネットワークデバイス、モバイルデバイス(例えば、2G/2.5G/3G/3.5G/4G/LTE/5G/6G/7G、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA)、セルラーデバイス、基地局、モバイルネットワーク基地局、モバイルネットワークハブ、モバイルネットワーク互換デバイス、LTEデバイス、LTEモジュールを有するデバイス、モバイルモジュール(例えば、Wi-Fiチップ、LTEチップ、BLEチップ、のようなモバイルイネーブルチップ(IC)を有する回路基板)、モバイルモジュールを有するデバイス、スマートフォン、スマートフォン用のコンパニオンデバイス(例えばドングル、アタッチメント、プラグイン)専用デバイス、プラグインデバイス、AC電源方式デバイス、バッテリ電源方式デバイス、プロセッサ/メモリ/命令のセットを有するデバイス、スマートデバイス/ガジェット/アイテム:時計、ステーショナリ、ペン、ユーザインタフェース、紙、マット、カメラ、テレビ(TV)、セットトップボックス、マイクロホン、スピーカ、冷蔵庫、オーブン、マシン、電話、財布、家具、ドア、ウインドウ、天井、床、壁、テーブル、椅子、ベッド、ナイトスタンド、エアコンディショナー、ヒータ、パイプ、ダクト、ケーブル、カーペット、装飾、ガジェット、USBデバイス、プラグ、ドングル、ランプ/ライト、タイル、装飾品、ボトル、車両、自動車、AGV、ドローン、ロボット、ラップトップ、タブレット、コンピュータ、ハードディスク、ネットワークカード、機器、ラケット、ボール、靴、着用可能装置、衣類、眼鏡、帽子、ネックレス、食品、錠剤、生き物の体内(例えば、血管、リンパ液、消化システム)で移動する小型デバイス、及び/又は別のデバイスでありうる。タイプ1デバイス及び/またはタイプ2デバイスは、インターネット、インターネットにアクセスする別の装置(例えば、スマートフォン)、クラウドサーバ(例えば、ハブ装置)、エッジサーバ、ローカルサーバ、及び/またはストレージと通信可能に結合され得る。タイプ1デバイス及び/またはタイプ2デバイスは、ローカル制御で動作してもよく、有線/無線接続を介して別の装置によって制御されてもよく、自動的に動作してもよく、またはリモート(例えば、家から離れた)にある中央システムによって制御されてもよい。
一実施形態において、タイプBデバイスは、オリジン(タイプ2デバイス、Rxデバイス)及びボット(タイプ1デバイス、Txデバイス)の双方として実行してもよい送受信機であってもよく、すなわち、タイプBデバイスはタイプ1(Tx)デバイス及びタイプ2(Rx)デバイスの双方であってもよく(例えば、同時に又は交互に)、例えばメッシュデバイス、メッシュルータ等であってもよい。一実施形態において、タイプAデバイスは、ボット(Txデバイス)としてのみ機能してもよい送受信機であってもよく、すなわち、タイプ1デバイスのみ又はTxのみであってもよく、例えば単純なIoTデバイスであってもよい。これはオリジン(タイプ2デバイス、Rxデバイス)の機能を有してもよいが、実施形態においては何らかの形でボットとしてのみ機能している。全てのタイプAデバイス及びタイプBデバイスは、ツリー構造を形成する。ルート(root)は、ネットワーク(例えば、インターネット)にアクセスできるタイプBデバイスであってもよい。例えば、これは有線接続(例えば、イーサネット、ケーブルモデム、ADSL/HDSLモデム)接続又は無線接続(例えば、LTE、3G/4G/5G、WiFi、Bluetooth、マイクロ波リンク、衛星リンク等)を介してブロードバンドサービスに接続されてもよい。一実施形態において、全てのタイプAデバイスはリーフノードである。各タイプBデバイスはルートノード、非リーフノード又はリーフノードであってもよい。
タイプ1デバイス(送信機、またはTx)およびタイプ2デバイス(受信機、またはRx)は同じデバイス(例えば、RFチップ/IC)上にあってもよく、または単に同じデバイス上にあってもよい。デバイスは、28GHz、60GHz、77GHzなどの高周波帯域で動作することができる。RFチップには、専用のTxアンテナ(32本のアンテナなど)と専用のRxアンテナ(別の32本のアンテナなど)がある場合がある。
1つのTxアンテナは無線信号(例えば、一連のプローブ信号、恐らく100Hzで)を送信することができる。代替的に、全てのTxアンテナを使用して、(Txにおいて)ビームフォーミングで無線信号を送信することができ、その結果、無線信号は特定の方向にフォーカスされる(例えば、エネルギ効率のために、またはその方向における信号対雑音比をブーストするために、またはその方向に「走査」する場合は低電力動作、またはオブジェクトがその方向にあることが知られている場合は低電力動作)。
無線信号は場所(例えば、部屋)内でオブジェクト(例えば、Tx/Rxアンテナから4フィート離れた寝台上に横たわっている生きている人間、呼吸および心拍)にぶつかる。オブジェクト動き(例えば、呼吸速度に従った肺動、または心拍に従った血管動)は、無線信号に影響を与え/変調し得る。すべてのRxアンテナを使用して無線信号を受信することができる。
(Rxおよび/またはTxにおける)ビームフォーミングは異なる方向を「走査」するために(デジタル的に)適用されてもよい。多くの方向が同時に走査または監視されてもよい。ビームフォーミングとともに、「セクタ」(例えば、方向、方向、方位、ベアリング、ゾーン、領域、セグメント)はタイプ2デバイスに関連して(例えば、アンテナ配列の中心位置に対して)定義されてもよい。各プローブ信号(例えば、パルス、ACK、制御パケット等)について、チャネル情報またはCI(例えば、チャネルインパルス応答/CIR、CSI、CFR)が各セクタについて(例えば、RFチップから)取得/計算される。呼吸検知ではCIRをスライディングウインドウ(例えば、30秒、100Hzの鳴動/プロービング速度では30秒以上の3000CIRを有する可能性がある)で収集することができる。
CIRは多くのタップ(例えば、N1個成分/タップ)を有することができる。各タップはタイムラグ、または飛行時間(time-of-fright)(例えば、4フィート離れた人間をヒットしてバックする時間)に関連付けられてもよい。ある距離(例えば、4フィート)である方向に息をしているとき、「ある方向」でCIRを探し、次に、「ある距離」に対応するタップを探すことができる。次に、そのCIRのそのタップから呼吸速度および心拍数を計算することができる。
スライディングウインドウ内のそれぞれのタップ(例えば、「成分時系列」の30秒ウインドウ)を時間関数(例えば、「タップ関数」、「成分時系列」)と見なすことができる。強い周期的挙動(例えば、おそらく10bpm~40bpmの範囲の呼吸に対応する)を探索する際に、各タップ関数を調べることができる。
タイプ1デバイスおよび/またはタイプ2デバイスは、外部接続/リンクおよび/または内部接続/リンクを有することができる。外部接続(例えば、接続1110)は、2G/2.5G/3G/3.5G /4G/LTE/5G/6G/ 7G/ NBIoT、UWB、 WiMax、Zigbee、802.16などに関連付けられ得る。内部接続(たとえば、1114Aおよび1114B、 1116、1118、1120) は、WiFi、IEEE802.11標準、802.11a /b/g/n/ac/ad/af/ag/ah/ai/aj/aq/ax/ay、Bluetooth1.0/1.1/1.2/2.0/2.1 /3.0/4.0/4.1/4.2/5、BLE、メッシュネットワーク、IEEE802.16/1/1a/1b/2/2a/a/ b/c/d/e/f/g/h/i/j/k/l/ m/n/o/p/標準に関連付けることができる。
タイプ1デバイスおよび/またはタイプ2デバイスはバッテリーにより電力を供給される(例えば、AAバッテリー、AAAバッテリー、コインセルバッテリー、ボタンセルバッテリー、小型バッテリー、バッテリーバンク、パワーバンク、カーバッテリー、ハイブリッドバッテリー、車両バッテリー、容器バッテリー、非再充電可能バッテリー、再充電可能バッテリー、NiCdバッテリー、NiMHバッテリー、リチウムイオンバッテリー、亜鉛カーボンバッテリー、塩化亜鉛バッテリー、鉛蓄電池、アルカリバッテリー、無線充電器付きバッテリー、スマートバッテリー、ソーラーバッテリー、ボートバッテリー、プレーンバッテリー、他のバッテリー、一時的なエネルギ貯蔵デバイス、キャパシタ、フライホイール。)
任意のデバイスはDCまたは直流(例えば、上述のような蓄電池、発電機、電力コンバータ、ソーラーパネル、整流器、DC-DCコンバータから、1.2V、1.5V、3V、5V、6V、9V、12V、24V、40V、42V、48V、110V、220V、380Vなどの様々な電圧)で電力供給されてもよく、したがって、DC電力用の少なくとも1つのピンを有するDCコネクタまたはコネクタを有する可能性がある。
任意のデバイスはACまたは交流(例えば、家庭内の壁面コンセント、変圧器、インバータ、ショアパワー、100V、110V、120V、100~127V、200V、220V、230V、240V、220~240V、100~240V、250V、380V、50Hz、60Hzなどの様々な電圧を持つ)によって電力供給されてもよく、したがって、AC電力用の少なくとも1つのピンを有するACコネクタまたはコネクタを有する可能性がある。タイプ1デバイスおよび/またはタイプ2デバイスは場所内または場所外に配置(例えば、設置、配置、移動)されてもよい。
例えば、車両(例えば、自動車、トラック、ローリー、バス、特殊車両、トラクター、掘削機、掘削機、テレポーター、ブルドーザー、クレーン、フォークリフト、電気自動車、AGV、非常用車両、貨物、貨車、トレーラー、コンテナ、ボート、フェリー、船舶、潜水船、航空機、飛行船、リフト、モノレール、列車、電車、鉄道車両、軌道車等)において、タイプ1デバイス及び/又はタイプ2デバイスは車両に埋め込まれた埋め込みデバイス、又は車内のポート(例えば、OBDポート/ソケット、USBポート/ソケット、付属品ポート/ソケット、12V補助電源コンセント、及び/又は12Vシガーライタポート/ソケット)に差し込まれたアドオンデバイス(例えば、アフターマーケットデバイス)であってもよい。
例えば、一方のデバイス(例えば、タイプ2デバイス)は12Vシガレットライター/アクセサリーポートまたはOBDポートまたはUSBポート(例えば、自動車/トラック/車両の)に差し込まれてもよく、他方のデバイス(例えば、タイプ1デバイス)は、12Vシガレットライター/アクセサリーポートまたはOBDポートまたはUSBポートに差し込まれてもよい。OBDポートおよび/またはUSBポートは、(自動車/トラック/車両の)電力、シグナリング、および/またはネットワークを提供することができる。2つのデバイスは、車内の子供/赤ん坊を含む乗客を共同で監視することができる。それらは、乗客をカウントし、運転者を認識し、乗り物内の特定の座席/位置における乗客の存在を検出するために使用されてもよい。
別の実施形態では1つのデバイスが12Vシガレットライター/アクセサリーポートまたはOBDポートまたは自動車/トラック/車両のUSBポートに差し込まれてもよく、一方、他のデバイスは12Vシガレットライター/アクセサリーポートまたはOBDポートまたは別の自動車/トラック/車両のUSBポートに差し込まれてもよい。
別の例では多くの異種車両/ポータブルデバイス/スマートガジェット(例えば、自動誘導車両/AGV、買い物/手荷物/移動カート、駐車券、ゴルフカート、自転車、スマートフォン、タブレット、カメラ、記録デバイス、スマートウオッチ、ローラースケート、シューズ、ジャケット、ゴーグル、帽子、アイウェア、ウェアラブル、セグウェイ、スクータ、手荷物タグ、清掃機、掃除機、ペットタグ/カラー/ウェアラブル/インプラント)に同じタイプA(例えば、タイプ1またはタイプ2)の多くのデバイスが存在し得、それぞれのデバイスは車両の12Vアクセサリポート/OBDポート/USBポートに差し込まれるか、または車両に埋め込まれ得る。ガソリンスタンド、街灯、街角、トンネル、多層式駐車場、工場/スタジアム/駅/ショッピングモール/建設現場のような広い領域を覆うスキャッタロケーションなどの位置に設置された他のタイプBの1つ以上のデバイス(例えば、Aがタイプ2である場合にはBはタイプ1であり、Aがタイプ1である場合にはBはタイプ2である)があってもよい。タイプAデバイスは、TSCIに基づいて配置、追跡、または監視することができる。
エリア/場所は、広帯域サービス、WiFi等のローカル接続性を持たなくてもよい。タイプ1および/またはタイプ2デバイスは、携帯可能であってもよい。タイプ1及び/又はタイプ2デバイスは、プラグアンドプレイをサポートすることができる。
対での(pairwise)無線リンクは、多くのペアのデバイス間に確立され、ツリー構造を形成することができる。それぞれのペア(および関連するリンク)において、デバイス(第2のデバイス)は、非リーフ(non-leaf)(タイプB)であってもよい。他方のデバイス(第1のデバイス)は、リーフ(タイプAまたはタイプB)または非リーフ(タイプB)であってもよい。リンクにおいて、第1のデバイスは無線マルチパスチャネルを介して第2のデバイスに無線信号(例えば、プローブ信号)を送信するためのボット(タイプ1デバイスまたは送信デバイス)として機能する。第2のデバイスは無線信号を受信し、TSCIを取得し、TSCIに基づいて「リンクに関する分析」を計算するためのオリジン(タイプ2デバイスまたはRxデバイス)として機能することができる。
本開示は、サテライトを使用せずに、動くオブジェクトの位置又は配置又は軌跡を発見する動き追跡システムを開示する。いくつかの実施形態では、開示されたシステムは動きを追跡するために地図エンジン(例えば、パーティクルフィルタ)と組み合わせた、初期の測定ユニット(IMU)、加速度計、ジャイロスコープ、磁力計、気圧計などであり得るセンサを使用する。これは、追加のハードウェアインフラストラクチャを必要とせずに、簡単なソフトウエアアップグレードを使用して、現存のスマート電話(すべてIMUを有する)または多数のタブレットまたはノートブックコンピュータ上に容易に実装することができる。
いくつかの実施形態では、システムがセンサから得られたデータを使用して、動きの距離と方向を計算し、次に、パーティクルフィルタに基づいて追跡精度または正しい追跡エラーを改善するためにマップエンジンを使用する。
トレーニング段階では、ユーザがシステムが加速情報をキャプチャするために、既知の距離(例えば、10m)を歩くように求められてもよい。歩行動作中、1つのストライドは2つのステップ、すなわち、左足による左ステップと、右足による右ステップとを有する。このように、2つの「振動」または「サイクル」の加速度があるべきである。いくつかの実施形態では、システムがステップまたはストライドを認識または識別するために、ユーザの加速度を分析することができる。次いで、システムは、既知の距離、ステップおよび/またはストライド数として、ストライドの長さまたはステップの長さを計算することができる。
動作段階では、システムがリアルタイム加速を分析して、測定タイムウインドウ内のそれぞれのストライドまたはステップを認識/識別することができる。システムは既知のストライド長(またはステップ)に測定タイムウインドウ内のストライドの数を乗算することによって距離を計算することができる。それから、システムは推測航法を適用し、古い位置、ジャイロセンサからの方位および距離に基づく新しい位置を計算することができる。
図1は追跡システム100が移動デバイスに内蔵された慣性センサ(例えば、IMU)に基づいてオブジェクトの動きを追跡するアーキテクチャ全体を示す。いくつかの実施形態では、システムが最初に、IMUから移動距離及び方向を計算する。それから、それは室内地図と組み合わせして、連続的に追跡するために二つの推定タイプを融合する。
図1は、本開示のいくつかの実施形態による追跡システムのアーキテクチャの概要を示す。図1に示されるように、例示的な使用シナリオでは、移動体、ウエアラブル、ロボット、自動誘導車両(AGV)、または慣性センサ(IMU)を装備した任意の他のデバイスとすることができるクライアントは、例えば移動するユーザまたはクライアントを運ぶ車両により、場所内で移動することができる。クライアントは、その内蔵の慣性センサを読み取って、測定値または他のセンシング情報を取得する。クライアント上で実行されるシステムの中核エンジンは測定値から移動距離および向きを推論し、それらを一緒に組み込んで、クライアントの継続的な位置を追跡することができる。
図1の右側部分は、モバイルクライアント上のシステムのワークフローを示す。システムが距離推定と方向推定を行った後、システムは推定移動距離と推定移動方向をマップ拡張追跡モジュールに融合する。いくつかの実施形態では、システムが屋内マップをインプットとして取り込み、それを重み付きグラフに変換する。次いで、出力グラフは新しいグラフベースのパーティクルフィルタ(GPF)に供給され、これは、マップによって課された幾何学的制約を活用し、ターゲットが移動するときの正確な2D位置および向きを共同で学習する。その後、位置の推定がマップとともにユーザに表示される。開示されたGPFは通常の屋内地図(例えば、フロアプランの画像)のみを使用するので、わずかなコストで大規模な建物に容易に拡大縮小することができる。
図2は、本開示のいくつかの実施形態による、IMUを使用する動き追跡システムによって実行される動作を示す図である。図2に示すように、システムは、センサブロック210と、センサエンジン220と、マップエンジン230と、UI 240とを含む。センサブロック210は、IMUサブブロックおよび気圧計(高度推定用)を含んでもよい。IMUは加速度、Gyrジャイロスコープ読み取り、Mag-磁力計読み取り、Grv-重力読み取り、Ori-方向読み取りのいずれか1つを測定することができる。
いくつかの実施形態では、IMUとセンサエンジン220との間には幾つかの関数が存在し得る。例えば、センサ取得()はセンサエンジン220にセンサ読み取り値を取得するためにシステムによって実行されてもよく、センサ分析()はセンサ読み取り値を分析するためにシステムによって実行されてもよい。
いくつかの実施形態では、センサエンジン220が動きに関連するパラメータを推定するために、いくつかの関数を実行することができる。例えば、センサエンジン220はセンサフィルタ()の関数を実行して雑音のある読取をフィルタし、センサ読取に基づいてセンサ角度()、センサ距離()、センサ高度()の関数を実行して、それぞれ移動距離、移動角度、および高度を推定することができる。
いくつかの実施形態では、マップエンジン230がパーティクルフィルタリングに基づいて任意の位置エラーを補正することができる。例えば、マップエンジン230はクラウドにアップロードされたマップデータを分析するためにマップ分析()の関数を実行し、マップをグラフに変えるためにマップグラフ()の関数を実行し、マップベースのグラフパーティクルフィルタリングを構築するためにマップフィルタ()の関数を実行することができる。
UIブロック240は、監視対象の動くオブジェクトのリアルタイム位置を表示するために使用されてもよい。
図3は、本開示のいくつかの実施形態に従った、動き追跡システム内のセンサエンジン、例えば図2のセンサエンジン220についてのワークフローを示す。図3に示すように、センサエンジンはIMUから加速度時系列を取得した後、データ前処理310及びアトミックイベント抽出320を行い、前処理された加速度をアトミックイベントに変換してもよい。
図4は本開示のいくつかの実施形態に従って、動き追跡システム内のセンサエンジンによって抽出された例示的なアトミックイベントを示す図である。図4に示すように、3つの基本的なアトミックイベントは、それぞれ、ピーク、谷間、ゼロ交差として定義することができる。ピークイベント410は、処理された加速度データの極大値で生じる。谷間イベント420は、処理された加速度データの極小値で生じる。ゼロ交差イベント430は、負から正へ、または正から負へ、処理された加速データと交差するゼロ点で発生する。
いくつかの実施形態では、3つの拡張されたアトミックイベントが時間的制約、far_peak、far_valley、time_outを考慮することによってさらに定義される。図5は、本開示のいくつかの実施形態による、抽出されたアトミックイベントに関する例示的な時間的制約を示す。
図3に戻って参照すると、センサエンジンは、有限ステートマシン(FSM)330を使用して、ステップサイクル中の加速度遷移を特徴付けることができる。通常の人間の歩行周期は個人および速度によって変化するが、慣性データから見た典型的なテンプレートに従う。ステップ周期は2つの段階、すなわちスタンスと揺動段階を含み、これらはさらに7つの段階に分解することができる。スタンス段階は1つの足の最初のかかと接触から始まり、同じ足のつま先が地面から離れたときに終了する。揺動段階は脚が前方に揺動する動作にすぐに続き、次のかかと接触まで続く。直観的には、ストライド周期は2つのステップを含み、それに応じてストライド長が定義される。一実施形態では、2つの連続するステップを区別せず、したがって、ステップ長をストライド長として計算し、これは概して、一般に定義されるストライド長の半分である。理想的には、歩行中、歩行動きによって誘発される加速度は最初に大きな値まで増大し、次に負の値まで減少し、最後にほぼ0に戻る。
図6は、本開示のいくつかの実施形態による、ステップ検出のための有限ステートマシン(FSM)を例示する。図6に示すように、FSMは5つの異なる状態を含む。S_ZC: ゼロ交差が検出されたときの初期状態とデフォルト状態。S_PK:加速度がピークを上回ったときの状態。S_P2V:加速度がピークからポテンシャルの谷間に減少したときにゼロ交差が発生する状態。S_VL:加速度の谷間の状態。S_DT: ステップが要求されている状態。
状態遷移を判定するために、6つの基本イベントを定義することができ、これらはすべて慣性センサデータから識別することができる。E_PK:ピークが検出される。E_VL:谷間が検出される。E_ZC:ゼロ交差が観測される。E_FPK:前の中間イベントを持たないが、閾値を超える大きな時間差分を持つE_PKイベントの後に遠いピークが検出される。E_FVL:E_FPKと同様に定義される谷間。E_TIMEOUT: FSMが1つの状態に長く留まると、タイムアウトイベントがトリガされる。
最初の3つのイベントは歩行中の加速パターンのキー特性を特徴づけ、後の3つは、雑音および非歩行動き干渉に対抗するために、時間情報と結合する最初の3つから導出される。
いくつかの実施形態では、デフォルトでは、イベントが発生するまで、別の状態に遷移するか、または変更されないかに応じて、現状態に留まる。それぞれの状態は図6にマークされているような、特定のイベントに基づいて遷移する。デフォルトのS_ZC 以外のすべての状態は、タイムアウトイベントに関連付けられる。状態S_DT は、新しいデータが到着するとS_ZC に戻る。E_FPKおよびE_FVLは、雑音の多いセンサ読み取りおよびユーザ動き干渉によって引き起こされる2つの連続したピークまたは谷間の場合を処理するために導入される。例えば、後続のピークが前のものに近すぎる場合、アルゴリズムは歩行中の歪みとしてそれを扱い、同じ状態を維持し、そうでない場合、それはより無作為な動きのようなものであり、状態はS_ZCに再設定される。このアルゴリズムの設計は多くの強い側面を達成する。検出された各ステップについて、アルゴリズムは、検出されたステップのタイミング情報を出力する:対応するS_ZC のタイムポイントは開始時間であるが、S_DT に入る時間は終了時間を意味する。図7は、FSMを用いたステップ検出に基づくステップの開始時刻および終了時刻を含む、処理された加速度データカーブ上のステップを示す。
このアルゴリズムは効率的であり、少数の状態しかない。それは、絶対加速度に大きく依存しないように、多くの被験者依存パラメータに依存することなく識別できる、幾つかの本質的なイベントとして比較的雑音のあるセンサ読値を分解する。
いくつかの実施形態では、未加工のセンサデータが上記のFSMに対する入力として、一連の関心イベントに処理される。しかしながら、ここでのキーな課題は歩行パターン及びデバイス位置(例えば、手持ち式、ポケット内、又はバックパック等)によって、歩行の理想的な加速パターンが大きく変化することである。しかも、センサデータはノイズが多く、経時的にドリフトする可能性がある。様々なセンサパターンを取り扱うために、一連の前処理ステップを実行することができる。加速度計は、各サンプルについてのx軸、y軸、z軸に沿った、a=(ax,ay,az)として示される、3D センサー値を報告する。報告されている加速度は(地球のフレームではなく)デバイスフレームにあり、動きの誘発成分と重力成分の両方を含んでいる。重力を補償し、加速度を地球の基準フレームに変換する必要があるかもしれない。幸いなことに、現代のIMUは、重力ベクトルg=(gx,gy,gz)を報告する加速度計およびジャイロスコープまたは磁力計に基づいて、融合センサ(通常、重力センサとして命名される)としての重力成分を抽出する優れた仕事を行ってきた。従って、センサの向きのない投影加速度の大きさを以下の
のように容易に得ることができる。加速度の大きさの時系列が、A=[a(t1)、a(t2)、・・・、a(tM)]として与えられ、ここで、a(ti)は、時間tiにおける読み取り値である。移動平均トレンドを除去することによって、重力およびポテンシャルセンサのドリフトをさらに除去することができる。ストライド長推定のためにオンラインでデータを処理する必要がないので、移動平均を計算するために2秒の比較的長いウインドウを使用することができる。その後、0.25秒のウインドウを用いて、トレンド除去されたデータをさらに平滑化することができる。
のように容易に得ることができる。加速度の大きさの時系列が、A=[a(t1)、a(t2)、・・・、a(tM)]として与えられ、ここで、a(ti)は、時間tiにおける読み取り値である。移動平均トレンドを除去することによって、重力およびポテンシャルセンサのドリフトをさらに除去することができる。ストライド長推定のためにオンラインでデータを処理する必要がないので、移動平均を計算するために2秒の比較的長いウインドウを使用することができる。その後、0.25秒のウインドウを用いて、トレンド除去されたデータをさらに平滑化することができる。
次に、ゼロ交差およびピーク検出を実行して、データ系列からすべての関心イベントを識別することができる(谷間検出は、データに-1を乗算することによってピーク検出と同じ方法で行われる)。このプロセスの結果、時刻tiで、E=[e(t1),e(t2),・・・e(tQ)]、ただしe(ti)∈{E_PK,E_VL,E_ZC}として示されるイベントの時系列が発生する。イベントは、典型的には標準ステップ内に3つのE_ZC、1つのE_PK、および1つのE_VLがあるので、時系列にわたってまばらである。このイベント系列は次に、ステップ検出のためにFSMに供給される。他の3つのイベント、すなわちE_FPK、E_FVL、E_TIMEOUTはそれぞれ、2つの連続するE_PK、E_VLのタイムスタンプおよび状態自身の継続期間を検査することによって、FSM内で検出される。例えば、E_FPKは、e(ti-1)=e(ti)=E_PK及び|ti-ti-1|>thmax_gap、の場合に発生し、ここでthmax_gapは人間の歩行行動によって決定することができる閾値を示す。絶対加速度閾値ではなく、イベント(すなわち、加速度の連続における特有な相対的パターン)を含むことによって、開示されるFSMは、より一般化され、異なる歩行パターンおよびセンサ位置に対してロバストである。
図3に戻って参照すると、センサエンジンはFSMを使用するステップ検出の後に、ステップ検証340をさらに実行する。いくつかの実施形態では、真のステップを検証するために追加の制約が適用される。例えば、ステップ検出から、システムは、ステップ開始時刻ts、終了時刻te、加速度データAの時系列、および対応するピークおよび谷間情報を有することができる。システムはステップエネルギを、
ステップ残差を、
として計算することができる。検証結果は、偽のステップに対してk=0を持つステップ尤度lで示されてもよい。ステップの長さΔd=Δd0*l、ここでΔd0はデフォルト値である。
ステップ残差を、
として計算することができる。検証結果は、偽のステップに対してk=0を持つステップ尤度lで示されてもよい。ステップの長さΔd=Δd0*l、ここでΔd0はデフォルト値である。
ステップ検証340の後、システムは、ステップ検出結果、ステップ尤度及びステップ長を生成することができる。いくつかの実施形態では、歩行検出が例えば、ステップ検証の後に実行されてもよい。いくつかの実施形態では、継続的なステップが観察される場合にユーザステータスが歩行として検出される。そうでなければ、ユーザステータスは非歩行状態に切り換えられる。1つのステップの時点と前のステップの時点とが最大休止ギャップ内にある場合、ステップは連続的であると見なされる。歩行ステータスは、複数の連続的なステップがある場合にイネーブルされてもよい。歩行ステータスが解除されると、連続ステップ数は0にリセットされる。歩行ステータスは、最初のステップが検出されたときにイネーブルされる。
図3に示すように、センサエンジンは、ステップ検証後にさらにパラメータアダプテーション350を実行する。ステップカウントおよびステップ長推定に使用されるパラメータは、個々のユーザに対して動的に適応され、個人用にされてもよい。ユーザのためにより多くのデータが蓄積されると、モデルはより正確で信頼性がある。いくつかの実施形態では、パラメータはリアルタイムストリーミングデータを用いてオンライン方式で適合される。いくつかの実施形態ではnは観測されたステップ数として表され、平均ステップ時間は、
に基づいて更新されてもよい。ピーク高さ(peak_height)、谷間の高さ(valley_height)、ステップエネルギ(step_energy)、ステップ残差(step_residual) の平均値も同様に更新できる。ステップ時間の分散値は、
に基づいて更新することができる。peak_height、valley_height、step_energy、step_residualの分散値も同様に更新することができる。最新のユーザ行動に適応するために、アルゴリズムは、最新のN個のステップ、すなわちn>Nの場合にn=1を考慮するだけでよい。最新のオブジェクトの動きをさらに追跡するために、更新されたパラメータに基づいて新しいアトミックイベントを抽出することができる。
に基づいて更新されてもよい。ピーク高さ(peak_height)、谷間の高さ(valley_height)、ステップエネルギ(step_energy)、ステップ残差(step_residual) の平均値も同様に更新できる。ステップ時間の分散値は、
に基づいて更新することができる。peak_height、valley_height、step_energy、step_residualの分散値も同様に更新することができる。最新のユーザ行動に適応するために、アルゴリズムは、最新のN個のステップ、すなわちn>Nの場合にn=1を考慮するだけでよい。最新のオブジェクトの動きをさらに追跡するために、更新されたパラメータに基づいて新しいアトミックイベントを抽出することができる。
いくつかの実施形態では、システムが与えられた最初の方向θ(0)に基づいて移動方向を推定し、ジャイロスコープデータから方向変化を計算することができる。いくつかの実施形態では、まず、ジャイロスコープの読み取り値が地球基準フレームに投影され、その後、XY 平面内の向きの変化のみが考慮される。したがって、時間tにおける方向は、
として推定される。エラーは時間と共に蓄積されるが、マップエンジン230において後に軽減される。
として推定される。エラーは時間と共に蓄積されるが、マップエンジン230において後に軽減される。
いくつかの実施形態では、システムは高度推定も実行できる。高度の変化を検出してフロアの変更を推測することができる。いくつかの実施形態では、システムが気圧計データから高度情報を推定することができる。気圧計は、ある環境内の大気圧を測定するために使用される科学機器である。一例を挙げると、海抜の低い高度では、気圧は100メートルごとに約1.2kPa低下する。最新のスマートフォンでは、低コストのセンサとして気圧計が利用可能である。気圧計は絶対高度の推定には不適切な場合があるが、高さの変化検出、例えば動くオブジェクトのフロア遷移の推定などには十分である。
図2に戻って参照すると、マップエンジン230は、マップエンジン230によって推定されたあるウインドウ内の移動距離と、センサエンジン220の未加工の出力によって推定された移動距離とを比較することができる。2つの距離があまりにも異なっている場合、マップエンジン230がある点で動かなくなる可能性がある。このような状態が検出されると、マップエンジン230は探索領域が所定の最高値に達するまで、移動ステップ毎に反復的に、潜在的なパーティクルの探索領域を増大させることができる。そうすることによって、マップエンジン230は、様々なシナリオのもとで生き延びる可能性がより高くなる。
図8は、本開示のいくつかの実施形態による、センサに基づく動き追跡のための例示的な方法800のフローチャートを示す。様々な実施形態において、方法800は、上記に開示されたシステムによって実行され得る。動作802において、少なくとも1つのセンシング情報(S1)が、例えばセンサによって生成される。動作804では少なくとも1つの時系列のSI(TSSI)が例えばセンサから得られ、プロセッサによって分析される。このプロセッサは通信可能かつ/または物理的にセンサに結合されてもよい。動作806では場所内のオブジェクトの動きが、少なくとも1つのTSSIに基づいて追跡される。いくつかの実施形態では、センサがオブジェクトに物理的に結合されてもよい。動作808では、第1の増分期間におけるオブジェクトの動きに関連する増分距離が少なくとも1つのTSSIに基づいて計算される。動作810において、第2の増分期間におけるオブジェクトの動きに関連する方向は、少なくとも1つのTSSIに基づいて計算される。動作812において、次の時間におけるオブジェクトの次の位置が、現在の時間におけるオブジェクトの現在の位置、現在の時間におけるオブジェクトの現在の方向、増分距離、向き、および場所のマップに基づいて計算される。図8の動作の順序は、本開示の様々な実施形態に従って変更することができる。
以下の番号付けされた項は、動き追跡のための実施例を提供する。
項1。追跡システム/方法/デバイス/ソフトウエアであって、少なくとも1つのセンシング情報(S1)を生成することができる少なくとも1つのセンサと、メモリおよび少なくとも1つのセンサと通信可能に結合されたプロセッサと、メモリと、メモリに格納されている命令のセットであって、プロセッサによって実行されると、プロセッサに、少なくとも1つのセンサから少なくとも1つの時系列のSI(TSSI)を取得することと、少なくとも1つのTSSIを分析することと、少なくとも1つのTSSIに基づいて場所内のオブジェクトの動きを追跡することと、少なくとも1つのTSSIに基づいて、増分期間におけるオブジェクトの動きに関連する増分距離と、別の増分期間におけるオブジェクトの動きに関連する方向とを計算することと、そして、現在の時間におけるオブジェクトの現在の位置、現在の時間におけるオブジェクトの現在の向き、増分距離、向き、または場所のマップのうちの少なくとも1つに基づいて、次の時間におけるオブジェクトの次の位置を計算することとをさせる命令のセットと、を備える追跡システム/方法/デバイス/ソフトウエア。
いくつかの実施形態では、オブジェクトが人間であってもよいし、センサ(例えば、IMU)を有するスマートデバイスであってもよい。オブジェクトの動きは、人間の歩行または走行であってもよい。センサは、初期測定ユニット(IMU)、加速度計、ジャイロスコープ、磁力計、または気圧計であってもよい。加速度計は、「ステップ」または「ストライド」を生成するために分析され得る加速度を与え得る。ジャイロスコープは向き/方向を与えうる。磁力計は、方向の精度を向上させるために使用されてもよい。気圧計を使用して、ユーザが階段を上下に移動しているかどうかを判定することができる。
項2。項1の追跡システム/方法/デバイス/ソフトウエアであって、少なくとも1つのセンサは、慣性測定ユニット(IMU)、加速度計、ジャイロスコープ、磁力計、または気圧計のうちの少なくとも1つを含み、少なくとも1つのSIは、力、加速度、加速力、瞬間的静止フレームにおける加速度、方向、角度、角速度、角、磁場方向、磁場強度、磁場変化、または空気圧のうちの少なくとも1つを含む。
項3。項1の追跡システム/方法/デバイス/ソフトウエアであって、別の増分期間におけるオブジェクトの動きに関連する動き方向は、ジャイロスコープからのSI、磁力計からのSI、別の増分期間における少なくとも1つの向き、別の増分期間の前の向き、別の増分期間の後の向き、他の増分期間の開始に関連する向き、他の増分期間の終了に関連する向き、現時刻における動きの向き、次時刻における動きの向き、別の時間における動きの向き、別の増分期間に関連する2つ以上の向きの重み付き平均、または別の増分期間に関連する2つ以上の向きの中央値、のうちの少なくとも1つに基づいて計算される。
項4。項1に記載の追跡システム/方法/デバイス/ソフトウエアであって、プロセッサに、オブジェクト運動に関連する基本的なリズミカルな動きのを判定することと、基本的なリズミカルな動きに関連する少なくとも1つのTSSIのリズミカルな動きを識別することと、TSSIのリズミカルな動きに基づいてオブジェクトの動きを追跡することと、TSSIのリズミカルな動きに基づいて増分距離を計算することと、をさせる命令のセットをさらに含む。
項5。項4に記載の追跡システム/方法/デバイス/ソフトウエアであって、少なくとも1つのTSSIに基づいて中間量(IQ)の時系列を計算することと、基本的なリズミカルな動きに関連するIQの時系列(TSIQ)の別のリズミカルな動きを識別することと、TSIQの別のリズミカルな動きに基づいてオブジェクトの動きを追跡することと、TSIQの別のリズミカルな動きに基づいて増分距離を計算することと、さらに含む。
項6。項5に記載の追跡システム/方法/デバイス/ソフトウエアであって、プロセッサに、オブジェクトの動きに関連する安定した基本的なリズミカルな動きに関連する少なくとも1つのTSSIまたはTSIQの安定したリズミカルな動きのタイムウインドウを識別させることと、次のうち少なくとも1つを満たす場合にタイムウインドウへタイムスタンプの追加させることであって、次の1つは、タイムスタンプの周囲のスライディングウインドウにおけるIQの重み付き平均は、第1の閾値よりも大きい、タイムスタンプの周りのIQの自己相関関数の特性は、第2の閾値よりも大きい、及びタイムスタンプに関連付けられた別の基準、である追加させることと、をさせる命令のセットをさらに含む。
項7。項5に記載の追跡システム/方法/デバイス/ソフトウエアであって、プロセッサに、タイムウインドウ内のIQの少なくとも1つの局所的特性ポイントを識別することであって、局所的特性ポイントは、極大値、極小値、正から負へのIQのゼロ交差、負から正へのIQのゼロ交差のうちの少なくとも1つを含む、識別することと、タイムウインドウを少なくとも1つの局所的特性ポイントに関連するタイムスタンプに基づいて少なくとも1つのセグメントに分割することであって、各セグメントは局所的特性ポイントから別の局所的特性ポイントにまたがる、分割することと、完全サイクル、リズムサイクル、複合サイクル、拡張サイクル、ダブルサイクル、クアッドサイクル、部分サイクル、ハーフサイクル、クォータサイクル、歩容サイクル、ストライドサイクル、ステップサイクル、またはハンドサイクルのうちの少なくとも1つを識別することと、をさせる命令のセットをさらに含む。
項8。項5に記載の追跡システム/方法/デバイス/ソフトウエアであって、プロセッサに、TSIQから局所平均の時系列を減算することによって平均減算IQ(MSIQ)の時系列を計算することであって、局所平均は、TSIQに移動平均フィルタを適用することによって得られる、計算することと、タイムウインドウ内のMSIQの時系列(TSMSIQ)を、同じ極性を有するMSIQを含む少なくとも1つの予備セグメントに分割することと、それぞれの予備セグメントのMSIQの少なくとも1つの局所的特性ポイントを識別することであって、局所的特性ポイントは、極大値,極小値,反射ポイント、正から負へのMSIQのゼロ交差、負から正へのMSIQのゼロ交差、予備セグメントの重心、中央値、第1四分位、第3四分位、パーセンタイル、またはモードのうちの少なくとも1つを含む、識別することと、少なくとも局所的特性ポイントに基づいてTSMSIQを少なくとも1つのセグメントに分割することと、完全サイクル、リズムサイクル、複合サイクル、拡張サイクル、ダブルサイクル、クワッドサイクル、部分サイクル、ハーフサイクル、クォータサイクル、歩容サイクル、ストライドサイクル、ステップサイクル、またはハンドサイクルのうちの少なくとも1つを識別することと、をさせる命令のセットをさらに含む。
項9。項7または項8に記載の追跡システム/方法/デバイス/ソフトウエアであって、プロセッサに、TSIQ(またはTSMSIQまたはTSSI)の第1の極大値からTSIQ(またはTSMSIQまたはTSSI)の第2の極大値までの第1の期間、TSIQ(またはTSMSIQまたはTSSI)の第1の極大値からTSIQ(またはTSMSIQまたはTSSI)の極小値、TSIQ(またはTSMSIQまたはTSSI)の第2の極大値までの第2の期間、TSIQ(またはTSMSIQまたはTSSI)の第1の極大値からTSIQ(またはTSMSIQまたはTSSI)のゼロ交差、TSIQ(またはTSMSIQまたはTSSI)の第2の極大値までの第3の期間、TSIQ(またはTSMSIQまたはTSSI)の第1の極小値からTSIQ(またはTSMSIQまたはTSSI)の第2の極小値までの第4の期間、TSIQ(またはTSMSIQまたはTSSI)の第1の極小値からTSIQ(またはTSMSIQまたはTSSI)の極大値、TSIQ(またはTSMSIQまたはTSSI)の第2の極小値までの第5の期間、TSIQ(またはTSMSIQまたはTSSI)の第1の極小値からTSIQ(またはTSMSIQまたはTSSI)のゼロ交差、TSIQ(またはTSMSIQまたはTSSI)の第2の極小値までの第6の期間、TSIQ (またはTSMSIQまたはTSSII)の第1のゼロ交差からTSIQ(またはTSMSIQまたはTSSII)の極大値、TSIQ(またはTSMSIQまたはTSSII)の第2のゼロ交差、TSIQ(またはTSMSIQまたはTSSII)の極小値、TSIQ(またはTSMSIQまたはTSSII)の第3のゼロ交差までの第7の期間、第1のゼロ交差から極小値、第2のゼロ交差、極大値、第3のゼロ交差までの第8の期間、第1の負から正へのゼロ交差から正から負へのゼロ交差、第2の負から正へのゼロ交差までの第9の期間、第1の正から負へのゼロ交差から負から正へのゼロ交差、第2の正から負へのゼロ交差までの第10の期間、または振動する動きのサイクル、の少なくとも1つとして、TSIQ(又はTSMSIQ又はTSSI)の完全なサイクルを識別させる命令のセットをさらに含む。
項10。項9に記載の追跡システム/方法/デバイス/ソフトウエアであって、プロセッサに、状態遷移のためのインプットとして局所的特性ポイントを有する有限状態マシン(FSM)に基づいて完全なサイクルを認識させる命令のセットをさらに含む。
項11。項9に記載の追跡システム/方法/デバイス/ソフトウエアであって、プロセッサに、リズムサイクルを完全サイクルとして識別すること、複合サイクルを2つ以上の完全サイクルとして識別すること、延長されたサイクルを2つ以上の完全なサイクルとして識別すること、ダブルサイクルを2つの連続するサイクルとして識別すること、クアッドサイクルを4つの連続したサイクルとして識別すること、前記第1の期間、前記第2の期間、前記第3の期間、前記第4の期間、前記第5の期間、前記第6の期間、前記第7の期間、前記第8の期間、前記第9の期間、前記第10の期間、または前記振動する動きのサイクル、のうちの少なくとも1つに一致する少なくとも2つの局所的特性ポイントを特定するものとして部分サイクルを識別すること、ステップサイクルを完全なサイクルとして識別すること、ストライドサイクルを二重サイクルと識別すること、歩容サイクルをステップサイクルまたはストライドサイクルのいずれかとして識別すること、ハンドサイクルを完全サイクルまたはダブルサイクルのいずれかとして認識すること、のうちの少なくとも1つを実行させる命令のセットをさらに含む。項12.プロセッサに、タイムウインドウ内のIQ、IQの少なくとも1つの局所的特性ポイント、少なくとも1つのセグメント、または少なくとも1つのサイクルのうちの少なくとも1つに基づいて、少なくとも1つのサイクル特徴を計算させる命令のセットをさらに含む、項7または8に記載の追跡システム/方法/デバイス/ソフトウエア。
項13。項12に記載の追跡システム/方法/デバイス/ソフトウエアであって、前記少なくとも1つのサイクル特徴が、以下の歩容-速度関連特徴のうちの少なくとも1つを含み、歩容-速度関連特徴は、歩容速度が前処理されている、タイムウインドウ内のタイムスタンプにそれぞれ関連付けられている少なくとも1つの歩容速度と、タイムウインドウ内のタイムスタンプにそれぞれ関連付けられ、タイムスタンプの周りのサブウインドウ内の歩容速度の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである少なくとも1つの平均速度と、それぞれ、タイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのサブウインドウ内の歩容速度の最大である少なくとも1つの最大速度と、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのサブウインドウ内の歩容速度の最小である少なくとも1つの最小速度と、それぞれ、タイムウインドウのタイムスタンプに関連付けられ、タイムスタンプの周りのサブウインドウ内の歩容速度の分散値である、少なくとも1つの速度分散値と、それぞれタイムウインドウのタイムスタンプに関連し、タイムスタンプ周辺のタイムウインドウのサブウインドウにおける平均減算速度のサンプル分布のXパーセンタイルであり、平均減算速度は歩容速度から平均速度を引いたものであり、Xは、0と100との間の数値である、少なくとも1つの速度偏差と、それぞれタイムスタンプに関連し、タイムスタンプの周りのタイムウインドウのサブウインドウにおける平均減算速度の最大値である、少なくとも1つの正の最大速度偏差、及びそれぞれがタイムスタンプに関連し、タイムスタンプ周辺のタイムウインドウのサブウインドウにおける平均減算速度の負の最大値である、少なくとも1つの負の最大速度偏差と、それぞれタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける歩容速度の少なくとも1つの局所ピーク(極大値)の分散値である、少なくとも1つの速度ピーク分散と、それぞれタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウ内の歩容速度の少なくとも1つの局所的谷間(極小)の分散値である、少なくとも1つの速度谷間分散値と、それぞれがタイムスタンプに関連付けられ、タイムスタンプにおける歩容速度の自己相関関数(ACF)のk番目の局所ピークであり、ここで、kは正の整数である、少なくとも1つの速度ACF k番目のピークと、それぞれがタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける速度ACF k番目のピークの平均、重み付き平均、およびトリム平均のうちの少なくとも1つである、少なくとも1つの平均速度ACF k番目のピークと、それぞれタイムスタンプに関連し、タイムスタンプの周りのタイムウインドウのサブウインドウにおける速度ACF k番目のピークの分散値である、少なくとも1つの速度ACF k番目のピーク分散と、それぞれがタイムスタンプに関連付けられ、タイムスタンプにおいて、歩容速度のk番目の局所的ピークとACFの(k-1)番目の局所的ピークの差分であり、kは正の整数である、少なくとも1つの速度ACFk番目のピーク-差分と、それぞれがタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける速度ACF k番目のピーク-差分の平均、重み付き平均、およびトリム平均のうちの少なくとも1つ少なくとも1つである、少なくとも1つの平均速度ACF k番目のピーク-差分と、それぞれタイムスタンプに関連し、速度ACF k番目ピーク-差分の散値であり、タイムスタンプの周りのタイムウインドウのサブウインドウにおける速度ACFk番目のピーク-差分の分散値である、少なくとも1つの速度ACF k番目ピーク-差分分散と、それぞれタイムスタンプに関連付けられ、タイムスタンプにおける速度ACF有意なピークのカウントである、少なくとも1つの速度ACFピークカウントと、各々がタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける速度ACFピークカウントの平均、重み付き平均、およびトリム平均のうちの少なくとも1つである、少なくとも1つの速度平均ACF k番目ピーク-差分と、それぞれタイムスタンプに関連し、タイムスタンプの周りのタイムウインドウのサブウインドウにおける速度ACFピークカウントの分散値である、少なくとも1つの速度ACF k番目のピーク-差分分散と、それぞれがタイムスタンプに関連付けられ、速度ACFピーク-カウントのサンプル確率がタイムスタンプの周りのタイムウインドウのサブウインドウ内でkであり、ここでkは負でない整数である、少なくとも1つの速度ACFピーク-カウント-pdfと、それぞれタイムスタンプに関連付けられ、R(i,j)の2次元プロットであり、iおよびjの両方が、タイムスタンプの周りのタイムウインドウのサブウインドウにおけるランニングタイムインデックスである、少なくとも1つのリカレントプロット(RP)であって、ここで、R(i,j)は、時間iにおける第1の特徴ベクトルと時間jにおける第2の特徴ベクトルとのスカラ類似度関数であり、第1の特徴ベクトルおよび第2の特徴ベクトルの各々は、時間tの周りのタイムウインドウのスライディングサブウインドウにおける少なくとも1つの歩容特徴を含む、時間tにおける特徴ベクトルである、少なくとも1つのリカレントプロット(RP)と、それぞれがタイムスタンプに関連付けられ、再発率、決定論、エントロピー、平均値対角線(average diagonalline)、および別のRP特徴のうちの少なくとも1つを含む、少なくとも1つのリカレントプロット(RP)特徴と、それぞれがタイムウインドウのサブウインドウにおける歩容速度の局所的ピーク(極大値)のタイムスタンプに関連する速度ACFである、少なくとも1つのスケーリングされた速度-ピークACFであり、速度ACFは、その最初のピークが選択されたタイムラグで生じるようにスケーリングされる、少なくとも1つのスケーリングされた速度-ピークACFと、少なくとも1つのスケーリングされたピークACFの特徴はそれぞれ、少なくとも1つのスケーリングされた速度-ピークACFの特徴であり、ここで、サブウインドウは、タイムウインドウ全体、スライディングウインドウ、少なくとも1つの歩容サイクルと、少なくとも1つのステップセグメントと、別のサブウインドウのうちの少なくとも1つである、少なくとも1つのスケーリングされたピークACFの特徴と、少なくとも1つの調和比はそれぞれ、歩容サイクルに関連付けられ、歩容サイクルにおける歩容速度のフーリエ変換の偶数高調波の振幅の和と、歩容サイクルにおける歩容速度のフーリエ変換の奇数高調波の振幅の和との比である、少なくとも1つの調和比と、それぞれ歩容サイクルに関連付けられ、歩容サイクルにおける歩容速度の周波数変換の偶数項の関数と、周波数変換の奇数項の関数とに基づいて計算される、少なくとも1つの調和特徴と、それぞれ歩容サイクルに関連付けられ、歩容サイクルにおける歩容特徴の変換の偶数項の第1の関数と、歩容特徴の変換の奇数項の第2の関数とに基づいて計算される、少なくとも1つの一般化された調和特徴と、上記特徴の少なくとも1つの関数と、および別の特徴の関数である。
項14。項12に記載の追跡システム/方法/デバイス/ソフトウエアであって、前記少なくとも1つのサイクル特徴が、以下の歩容-加速度関連特徴のうちの少なくとも1つを含み、歩容-加速度関連特徴は、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、少なくとも1つの歩容加速度は各々がタイムウインドウ内のタイムスタンプに関連付けられ、歩容速度の導関数である、少なくとも1つの歩容速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける歩容加速度の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである、少なくとも1つの平均加速度、タイムウインドウ内のタイムスタンプにそれぞれ関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウ内の歩容加速度の最大値である、少なくとも1つの最大加速度、それぞれ、タイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウ内の歩容加速度の最小値である、 少なくとも1つの最小加速度、それぞれがタイムウインドウのタイムスタンプに関連し、タイムスタンプの周りのタイムウインドウのサブウインドウにおける歩容加速度の分散値である、少なくとも1つの加速分散値、それぞれがタイムウインドウ内のタイムスタンプに関連し、タイムスタンプの周りのタイムウインドウのサブウインドウ内の平均減算加速度のサンプル分布のXパーセンタイルであり、平均減算加速度は歩容加速度から平均加速度を引いたものであり、Xは0~100間の数値である、少なくとも1つの加速度偏差、それぞれタイムスタンプに関連し、タイムスタンプの周りのタイムウインドウのサブウインドウにおける平均減算加速度の最大値である、少なくとも1つの最大加速度偏差、そして、それぞれタイムスタンプに関連し、タイムスタンプの周りのタイムウインドウのサブウインドウにおける平均減算加速度の負の最大値である、少なくとも1つの最大負加速度偏差、それぞれタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける歩容加速度の少なくとも1つの局所ピーク(極大値)の分散値である、少なくとも1つの加速ピーク分散、それぞれタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける歩容加速度の少なくとも1つの局所谷間(極小値)の分散値である、少なくとも1つの加速谷間分散、それぞれがタイムスタンプに関連付けられ、タイムスタンプにおいて、歩容加速度の自己相関関数(ACF)のk番目の局所ピークであり、kは正の整数である、少なくとも1つの加速度ACF k番目ピーク、それぞれがタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける加速度ACF k番目のピークの平均、重み付き平均、およびトリム平均のうちの少なくとも1つである、少なくとも1つの平均加速度ACF k番目のピーク、それぞれがタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける加速ACF k番目のピークの分散値である、少なくとも1つの加速ACF k番目ピーク分散、タイムスタンプにそれぞれが関連付けられ、タイムスタンプにおいて、歩容加速度のACFのk番目の局所的ピークと(k-1)番目の局所的ピークとの差分であり、ここで、kは正の整数である、少なくとも1つの加速度ACF k番目のピーク-差分、それぞれタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける加速度ACF k番目のピーク-差分の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである、少なくとも1つの平均加速度ACF k番目ピーク-差分、それぞれ、タイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウにおける加速度ACF k番目のピーク-差分の分散値である、少なくとも1つの加速度ACF k番目のピーク-差分分散、それぞれタイムスタンプに関連付けられ、タイムスタンプにおける加速度ACFの有意なピークのカウントである、・少なくとも1つの加速度ACFピークカウント、それぞれがタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける加速度ACFピークカウントの平均、重み付き平均、およびトリム平均のうちの少なくとも1つである、少なくとも1つの平均加速度ACF k番目のピーク-差分、それぞれタイムスタンプに関連し、タイムスタンプの周りのタイムウインドウのサブウインドウにおける加速度ACFピークカウントの分散値である、少なくとも1つの加速度ACF k番目のピーク-差分分散、それぞれタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける加速度ACFピーク-カウントのサンプル確率がkであり、kは非負の整数である、少なくとも1つの加速度ACFピーク-カウントpdf、それぞれタイムスタンプに関連付けられ、R(i,j)の2次元プロットである、少なくとも1つのリカレントプロット(RP)であって、iおよびjの両方は、タイムスタンプの周りのタイムウインドウのサブウインドウにおけるランニングタイムインデックスであり、R(i,j)は、時間iにおける第1の特徴ベクトルと、時間jにおける第2の特徴ベクトルとのスカラ類似度関数であり、第1の特徴ベクトルおよび第2の特徴ベクトルの各々は、時間tの周りのタイムウインドウのスライディングサブウインドウにおける少なくとも1つの歩容特徴を含む、時間tにおける特徴ベクトルである、少なくとも1つのリカレントプロット(RP)、それぞれタイムスタンプに関連付けられ、再発率、決定論、エントロピー、平均値対角線、および別のRP特徴のうちの少なくとも1つを含む、少なくとも1つのリカレントプロット(RP)特徴、それぞれがタイムウインドウのサブウインドウにおける歩容加速度の局所ピーク(極大値)のタイムスタンプに関連付けられる加速度ACFであり、加速度ACFは、その第1のピークが選択されたタイムラグで生じるようにスケーリングされる、少なくとも1つのスケーリングされた加速度ピークACF、少なくとも1つのスケーリングされたピークACF特徴はそれぞれ、少なくとも1つのスケーリングされた加速度ピークACFの特徴であり、ここで、サブウインドウは、タイムウインドウ全体、スライディングウインドウ、少なくとも1つの歩容サイクル、少なくとも1つのステップセグメント、および別のサブウインドウのうちの少なくとも1つである、少なくとも1つのスケーリングされたピークACF特徴、それぞれが歩容サイクルに関連付けられ、歩容サイクルにおける歩容加速度のフーリエ変換の偶数次高調波の振幅の和とフーリエ変換の奇数次高調波の振幅の和との比率である、少なくとも1つの調和(harmonic)比率、それぞれが歩容サイクルに関連付けられ、歩容サイクルにおける歩容加速度の周波数変換の偶数項の関数と、周波数変換の奇数項の関数とに基づいて計算される、少なくとも1つの調和特徴、それぞれが歩容サイクルに関連付けられ、歩容サイクルにおける歩容特徴の変換の偶数項の第1の関数と、歩容特徴の変換の奇数項の第2の関数とに基づいて計算される、少なくとも1つの一般化された調和特徴、上記特徴の少なくとも1つの関数、および別の特徴の関数である。
項15。項12に記載の追跡システム/方法/デバイス/ソフトウエアであって、少なくとも1つの歩容特徴が、以下のステップ関連特徴のうちの少なくとも1つを備え、ステップ関連特徴は、それぞれがタイムウインドウ内のタイムスタンプに関連付けられる少なくとも1つの歩容速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメントにわたる歩容速度の積分である少なくとも1つのステップ長、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメントの継続期間である 少なくとも1つのステップ周期、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップ期間に反比例する 少なくとも1つのステップ周波数、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメントにおける歩容速度の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである少なくとも1つのステップワイズ平均速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメント内の最大歩容速度である少なくとも1つのステップワイズ最大速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメント内の最小歩容速度である 少なくとも1つのステップワイズ最小速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメント内の歩容速度の分散値である少なくとも1つのステップワイズ速度分散、それぞれがタイムウインドウ内のタイムスタンプにそれぞれ関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメントにおける平均減算速度のサンプル分布のXパーセンタイルであり、ここで平均減算速度は歩容速度からステップワイズ平均速度を引いたものであり、Xは0と100との間の数値である、少なくとも1つのステップワイズ速度偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメントにおける歩容加速度の平均、重み付き平均、およびトリム平均のうちの少なくとも1つであり、歩容加速度は歩容速度の導関数である少なくとも1つのステップワイズ平均加速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメントにおける最大歩容加速度である少なくとも1つのステップワイズ最大加速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメント内の最小歩容加速度である 少なくとも1つのステップワイズ最小加速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメント内の歩容加速度の分散値である 少なくとも1つのステップワイズ加速度分散、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのステップセグメントにおける平均減算加速度のサンプル分布のXパーセンタイルであり、ここで平均減算加速度は歩容加速度からステップワイズ平均加速度を引いたものであり、Xは、0~100の数値である、少なくとも1つのステップワイズ加速度偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつステップ長、ステップ期間、ステップ周波数、ステップワイズ平均速度、ステップワイズ最大速度、ステップワイズ最小速度,ステップワイズ速度分散、ステップワイズ速度偏差、ステップワイズ平均加速度、ステップワイズ最大加速度、ステップワイズ最小加速度、ステップワイズ加速度分散値、ステップワイズ加速度偏差、ステップワイズ速度ピーク分散値、ステップワイズ速度谷間分散値、ステップワイズ速度ACF k番目ピーク,ステップワイズ平均速度ACF k番目ピーク,ステップワイズ速度ACF k番目ピーク分散値、ステップワイズ速度ACF k番目ピーク-差分,ステップワイズ平均速度ACF k番目ピーク-差分,ステップワイズ速度ACF k番目ピーク-差分分散値、ステップワイズ速度ACFピークカウント、ステップワイズ平均速度ACF k番目ピーク-差分,ステップワイズ速度ACF k番目ピーク-差分分散値、ステップワイズ速度ACFピーク-count-pdf、ステップワイズリカレントプロット(RP)、ステップワイズリカレントプロット(RP)特徴、ステップワイズスケールされた速度-ピークACF、ステップワイズスケールされたピークACF特徴、ステップワイズ調和比、ステップワイズ調和特徴、ステップワイズ一般化調和特徴、ステップワイズ対称性測定値、上記統計量のうちの少なくとも1つの関数、別の統計量の関数、および別のステップ統計量の関数のうちの少なくとも1つである、少なくとも1つのステップ統計、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、且つタイムスタンプの周りのタイムウインドウのサブウインドウ内のステップ統計の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである少なくとも1つの平均ステップ統計、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数ステップセグメントのステップ統計値の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである少なくとも1つの奇数平均ステップ統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数ステップセグメントのステップ統計の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである少なくとも1つの偶数平均ステップ統計、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内のステップ統計値の最大値である少なくとも1つの最大ステップ統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数ステップセグメントのステップ統計値の最大値である 少なくとも1つの奇数最大ステップ統計、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数ステップセグメントのステップ統計値の最大値である少なくとも1つの偶数最大ステップ統計、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内のステップ統計値の最小値である少なくとも1つの最小ステップ統計、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数ステップセグメントのステップ統計値の最小値である 少なくとも1つの奇数最小ステップ統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数ステップセグメントのステップ統計の最小値である少なくとも1つの偶数最小ステップ統計、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内のステップ統計の分散値である少なくとも1つのステップ統計分散、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数ステップセグメントのステップ統計の分散値である少なくとも1つの奇数ステップ統計分散、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数ステップセグメントのステップ統計の分散値である少なくとも1つの偶数ステップ統計分散、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウにおける平均減算ステップ統計のサンプル分布のXパーセンタイルであり、奇数ステップセグメントの平均減算ステップ統計は奇数ステップセグメントのステップ統計値から奇数平均ステップ統計値を引いたものであり、Xは0と100との間の数である少なくとも1つのステップ統計偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける奇数ステップセグメントの平均減算ステップ統計のサンプル分布のXパーセンタイルであり、奇数ステップセグメントの平均減算ステップ統計は奇数ステップセグメントのステップ統計値から奇数平均ステップ統計値を引いたものであり、Xは0と100との間の数である少なくとも1つの奇数ステップ統計偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける偶数ステップセグメントの平均減算ステップ統計のサンプル分布のXパーセンタイルであり、偶数ステップセグメントの平均減算ステップ統計は偶数ステップセグメントのステップ統計値から偶数平均ステップ統計値を引いたものであり、Xは0と100との間の数である少なくとも1つの偶数ステップ統計偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、平均ステップ統計値、最大ステップ統計値、最小ステップ統計値、ステップ統計値分散、ステップ統計値偏差およびステップ統計値の別の統計値のうちの少なくとも1つであるステップ統計値の少なくとも1つの統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、奇数平均ステップ統計値、奇数最大ステップ統計値、奇数最小ステップ統計値、奇数ステップ統計値分散、奇数ステップ統計値偏差およびステップ統計の別の奇数統計値のうちの少なくとも1つであるステップ統計値の少なくとも1つの奇数統計値、それぞれがタイムウインドウ内のタイムスタンプにそれぞれ関連付けられ、偶数平均ステップ統計値、偶数最大ステップ統計値、偶数最小ステップ統計値、偶数ステップ統計値分散、偶数ステップ統計値偏差、およびステップ統計値の別の偶数統計値のうちの少なくとも1つであるステップ統計値の少なくとも1つの偶数統計値、左ステップ統計値、右ステップ統計値、前部左ステップ統計値、前部右ステップ統計値、後部左ステップ統計値、後部右ステップ統計値、波面ステップ統計値、奇数波面ステップ統計値、偶数波面ステップ統計値、ステップ統計値の偶数統計値とステップ統計値の奇数統計値の比率、ステップ統計値の偶数統計値とステップ統計値の奇数統計値の差分、ステップ統計値の偶数統計値とステップ統計値の奇数統計値の類似度、およびステップ統計値の統計値、ステップ統計値の奇数統計値、およびステップ統計値の偶数統計値のうちの少なくとも1つの関数、ステップ統計値の偶数統計値の関数とステップ統計値の奇数統計値の関数の関数との比率、ステップ統計値の偶数統計値の第2関数の第1関数とステップ統計値の奇数統計値の第3関数、ステップ統計値の別の統計値である。
項16。項12に記載の追跡システム/方法/デバイス/ソフトウエアであって、少なくとも1つの歩容特徴が、以下のストライド関連特徴のうちの少なくとも1つを備え、ストライド関連特徴は、それぞれがタイムウインドウ内のタイムスタンプに関連付けられている少なくとも1つの歩容速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの歩容サイクルにわたる歩容速度の積分である少なくとも1つのストライド長、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの歩容サイクルの継続期間である 少なくとも1つのストライド期間、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのストライド期間に反比例する少なくとも1つのストライド周波数、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの歩容サイクルにおける歩容速度の平均、重み付き平均、およびトリム平均のうちの少なくとも1つであるストライドワイズ平均速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの歩容サイクル内の最大歩容速度である 少なくとも1つのストライドワイズ最大速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのそれぞれの歩容サイクル内の最小歩容速度である少なくとも1つのストライドワイズ最小速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのそれぞれの歩容サイクル内の歩容速度の分散値である少なくとも1つのストライドワイズ速度分散、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのそれぞれの歩容サイクルにおける平均減算速度のサンプル分布のXパーセンタイルであり、ここで平均減算速度は歩容速度からストライドワイズ平均速度を引いたものであり、Xは0と100との間の数値である少なくとも1つのストライドワイズ速度偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの歩容サイクルにおける歩容加速度の平均、重み付き平均、およびトリム平均のうちの少なくとも1つであり、歩容加速度は歩容速度の導関数である少なくとも1つのストライドワイズ平均加速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの歩容サイクル内の最大歩容加速度である 少なくとも1つのストライドワイズ最大加速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの歩容サイクル内の最小歩容加速度である 少なくとも1つのストライドワイズ最小加速度、それぞれがタイムウインドウのタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの歩容サイクルにおける歩容加速度の分散値である 少なくとも1つのストライドワイズ加速度分散、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの歩容サイクルにおける平均減算加速度のサンプル分布のXパーセンタイルであり、平均減算加速度は歩容加速度からストライドワイズ平均加速度を引いたものであり、Xは0~100の数値である少なくとも1つのストライドワイズ加速度偏差、それぞれがタイムウインドウ内のタイムスタンプにそれぞれ関連付けられ、ストライド長、ストライド期間、ストライド周波数、ストライドワイズ平均速度、ストライドワイズ最大速度、ストライドワイズ最小速度、ストライドワイズ速度分散値、ストライドワイズ速度偏差、ストライドワイズ平均加速度、ストライドワイズ最大加速度、ストライドワイズ最小加速度、ストライドワイズ加速度分散値、ストライドワイズ加速度偏差、ストライドワイズ速度ピーク分散値、ストライドワイズ速度谷間分散値、ストライドワイズ速度ACF k番目ピーク,ストライドワイズ平均速度ACF k番目ピーク,ストライドワイズ速度ACF k番目ピーク分散値、ストライドワイズ速度ACF k番目ピーク-差分、ストライドワイズ平均速度ACF k番目ピーク-差分,ストライドワイズ速度ACF k番目ピーク-差分分散値、ストライドワイズ速度ACFピークカウント、ストライドワイズ平均速度ACF k番目ピーク-差分、ストライドワイズ速度ACF k番目ピーク-差分分散値、ストライドワイズ速度ACFピーク-カウント-pdf、ストライドワイズリカレントプロット(RP)、ストライドワイズリカレントプロット(RP)特徴、ストライドワイズスケールされた速度-ピークACF、ストライドワイズスケールされたピークACF特徴、ストライドワイズ調和比、ストライドワイズ調和特徴、ストライドワイズ一般化調和特徴、ストライドワイズ対称性測定、上記統計値の少なくとも1つの関数、別の統計値の関数、および別のストライド統計値の関数のうちの少なくとも1つである少なくとも1つのストライド統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内のストライド統計値の平均値、重み付き平均、およびトリム平均値のうちの少なくとも1つである少なくとも1つの平均ストライド統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数歩容サイクルのストライド統計値の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである少なくとも1つの奇数平均ストライド統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数歩容サイクルのストライド統計値の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである少なくとも1つの偶数平均ストライド統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周囲のタイムウインドウのサブウインドウ内のストライド統計値の最大値である少なくとも1つの最大ストライド統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数歩容サイクルのストライド統計値の最大値である 少なくとも1つの奇数最大ストライド統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数歩容サイクルのストライド統計値の最大値である少なくとも1つの偶数最大ストライド統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内のストライド統計値の最小値である少なくとも1つの最小ストライド統計、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数歩容サイクルのストライド統計値の最小値である 少なくとも1つの奇数最小ストライド統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数歩容サイクルのストライド統計値の最小値である少なくとも1つの偶数ストライド統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内のストライド統計値の分散値である少なくとも1つのストライド統計分散値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数歩容サイクルのストライド統計値の分散値である少なくとも1つの奇数ストライド統計分散値、それぞれがタイムウインドウのタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウにおける偶数歩容サイクルのストライド統計値の分散値である少なくとも1つの偶数ストライド統計分散値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウにおける平均減算ストライド統計値のサンプル分布のXパーセンタイルであり、奇数歩容サイクルの平均減算ストライド統計値は奇数歩容サイクルのストライド統計値から奇数平均ストライド統計値を引いたものであり、Xは0~100の数値である少なくとも1つのストライド統計値偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウにおける奇数歩容サイクルの平均減算ストライド統計値のサンプル分布のXパーセンタイルであり、奇数歩容サイクルの平均減算ストライド統計値は奇数歩容サイクルのストライド統計値から奇数平均ストライド統計値を引いたものであり、Xは0と100との間の数である少なくとも1つの奇数ストライド統計値偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数歩容サイクルの平均減算ストライド統計値のサンプル分布のXパーセンタイルであり、偶数歩容サイクルの平均減算ストライド統計値は偶数歩容サイクルのストライド統計値から偶数平均ストライド統計値を引いたものであり、Xは0と100との間の数値である少なくとも1つの偶数ストライド統計値偏差、それぞれがタイムウインドウ内のタイムスタンプにそれぞれ関連付けられ、平均ストライド統計値、最大ストライド統計値、最小ストライド統計値、ストライド統計値分散、ストライド統計値偏差、およびストライド統計値の別の統計値のうちの少なくとも1つであるストライド統計値の少なくとも1つの統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、奇数平均ストライド統計値、奇数最大ストライド統計値、奇数最小ストライド統計値、奇数ストライド統計値分散、奇数ストライド統計値偏差、およびストライド統計値の別の奇数統計値のうちの少なくとも1つであるストライド統計値の少なくとも1つの奇数統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、偶数平均ストライド統計値、偶数最大ストライド統計値、偶数最小ストライド統計値、偶数ストライド統計値分散、偶数ストライド統計値偏差、およびストライド統計値の別の偶数統計値のうちの少なくとも1つであるストライド統計値の少なくとも1つの偶数統計値、左ストライド統計値、右ストライド統計値、前部左ストライド統計値、前部右ストライド統計値、後部左ストライド統計値、後部右ストライド統計値、波面ストライド統計値、奇数波面ストライド統計値、偶数波面ストライド統計値、ストライド統計値の偶数統計値とストライド統計値の奇数統計値の比率、ストライド統計値の偶数ストライド統計値およびストライド統計値の奇数統計値の差分、ストライド統計値の偶数統計値およびストライド統計値の奇数統計値の類似度、およびストライド統計値の統計値、ストライド統計値の奇数統計値、ストライド統計値の偶数統計値のうちの少なくとも1つの関数、ストライド統計値の偶数統計値の関数とストライド統計値の奇数統計値の関数の比率、ストライド統計値の偶数統計値の第2関数の第1関数およびストライド統計値の奇数統計値の第3関数、ストライド統計値の別の統計値である。
項17。項12に記載の追跡システム/方法/デバイス/ソフトウエアであって、少なくとも1つの歩容特徴が、以下のストライドシーケンス関連特徴のうちの少なくとも1つを備え、ストライドシーケンス関連特徴は、それぞれがタイムウインドウ内のタイムスタンプに関連付けられる少なくとも1つの歩容速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの拡張歩容サイクルにわたる歩容速度の積分である少なくとも1つのストライドシーケンス長、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの拡張歩容サイクルの継続期間である少なくとも1つのストライドシーケンス期間、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれのストライドシーケンス期間に反比例する少なくとも1つのストライドシーケンス周波数、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの拡張歩容サイクルにおける歩容速度の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである少なくとも1つのストライドシーケンスワイズ平均速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの拡張歩容サイクル内の最大歩容速度である 少なくとも1つのストライドシーケンスワイズ最大速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの拡張歩容サイクル内の最小歩容速度である少なくとも1つのストライドシーケンスワイズ最小速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの拡張歩容サイクル内の歩容速度の分散値である少なくとも1つのストライドシーケンスワイズ速度分散値、それぞれがタイムウインドウ内のタイムスタンプに関連し、かつタイムスタンプの周りのそれぞれの拡張歩容サイクルにおける平均減算速度のサンプル分布のXパーセンタイルであり、ここで平均減算速度は歩容速度からストライドシーケンスワイズ平均速度を引いたものであり、Xは0と100との間の数値である少なくとも1つのストライドシーケンスワイズ速度偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの拡張歩容サイクルにおける歩容加速度の平均、重み付き平均、およびトリム平均のうちの少なくとも1であり、歩容加速度は歩容速度の導関数である少なくとも1つのストライドシーケンスワイズ平均加速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの拡張歩容サイクル内の最大歩容加速度である少なくとも1つのストライドシーケンスワイズ最大加速度、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの拡張歩容サイクル内の最小歩容加速度である 少なくとも1つのストライドシーケンスワイズ最小加速度、それぞれがタイムウインドウのタイムスタンプに関連し、かつタイムスタンプの周りのそれぞれの拡張歩容サイクルにおける歩容加速度の分散値である少なくとも1つのストライドシーケンスワイズ加速度分散値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのそれぞれの拡張歩容サイクルにおける平均減算加速度のサンプル分布のXパーセンタイルであり、平均減算加速度は歩容加速度からストライドシーケンスワイズ平均加速度を引いたものであり、Xは0~100の数値である少なくとも1つのストライドシーケンスワイズ加速度偏差、それぞれ、タイムウインドウ内のタイムスタンプに関連付けられ、かつストライドシーケンス長、ストライドシーケンス期間、ストライドシーケンス周波数、ストライドシーケンスワイズ平均速度、ストライドシーケンスワイズ最大速度、ストライドシーケンスワイズ最小速度,ストライドシーケンスワイズ速度分散値、ストライドシーケンスワイズ速度偏差、ストライドシーケンスワイズ平均加速度、ストライドシーケンスワイズ最大加速度、ストライドシーケンスワイズ最小加速度、ストライドシーケンスワイズ加速分散値、ストライドシーケンスワイズ加速度偏差、ストライドシーケンスワイズ速度ピーク分散値、ストライドシーケンスワイズ速度谷間分散値、ストライドシーケンスワイズ速度ACF k番目ピーク,ストライドシーケンスワイズ平均速度ACF k番目ピーク、ストライドシーケンスワイズ速度ACF k番目ピーク分散、ストライドシーケンスワイズ速度ACF k番目ピーク-差分,ストライドシーケンスワイズ平均速度ACF k番目ピーク-差分,ストライドシーケンスワイズ速度ACF k番目ピーク-差分分散、ストライドシーケンスワイズ速度ACFピークカウント、ストライドシーケンスワイズ平均速度ACF k番目ピーク-差分,ストライドシーケンスワイズ速度ACF k番目ピーク-差分分散、ストライドシーケンスワイズ速度ACFピーク-カウント-pdf、ストライドシーケンスワイズリカレントプロット、ストライドシーケンスワイズリカレントプロット(RP)特徴、ストライドシーケンスワイズスケーリングされた速度-ピークACF、ストライドシーケンスワイズスケーリングされたピークACF特徴、ストライドシーケンスワイズ調和比率、ストライドシーケンスワイズ調和特徴、ストライドシーケンスワイズ一般化調和特徴、ストライドシーケンスワイズ対称性測定、上記統計値の少なくとも1つの関数、別の統計値の関数、および別のストライドシーケンス統計値の関数のうちの少なくとも1つである少なくとも1つのストライドシーケンス統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内のストライドシーケンス統計値の平均値、重み付き平均、およびトリム平均のうちの少なくとも1つである少なくとも1つの平均ストライドシーケンス統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数拡張歩容サイクルのストライドシーケンス統計値の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである少なくとも1つの奇数平均ストライドシーケンス統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数拡張歩容サイクルのストライドシーケンス統計値の平均、重み付き平均、およびトリム平均のうちの少なくとも1つである少なくとも1つの偶数平均ストライドシーケンス統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内のストライドシーケンス統計値の最大値である少なくとも1つの最大ストライドシーケンス統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数拡張歩容サイクルのストライドシーケンス統計値の最大値である 少なくとも1つの奇数最大ストライドシーケンス統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数拡張歩容サイクルのストライドシーケンス統計値の最大値である少なくとも1つの偶数最大ストライドシーケンス統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内のストライドシーケンス統計の最小値である少なくとも1つの最小ストライドシーケンス統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数拡張歩容サイクルのストライドシーケンス統計値の最小値である少なくとも1つの奇数最小ストライドシーケンス統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数拡張歩容サイクルのストライドシーケンス統計値の最小値である少なくとも1つの偶数最小ストライドシーケンス統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内のストライドシーケンス統計値の分散値である少なくとも1つのストライドシーケンス統計分散値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の奇数拡張歩容サイクルのストライドシーケンス統計値の分散である少なくとも1つの奇数ストライドシーケンス統計分散値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウ内の偶数拡張歩容サイクルのストライドシーケンス統計値の分散である少なくとも1つの偶数ストライドシーケンス統計分散値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウにおける平均減算ストライドシーケンス統計値のサンプル分布のXパーセンタイルであり、奇数拡張歩容サイクルの平均減算ストライドシーケンス統計値は奇数拡張歩容サイクルのストライドシーケンス統計値から奇数平均ストライドシーケンス統計値を引いたものであり、Xは0~100の間の数値である少なくとも1つのストライドシーケンス統計値偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウにおける奇数拡張歩容サイクルの平均減算ストライドシーケンス統計値のサンプル分布のXパーセンタイルであり、奇数拡張歩容サイクルの平均減算ストライドシーケンス統計値は奇数拡張歩容サイクルのストライドシーケンス統計値から奇数平均ストライドシーケンス統計値を引いたものであり、Xは0~100の間の数値である少なくとも1つの奇数ストライドシーケンス統計値偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、かつタイムスタンプの周りのタイムウインドウのサブウインドウにおける偶数拡張歩容サイクルの平均減算ストライドシーケンス統計値のサンプル分布のXパーセンタイルであり、偶数拡張歩容サイクルの平均減算ストライドシーケンス統計値は偶数拡張歩容サイクルのストライドシーケンス統計値から偶数平均ストライドシーケンス統計値を引いたものであり、Xは0~100の間の数値である少なくとも1つの偶数ストライドシーケンス統計値偏差、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、平均ストライドシーケンス統計値、最大ストライドシーケンス統計値、最小ストライドシーケンス統計値、ストライドシーケンス統計ち分散、ストライドシーケンス統計値偏差、およびストライドシーケンス統計値の別の統計値のうちの少なくとも1つであるストライドシーケンス統計値の少なくとも1つの統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、奇数平均ストライドシーケンス統計値、奇数最大ストライドシーケンス統計値、奇数最小ストライドシーケンス統計値、奇数ストライドシーケンス統計値分散、奇数ストライドシーケンス統計値偏差、およびストライドシーケンス統計値の別の奇数統計値のうちの少なくとも1つであるストライドシーケンス統計値の少なくとも1つの奇数統計値、それぞれがタイムウインドウ内のタイムスタンプに関連付けられ、偶数平均ストライドシーケンス統計値、偶数最大ストライドシーケンス統計値、偶数最小ストライドシーケンス統計値、偶数ストライドシーケンス統計値分散、偶数ストライドシーケンス統計値偏差、およびストライドシーケンス統計値の別の偶数統計値、全部ストライドシーケンス統計値、後部ストライドシーケンス統計値、波面ストライドシーケンス統計値、フェーズ1の波面ストライドシーケ
ンス統計値、フェーズ2の波面ストライドシーケンス統計値、フェーズ3の波面ストライドシーケンス統計値、フェーズ4の波面ストライドシーケンス統計値、n番目のフェーズの波面ストライドシーケンス統計値、ストライドシーケンス統計値の偶数統計値とストライドシーケンス統計値の奇数統計値との比率、ストライドシーケンス統計値の偶数統計値とストライドシーケンス統計値の奇数統計値との差分、ストライドシーケンス統計値の偶数統計値とストライドシーケンス統計値の奇数統計値との類似度、およびストライドシーケンス統計値、ストライドシーケンス統計値の奇数統計値、およびストライドシーケンス統計値の偶数統計値のうちの少なくとも1つの関数、ストライドシーケンス統計値の偶数統計値の関数とストライドシーケンス統計値の奇数統計値の関数との比率、ストライドシーケンス統計値の偶数統計値の第2関数の第1関数と、ストライドシーケンス統計値の奇数統計の第3関数、およびストライドシーケンス統計値の別の統計値、のうちの少なくとも1つであるストライドシーケンス統計値の少なくとも1つの偶数統計値、である。
ンス統計値、フェーズ2の波面ストライドシーケンス統計値、フェーズ3の波面ストライドシーケンス統計値、フェーズ4の波面ストライドシーケンス統計値、n番目のフェーズの波面ストライドシーケンス統計値、ストライドシーケンス統計値の偶数統計値とストライドシーケンス統計値の奇数統計値との比率、ストライドシーケンス統計値の偶数統計値とストライドシーケンス統計値の奇数統計値との差分、ストライドシーケンス統計値の偶数統計値とストライドシーケンス統計値の奇数統計値との類似度、およびストライドシーケンス統計値、ストライドシーケンス統計値の奇数統計値、およびストライドシーケンス統計値の偶数統計値のうちの少なくとも1つの関数、ストライドシーケンス統計値の偶数統計値の関数とストライドシーケンス統計値の奇数統計値の関数との比率、ストライドシーケンス統計値の偶数統計値の第2関数の第1関数と、ストライドシーケンス統計値の奇数統計の第3関数、およびストライドシーケンス統計値の別の統計値、のうちの少なくとも1つであるストライドシーケンス統計値の少なくとも1つの偶数統計値、である。
項18。少なくとも1つのサイクル特徴の1つをサーバに通信する、項12に記載の追跡システム/方法/デバイス/ソフトウエア。
項19。サイクル特徴をユーザデバイスに通信することと、サイクル特徴の提示またはサイクル特徴の履歴をユーザデバイスのユーザに生成することと、を含む項12に記載の追跡システム/方法/デバイス/ソフトウエア。
項20。サーバに次の時のオブジェクトの次回位置を通信する項1の追跡システム/方法/デバイス/ソフトウエア。
項21。オブジェクトの次の位置をユーザデバイスに通信すること、次の位置、移動軌跡、またはユーザデバイスのユーザの追跡のうちの少なくとも1つの提示を生成することを含む項1に記載の追跡システム/方法/デバイス/ソフトウエア。
項22。増分期間におけるサイクルの量を計算することと、増分距離をサイクルの量とサイクルの距離との掛け算の積として計算することと、を含む項7または8または9に記載の追跡システム/方法/デバイス/ソフトウエア。
いくつかの実施形態では、サイクル距離が何らかのトレーニングによって求めることができる。例えば、較正またはトレーニングプロセスにおいて、オブジェクト(例えば、人間ユーザ)は、基準距離が別の位置システムを使用して取得されてもよい間歩き、それは、例えば、オブジェクトが屋外を歩行しているときに、GPSに三角測量または三辺測量を加えたもの、利用可能であれば、CSIベースの位置特定、WiFi信号を使用する次世代の位置特定(例えば、802.11ayに基づく)、UWBベースの位置特定、レーダベースの位置特定またはミリ波ベースの位置特定などを含み得る。サイクル距離を計算するために、システムはTSIQまたはTSSIのリズミカルな行動を分析し、タイムウインドウ内のサイクル数(数量)を計数し、次いで、タイムウインドウ内の基準距離をタイムウインドウ内のサイクル数で割ることによってサイクル距離を計算することができる。
項23。ユーザ入力、トレーニング段階で取得されたトレーニング値、他の位置特定方式からの「基準距離」を使用する較正プロセス又はトレーニングプロセス、直近の期間の安定なリズミカルな動きに基づいて適応的に計算された値のうちの少なくとも1つに基づいてサイクル距離を計算することを含む、項22に記載の追跡システム/方法/デバイス/ソフトウエア。
項24。次の時間のオブジェクトの次の位置がパーティクルフィルタを使用して計算される、項1に記載の追跡システム/方法/デバイス/ソフトウエア。
項25。項1に記載の追跡システム/方法/デバイス/ソフトウエアであって、次の時間の前記オブジェクトの次の位置を計算することは、最初(t=0)におけるオブジェクトの最初の候補位置の初期値(N_0)を初期化することと、現時点(t=i)におけるオブジェクトの第2候補位置の第2の動的数(N_i)に基づいて、次の時間(t=(i+1))におけるオブジェクトの第1候補位置の第1の動的数(N_(i+1))を反復的に計算することと、次の時間における第1候補位置の第1の動的数と、現時点における第2候補位置の第2の動的数とのうちの少なくとも1つに基づいて、次の時間におけるオブジェクトの次の位置を計算すること、を含む。
項26。項25に領域の追跡システム/方法/デバイス/ソフトウエアであって、オブジェクトは、マップによって表される区域内で増分期間中に移動し、マップは多次元配列Aとして表される多次元マップであり、リージョンのそれぞれの位置の到達可能性は、0と1との間の論理値である対応する配列要素aによって表され、対応する配列要素がa=0を満たす場合、リージョンの位置は到達不能で禁止され、対応する配列要素がa=1を満たす場合、リージョンの位置は完全に到達可能であり、対応する配列要素が、0<a<1を満たす場合、リージョンの位置に部分的に到達可能であり、次の位置、現在の位置、第1候補位置の第1の動的数、および第2候補位置の第2の動的数のそれぞれは領域内の地点であり、a>0を持つ対応する配列要素aとして表され、任意の位置における前記オブジェクトの前記動きの方向は、いくつかの許容可能な方向のうちの1つとして局所的に表される。
いくつかの実施形態では、マップ制約(例えば、行列Aに基づく)を使用して、到達不能な候補位置を棄却または排除することができる。例えば、時間t=iにN_i個の正当な候補位置があるとする。システムは時間t=(i+1) に対してN_i個 の予測位置を計算できる。それぞれの予想される位置は、行列Aに対してチェックされる。到達不能である場合、それは棄却または排除される。残りの予想される位置は、その後、正当な候補位置になることができる。残りの正当な候補位置の個数が少なすぎる場合、いくつかの確率論的モデルおよび規則に基づいて、新しい正当な候補位置を生成することができる。その結果、候補位置の数は異なる反復、すなわち、動的数において異なり得る。しかし、それらの総数は、決して特定の最小数を下回らない。
いくつかの実施形態では、システムが変位ベクトル(大きさ=「方向」の「増分距離」)と「現在候補位置」との合計として予想候補位置を生成することができる。代替的に、この合計は、確率分布、例えば、計算された和としての平均と、現在の候補位置の「良さ」の尺度に関連する分散値を持つガウス分布、のパラメータとして使用されてもよい。例えば、分散値は、行列Aにおける到達可能性の値の関数であってもよい。高い到達可能性(例えば、A=1)はより大きな分散に対応する可能性があり、一方、低い到達可能性(例えば、A=0.1)は、小さな分散に対応する可能性がある。次の位置は時間t=(i+1)における残りの正当な(到達可能である)候補位置を組み合わせることによって、例えば、関連する重み、平均、中央値、最尤法、重心、またはMAPを伴う重み付き平均を使用して計算されてもよい。
項27。項26に記載の追跡システム/方法/デバイス/ソフトウエアであって、次の時間のオブジェクトの次の位置を計算することは、第1候補位置にそれぞれ関連付けられた重みの第1の動的数を計算することとであって、それぞれの重みは、現在位置、第1候補位置、第1候補位置に関連付けられた対応する第2候補位置、動きの方向、および前記方向における第1候補位置と第1の到達不能配列要素aとの間の距離、のうちの少なくとも1つの関数である、計算することと、第1候補位置の第1の動的数と、関連する重みの第1の動的数と、に基づいてオブジェクトの次の位置を計算することと、を含む。
項28。それぞれの重みが、前記方向における第1候補位置と第1の到達不能配列要素aとの間の距離における単調な非減少関数である項27に記載の追跡システム/方法/デバイス/ソフトウエア。
項29。それぞれの重みが、前記方向における第1候補位置と第1の到達不能配列要素aとの間の距離の有界関数である項27に記載の追跡システム/方法/デバイス/ソフトウエア。
項30。次の時間のオブジェクトの次の位置が、第1候補位置の第1の動的数の重み付き平均として計算される、項27に記載の追跡システム/方法/デバイス/ソフトウエア。
項31。次の時間のオブジェクトの次の位置が第1候補位置の1つとして計算される、項27に記載の追跡システム/方法/デバイス/ソフトウエア。
項32。次の時間の前記オブジェクトの次の位置を計算することは、前記重みを正規化して正規化重みを生成するステップをさらに含む、項27に記載の追跡システム/方法/デバイス/ソフトウエア。
項33。次の時間のオブジェクトの次の位置を計算することをさらに含む、項32に記載の追跡システム/方法/デバイス/ソフトウエアであって、正規化された重みに基づいて第1候補位置の第1の動的数の残りに対するそれぞれの第1候補位置の重み付けされたコストを計算することであって、重み付けされたコストは、第1候補位置と第1候補位置の残りのそれぞれとの間のペアワイズ距離の重み付き和である、計算することと、オブジェクトの次の時間の位置として、最小限の重み付きコストを持つ第1候補位置を選択することと、を含む。
項34。項6に記載の追跡システム/方法/デバイス/ソフトウエアであって、次の時間のオブジェクトの次の位置を計算することは、第2候補位置の予測値が、関連する配列要素a=1を持つ、完全に到達可能である場合には、第2候補位置、増分距離、および増分期間のうちの少なくとも1つに基づいて、オブジェクトの第2候補位置のそれぞれについての予測値を計算することと、第2候補位置の予測値が関連する配列要素a=0を持つ、禁止されている場合には、第2候補位置の予測値に基づいてオブジェクトの第1候補位置を作成することと、第2候補位置の予測値が、0<a<1を満たす関連配列要素を持つ、部分的に到達可能である場合には、第1候補位置を生成することなく、第2候補位置を「棄却」とラベル付けすることと、0と1との間の乱数を生成することと、乱数がa未満の場合には、第2候補位置の予測値に基づいてオブジェクトの第1候補位置を作成することと、を含む。
項35。項14に記載の追跡システム/方法/デバイス/ソフトウエアであって、次の時間のオブジェクトの次の位置を計算することはさらに、第1候補位置の数量が閾値よりも小さい場合、予測値に関連する重み、第2候補位置に関連する重み、予測値に関連する多次元配列Aの配列要素、および第2候補位置に関連する多次元配列Aの配列要素のうちの少なくとも1つに基づく確率分布で、棄却されない第2候補位置の予測値を確率的に取ることによって、オブジェクトの新しい第1候補位置を生成することを含む。
項36。項14に記載の追跡システム/方法/デバイス/ソフトウエアであって、次の時間のオブジェクトの次の位置を計算することはさらに、第1候補位置の数量が閾値よりも小さい場合、棄却されない第2候補位置を確率的に取ることによって、棄却されない第2候補位置の予測値に関連する重みに基づく確率で、オブジェクトの新しい第1候補位置を生成することを含む。
項37。項14に記載の追跡システム/方法/デバイス/ソフトウエアであって、次の時間のオブジェクトの次の位置を計算することはさらに、第1候補位置の数量が閾値より小さい場合、第1候補位置に基づいて暫定的な次の位置を計算し、確率分布に基づいて暫定的な次の位置の近傍に確率的にオブジェクトの新しい第1候補位置を生成することを含む。
項38。項14に記載の追跡システム/方法/デバイス/ソフトウエアであって、次の時間のオブジェクトの次の位置を計算することはさらに、第1候補位置の数量が閾値よりも小さい場合、確率分布に基づいて現位置の近傍でサンプリングされた位置の予測に基づいて確率的にオブジェクトの新しい第1候補位置を生成することを含む。
項39。近傍は、棄却されない前記第2候補位置のうちの少なくとも1つを含む、項18に記載の追跡システム/方法/デバイス/ソフトウエア。
項40。確率分布は、各々が棄却されない第2候補位置のうちの1つを中心とする確率密度関数のセットの重み付き和である項18に記載の追跡システム/方法/デバイス/ソフトウエア。
項41。重み付き和における第2候補位置に関連するそれぞれのpdfの重みが、第2候補位置に関連する配列要素の関数である項20に記載の追跡システム/方法/デバイス/ソフトウエア。
項42。項1に記載の追跡システム/方法/デバイス/ソフトウエアであって、候補位置の動的な数をいつでも維持することと、候補位置の動的な数を、少なくとも1つの候補位置を初期化すること、少なくとも1つの候補位置を更新すること、少なくとも1つの候補位置を追加すること、少なくとも1つの候補位置を一時停止すること、少なくとも1つの候補位置を停止すること、少なくとも1つの一時停止された候補位置を再開すること、少なくとも1つの停止された候補位置を再初期化することのうちの少なくとも1つによって変更することと、少なくとも1つの候補位置を除去することと、次の時間の候補位置の動的な数、および別の時間における候補位置の動的な数のうちの少なくとも1つに基づいて、次の時間のオブジェクトの次の位置を計算することと、をさらに含む。
項43。候補位置の動的な数は、上限および下限のうちの少なくとも1つによって制限される項22に記載の追跡システム/方法/デバイス/ソフトウエア。
項44。候補位置の動的な数が下限より低い場合に、少なくとも1つの候補位置を追加することをさらに含む項22に記載の追跡システム/方法/デバイス/ソフトウエア。
項45。完全なサイクルをサイクルのターゲットタイプとして検証することをさらに含む項7または8または9に記載の無線監視システムの方法/装置/システム。
項46。TSIQ、TSMSIQ、またはTSSIのうちの少なくとも1つに基づいて、完全なサイクルに関連する尤度スコアを計算することと、尤度スコアに基づいて完全なサイクルをターゲットサイクルとして検証することと、をさらに含む項45に記載の無線監視システムの方法/装置/システム。
項47。尤度スコアがターゲットサイクルに関連する検証条件を満たす場合、完全なサイクルをターゲットサイクルとして検証することをさらに含む項46に記載の無線監視システムの方法/装置/システム。
項48。尤度スコアが閾値より大きい場合、完全なサイクルをターゲットサイクルとして検証することをさらに含む項47に記載の無線監視システムの方法/装置/システム。
項49。項46に記載の無線監視システムの方法/装置/システムであって、期間の対応する開始時間および対応する終了時間を有する完全なサイクルに関連する期間を計算することと、期間内のTSIQおよびTSMSIQの、合計、重み付き和、大きさの合計、大きさの重み付き和、極大値、ゼロ交差、極小値、最大導関数、最小導関数、およびゼロ導関数のうちの少なくとも1つの特徴を計算することと、期間内の計算された特徴に基づいて少なくとも1つのサイクル統計値を計算することと、期間、少なくとも1つのサイクル統計値、少なくとも1つの特徴、またはサイクル統計値または特徴の関数に基づいて尤度を計算することと、をさらに含む。
項50。項49に記載の無線監視システムの方法/装置/システムであって、次のいずれかが起きたときに尤度スコアが0であると計算することを含み、次のことは、期間の継続期間が第1の閾値を超えること、サイクル統計値が第2の閾値よりも大きいこと、極大値が第2の閾値よりも大きいこと、サイクル統計値が第3の閾値未満であること、極小値が第3の閾値未満であること、および最近のタイムウインドウにおける量の最小を超える最近のタイムウインドウにおける量の最大の比が第4の閾値を超えることであり、ここで量は、最近のタイムウインドウにおける完全なサイクルとサイクル統計値における、特徴の1つ、2以上の特徴の関数、極大値と極小値との間の差分のうちの1つであり、サイクル統計値は最近のタイムウインドウにおけるその平均の周りのNシグマ領域(N-sigma egion)の外であり、ここでシグマは最近のタイムウインドウにおける標準偏差でありNは整数であり、特徴は最近のタイムウインドウにおけるその平均の周りの4シグマ領域の外であり、シグマは最近のタイムウインドウにおけるその標準偏差であり、大きさの合計が最近のタイムウインドウにおけるその平均の周りの4シグマ領域の外であり、シグマは最近のタイムウインドウにおけるその標準偏差であり、合計は最近のタイムウインドウにおけるその平均の周りの4シグマ領域の外であり、シグマは最近のタイムウインドウにおけるその標準偏差であることをさらに含む。
項51。完全なサイクルに関連する期間におけるオブジェクトの動きに関連する増分距離を尤度スコアと仮の増分距離との乗算積として計算することをさらに含む項46に記載の無線監視システムの方法/装置/システム。
項52。オブジェクトが人間であり、オブジェクトの動きが人間の歩行の動きまたは走行の動きであり、サイクルのターゲットタイプが人間の歩行または走行のステップサイクルであり、ステップサイクルとしての完全なサイクルの検証に基づいて、「歩行中」または「走行中」としてユーザステータスを計算することをさらに含む項45に記載の無線監視システムの方法/装置/システム。
項53。ステップサイクルとしての完全なサイクルの検証に基づいて、ユーザステータスを「非歩行」から「歩行」に、または「非走行」から「走行」に変更することをさらに含む、項52に記載の無線監視システムの方法/装置/システム。
項54。連続する完全なサイクルをステップサイクルとして検証することと、連続する検証されたステップサイクルに基づいて歩行または走行ステータスを検出することとをさらに含む、項52に記載の無線監視システムの方法/装置/システム。
項55。連続する検証されたステップサイクルに基づいて、ユーザステータスを非歩行から歩行に、または非走行から走行に変更することをさらに含む、項54に記載の無線監視システムの方法/装置/システム。
項56。現在の完全なサイクルと直前の完全なサイクルとの両方がステップサイクルとして検証され、前記2つのステップサイクルの間の時間間隔が閾値未満である場合は、2つのステップサイクルは連続的であると判定され、連続的なステップサイクルに基づいてユーザステータスを歩行または走行と算出することをさらに含む、項52に記載の無線監視システムの方法/装置/システム。
項57。連続的なステップサイクルに基づいて、ユーザステータスを非歩行から歩行に、または非走行から走行に変更することをさらに含む項56に記載の無線監視システムの方法/装置/システム。
項58。完全なサイクルがステップサイクルとして検証されることが不成立となったために完全なサイクルを非ステップサイクルと判定することと、非ステップサイクルに基づいてユーザステータスを歩行から非歩行に、または走行から非走行に変更することと、をさらに含む項52に記載の無線監視システムの方法/装置/システム。
項59。ターゲットサイクルのカウントをインクリメントすることをさらに含む項52に記載の無線監視システムの方法/装置/システム。
項60。完全なサイクルがターゲットサイクルとして検証されることが不成立となったために、完全なサイクルがターゲットサイクルではないと判定することと、ターゲットサイクルのカウントを0にリセットすることと、をさらに含む項59に記載の無線監視システムの方法/装置/システム。
項61。観察可能な統計値を計算することをさらに含み、観察可能は、中間量(IQ)、サイクル特徴、局所的特徴ポイント、またはIQの時系列の特徴(TSIQ)、または平均減算IQの時系列(TSMSIQ)のうちの1つを含む、項1に記載の無線監視システムの方法/装置/システム。
項62。直前の統計値に基づいて現統計値を計算することによって統計値を更新することをさらに含む、項項61に記載の無線監視システムの方法/装置/システム。
項63。直前の統計値が、(N-1)個の観測可能な過去のインスタンスに基づいて計算されることと、直前の統計値および観測可能な現在のインスタンスに基づいて現在の統計値を計算することと、をさらに含む項62に記載の無線監視システムの方法/装置/システム。
項64。項63に記載の無線監視システムの方法/装置/システムであって、オフセットが、現在の観測可能な統計値と直前の統計値との間の重み付けされた差分(ここで、両方とも1/Nによって重み付けされる)、または(a)現在の観測可能な統計値と現在の第2の統計値との間の差分と(b)現在の観測可能な統計値と直前の現在の統計値との間の差分の積、または現在の第3の統計値を1/Nだけスケールすること、のうちの少なくとも1つであり、直前の統計値にオフセットを加算することによって現在の統計値を計算することをさらに含む。
項65。SIをジャイロスコープから地球基準フレームに投影することと、累積的方向性変更を計算することと、累積的方向性変更を最初の方角に加えることとをさらに含む、項3に記載の無線監視システムの方法/装置/システム。
項66。センサのうちの1つが気圧計であり、気圧計からのSIが気圧であり、気圧に基づいてオブジェクトの垂直の動きを追跡することと、気圧に基づいて高度または垂直位置を推定することと、気圧、高度または垂直位置に基づいて垂直増分距離を計算することと、をさらに含む項1に記載の無線監視システムの方法/装置/システム。
項67。パーティクルフィルタを使用して計算された第1の増分距離と、パーティクルフィルタを使用せずに計算された第2の増分距離との間の差分を計算することと、差分に基づいて問題のある状況を検出することとをさらに含む項25に記載の無線監視システムの方法/装置/システム。
項68。差分が閾値より大きい場合、問題のある状況を検出することをさらに含む、項67に記載の無線監視システムの方法/装置/システム。
項69。第2候補位置に関連付けられた区域外にある多数の新しい第1候補位置を生成することをさらに含む項68に記載の無線監視システムの方法/装置/システム。
項70。複数の既存の第2の候補位置を、既存の第2候補位置に関連付けられた区域外にある対応する新しい候補位置で置き換えることをさらに含む、項68に記載の無線監視システムの方法/装置/システム。
項71。複数の既存の第2候補位置を排除することをさらに含む、項68に記載の無線監視システムの方法/装置/システム。
いくつかの実施形態では、歩行検出アルゴリズムがIMUセンサからの加速度データを使用して、システムによって実行されてもよい。歩行中または歩行していない間にデバイスを持っている人物を仮定すると、システムはIMUから加速度を取得し、それらを重力方向に沿って投影することができる。システムは、3つ又は4つの試験を実行して、多数決試験が合格した場合に人物が歩いていることを判定することができる。
いくつかの実施形態では、試験A(最大)が以下のステップを含む。ステップA1において、試験タイムウインドウ(例えば、長さ1秒)における加速度の最大(maxAcc)をシステムは計算する。ステップA2において、maxAcc<T1(小さすぎる)である場合、人物は歩行していないと判定される。小さな加速度は人がタッチスクリーン上で何らかの通常のスクリーン書き込み、スワイプ、押下動作を行っていることによるものであり得る。ステップA3において、maxAcc>T2(大きすぎる、T2>T1)であれば、歩行していないと判定される。大きな加速度は、人がジャンプすることによるものであり得る。
いくつかの実施形態では、試験B(パーセンテージ)が以下のステップを含む。ステップB1において、試験タイムウインドウ内の絶対平均(絶対値の平均)に対する加速度の割合をシステムは計算する。ステップB1において、割合<T3である場合、人物は歩行していないと判定される。
いくつかの実施形態では、試験C(周期性)には以下のステップが含まれる。ステップC1において、試験タイムウインドウ内のゼロ交差をシステムは計算する。ステップC2において、2つの隣接ゼロ間の時間差分が<T4(例えば、0.2s)である場合、中間点において両方をゼロで置き換える。通常の歩行では、隣接ゼロのペア間の時間差分は比較的均一である。A=最大 (時間差分)/最小(時間差分)の比率を定義することができる。A>2の場合、歩行していない。2つの隣り合う交差は偽ピーク検出結果のために、互いに非常に接近することができる。もしそれらが0.2sより近ければ、両方を中間点でゼロに置き換える。
以下の番号付けされた項は例えば、IMUセンサを使用する歩行検出の実施例を提供する。
項A1。ターゲット動き検出システムの方法/装置/システムは、プロセッサを用いてセンサからのセンシング情報時系列を取得することを含み、メモリは、プロセッサと通信可能に結合され、メモリに命令のセットが格納され、ここで、センサはオブジェクトと共に移動しており、SIの時系列(TSSI)に基づいてオブジェクトの動きを監視し、監視に基づいて、ターゲット動きである動きを検出する。
項A2。項A1の歩行検出システムの方法/装置/システムであって、前記センサは、加速度計、ジャイロスコープ、磁力計、近接センサ、気圧計、環境光センサ、温度計、マイクロホン、指紋センサ、歩数計、無線送信機、無線受信機,無線トランシーバ、WLANトランシーバ、WiFiトランシーバ、IEEE 802.11準拠トランシーバ、移動通信トランシーバ、3G/4G/LTE/5G/6G/7G/8Gトランシーバ、3GPP準拠トランシーバ、UWBトランシーバ、Bluetoothトランシーバ、Zigbeeトランシーバ、IEEE 802.15準拠トランシーバ、および別のセンサのうちの少なくとも1つを備え、センシング情報(SI)が、加速度、3軸加速度、角速度、3軸角速度、傾斜、3軸傾斜、方位、3軸方位、近接、気圧、光量、温度、音圧レベル、スキャンされた指紋、ステップカウント、無線マルチパスチャネルのチャネル情報(CI)であって、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、受信信号強度インジケータ(RSSI)、信号電力、電波状況、信号強度、信号振幅、信号位相、信号周波数成分、および信号周波数帯域成分のうちの少なくとも1つを含む無線マルチパスチャネルのチャネル情報、他のセンシング情報、のうちの少なくとも1つを含み、ここで、無線マルチパスチャネルのCIは、タイプ1異種無線デバイスとタイプ2異種無線デバイスとの間で無線マルチパスチャネルを介して通信される無線信号から抽出される。
項A3。項A1の歩行検出システムの方法/装置/システムであって、ここで、ターゲット動きは、歩行動き、歩容、行進動作,歩調動作、走行動き、ギャロッピング動作、トロッティング動作、身体動き、脚の動き、手の動き、指の動き,トランクの動き、胴動き、頭部動き、口腔動き、目の動き、座り動き、立ち上がり動き、クリープ動き、クロール動き、水泳動き、運動動き、踊り動き、テレビを視聴する動作、ソファ座り動き、読書動作、音楽聴取動き、繰り返し動き、複雑な繰り返し動き、ロボット的動き、機械的動き,車両の動き、風による動き、カーテン動き、電流による動き、液体の動き、振動、地震、震え、振る動き、震え動作、おののく動き、音楽的動き、踊り動き、振動、規則的な動き、周期的運動、呼吸運動,心拍、動揺動き、弛緩振動、増加する動き、減少する動き、拡張する動き、縮小する動き、パルス的動き、ポンプ的動き、強打的動き、ドシンという動き、ドキドキする動き、金槌動き、交互動き、協調動き、多重反復動きの組み合わせ、変調な動き、混合動き、合成した動き、少なくとも1つの基礎リズムを有する合成動き、別のオブジェクトの別のリズミカルな動きに結合された動き、過渡的動き、律動的詳細を有する過渡的動き、転倒、落下、眠気の動き、広範囲にわたる動き、衝突、衝撃、スマッシュ、衝突、破砕、バンプ、ノック、衝撃、ヒット、ストライク、衝突、破砕、つぶす動き、パイルアップ、プラング、シャント、およびリズムに結合された動き、のうちの少なくとも1つを含む。
項A4。項A1に記載の歩行検出システムの方法/装置/システムであって、特徴時系列(TSF)を計算することであって、TSFの各特徴がTSSIのそれぞれのSIおよびSIの射影のうちの少なくとも1つの大きさ、位相、絶対値、ノルム、および大きさの二乗のうちの少なくとも1つを含む、計算することと、TSFに基づいてオブジェクトの動きを監視することと、そして監視に基づいてターゲット動きである動きを検出することと、をさらに含む。
項A5。項A4に記載の歩行検出システムの方法/装置/システムであって、センサは加速度計を含み、各SIは、加速度計からの3軸加速度を含み、TSFの各特徴は、重力方向に対するそれぞれのSIの3軸加速度の射影であることをさらに含む。
項A6。項A4に記載の歩行検出システムの方法/装置/システムであって、スライドタイムスタンプに関連するスライディングタイムウインドウを決定することと、TSFのスライディングタイムウインドウに基づく少なくとも1つのターゲット動き試験の実行をすることと、少なくとも1つのターゲット動き試験に基づいて、動きがスライディングタイムウインドウ内のターゲット動きであると検出することと、をさらに含む。
試験は、ターゲット動きに関連する様々なプロパティ/特性を試験することができる。例えば、周期性、リズム、定常性、変動性、規則性、異常値、再現性、衝動性、強さ、ペース、不動性、安定性、方向安定性、>「高」は、下限(または下限閾値)が存在することを意味し得る、>「低」は、上限(または上限閾値)が存在することを意味し得る、>「普通」は、下限および上限(または下限閾値+上限閾値)両方が存在することを意味し得る。項A6に記載の歩行検出システムの方法/装置/システムはさらに、少なくとも1つのターゲット動き試験は、ターゲット動きの傾向に基づいてTSFの周期性が「高」、「普通」、および「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される、周期性の試験、ターゲット動きの傾向に基づいて、TSFのリズムが「一致」と「不一致」と判定された場合に、動きがターゲット動きと仮判定される、リズムの試験、ターゲット動きの傾向に基づいて、TSFの定常性が「高」、「普通」、「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される、定常性の試験、ターゲット動きの傾向に基づいて、TSFの変動性が「高」、「普通」、「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される、変動性の試験、ターゲット動きの傾向に基づいて、TSFの規則性が「高」、「普通」、「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される、規則性試験、ターゲット動きの傾向に基づいて、TSFの外れ値測定が「高」、「普通」、および「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される、外れ値の試験ターゲット動きの傾向に基づいて、TSFの再現性が「高」、「普通」、「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される、再現性試験ターゲット動きの傾向に基づいて、TSFのインパルス性が「高」、「普通」、「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される、インパルス性の試験ターゲット動きの傾向に基づいて、TSFの強度が「高」、「普通」、「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される、強度の試験、ターゲット動きの傾向に基づいて、TSFのペース(pace)が「高」、「普通」、「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される,ペースの試験、ターゲット動きの傾向に基づいて、TSFの静止度が「高」、「普通」、「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される、静止度試験、ターゲット動きの傾向に基づいて、TSFの安定度が「高」、「普通」、「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される、安定度の試験、ターゲット動きの傾向に基づいて、TSFの方向安定度が「高」、「普通」、「低」のうちの少なくとも1つと判定された場合に、動きがターゲット動きであると仮判定される、方向安定度の試験、ターゲット動き特徴の別の試験、および非ターゲット動き特徴の別の試験、のうちの少なくとも1つを含むことをさらに含む。
項A8。項A6に記載の歩行検出システムの方法/装置/システムであって、ターゲット動きが歩行動きであり、少なくとも1つのターゲット動き試験が、TSFの周期性が「高」であると判定された場合に、動きがターゲット動きであると仮判定される周期性の試験、TSFのリズムが「一致」であると判定された場合に、動きがターゲット動きであると仮判定されるリズムの試験、TSFの定常性が「高」であると判定された場合に動きがターゲット動きであると仮判定される定常性試験、TSFの変動性が「低」であると判定された場合に動きがターゲット動きであると仮判定される変動性の試験、TSFの規則性が「高」であると判定されたときに動きがターゲット動きであると仮判定される規則性の試験、TSFの外れ値測定が「低」であると判定されたときに動きがターゲット動きであると仮判定される外れ値の試験、TSFの再現性が「高」であると判定された場合に、動きがターゲット動きであると仮判定される再現性の試験、TSFのインパルス性が「低」であると判定された場合に、動きがターゲット動きであると仮判定されるインパルス性の試験、TSFの強度が「普通」であると判定された場合に、動きがターゲット動きであると仮判定される強度の試験、TSFのペースが「普通」であると判定された場合に、動きがターゲット動きであると仮判定されるペースの試験、TSFの静止度が「低」であると判定された場合に、動きがターゲット動きであると仮判定される静止度の試験、TSFの安定度が「高」であると判定された場合に、動きがターゲット動きであると仮判定される安定度の試験、・TSFの方向安定度が「低」であると判定された場合に、動きがターゲット動きであると仮判定される方向安定度の試験、ターゲット動き特徴の別の試験、および非ターゲット動き特徴の別の試験。のうちの少なくとも1つを含むことをさらに含む、方法/装置/システム。
項A9。項A6に記載の歩行検出システムの方法/装置/システムであって、前記ターゲット動きが転倒動作(fall-down motion)であり、少なくとも1つのターゲット動き試験が、TSFの周期性が「低」であると判定されたときに、動きがターゲット動きであると仮判定される周期性の試験、転倒動きの傾向に基づいて、TSFのリズムが「一致」と判定された場合に、動きがターゲット動きであると仮判定されるリズムの試験、TSFの定常性が「低」であると判定された場合に、動きがターゲット動きであると仮判定される定常性の試験、TSFの変動性が「高」であると判定された場合に、動きがターゲット動きであると仮判定される変動性の試験、TSFの規則性が「低」であると判定された場合に、動きがターゲット動きであると仮判定される規則性の試験、TSFの外れ値測定が「高」であると判定されたときに、動きがターゲット動きであると仮判定される外れ値の試験、TSFの再現性が「低」であると判定された場合に、動きがターゲット動きであると仮判定される再現性の試験、TSFのインパルス性が「高」であると決定された場合に、動きがターゲット動きであると仮判定されるインパルス性の試験、TSFの強度が「高」であると判定された場合に、動きがターゲット動きであると仮判定される強度の試験、TSFのペースが「高」であると判定された場合に、動きがターゲット動きであると仮判定されるペースの試験、TSFの静止度が「低」であると判定された場合に、動きがターゲット動きであると仮判定される静止度の試験、TSFの安定度が「低」であると判定された場合に、動きがターゲット動きであると仮判定される安定度の試験、TSFの方向安定度が「高」であると判定された場合に、動きがターゲット動きであると仮判定される方向安定度の試験、ターゲット動き特徴の別の試験、および非ターゲット動き特徴の別の試験> それぞれの試験は、対応する尺度を有する、のうちの少なくとも1つを含むことをさらに含む、方法/装置/システム。
項A10。項A6に記載の歩行検出システムの方法/装置/システムであって、少なくとも1つの動き試験が、周期性測定に基づいて動きがターゲット動きであると仮判定される周期性の試験、律動性測定に基づいて動きがターゲット動きであると仮判定される律動性の試験、定常性測定に基づいて動きがターゲット動きであると仮判定される定常性の試験、変動性測定に基づいて動きがターゲット動きであると仮判定される変動性の試験、規則性の測定に基づいて動きがターゲット動きであると仮判定される規則性の試験、外れ値測定に基づいて動きがターゲット動きであると仮判定される外れ値の試験、再現性の測定に基づいて動きがターゲット動きであると仮判定される再現性の試験、インパルス性測定に基づいて動きがターゲット動きであると仮判定されるインパルス性試験、強度測定に基づいて動きがターゲット動きであると仮判定される強度の試験、ペース測定に基づいて動きがターゲット動きであると仮判定されるペースの試験、静止度の測定に基づいて動きがターゲット動きであると仮判定される静止度の試験、定常度の測定に基づいて動きがターゲット動きであると仮判定される定常度の試験、方向安定度の測定に基づいて動きがターゲット動きであると仮判定される方向安定度の試験、それぞれのターゲット動き特徴測定に基づいて動きがターゲット動きであると仮判定されるターゲット動き特徴の別の試験、それぞれの非ターゲット動き特徴測定に基づいて動きがターゲット動きであると仮判定される、非ターゲット動き特徴の別の試験のうちの少なくとも1つを含む、ことをさらに含む方法/装置/システム。
項A11。項A6に記載の歩行検出システムの方法/装置/システムであって、ターゲット動き試験に関連付けられた試験測定値を計算することと、試験測定値に基づいてターゲット動き試験の合格条件を決定することと、試験測定値が合格条件を満たす場合、ターゲット動き試験を「合格」とみなし、そうでない場合、ターゲット動き試験を「不合格」とみなすことと、をさらに含む方法/装置/システム。
項A12。項A9に記載の歩行検出システムの方法/装置/システムであって、別の試験測定値を計算することと、別の試験測定値に基づいてターゲット動き試験の部分合格条件を決定することと、試験測定値が合格条件を満たす場合、ターゲット動き試験を「合格」とみなし、別の試験測定値が部分合格条件を満たす場合、ターゲット動き試験を「部分合格」とみなし、そうでない場合、ターゲット動き試験を「不合格」とみなすことと、をさらに含む方法/装置/システム。
項A13。別の試験測定値は、試験測定値である、項A10に記載の歩行検出システムの方法/装置/システム。
項A14。項A13に記載の歩行検出システムの方法/装置/システムであって、試験測定値はスカラであり、合格条件は、試験測定値が閾値T1未満であることであり、部分合格条件は試験測定値が閾値T2未満であり、かつT1以上であり、T2がT1以上であることをさらに含む、方法/装置/システムである。
項A15。項A13に記載の歩行検出システムの方法/装置/システムであって、試験測定値はスカラであり、合格条件は、試験測定値が閾値T1よりも大きいことであり、部分的な合格条件は試験測定値が閾値T2より大きく、T1より大きくないことであり、T2はT1より大きくない、ことをさらに含む。
項A16。部分合格条件がバイパスされるように、T1がT2に等しいことをさらに含む、項A14または項A15に記載の歩行検出システムの方法/装置/システム。
項A17。項A13に記載の歩行検出システムの方法/装置/システムであって、試験測定値はスカラであり、合格条件は、試験測定値が下限閾値T1以上、上限閾値T2以下、T2>=T1であることであり、部分合格条件とは、試験測定値がT1未満であるが別の下限閾値T3以上、T3<=T1、またはT2を超えるが別の上限閾値T4以下、T4>=T2であることをさらに含む。
項A18。T1がT3に等しく、T2がT4に等しく、部分合格条件がバイパスされることをさらに含む、項A17に記載の歩行検出システムの方法/装置/システム。
項A19。項A13に記載の歩行検出システムの方法/装置/システムであって、試験測定値はベクトルであり、合格条件は試験測定値がベクトル空間の第1の「低」領域にあることであり、部分合格条件は試験測定値がベクトル空間の第2の「低」領域にあり、かつ第1の「低」領域にないことであり、第1の「低」領域は、第2の「低」領域のサブセットであることをさらに含む方法/装置/システム。
項A20。項A13に記載の歩行検出システムの方法/装置/システムであって、試験測定値はベクトルであり、合格条件は、試験測定値がベクトル空間の第1の「高」域にあることであり、部分合格条件は試験測定値がベクトル空間の第2の「高」領域にあり、第1の「高」領域にないことであり、第1の「高」領域は、第2の「高」領域のサブセットであることをさらに含む方法/装置/システム。
項A21。項A13に記載の歩行検出システムの方法/装置/システムであって、試験測定値はベクトルであり、合格条件は、試験測定値がベクトル空間の第1の「普通」領域にあることであり、部分合格条件は試験測定値がベクトル空間の第2の「普通」領域にあり、第1の「普通」領域にないことであり、第1の「普通」領域は、第2の「普通」領域のサブセットであることをさらに含む方法/装置/システム。
項A22。項A19、項A20、または項A21に記載の歩行検出システムの方法/装置/システムであって、部分合格条件がバイパスされるように、第1の領域は第2の領域に等しいことをさらに含む方法/装置/システム。
項A23
項A6に記載の。検出システムの方法/装置/システムはさらに、ターゲット動き、各可能なターゲット動き試験の特性、各可能なターゲット動き試験の計算する要件、プロセッサ、メモリおよび命令のセットに関連する計算資源の利用可能性、TSSIの特徴、センサの特徴、ならびにオブジェクトの動きとセンサの動きとの間の関係に基づいて、1組の可能なターゲット動き試験から少なくとも1つのターゲット動き試験を選択することを含む。
項A6に記載の。検出システムの方法/装置/システムはさらに、ターゲット動き、各可能なターゲット動き試験の特性、各可能なターゲット動き試験の計算する要件、プロセッサ、メモリおよび命令のセットに関連する計算資源の利用可能性、TSSIの特徴、センサの特徴、ならびにオブジェクトの動きとセンサの動きとの間の関係に基づいて、1組の可能なターゲット動き試験から少なくとも1つのターゲット動き試験を選択することを含む。
項A24。合格した少なくとも1つのターゲット動き試験の割合が閾値を超える場合に、スライディングタイムウインドウ内の動きがターゲット動きであると検出することをさらに含む、項A6に記載の歩行検出システムの方法/装置/システム。
項A25。項A6に記載の歩行検出システムの方法/装置/システムであって、各ターゲット動き試験に対する個々の試験スコアを計算することと、個々の試験スコアの和、重み付き和、積、重み付き積、平均、重み付き平均、中央値、最頻値、トリム平均、幾何平均、調和平均、および別の量のうちの少なくとも1つに基づいて全体試験スコアを計算することと、全体試験スコアが閾値を超えた場合に、スライディングタイムウインドウ内の動きをターゲット動きであるとして検出することと、をさらに含む。
項A26。各ターゲット動き試験に関連する試験統計値の大きさに基づいてそれぞれの個々の試験スコアを計算することをさらに含む、項A25に記載の歩行検出システムの方法/装置/システム。
項A27。各個々の試験スコアについて、時不変重みおよび時変重みのうちの少なくとも1つを適応的に決定することをさらに含む、項A25に記載の歩行検出システムの方法/装置/システム。
項A28。閾値が、少なくとも1つのターゲット動きの量、全体試験スコア計算に関連する重み,比、およびスケーリング係数のうちの少なくとも1つに基づいて決定されることをさらに含む項A25に記載の歩行検出システムの方法/装置/システム。
項A29。閾値、重み,ターゲット動き試験選択、試験順序、処理順序、モデル、モデルパラメータ、特徴選択、TSSI調節、特徴調節、前処理、処理、後処理、演算、メモリ、ソフトウエア、構成、試験定義、テスト、閾値、スコア定義、アグリゲーション、重み付けののうちの少なくとも1つを適応的に調整することであって、調整は、オブジェクトの識別情報、オブジェクトの習慣的な行動、オブジェクトの現在のステータス、オブジェクトが動く環境に関連する情報、群衆の行動、環境の地形、地形の粗さ、景観、障害物、光路、計画ルート、今後の経路、バックグラウンドの動き,周囲の群衆の行動、予想される状況、予定の状況、予定イベント、計時されたイベント、予定オブジェクト行動,ナビゲーションルート、提案された動き、および、オブジェクトおよびオブジェクトの動き、別のオブジェクトの動き、別のオブジェクトのターゲット動き、別のオブジェクトの非ターゲット動き、デバイスの変更、センサの変更、デバイス設定の変更、センサ設定の変更、ユーザ基準、カスタマイズ、および別の要因のうちの少なくとも1つに関連する別のオブジェクトの識別情報、のうちの少なくとも1つを適応的に調整することをさらに含む、項A6に記載の歩行検出システムの方法/装置/システム。
項A30。項A6に記載の歩行検出システムの方法/装置/システムであって、スライディングタイムウインドウにおけるTSFの特徴に基づいてターゲット動き試験に関連する試験測定値を計算することであって、試験測定値は、複数のTSFから導出された特徴の第1の関数と、複数の第2の導出された特徴の第2の関数であって、第2の導出された特徴はTSFから導出された特徴とTSFから導出された特徴の第1の変換から反復して導出された反復導出特徴とを含む、第2の関数と、複数の第3から導出された特徴の第3の関数であって、第3の導出された特徴は第2の導出された特徴と、TSFから導出された特徴と、第2の導出された特徴の第2の変換から反復して導出された反復導出特徴とを含む、第3の関数と、複数の(N+1)番目の導出された特徴の(N+1)番目の関数であって、(N+1)番目の導出された特徴は、複数のN番目の導出された特徴と、N番目の導出された特徴の前に導出された他の特徴と、N番目の導出された特徴のN番目の変換から反復して導出された反復導出特徴と、導出された特徴のセットの別の関数とのうちの少なくとも1つを含み、導出された特徴は、導出された特徴の別のセット、導出された特徴の別のセットの前に導出された他の導出された特徴、および導出された特徴の別のセットの変換から反復して導出された反復導出特徴、複数のTSFから導出された特徴のいずれか、およびいずれかの反復導出された特徴のいずれか、のうちの少なくとも1つを含む、計算することと、測定に基づいてターゲット動き試験を実行することとをさらに含む方法/装置/システム。
項A31。項A30の歩行検出システムの方法/装置/システムであって、TSFから導出された特徴は、スライディングタイムウインドウを包含するタイムウインドウにおけるTSFの特徴、および次の特徴のいずれかのうちの少なくとも1つを含み、次の特徴は、大きさ、位相、絶対値、ノルム、大きさの二乗、関数、量子化、多項式、代数関数、対数関数、指数関数、単調関数、合成関数、および関数の関数である、方法/装置/システム。
項A32。項A30の歩行検出システムの方法/装置/システムであって、任意の変換は、フィルタリング、線形フィルタリング、低域通過/帯域通過/高域通過フィルタリング、FIR/IIRフィルタリング、畳み込み、整合フィルタリング、カルマンフィルタリング、パーティクルフィルタリング、移動平均(MA)、自己回帰(AR)フィルタリング、ARMAフィルタリング、非線形フィルタリング、平均フィルタリング、メディアンフィルタリング、モードフィルタリング、ランクフィルタリング、四分位フィルタリング、パーセンタイルフィルタリング、選択的フィルタリング、適応フィルタリング、および次の量のうちの少なくとも1つを計算することであって、次の量は絶対値、符号、大きさ、位相、ヒストグラム、統計、最大値(max)、最小値(min)、極大値、極小値、ゼロ交差、平均減算後の最大値、平均減算後の最小値、平均減算後のゼロ交差、時間差分、および局所最大値、局所最小値およびゼロ交差のいずれか2つの間の時間差分、移動和、スライディング重み付き和、移動平均、スライディング平均、移動重み付き平均、スライディングトリム平均、移動中央値、スライディングモード、移動幾何平均、スライディング調和平均、移動最大、スライディング最小、移動ゼロ交差、平均差引後のスライディング最大、平均差引後の移動最小、平均差引後のスライディングゼロ交差、スライディングカウント、移動ヒストグラム、スライディング統計値、移動分散、スライディング標準偏差、自己相関関数(ACF)、自己共分散関数、相互相関関数、相互共分散関数、移動ACF行列、モーメント生成関数、少なくとも1つの量のスライディング関数、少なくとも1つの量の関数の関数、線形写像、スケーリング、非線形写像、圧伸、折り畳み、グルーピング、ソーティング、閾値処理、ソフト閾値処理、ハード閾値処理、クリッピング、ソフトクリッピング、量子化、ベクトル量子化、補間、デシメーション、サブサンプリング、アップサンプリング、リサンプリング、時間補正、タイムベース補正、位相/大きさ補正またはクリーニング、強調、修復、ノイズ除去、平滑化、信号調整、振幅特徴抽出、振幅/位相/エネルギ抽出、キーポイント検出、局所最大/局所最小/ゼロ交差抽出、ピーク検出,谷間検出,反射点検出、ゼロクロス検出、偽ピーク検出/除去、偽谷間検出/除去、偽ゼロ交差検出/除去、スペクトル解析、線形変換、非線形変換、逆変換、周波数変換、フーリエ変換(FT)、離散時間FT(DTFT)、離散FT(DFT)、高速FT(FFT)、ウェーブレット変換、離散ウェーブレット変換(DWT)、コサイン変換、DCT、サイン変換、DST、三角変換、ラプラス変換、ヒルベルト変換、アダマール変換、傾斜変換、2の累乗変換、スパース変換、グラフベースの変換、グラフ信号処理、高速変換、パディング、ゼロパディング、サイクリックパディング、分解、射影、直交射影、非直交射影、オーバーコンプリート射影、固有値分解、特異値分解(SVD)、主成分分析(PCA)、独立成分分析(ICA)、一次導関数、二次導関数、高次導関数、回帰、スプラインフィッティング、Bスプラインフィッティング、最適化、制約付き最適化、最大化、最小化、局所最大化、局所最小化、コスト関数の最適化、最小平均二乗誤差、再帰最小二乗、制約付き最小二乗、バッチ最小二乗、エラー、平均二乗誤差、平均絶対誤差、回帰誤差,スプラインエラー、B-スプラインエラー、近似エラー、最小絶対エラー、最小二乗平均偏差、最小絶対偏差、ニューラルネットワーク、認識、トレーニング、クラスタリング、機械学習、教師有り/教師無し/半教師有り学習、他のTSCIとの対比、類似性スコア計算、距離計算、マッチング追跡、圧縮、暗号化、符号化、格納、送信、正規化、時間正規化、周波数領域正規化、分類、ラベル付け、タグ付け、学習、検出、推定、学習ネットワーク、マッピング、リマッピング、展開、記憶、検索、送信、表現、受信、合流、合成、分裂、追跡、監視、内挿、外挿、ヒストグラム推定、重要度サンプリング、モンテカルロサンプリング、圧縮センシング、表現、合流、合成、スプリット、スクランブル、エラー保護、順方向エラー訂正、何もしない、加算、減算、乗算、除算、ベクトル加算、ベクトル減算、ベクトル乗算、ベクトル除算、ベクトル除算、平均減算、平均除去、重心減算、DC調整、ノルム、コンディショニング平均、重み付き平均、算術平均、幾何平均、調和平均、選択された周波数にわたる平均、アンテナリンクにわたる平均、論理演算、置換、組み合わせ、再配置、並び替え、時変処理、論理変換、AND、OR、XOR、和集合、交点、モーフォルジ処理、逆演算、変換の組み合わせ、複数の変換、および別の演算である量の計算、のうちの少なくとも1つを含む、任意の変換である方法/装置/システム。
項A33。項A30の歩行検出システムの方法/装置/システムであって、データのセットから反復導出された特徴を反復的に導出することは、強度の特徴、代表的特徴、典型的特徴、中心傾向尺度、合計、重み付き和、平均、重み付き平均、平均、算術平均、幾何平均、調和平均、重み付き平均、トリム平均、中央値、重み付き中央値、最頻値(mode)、支配的特徴、インパルス尺度、外れ値尺度、衝動性尺度、最大(max)、最小(min)、極大、極小、平均除去最大、平均除去最小、中央値除去最大、中央値除去最小、モード除去最大、モード除去最小、局所最大から局所最小の範囲、局所最大と局所最小の比、局所最大と局所最小の差、最大から最小の範囲、最大と最小の比、最大と最小の差、最大から平均の範囲、最大と平均の比、最大と平均の差、最大から中央値の範囲、最大と中央値の比、最大と中央値の差、最大から最頻値の範囲、最大と最頻値の比、最大と最頻値の差、最大尤度(ML)特徴、最大事後確率(MAP)特徴、平均に対する百分率、絶対平均に対する百分率、中央値に対する百分率、絶対中央値に対するデータの百分率、最頻値に対する百分率、周期性測定、ペース測定、時間、タイミング、タイミングセパレーション、時間差、平均タイミングセパレーション、平均タイミング差分、最大のタイミング、最小のタイミング、ゼロ交差のタイミング、平均除去された最大のタイミング、平均除去された最小のタイミング、平均除去されたゼロ交差のタイミング、連続する最大の間の時間差分、連続する最小の間の時間差分、連続する最大と最小の間の時間差分、連続するゼロ交差の間の時間差分、継続期間、時間差分の合計、時間差分の平均、時間差分の分散値、タイム差分の変動性、規則性測定値、律動性測定値、定常性測定値、安定度測定値、方向安定度測定値、反復性測定値、類似性測定値、変動性測定値、変動量測定値、定常性測定値、分散、標準偏差、変動量、変動比、微分、傾き、総変動、絶対変動、2乗変動、拡散、バラツキ、変動性、偏差、絶対偏差、二乗偏差、全偏差、発散、範囲、四分位範囲、Lモーメント、変動係数、四分位分散係数、平均絶対差分、ジニ係数、相対平均差分、中央値絶対偏差、平均絶対偏差、距離標準偏差、分散値係数、エントロピ、分散値対平均比、最大-最小比率、尤度、確率分布関数、サンプル分布、モーメント発生関数、期待値、期待関数、距離、ノルム、射影、内積、ドット積、外積、類似性スコア、自己相関、自己共分散、相互相関、相互共分散、対称性測定、スキュー、歪度測定、テール(tail)測定、尖度、上記のいずれかの関数および他の特徴、のうちの少なくとも1つを計算することを含む、方法/装置/システム。
項A34。項A30に記載の歩行検出システムの方法/装置/システムであって、TSSIのSIは3軸加速度を含み、TSFの特徴の各々は、重力方向に対する各3軸加速度の射影の大きさを含み、スライディングタイムウインドウにおける特徴の極大としてターゲット動き試験に関連する試験測定を計算すること、試験測定に基づいてターゲット動き試験を実行すること、試験測定が上限閾値より小さく、下限閾値より大きい場合にターゲット動き試験を合格と判定すること。
項A35。TSSIのSIは3軸加速度を含み、TSFの特徴の各々は、重力方向に対する各3軸加速度の射影の大きさを含む、項A30に記載の歩行検出システムの方法/装置/システムであって、スライドタイムウインドウにおける特徴の複数の極大値を計算すること、複数の極大値の、重み付き平均トリム平均、中央値、最頻値、最大値、および最小値のうちの少なくとも1つとして、ターゲット動き試験に関連する試験測定値を計算し、試験測定値に基づくターゲット動き試験を実施し、試験測定値が上限閾値より小さく、下限閾値より大きい場合にターゲット動き試験を「合格」と判定する。
項A36。項A30の歩行検出システムの方法/装置/システムは、TSSIのSIは3軸加速度を含み、TSFの特徴の各々は、重力方向に対する各3軸加速の射影の大きさを含み、スライディングタイムウインドウにおける特徴の複数の極大値を計算し、スライディングタイムウインドウにおける特徴の複数の極小値を計算し、複数の極小値の各々を無効にすることによって、複数の無効にされた極小値を計算し、複数の極小値の各々の絶対値を計算することによって複数の絶対極小値を計算し、複数の極大値、複数の最小値、複数の無効にされた最小値および複数の絶対極小値のうちの少なくとも1つの平均、重み付き平均、トリム平均、中央値、最頻値、最大値、および最小値のうちの少なくとも1つとして、ターゲット動き試験に関連する試験測定値を計算し、試験測定値に基づいてターゲット動き試験を実行し、試験測定値が上限閾値より小さく、下限閾値より大きい場合にターゲット動き試験を「合格」と判定する。
項A37。項A30に記載の歩行検出システムの方法/装置/システムであって、TSSIのSIは3軸加速度を含み、TSFの特徴の各々は、重力方向に対する各3軸加速度の射影の大きさを含み、スライディングタイムウインドウ内の特徴およびスライディングタイムウインドウ内の特徴の絶対値のうちの少なくとも1つの平均、重み付き平均、トリム平均、中央値、最頻値、スケーリングされた標準偏差として第1の閾値を計算し、ターゲット動き試験に関連付けられた試験測定値を、第1の閾値よりも大きいスライディングタイムウインドウ内の特徴の割合として計算し、試験測定値に基づいてターゲット動き試験を実施し、試験測定値が第2の閾値より大きい場合にターゲット動き試験を「合格」と判定する。
項A38。項A30に記載の歩行検出システムの方法/装置/システムであって、TSSIのSIは3軸加速度を含み、TSFの特徴の各々は、重力方向に対する各3軸加速度の射影の大きさを含み、スライドタイムウインドウのTSFの特徴のヒストグラムを計算し、ターゲット動き試験に関連する試験測定値を、特徴のXパーセンタイルと、ヒストグラムに基づく特徴の上位(100-X)%の合計と、のうちの少なくとも1つとして計算し、Xは0と100との間の予め選択された数値である、計算し、スライディングタイムウインドウ内の特徴およびスライディングタイムウインドウ内の特徴の絶対値のうちの少なくとも1つの平均、重み付き平均、トリム平均、中央値、最頻値、スケーリングされた最大値、平均の合計、およびスケーリングされた標準偏差のうちの少なくとも1つとして閾値を計算し、試験測定値に基づいてターゲット動き試験を実施し、試験測定値が閾値より大きい場合にターゲット動き試験を「合格」と判定する。
項A39。項A30に記載の歩行検出システムの方法/装置/システムであって、TSSIのSIが3軸加速度を含み、TSFの特徴の各々は、重力方向に対する各3軸加速度の射影の大きさを含み、基準特徴の時系列を計算し、各基準特徴は、TSFの特徴の、平均、重み付き平均、移動平均、移動重み付き平均、移動トリム平均、移動中央値、移動最頻値、および移動最大値および移動最小値の平均のうちの少なくとも1つであり、基準減算特徴(RSF)の時系列を計算し、それぞれのRSFはTSFの特徴と対応する基準特徴との間の差分であり、スライディングウインドウ内の第1の閾値よりも大きいRSFの割合、スライディングウインドウ内のRSFのX-パーセンタイル、およびスライディングウインドウ内のRSFの上位(100-X)パーセントの平均、重み付き平均、トリム平均、中央値、最頻値、最大値および最小値、のうちの少なくとも1つとしてターゲット動き試験に関連する試験測定を計算し、試験測定値に基づいてターゲット動き試験を実行し、試験測定値が第2の閾値より大きい場合にターゲット動き試験を「合格」と判定する。
項A40。基準減算特徴を正規化することをさらに含む、項A39に記載の歩行検出システムの方法/装置/システム。
項A41。項A6に記載の歩行検出システムの方法/装置/システムであって、TSSIのSIが3軸加速度を含み、TSFの特徴の各々は、重力方向に対する各3軸加速の射影の大きさを含み、スライディングタイムウインドウに関連するTSFの特徴のゼロ交差を計算し、それぞれがスライディングタイムウインドウに関連付けられた隣接するゼロ交差のペアの間の時間差分である、複数の時間差分を計算し、スライディングタイムウインドウに関連する最小時間差分に対するスライディングタイムウインドウに関連する最大時間差分の比として、ターゲット動き試験に関連する試験測定値を計算し、試験測定値に基づいてターゲット動き試験を実施し、試験測定値が閾値未満の場合にターゲット動き試験を「合格」と判定する。
項A42。項A6の歩行検出システムの方法/装置/システムであって、TSSIのSIは、3軸加速度を含み、TSFの特徴の各々は、重力方向に対する各3軸加速の射影の大きさを含み、スライディングタイムウインドウに関連するTSFの特徴のゼロ交差を計算し、複数の時間差分を計算するステップであって、それぞれがスライディングタイムウインドウに関連付けられた隣接ゼロ交差のペアの間の時間差分である、複数の時間差分を計算し、複数の時間差分の、分散値、標準偏差、変動量、変動比率、微分、全変動量、絶対変動量、二乗変動量、拡散、分散値、変動性、偏差、絶対偏差、二乗偏差、全偏差、発散、範囲、スキュー、尖度、四分位範囲、Lモーメント、分散係数、分散の四分位係数、平均絶対差、ジニ係数、相対平均差分、中央絶対偏差、平均絶対偏差、距離標準偏差、分散係数、エントロピー、分散対平均比、および尤度のうちの少なくとも1つとしてターゲット動き試験に関連する試験測定値を計算し、試験測定に基づいてターゲット動き試験を実行し、試験測定値が閾値未満の場合にターゲット動き試験を「合格」と判定する。
項A43。項A6に記載の歩行検出システムの方法/装置/システムであって、TSSIのSIは3軸加速度を含み、TSFの特徴の各々は、重力方向に対する各3軸加速度の射影の大きさを含み、複数の重なり合うセグメントへのスライディングタイムウインドウの細分化を判定し、重なり合うセグメントの1つにそれぞれ関連するTSFの特徴の複数の自己相関関数(ACF)を計算し、各ACFを平滑化し、各平滑化されたACFについて少なくとも1つの極大値を計算し、すべてのそれぞれのタイムラグは互いに近く、各平滑化されたACFについてのそれぞれのタイムラグに関連するそれぞれの極大値を判定し、それぞれのタイムラグにおけるそれぞれの平滑化されたACFのそれぞれの極大値の、和、重み付き平均、トリム平均、中央値、最頻値、最大値、最小値のうちの少なくとも1つとしてターゲット動き試験に関連する第1の試験測定値を計算し、各平滑化されたACFのそれぞれのタイムラグの、 分散値、標準偏差、変動、変動比率、微分、全変動、絶対変動、二乗変動、拡散、分散値、変動性、偏差、絶対偏差、二乗偏差、全偏差、発散、レンジ、歪度、尖度、四分位範囲、Lモーメント、変動係数、四分位分散係数、平均絶対差、ジニ係数、相対平均差分、中央値絶対偏差、平均絶対偏差、距離標準偏差、分散係数、エントロピー、分散対平均比、および尤度のうちの少なくとも1つとしてターゲット動き試験に関連する第2の試験測定値を計算し、各平滑化ACFの共通のタイムラグにおけるそれぞれの極大値の、和、重み付き平均、トリム平均、中央値、最頻値、最大値、最小値のうちの少なくとも1つとして、ターゲット動き試験に関連する第3の試験測定値を計算し、ここで、共通のタイムラグは、それぞれのタイムラグの、平均、重み付き平均、トリム平均、中央値、最頻値、最大値、最小値、および特定の1つのうちの少なくとも1つであり、試験測定値に基づいてターゲット動き試験を実施し、第1試験測定値が第1閾値T1より大きく、第2閾値T2より小さい、第2試験測定値が第3閾値T3より小さい、および第3試験測定値が第4閾値T4より大きい、のうち少なくとも1つがある場合にターゲット動き試験を「合格」と判定する。
項A44。ACFの数の重み付き和を最適化することによって共通タイムラグを計算する項A43の歩行検出システムの方法/装置/システム。
項A45。項A6に記載の歩行検出システムの方法/装置/システムであって、TSSIのSIが3軸加速度を含み、TSFの特徴の各々は重力方向に対する各3軸加速の射影の大きさを含み、スライディングタイムウインドウの複数の重なり合うセグメントへの細分化を判定し、それぞれが重なり合うセグメントの1つに関連する、TSFの特徴の複数の周波数変換(FT)を計算し、各FTを平滑化し、各平滑化されたFTについて少なくとも1つの極大値を計算し、すべてのそれぞれの周波数は互いに近い、各平滑化されたFTについてそれぞれの周波数に関連するそれぞれの極大値を判定し、それぞれの周波数におけるそれぞれの平滑化されたACFのそれぞれの極大値の、和、重み付き平均、トリム平均、中央値、最頻値、最大値、最小値のうちの少なくとも1つとしてターゲット動き試験に関連する第1の試験測定値を計算し、平滑化されたACFのそれぞれの周波数の、 分散値、標準偏差、変動、変動比率、微分、全変動、絶対変動、二乗変動、拡散、分散値、変動性、偏差、絶対偏差、二乗偏差、全偏差、発散、範囲、歪度、尖度、四分位範囲、Lモーメント、変動係数、四分位係数、平均絶対差、ジニ係数、相対平均差分、中央絶対偏差、平均絶対偏差、距離標準偏差、分散係数、エントロピー、分散対平均比、および尤度、のうちの少なくとも1つとしてターゲット動き試験に関連する第2の試験測定値を計算し、共通周波数において各平滑化されたACFのそれぞれの極大値の、和、重み付き平均、トリム平均、中央値、最頻値、最大値、および最小値のうちの少なくとも1つとして、ターゲット動き試験に関連する第3の試験測定値を計算し、ここで共通周波数は、それぞれの周波数の、平均、重み付き平均、トリム平均、中央値、最頻値、最大値、最小値、および特定の1つのうちの少なくとも1つであり、試験測定値に基づいてターゲット動き試験を実行し、第1試験測定値が第1閾値T1より大きいことおよび第2閾値T2よりも小さいことのうちの少なくとも1つ、第2試験測値定が第3閾値T3よりも小さいこと、および第3試験測定値が第4閾値T4よりも大きいこと、のうちの少なくとも1つである場合にターゲット動き試験が「合格」と判定される。
項A46。複数のFTの重み付き和を最適化することによって共通コモンタイムラグを計算することをさらに含む項A45に記載の歩行検出システムの方法/装置/システム。
項A47。FTは、フーリエ変換(FT)、離散時間FT(DTFT)、離散FT(DFT)、高速FT(FFT)、ウェーブレット変換、離散ウェーブレット変換(DWT)、コサイン変換、DCT、サイン変換、DST、三角変換、ラプラス変換、ヒルベルト変換、アダマール変換、スラント変換、2の累乗変換、スパース変換、グラフベース変換、グラフ信号処理、高速変換、パディング、ゼロパディング、サイクリックパディング、のうちの少なくとも1つを含む、項A45に記載の歩行検出システムの方法/装置/システム。
以下の番号付けされた項は、動き追跡のための実施例を提供する。
項B1。少なくとも1つのセンシング情報(SI)を生成するように構成された少なくとも1つのセンサを備える、動き追跡のためのシステムであって、メモリと、メモリおよび少なくとも1つのセンサに通信可能に結合されたプロセッサと、メモリに格納された命令のセットであって、プロセッサによって実行されると、プロセッサに、少なくとも1つのセンサから少なくとも1つの時系列のSI(TSSI)を取得し、少なくとも1つのTSSIを分析し、少なくとも1つのTSSIに基づいて場所内のオブジェクトの動きを追跡し少なくとも1つのTSSIに基づいて、第1の増分期間におけるオブジェクトの動きに関連する増分距離を計算し、少なくとも1つのTSSIに基づいて、第2の増分期間におけるオブジェクトの動きに関連する方向を計算し、そして、現在時刻におけるオブジェクトの現在の位置と、現在時刻におけるオブジェクトの現在の向きと、増分距離と、向きと、および場所のマップとに基づいて、次の時刻のオブジェクトの次の位置を計算することを行わせる命令のセットと、を含むシステム。
項B2。項B1に記載のシステムであって、少なくとも1つのセンサが、最初の測定部(IMU)、加速度計、ジャイロスコープ、磁力計、または気圧計のうちの少なくとも1つを含み、少なくとも1つのSIは、力、加速度、加速力、瞬間的休止フレームにおける加速度、向き、角度、角速度、ある角度、磁場方向、磁場強度、磁場変化、または気圧のうちの少なくとも1つに関する情報を含み、方向は、ジャイロスコープからのSI、磁力計からのSI、第2の増分期間における少なくとも1つの方向、第2の増分期間の前の方向、第2の増分期間の後の方向、第2の増分期間に関連する複数の方向の重み付き平均、現在時刻における移動の方向、または次の時刻における移動の方向、のうちの少なくとも1つに基づいて計算されるシステム。
項B3。項B2に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、動きに関連する基礎的リズミカルな動きを判定し、基礎的リズミカルな動きに関連する少なくとも1つのTSSIのリズミカルな行動を識別し、少なくとも1つのTSSIのリズミカルな行動に基づいてオブジェクトの動きを追跡し、少なくとも1つのTSSIのリズミカルな行動に基づいて増分距離を計算させる、システム。
項B4。項B3に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、少なくとも1つのTSSIに基づいて中間量(IQ)の時系列を計算し、基礎的リズミカルな動きに関連するIQの時系列(TSIQ)の追加のリズミカルな行動を識別し、TSIQの追加のリズミカルな行動に基づいてオブジェクトの動きを追跡し、TSIQの追加のリズミカルな行動に基づいて増分距離を計算さあせる、システム。
項B5。項B4に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、オブジェクトの動きに関連する安定した基礎的リズミカルな動きに関連する少なくとも1つのTSSIまたはTSIQの安定したリズミカルな行動のタイムウインドウを識別し、タイムスタンプの周りのスライディングウインドウにおけるIQの重み付き平均が第1の閾値よりも大きい場合、タイムスタンプの周りのIQの自己相関関数の特徴が第2の閾値よりも大きい場合、またはタイムスタンプに関連する別の基準、のうちの少なくとも1つが満たされる場合、タイムスタンプをタイムウインドウに追加させる、システム。
項B6。項B5に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、タイムウインドウ内のIQの少なくとも1つの局所的特徴ポイントを識別し、ここで、少なくとも1つの局所的特徴ポイントは、極大値、極小値、正から負へのIQのゼロ交差、負から正へのIQのゼロ交差のうちの少なくとも1つを含み、タイムウインドウを、少なくとも1つの局所的特徴ポイントに関連付けられたタイムスタンプに基づいてセグメントに分割し、それぞれのセグメントは、局所的特徴ポイントから別の局所的特徴ポイントに及んでおり、完全サイクル、リズムサイクル、複合サイクル、拡張サイクル、ダブルサイクル、クワッドサイクル、部分サイクル、ハーフサイクル、クォータサイクル、歩容サイクル、ストライドサイクル、ステップサイクル、またはハンドサイクルのうちの少なくとも1つを特定させる、システム。
項B7。項B4に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、TSIQから局所平均の時系列を減算することによって平均減算IQ(MSIQ)の時系列を計算し、ここで局所平均は、TSIQに移動平均フィルタを適用することによって得られ、タイムウインドウ内のMSIQの時系列(TSMSIQ)を、同極性を有するMSIQを含む予備セグメントに分割し、それぞれの予備セグメントのMSIQの少なくとも1つの局所特徴ポイントを識別し、ここで少なくとも1つの局所特徴ポイントは、極大値,極小値,反射ポイント、正から負へのMSIQのゼロ交差、負から正へのMSIQのゼロ交差、予備セグメントの重心、中央値、第1四分位、第3四分位、パーセンタイル、または最頻値のうちの少なくとも1つを含み、TSMSIQを、少なくとも局所特徴ポイントに基づいてセグメントに分割し、完全サイクル、リズムサイクル、複合サイクル、拡張サイクル、ダブルサイクル、クワッドサイクル、部分サイクル、ハーフサイクル、クォータサイクル、歩容サイクル、ストライドサイクル、ステップサイクル、またはハンドサイクル8のうちの少なくとも1つを識別させる、システム。項B6のシステムであって、ここで、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、TSIQの完全なサイクルを、TSIQの第1の極大値からTSIQの第2の極大値への第1の期間、TSIQの第1の極大値からTSIQの極小値、TSIQの第2の極大値への第2の期間、TSIQの第1の極大値からTSIQのゼロ交差、TSIQの第2の極大値への第3の期間、第1のゼロ交差から極小値、第2のゼロ交差、極大値、第3のゼロ交差への第4の期間、のうちの少なくとも1つと識別し、そして、状態遷移のためのインプットとして局所特徴ポイントを有する有限状態マシン(FSM)に基づいて完全なサイクルを認識する、システム。
項B9。項B8に記載のシステムであって、メモリに格納された命令のセットはプロセッサによって実行されると、プロセッサにさらに、リズムサイクルを完全サイクルとして識別すること、複合サイクルを複数完全サイクルとして識別すること、拡張サイクルを複数の完全なサイクルとして識別すること、ダブルサイクルを2つの連続したサイクルとして識別すること、クワッドサイクルを4つの連続したサイクルとして識別すること、ステップサイクルを完全サイクルとして識別すること、ストライドサイクルをダブルサイクルとして認識すること、歩容サイクルをステップサイクルまたはストライドサイクルのいずれかとして認識すること、または、ハンドサイクルを完全サイクルまたはダブルサイクルのいずれかとして認識することのうちの少なくとも1つを実行させる、システム。
項B10。項B6に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、タイムウインドウ内のIQ、IQの少なくとも1つの局所的特徴ポイント、セグメント、または少なくとも1つのサイクルのうちの少なくとも1つに基づいて、少なくとも1つのサイクル特徴を計算し、ここで、少なくとも1つのサイクル特徴は、それぞれがタイムウインドウ内のタイムスタンプに関連付けられている少なくとも1つの歩容速度、少なくとも1つの歩容加速度が、それぞれタイムウインドウ内のタイムスタンプに関連付けられ、歩容速度の導関数である歩容加速度、少なくとも1つのステップ長さが、それぞれ、タイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのそれぞれのステップセグメントにわたる歩容速度の積分であるステップ長さ、少なくとも1つのステップ周期が、それぞれ、タイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのそれぞれのステップセグメントの継続期間であるステップ期間、および少なくとも1つのステップ周波数は、それぞれ、タイムウインドウ内のタイムスタンプに関連付けられ、タイムスタンプの周りのそれぞれのステップ期間に反比例するステップ周波数である、システム。
項B11。項B10に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、少なくとも1つのサイクル特徴をサーバへ通信し、サイクル特徴をユーザデバイスへ通信し、次の時刻のオブジェクトの次の位置をサーバへ通信し、オブジェクトの次の位置をユーザデバイスへ通信し、サイクル特徴、サイクル機能の履歴、次回の位置、軌跡、またはユーザデバイスのユーザへのトレースのうちの少なくとも1つの提示を生成させる、システム。
項B12。項B6に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、第1の増分期間のサイクル数の量を計算し、サイクル量とサイクル距離の乗法積として増分距離を計算し、ここでサイクル距離は、ユーザ入力、トレーニング段階で得られたトレーニング値、位置決め方式からの基準距離を使用する較正プロセスまたはトレーニングプロセス、安定的リズミカルな動きの最近の期間に基づいて適応的に計算された値のうちの少なくとも1つに基づいて計算される、システム。
項B13。項B12に記載のシステムであって、次の時間におけるオブジェクトの次の位置はパーティクルフィルタを使用して計算され、次の時間におけるオブジェクトの次の位置は、イニシャル時(t=0)のオブジェクトのイニシャル候補位置のイニシャル番号(N_0)を初期化すること、現時点(t=i)における第2の動的な数(N_i)のオブジェクトの第2候補位置に基づいて、次の時間(t=(i+1))における第1の動的な数(N_(i+1))のオブジェクトの第1候補位置を反復的に計算すること、そして、次の時間における第1の動的な数の第1候補位置、または現時間における第2の動的な数の第2候補位置のうちの少なくとも1つに基づいて次の時間におけるオブジェクトの次の位置を計算すること、に基づいて計算される、システム。
項B14。項B13に記載のシステムであって、オブジェクトはマップによって表される領域内で第1の増分期間中に移動し、マップは、多次元配列Aとして表される多次元マップであり、領域のそれぞれの位置の到達可能性は、対応する0から1までの論理値である配列要素aによって表され、対応する配列要素がa = 0 を満たす場合、領域の位置は到達不能で禁止され、対応する配列要素がa = 1を満たす場合、領域の位置は完全に到達可能であり、対応する配列要素が0<a<1を満たす場合、領域の位置は部分的に到達可能であり、次の位置、現在位置、第1の動的な数の第1候補位置、および第2の動的な数の第2候補位置のそれぞれはその領域内の点であり、対応する配列要素aとして表され、a>0であり、任意の位置におけるオブジェクトの動きの方向はいくつかの許容可能な方向のうちの1つとして局所的に表される、システム。
項B15。項B14に記載のシステムであって、次の時間におけるオブジェクトの次の位置が、各重みは、現在位置、第1候補位置、第1候補位置に関連付けられた対応する第2候補位置、移動方向、または方向における第1の候補位置と第1の到達不能配列要素aとの間の距離のうちの少なくとも1つの関数であり、それぞれが第1の候補位置に関連する、重みの第1の動的な数を計算すること、および、第1の動的な数の第1候補位置と、関連する第1の動的な数の重みとに基づいて、オブジェクトの次の位置を計算すること、に基づいて計算されるシステム。
項B16。項B15に記載のシステムであって、それぞれの重みが、方向における第1候補位置と第1の到達不能配列要素aとの間の距離の単調非減少関数、または方向における第1候補位置と第1の到達不能配列要素aとの間の距離の有界関数のうちの少なくとも1つであり、次の時間におけるオブジェクトの次の位置は、第1の動的な数の第1候補位置の重み付き平均、または第1候補位置のうちの1つ、のうちの少なくとも1つとして計算され、システム。
項B17。項B16に記載のシステムであって、次の時間のオブジェクトの次の位置が、正規化重みを生成するために重みを正規化することに基づいて計算され、正規化された重みに基づいて第1の動的な数の第1候補位置の残りに対する各第1候補位置の重み付けされたコストを計算し、ここで重み付けされたコストは、第1候補位置と第1候補位置の残りのそれぞれとの間のペアワイズ距離の重み付き和であり、オブジェクトの次の位置として、最小限の重み付きコストを持つ第1候補位置を選択する、システム。
項B18。項B14に記載のシステムであって、次の時間のオブジェクトの次の位置が、第2候補位置、増分距離、または増分期間のうちの少なくとも1つに基づいて、オブジェクトの第2候補位置のそれぞれについて予測値を計算することに基づいて計算され、第2候補位置の予測値が、関連する配列要素a=1を持つ完全に到達可能である場合、第2候補位置の予測値に基づいてオブジェクトの第1候補位置を作成し、第2候補位置の予測値が、関連する配列要素a=0を持つ禁止されている場合、第1候補位置を作成せずに第2候補位置に「棄却」とラベル付けし、第2候補位置の予測値が0<a<1を満たす関連配列要素に部分的に到達可能である場合、0と1との間の乱数を生成し、乱数がa未満である場合、第2候補位置の予測値に基づいてオブジェクトの第1候補位置を作成し、第1候補位置の量が閾値よりも小さいとき、棄却されない第2候補位置の予測値を確率的にとることによって、少なくとも、予測値に関連付けられた重み、第2候補位置に関連付けられた重み、予測値に関連付けられた多次元配列Aの配列要素、または第2候補位置に関連付けられた多次元配列Aの配列要素、のうちの1つに基づく確率分布でオブジェクトの新しい第1候補位置を生成する、システム。
項B19。項B18に記載のシステムであって、メモリに格納された命令のセットはプロセッサによって実行されると、プロセッサにさらに、時間候補位置の動的番号を維持し、少なくとも1つの候補位置を初期化すること、少なくとも1つの候補位置を更新すること、少なくとも1つの候補位置を追加すること、少なくとも1つの候補位置を一時停止すること、少なくとも1つの候補位置を停止すること、少なくとも1つの一時停止された候補位置を再開すること、少なくとも1つの停止された候補位置を再初期化すること、または少なくとも1つの候補位置を除去することのうちの少なくとも1つによって候補位置の動的数を変更し、次の時間における候補位置の動的な数および別の時間における候補位置の動的な数に基づいて、次の時間におけるオブジェクトの次の位置を計算し、ここで候補位置の動的な数が上限および下限によって制限され、候補位置の動的数が下限を下回る場合は、少なくとも1つの候補位置を追加する、システム。
項B20。項B19に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、TSIQ、TSMSIQ、またはTSSIのうちの少なくとも1つに基づいて、完全なサイクルに関連する尤度スコアを計算し、尤度スコアが閾値よりも大きい場合に、サイクルのターゲットタイプとして完全なサイクルを検証させ、ここで、尤度スコアは、期間の対応する開始時間と対応する終了時間を持つ完全サイクルに関連する期間を計算すること、期間内のTSIQまたはTSMSIQの少なくとも1つの特徴を計算すること、すなわち和、重み付き和、大きさの和、大きさの和、大きさの重み付き和、極大、ゼロ交差、極小値、極大導関数、極小導関数、または零導関数を計算すること、期間内の計算された特徴に基づいて、少なくとも1つのサイクル統計値を計算すること、および期間、少なくとも1つのサイクル統計値、少なくとも1つの特徴、または少なくとも1つのサイクル統計値または少なくとも1つの特徴の関数に基づいて尤度スコアを計算すること、に基づいて計算させるシステム。
項B21。項B20に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに完全サイクルに関連した期間のオブジェクトの動きに関連した増分距離を、尤度スコアと暫定的な増分距離の乗法積として計算させるシステム。
項B22。項B21に記載のシステムであって、前記オブジェクトは人間であり、動きが人間の歩行動作または走行動作であり、サイクルのターゲットタイプは人間の歩行または走行のステップサイクルであり、メモリに格納されている命令のセットはプロセッサによって実行されると、さらにプロセッサに、完全なサイクルをステップサイクルとして検証することに基づいて、人間のユーザステータスを歩行または走行として計算させるシステム。
項B23。項B22に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、検証済みステップサイクに基づいてターゲットサイクルのカウントをインクリメントし、検証済みステップサイクル、連続する検証済みステップサイクル、または継続的検証済みステップサイクルのうちの少なくとも1つに基づいて、ユーザステータスを、非歩行から歩行に、または非走行から走行に変更し、完全なサイクルがターゲットサイクルに検証されないため、完全なサイクルが非ステップサイクルであると判定し、ターゲットサイクルのカウントを0に戻し、非ステップサイクルに基づいてユーザステータスを歩行から非歩行、または走行から非走行に変更させる、システム。
項B24。項B23に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、観測可能な統計値を計算し、ここで観測可能なものは、中間量(IQ)、サイクル特徴、局所的特徴ポイント、またはIQの時系列(TSIQ)の特徴、または平均減算IQの時系列(TSMSIQ)のうちの1つを含み、直前の過去の統計値および/または観測可能な現在のインスタンスに基づいて現在の統計値を計算することによって、統計を更新させるシステム。
項B25。項B24に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、少なくとも1つのSIをジャイロスコープから地球基準フレームに投影し、累積的方向性変更を計算し、累積的方向性変更を最初の動きの向きに加算させるシステム。
項B26。項B25に記載のシステムであって、前記少なくとも1つのセンサが気圧計を含み、前記気圧計からの前記少なくとも1つのSIが気圧であり、メモリに記憶された命令のセットはプロセッサにより実行されると、プロセッサにさらに、気圧に基づいてオブジェクトの垂直の動きを追跡させ、気圧に基づいて高度または垂直位置を推定させ、気圧、高度または垂直位置に基づいて垂直増分距離を算出させるシステム。
項B27。項B26に記載のシステムであって、メモリに格納された命令のセットは、プロセッサによって実行されると、プロセッサにさらに、パーティクルフィルタを使用して計算された第1の増分距離と、特定のフィルタを使用せずに計算された第2の増分距離との間の差分を計算し、差分が閾値よりも大きい場合に問題のある状況を検出させるシステム。
項B28。メモリに格納された命令のセットはプロセッサによって実行されると、プロセッサさらに、第2候補位置に関連付けられた領域の外側にあるいくつかの新しい第1候補位置を生成し、既存の第2の候補位置に関連付けられた領域の外側にある対応する新しい候補位置でいくつかの既存の第2候補位置を置き換え、いくつかの既存の第2候補位置を除去させる項B27のシステム。
項B29。プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合されたセンサとを備え、センサは少なくとも1つのセンシング情報(S1)を生成するように構成され、プロセッサは、センサから少なくとも1つのSIの時系列(TSSI)を取得し、少なくとも1つのTSSIを分析し、少なくとも1つのTSSIに基づいて場所内のオブジェクトの動きを追跡し、少なくとも1つのTSSIに基づいて、第1の増分期間におけるオブジェクトの動きに関連する増分距離を計算し、少なくとも1つのTSSIに基づいて、第2の増分期間におけるオブジェクトの動きに関連する方向を計算し、現在の時間におけるオブジェクトの現在の位置、現在の時間におけるオブジェクトの現在の向き、増分距離、方向、または場所のマップのうちの少なくとも1つに基づいて、次の時間におけるオブジェクトの次の位置を計算するように構成される、動き追跡システムのデバイス。
項B30。動き追跡システムの方法であって、少なくとも1つのセンシング情報(SI)の生成することと、少なくとも1つのSIの時系列(TSSI)を取得することと、少なくとも1つのTSSIを分析することと、少なくとも1つのTSSIに基づいて場所内のオブジェクトの動きを追跡することと、少なくとも1つのTSSIに基づいて、第1の増分期間におけるオブジェクトの動きに関連する増分距離を計算することと、少なくとも1つのTSSIに基づいて、第2のインクリメンタル期間におけるオブジェクトの動きに関連する方向を計算することと、現在の時間におけるオブジェクトの現在の位置、現在の時間におけるオブジェクトの現在の向き、増分距離、方向、または場所のマップのうちの少なくとも1つに基づいて、次の時間におけるオブジェクトの次の位置を計算することと、を含む方法。
進化するスマートカーシステムでは、車が接近する運転者を検出する運転者到達検知が大きな役割りを果たしてきた。本開示は、IEEE 802.11mcプロトコルでリリースされたファインタイムメジャメント(FTM)に基づく運転者到達検知方式を開示する。携帯電話機やWiFiクライアントなどの起動局(ISTA)が応答ステーション(RSTA)、通常はWiFiアクセスポイント(AP)に向かって移動し続ける場合、WiFi-FTM範囲推定のニーポイントが存在し、その後、WiFi-FTM範囲推定の変動量は、環境に関係なく安定したトレンドに従う。そのように、本開示は、WiFi-FTM範囲推定のトレンドに基づく共同ニーポイント検出および運転者到着時刻推定アルゴリズムを開示する。到着時刻が与えられると、自動車(RSTA)は、運転者によって要求されたサービスを始めるのに適切な時刻を決定することができる。市販の802.11mc WiFiチップセットを使用して、開示された方法を実施し、異なる試験者を有する異なる駐車場において大規模な実験を行うことができる。いくつかの結果は、この方式が1秒到着時刻推定誤差以下で精度を達成できることを示した。
ここ数十年のWiFiデバイスの普及に伴い、活動認識、運転者認証、高度運転者アシスタントシステム(ADAS)などのスマート自動車システムのための多くのWiFiベースのアプリケーションが出現した。これらのアプリケーションは主に車載用であるが、更なる探索が必要な運転者到達検知のような多くの車外アプリケーションはなかった。運転者到達検知は、ドアのロック/ロック解除、窓/コンバチブルトップの開閉、遠隔点火キーを含む遠隔制御においてしばしば使用される。これらのアプリケーションは、運転者の存在検知により焦点を当てる一方で、運転者の正確な到着時刻(AToD)を推定する必要のある他の多くのアプリケーションがある。例えば、自動車はAToDを検知して、エアコン(AC)システムを適切な時刻にオンにできるようにする必要がある。ACを早く入れすぎると、ACを入れすぎたときに余分な電力が消費され、ACが遅すぎると運転者が到着したときに不快な気温になることがある。将来的には、自動車システムがよりインテリジェントにするために、運転者識別のような多くのサービスシステムから構成されてもよい。その結果、スマートカーは時間のかかるサービス(例えば、運転者識別)をより早く開始する一方で、時間を節約するサービス(例えば、ドアのクローズ/オープン)に後で応答するなど、多数のサービスを適切に管理することができるように、AToDを検知する必要がある。一方、現在の運転者検知システムは主に無線トランスポンダによるディジタルコードマッチング及びローリング方式を適用するものであり、セキュリティの問題が深刻である。その結果、AToDセンシングシステムにおいてもセキュリティを向上させる必要がある。前述の課題に対処するために、本開示は、IEEE 802.11mcで導入されたWiFi-FTMプロトコルを活用することによるAToDセンシングアルゴリズムを開示する。WiFiを使用することによって、従来の低電力トランスポンダよりも2つの主な利点がある。第1に、WiFiデバイスのより大きなカバレッジは、AToDのより早い検出を可能にする。第2に、WiFiは、現在のディジタルコード識別情報およびローリングシステムよりも、ワイアード・イクイヴァラント・プライバシ(WEP)およびWi-Fi・プロテクテッド・アクセス(WPA)などのよりセキュア暗号化を提供する。さらに、近くのFTM対応Wi-Fiアクセスポイント(AP)への距離を測定するための新しいリリースされたアプリは、WiFi-FTMをより利用可能にする。
市販の802.11mcWiFiチップセットを使用することにより、実際の駐車場におけるWiFi-FTM範囲推定の精度を評価することができる。ISTA(運転者/クライアント)がRSTA(自動車に固定された)に向かって移動し続けるとき、WiFi-FTM範囲推定値が安定したトレンドを示すニーポイントが常に存在する。このような観測に基づき、ニーポイントを検出し、AToDを推定するための新しい手法が開示される。実験結果は、開示したシステムがAToD推定の1s誤差以下で精度を達成できることを示した。
WiFi-FTMはラウンドトリップ時間(RTT)を使用して2つのWiFiカード間の範囲推定を可能にするために、IEEE802.11mcでリリースされた。図9に示すように、単一バースト内のN個のFTMを平均化して、より正確なRTT推定値を得ることができる。ISTAとRSTAの間のバーストkにおける距離推定RIS(k)は、次式(1)で与えられる。
ここで、c = 3x10^8m/sは光速度、t1(k; n)およびt4(k; n)は、バーストk、パルスnにおいてRSTAによって測定された出発および到着時刻を示す。同様に、t2(k; n)およびt3(k; n)は、ISTAによって記録された到着および出発時間である。一般に、t1(k; n)およびt4(k; n)は、ISTAとRSTAとの間の距離推定のためにISTAに送り返される。FTMの交換およびその肯定応答フレーム(ACK)は、通常、非常に短期間内に終了することに留意されたい。したがって、2つの局のクロックは著しくドリフトしない。
ここで、c = 3x10^8m/sは光速度、t1(k; n)およびt4(k; n)は、バーストk、パルスnにおいてRSTAによって測定された出発および到着時刻を示す。同様に、t2(k; n)およびt3(k; n)は、ISTAによって記録された到着および出発時間である。一般に、t1(k; n)およびt4(k; n)は、ISTAとRSTAとの間の距離推定のためにISTAに送り返される。FTMの交換およびその肯定応答フレーム(ACK)は、通常、非常に短期間内に終了することに留意されたい。したがって、2つの局のクロックは著しくドリフトしない。
しかしながら、見通し外(NLOS)シナリオにおけるマルチパス伝搬および遮断によって影響を受けるため、式(1)によって提供されるレンジ推定は正確ではない可能性がある。一例では、ISTAを装備したユーザがRSTAを装備した自分の車に向かって歩いている。ユーザは、ルート1(A→B→D→E)またはルート2(A→C→G→D→E)または他のルートに沿って車に接近することができる。ルート1を例とすると、開始点「A」において、WiFi-FTMベースの距離推定は、点AのNLOSのために不正確であり得る。しかし、ユーザが車に近づくにつれて、例えば「B」を通過し(またはルート2の点「G」)、LOS信号が支配的になり始め、WiFi-FTMベースの距離推定がより正確になる。ユーザが自分の車に近づいたときの距離推定は、それが距離推定が信頼できるようになるニーポイントを示すべきであることが予想される。
距離推定におけるニーポイントの存在を検証するために、以下のような設定で多数の実験を行うことができる。市販の802.11mc WiFiチップセットを使用してWiFi-FTMを実装できる。1つのWiFiチップセットは、試験中に自動車の上に固定されるRSTAとして機能するように制御基板に組み込まれてもよい。別のWiFiチップセットが、ISTAとして働くためにボード上にインストールされる。モバイルクライアントを構築するために、ISTAは(テストボックスと名付けられた)ボックスに入れられ、試験において試験者によって運ばれる。ISTAボードはLinux(登録商標) OSを実行し、イーサネットケーブルを介してスマートタブレットから命令を受信する。スマートタブレットは、それを介して送信/停止リクエストのようにISTAを制御し、ISTAボードからリアルタイムのWiFi-FTM範囲推定値を得ることができるGUIとして機能する。
実験では、RSTAは駐車場の車の上に固定され、試験者が異なる方向と異なる最初の距離から車に向かって移動しながらTestBoxを保持する。最初の距離とは、試験者が動き始めたときのISTA とRSTA との間の距離を意味する。試験者が車に到着すると、彼/彼女は、手動でスマートタブレットのGUI上に示されるWiFi-FTMレンジ推定値を、到着時刻TAMのグラウンドトゥルースとして記録する。異なる速度で歩くために、異なる試験者が招待される。大規模な実験はデータ収集中に試験車が異なる車に囲まれている平日に、様々な駐車場やガレージで行うことができる。
図10は異なる最初の距離および異なる向き、すなわち異なるルートR1、R2…Rnでの距離測定を示す。試験者が走行中(約3m/s)およびゆっくりと車まで歩く場合(約1m/s)の結果を得て、ISTAの移動速度の影響を試験することができる。範囲推定値は最初に不規則に変量し、ニーポイントを通過するトレンドの変化なしを示す。図10から、試験者は車に到着する瞬間を手動で毎回ラベル付けされている到着時刻TAMとして示すことができる。最初は、距離計測値は深刻なマルチパスによってもたらされるランダムなエラーのために、歩行時間に対してランダムに変化する。ISTAがRSTAに近づき続けると、距離測定は歩行時間に関して線形的に減衰し始める。例えば、図10において、TAMに従って距離測定値を整列させれば、減衰傾向はTAM付近で非常に一貫している。そのようなニーポイントを検出し、ISTAとRSTAとの間の正確な距離をできるだけ早く推定することができる場合、RSTAは、ISTAの到着時刻およびISTAからのリクエストに対する応答を適切に予測することができる。この観測結果に基づいて、新規なニーポイント検出及び運転者到着時刻推定法については後述する。
図11は、本開示のいくつかの実施形態による、ファインタイムメジャメント(FTM)に基づく運転者到達検知のための例示的な方法1100のフローチャートを示す。動作1102では、Wi-Fi FTMに基づいて得られた距離測定値に基づいて、運転者接近検知が実行される。動作1104では、速度推定が車などの運転者が接近することを検知した後に実行される。動作1106において、速度整合性チェックが実行される。動作1108では、運転者の到着時刻を決定するために、運転者到着時刻推定が行われる。
ニーポイントを検出するために、時刻tnにおけるWiFi-FTM距離シーケンスDn=[dn,dn-1,・・・d2,d1]を有することができ、時刻tnにおけるISTAの瞬間速度は、以下(2)のように書くことができる
ここでtn、およびdnは、それぞれ、時刻tnにおけるサンプル時間およびWiFi-FTMベースの距離推定を示す。平均化された/信頼できる速度推定を得るために、最新のT距離点、すなわち[dn,dn-1,・・・dn-T+1]をとることができる。ここでTは図12に示されるようにウインドウ長と呼ばれ、本開示のいくつかの実施形態に従って、運転者到着検知のためのニーポイント検出のキーステップを示す。ISTAが、LOSが支配的な領域に進んでいる場合、Dnは単調に減少する。その結果、距離dnはISTAがRSTAに近づくにつれてより小さくなっていくので、瞬間速度推定シーケンスQn=[q1,q2,・・・qT-1]における全ての要素は、図12における方針1に対応して、正であるべきである。
ここでtn、およびdnは、それぞれ、時刻tnにおけるサンプル時間およびWiFi-FTMベースの距離推定を示す。平均化された/信頼できる速度推定を得るために、最新のT距離点、すなわち[dn,dn-1,・・・dn-T+1]をとることができる。ここでTは図12に示されるようにウインドウ長と呼ばれ、本開示のいくつかの実施形態に従って、運転者到着検知のためのニーポイント検出のキーステップを示す。ISTAが、LOSが支配的な領域に進んでいる場合、Dnは単調に減少する。その結果、距離dnはISTAがRSTAに近づくにつれてより小さくなっていくので、瞬間速度推定シーケンスQn=[q1,q2,・・・qT-1]における全ての要素は、図12における方針1に対応して、正であるべきである。
さらに、運転者の自然な歩行速度は、運転者が彼の/彼女の車に向かって歩くときの全行程の間、一定であると仮定することができる。その結果、計測誤差の関係上、わずかな偏差を許容しながらも、Qn内の速度推定は一貫性があるはずである。速度一貫性を定量化するために、長さTのウインドウ内の速度比の平均値を速度一貫性snとして定義することができ、これは次式で与えられる。
ここで、Rn=[r1,r2,・・・rT-2]は、ri=qi+1/qi(i=1,2,・・・,T-2)である速度比を表す。演算、||.||1はl1-ノルムを表す。図12の方針2では、|sn-1|≦0.1の場合、速度推定シーケンスQnが一貫した速度推定シーケンスとみなされ、ニーポイントが検出される。
ここで、Rn=[r1,r2,・・・rT-2]は、ri=qi+1/qi(i=1,2,・・・,T-2)である速度比を表す。演算、||.||1はl1-ノルムを表す。図12の方針2では、|sn-1|≦0.1の場合、速度推定シーケンスQnが一貫した速度推定シーケンスとみなされ、ニーポイントが検出される。
到着時刻を推定するために、最初に、RSTAの位置を中心とするLOSエリアを定義することができる。LOS‐Area内では、LOS信号成分が支配的であり、WiFi‐FTM範囲推定は正確である。一般に、LOSエリアはマルチパスの影響により、RSTAのに関して異なる向きに異なる半径を有する。
ニーポイントであるためには、2つの主な制約条件がある。第1に、ニーポイントは、LOS-Areaの端にあるべきである。ISTAがニーポイントより遠く離れると、距離推定精度が低下する。第2に、ISTAがニーポイントを通過し、RSTAに接近し続けると、WiFi-FTMの距離測定は正確であるべきである。2つの制約条件を満たすために、ニーポイントは、遠方ではなく、より接近していなければならない。ISTAがニーポイントにおいてRSTAからd k距離離れており、試験者の自然歩行速度が比較的一定であると仮定すると、到着時刻は次のように表すことができる。
なお、到着時刻^TAMの精度は、ISTAが自動車に到着すれば真の到着時刻TAMの記録に基づいて評価できる。
到着時刻推定法を要約すると、いくつかの実施形態では、RTTの読みが与えられた場合、システムは式(1)に基づいて、ユーザがRXに向かって歩くときに、ユーザ(TX)からRX(応答STA、またはRSTA)の距離を推定することができる。
速度の時系列は式(2)で推定できる。
速度が要素ごとに正になる場合は、ユーザがLOSエリアに移行し始めたことを意味し、距離/範囲推定は、システムが距離または速度を確実に推定できることに基づくトレンドの変化なしを示す。自然歩行速度は、ユーザが自分の車に歩いたときに一定であると仮定される。次に、ユーザがLOSエリアに入った後、システムは、式(3)の連続する速度推定値の比によって速度の一貫性を検査することができる。
または分散値、スパンなどの他のメトリックでもできる。一貫性条件が満たされる場合、一貫性チェック後の推定速度は、ユーザ歩行速度である。ユーザがニーポイントでRSTAからd k距離離れており、試験者の自然な歩行速度が比較的一定であると仮定することができ、ニーポイントから自動車までの到着時刻は、式(4)として表すことができる。
速度の時系列は式(2)で推定できる。
速度が要素ごとに正になる場合は、ユーザがLOSエリアに移行し始めたことを意味し、距離/範囲推定は、システムが距離または速度を確実に推定できることに基づくトレンドの変化なしを示す。自然歩行速度は、ユーザが自分の車に歩いたときに一定であると仮定される。次に、ユーザがLOSエリアに入った後、システムは、式(3)の連続する速度推定値の比によって速度の一貫性を検査することができる。
または分散値、スパンなどの他のメトリックでもできる。一貫性条件が満たされる場合、一貫性チェック後の推定速度は、ユーザ歩行速度である。ユーザがニーポイントでRSTAからd k距離離れており、試験者の自然な歩行速度が比較的一定であると仮定することができ、ニーポイントから自動車までの到着時刻は、式(4)として表すことができる。
到着時刻TAMの推定精度を評価するために、試験者が、約1.2m/sでの通常の歩行、約3m/sでの走行、および約1m/sでの非常にゆっくりとした歩行を含む様々な速度で歩行する複数の実験を行うことができる。試験ごとに、試験者は30の異なる経路と異なる向きで車両(RSTA)に近づいて歩くように要求されうる。最初の距離は20mから30mの間で変化する。いくつかの特定の位置が他の車両によって占有されている可能性があるので、最初の距離をすべて30mに設定する必要はない。異なる駐車場および異なる試験者で試験を繰り返すことができる。到着時刻推定の結果を図13の表Iに示す。明らかに、開示された方法は、誤差1秒(s)以下で92%を超えるパーセント精度を達成することができる。表Iから、推定到着時刻
は真の到着時刻
よりも少なく見積もられる可能性が高い。これは、WiFi-FTM範囲測定値が理論上ISTAとRSTAとの間の直線に対応するからである。しかし、実際には、試験者/ISTAが他の車のような障害物のために、直線に沿って車/RSTAに近づくことができない。この意味で、距離測定値は、通常、実際の歩行距離よりも短く、したがって、到着時刻
の過小評価を引き起こす。
は真の到着時刻
よりも少なく見積もられる可能性が高い。これは、WiFi-FTM範囲測定値が理論上ISTAとRSTAとの間の直線に対応するからである。しかし、実際には、試験者/ISTAが他の車のような障害物のために、直線に沿って車/RSTAに近づくことができない。この意味で、距離測定値は、通常、実際の歩行距離よりも短く、したがって、到着時刻
の過小評価を引き起こす。
このように、本開示は、ISTAがRSTAに接近し続けるときにニーポイント後に安定した変化トレンドを示すことが証明されたWiFi-FTM範囲推定値を使用することによる運転者到着時刻検知方法を開示した。本開示は、ニーポイント検出および運転者到着時刻推定方式を開示した。市販の802.11mcWiFiチップセットを使用した実験的評価は、開示されたシステムが環境およびユーザにかかわらず、1s以内の到着時刻推定誤差で精度92.5%以上を達成できることを示す。
歩容の監視と同定は、目立たない人間の認識の有望な解決策候補として近年出現した。歩容認識システムは、実用的なアプリケーションを可能にするために次の条件を満たさなければならない。(1)正確さ:システムはユーザを正確に認識できなければならない。(2)迅速な登録および応答:システムは新しいユーザを登録するために最小限のトレーニング労力を必要とすべきであり、認識は短い遅延で達成されるべきであり、すなわち、正確かつ信頼性のある認識を達成するためには、歩行の数ステップ(短時間)で充分であるべきである。(3)環境に依存しない:システムは誂えられた較正または再較正を必要とせずに、異なる時間、日および位置で動作することができなければならず、また、点灯、備品、または他の環境要因の変化によって影響を受けてはならない。(4)非接触:システムは、ユーザに何らかのデバイスを持ち運ぶように求めることなく、または何らかのユーザの協力を使用することなく、非接触方式で動作すべきである。(5)プライバシー保護:システムはユーザを識別することができるが、個人および周囲に関する機密情報を明らかにしてはならない。
WiFiベースのシステムは非接触認識のために周囲WiFi信号を活用することにより魅力的な解決策を提供するが、それらは通常、マルチパスプロファイルが変更するにつれて、位置ごとについての較正を必要とする。重要なことは、既存のシステムの多くは、同時に収集されたデータおよび/又は場所でトレーニングと試験を行うために、実際の展開において異なった場所及び時間に一般化すると、性能低下の危険性が高くなる。
上記の基準を達成するために、本開示は、単一の汎用のミリメータ波(ミリ波)無線を使用して最小限のトレーニング要件を有する高精度の歩容識別システムである「GaitCube」を開示する。トレーニングオーバーヘッドを低減するために、本システムは、人物の歩容の物理的な関連する特徴を包括的に具体化することができる、経時的なマイクロドップラ及びマイクロレンジシグネチャの新規な3D共同特徴表現(3D joint-featurerepresentation)である歩容データキューブを利用する。パイプライン信号処理により、GaitCubeは人間の歩行を自動的に検出し、分割し、歩容データキューブを効果的に抽出することができる。GaitCubeは典型的な室内空間において、6つの異なった位置で1ヶ月にわたり10人の被験者を有して実施された実験を通して実施され、評価され、50,000を超える歩容インスタンスをもたらした。一実施形態では、結果は、GaitCubeが1つの受信アンテナを使用して単一の歩容サイクルで96.1%の精度を達成し、すべての受信アンテナを結合するとき、精度は98.3%に増加することを示す。一実施形態では、GaitCubeは1つの位置における2分のデータのみを使用することによって、様々な位置および時間にわたる試験について79.1%の平均的な認識精度を達成し、実用的かつユビキタス歩容ベースの認識を可能にする。センシングにミリ波レーダを使用することは、その短い波長、より大きな帯域幅、およびフェイズドアレイ処理のおかげで幾重もの利点をもたらし、一方で、依然としてWiFiベースシステムの好ましい特性(例えば、非接触、プライバシー保護など)を共有し、最小限のインフラストラクチャサポート(例えば、単一ミリ波無線)で実現可能で実用的な歩容認識のための理想的な解決策として有望である。
いくつかの実施形態では、GaitCubeは単一ミリ波レーダを使用し、信号処理とディープラーニングの能力を組み合わせている。GaitCubeは歩容データキューブと呼ばれる、経時的(T)なマイクロドップラ(μD)シグネチャおよびマイクロレンジ(μR)シグネチャの3次元共同変数表現を導入し、人物の歩容の物理的な関連特徴を包括的に具体化し、これは、効果的な学習のためにニューラルネットワークに供給される。これにより、GaitCubeは最小限の歩行データでユーザを登録することができ、数ステップのみでユーザを高精度に認識することができる。提案された歩容データキューブをニューラルネットワークと組み合わせることにより、一度訓練されたGaitCubeは性能低下をほとんど伴わずに、様々な位置および時間に一般化することも可能になる。実用的なシステムを提供するために、GaitCubeはさらに、人間の歩行を自動的に検出し追跡し、歩容サイクルを効果的に分割するためのモジュールを組み込んでいる。
GaitCubeでは、これらのすべての特性を1つのシステムで達成するために、複数の課題に取り組んでいる。第1に、不十分なレンジ分解能、鏡面反射、マルチパス効果、および計算負荷を考慮すると、ミリ波レーダを使用しても細い粒度のμRおよびμDシグネチャを効率的かつ効果的に抽出することは簡単ではない。第2に、ニューラルネットワークは、とりわけトレーニングデータセットが限られている場合には、環境に関連する特徴を容易にオーバーフィットまたは学習することができるが、人間の歩容はできないので、異なる時間に異なる位置にわたって動作することができる学習ベースの歩容認識システムを構築することは通常困難である。
これらの課題に対処するために、GaitCubeは簡単ではあるが効果的なアルゴリズムを用いて人間の動きを検出し追跡し、関心のある距離および時間においてのみμD-μRスペクトログラム推定をトリガし、人間の歩行から歩容情報を自動的に抽出する。歩容情報を最大化する歩容データキューブを組み立てるために、システムは人間の身体が及ぶすべての距離でμDシグネチャの形状を変え、次いで、胴体に関してレンジドメインで整列され、歩行サイクルに関して時間領域で分割され、周波数領域でクロッピング(crop)される。次に、GaitCubeは、畳み込みニューラルネットワーク(CNN)と連携して、歩容データキューブから環境依存しない、物理的に関連する特徴を識別する。トレーニングを向上させ、訓練されたネットワークを一般化するために、システムは多重受信アンテナに起因する空間ダイバシティを利用し、これは、トレーニングデータセットを大幅に増加させるだけでなく、人間の歩行のより空間的に独立したスナップショットを捕捉することによって鏡面反射の問題を軽減する。
一実施形態では、GaitCubeが市販のミリ波レーダを使用して実装され、トレーニングおよび試験に使用されるさまざまな位置および時間にわたって、オフィス空間で実験を行う。10人のボランティアと11セッションのデータを集め、GaitCubeを1ヶ月間にわたり6つの異なった位置で実施した。各セッション中に、ユーザはそれぞれの場所で2分間歩いて、合計2時間の歩行データを収集し、その結果は50000ステップを超える。結果はGaitCubeが1つの受信アンテナで単一歩容サイクル(2ステップ)を用いて96.1%の精度を達成することを実証し、この精度は、すべてのアンテナを集約するか、複数の歩行ステップを組み合わせることにより、さらに98%に改善する。トレーニングのために単一のセッション(2分のデータのみ)を使用する極端なケースでは、GaitCubeが異なる場所異なる時間にわたって試験されて79.1%の平均精度を達成し、最小限のトレーニング要件で歩容認識の実用的なアプリケーションを約束する。
いくつかの実施形態では、ゲイトキューブが歩容データキューブから、マイクロドップラ、マイクロレンジ、およびレーダ信号のための時間の3D共同特徴表現を学習する人間認識システムであり、トレーニングのための最小限のデータを必要としながら、単一の歩容周期で顕著な精度を達成することを可能にする。いくつかの実施形態では、GaitCubeが新しい歩容キューブ処理アルゴリズムを利用して、人間の歩行を自動的に検出および分割し、μR-μD-T歩容キューブを効果的に抽出することができる歩容キューブと、分類のためのディープラーニングモデルとを形成する。いくつかの実施形態では、GaitCubeは、様々な環境、場所や時間にわたって10人を使ってその性能を検証するために、市販ミリ波レーダ上に実装されうる。
いくつかの実施形態では、GaitCubeが未加工のレーダデータを入力し、歩容サイクルに対応した時間インスタンスで識別結果を出力する。ユーザを登録するために、システムはユーザから最小限の歩行データ(例えば、2分間)を収集する。それから、レーダの前を通常に歩くとき、GaitCubeによって認識することができる。
図14は、本開示のいくつかの実施形態による、ミリメータ波(ミリ波)無線を使用する歩容キューブデータに基づく例示的な人間認識システム1400、例えば、GaitCubeの図を示す。図14に示されるように、人間認識システム1400は、送信機(Tx)アンテナアレイ1411および受信機(Rx)アンテナアレイ1412を有するデバイスを含む。いくつかの実施形態では、送信機(Tx)および受信機(Rx)アレイの各々は複数のアンテナを持つ。人物を認識するために、送信機1411は、場所内の人物1401および同じ場所内の他のオブジェクトによって反射された後に、様々な受信機アンテナ1412によって連続的に受信され得るミリ波信号を送信することができる。
いくつかの実施形態では、Tx 1411が上述したようにボットであり、Rx 1412は上述したようにオリジンである。図14ではTx 1411とRx 1412とが物理的に結合されているが、他の実施形態では別のデバイスに分離されていてもよい。いくつかの実施形態では送信機1411及び受信機1412を含むデバイスがレーダのように機能し、人物1401はレーダに向かって又はレーダから離れて移動することができる。
いくつかの実施形態では、人間認識システム1400はまた、受信機1412において受信レーダ信号1410を処理するためのプロセッサを含む。様々な実施形態では、プロセッサがTx 1411、Rx 1412、その両方に物理的に結合されてもよく、またはその両方に結合されなくてもよい。図14に示すように、プロセッサは2つの主要なモジュール、すなわち、歩容キューブ抽出モジュール1420および分類モジュール1430を含む。いくつかの実施形態では歩容キューブ抽出モジュール1420が未加工のレーダ信号1410を受信し、これは場所を歩いている人物1401によって影響されるミリメータ波(ミリ波)無線信号であってもよい。歩容キューブ抽出モジュール1420はレーダ信号を未加工のレーダデータ、例えばチャネル情報に変換し、未加工のレーダデータに基づいて歩容データキューブ1431を抽出することができる。歩容キューブ抽出モジュール1420は最初に、3つのサブモジュール、すなわち、存在検出,ピーク追跡および歩行検出によって、人物の歩行の跡を追跡する。存在検出モジュールは例えば、時間レンジ-分散信号または3Dレーダスペクトログラムを計算することによって、チャネル情報に基づいて人物の存在を検出する。ピーク追跡モジュールは、時間レンジ-分散信号または3Dレーダスペクトログラムにおけるピークを判定する。歩行検出部は人物1401の軌跡を抽出することにより、人物1401の歩行を検出する。
次いで、歩容キューブ抽出モジュール1420は人物1401の周りのスペクトログラムを抽出することができ、したがって、サイクル抽出のために歩容キューブのドップラ(または速度)ディメンジョンを構築する。また、歩容キューブ抽出部1420は、それぞれが1つのステップを持つ抽出した歩容サイクルに対応し、データを分割し、不安定な歩行データを歩容サイクル検証または検証により除去する。連続する有効ステップは、μR-μD-T-歩容キューブを構成するために一緒に整列される。いくつかの実施形態では、歩容キューブデータに対して次元数の縮小を行い、歩容認識のための不必要な冗長情報を除去する。結果として得られる歩容キューブ1431は、送信機および/または受信機とは異なった距離での形状が変更されたμDおよびμRシグネチャを表し、人の胴体に関してレンジ領域で整列され、歩行サイクル(ステップ)に関して時間領域で分割され、最大信号内容を含むように周波数領域でクロッピングされる。
出力歩容キューブ1431は、ユーザアイデンティティ1440を出力する分類モジュール1430に供給される。分類モジュール1430は、歩容キューブから有効な特徴を抽出するためのCNN 1432と、他の人の手で設計された特徴を連結して出力表現を増強する全結合(fully connected)レイヤとを含む。分類モジュール1430はまた、CNN 1432の出力および歩容キューブ抽出モジュール1420によって生成された歩容キューブデータに基づいて、アイデンティティ1440を決定するための分類器を含む。
いくつかの実施形態では、トレーニング過程で、CNN1432は既知のユーザに関連した歩容キューブ1431から有効な歩容特徴を抽出し、抽出された歩容特徴を既知のユーザに関連付け、関連付けられた情報をテンプレートとしてデータベースに格納する。いくつかの実施形態では認識処理の間、出力歩容キューブ1431は分類器1434に直接的に供給され、それは出力歩容キューブ1431をCNN 1432によって記憶されたテンプレートと比較して、個人1401をアイデンティティ1440として分類する。いくつかの実施形態では分類器1434がその照合に基づいて人物1401を任意の既知のアイデンティティに分類することができない場合、CNN 1432はその人物1401を新しいユーザとして登録するようにさらにトレーニングされ得る。
いくつかの実施形態では、このシステムは直線的に増加する周波数を持つ信号を送信する周波数変調連続波(FMCW)レーダに依存する。オブジェクトからレーダまでの距離は、送受信信号間の周波数シフトを計算することにより測定される。この単一の送信はチャープと呼ばれ、レンジ分解能は帯域幅によって決定される。マルチパスがなく、単一の剛性を持つオブジェクトが距離に配置される場合、受信信号は、t∈[0,T)に対して以下のように与えられる。
ここで、y(t)は時間tにおける受信信号であり、τはオブジェクトからレーダへの電磁波の時間継続を表し、βは線形なチャープの周波数勾配であり、θrx受信機における位相オフセットであり、Arxは戻り信号の振幅である。単一のチャープが繰り返し送受信され、チャープkについての受信信号は、
について
で示すことができ、Tはチャープ期間である。簡単にするために、tは離散的であると仮定することができ、報告された信号がサンプリングされ、デジタル化され、添え字kが削除される。Arxは、
として与えられる。ここで、Gantはアンテナ利得を表し、λは波長であり、σはターゲットのクロスレーダセクションであり、Lは他の損失を表す。この式はマルチパスの前提なしに、剛体オブジェクトのために与えられ、室内環境に必ずしも適用されない。マルチパスがある場合は式5は次のように変更される。
ここでhk、は、マルチパスから生じる、時間インスタンスτkのためのリターン信号の倍率を示す。周波数シフトは時間差分と等価であるので、この情報は、 レンジ(Range)‐FFTとしても知られるy(t)のフーリエ変換により距離情報に変換できる。チャネルインパルス応答(CIR)として知られる時間レンジ信号は、ある時刻インデックスでサンプリングされ、次のように示される。
ここで、NはFFTポイントの数である。長時間にわたるフレームの時間領域信号のFFTを取ることにより、レンジドップラスペクトログラムを計算した。フレーム当たりのサンプル数をNfとし定義し、フレーム間の重複量をNovとして定義し、フレームkに対する長時間インデックスを、
で定義できる。したがって、レンジドップラスペクトログラムは次のように定義できる。
ここでW(i)は、時間-周波数分解能に影響を及ぼす有限長ウインドウ関数を表す。いくつかの実施形態では、すべてのレンジビン(r)のスペクトログラムを計算する代わりに、GaitCube がまず人間の身体の位置を特定し、計算量を減らすために身体の動きを含む近くの距離のスペクトログラムのみを計算することができる。
ここで、y(t)は時間tにおける受信信号であり、τはオブジェクトからレーダへの電磁波の時間継続を表し、βは線形なチャープの周波数勾配であり、θrx受信機における位相オフセットであり、Arxは戻り信号の振幅である。単一のチャープが繰り返し送受信され、チャープkについての受信信号は、
について
で示すことができ、Tはチャープ期間である。簡単にするために、tは離散的であると仮定することができ、報告された信号がサンプリングされ、デジタル化され、添え字kが削除される。Arxは、
として与えられる。ここで、Gantはアンテナ利得を表し、λは波長であり、σはターゲットのクロスレーダセクションであり、Lは他の損失を表す。この式はマルチパスの前提なしに、剛体オブジェクトのために与えられ、室内環境に必ずしも適用されない。マルチパスがある場合は式5は次のように変更される。
ここでhk、は、マルチパスから生じる、時間インスタンスτkのためのリターン信号の倍率を示す。周波数シフトは時間差分と等価であるので、この情報は、 レンジ(Range)‐FFTとしても知られるy(t)のフーリエ変換により距離情報に変換できる。チャネルインパルス応答(CIR)として知られる時間レンジ信号は、ある時刻インデックスでサンプリングされ、次のように示される。
ここで、NはFFTポイントの数である。長時間にわたるフレームの時間領域信号のFFTを取ることにより、レンジドップラスペクトログラムを計算した。フレーム当たりのサンプル数をNfとし定義し、フレーム間の重複量をNovとして定義し、フレームkに対する長時間インデックスを、
で定義できる。したがって、レンジドップラスペクトログラムは次のように定義できる。
ここでW(i)は、時間-周波数分解能に影響を及ぼす有限長ウインドウ関数を表す。いくつかの実施形態では、すべてのレンジビン(r)のスペクトログラムを計算する代わりに、GaitCube がまず人間の身体の位置を特定し、計算量を減らすために身体の動きを含む近くの距離のスペクトログラムのみを計算することができる。
GaitCubeはユーザの位置を追跡することができ、これは、歩容キューブのレンジディメンジョンを構築するために使用される。受信した時間-レンジ信号は、次のようにモデル化できる。
ここで、Ybは周囲のオブジェクトからのバックグラウンド反射を表し、Ydは動いている被写体からの反射を表し、εは加法的雑音を表す。人間の身体を追跡するために、レンジビン毎の分散値を以下のように抽出することができる。
ここで、ZY(r,k)はレンジrおよび時間フレームkにおけるYの分散を示し、
は、フレームkに対するCIR値の平均値を示す。ノイズが動きと無相関であると仮定し、動きとノイズを平均0と仮定すると、次の関係が成立する。
このことは、レンジディメンションでZY(r,k)を最大化することによって、支配的な動きを検出できることを示唆している。
ここで、Ybは周囲のオブジェクトからのバックグラウンド反射を表し、Ydは動いている被写体からの反射を表し、εは加法的雑音を表す。人間の身体を追跡するために、レンジビン毎の分散値を以下のように抽出することができる。
ここで、ZY(r,k)はレンジrおよび時間フレームkにおけるYの分散を示し、
は、フレームkに対するCIR値の平均値を示す。ノイズが動きと無相関であると仮定し、動きとノイズを平均0と仮定すると、次の関係が成立する。
このことは、レンジディメンションでZY(r,k)を最大化することによって、支配的な動きを検出できることを示唆している。
実験はYの時間‐分散値プロットが背景雑音を著しく低減することを示した、そして、最大‐分散値トレースは人物の存在を有するレンジビンでの分散値がバックグラウンド分散値より数桁高いことを実証した。しかし、この最大-分散値トレースを抽出しても、環境内のインパルスノイズ、不連続性、およびマルチパスの影響が存在するため、動きを即座に検出して追跡することはできない。したがって、本システムは人間の存在および動きを検出し、歩行軌跡を抽出するために、人間追跡サブモジュールにいくつかの追加ステップを適用する。
いくつかの実施形態では、GaitCubeが平滑化された最大分散トレースの振幅を閾値処理することによって、対象の存在を検出する。GaitCubeは、閾値処理の前に中央値フィルタを用いて最大分散トレースを平滑化する。さらに、短い存在時間は誤った警報を低減するために、より長い時間と結合することによってフィルタリングされる。存在検出は、レーダ軸に対して垂直な静止の人物または動きであっても、呼吸および心臓パルスによって引き起こされる微小な身体動きのために人物をロバストに検出する。
存在を有する時間インスタンスのために、GaitCubeは、レンジ-時間領域において対象の軌跡を抽出する。ZY(r,k)での任意の軌跡は次のように定義される。
ここで、p(i)は時間ステップtにおけるレーダからの人物の距離(レンジビン)を示し、Lは軌跡の合計の長さである。ただし、P(i)は距離情報のみが含まれており、システムは人物の位置を正確に判定することはできない。いくつかの実施形態では、人物トレース要件は、平滑トレースを保ちながら、高分散ビン(支配的動き)を抽出する、2つの目的を有する。第1に、
をトレースの全エネルギとして、およびトレースの全平滑性のコスト関数として、
を定義することができ、コスト関数Pはトレースの2つの連続したインデックス間の変化を制御する。例えば、Pは次のように定義できる。
ここで、最大偏差量は、強制|p(i+1)-p(i)|<Tthによって制限される。Tthは、オブジェクトの最高速度に基づいて選択され、εは直接パスからの偏差のためのコストを制御することができる。これらのコスト関数に基づいて、人物追跡を次のように定義することができる。
これはダイナミックプログラミングによって解決される。P*は、ピーク追跡モジュールのアウトプットであり、歩行時間インスタンスに関してデータを分割するために歩行検出モジュールによって使用される。遠い軌跡のいくつかは、妨害のために近くの人間の身体によって影響を受けるが、これらは本システムのピーク追跡アルゴリズムによって容易に回避される。
ここで、p(i)は時間ステップtにおけるレーダからの人物の距離(レンジビン)を示し、Lは軌跡の合計の長さである。ただし、P(i)は距離情報のみが含まれており、システムは人物の位置を正確に判定することはできない。いくつかの実施形態では、人物トレース要件は、平滑トレースを保ちながら、高分散ビン(支配的動き)を抽出する、2つの目的を有する。第1に、
をトレースの全エネルギとして、およびトレースの全平滑性のコスト関数として、
を定義することができ、コスト関数Pはトレースの2つの連続したインデックス間の変化を制御する。例えば、Pは次のように定義できる。
ここで、最大偏差量は、強制|p(i+1)-p(i)|<Tthによって制限される。Tthは、オブジェクトの最高速度に基づいて選択され、εは直接パスからの偏差のためのコストを制御することができる。これらのコスト関数に基づいて、人物追跡を次のように定義することができる。
これはダイナミックプログラミングによって解決される。P*は、ピーク追跡モジュールのアウトプットであり、歩行時間インスタンスに関してデータを分割するために歩行検出モジュールによって使用される。遠い軌跡のいくつかは、妨害のために近くの人間の身体によって影響を受けるが、これらは本システムのピーク追跡アルゴリズムによって容易に回避される。
次いで、GaitCubeは、信号処理オーバヘッドを低減するために、レーダに関して、インバウンドまたはアウトバウンド歩行を伴う時間インデックスを抽出するために、歩行検出モジュールを利用する。歩行検出アルゴリズムを速度推定値に適用し、静止期間と非静止期間を抽出する。
近似身体速度を次のように推定することができる。
ここでDは、単に速度を計算するための時間オフセットであり、速度推定における分散を低減するために1よりも大きくなるように選択される。GaitCubeは速度推定値から、以下の判定規則を用いて歩行セグメントを抽出する。
ここでVwalk、歩行を検出する速度閾値であり、Vstatは速度の大きさに対する静止閾値である。なお、歩行インバウンドおよび歩行アウトバウンドはそれぞれ、正および負のドップラシフトを導入するので、V(t)は正または負であり得る。この検出器は入力信号の振幅を(Vstat,Vwalk)の間でスイングさせて、前回の判定を保つ。速度V(i)はレーダとデバイスとの間の距離の変化について定義されるので、GaitCubeは、Vwalkに対する高振幅を選択することによって、複数のレンジビンを横切らない歩行の大部分を除去することができる。
ここでDは、単に速度を計算するための時間オフセットであり、速度推定における分散を低減するために1よりも大きくなるように選択される。GaitCubeは速度推定値から、以下の判定規則を用いて歩行セグメントを抽出する。
ここでVwalk、歩行を検出する速度閾値であり、Vstatは速度の大きさに対する静止閾値である。なお、歩行インバウンドおよび歩行アウトバウンドはそれぞれ、正および負のドップラシフトを導入するので、V(t)は正または負であり得る。この検出器は入力信号の振幅を(Vstat,Vwalk)の間でスイングさせて、前回の判定を保つ。速度V(i)はレーダとデバイスとの間の距離の変化について定義されるので、GaitCubeは、Vwalkに対する高振幅を選択することによって、複数のレンジビンを横切らない歩行の大部分を除去することができる。
いくつかの実施形態では、GaitCubeが式(9)で与えられるように、短時間フーリエ変換(STFT)を用いて、人物の軌跡付近のスペクトログラムを抽出する。胴体の近くのレンジ値のみが演算のために重要であるので、この整列されたスペクトログラムキューブを次式Galignとして表わすことができる。
ここでNbody、は、胴体の範囲を中心とする先頭および末尾のレンジビンの数を示す。その結果、
である。スペクトログラム範囲キューブは、μドップラ現象と呼ばれる、複数の肢の動きによって引き起こされるドップラ周波数シフトを明らかにする。腕、脚、足などの異なる肢は歩行中に異なる速度で移動し、受信されたスペクトログラムはこれらのすべての効果の重ね合わせであり、胴体における単一のスナップショットよりも多くの情報を確保することが期待される。
ここでNbody、は、胴体の範囲を中心とする先頭および末尾のレンジビンの数を示す。その結果、
である。スペクトログラム範囲キューブは、μドップラ現象と呼ばれる、複数の肢の動きによって引き起こされるドップラ周波数シフトを明らかにする。腕、脚、足などの異なる肢は歩行中に異なる速度で移動し、受信されたスペクトログラムはこれらのすべての効果の重ね合わせであり、胴体における単一のスナップショットよりも多くの情報を確保することが期待される。
周波数シフトと速度の関係は、次のように表される。
ここでv、Δfおよびλは、それぞれ、オブジェクトの速度、周波数シフト、および波長を示す。以前の調査で指摘されたように、人間の動きは、高帯域幅(微細レンジ分解能)レーダによって捕捉することができるμDおよびμRシグネチャの両方を誘発し、μDシグネチャはリッチな空間情報を捕捉することができないだけである。
ここでv、Δfおよびλは、それぞれ、オブジェクトの速度、周波数シフト、および波長を示す。以前の調査で指摘されたように、人間の動きは、高帯域幅(微細レンジ分解能)レーダによって捕捉することができるμDおよびμRシグネチャの両方を誘発し、μDシグネチャはリッチな空間情報を捕捉することができないだけである。
次に、Galignは歩行サイクルを分割するために、歩容サイクル推定サブモジュールに供給される。
次いで、GaitCubeは、推定された歩容キューブから歩容サイクルを抽出することができる。胴体に対応するスペクトログラム画像(ここではGalign)のエネルギは、期間を抽出するために使用することができる。同時に、式(6)に示されるように、反射信号のエネルギは範囲及びマルチパスプロファイルにも依存し、歩容サイクルを推定するためにそれを直接的に使用することはできない。さらに、FFTまたは自己相関に基づく方法は、歩行の平均的期間しか提供しないため、好ましくない。
スペクトルのトレンド除去対数エネルギを使用することによって、GaitCubeは、個々のステップおよび歩容サイクルを首尾よく抽出することができる。誤ったピークを除去するために、ピーク間の最小限の距離に基づく基準が用いられる。次いで、GaitCubeは、より高い振幅を有するピークを検索する。
これらの歩容キューブを人の歩容の代表的なサンプルとして使用するために、GaitCubeはすべての期間から有効な歩行ステップおよび歩容サイクル(すなわち、完全な歩行速度を有するサイクル)を抽出する。不安定な歩行期間、例えば、歩行セグメントの初期および最後のステップは、除去される必要がある。そうするために、GaitCubeは2つの基準を利用する。
第1の基準は、分散-レンジプロットから抽出された歩行距離と継続期間とに関する。これは、加速と減速ステップが短い距離を横切るので、距離と継続期間のしきい値によって区別できるからである。
第2の基準は、胴体の速度のばらつきに関するものである。いくつかの実施形態では、閾値処理の後、GaitCubeはそれぞれのステップおよび歩容サイクルの中央値速度を抽出し、中央値速度の25%を超える速度変動量を有するこれらのサイクルを除去する。
第1の基準は完全な歩容サイクルを検証し、第2の基準は左右のステップ間の速度差分のための余地を残しながら、加速及び減速サイクルを除去する。
さらに、GaitCubeは、歩容キューブのデディメンジョンを縮小してからCNNに歩容キューブを供給することができる。レンジ領域に関して、GaitCubeは、レンジディメンジョンでダウンサンプリングGalignを実行することができる。様々な実施形態では、GaitCubeは、信号が連続するレンジビン間で相関されるので、最高値、平均値、および中央値などの様々な組み合わせ方法を使用することができる。いくつかの実施形態では、最高値を抽出することは人物追跡を効果的に平滑化し、より高いSNRをもたらし、GaitCubeで使用することができる。
周波数領域では、GaitCubeがほとんど速度情報を伴わずに周波数帯域を除去する。歩行インバウンドおよび歩行アウトバウンドはそれぞれ、正および負のドップラシフトを導入し、他のハーフスペクトル(周波数ビン)は、有効な信号内容を有さない。GaitCubeは[Vmin,Vmax]の歩行速度に対応する周波数を抽出することができる。
さらに、GaitCubeは、データキューブを固定サイズにサイズ変更することによって、時間領域における次元を縮小することができる。それぞれのキューブは、歩容サイクルの同じ段階に関連する時系列情報を有するので、サイズ変更はシグネチャを保存する。
現行の処理パイプライン内では、2つの手順が人間の歩容に関連する有益な情報の喪失を引き起こす可能性がある。整列された歩容キューブを抽出することはレンジ情報を除去し、一方、時間領域におけるリサイジングは価値ある速度情報を捨てる。いくつかの実施形態ではそれらの影響を軽減するために、GaitCubeは歩容キューブからいくつかの追加の特徴を抽出する。具体的には、GaitCubeが容易に利用可能な軌跡長(すなわち、ストライド長)およびサイクル継続期間、ならびに容易に計算することもできる速度の平均および分散を抽出する。これらの特徴は、人間の歩行の力学に関連しているので、分類器に追加情報を提供する。
いくつかの実施形態では、GaitCubeは幾つかの畳み込み層と結合したディープラーニングモデルCNNを用い、それに続いてバッチ正規化(batch normalization)とReLU非線形性を持つプーリング層を用いる。CNNは、歩容キューブからの特徴抽出のために使用され、その出力は連結によって前述の追加の特徴と結合され、いくつかの全結合レイヤを介して供給され、その後にソフトマックスレイヤが続き、それぞれのクラスの出力確率を抽出するその詳細は表IIに見ることができる。さらに、全結合レイヤの出力にドロップアウトを確率でP=0.5で適用することができる。これによりオーバーフィッティングが減少する。
表2:ニューラルネットワーク層
表2:ニューラルネットワーク層
いくつかの実施形態では、CNNモデルを前のモジュールの出力と共に使用するために、固定サイズを有するように、時間領域において歩容キューブをサイズ変更することができる。典型的な人間の歩行速度は約1m/s(3.6km/h)であり、毎秒2ステップである。従って、CNNへの入力サイズは、ディメンジョン(レンジ×周波数×時間)と共に(5,227,99)に設定されてもよい。ここで、n=99は経験的な歩行速度に関して選択された506msに対応する。
左右のステップの不均衡は、人を識別するための有益な情報を提供することもできる。この現象を利用するために、システムはCNNに供給する前に、2つの連続する歩容キューブをマージすることができる。時間ディメンジョンに関して2つのキューブをマージすることは歩容キューブのサイズを増加させるので、システムはこれらのマージされた歩容キューブをCNN入力サイズに再びサイズ変更することができる。GaitCubeは左足と右足を直接的に区別することができないので、分類器はオーバーラップする全歩容サイクルを使用して、両方のシーケンスで訓練され、一方、単一ステップを使用したさらなる評価も行われる。
いくつかの実施形態では、このシステムはクロスエントロピー損失を用い、重みのL2正則化と組み合わせて分類モジュールを訓練する。コスト関数は次のように与えられる。
ここでNcはアイデンティティの数(すなわち、クラス)であり、Nはサンプルの総数であり、zn,cはサンプルnに対するワンホット符号化であり、
はソフトマックスレイヤにおけるネットワークの出力であり、αは正則化パラメータであり、wはネットワークの重みである。いくつかの実施形態では、ネットワークを、確率的勾配降下法で、バッチサイズ80で、10-2の学習速度でかつ学習速度を次第に減少させてトレーニングすることができる。エポックの最大数は50に設定される。いくつかの実施形態ではゲイトキューブのディープラーニングモジュールを実装することができ、この場合、トレーニング処理は15分未満を要し、一方、単一の試料の試験は平均して0.1ミリ秒を要する。いくつかの実施形態では、GaitCubeが汎用の既製(COTS)ミリ波レーダを使用して実施される。レーダは77GHzで動作し、3つの送信機アンテナと4つの受信機アンテナを持つ。時間領域多重化モードで2つの送信機アンテナを使用するようにデバイスを構成でき、すべてのアンテナの受信信号を同時に捕捉することができる。送信機アンテナの配置は仮想アンテナアレイ概念を活用することを可能にし、従って、物理的環境の依存性の少ない測定値を得ることができ、そして、異なる肢からの鏡面反射を捕捉することができる。
ここでNcはアイデンティティの数(すなわち、クラス)であり、Nはサンプルの総数であり、zn,cはサンプルnに対するワンホット符号化であり、
はソフトマックスレイヤにおけるネットワークの出力であり、αは正則化パラメータであり、wはネットワークの重みである。いくつかの実施形態では、ネットワークを、確率的勾配降下法で、バッチサイズ80で、10-2の学習速度でかつ学習速度を次第に減少させてトレーニングすることができる。エポックの最大数は50に設定される。いくつかの実施形態ではゲイトキューブのディープラーニングモジュールを実装することができ、この場合、トレーニング処理は15分未満を要し、一方、単一の試料の試験は平均して0.1ミリ秒を要する。いくつかの実施形態では、GaitCubeが汎用の既製(COTS)ミリ波レーダを使用して実施される。レーダは77GHzで動作し、3つの送信機アンテナと4つの受信機アンテナを持つ。時間領域多重化モードで2つの送信機アンテナを使用するようにデバイスを構成でき、すべてのアンテナの受信信号を同時に捕捉することができる。送信機アンテナの配置は仮想アンテナアレイ概念を活用することを可能にし、従って、物理的環境の依存性の少ない測定値を得ることができ、そして、異なる肢からの鏡面反射を捕捉することができる。
いくつかの実施形態では、GaitCubeの実装は、トレーニングのためのデータセットサイズを増強し、従って各ユーザのためのデータ収集労力を低減するために、各アンテナを空間的に独立であるとして扱うことにより、受信機ダイバシティを活用する。他の実施形態では、多数決を介すると共に受信機の予測を組み合わせることによって、GaitCubeを評価することもできる。
いくつかの実施形態では10人のユーザ(女性4人、男性6人)が実験のために存在し、それぞれのユーザは連続したデータ収集の間に少なくとも1週間を置いて、2~4日で6つの異なったセットアップで歩く。一部のユーザが異なる日に利用可能であったため、全体的なデータ収集には1 か月以上かかり、合計11のセッションになった。使用者の年齢は23~59歳とばらつき、重みは50kg~77kgにばらつき、高さは160cm~174cmにばらついた。データ収集セッション中、ユーザは任意の衣服及びアクセサリを着用し、何らかの具体的な要件を求められることはない。
いくつかの実施形態では、データ収集が種々の実験セットアップのもとで行われる。各セットアップでは、レーダをカートの上に置くことができる。おおよその高さは1メートルである。ユーザは、経路長が約10~12メートルであるすべてのセットアップにおいて、それぞれの方法で5回歩くことができる。システムのアルゴリズムは、歩行インスタンスと方向とを自動的に分割する。いくつかの実施形態では、セットアップ当たりのユーザ当たりの歩行の総時間が歩行速度および距離に応じて約2分である。これらのデータのいくつかは開放空間で収集され、他のデータは1.5メートルの幅を有する廊下で収集される。
いくつかの実施形態では、データ収集処理は、6つのセットアップで、10人から合計約52000個の重複がない歩容キューブをもたらす。各セットアップにおけるサンプルの数は±3%未満である。歩行インバウンドと歩行アウトバウンドとの間のデータ分布は、それぞれ51.1%と48.9%と非常に均一である。
いくつかの実施形態では、さまざまな設定でGaitCubeの性能を評価することができる。実現化間の独立性を保証するためにデータ収集セットアップに基づく区分を用いて、データセット上で6分割交差検証を実施し、異なる時間および位置にわたってその性能を示すことができる。それぞれの受信機の決定を独立して解釈することにより、試験の正確性を報告することができる。
いくつかの実施形態では、総合的な精度を評価するために、トレーニングおよび試験のためにフルの歩容サイクルを使用し、図15の人物識別のための混同行列を示すことができる。図からわかるように、GaitCubeは、すべてのユーザについて92.4%を超える精度と再現性と精度の両方が92.4%を超える、96.1%の平均精度を達成する。
いくつかの実施形態では、異なった距離値に対する精度を抽出することにより、レーダからの距離の影響を調べることができ、短距離および遠距離でより低い精度を観測できる。レーダからの距離が増加すると、受信信号はより低いSN比を持ち、これは性能を低下させる。一方、オブジェクトがレーダに非常に近い場合、点源からの放射パターンのために歩容キューブが歪み、システムの性能がわずかに低下する。システムが受信アンテナを独立に扱い、8つのアンテナでの等利得合成方式でも、システムは9dBのSN比向上を得ることができた。この方式は、より長い距離での識別精度を大幅に向上させることができる可能性がある。
いくつかの実施形態では、GaitCubeが前処理中に歩容キューブのサイズを変更するので、歩容サイクルの継続期間に基づいて性能を評価することもできる。いくつかの実施形態では、歩容サイクルの大部分は(0.4,0.6)秒(s)の間の継続期間を有し、これらの領域における性能は最も高い。いくつかの実施形態では歩容キューブ抽出が時には長いハーフ歩容サイクル(最大1.1秒)を誤って出力し、これはある程度まで分類モジュールによって許容される。歩容キューブが長くなるとGaitCubeの全体的な性能を低下させるが、これらのサンプルの数は少なくとも1桁低く、全体的なエラーに大幅には寄与しない。
いくつかの実施形態では、両方の歩行方向でアルゴリズムをトレーニングすることができる。いくつかの実施形態ではシステムが1つの特定の向きを優先せず、インバウンドおよびアウトバウンドの精度は1%の差の範囲内である。いくつかの実施形態では1つの向きでトレーニングを試み、別の向きでテストすることもできるが、周波数およびレンジに関して歩容キューブを反射する場合であっても、意味のある結果を得ることができない。これは、歩行の向きを変更することが反射面に影響を及ぼし、レンジドップラシグネチャが著しく歪められるためである。したがって、実際には、ユーザが来るか出るかにかかわらずユーザを認識するために、両方の向きをトレーニングする必要がある。
いくつかの実施形態では、1つのサンプルに含まれるステップの数を変えて性能を評価することもできる。そのために、半サイクル(単一ステップ)でシステムを訓練し、連続するサンプルのスコアを組み合わせて判定規則を構築することができる。いくつかのステップにわたってソフトマックススコア(例えば、確率)を平均化し、結合されたスコアに基づいて判定を抽出することができる。いくつかの実施形態ではGaitCubeが3ステップで98.3%の精度を達成し、これは2ステップの単一周期を使用して97.3%にわずかに減少するが、1ステップを使用しても94.5%もの高さを依然として維持する。この顕著な性能により、GaitCubeは最小の遅延、例えば、1つのステップでユーザを認識することができる。
いくつかの実施形態では、低トレーニングデータ要件をさらに調べるために、トレーニングのためのそれぞれのセットアップ当たりのインスタンスの数を、1から5まで変化させることができ、試験セットアップにおける精度を示すことができる。いくつかの実施形態ではでは、トレーニング(≒20秒)のために各環境で1往復の歩行を1回しか使用しなくても、GaitCubeは最小精度84.8%、平均精度89.6%を達成する。この評価では、人為的に精度を改善するので、訓練されたセットアップ内の残りのデータに対してモデルをテストしないことがある。
いくつかの実施形態では、追加の特徴および/または3Dデータキューブからの向上したステミングを調査するために、基本的なアブレーションスタディを行うこともできる。いくつかの実施形態では、提案された歩容キューブを使用して、前方または後方スライスのみを使用して、またはキューブの単一の中心スライスを有することを調査することができる。また、追加の人の手で設計された特徴を有する性能と有さない性能とを比較することもできる。いくつかの実施形態では、フル歩容キューブに加えて追加の特徴を使用することは他の方法よりも良好な性能を提供する。これは後端のレンジビンが先端レンジよりも影響を受けやすいため、マルチパスの影響によって引き起こされるが、一方、全ての情報をキャプチャすることはより有益であるように思われる。それにもかかわらず、単一のスライスを使用しても、GaitCubeの多くのビルディングブロックのおかげで、90%を超える精度を達成することができる。一方、人の手で設計された特徴は0.6%の精度ゲインを提供するが、GaitCubeは、性能ゲインに限界があり、高精度は長い継続期間サイクルであっても維持されるので、GaitCubeは実際には歩容シグネチャを十分に学習する。
実際には、システムは一度に1つの決定をするだけでよく、すべての受信アンテナを融合させて、より良い性能を得ることができる。いくつかの実施形態では単一のステップを使用して、簡単な多数決方式で、システムは総合出力について各々の受信アンテナのソフトマックススコアを組み合わせることができる。いくつかの実施形態では、性能は平均で1.3%増加し、いくつかの設定では3.1%増加した。
いくつかの実施形態では、1つの位置でわずか2分の歩行データでゲイトキューブを訓練し、それを時間と共におよび位置的に一般化することができる。このユースケースは、トレーニングデータに対して複数位置と異なった時間インスタンスの双方を可能にしないので、特にチャレンジングである。いくつかの実施形態では、トレーニングに使用したセットアップの回数に関する性能を調査して、さまざまな位場所でトレーニングによって得られた平均精度、ならびに異なる試験のセットアップについての平均値からの偏差を表すエラーバーを提供することができる。いくつかの実施形態ではシステムがワンショット学習で平均精度79.1%を達成し、2つのセットアップを使用することは精度をさらに87.2%に向上させる。これらの2つの場合において、最小の精度は72.5%と82.7%であり、これは、実用的なアプリケーションのために許容可能であり得る。したがって、GaitCubeは、1つの位置で2分未満のデータによって一般化された歩容シグネチャを学習することができる。
システムは、一度に1人の人物の追跡および識別をサポートする。これは、例えば、入場システム又はIoTカスタマイズ方式のような、一度に一人の人物を通常承認する多くのアプリケーションに役立つ。多数のユーザがレーダから異なる距離に存在する場合、異なる距離を別々に見る簡単な拡張は、GaitCubeに対してマルチユーザサポートを可能にする。
いくつかの実施形態では、システムが歩容キューブの構築の成功を確実にするために、ユーザがデバイスに向かって、またはそこから離れて歩くことを必要とする。これはいくらかの制約を課すが、GaitCubeはたった1つのステップであっても、良好な精度でユーザを認識することができる。したがって、GaitCubeは、この制限があっても実用的なシステムである。いくつかの実施形態では、点群に依拠することにより、様々な歩行向きまたは複数デバイスを用いてデータを収集することによって、制約を緩和することができる。
したがって、開示されたGaitCubeは、実用的な歩容認識システムである。いくつかの実施形態では、様々な位置および時間にわたって高性能を維持しながら、トレーニング(例えば、2分未満のデータ)および試験(例えば、単一の歩容サイクル)のために最小限のデータを必要とする。いくつかの実施形態では、GaitCubeがニューラルネットワークを用いた別個の歩容キューブ処理から学習する。位置や時刻を変えた10人のユーザを対象とした実験では、GaitCubeは1回の歩行サイクルで96.1%の精度を達成し、2回の歩行サイクルで98.8%に改善し、1つの位置で2分間のトレーニングでも79.1%の精度を維持し、実用的な解決策のためのリアルなアプリケーションとして期待されている。従来の研究とは異なり、GaitCubeは異なる位置および時間に一般化されたその高性能を示し、より重要なことに、必要とされる最小限のデータでユーザを迅速に登録および認識することができ、それをより実用的な歩容認識システムにする。
図16は、本開示のいくつかの実施形態による、ミリ波信号を使用する歩容キューブの特徴に基づく人間認識のための例示的な方法1600のフローチャートを示す。様々な実施形態では、方法1600が上で開示したシステムによって実行することができる。動作1602では、第1の無線信号、例えば、ミリ波信号が場所の無線チャネルを通して送信される。動作1604において、第2の無線信号は無線チャネルを通して受信され、第2の無線信号は場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含む。動作1606では、第2の無線信号に基づいて無線チャネルのチャネル情報(CI)の時系列が取得される。動作1608において、場所内を動く人の存在が、CIの時系列(TSCI)に基づいて決定される。動作1610において、人物の少なくとも1つの歩容特徴がTSCIから抽出される。動作1612において、人物のアイデンティティが例えば、ディープラーニングモデルを使用して、少なくとも1つの歩容特徴に基づいて認識される。図16の動作の順序は、本開示の様々な実施形態に従って変更することができる。
いくつかの実施形態では、人間認識システムの方法が以下に説明するように、ステップs1~s12を含む。
ステップs1:システムは例えば、複数の送信(Tx)および複数の受信(Rx)アンテナを含むミリ波無線デバイスを使用して、オブジェクトおよび/またはソースからの反射信号を捕捉する。信号は、周波数変調搬送波(FMCW)波形を用いて受信され、特定の距離からの信号はg(t、τ)として定義され、
ここでtは長時間を示し、τは短時間を示す。
ここでtは長時間を示し、τは短時間を示す。
ステップs2:システムは、ある期間内のすべての異なるτに対して短時間インデックスτに高速フーリエ変換(FFT)を適用することにより、FMCW波形をチャネルインパルス応答(CIR)に変換する。結果として生じるCIRは、Y(r,k)として示される。
ステップs3:以下に基づいて人物の存在をシステム検出する。時間フレームkは
で表されるここで、Nfはフレーム当たりのサンプル数を表し、Novはフレーム間の重なりの大きさを表す。それぞれの時間フレームについて、システムはY(r,k)の分散値を計算し、ZY(r,k)で分散値を表す。これを時間レンジ-分散信号(time-range-variancesignal)と呼ぶ。いくつかの実施形態では、システムが身体の存在を検出するために、時間レンジ分散信号に関するピークを抽出する。他の実施形態ではシステムが身体の存在を検出するために時間レンジ分散信号に関する外れ値を抽出し、ここで外れ値検出は絶対偏差、フレーム内の分散、または任意の他の方法に基づくことができる。他の実施形態では所定のハード閾値T*を適用することによって、時間レンジ分散信号に関する身体の存在をシステム検出する。ここで、T*は受信機からの距離に基づいて変化させることができる。言い換えれば、ZY(r,k)は各rに対してT*(r)と比較される。
で表されるここで、Nfはフレーム当たりのサンプル数を表し、Novはフレーム間の重なりの大きさを表す。それぞれの時間フレームについて、システムはY(r,k)の分散値を計算し、ZY(r,k)で分散値を表す。これを時間レンジ-分散信号(time-range-variancesignal)と呼ぶ。いくつかの実施形態では、システムが身体の存在を検出するために、時間レンジ分散信号に関するピークを抽出する。他の実施形態ではシステムが身体の存在を検出するために時間レンジ分散信号に関する外れ値を抽出し、ここで外れ値検出は絶対偏差、フレーム内の分散、または任意の他の方法に基づくことができる。他の実施形態では所定のハード閾値T*を適用することによって、時間レンジ分散信号に関する身体の存在をシステム検出する。ここで、T*は受信機からの距離に基づいて変化させることができる。言い換えれば、ZY(r,k)は各rに対してT*(r)と比較される。
他の実施形態では、ステップs3が、それぞれの時間フレーム(1,...Nov)に対して、Y(r,k)の短時間フーリエ変換である3Dレーダスペクトログラムに一定誤警報率(CFAR)検出規則を適用することによって実行することができる。例えば、3Dレーダスペクトログラムは、
として定義され、ここでW(i)は時間分解能と周波数分解能との間のバランスをとるためのウインドウ関数として定義されてもよい。このステップの結果、人物の位置が検出される。
として定義され、ここでW(i)は時間分解能と周波数分解能との間のバランスをとるためのウインドウ関数として定義されてもよい。このステップの結果、人物の位置が検出される。
ステップs4では人物追跡の連続性を確保し、背景雑音および誤った検出を除去するために、システムはある考慮を払って人物の軌跡を抽出する。
いくつかの実施形態では、ステップs4は以下を含む。システムはY(r,k)上の軌跡をpとして定義し、複数の基準に基づいて最適pを構成する。これらの基準は、i)軌跡の滑らかさに基づくコスト関数、ii)
における検出結果および強度に基づくコスト関数、を含むことができる。平滑性のコスト関数は計算された2つの連続する時間インデックス間のずれの計測値を含むことができ、ハード閾値処理(例えば、コストは閾値を超えて無限大である)、またはソフト閾値処理(例えば、閾値を超えて指数関数的に増加するコスト)に基づくことができる。検出結果と強度に基づくコスト関数は、スペクトログラムにおけるピークの高さ/分散/エネルギ、または検出の結果(0/1)を使用したソフト閾値処理に基づいてもよい。コスト関数はまた、ステップs3におけるT*(r)と同様に、距離依存性であり得る。
における検出結果および強度に基づくコスト関数、を含むことができる。平滑性のコスト関数は計算された2つの連続する時間インデックス間のずれの計測値を含むことができ、ハード閾値処理(例えば、コストは閾値を超えて無限大である)、またはソフト閾値処理(例えば、閾値を超えて指数関数的に増加するコスト)に基づくことができる。検出結果と強度に基づくコスト関数は、スペクトログラムにおけるピークの高さ/分散/エネルギ、または検出の結果(0/1)を使用したソフト閾値処理に基づいてもよい。コスト関数はまた、ステップs3におけるT*(r)と同様に、距離依存性であり得る。
他の実施形態では、ステップs4が各時間インデックスについてスペクトログラムを使用して、各時間インデックスについてピークおよびドップラシフトを計算することを含む。これらの結果は、各潜在的なインデックスについての人物の速度を推定するために使用することができる。人物追跡に関するコスト関数を計算することができる。このコスト関数は、滑らかさ、推定された速度と軌跡に基づく速度の一貫性、ピーク高さ、またはスペクトログラムの検出結果も含みことができる。
ステップs5では、静止でもあり得る、人物の推定された軌跡を使用して、システムは人物が実際に動いているときの時間インデックスを抽出することができる。この検出は、速度推定値のハード閾値処理に基づいてもよく、人物の軌跡に基づいてもよい。ステップs5は、サブステップs5aおよびs5bを含むことができる。
サブステップs5aにおいて、システムは、軌跡に基づいて速度を推定することができる。人物のトレースは可能性のあるレンジインデックスに関して量子化されるので、この推定は複数ステップで軌跡の差分を計算することを必要とする。換言すれば、時間インデックス(i)における位置は時間インデックス(i+D)における位置から減算され、ここで、Dは滑らかさを保証するための差分である。
サブステップs5bでは速度推定値に基づいて、システムはデバイスに向かって、またはそれから離れて歩く時間インデックスを判定することができる。いくつかの実施形態では、速度推定値が2つの閾値と比較され、誤った警報/速度偏差を低減するために、メモリブロックを有する。すなわち、時間tに対する動きインデックス、m(t)は以下のように計算される。
ここでは、2つの閾値、VwalkおよびVstatは判定を変更することなく、推定速度を(Vwalk,Vstat)の間で変動させることができる。さらに、最低速度推定を注意深く選択することにより、歩行に関係しない任意の動き、すなわちVwalkを除去することができた。
ここでは、2つの閾値、VwalkおよびVstatは判定を変更することなく、推定速度を(Vwalk,Vstat)の間で変動させることができる。さらに、最低速度推定を注意深く選択することにより、歩行に関係しない任意の動き、すなわちVwalkを除去することができた。
他の実施形態ではより基本的なしきい値処理方法をサブステップs5bで適用して、歩行時間インデックスを検出することができるが、それらは誤警報を起こしやすい。
ステップs6において、歩行のみを含む時間インデックスを有する人物の位置を抽出した後、システムは、存在検出中に行われない場合、これらの位置および時間ならびに近傍のインデックスにおけるスペクトログラムを抽出することができる。G(f,r,k)は関心対象のrおよびkに対してのみ計算されるので、より低い計算量を保証する。レンジ(r)と時間インデックス(k)の限られた範囲のみにまたがるこの正規化されたスペクトログラムをGalign(f,r,k)として示すことができる。
ステップs7において、1つのステップである歩容の最小表現を達成するために、システムは、それぞれのステップを抽出することができる。このステップは、サブステップs7aを含むことができる。
サブステップs7aにおいて、ステップイベントの周期性はGalign(f,r,k)のエネルギに基づいて推定される。身体の断面積は周期的に変更するので、これは反射エネルギの周期的変更をもたらす。
いくつかの実施形態では、サブステップs7aがエネルギ曲線の平滑化、近くのレンジビンからのエネルギ成分の結合、及びエネルギ曲線上のピークの抽出を含む。これにより、軌跡上の歩行ステップが抽出される。このサブステップは、レンジにも依存するので、エネルギ関数をトレンド除去することを必要とすることがある。
いくつかの実施形態では、サブステップs7aがエネルギのフーリエ変換を計算し、歩行の平均周期を見出すためにピーク位置を抽出することを含む。
他の実施形態では、サブステップs7aがエネルギ関数の自己相関関数を計算することと、第1のピークを見つけることとを含む。これは、歩行の平均周期を与える。
他の実施形態では、サブステップs7aが時間インデックスに関して自己相関関数を計算することによって、Galign(f,r,k)の周期を推定することを含む。
ステップs8において、抽出されたステップおよび歩行サイクルを使用して、システムはそれぞれのステップの有効性を検証することができる。歩容サイクルの検証は、加速及び減速ステップを除去するために複数静的及び動的閾値を使用する場合がある。これは、サブステップs8aおよびs8bを含むことができる。
いくつかの実施形態では、サブステップs8aが歩容継続期間およびストライド長に基づく静的最小閾値を使用することを含む。最後および/または開始のステップは通常、より短時間で移動した距離がはるかに少なく、このサブステップs8aはそれらのうちのいくつかを除去する。
いくつかの実施形態では、サブステップs8bが平均または中央値歩容継続期間,速度およびストライド長を抽出することと、これらのパラメータのいずれかがこれら3つのパラメータの75%未満である場合、これらのパラメータに基づいてステップを除去することとを含む。
他の実施形態では、サブステップs8bは、最初/最後のステップが他のステップと比較されたときに異なっているので、それらを複数ステップ観察の大きさ/平均と比較することによって、他の外れ値ベースの基準に基づいて最初/最後のステップを抽出することを含む。
ステップs9では、システムは次元縮小を実行する。多次元に関して多くの冗長性があるので、本システムは、歩容および人間認識のために不必要な情報を除去する。これは、サブステップs9a ~s9cを含む。
いくつかの実施形態では、サブステップs9aが動体の一部ではない速度/周波数を除去することによって、Galign(f,r,k)の周波数成分の次元を縮小することを含む。例えば、レーダに向かって移動する身体の場合、すべてのドップラシフトは正であり、正のみが必要とされるので、f>0について歩行のシグネチャが観測される。システムは不必要な信号成分を除去するために、最低周波数および最高周波数でハード閾値を使用することができる。
いくつかの実施形態では、サブステップs9bがダウンサンプリングによってGalign(f,r,k)レンジ成分の次元を縮小することを含む。近傍レンジは高度に相関しており、多くの情報を失うことなく除去することができる。さらに、サブステップs9bは、デバイスから離れる歩行に対して、これらが胴体の後ろの身体部分に対応し、マルチパス成分によって影響を受けるので、時間インデックスをr<Trを用いて除去することを含むことができる。
いくつかの実施形態では、サブステップs9cが所定のディメンションに再サンプリングすることによって、Galign(f,r,k)の時間成分の次元を低減することを含む。ダウンサンプリングのような他の方法も使用することができる。
ステップs10において、システムは物理的な特徴を抽出することができる。例えば、システムは、人物の軌跡と、ステップs7で抽出された歩行時間インデックスとを用いて、人のストライド長、歩容継続期間および速度の平均および分散を抽出することができる。
ステップs11において、システムは、ディープラーニングベースの分類器を使用することができる。これは、サブステップs11aおよびs11bを含むことができる。
いくつかの実施形態では、サブステップs11aが、それぞれのユーザを登録するために基本CNNモジュールをトレーニングするためにGalign(f,r,k)の次元縮小出力を使用することを含む。分類器は、CNNのアウトプットと、ステップs10において抽出された特徴とを、分類器へのインプットとして受け取ることができる。他の実施形態では、分類器がGalign(f,r,k)又はステップs10の物理的な特徴を用いないで訓練することもできる。
いくつかの実施形態では、サブステップs11bが同じ歩行の別個の具現化としてそれぞれのアンテナを使用することによって、データセットのサイズを合成的にブーストし、したがってロバスト性を改善することを含む。
ステップs12において、システムは例えば、CNNの出力及び人物の抽出された歩容特徴に基づいて、人物を登録されたユーザのうちの1人として分類することができる。
以下の番号付けされた項は、人物の歩容特徴に基づいて人物を無線で認識するための実施例を提供する。
項C1。人物認識のためのシステムであって、場所の無線チャネルを介して第1の無線信号を送信するように構成された送信機と、無線チャネルを介して第2の無線信号を受信するように構成された受信機とを含み、第2の無線信号は場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含む、受信機と、第2の無線信号に基づいて無線チャネルのチャネル情報(CI)の時系列を取得し、CIの時系列(TSCI)に基づいて場所内を動く人物の存在を判定し、TSCIから人物の少なくとも1つの歩容特徴を抽出し、少なくとも1つの歩容特徴に基づいて人物のアイデンティティを認識するように構成されたプロセッサと、を含むシステム。
項C2。それぞれのCIは周波数変調搬送波(FMCW)波形に基づいて計算されたCIRを含み、TSCIは受信機からの時間フレームおよび距離範囲(distance range)の関数であり、第1の無線信号はミリメートル波で搬送される、項C1に記載のシステム。
項C3。項C2に記載のシステムであって人物の存在を判定することは、各時間フレームについてのTSCIの分散値に基づいて時間レンジ分散信号を計算することと、時間レンジ分散信号に関するピークを抽出すること、時間レンジ分散信号に関する外れ値を抽出すること又は受信機からの各距離範囲に対して、距離範囲に基づいて変化する閾値と時間レンジ分散信号を比較することのうち少なくとも1つに基づいて人物の存在を検出することと、を含むシステム。
項C4。項C3に記載のシステムであって、人物の存在を決定することは、それぞれの時間フレームについてTSCIの短時間フーリエ変換に基づいてレーダスペクトログラムを計算することと、レーダスペクトログラムに一定誤警報率(CFAR)検出規則を適用して人物の存在を検出することとを含む、システム。
項C5。項C4に記載のシステムであって、プロセッサは、コスト関数および閾値に基づいて人物の移動軌跡を推定するようにさらに構成されており、コスト関数は、2つの連続する時間フレーム毎の間の時間-レンジ分散信号の違いの測定、2つの連続する時間フレーム毎の間のレーダスペクトログラムの違いの測定、レーダスペクトログラムにおけるピーク高さ、時間-レンジ分散信号におけるピーク高さ、またはレーダスペクトログラムの分散のうちの少なくとも1つに基づいて計算される、システム。
項C6。コスト関数が受信機からの距離に依存する、項C5に記載のシステム。
項C7。項C6に記載のシステムであって、前記プロセッサは、レーダスペクトログラムのピークとドップラシフトに基づいて人物の速度を、時間フレーム毎に推定することと、連続する2つの時間フレーム毎の速度の違いの計測に基づいて算出されたコスト関数に基づいて、人物の動きの軌跡を推定することと、をするようにさらに構成されているシステム。
項C8。項C6に記載のシステムであって、プロセッサが、人物の動き軌跡に基づいて人物の速度を時間フレーム毎に推定することと、時間フレーム毎に、人物の推定速度を2つの閾値と比較し、比較結果を生成することと、時間フレーム毎での比較結果に基づいて、人物が受信機に近づくか遠ざかる間に時間フレームのサブセットを抽出することと、をさらにするように構成されているシステム。
項C9。項C8に記載のシステムであって、プロセッサが、人物の動き軌跡から時間フレームのサブセットにおける人物の位置のサブセットを抽出することと、位置のサブセットと時間フレームのサブセットとに基づいて正規化されたスペクトログラムを計算することと、をするようにさらに構成され、正規化されたスペクトログラムは、周波数、時間フレームおよび受信機からの距離範囲の関数である、システム。
項C10。項C9に記載のシステムであって、TSCIから人物の少なくとも1つの歩容特徴を抽出することは、正規化スペクトログラムに基づく人物のステップ抽出と、人物の平均動き周期の決定とを含む、システム
項C11。項C10に記載のシステムであって、平均動き周期が、正規化されたスペクトログラムのエネルギ関数を計算することと、平均動き周期を決定するためにエネルギ関数のピーク位置を抽出することとに基づいて判定されるシステム。
項C12。項C10のシステムであって、平均動き周期は、正規化されたスペクトログラムのエネルギ関数のフーリエ変換を計算することと、フーリエ変換のピーク位置を抽出して平均動き周期を判定することとに基づいて判定されるシステム。
項C13。項C10のシステムであって、平均動き周期は、正規化されたスペクトログラムのエネルギ関数の自己相関関数を計算することと、自己相関関数の最初のピークの位置を抽出して平均動き周期を判定することとに基づいて判定されるシステム。
項C14。項C10のシステムであって、平均動き周期は、正規化されたスペクトログラムの自己相関関数を計算することと、自己相関関数に基づいて平均動き周期を判定することとに基づいて判定されるシステム。
項C15。項C10のシステムであって、TSCIから人物の少なくとも1つの歩容特徴を抽出することは、人物の抽出されたステップから、継続期間閾値未満の歩容継続期間を有する各ステップおよび/または長さ閾値未満のストライド長を有する各ステップを除去することを含むシステム。
項C16。項C15に記載のシステムであって、TSCIから人物の少なくとも1つの歩容特徴を抽出することは、抽出されたステップのパラメータの平均または中央値を計算することであって、パラメータは、歩容継続期間、速度またはストライド長のうちの少なくとも1つを含む、計算することと、平均値または中央値の75%未満のパラメータのいずれかを持つステップを取り除くこととを含むシステム。
項C17。項C16のシステムであって、TSCIから人物の少なくとも1つの歩容特徴を抽出することは、人物の抽出されたステップから、人物が移動を開始した後の最初の1つ以上のステップを除去することと、人物の抽出されたステップから、人物が動くのを止める前の最後の1つ以上のステップを除去することとを含むシステム。
項C18。項C17のシステムであって、TSCIから人物の少なくとも1つの歩容特徴を抽出することは、人物の動きの痕跡に基づいて人物の動く向きを判定することと、正規化されたスペクトログラムから、人物の動く向きに基づいて、人物の動く身体の一部ではないそれぞれの周波数成分を除去することとを含むシステム。
項C19。項C18のシステムであって、TSCIから人物の少なくとも1つの歩容特徴を抽出することは、受信機からの距離範囲に関して正規化されたスペクトログラムをダウンサンプリングすることによって、正規化されたスペクトログラムの距離範囲成分の次元数を縮小することを含むシステム。
項C20。項C19のシステムであって、TSCIから人物の少なくとも1つの歩容特徴を抽出することは、正規化されたスペクトログラムから、人物が受信機から歩いて離れるときに、受信機からの閾値未満の距離範囲に対応するそれぞれの距離範囲成分を除去することを含むシステム。
項C21。項C20のシステムであって、TSCIから人物の少なくとも1つの歩容特徴を抽出することは、次元数を縮小した後の正規化スペクトログラムの残りの成分に基づいて、人物の動きの軌跡から、人物の少なくとも1つの歩容特徴を抽出することを含む、システム。
項C22。項C21のシステムであって、少なくとも1つの歩容特徴は、人物のストライド長、歩容継続期間または速度のうちの少なくとも1つの平均および/または分散を含む、システム。
項C23。項C22に記載のシステムであって、人物のアイデンティティを認識することは、ディープラーニングモデルおよび人物の少なくとも1つの歩容特徴に基づいて、人物を既知のユーザまたは未知のアイデンティティのうちの1人として分類することを含む、システム。
項C24。項C23に記載のシステムであって、ディープラーニングモデルは、各ユーザのための固定された同じ大きさの正規化されたスペクトログラムに基づいて、既知のユーザの各々を登録するように事前にトレーニングされるシステム。
項C25。項C24に記載のシステムであって、プロセッサは、前記人物が未知のアイデンティティとして分類される場合、次元が縮小された正規化されたスペクトログラムの残り成分に基づいて、ディープラーニングモデルをトレーニングすることによって、人物を新しいユーザとして登録するようにさらに構成されるシステム。
項C26。次元が縮小された正規化されたスペクトログラムはそれぞれのトレーニングされたユーザの次元と同じ寸法を有する項C25に記載のシステム。
項C27。プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合された受信機とを備え、人間認識システムの追加無線デバイスは、場所の人間認識システムを介して第1の無線信号を送信するよう構成されており、受信機は無線チャネルを介して第2の無線信号を受信するように構成されており、第2の無線信号は場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含み、プロセッサは第2の無線信号に基づいて無線チャネルのチャネル情報(CI)の時系列を取得し、時系列のCI(TSCI)に基づいて場所内の動く人物の存在を判定し、TSCIから人物の少なくとも1つの歩容特徴を抽出し、少なくとも1つの歩容特徴に基づいて人物のアイデンティティを認識するように構成される、人認識システムの無線デバイス。
項C28。項C27に記載の無線デバイスであって、それぞれのCIがCIRを含み、TSCIが時間フレームおよび受信機からの距離範囲の関数であり、第1の無線信号がミリメートル波で搬送される、無線デバイス。
項C29。項C28に記載の無線デバイスであって、人物の存在を判定することは、各時間フレームについてTSCIの分散に基づいて時間ーレンジ分散信号を計算することと、および、時間ーレンジ分散信号に関するピークを抽出すること、時間ーレンジ分散信号に関する外れ値を抽出すること、受信機からの各距離範囲について、時間ーレンジ分散信号を距離範囲に基づいて変化する閾値と比較すること、又は各時間フレームについてTSCIの短時間フーリエ変換に基づいて計算されたレーダスペクトログラムに関する一定誤警報率(CFAR)検出規則を適用することのうちの少なくとも1つに基づいて人の存在を検出することを含む、無線デバイス。
項C30。人認識システムの方法であって、場所の無線チャネルを介して第1の無線信号を送信することと、無線チャネルを介して第2の無線信号を受信することであって、第2の無線信号が場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含む受信することと、第2の無線信号に基づいて無線チャネルのチャネル情報(CI)の時系列を取得することと、CIの時系列(TSCI)に基づいて場所内を動く人物の存在を判定することと、TSCIから人物の少なくとも1つの歩容特徴を抽出することと、少なくとも1つの歩容特徴に基づいて人物のアイデンティティを認識することと、を含む方法。
さまざまなサウンド対応アプリケーションが、より高度な機能、ロバストな音の分離、耐ノイズ性、壁越しの復元、サイドアタックに対する音の生き生きとした特性の検出、などを備えた次世代の音響センシングモダリティを強く求めています。例えば、ロバストな音の分離は、スマートボイスアシスタントが雑音の多い環境にわたって持続的な性能を有することを可能にすることができる。活発な対象を正確かつ迅速に識別できることは、実証された音声攻撃に対するボイス制御システムのセキュリティを改善する。防音の後ろをセンシングすることで、複数の部屋へのスマートデバイスの動作範囲を広げることができ、防音空間でも外部環境の音の認識を保つことができる。
上記の先進的な機能をホリスティックに可能にするために、本開示は、例えばミリメートル波(ミリ波)のような無線信号に基づいて、音響及びそれ以上を捕捉することができる感知システムである「RadioMic」を開示する。図17に示すように、RadioMicは複数の環境における音源からの音を検出し、復元し、分類することができる。これは、アクティブ源(例えば、スピーカまたは人間の喉)およびパッシブ源(例えば、紙袋のような日常のオブジェクト)の両方から、音楽、発話、および環境音などの様々なタイプの音を復元することができる。複数音源が存在する場合、RadioMicは、動き干渉の影響を受けずに、マイクロホンアレイにおける古典的なビームフォーミングによっては達成できなかった、距離に関して別々に音を再構成することができる。RadioMicはまた、RF信号が音とは異なった伝搬特性を持つため、壁を通して、さらには防音材を通して音を感知することもできる。いくつかの実施形態では、RadioMicが防音された部屋(または雑音除去が作動している部屋)に設置されており、部屋外の音響イベントを監視・検出するために使用することができる。これにより、防音と認識の両方が同時に提供される。さらに、RadioMicは録音された音声の活気さを検出し、それが被験者または無生物のソースからのものであるかどうかを伝えることもでき、IoTデバイスのためのセキュリティの付加的なレイヤを提供する。
図17は、本開示のいくつかの実施形態に従った、ミリメートル波(ミリ波)無線を使用する、例えばRadioMicなどの音響センシングシステムのための例示的な実施環境1700を示す。図17に示すように、RadioMicは、送信機(Tx)アンテナアレイ1711および受信機(Rx)アンテナアレイ1712を有するデバイスを含むことができる。いくつかの実施形態では、送信機(Tx)および受信機(Rx)アレイの各々は複数のアンテナを持つ。環境内の音を感知するために、Tx 1711はミリ波信号を送信することができ、これは、場所内の音源および振動源および同じ場所の他のオブジェクトによって反射された後に別のRxアンテナ1712によって順次受信され得る。
いくつかの実施形態ではTx 1711が上述したようにボットであり、Rx 1712は上述したようにオリジンである。図17ではTx 1711とRx 1712とが物理的に結合されているが、他の実施形態では別のデバイスに分離されていてもよい。いくつかの実施形態では、Tx 1711 とRx 1712 を含むデバイスがレーダ、例えばミリ波レーダのように利用される。いくつかの実施形態では、RadioMicはまた、Rx1712において受信されたレーダ信号を処理するためのプロセッサを含む。様々な実施形態では、プロセッサがTx 1711、Rx 1712、その両方に物理的に結合されてもよく、またはそのいずれにも結合されなくてもよい。
RadioMicの設計は、複数の課題を伴う。第1に、音に誘導される振動はミリのオーダー(例えば、85dBの音源用のアルミホイル上のミリ)で極めて弱い。人間の耳やマイクロホンの振動板は、この微振動を最大限に引き出すために高度な構造を持っている。しかし、スピーカの振動板や日々のオブジェクトは、音の振動を異なって変化させ、無線デバイスからの雑音と組み合わされて激しい雑音を発生させる。第2に、環境中の任意の動きが、とくに音に誘導される振動が弱い場合に、音響信号に干渉する。第3に、無線信号はマルチパスの傾向があり、戻される信号は、静止反射、音の振動、および/またはその多数のコピーを含む。第4に、材料特性により、日々のオブジェクトから捉えた音は2kHzを超える高周波で完全に減衰し、感知された音の明瞭度を著しく損なう。
RadioMicは、複数の異なる方法でこれらの課題を克服することができる。いくつかの実施形態では、RadioMicが無線信号と音響信号を関連付ける新しい無線音響モデルを使用している。これに基づいて、音と他の動きとの間の基本的な差を利用するトレーニングフリーモジュールを用いて音を検出する。いくつかの実施形態では、バックグラウンド、RadioMicフィルタの影響を軽減し、信号を複素平面に投影する。これにより、信号のコンテンツを保持しながらノイズを軽減し、マルチパスや受信ダイバシティによる更なる利点を生み出し、復元された音質を向上させる。いくつかの実施形態では、RadioMicはまた、無線音響ニューラルネットワークを使用して、大量のオンラインオーディオデータセットを活用し、トレーニングのために最小限のRFデータを必要とする可能性がある、極端な不良設定の高周波再構成の課題を解決することができる。
いくつかの実施形態では、RadioMicが市販の既製の(COTS)ミリ波レーダを使用して実施される。RadioMicは、スピーカや人間の喉などのアクティブソース、アルミ箔、ペーパーバッグ、チップのバッグなどのパッシブオブジェクトからの音を復元することができる。変化するサウンドレベルでの多様なサウンドファイルを使用する様々な環境における他の作品との性能比較に基づいて、RadioMicは、様々な基準のもとでのサウンド検出および再構成における最新のアプローチよりも性能が優れている。さらに、RadioMicは、複数音源の分離および音響のライブネスの検出を達成することができる。
いくつかの実施形態では、RadioMicはRFベースの音響センシングシステムで、多数の音を分離し、壁を通して動作する。RadioMicはパッシブオブジェクトからサウンドを復元することができ、また、音源のライブネスを検出することができる。RadioMicは、チャネルインパルス応答の観点から無線音響モデルを使用している。これは基礎となるRF信号から得られ、トレーニングフリーのロバストな音の検出と高忠実度の音の再構成をサポートすることができる。
いくつかの実施形態では、RadioMicが無線音響ニューラルネットワークを訓練し、最小の高周波トレーニングデータを必要とし、復元可能な周波数を拡張し、ノイズ除去することによって、検知された音を強化する。いくつかの実施形態では、RadioMicは多数の魅力的なアプリケーションを実証するために、低コストのCOTSハードウェア上に実装される。
無線音響と名づけられた無線信号を用いた音響センシングのメカニックを以下に述べる。音は、基本的には様々なメカニズムを通じて媒体の圧力の変調である。いくつかの実施形態では、音は振動面によって発生され、変調信号は気体分子の動きの中を通過する。振動面は、スピーカ振動板、人間のど、ギターのような楽器の弦、及び紙袋のような多くの日常オブジェクトとすることができる。スピーカでは、スピーカの振動板の動きが信号を変調するが、人間の喉では声帯が振動を生成する。口と唇は、ソースフィルタモデルに基づく追加のフィルタとして動作する。音を感知するために、マイクロホンにおいて同じ機構が採用され、適切なダイヤフラム及び電気回路を介して、空気圧の変化を電気信号に変換する。マイクロホンの振動板は空気の振動に敏感で、可聴周波数の範囲(約20Hz~2kHz)をとらえ、さらにそれ以上の周波数をとらえるように最適化されるように設計される。
いくつかの実施形態では、無線信号から音を抽出するメカニックが、ドップラ現象と、オブジェクトの振動と反射信号との間の関係とに頼っている。振動は、オブジェクト表面で反射される信号の伝播方法を変更する。従って、この反射信号はドップラシフトに関してオブジェクト表面の微小振動を測定するために使用でき、そこからシステムが音を回復できる。
いくつかの実施形態では、振動が音が発生する音源だけでなく、空中に誘発される媒介のオブジェクトにも発生する。最も一般的には、音で変調された気体分子が任意のオブジェクト表面上でミリレベル以下の振動を引き起こすことができる。振動振幅は、材料特性および種々の要因に依存し得る。一般に、音の振動は、それらが発生する発生源(アクティブ振動源と呼ばれる)ではより強く、媒介のオブジェクト(パッシブ振動源と呼ばれる)ではるかに弱い。マイクロホンは、通常、アクティブな音源からの音のみを感知する。空気で変調されたパッシブ音が弱すぎて、マイクロホンの振動板までさらに伝搬することはできないからである。異なる点は、無線音響が音源で直接的に音を感知するので、開示されたシステムRadioMicはアクティブ音源とパッシブ音源の両方から音を再構成することができる。
この概念を説明するために、レーダをギターの前に置き、弦G3を繰り返し演奏して、無線およびマイクロホンスペクトログラムを提供する。弦が打たれると、弦は、所定の位置で振動し続け(または前後に移動し)、空気圧の変化を生じさせ、したがって、音を発生させる。レーダは弦の動きを捕らえることで音を感知するのに対し、マイクロホンは振動板で変調された空気圧を捕らえる。マイクロホンと無線の感知機構はその性質は全く異なっているが、同じ現象を捉えることができ、結果として生じる信号は類似している。
音の振動のメカニックから始めて、無線音響モデルを構築することができる。すでに説明したように、音はオブジェクトに振動(動き)を作り出す。音は空気からオブジェクトへの音の伝達エネルギに比例し、慣性や信号周波数などの複数の要因に依存する。音響信号をa(t)で示すと、音による変位を次のようにモデル化できる。
ここでhは、アクティブソースに対する振動発生メカニズムまたはパッシブオブジェクトに対する空気対オブジェクトのインタフェースのインパルス応答を示し、*は畳み込みを表す。
ここでhは、アクティブソースに対する振動発生メカニズムまたはパッシブオブジェクトに対する空気対オブジェクトのインタフェースのインパルス応答を示し、*は畳み込みを表す。
物理学の観点から見ると、音に誘導される振動は機械振動と同じであるが、音振動は一般に大きさが弱いという点が異なる。RF信号からの音波振動をモデル化するために、信号モデルの知識を仮定したモデルに従うことができ、従って、使用される特定の無線デバイスに依存する。いくつかの実施形態では、RadioMicがRF信号のチャネルインパルス応答(CIR)に基づくモデルを構築する。このモデルは基礎となる信号とは無関係である。これにより、原則として、モデルは、高分解能CIRを出力する無線デバイス、例えば、周波数変調搬送波(FMCW)レーダ、インパルスレーダ等に適用される。
高周波信号のCIRは、次のように与えられる。
ここで、tおよびτはそれぞれ長時間および短時間と呼ばれる。Lはレンジビン数(距離に関するサンプリング)を表し、αlは複素スケーリング係数を表し、τlは、レンジビンlからの往復継続期間であり、δ(・)は、オブジェクトの存在を示すディラックデルタ関数を表す。マルチパスがなく、関心オブジェクトがレンジビンl*、対応する時間遅延τ*と仮定すると、そのレンジビンのCIRは、以下のように与えられる。
ここで、fcはキャリア周波数を表す。オブジェクトがレンジビン内l*で静止のままであると仮定すると、変数τ*とl*をドロップし、時間遅延をレンジに変換すると、CIRを次のように書き換えることができる。
ここで、R(t)はオブジェクトの実際の距離を示し、λは波長を表す。
ここで、tおよびτはそれぞれ長時間および短時間と呼ばれる。Lはレンジビン数(距離に関するサンプリング)を表し、αlは複素スケーリング係数を表し、τlは、レンジビンlからの往復継続期間であり、δ(・)は、オブジェクトの存在を示すディラックデルタ関数を表す。マルチパスがなく、関心オブジェクトがレンジビンl*、対応する時間遅延τ*と仮定すると、そのレンジビンのCIRは、以下のように与えられる。
ここで、fcはキャリア周波数を表す。オブジェクトがレンジビン内l*で静止のままであると仮定すると、変数τ*とl*をドロップし、時間遅延をレンジに変換すると、CIRを次のように書き換えることができる。
ここで、R(t)はオブジェクトの実際の距離を示し、λは波長を表す。
振動するオブジェクト(すなわち音源)を考えると、レンジの値を次のように「静止」と「振動」の部分に分解することができる。R(t)=R0+x(t)。分かるように、CIRg(t)と戻り信号の位相との間には直接的な関係がある。位相を抽出することにより、g(t)を使用してR(t)を導出することができ、したがって、振動信号はx(t)である。オブジェクトを静止、経路損失に対する振動による変位の影響は無視できる仮定すれば、その時間依存性αはさらに省略できる。
以上の説明はレーダの線上の振動オブジェクトを1つ持つことを前提としており、環境からの他の反射は考慮していない。式(24)によって示唆されるように、g(t)はオリジンを中心とする同相および直角位相(IQ)平面内の円上にある。しかし、種々のバックグラウンド反射のため、g(t)は実際にはバックグラウンドベクトルと重ね合わされ、円中心がオリジンからずれる。したがって、g(t)は次のように書くことができる。
ここで、αB(t)およびγ(t)は、全てのバックグラウンド反射および振動の合計によって引き起こされる振幅および位相のずれである。w(t)は加法的白色雑音項である。式(25)は受信信号モデルを説明し、RadioMicの再構成ブロックを構築するために使用されるであろう。
ここで、αB(t)およびγ(t)は、全てのバックグラウンド反射および振動の合計によって引き起こされる振幅および位相のずれである。w(t)は加法的白色雑音項である。式(25)は受信信号モデルを説明し、RadioMicの再構成ブロックを構築するために使用されるであろう。
図18A~18Dに示すように、RadioMicは、以前には容易に達成されなかった多くを含む様々な用途に役立つことができる。今日のマイクロホンの限界を克服することによって、RadioMicは、騒々しい環境において一般のスマートスピーカの性能を向上させることができる。
図18Aに示すように、RadioMicは、アクティブ音源とパッシブ音源の両方からの音を感知することができる。空間的に分離された音声を収集することは、人間の活動,機器の働き、マシン状態などの音響イベントをよりよく理解するのに役立つ。
図18Bに示すように、RadioMicは防音材料を介して音を感知することができ、これは静かな空間を保ちながら、外部コンテキストの認識を提供し、これは例えば、仕事をしている間、家の閉鎖された部屋から子供の活動を監視するのに役立つ。
図18Cに示すように、RadioMicは、マイクロホンでは行うことができない、複数のソースから音を分離することができる。
図18Dに示すように、RadioMicは例えば、追加のソースシグネチャを用いて、音源のライブネスを検出することができ、不可聴音声または再生音声による攻撃から音声制御システムを保護することができる
いくつかの実施形態では、スマートデバイスにより入射されるミリ波を用いて、RadioMicは双方の利点を利用するためにマイクロホンと組み合わせることもできる。
いくつかの実施形態では、RadioMicが他の既存の無線センシングアプリケーションと一体化することができる。例えば、睡眠監視は現在、咳およびいびきを検出するためにマイクロホンを使用し、これは、プライバシーの問題を引き起こし得る。この問題は、RadioMicが使用されるときに解決することができる。RFベースの画像化において著しい進歩が達成されたが、RadioMicはそこに音声を伴うチャネルを提供することができる。
いくつかの実施形態では、RadioMicがまず、未加工のRF信号からCIRを抽出する。いくつかの実施形態では、RadioMicは音の振動を検知し、音を復元する一方で、関心のない動きを排除する。さらに、RadioMicは強化のために、復元されたサウンドをニューラルネットワークに供給する。図19は、いくつかの実施形態による、RadioMicによって実行される動作のパイプライン全体を示す。
いくつかの実施形態ではRadioMic は主にCOTS FMCWミリ波レーダを使用して実装されているが、RadioMic はインパルスレーダなどの高解像度CIR をレポートする他のミリ波無線機でも動作する。いくつかの実施形態では、インパルスレーダ上のCIRも活用できる。
いくつかの実施形態では、FMCWレーダはチャープと呼ばれる周波数が直線的に増加する単一トーン信号を送信し、環境からのエコーを捕捉する。エコーの時間遅れは、距離(range)情報に変換できる送受信信号間の周波数シフト量を計算することにより抽出できる。このレンジ情報は、環境の他の反射物とオブジェクトを区別するために使用される。距離情報を得るために、送受信信号間の周波数シフトをFFTを適用して計算する。これはレンジ‐FFTと呼ぶことができる。レンジ‐FFTの出力はCIR,g(t,τ)と考えることができ、上記のモデリングが適用できるうる。
いくつかの実施形態では、RadioMicはさらにCIRからいわゆるレンジドップラスペクトログラムを得ており、これは短時間フーリエ変換(STFT)演算で抽出できる。STFTは基本的に、フレームと呼ばれる長時間インデックスのサブセットのためのg(t,τ)におけるt次元において適用されるFFT演算である。アウトプット・レンジドップラスペクトログラムをG(f,r,k)と表すことができる。ここで、f∈(-Ns/2,Ns/2)は周波数偏移、rはレンジビン(τlに相当)に対応し、kはフレームインデックスである。Gは、オブジェクトの異なった動きの向きに対応する正および負の両方の周波数に対して定義される。
任意のレンジビンは音の振動を持つことができるので、レンジビンと時間インデックスの両方に効果的にラベルを付けることができるロバストな検出モジュールを持つことが重要である。一定誤警報率(CFAR)またはハーフィンダール・ハーシュマン・インデックス(Herfindahl‐Hirschman index(HHI))のような方法は、システムが音響振動のみによってトリガされ任意の動きによってトリガされないので、ロバストではないかもしれない。
いくつかの実施形態では、RadioMicが音響振動の物理特性を活用する。主に、RadioMicは、バイブレーション信号が正と負の両方のドップラシフトを発生させることに依存している。これは両方の向きで結果的に変位を引き起こす。この前方および後方への動きは同じ周波数ビンで同じ振幅を持つことが期待されるが、総変位は0なので符号は逆である。これは、対称的なスペクトログラムをもたらす。RadioMicは、この情報を新規なメトリックと共にロバストなサウンド検出のために利用する。
サウンドメトリックを定義するために、G+(f,r,k)がレンジドップラスペクトログラムG(f,r,k)の正の周波数の大きさを表し、すなわちf∈(-Ns/2,0)に対してG+(f,r,k)=|G(f,r,k)|。同様に、負の周波数f∈(-Ns/2,0)に対して、G-(f,r、k)を、G-(f,r、k)=|G(f,r,k)|として定義できる。なお、G+およびG-は大きさとして定義されるので、G+およびG-の値はいつも正であり、加法的雑音のため、信号がない場合でもゼロ以外の平均値を持つ。コサイン距離または相関係数を計算すると、たとえバックグラウンド反射だけがあっても、高い値をもたらす。よりロバストなメトリックを提供するために、ノイズフロアをG+およびG-の両方から減算し、その結果の行列を以下のように表すことができる。
次に、標準コサイン距離を使用する代わりに、定義を変更して
における振幅の類似性を強制できる。
次に、標準コサイン距離を使用する代わりに、定義を変更して
における振幅の類似性を強制できる。
いくつかの実施形態では、RadioMicが、各レンジビンおよび各時間フレームに対して、式26のようにサウンドメトリックを計算し、サウンドメトリックマップを生成し、音楽サウンドはサウンドメトリックの値を高くする。一方、ドップラシグネチャの非対称性および電力不整合のために、任意の動きは大幅に抑制される。これは、不規則動きに対して比較的低い値を保ちながら振動に対するサウンドメトリックの応答性を表す。
いくつかの実施形態では、振動を検出するために、RadioMicは中央値絶対偏差に基づく外れ値検出アルゴリズムを使用し、正の偏差を有する外れ値のみを抽出する。いくつかの実施形態では、外れ値ベースの方式が固定閾値よりも性能が優れている。さらに、このアプローチは、アクティブソースおよびパッシブソースからのものを含む、様々な振幅の様々な動きおよび音にも適合する。
サウンド検出アルゴリズムは、レンジビン上で実行されるので、サウンドを用いて複数レンジビンを検出することができる。これらのレンジビン内の無線信号は、RadioMicによって別々に処理されてもよい。これにより、複数音源の検出とそれぞれの音響信号の再構成を別にすることができる。副産物として、それはまた、どのビンで音が発生するかを特定し、干渉を減少させる。
いくつかの実施形態では、周囲のアクティブまたはパッシブの振動源に関する時間インデックスと、距離情報とを抽出した後、RadioMicは未加工のサウンド信号を抽出する。式(25)の信号モデルを使って、RadioMicは干渉とバックグラウンドを第1のフィルタで除去し、残りの信号をラインフィットで近似して雑音をさらに低減することで、音響信号を回復する。
いくつかの実施形態では、バックグラウンドの変化が通常非常に低い周波数を持つため、システムはFIR ハイパスフィルタを適用できる。結果として得られる信号、
は、以下のように与えられる。
ここで
はフィルタリングされた雑音項である。
は円の中心である。
は、以下のように与えられる。
ここで
はフィルタリングされた雑音項である。
は円の中心である。
信号成分exp(ーjgπR(t)/λ)は、音響信号で関心対象の周波数のためにほとんど変わらずに残り、この演算は振動円の円弧を同相および直交(IQ)平面内のオリジンに移動させる。さらに、この演算は、ハードウェアによって引き起こされるIQ平面内のドリフトを低減する。
いくつかの実施形態では、振動円の円弧の曲率が、円弧αexp(-j2πR(t)/λ)を接線上αexp(ーj2πR0/λ)に投影することにより、ミリ波デバイスでμmの変位に対して1度のオーダーであり、
、を次のように近似できる。
ここで、m=exp(-2πR0/λ)、n=α-2π/λexp(-j(π/2+2πR0/λ))である。
、を次のように近似できる。
ここで、m=exp(-2πR0/λ)、n=α-2π/λexp(-j(π/2+2πR0/λ))である。
これは、すでに、
が実数値の音響信号x(t)であり、付加的な雑音と共に、複素平面においてスケーリングされ、射影されていることを示唆している。任意の線上への射影は雑音分散を変化させないので、最小平均二乗誤差(MMSE)条件でx(t)を推定できる。
推定値は次の式30のように与えられる。
が実数値の音響信号x(t)であり、付加的な雑音と共に、複素平面においてスケーリングされ、射影されていることを示唆している。任意の線上への射影は雑音分散を変化させないので、最小平均二乗誤差(MMSE)条件でx(t)を推定できる。
推定値は次の式30のように与えられる。
任意の動きを緩和し、雑音を除去するために、開示されたシステムはまず、最適な線上にサンプルを射影し、次いで、スペクトログラムを計算することができる。その後、開示されたシステムは、2つのスペクトログラム(すなわち、最大{G+、G-})の極大を抽出し、逆STFTを適用して実数値音響信号を構築することができる。これは、2つのスペクトログラムの極大値を即座に抽出するか、片側のみを抽出するのとは異なる。システムが最初に射影によって雑音の分散を減らすからである。これにより、逆スペクトログラムでは実数値のサウンド信号が得られる必要があるため、有効なサウンドスペクトログラムも確保される。
いくつかの実施形態では、未加工のサウンド出力は、さまざまなノイズソースやオブジェクト表面の極めて小さな変位量のため、非常に高音質には直結しない。これらの問題を緩和するために、1)多くのレーダアレイに見られる複数のアンテナにより提供される受信機ダイバシティ、2)マルチパスダイバシティ、という2つの物理冗長性をシステムで利用することができる。複数受信機または複数受信アンテナはわずかに異なる位置から同じ振動信号を感知することができ、これらの信号の組み合わせは、より高い信号対雑音比(SNR)を可能にすることができる。さらに、マルチパス環境により、似たような音響信号を複数のレンジビンで観測することが可能になり、これを使用することで、さらにノイズレベルを下げることができる。これらの複数のダイバシティを利用するために、選択合成方式を使用することができる。主に、サイレントモーメントは、マルチパス成分と受信機(または受信アンテナ)ごとの推定値を取得するために使用される。音声を検出すると、SNRが最も高い信号が抽出される。複数ソースから音を回復するために、マルチパス成分を合成するときに、近くのビンのみを考慮することができる。
前述の処理が複数雑音源を減少させ、無線信号から最適に音信号を作り出すとしても、回復された音信号は二つの問題に直面する。第一に、上述のプロセスは高周波欠損として指摘されているように、2kHzを超える周波数を回復することができない。これは明瞭な発音のインデックスとして問題であるが、明瞭な音の量の計測は2kHz帯域制限音声に対して50%未満である。第2に、回復されたサウンドは、オリジナルサウンドのノイズの多いコピーである。オブジェクト表面の振動はμmのオーダーであるため、位相雑音や他の加法的雑音が依然として存在する。
2kHzを超える高い周波数は、式21のチャネルhがそれらの帯域の有益な情報を除去するので、復元された音で完全に減衰する。信号の上記のモデル化に戻ると、アウトプット信号
はx(t)のノイズの多いコピーであり、式(21)から次のように書くことができる。
これは空気圧-オブジェクト振動チャネル(またはスピーカの機械的対応)の出力を示す。a(t)を完全に回復するためにはhの効果を反転させる必要がある。しかしながら、スペクトル減算または等化のような古典的な信号処理技術は、高周波数における情報が失われてきたので、全帯域を回復することができない。
はx(t)のノイズの多いコピーであり、式(21)から次のように書くことができる。
これは空気圧-オブジェクト振動チャネル(またはスピーカの機械的対応)の出力を示す。a(t)を完全に回復するためにはhの効果を反転させる必要がある。しかしながら、スペクトル減算または等化のような古典的な信号処理技術は、高周波数における情報が失われてきたので、全帯域を回復することができない。
これらの問題を克服するために、すなわち、残りの雑音を低減し、高周波部分を再構成するために、開示されたシステムはディープラーニングを使用する。いくつかの実施形態では、開示されたシステムが無線音響ネットワーク(RANet)と名付けられたオートエンコーダベースのニューラルネットワークモデルを構築する。RadioMicでは、ノイズが厳しく、復元された音声(2kHzから4kHzに拡張)のより強い帯域制限の制約のため、両方の問題を一緒に解決する必要性に加えて、理論上の制限は厳しくなる。
図20は、図21に示したデータ増強、トレーニング、および評価の全体の処理フロー有するRANetの構造を示す。図20に示すように、RANetはダウンサンプリングブロック、残差(residual)ブロック、およびアップサンプリングブロックを含み、これらは、いくつかの残差接続およびスキップ接続とともに、順次接続される。ハイレベルでは、符号化レイヤ(ダウンサンプリングブロック)が入力スペクトログラムの潜在的表現(例えば、画像に類似)を推定するために使用され、そして、復号化レイヤ(アップサンプリングブロック)は高忠実度サウンドを再構成することが期待される。中間に残留レイヤを付加して、畳込みレイヤの受容野を増加させることにより、より時間的・空間的依存性を捕捉し、モデル複雑性を改善した。いくつかの実施形態では、RANetはグレイスケール画像として128×128の大きさの入力スペクトログラムをとり、3×3ストライド畳み込みを使用し、ダウンサンプリングブロックの各層でカーネルの数を2倍で、32から始まる。アップサンプリングブロックでは、エンコーダとデコーダの間の対称性を確保するために、カーネルの数が次第に半分に減る。残差ブロックではカーネルの数は変化せず、各二重畳込み層の出力はそれらの入力と結合される。トレーニング手順をより容易にするために、とりわけ深い神経回路網のために示されているように、RAネットを構築するために残差接続およびスキップ接続を使用することができる。
これは非常に難しい逆問題のための比較的深いニューラルネットワークであるので、成功したトレーニング処理は広範なデータ収集を必要とする。しかしながら、大量のRFデータを収集することは費用がかかり、これは多くの学習ベースのセンシングシステムの実際的な限界である。他方、オンラインで利用可能になる、増大する巨大なオーディオデータセットが見られた。いくつかの実施形態では、広範なデータ収集手順を経る代わりに、RadioMicは開示された無線音響モデルを活用し、大量のオープンソースデータセットを、トレーニングのための合成的にシミュレートされた無線音響に変換する。いくつかの実施形態では、2つのパラメータ、すなわち式(32)のようなチャネルhおよび雑音wが音声データセットを用いて無線音響を模倣するために特に必要とされる。システムは異なるシナリオをカバーするためにこれらのパラメータに対して複数推定値を使用することができ、また、種々の雑音レベルおよび種々の周波数応答においてレーダ音響を人工的に作成することができ、従って、システムは非常に少ないデータ収集オーバヘッドでRANetを効率的に訓練することができる。さらに、この手順は、評価データセットのみが実際の無線音声を含むので、厳密なシステム評価を保証する。
いくつかの実施形態では、トレーニングされたモデルを用いて、RANetはインプットとして未加工のレーダ音響を用い、雑音除去と帯域幅拡大に使用されるマグニチュードスペクトログラムを抽出する。RANetの出力マグニチュードスペクトログラムを入力スペクトログラムの位相と合成し、音声の時間領域波形を構築する。いくつかの実施形態ではエッジへのパディングの影響を低減し、長時間依存性を捕捉するために、推定されたスペクトログラムの中心部分のみが使用され、入力は両側に適切なパディングを有するオーバーラップフレームとして取られる。
RadioMicは特定なタイプのレーダに限定されないが、例えば、リアルタイムデータキャプチャボードを有するCOTミリ波レーダのように、実施のためのFMCWミリ波レーダを使用することができる。いくつかの実施形態では、それは3.52GHzの帯域幅で77GHzで動作する。いくつかの実施形態では、レーダデバイスは3送信機(Tx)アンテナと4受信機(Rx)アンテナを持ち、レーダの過度に高いデューティサイクルを避けながら、人間の音の範囲に近い3.125kHzまでの検知を可能にする6.25kHzに設定されたサンプリングレートを持つ。デバイスの2 つのTxアンテナを使用できる。これにより、アンテナの配置のため、8 つの仮想受信機が可能になる。設定における距離分解能は4.19cmであり、レーダ軸に対して4.19cm離れて配置された異なるオブジェクトは、RadioMicによって分離することができる。
いくつかの実施形態ではレンジFFTを適用すると、抽出されたCIRは毎秒(8×256×6250)サンプルとなる。システムは、75%の重なりのある256サンプル(≒40ミリ秒)のフレーム長と周期的ハニングウインドウを用いてレンジドップラスペクトログラムを抽出できる。ウインドウ関数の選択は完全な再構成を保証し、良好なサイドローブ抑圧特性を有し、レンジドップラスペクトログラムの対称性に対するDCサイドローブの低減された影響を確実にする。
いくつかの実施形態では、トレーニングRANetの合成データを作成するために、様々な位置で周波数掃引を行い、無線チャネル応答hを抽出することができる。変動を説明するために、測定されたhにピースワイズ線形近似を適用し、変動を捕捉するために追加のランダム性を適用することができる。騒音特性を捕らえるために、動きのない空き部屋でデータを収集することができる。それぞれのレンジビンから雑音が抽出され、次に、様々な位置を考慮するために、様々なスケールレベルで合成データに加えられる。
いくつかの実施形態では、システムが入力オーディオファイルを8kHzにダウンサンプリングし、40msウインドウ(256サンプル)を使用してスペクトログラムを算出する。レーダ音響を入力として使用する場合、システムは出力を抽出する前にそれらのオーディオファイルを8kHz にアップサンプリングする。いくつかの実施形態では、ニューラルネットワークへの入力は128個のサンプル(≒1秒)として取られ、ここでは中央の32個のサンプル(≒0.25秒)のみが再構成及びエラー算出のために使用される。
いくつかの実施形態では、システムが実スペクトログラムと推定スペクトログラムとの間のL2ロスを使用することができる。エラーを算出する前に、システムは、マッピングlog(1+G)を適用することができ、Gはスペクトログラムを示す。システムは合成入出力データを作成するための256万個のスペクトログラムをランダムに選択し、ネットワークを10エポック、トレーニングすることができる。
RadioMicの異なるモジュールは、オフィススペース、ホーム、音響遮音されたチャンバーなど、複数の場所に配置することができる。音質を評価することが簡単ではない。音声処理文献には非常に多くの異なったメトリックがあるが、音声品質の知覚的評価(PESQ)、対数尤度比(LLR)および短時間明瞭度指数(STOI)を採用することができる。PESQはユーザの学習を必要とせずに、平均オピニオン評点にマッピングすることができる定量的メトリックを抽出ことを試み、1(最悪)から5(最良)までの値を報告する。LLRは2つの信号間の距離を測定し、0(最良)~2(最悪)の値を推定する。STOIは音の明瞭度の別の尺度であり、1が最良である値(0,1)を報告する。人間の知覚と相関しないので、リファレンスと再構成されたサウンドとの間のSNRを報告することを回避することができる。むしろ、サイレントモーメントから推定されたノイズエネルギを使用してSNRを報告することができる。これは、未加工のサウンドデータ抽出中にRadioMicによって使用され、ノイズ量抑制に関する相対的なアイデアを与えるためである。
いくつかの実施形態では、検出分析のためのデータ収集には、環境内の静的反射物、レーダ前方の人体と同様に、立位と座位を繰り返すこと、歩行、走行、所定の位置で回転することなどの無作為な動きが含まれる。一方、システムは、アクティブソースやパッシブソースを備えた複数のサウンドファイルや音楽ファイルを使用してデータを収集することもできる。より重要なことは、RadioMicがこれらの干渉を正常に除去できるかを見るために、動きデータおよびサウンドデータを同時に収集することができることである。
開示されたサウンドメトリックから得られる利得を示すために、他の方法を実施し、比較することができる。1)HHI(UWHear)、HHIを使用し、適切な閾値を選択するために何らかのトレーニングを必要とする。2) CFAR (mmVib)、事前に振動源の個数を知る必要があり、最も高いピークを抽出する。この手法を模倣し、合理的な比較を提供するために、様々な閾値レベルでCFAR検出規則を適用し、より公平な比較を行うためにDC周辺の検出を除去することができる。さらに、ハード閾値処理(RadioMic-T)を外れ値ベースの検出器(RadioMic-O)と比較することもできる。比較結果によれば、RadioMic‐TはRadioMic‐Oよりもやや劣るが、他の方法は無作為動きを振動からロバストに区別することができず、環境に任意の動きが存在するため、他の方法を実用的なアプリケーションから妨げる。
アクティブソース(スピーカのペア)とパッシブソース(大きさ4×6インチのアルミ箔)を使用して、さまざまな距離方位角(レーダに対して)でRadioMicの検出性能を調べることができる。いくつかの実施形態では、位置毎に5つの異なったサウンドファイルを使用することができ、そのうちの3つは音楽ファイルであり、2つは人間の音声である。いくつかの実施形態では、RadioMicはアクティブケースでは4mまで91%の平均精度で、パッシブソースのケースでは2mまで70%の精度で、共に90度の視野で、音響をロバストに検出することができる。パッシブソースの性能は、振動がずっと弱くなるので、より低いことが予想される。
パッシブ材料を用いたRadioMicの検出性能をさらに評価するために、写真フレーム、紙袋、またはチップの袋などの追加の日常材料を用いて実験を行うことができる。RadioMicを使ったサウンド検出は、さまざまな材料で可能である。より低いレートでも、評価は40m秒継続期間のフレームで行われるので、特定のインスタンスに対していくつかの音響信号が検出される。アプリケーションシナリオがより低いミス検出率を必要とする場合、性能は、時間的平滑化によって改善され得る。
いくつかの実施形態では、サウンド振幅がパッシブオブジェクトからの検出比率に及ぼす影響も調べることができる。5dBのステップで試験ファイルの振幅を85dBから60dBに減らし、検出率を測定することができる。結果は、とりわけ振幅がより低いときに、RadioMicが現存するアプローチよりも性能が優れていることを示している。さらに低いレベルで音を検出することは、極端に弱い振動のために、マイクロホン以外のセンシングにとって一般的な課題である。
いくつかの実施形態では、音響信号はIQ平面上の線形射影で近似でき、最適角度が信号対雑音の最大化射影で得られた。このアプローチは信号SNRを最大化するが、SNRは人間の知覚には関係しないので、知覚的により高音質をもたらさないかもしれない。そのために、RadioMicの最適角から逸脱した複数の射影角を試験し、これらの角度に対してLLRおよびSTOIを使用して結果を生成することができる。いくつかの実施形態では、結果が線モデルと一致する、間の単調な低下を伴って、0度で最良の射影結果を示し、90度で最悪の射影結果を示す。これは、最適方式が任意の軸よりも高い性能を達成できることをさらに示している。
いくつかの実施形態では、開示された手法を他の研究と比較するために、RANetなしで未加工の再構成のみを用いるものであってもよい。この比較のために、アクティブスピーカを1m離れたところで様々な方位角で使用することができ、さらなる距離は時に不安定な性能メトリックを報告する。総じて、RadioMicは未加工の音響再構成だのためだけについて、UWHearおよびmmVibの両方より優れており、追加の処理ブロックを用いて音質をさらに改善する。ダイバシティ合成およびディープラーニングからの利得を用いて、パッシブソースを用いてデータセットに対するそれぞれの成分の影響を調査することができる。全体として、追加のダイバシティ合成方式の各々は、すべてのメトリックに関して性能を改善する。同時に、RANetは総ノイズレベルを大幅に低減し、PESQを増加させる。RANetはLLRで悪い値を生み出すが、これはレーダ信号に印加されるhのチャネル反転演算に起因する。最適なチャネル復旧動作が要求されるが、RANetは複数のチャネル応答について訓練され、hに近似するだけである。その結果、RANetによって適用されるチャネル反転は、次善のものであることが予想される。その結果、STOIメトリックはより高い変動量を示し、これは、入力中のサンプルオーディオファイル中の高レベルの雑音によるものである。ノイズが大きいときは、hを反転するのではなく、ノイズwの影響に対抗するために学習し、ほとんど空の信号を出力する。十分な信号内容がある場合、RANetは、明瞭度をさらに改善する。
変化する位置と角度からの音の回復を調べるために、アクティブソースとパッシブソースに対する生のSNR出力を調べることができる。いくつかの実施形態では近くの位置がより高いSNRを有し、より良好な音の回復を可能にし、角度に関する依存性はむしろ弱い。距離の増加は振動SNRを強く減少させる(例えば、アクティブソースの場合、1mで20dBから2mで14dB。)、これは、おそらくレーダデバイスのビーム幅が大きく、伝搬ロスが大きいためである。
いくつかの実施形態では音声振幅に関するSNRを調べることにより、種々の音レベルでアクティブソースとパッシブソースの両方を試験できる。較正はスピーカから0.5m離れた位置の音響振幅を300Hzで測定することにより行われる。一般的に、SNRは音響レベルの減少に対して減少する。同様の音響レベルでは、パッシブソースあるアルミ箔がアクティブソースに比べて最大10dB損失する可能性がある。いくつかの実施形態ではRadioMicが距離を上げるよりも音響レベルを下げることで、より良いSNRを保持する。このことは大きな距離の制限要因が伝搬損失ではなく、比較的小さな表面積による反射損失であることを示している。したがって、より多くの方向性ビーム(例えば、送信ビームフォーミング、または指向性アンテナ)を用いれば、低音振幅もある程度の回復が期待できるので、RadioMicの実効範囲を改善することができる。
いくつかの実施形態では、2つの異なった合成されたオーディオファイルがアクティブソースとパッシブソースの特性の間の潜在的な差分を示すために使用される。この設定では、パッシブソース(アルミ箔)は0.5m離れた場所に配置され、アクティブソースは1mに配置される。その結果、積極的なチャネル補正動作がオンのため、アクティブソース(スピーカダイアフラム)は低周波数帯域でより多くのコンテンツを有し、一方パッシブサウンドはより多くの高周波数コンテンツをもたらすことを示す。より詳細な比較をテーブルIIIに提供される。
さらに、NLOS動作においてRadioMicを検証することができる。そのために、オフィスエリアに加えて、側面に二重のガラス層を持つ遮音されたチャンバーで実験を行うことができる。このシナリオは、静かな環境から外部の部屋へのIoTシステムのレンジを広げる代表的である。この特定のシナリオでは、パッシブソース(例えば、アルミ箔)および能動ソース(例えば、スピーカ)の両方を試験することができる。追加の層が高周波反射信号をさらに減衰させるので、アクティブスピーカを80cm、パッシブソースを35cm離して、わずかに近い距離でNLOS設定を試験することができる。詳細な結果をテーブルIIIに示す。見られるように、遮音層はRadioMicにあまり影響を与えず、LOS設定およびNLOS設定は全く同様に実行する。いくつかのメトリックはより短い距離のために、NLOSのケースにおいて向上さえ示す。
表3:アクティブ対パッシブソース比較
表3:アクティブ対パッシブソース比較
いくつかの実施形態では、RadioMicはまた、別のアクティブソースとして、人間のどからの声帯の振動を捕捉することができる。静かな60dBレベルでスピーカの前でハミングを始め、ユーザから複数の記録を集めることができる。RadioMicは人間の喉からの周波数応答hでトレーニングされていないが、それでもなお、いくつかの有効な信号コンテンツを捕捉することができる。他方、そのような音声の明瞭度は他のソースと比較してかなり低く、RANetは実際の音声を推定しないことがある。人間の咽喉に関するRadioMicの性能は、人間の咽喉からの大量のRFデータによっても改善され得る。
いくつかの実施形態では、RadioMicはまた、複数の音源分離のために、および音源を分類するために使用され得る。
複数の音源の分離は複数の人のセンシングを可能にし、または干渉ノイズ源に対するロバスト性を改善するだろう。実現可能性を示すために、ステレオスピーカの左右のチャネルから2つの異なった音声ファイルを同時に再生することができる。たとえば、右スピーカを0.75m、左スピーカを1.25m に配置できる。これは、マイクロホンスペクトログラムと共に、RadioMicによって抽出された2つのスペクトログラムをもたらす。マイクロホンスペクトログラムは複数音源の混合を抽出し、重大な妨害を受けやすい。対照的に、ラジオミック信号ははるかに高い忠実度を示し、2人の人物の音声は、互いに十分に分離することができる。RadioMicは、音源分離能力に加えて、1つのシステムにおいて、より多くの特徴を達成することができる。より高い忠実度は、単一のマイクロホンと連携してRadioMicを使用することによって追い求められ得る。
別のアプリケーションとして、音源分類の実現可能性を調査することができる。RadioMicが音源を感知すると、RadioMicは、音発生メカニズムの追加の物理特性を同時に捕捉する。開示されたシステム、RadioMicで、人間とスピーカのような無生物ソースとの間で音源を区別することができることが分かる。これは、今日のマイクロホンはすべて、ハードウェアの欠陥により、聞こえない攻撃およびリプレイ攻撃に苦しんでいることがよく知られているので、重要なアプリケーションである。結果は、RadioMicは、前例のない応答時間で、音のめりはりの検出を可能にすることができることを示している。1つの実験では、ユーザが2つの異なる言語で5つの異なる文を記述し、音声はコンデンサマイクロホンを使用して記録される。その後、同じ音が同じ距離のスピーカを介して同じサウンドレベルで再生され、RadioMic出力がキャプチャされる。
その結果に基づいて、人間の喉はDC成分の周りでより弱い振幅を示した。これは、スピーカと人間の喉の反射係数が大きく異なるためであり、材料センシングに利用される現象である。微小な身体動きおよび声道の動きのために、人間の喉の反射エネルギは経時的により多く変化し、より強いサイドローブを有する。声帯とレーダの間のスキンレイヤのために、人間の喉はスピーカに比べて振動に対してより強いローパスフィルタリングを適用する。これは、音に対して関心のある周波数に関連する。いくつかの実施形態では、RadioMicでライブネスを検出可能にするために、これらの結果に基づいて基本的な分類器を実施することができる。いくつかの実施形態では、システムは、ライブネスのインジケータとして、レーダスペクトログラムにわたる動き影響帯域(motion affected band)(35~60Hz)におけるエネルギの比率を使用することができる。いくつかの実施形態ではRadioMicがわずか40ミリ秒のデータでソースを95%の精度で分類することができ、これは320m秒に増加することによって99.2%に増加する。RadioMicは音を感知し、同時にソースを分類することができるので、貴重なアプリケーションを約束する。
このようにして、本開示は、環境内の音源およびパッシブオブジェクトから音を再構成することができるミリ波レーダベースの音響センシングシステムであるRadioMicを開示する。
アクティブソース(スピーカや人間の喉など)や周囲の音に起因するオブジェクトの表面(紙袋など)で発生する微小な振動を利用して、RadioMicは新しい無線音響モデルとニューラルネットワークを使用して音源を識別するとともに、音を検出し、回復することができる。RadioMicは、防音壁であっても、壁を通って機能することができる。無線信号内の極めて微弱な音の振動を音の信号に変換するために、RadioMicは無線音響学およびロバストな音の検出と高忠実度の音の復元のためのトレーニングのないアプローチを使用する。これは、回復可能な周波数を拡張し、ノイズを低減することによって、回復されたサウンドをさらに強化するために、ニューラルネットワークを利用する。RadioMicはネットワークを訓練するために、大量のオンラインオーディオを合成データに変換することができ、したがって、RFデータの必要性を最小限に抑えることができる。様々な設定での広範な実験はRadioMicが既存のアプローチよりも性能が優れており、多くの用途に有益であることを示している。
いくつかの実施形態では、より高度なハードウエア及び高度なビームフォーミングがRadioMicのより良い性能を支えることができる。いくつかの実施形態では、RANetは、RFトレーニングデータが制限された1秒ウインドウを使用し、高周波欠損の基本的な限界を緩和する。いくつかの実施形態では、より利用可能なRFデータが与えられれば、より複雑なモデルを用いて長期の時間依存性を利用することにより、より良い品質を達成することができる。人間の喉からのより多くのRFデータは、人間の音声センシングのためのより良い性能をもたらすことができる。
いくつかの実施形態では、RadioMicおよびマイクロホンは相補的である。適切なディープラーニング技法を使用することで、RadioMicからのサイド情報をマイクロホンと連動させて使用することで、マイクロホン単体よりも音の分離とノイズ軽減の性能を向上させることができる。RadioMicを用いて、サイドチャネル攻撃に対する音のライブネス検出のためのセキュリティシステムを構築することができ、またはミリ波イメージングおよび他のセンシング技術を用いてRadioMicを調査することができる。
図22は、本開示のいくつかの実施形態による、ミリ波信号に基づく音響センシングのための例示的方法2200のフローチャートを示す。様々な実施形態において、方法2200は、上記に開示されたシステムによって実行され得る。動作2202では、第1の無線信号、例えば、ミリ波信号が場所の無線チャネルを通して送信される。動作2204において、第2の無線信号が無線チャネルを介して受信され、ここで、第2の無線信号は、場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含む。動作2206において、第2の無線信号に基づいて無線チャネルのチャネル情報(CI)の時系列が取得される。動作2208において、場所内の振動オブジェクトの存在が、CIの時系列(TSCI)に基づいて判定される。動作2210では、音響信号がTSCIから抽出される。動作2212では、少なくとも1つの音声が例えば、ディープラーニングモデルを使用して、音響信号に基づいて再構成される。図22の動作の順序は、本開示の様々な実施形態に従って変更することができる。
いくつかの実施形態では、音響センシングシステムの方法が以下のようにs1~s8をステップすることを含む。
ステップs1:システムは、周波数変調搬送波(FMCW)波形を使用して、複数の送信(Tx)アンテナおよび複数の受信(Rx)アンテナを使用して、ミリ波無線デバイスによって音オブジェクトおよび/または音源からの反射信号を捕捉する。特定の距離からの信号はg(t、τ)と定義され、tは長時間を表し、τは短時間を表す。
g(t,τ)= αl(t)exp(-j2πfcτl(t))
g(t,τ)= αl(t)exp(-j2πfcτl(t))
ステップs2:システムは、ある期間内のすべての異なったτについて、短時間インデックスτに高速フーリエ変換(FFT)を適用することにより、FMCW波形をチャネルインパルス応答(CIR)に変換する。
ステップs3:システムはチャネルインパルス応答上に短時間Fourier変換を適用し、レンジドップラ時間レーダデータキューブG(f、r、k)を構築する。ここで、f、r、kはそれぞれドップラシフト、レンジ、および長時間インデックスを表す。
ステップs4:システムは振動オブジェクトを検出し、位置を特定する。これはサブステップs4a~s4dを含むことができる。
いくつかの実施形態では、サブステップs4aにおいて、システムはレーダデータキューブを正と負の部分に、すなわちG+(f、r、k)=|G(f、r、k)| for f∈(0,Ns/2)、G-(f、r、k)も同様に分離し、しかし負のドップラ周波数を用いる。
いくつかの実施形態ではサブステップs4bにおいて、システムはそれぞれの時間インデックス(k)及び範囲インデックス(r)に対する音声メトリックを計算し、これはG+とG-の間の類似性の尺度である。一実施形態では、音響メトリックがG+とG-の間のコサイン距離を計算することによって決定される。別の実施形態では、音響メトリックがL0、L1、L2、L_略など、2つの間の他の距離メトリックを計算することによって決定される。別の実施形態では、サウンドメトリックが以下のように、修正されたコサイン距離を計算することによって決定される。
この場合、総和はよりロバストな検出のために、特定の周波数に関して制限される。
この場合、総和はよりロバストな検出のために、特定の周波数に関して制限される。
いくつかの実施形態ではサブステップs4cにおいて、システムはサウンドメトリックからバックグラウンドを減算して、システムをスタティックなバックグラウンド反射に対してよりロバストにする。一実施形態では、静止状態のバックグラウンドを仮定すると、システムはそれぞれの距離の時間アベレージm(r,k)を計算し、実際の値からその値を減算することができる。時間平均は、平均、中央値、またはトリム平均などの任意の一次統計をとることによって計算することができる。
いくつかの実施形態ではサブステップs4dにおいて、システムはサウンドメトリックに基づいてオブジェクトを検出し位置を特定する。一実施形態では、システムは、所定の閾値T*を使用して、サウンドメトリック値を閾値処理することによってオブジェクトを検出する。別の実施形態では、システムが外れ値検出法を使用することによって、オブジェクトを検出するために、音声メトリックm(r,k)内の外れ値を抽出する。外れ値検出は、フレーム分散、平均からの絶対偏差、または任意の他の方法によって行うことができる。
いくつかの実施形態では、ステップs4において、振動の存在を検出し、その位置を見つけるために、CFAR検出、またはピーク検出などの他のオブジェクト検出メトリックを使用することができる。
いくつかの実施形態では、ステップs5において、システムは複素値レーダベースバンド信号から実数値振動信号を抽出する。これは、サブステップs5a~s5eを含むことができる。
いくつかの実施形態では、システムは、サブステップs5aにおいて、CIRで低域通過フィルタによってバックグラウンド動きおよび低速度動きをフィルタで除外する。他の実施形態ではサブステップs5aにおいて、システムはスペクトログラム上で0Hz付近の周波数を零にすることができる。
いくつかの実施形態では、サブステップs5bにおいて、システムは複素信号(実数/虚数を有する)部分を複素領域内の線上に射影し、したがって、スカラで複素値を表す。他の実施形態では、サブステップs5bにおいて、軸上に射影する代わりに、システムは信号の実部または虚部を抽出することができ、これもまた別の射影である。
いくつかの実施形態では、サブステップs5cにおいて、システムは射影後の信号のスペクトログラムを再計算することができる。
いくつかの実施形態では、サブステップs5dにおいて、システムはG+およびG-の最大を抽出して再構成された音の質を改善することができる。
いくつかの実施形態では、サブステップs5eにおいて、システムは逆短時間フーリエ変換を適用して実数値音響信号を抽出することができる
ステップs6では、システムは複数のダイバシティを使用して信号の強化を実施することができる。これは、サブステップs6aおよびs6bを含むことができる。
いくつかの実施形態ではサブステップs6aにおいて、システムはそれぞれの距離から最良のアンテナを抽出するためにアンテナ選択を実施することができる。他の実施形態ではサブステップs6aにおいて、システムは雑音を低減するためにビームフォーミングを実施することができる。
いくつかの実施形態ではサブステップs6bにおいて、システムは最良の信号を抽出するためにマルチパス選択を実施することができる。例えば、システムはオブジェクトなしで場所が空の場合に信号対雑音比を計算でき、反射信号がある場合に最良のアンテナ/マルチパスを選択できる。
ステップs7で、システムは、前のステップの出力に同時にノイズ除去および帯域幅拡大を適用する信号強化のためのディープラーニングモジュールをトレーニングすることができる。前段階の出力では、オブジェクト振動の特性により再構成された音声の高周波成分が失われ、バックグラウンドクラッタが追加の雑音を作る。高品質で明瞭な音声を再構成するためには、物体表面と物体振動特性による変化を逆にする必要があり、これにはノイズ除去、高周波成分の再構成が含まれる。ディープラーニングモジュールは、様々な方法によって達成することができるトレーニングデータを必要とする。
いくつかの実施形態ではトレーニングデータを取得するために、システムは環境内の様々なタイプのオブジェクトの周波数レスポンス、および複数の部屋や環境の背景雑音をキャプチャすることができる。さらに、システムは、オンラインデータセットを使用することによってシミュレートされた合成データを得ることができる。オブジェクトiの表面から捉えたhiの周波数応答と、実現jのための雑音信号njを想定すると、インプット信号xの合成/雑音の混在は
によって示され。これは、異なったi’sおよびj’sに対して、
によって表され、与えられる。
によって示され。これは、異なったi’sおよびj’sに対して、
によって表され、与えられる。
他の実施形態ではトレーニングデータを取得するために、システムは場所において無線信号および音声信号の広範なデータ収集を同時に実行することができる。そのように、システムは雑音除去と帯域幅拡大のための信号強化のためにディープラーニングモジュールをトレーニングするために使用できる。劣化した音声はニューラルネットワークへのインプットとして使用され、高品質の音声はニューラルネットワークによる推定のためのターゲットとして使用される。
ステップs8では、システムが音声信号に基づいて音声を再構成するように、雑音の多い帯域制限された無線音響を強化するために、出力無線信号と共にディープラーニングモジュールを使用することができる。
以下の番号付けされた項は、無線信号に基づく音響センシングの実施例を提供する。
項D1。場所の無線チャネルを介して第1の無線信号を送信するように構成された送信機と、前記無線チャネルを介して第2の無線信号を受信するように構成された受信機であって、前記第2の無線信号が、前記場所内の少なくとも1つのオブジェクトによる前記第1の無線信号の反射を含む、受信機と、プロセッサであって、第2の無線信号に基づいて無線チャネルのチャネル情報(CI)の時系列を取得し、CIの時系列(TSCI)に基づいて場所内の振動オブジェクトの存在を判定し、TSCIから音響信号を抽出し、音響信号に基づいて少なくとも1つの音声を再構成するように構成されたプロセッサと、を含む音響センシングのためのシステム。
項D2。項D1のシステムであって、各CIはCIRを含み、第1の無線信号はミリ波で搬送される、システム。
項D3。項D2のシステムであって。振動オブジェクトは、少なくとも1つの音声をアクティブに与える人、少なくとも1つの音声をアクティブに出力するデバイス、または少なくとも1つの音声によってパッシブに振動するオブジェクトのうちの少なくとも1つである、システム。
項D4。項D3のシステムであって、ここで、TSCIを得ることは、短時間インデックスに関して第2の無線信号が搬送する周波数変調搬送波(FMCW)波形に高速フーリエ変換適用することを含む、システム。
項D5。項D4のシステムであって、TSCIを得ることは、レーダスペクトログラムを構築するために、TSCI上に短時間フーリエ変換を適用することを含み、レーダスペクトログラムは、ドップラ周波数シフトを表す周波数インデックス、時間フレームを表す長時間インデックス、および受信機からの距離範囲を表す距離範囲インデックスを有する関数である、システム。
項D6。項D5のシステムであって、振動オブジェクトの存在を判定することは、受信機からの各時間フレームおよび各距離範囲に関して、正の周波数に対するレーダスペクトログラムの第1の大きさを判定することと、負の周波数に対するレーダスペクトログラムの第2の大きさを判定することと、第1の大きさと第2の大きさとの間の類似性に基づいて音響メトリックを計算することと、を含む。
項D7。項D6のシステムであって、前記サウンドメトリックを計算することは、各時間フレーム及び受信機からの各距離範囲に関して、第1の大きさと第2の大きさとの間の距離関数を計算することを含み、距離関数は、コサイン距離、L0距離、L1距離、L2距離、またはL_・・・距離のうちの少なくとも1つを含む、システム。
項D8。項D6のシステムであって、振動オブジェクトの存在を判定することは、受信機から各距離範囲についての音響メトリックの時間平均を計算することと、音響メトリックから時間平均を差し引いて、受信機からの各時間フレームおよび各距離範囲における音響メトリック値を生成することとを含む、システム。
項D9。項D8のシステムであって、動オブジェクトの存在を判定することは、音響メトリック値に所定の閾値を適用することによって振動オブジェクトの存在を判定することと、振動オブジェクトの位置を特定することと、を含むシステム。
項D10。項D8のシステムであって、振動オブジェクトの存在を判定することは、時間フレーム分散又は平均からの絶対偏差に基づいて音響メトリック値の外れ値を検出することによって振動オブジェクトの存在を判定することと、振動オブジェクトの位置を特定することと、を含むシステム。
項D11。項D8のシステムであって、振動オブジェクトの存在を判定することは、長時間インデックスおよび/または距離範囲インデックスに沿ったレーダスペクトログラムのピークを抽出することによる振動オブジェクトの存在の判定することと、振動オブジェクトの位置を特定することと、を含むシステム。
項D12。項D8のシステであって、振動オブジェクトの存在を判定することは、レーダスペクトログラムに一定誤警報率(CFAR)検出規則を適用することによって振動オブジェクトの存在を判定することと、振動オブジェクトの位置を特定することと、を含むシステム。
項D13。項D8のシステムであって、TSCIから音響信号を抽出することは、フィルタされた信号を生成するためにバックグラウンド動きと低速度動きをフィルタで除外することを含み、フィルタすることは、TSCIに低域通過フィルタを適用すること、又はレーダスペクトログラムのゼロ周波数の近傍の周波数成分を除去すること、のうちの少なくとも1つを含む、システム
項D14。項D13のシステムであって、TSCIからサウンド信号を抽出することは、フィルタされた信号に基づいて射影信号を生成することを含み、射影信号は、フィルタされた信号を複素領域の線に射影して、フィルタされた信号の複素値をスカラで表すか、フィルタされた信号の実部または虚部を抽出するかの内の少なくとも1つにより生成される、システム。
項D15。項D14のシステムであって、TSCIから音響信号を抽出することは、射影信号に基づいて無線スペクトログラムを再計算することを含むシステム。
項D16。項D15のシステムであって、TSCIから音響信号を抽出することは、正の周波数に対する再計算されたレーダスペクトログラムの正の大きさのスペクトログラムを抽出することと、負の周波数に対する再計算されたレーダスペクトログラムの負の大きさのスペクトログラムを抽出することと、正の大きさのスペクトログラムと負の大きさのスペクトログラムの最大値に基づいて音響スペクトログラムを判定することと、を含むシステム。
項D17。項D16のシステムであって、TSCIから音響信号を抽出することは、実数値音響信号を抽出するために、音響スペクトログラムに逆短時間フーリエ変換を適用することを含む、システム。
項D18。項D17のシステムであって、TSCIから音響信号を抽出することは、受信ダイバシティに基づいて実数値音響信号から強化された音響信号を生成することを含み、第2の無線信号は受信機の複数のアンテナによって受信され、受信ダイバシティは、受信機からの各距離範囲について受信機の最良のアンテナを選択することで得られ、裁量のアンテナは、場所に音がないときのアンテナごとの信号対雑音比(SN比)の計算に基づいてあらかじめ決定される、音響信号を生成することを含むシステム。
項D19。項D17のシステムであって、TSCIから音響信号を抽出することは、ビームフォーミングに基づいて実数値音響信号から強化された音響信号を生成することを含むシステム。
項D20。項D17のシステムであって、TSCIからサウンド信号を抽出することは、ルチパスダイバシティに基づいて実数値音響信号から強化された音響信号を生成することを含み、無線チャネルは複数のマルチパス成分を含み、マルチパスダイバシティは受信機からの各距離範囲について無線チャネルの最良のマルチパス成分を選択することによって得られ、最良のマルチパス成分は場所内に音が存在しない場合に、各マルチパス成分について信号対雑音比(SNR)を計算することに基づいて予め決定される、システム。
項D21。項D20のシステムであって、音響信号に基づいて少なくとも1つの音声を再構成することは、入力スペクトログラムにディープラーニングモデルを適用して大きさスペクトログラムを抽出することであって、入力スペクトログラムは強化された音響信号に基づいて生成される、抽出することと、入力スペクトログラムの大きさスペクトログラムと位相情報とに基づいて、少なくとも1つの音声の時間領域波形を再構成することと、を含むシステム。
項D22。項D21のシステムであって、ディープラーニングモデルは、同時にノイズ除去および帯域幅拡大をすることによって、入力信号を強化するために事前トレーニングされる、システム。
項D23。項D22のシステムであって、プロセッサは、トレーニングデータセットに基づいてディープラーニングモデルをトレーニングするようにさらに構成されており、トレーニングデータセットは、場所内のオブジェクトの様々なタイプの周波数応答、場所内のバックグラウンド雑音、及びオープンソースデータに基づいてシミュレートされた合成音響信号が含まれる、システム。
項D24。項D22のシステムであって、プロセッサは、ディープラーニングモデルをトレーニングデータセットに基づいてトレーニングするようにさらに構成され、トレーニングデータセットは、場所において同時に収集された無線信号および音声信号と、場所のバックグラウンド雑音を含む、システム。
項D25。項D22のシステムであって、サウンド信号は、 場所内の様々な位置にある複数音源からの音響情報を含み、プロセッサはレーダスペクトログラムに基づいて、複数の音源の各々からの音響情報の個々のスペクトログラムを分離し、各個々のスペクトログラムに基づいて音声を再構成するようにさらに構成される、システム。
項D26。項D25のシステムであって、プロセッサは各個々のスペクトログラムの物理特性を取得し、各個々のスペクトログラムの物理特性に基づいて、複数のソースのそれぞれ1つを人間または無生物として分類するようにさらに構成される、システム。
項D27。音響センシングシステムの無線デバイスであって、プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合された受信機とを備え、音響センシングシステムの追加の無線デバイスは、場所の無線チャネルを介して第1の無線信号を送信するように構成され、受信機は、無線チャネルを介して第2の無線信号を受信するように構成され、第2の無線信号は、場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含み、プロセッサは、第2の無線信号に基づいて無線チャネルのチャネル情報(CI)の時系列を取得し、CIの時系列(TSCI)に基づいて場所内の振動オブジェクトの存在を判定し、TSCIから音響信号を抽出し、音響信号に基づいて少なくとも1つの音声を再構成するように構成された、無線デバイス。
項D28。項D27の無線デバイスであって、TSCIを得ることは、短時間インデックスに関して第2の無線信号によって搬送される周波数変調搬送波(FMCW)波形に高速フーリエ変換を適用することと、TSCIに短時間フーリエ変換を適用してレーダスペクトログラムを構築することとを含み、レーダスペクトログラムは、ドップラ周波数シフトを表す周波数インデックス、時間フレームを表す長時間インデックス、および受信機からの距離範囲を表す距離範囲インデックスを持つ関数である、無線デバイス。
項D29。項D28の無線デバイスであって、振動オブジェクトの存在を決定するステップは、正の周波数に対するレーダスペクトログラムの第1の大きさを判定することと、負の周波数に対するレーダスペクトログラムの第2の大きさを判定することと、各時間フレームおよび受信機からの各距離範囲に関して、第1の大きさと第2の大きさとの間の類似性に基づいて音響メトリックを計算することと、受信機から各距離範囲についての音響メトリックの時間平均を計算することと、音響メトリックから時間平均を差し引いて、各時間フレームおよび受信機からの各距離範囲における音響メトリック値を生成することと、を含む無線デバイス。
項D30。音響センシングシステムの方法であって、場所の無線チャネルを介して第1の無線信号の送信することと、無線チャネルを介して第2の無線信号を受信することであって、第2の無線信号は、場所内の少なくとも1つのオブジェクトによる第1の無線信号の反射を含む、受信することと、第2の無線信号に基づいて無線チャネルのチャネル情報(CI)の時系列を取得することと、CIの時系列(TSCI)に基づいて場所内の振動オブジェクトの存在を判定することと、TSCIから音響信号を抽出することと、音響信号に基づいて少なくとも1つの音声を再構成することと、を含む方法。
本明細書で開示されるシンボル「/」は、「および/または」を意味する。例えば、「A/B」は、「Aおよび/またはB」を意味する本開示は、無線監視システムの方法、機器、デバイス、システムおよび/またはソフトウエアに関する。一実施形態では、システムは、場所のそれぞれの位置に配置された、無線信号に基づいて場所内のオブジェクトの動きを監視するために一緒に働く複数の無線デバイスを備える。
無線デバイスの中には、少なくともタイプ1とタイプ2の2つのタイプのデバイスがある。同じタイプのデバイスは、場合によっては様々なハードウェア構成(プロセッサ、メモリ、回路、配置、ボード、モジュール、組立品、筐体、製造、時計レート、無線、アンテナ、バス、コネクタなどを含むが、これらに限定されない)、またはソフトウエア/ファームウェア、または製造業者/ブランドなどを持つ異種のものでありうる。いくつかのデバイスはタイプ1およびタイプ2の両方であってもよい(例えば、交互に、または同時に、または同じ時に、または非同期に)。ネットワークでは、タイプ1異種無線デバイスが場所の無線マルチパスチャネル内で無線信号をタイプ2異種無線デバイスに送信するように構成される。タイプ2デバイスは無線信号を受信し、無線マルチパスチャネルのチャネル情報(CI)の時系列を取得するように構成される。CIの時系列(TSCI)は、無線信号から抽出することができる。オブジェクトおよび/またはオブジェクトの動きのいずれかの特性(例えば、少なくとも1つの一連の特性)および/または時空間情報(STI、例えば、動き情報または少なくとも1つの一連のSTI)は、TSCIに基づいて計算されてもよい。タスクはサーバ(例えば、クラウドサーバ、ローカルサーバ)と協働して、特性および/またはSTIの分析および/または処理(例えば、記憶装置、送信、機械学習、人工知能(AI)、前処理、後処理)に基づいて実行されてもよい。タスクに関連するプレゼンテーション(例えば、テキスト、視覚、音響、オーディオ-ビジュアル、アニメーション)は、システムのユーザのユーザ-デバイスのユーザ-インタフェースで生成され得る。
システムは、少なくとも1つの動作モードを有することができる。それぞれの無線デバイスは、対応する動作モードを有することができる。場所に誰もいないと予想される、1つ以上の「不在」モードまたは「アームド(armed)」モードがあってもよい。これらのモードは、「不在」モードまたは「アームド」モード、または「警備」モードと呼ぶことができる。タスクは許可された/正当なユーザまたは実際の侵入者であり得る任意の「侵入者」が存在するかどうかを監視し、および/または場所内のいずれかの疑わしい活動を検出するためのセキュリティタスクであり得る。「侵入者」/「疑わしい活動」が検出された場合、「友人または敵の識別」(IFF)モード/「尋問」モード/「警報」モード(例えば、有限ステートマシンまたはFSM)に入る、場所のペットを検出/監視する、サイレンを鳴らす、接続されたデバイスを制御する(例えば、場所で)、ドア/ウインドウ/ガレージドア/ゲートを開く(例えば、隣人の注意を引くために)、ドア/ウインドウ/ガレージドア/ゲートをロックする(侵入者を捕らえるため)、「侵入者」と対話を行う、「侵入者」の映像/画像/音声をキャプチャする、「侵入者」に警告メッセージを出す、照明/イルミネーションのオン/オフ、別の警報システムの起動/調整、ユーザ/ユーザデバイスへの何らかの通信システムを使用した指定された連絡先へ警告メッセージを送信する、ユーザ/保護者/指定された連絡先/警察/第1対応者に通知する、などいくつかの応答がトリガされ得る.
特に、オブジェクトの動きが予想されないユーザが場所内に存在しないことを前提とする第1のモード(例えば、「不在」モード)では、システムのタスクは、TSCI、特性、STI、および/または分析に基づいて、場所内の「侵入者」または疑わしい活動(例えば、オブジェクトの動き)の如何なる存在(例えば、ドアオープン、窓オープン、侵入者運動)を監視することであり得る。システムは「忘れてもかまわない」または「大目に見られる」または「ターゲットでない」活動(例えば、家の外に郵便物を配達する忘れてもよい郵便局員、または空気の動き、風、空調システム、またはファンの動きによる家の中のターゲットでないわずかな動き)の影響/影響をフィルタで除くか、または無視することができる。「侵入者」または疑わしい活動が検出されると、応答は第2のモード(例えば、「IFF」モード)に入ることを含むことができる。
第2のモードでは、「侵入者」または疑わしい活動が検出されたものとされ、システムはマイクロホン付きのスマートスピーカを使用して「侵入者」との対話を行い、「侵入者」にパスワードまたはパスコードを要求する場合がある。「侵入者」が制限時間内にパスワードまたはパスコードを正しく与えることができる場合、システムはそれがユーザ(または許可されたユーザのうちの1人)であると結論付けることができ、サイレンを鳴らしたり通知をせずに第3のモード(たとえば、「在宅」モード)に入ることができる。「侵入者」が制限時間内にパスワードやパスコードを正しく伝えられない場合、システムは「侵入者」が正規の侵入者であると判断し、サイレンを鳴らし、ユーザ/保護者/指定された連絡先に通知することがある。主たる1次連絡先がある時間内に応答しない場合、2次連絡先に連絡することができ、以下同様である。
第3のモード(例えば、「在宅」モードまたは「ホーム」モード)ではユーザ(または他の許可されたユーザ)が場所内にいるものとされてもよく、システムのタスクは、TSCI、特徴、STIおよび/または分析に基づき、使用者の日常活動,動き,存在,位置、運動、歩容、ジェスチャ、トイレ訪問のタイミング/頻度、衛生タイミング/頻度、呼吸、心拍、幸福、睡眠、健康、不規則性、問題徴候、危険な動き、転倒などを監視することであってもよい。第3のモードでの応答にはサイレンを鳴らすことはない。監視されているものに応じて、応答は、ユーザ/指定された連絡先への通知を含んでも含まなくてもよい。
第4のモードでは、システムはサイレンを鳴らし、ユーザ/保護者/指定された連絡先に通知することができる。1次連絡先がある時間内に応答しない場合、2次連絡先に連絡することができ、以下同様である。
第1のモードとは異なる別のモード(例えば、「警備」モード)では、システムが第1のモードと同じ監視を、異なる応答で実行することができる。例えば、「侵入者」または疑わしい活動が第1のモードで検出された場合、応答は、第2のモードを経ることなく、第4のモードに直接的に入ることを含むことができる。
特に、1つのモード(例えば、「不在」モード)に対する応答は、サイレンを鳴らすことと、ユーザまたは指定された連絡先、またはその両方に通知することとの両方を含むことができる。別のモード(例えば、「警備」モード)に対する応答はユーザ/指定された連絡先に通知するが、サイレンを鳴らさないことを含むことができる。
「侵入者」と対話を実施することは、パスワード/パスコード/識別/検証の要求、尋問/質問/調査/課題、リアルタイムで生成された会話/対話、合成音声、発話/音声認識、文章、および/または事前の記録/事前に計画されたメディアコンテンツ、などのうちの少なくとも1つを含むことができる。警告メッセージを「侵入者」に与えることは、少なくとも、何らかのディスプレイ/画面上でのテキストの使用、何らかのスピーカを用いた言葉による警告、および/または何らかの接続されたUI付きデバイスを用いたアニメーションなどのうちの1つを含むことができる。
接続されたデバイスは、動きセンサ、カメラ、ディスプレイ、マイクロホン、スピーカ、サイレン、計器、照明、イルミネーション、ライト、ランプ、テレビ、家電、IoTデバイス,スマートデバイス,スマート機器、冷蔵庫、調理デバイス、ストーブ、煙検出器、ベル、アクセス制御、アラーム付き時計、可動部品、ファン、エアコン、ドア、窓、ブラインド、カーテン、ガレージドア、門、芝生給水システムなどのうちの少なくとも1つを含むことができる。指定された連絡先は、一次連絡先、二次連絡先、および/またはバックアップ連絡先のうちの少なくとも1つを含むことができる。通信システムは、ネットワーク、インターネット、電話、インターネットサービスプロバイダ、モバイルサービスプロバイダ、放送装置、ケーブルプロバイダ、コンテンツストリーミングプロバイダ、会議システム、SMS、EMS、MMS、電子メール、インスタントメッセージングシステム、エンタープライズメッセージングシステム、個人用メッセージングシステム、Facebookメッセンジャー、Face Time(登録商標)、Lineなどのうちの少なくとも1つを備えることができる。
ユーザ及び/又は他の人(例えば、ハウスメイト、同僚、事務所仲間、ルームメイト、ファミリー、パートナー、友達、ペット)が場所内に存在する「在宅」又は「ホーム」モードがあり得る。タスクは、それらの活動を監視することであってもよい。
システムはサイレンボタンまたはパニックボタンを有することができ、その結果、ユーザは、ある時間、例えば5秒間、ボタンを押し続けることによって、自宅でサイレンをトリガすることができる。サイレンボタンの操作後に、エマージェンシーメッセージが送信されてもよい。ユーザがダッシュボードのキャンセルボタンをクリックしない限り、サイレンはデフォルト時間(3分など)鳴る。ボタンを押すと、ユーザのホームアドレスへの緊急ディスパッチが可能になり、ホームおよびプロパティが保護される。サイレンボタンは専用ハードウェア、例えば、ユーザがボタンを押すことによってサイレンをトリガすることができるように、デバイス上に配置された物理的ボタンを介して実現することができる。また、ユーザがUI上のボタンアイコンをクリックすることによってサイレントをトリガすることができるように、ユーザインタフェース(UI)を持つアプリを通して携帯デバイス上に実装することもできる。UIには、UIオブジェクトを長押しする、ボタンをスワイプする、別のカスタマイズされたパターンなど、他のアクティベーション方法がある場合がある。システムは、非常通報の受信を、ネットワーク、ローカルエリアネットワーク、ブロードバンドネットワーク、インターネット、クラウドネットワーク、無線ローカルエリアネットワーク、WiFi、Bluetooth、BLE、Zigbee、Z-Wave、テキストメッセージシステム、インスタントメッセージシステム、会議システム、通知システム、アナウンスシステム、掲示板、Eメール、SMS、MMS、アップルフェースタイム、Facebook Messenger、Google Hangout、Line、Instagram、Zoom、Google Hangout、WebExなどを介して可能にすることができる。
いくつかの実施形態では、システムがユーザ入力、動き検出、動き無し検出、および/または別の条件に基づいて、1つのモードから別のモードに切り替えられ得る。一実施形態では、システムはホームモードにあり、10分間、場所中に動きは検出されない。次に、システムは登録され選択されたアイテム(例えば、キーフォブ)のそれぞれについて存在をチェックする。登録され、選択されたアイテムのいずれも存在しておらず、システムがまだホームモードにある場合、システムは、ユーザによる事前設定に基づいて、以下のうちの少なくとも1つを実行することができる。例えば、「誰も家にいないように見えます。家をアーム(arm)しますか?」といった通知をユーザに送信し、自動的にシステムを不在モードに移行し、および/または何もしない。例えば、ユーザ設定に基づいて、平日の午前08:30から午後05:00までの10分間、場所内に動きが検出されない場合、システムは、ユーザに通知を送信して、ユーザが不在モードへのモード移行を確認するか、またはユーザに確認することなくシステムを不在モードに直接的に移行させることができる。
別の実施形態では、システムはすでに不在モードにあり、システムは、登録されて選択されたアイテムのいずれも場所に存在していない第1の状態から、登録されて選択されたアイテムのいずれか1つが場所に近接またはその中に入る第2の状態への変化を感知する。次に、システムはユーザによる事前設定に基づいて、例えば、「ホームへようこそ、不在モードを無効にしますか」というメッセージを含む通知をユーザに送信すること、システムをホームモードに自動的に遷移させること、および/または何もしないことのうちの少なくとも1つを実行することができる。
別の実施形態では、システムは登録され、選択されたアイテム(例えば、キーフォブK)のうちの1つが場所(例えば、自宅建物)を出るか、または入ることを検出すると、システムは1つまたは複数の指定されたユーザに通知を提示することができ、例えば、「キーフォブKは家に残されている。何時何分」または「キーフォブKが家に戻った。何時何分」のようなメッセージを提示することができる。
一実施形態では、システムが図23に示すような星形トポロジのアーキテクチャを使用することができる。複数の送信機A1、A2、およびA3は、リンクワイズ(linkwise)の分析を計算する単一の受信機B1にプローブ信号を送信することができる。
一実施形態では、システムが図24に示すような「デイジーチェーン」のアーキテクチャを使用することができる。ペアワイズリンクリンク1が2つのタイプBデバイスを含むとき(すなわち、第1のデバイスと第2のデバイスの両方がタイプBデバイスであるとき)、図24に示すように、ある特殊なことが起きる。B1を第1のデバイス(Tx、送信プローブ信号)とし、B2を現リンクにおける第2のデバイス(Rx、TSCIを取得し、リンクワイズの分析を計算する)とする。現在のリンクに加えて、B1は追加的リンクであってもよい(例えば、B1をA3と呼ばれるタイプAデバイスに接続するLink2、B1をB3と呼ばれる別のタイプBデバイスに接続するLink3)。Link2では、A3はTxであり、プローブ信号を送信し、一方、B1はRxであり、リンクワイズの分析を計算する。このリンクワイズの分析は、リンク1内のB1からB2に送信される。Link3では、B3はTxであり、プローブ信号を送信し、一方、B1はRxであり、リンクワイズの分析を計算する。このリンクワイズの分析は、リンク1内のB1からB2に送信される。さらに、B3は何らかのリンクワイズの分析を得ており、リンク3内のB1に送信/パスすることができる。これらのリンクワイズの分析は、リンク1においてB1からB2に送信されてもよい。
メッシュネットワークトポロジを有する別の例示的なシステムを図25に示す。2つのタイプ1デバイス(送信機、またはTx、またはボット)は、無線インタフェースリンクL1およびL2を介して1つのタイプ2デバイス(受信機、またはRx、またはオリジン)にリンクされる。ルーティングフォーマットは、"TxID:ifname:hwaddr" のようになる。ここで、"TxId" はデバイスの識別子(一意である可能性がある)、"ifname" はインタフェース名、"hwaddr" は通信に使用されるMAC アドレスである。そして、図25に示すトポロジのルーティングテーブルは、routing= {Tx1:L1:Tx1_mac、 Tx2:L2: Tx2_mac} とすることができる。
センシング出力をクラウドに渡すために、追加の機能をRxに関連付けることができる。ここで、受信機は図26に示すように、「マスタオリジン」2600であってもよい。例えば、図26のように、マスタオリジン(MO)2600は、デーモンモジュール2610、フュージョンモジュール2620、及びクライアントモジュール2630で構成される。デーモンモジュール2610は他のデバイス、例えば、ボットから送信されたチャネル状態情報(CSI)/チャネル情報(CI)を受信してセンシングをすることができる。MOは、動き統計値、呼吸速度などを出力することができる動きエンジン、呼吸エンジンなどの様々なアプリケーションをサポートするベーシックエンジンを備えることができる。これらの出力は、無線信号から抽出されたCSIに基づいて分析計算されるため、「無線分析」とも呼ばれることがある。次いで、これらの出力は、ホームセキュリティ、睡眠監視、健康監視、子供の存在検出などの様々な用途のためにフュージョンモジュール2620に供給される。最終的な結果は、フュージョンモジュール2620で決定され、ハブを介してイーサネット接続を通じてクラウドに送られるようにクライアントモジュール2630に供給され得る。別のクラウド・フュージョン・モジュールをクラウド内で実行することができる。
図25は、メッシュネットワーク内に存在するただ1つのデーモンモジュールの一例を示す。場合によっては、演算能力を高めるために、2つ以上のデーモンモジュールが必要とされることがある。複数のオリジンデーモンの理由は、マスタオリジン(MO)に直接リンクしないリンクに対してベーシックエンジンセンシングを実行するためである。ローカル無線LAN(WLAN)ドライバからチャネル状態情報(CSI)を受信し、CSIを消費するベーシックエンジン出力を計算するために、オリジンデーモンモジュールを有する必要がある。ベーシックエンジンのフュージョンは、結果としてMO におけるオリジンフュージョンモジュールになる。
複数のデーモンモジュールを有する別の実施例が図27に示されている。1つのマスタオリジン(MO)、2つのチャイルドオリジン(CO)、および3つのボットがある。MOとは異なり、COは、フュージョンモジュール及びクライアントモジュールを有していなくてもよく、デーモンモジュールのみを含んでいてもよい。MOは、クライアントモジュールを介してすべてのローカルデバイスをクラウドに接続する。ここで、L1、L2、L3、L4、L5は、2つのデバイスを接続する無線インタフェースリンクである。いくつかの実施形態では、ルーティングフォーマットは「TxID: origindaemon _IP: ifname: hwaddr」のようになる。ここで、「TxId」は送信デバイスの識別子(つまり一意)であり、「origindaemon_IP」は、ローカルオリジンデーモンを実行している受信ノードのローカルエリアネットワーク(LAN)IP アドレスであり、「ifname」はTxIDデバイスへの無線リンクのインタフェース名であり、「hwaddr」は、無線LAN(WLAN)ドライバ内のデバイスを識別するために使用されるMACアドレスである。このトポロジに対するルーティングテーブルは、 {CO1:MO_IP :L1:CO1_mac, CO2:CO1_IP:L2: CO2_mac, B1:CO2_IP:L3:B1_mac、B2: CO1_IP:L4:B2_mac、 B3:CO2_IP:L5:B3_macになる。IPアドレスは、MOとローカルLAN 上のすべてのデーモンモジュールとの間のUDP ソケット接続を開くために使用できる。
別の例示的なネットワークトポロジが図28に示されている。ここに、2つのMO{MO1、MO2}、2つの CO{CO1、CO2}、および5つのボットB1~B5がある。MO1およびMO2の両方は、ローカルデバイスからの最終結果を、ハブを介してクラウドに送信することができる。クラウドからの出力は、ユーザアプリまたはウェブUI のユーザインタフェース(UI) に送信される場合がある。
図29は、本開示のいくつかの実施形態による、ネットワークトポロジを分析および改善するための例示的な方法2900のフローチャートを示す。動作2902で、場所内の複数の無線デバイスを含む無線センシングシステムの相互接続構造がツリーであると判定される。動作2904において、無線信号は、場所の無線マルチパスチャネルを介して第1のデバイスによって第2のデバイスに送信される。動作2906において、無線信号は、ペアワイズ無線リンクによって第1のデバイスと対にされた第2のデバイスによって受信される。動作2908において、無線マルチパスチャネルのチャネル情報(CI)の時系列が無線信号に基づいて取得される。動作2910において、場所内のオブジェクトのオブジェクト動きに関連するリンクワイズ分析が、TSCIに基づいて計算される。動作2912において、オブジェクトのオブジェクト動きは、リンクワイズ分析に基づいて監視される。
動作2914で、計算されたリンクワイズ分析のすべてが、ツリーのルートデバイスによって取得される。動作2916では、得られたリンクワイズ分析に基づいて、ルートデバイスによって全体的な分析が計算される。動作2918において、全体的分析、リンクワイズ分析、またはデバイスまたはツリーの情報がデータベース内で利用可能にされる。任意選択で、動作2920で、ツリーは、ツリーに新しいデバイスを追加することによって、またはツリーの既存のデバイスを除去または修正することによって更新される。任意選択で、動作2922で、ツリーは、新しいリンクをツリーに追加することによって、またはツリーの既存のリンクを除去または修正することによって更新される。動作2924において、更新は、ツリーの複数の無線デバイスに伝播される。図29の動作の順序は、本開示の様々な実施形態において変更することができる。
ハードウェアデバイスは、アーキテクチャで追加/有効化することができる。ハードウェアデバイスは、アーキテクチャから削除/無効化することができる。特に、トポロジ/アーキテクチャは、新しい無線デバイスを追加したり既存の無線デバイスを削除したりすることなく、少なくとも1つのペアワイズ無線リンクを変更することと、セットの構成を変化させずに維持しながら、複数の無線デバイスのセットの中の少なくとも1つのペアワイズ無線リンクを再配置することと、新たな無線デバイスを追加することであって、前記新しい無線デバイスは、タイプAデバイス、タイプBデバイス、リーフノード、非リーフノード、またはルートノードのうちの少なくとも1つである、新たな無線デバイスを追加することと、既存の無線デバイスを除去することであって、既存の無線デバイスはタイプAデバイス、タイプBデバイス、リーフノード、非リーフノード、またはルートノードのうちの少なくとも1つである、既存の無線デバイスを除去することと、根本デバイスを複数の無線デバイスの別のデバイスで置き換えることと、少なくとも1つのペアワイズ無線リンクを変更することと、新しいペアワイズ無線リンクを追加することと、既存のペアワイズ無線リンクを削除することと、ツリーの無線デバイスを削除せずに、ツリーの既存のペアワイズ無線リンクを削除することと、ツリーの無線デバイスを除去することによって、ツリーの既存のペアワイズ無線リンクを除去することと、ツリーに新しい無線デバイスを追加せずにツリーの新しいペアワイズ無線リンクを追加するか、ツリーに新しい無線デバイスを追加してツリーの新しいペアワイズ無線リンクを追加することと、データベース内の複数の無線デバイスおよびツリーの情報の更新をすることと、のうちの少なくとも1つに基づいて変更される。
システムアーキテクチャのマネージメントは様々なレベル、例えば、個々のデバイスレベル、グループレベル、および全体的なシステムレベルで行うことができる。デバイスレベルでは、個々のデバイスがその動作を制御し、決定を行うことができる。グループレベル管理では、複数デバイス(例えば、密接に近傍しているか、または同じフロア上にある)がグループを形成し得る、そしてそれらの決定を調整し得る。システムレベルでは、システム内の全てのデバイスがそれらの決定を調整する。
図30は、本開示のいくつかの実施形態による、無線動き監視のための例示的な方法3000のフローチャートを示す。動作3002において、複数の無線信号が場所の無線マルチパスチャネルを介して非同期に送信され、それぞれの無線信号は、無線監視システムの複数の第1のデバイスのそれぞれ1つから送信される。動作3004では、複数の無線信号が無線マルチパスチャネルを通して無線監視システム内の複数の第2のデバイスによって受信され、ここで、各受信無線信号は無線マルチパスチャネルおよび場所内のオブジェクトの動きのために、各送信無線信号とは異なる。動作3006で、無線マルチパスチャネルの複数の時系列チャネル情報(TSCI)のそれぞれが、それぞれの受信無線信号に基づいて取得される。動作3008において、複数の時空間情報(STI)の各々は、それぞれのTSCIに基づいて計算される。動作3010において、オブジェクトの動きの第1の状況が、複数のTSCIの第1のサブセットおよび複数のSTIの第1のサブセットに基づいて監視される。動作3012において、複数のTSCIの第2のサブセットおよび複数のSTIの第2のサブセットに基づいて、オブジェクトの動きの第2の状況が監視される。動作3014において、動きの第1の状況を監視することに基づいて、第1のタスクが実行される。動作3016において、動きの第2の状況を監視することに基づいて、第2のタスクが実行される。動作3018において、第1の応答が、第1のタスクに基づいて生成される。動作3020では、第2のタスクに基づいて第2の応答が生成される。図30の動作の順序は、本開示の様々な実施形態に従って変更することができる。
以下の番号付き項は、オブジェクト動きを無線で監視するための実施例を提供する。
項E1。無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1異種無線デバイスから場所の無線マルチパスチャネルを介して無線信号を送信することであって、無線マルチパスチャネルは、場所のオブジェクトの動きによって影響を受ける、送信することと、プロセッサ、メモリおよび命令のセットに基づいて無線マルチパスチャネルを介した無線信号をタイプ2異種無線デバイスによって受信することであって、受信された無線信号は場所の無線マルチパスチャネルおよびオブジェクトの動きのために送信された無線信号とは異なる、受信することと、プロセッサ、およびプロセッサと通信可能に結合されたメモリとメモリに格納された命令のセットを使って、受信した無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得することと、TSCIに基づいて時空間情報(STI)を計算することと、TSCIとSTIに基づいてオブジェクトの動きを監視することと、監視に基づいてタスクを実行することと、タスクに基づいて応答を生成することと、を含む無線監視システムの方法/システム/ソフトウエア/デバイス。
項E2。項E1に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、複数のタイプ1異種無線デバイスがあり、場所の無線マルチパスチャネルを介して非同期に、それぞれのタイプ1異種無線デバイスから複数の無線信号をそれぞれ送信することと、無線マルチパスチャネルを介してタイプ2デバイスが複数の無線信号を受信することであって、各々の受信された無線信号は場所の無線マルチパスチャネル及びオブジェクト動きのために、それぞれの送信された無線信号とは異なる受信することと、それぞれの受信無線信号に基づいてそれぞれの無線マルチパスチャネルの複数のTSCIを取得することと、それぞれのTSCIに基づいてそれぞれの複数のSTIを計算することと、TSCIおよび関連するSTIのうちの少なくとも1つに基づいて、場所内のオブジェクト動きを個別に監視すること(個別監視)、少なくとも1つのTSCIに適用される個々の監視に基づいてタスクを実行すること、2つ以上のTSCIを含む複数のTSCIのサブセット、TSCIのサブセットに関連するSTI、TSCIのサブセットに基づいて計算された第1の共同STI、またはいずれかのSTIのうちの少なくとも2つに基づいて計算された第2の共同STIのうちの少なくとも1つに基づいて、オブジェクト動きを共同で監視すること(共同監視)、各々が2つ以上のTSCIを含むTSCIの少なくとも1つのサブセットに適用される共同監視に基づいてタスクを実行すること、個別監視と共同監視との組み合わせに基づいてオブジェクト動きを監視すること、個別監視と共同監視の組み合わせに基づいてタスクを実行すること、TSCI、処理されたTSCI、TSCIの一部、TSCIの特徴、STI、共同STI、またはこれらのいずれかに基づいて計算された分析のうちの少なくとも1つを共有すること、オブジェクト動きの第1の状況をTSCIの第1のサブセットに基づき、およびオブジェクト動きの第2の状況をTSCIの第2のサブセットに基づいて監視すること、オブジェクト動きの第1の状況を監視することに基づいてタスクの第1のサブタスクおよびオブジェクト動きの第2の状況を監視することに基づいてタスクの第2のサブタスクを実行すること、または、オブジェクトの動きの第1の状況を監視することに基づいて第1のタスクおよびオブジェクト動きの第2の状況を監視することに基づいて第2のタスクを実行すること、のうちの少なくとも1つを実行することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E3。項E1に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、複数のタイプ2異種無線デバイスがあり、それぞれのタイプ2デバイスによって無線マルチパスチャネルを介して無線信号を受信し、各々の受信された無線信号は場所の無線マルチパスチャネル及びオブジェクト動きのためにそれぞれの送信された無線信号とは異なり、それぞれの受信された無線信号に基づいてそれぞれのタイプ2デバイスによって無線マルチパスチャネルの複数のTSCIをそれぞれ取得することと、それぞれのTSCIに基づいて複数のSTIを計算することと、およびTSCIおよび関連するSTIのうちの少なくとも1つに基づいて、場所内のオブジェクト動きを個別に監視すること(個別監視)、少なくとも1つのTSCIに適用される個別監視に基づいてタスクを実行すること、2つ以上のTSCIを含むTSCIのサブセット、TSCIのサブセットに関連するSTI、TSCIのサブセットに基づいて計算された第1の共同STI、またはいずれかのSTIのうちの少なくとも2つに基づいて計算された第2の共同STIのうちの少なくとも1つに基づいて、オブジェクト動きを共同で監視すること(共同監視)、各々が2つ以上のTSCIを含むTSCIの少なくとも1つのサブセットに適用される共同監視に基づいてタスクを実行すること、個別監視と共同監視との組み合わせに基づいてオブジェクト動きを監視すること、個別監視と共同監視との組み合わせに基づいてタスクを実行すること、TSCI、処理されたTSCI、TSCIの一部、TSCIの特徴、STI、共同STI、またはこれらのいずれかに基づいて計算された分析のうちの少なくとも1つを共有すること、TSCIの第1のサブセットに基づいてオブジェクト動きの第1の状況とTSCIの第2のサブセットに基づくオブジェクト動きの第2の状況とを監視すること、オブジェクト動きの第1の状況の監視に基づいてタスクの第1のサブタスクと、オブジェクト動きの第2の状況の監視に基づいてタスクの第2のサブタスクとを実行すること、のうちの少なくとも1つを実行することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E4。項E1に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、それぞれがタイプ1、タイプ2、またはその両方である複数の異種無線デバイスがあり、場所の無線マルチパスチャネルを介して非同期にそれぞれのタイプ1デバイスからそれぞれの複数の無線信号を送信することと、無線マルチパスチャネルを介してタイプ2デバイスにより複数の無線信号を受信することであって、タイプ2デバイスによりそれぞれ受信された無線信号は場所の無線マルチパスチャネルおよびオブジェクト動きによりそれぞれの送信された無線信号とは異なる受信することと、それぞれの受信された無線信号に基づいて無線マルチパスチャネルの複数のTSCIを取得することと、各TSCIに基づいて複数のSTIを計算することと、および以下のうちの少なくとも1つを実行することであって、TSCIおよび関連するSTIのうちの少なくとも1つに基づいて、場所内のオブジェクト動きを個別に監視すること(個別監視)、少なくとも1つのTSCIに適用される個別監視に基づいてタスクを実行すること、2つ以上のTSCIを含むTSCIのサブセット、TSCIのサブセットに関連するSTI、TSCIのサブセットに基づいて計算された第1の共同STI、またはいずれかのSTIのうちの少なくとも2つに基づいて計算された第2の共同STIのうちの少なくとも1つに基づいて、オブジェクト動きを共同で監視すること(共同監視)、各々が2つ以上のTSCIを含むTSCIの少なくとも1つのサブセットに適用される共同監視に基づいてタスクを実行すること、個別監視と共同監視との組み合わせに基づいてオブジェクト動きを監視すること、個別監視と共同監視との組み合わせに基づいてタスクを遂行すること、TSCI、処理されたTSCI、TSCIの一部、TSCIの特徴、STI、共同STI、またはこれらのいずれかに基づいて計算された分析のうちの少なくとも1つを共有すること、TSCIの第1のサブセットに基づいてオブジェクト動きの第1の状況と、TSCIの第2のサブセットに基づいてオブジェクト動きの第2の状況とを監視すること、オブジェクト動きの第1の状況の監視に基づいてタスクの第1のサブタスクを実行し、オブジェクト動きの第2の状況の監視に基づいてタスクの第2のサブタスクを実行することのうちの少なくとも1つを実行することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E5。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、それぞれのTSCIは、それぞれのタイプ1デバイスおよびそれぞれのタイプ2デバイスに関連付けられており、それぞれのタイプ1デバイスをそれぞれのタイプ2デバイスに関連付けることは以下に基づき、それは、ユーザの指令、ユーザのユーザデバイスからの命令、ユーザデバイスのソフトウエアからのユーザ命令、任意の1つの異種無線デバイス上のQRコード(登録商標)、各デバイスの識別情報、各デバイスに関連付けられたコード、デバイスの属性であって、それらのタイプ、ハードウェア構成、プロセッサ、メモリ、計算能力、アンテナ、筐体、エンクロージャ、電源、ソフトウエア構成、能力、サポートされるタスク、サポートされるサブタスク、サポートされるサウンディング、サポートされるシグナリング、サポートされる無線信号、サポートされる通信プロトコル、電力定格、または位置のうちの少なくとも1つの属性、場所のマップに対する設置位置、ユーザに関連するメッシュネットワーク、異種無線デバイスを含むメッシュネットワーク、ユーザ、サーバ、ソフトウエア、または最適化手順の少なくとも1つによって構築されたメッシュネットワーク、以下のうちの少なくとも1つに関連するメッシュネットワークであって、ツリー構造、リンクリスト、矢印ツリー構造、順序付きリンクリスト、それぞれのノードがそれぞれの異種無線デバイスに関連付けられているツリー構造、各ブランチがそれぞれのTSCIに関連付けられているツリー構造、各有向ブランチ(矢印)がそれぞれのTSCIに関連付けられている矢印ツリー構造、タイプ1デバイスに関連付けられているすべての外部ノード(リーフノード)を有するツリー構造、すべての外部ノードがタイプ2デバイスに関連付けられるツリー構造、少なくとも1つの内部ノード(分岐ノード)がタイプ1とタイプ2の両方のデバイスに関連付けられたツリー構造、それぞれがタイプ1とタイプ2の両方である2つのデバイスに関連づけられた少なくとも1つの内部ブランチをもつツリー構造、あるいはそれぞれのリンクがそれぞれのTSCIに関連づけられたリンクリスト、などのうちの少なくとも1つに関連するメッシュネットワーク、に基づいて関連付けられた方法/システム/ソフトウエア/デバイス。
項E6。項E1または2または3または4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タスクに関連付けられた少なくとも1つのサポートされた動作モードが存在し、タスクの動作モードを現在モードに選択すること、現在モードはサポートされる動作モードのうちの1つであり、現在の動作モードに基づきTSCIに基づいてオブジェクトの少なくとも1つの状況を監視することと、タスクの現在の動作モードに基づいて応答を生成することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E7。項E6の無線監視システムの方法/システム/ソフトウエア/デバイスであって、現在モードから、サポートされている動作モードの別のモードへのスクの動作モードを変更することをさらに含み、変更は次の、システムのユーザの選択、ユーザの優先、ユーザによるユーザデバイスの入力、ユーザによるユーザインタフェース(UI)の選択、ユーザによるUIのボタン押下、ユーザによる言葉による選択、それぞれのサポートされている動作モードにそれぞれ関連付けられた少なくとも1つの状態を含む有限ステートマシン(FSM)、サポートされる動作モードのシーケンスに関連する状態を含む有限状態マシン(FSM)、現在モードで監視されるオブジェクトの少なくとも1つの状況、タスク、ユーザ、オブジェクト、または場所の内の少なくとも1つに関連する予定表、場所内のユーザの存在または不在、別のシステムとの通信、電源オン、電源停止、システムリセット、またはシステムのパワーセービングニーズのうちの少なくとも1つに基づく、方法/システム/ソフトウエア/デバイス。
項E8。項E6の無線監視システムの方法/システム/ソフトウエア/デバイスであって、システムのユーザが場所に存在しないときに場所を監視する動作モードにおいて、オブジェクトが侵入者であるとき、動作モードのオブジェクト動き監視のために、以下の設定のうちの少なくとも1つを行うことであって、タイプ1デバイスまたは少なくとも1つの他のタイプ1デバイスのうちの少なくとも1つを有効化または無効化するオブジェクトの動き監視の感度設定を設定すること、予定表の各期間に関連付けられた各設定を持つ動作モードの予定表を設定すること、動作モードについてのパラメータ、閾値、タイミングを設定すること、ユーザへの通知方法と通知モードを設定すること、または動作モードに関連付けられたオブジェクトモードの状況を監視するようにオブジェクト動き監視を設定すること、のうちの少なくとも1つの設定を行うことと、侵入者の存在を指すパターンについてTSCIおよびSTIを監視することと、応答を、指定されたユーザに通知を送信すること、警報を生成すること、アラームアニメーションを生成すること、警報を再生すること、侵入者との対話を実行すること、認証済みユーザの識別情報を示すように侵入者に要求すること、システムのサイレンを鳴らすこと、場所を保護することのうちの少なくとも1つを含むように設定することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E9。項E6の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ユーザが場所内に存在するときに場所を監視するための動作モードにおいて、オブジェクトがユーザであるときに、動作モードのオブジェクト動き監視のための以下の設定のうちの少なくとも1つを行うことであって、タイプ1デバイスまたは少なくとも1つの他のタイプ1デバイスのうちの少なくとも1つを有効化または無効化する、オブジェクト動き監視の感度設定を設定すること、予定表の各期間に関連付けられた各設定を持つ動作モードについての予定表を設定すること、動作モードに対するパラメータ、閾値、タイミングを設定すること、ユーザへの通知方法と通知モードを設定すること、または動作モードに関連付けられたオブジェクトモードの状況を監視するようにオブジェクト動き監視を設定すること、のうちの少なくとも1つを行うことと、TSCIおよびSTIに基づいて場所内のユーザの活動を監視することと、ユーザの位置を特定すること、ユーザの動きを監視すること、ユーザの日課、習慣または行動のうちの少なくとも1つを監視すること、ユーザの日課、習慣または行動の少なくとも1つからの偏差を監視すること、追加のユーザを検出することのうちの少なくとも1つを含む応答を設定することと、をさらに含む方法/システム/ソフトウエア/デバイス。
E10。項E6の無線監視システムの方法/システム/ソフトウエア/デバイスであって、システムのユーザが場所に存在せず、ユーザがサイレンを望んでいないときに場所を監視する動作モードにおいて、オブジェクトが侵入者であるときに、動作モードのオブジェクト動き監視のための少なくとも1つの設定を行うことであって、オブジェクト動き監視の感度設定を設定すること、タイプ1デバイスまたは少なくとも1 つの他のタイプ1デバイスのうちの少なくとも1つを有効化または無効化すること、予定表のそれぞれの期間に関連付けられたそれぞれの設定を持つ動作モードの予定表を設定すること、動作モードのパラメータ、閾値、タイミングを設定すること、ユーザへの通知方法と通知モードを設定すること、または動作モードに関連付けられたオブジェクトモードの状況の監視するためのオブジェクト動き監視を設定すること、のうちの少なくとも1つを行うことと、侵入者の存在を指し示すパターンについてTSCIおよびSTIを監視することであって、応答は 、指定されたユーザに通知を送信すること、警報を生成すること、アラームアニメーションを生成すること、 警告メッセージを再生すること、 侵入者との対話を実行すること、 侵入者に認証済みユーザの識別情報を示すように要求すること、システムのサイレンを鳴らすこと、場所を保護することのうちの少なくとも1つを含む監視することと、警報を生成すること、アラームアニメーションを生成すること、警報を再生すること、侵入者との対話を行うこと、認証済みユーザの識別情報を示すように侵入者に要求すること、システムのサイレンを鳴らすこと、または場所を保護することのうちの少なくとも1つを除くように応答を設定することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E11。項E6の無線監視システムの方法/システム/ソフトウエア/デバイスであって、システムのユーザが場所に存在せず、検出されたオブジェクト動きをユーザに通知したい場合に、場所を監視する動作モードにおいて、オブジェクトが侵入者であるときに、動作モードのオブジェクト動き監視のための設定の少なくとも1つを行うことであって、タイプ1デバイスまたは少なくとも1つの他のタイプ1デバイスの少なくとも1つの有効化または無効化をする、オブジェクト動き監視の感度設定を設定すること、予定表のそれぞれの期間に関連付けられたそれぞれの設定を持つ動作モードに関連付けられた予定表を設定すること、動作モードのパラメータ、閾値とタイミングを設定すること、ユーザへの通知の方法とモードを設定すること、または動作モードに関連付けられたオブジェクトモードの状況を監視するようにオブジェクト動き監視を設定すること、のうちの少なくとも1つを行うことと、侵入者の存在を指すパターンについてTSCIとSTIを監視することと、応答が、ユーザに通知を送ること、ユーザの確認に応じてさらなる行動をとること、別の動作モードに切り替えることのうちの1つを含むように設定することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E12。項E6の無線監視システムの方法/システム/ソフトウエア/デバイスであって、場所を監視するための動作モードにおいて、タイプ1デバイスからの無線信号の送信、タイプ2デバイスによる無線信号の受信、受信無線信号に基づくTSCIの取得、TSCIに基づくSTIの計算、TSCIおよびSTIに基づくオブジェクト動きの監視、タスクの実行、またはタスクに基づく応答の生成のうちの少なくとも1つを休止することまたは停止することをさらに含む方法/システム/ソフトウエア/デバイス。
項E13。項E6の無線監視システムの方法/システム/ソフトウエア/デバイスであって、場所内でオブジェクト動きが検出され、オブジェクトが未識別であるときに、場所を監視するための動作モードにおいて、応答を、指定されたユーザに通知を送ること、警報を生成すること、アラームアニメーションを生成すること、警報を再生すること、侵入者との対話を行うこと、認証済みユーザの識別情報を示すように侵入者に要求すること、場所を保護すること、または別の動作モードに切り替えることの少なくとも1つを含むように設定することと、応答に応じてオブジェクト動きを監視すること、のうちの少なくとも1つを含むように構成することをさらに含む方法/システム/ソフトウエア/デバイス。
項E14。項E1または2または3または4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、緊急メッセージの受信することと、緊急メッセージに基づいて以下の緊急行動のうちの少なくとも1つを実行することであって、避難の開始、緊急警報システムの作動、緊急時対応システムの作動、非常灯の点灯、緊急放送システムのトリガー、緊急メッセージシステムの開始、優先通知システムの起動、サイレンの鳴動、警報音の鳴動、視覚的警報の表示、アニメーション警報のアニメーション表示、ユーザ、1つ以上の指定された連絡担当者、緊急サービスの要求、または少なくとも1つの第1対応者(例えば、警察、消防士、救急車、救急隊)の場所、指定された位置、ユーザの自宅住所、またはユーザの現在位置のうちの少なくとも1つへの派遣の要求、のうちの少なくとも1つへの通知又はパーソナライズされた警報の生成を実行することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E15。項E14の無線監視システムの方法/システム/ソフトウエア/デバイスであって、緊急メッセージを受信した後でタイムウインドウ内に緊急解除メッセージを受信することと、緊急解除メッセージに基づいて緊急行動を終了することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E16。項E14の無線監視システムの方法/システム/ソフトウエア/デバイスであって、緊急メッセージを以下のもののうちの少なくとも1つに基づいて生成することであって、以下のものは、専用ハードウェアボタンを押す、専用ハードウェアサイレンボタンを押す、専用ハードウェアパニックボタンを押す、システムのユーザのユーザデバイスまたは専用ハードウェアのうちの少なくとも1つを含む入力デバイス、入力デバイスのユーザインタフェース(UI)、入力デバイス上のUI-オブジェクトを一定時間押し続ける、入力デバイス上のボタンを長く押すこと、入力デバイスをスワイプすること、ユーザが入力デバイス上にカスタマイズされたパターンを描くこと、入力デバイス付近のユーザのジェスチャ、入力デバイス上のボタンの確認された押下、入力デバイス上のユーザソフトウエア内のオブジェクトの確認された選択、である生成することを含む方法/システム/ソフトウエア/デバイス。
項E17。項E14の無線監視システムの方法/システム/ソフトウエア/デバイスであって、少なくとも1つを介した緊急メッセージを、ネットワーク、ローカルエリアネットワーク、ブロードバンドネットワーク、インターネット、クラウドネットワーク、無線ローカルエリアネットワーク、WiFi、Bluetooth、BLE、Zigbee、Z-Wave、モバイル通信ネットワーク、2G、3G、4G、LTE、5G、6G、7G、8G、テキストメッセージングシステム、インスタントメッセージングシステム、会議システム、通知システム、アナウンスシステム、掲示板、電子メール、SMS、MMS、Apple Facetime、Facebook Messenger、Google Hangout、Line、Instagram、Zoom、Google Hangout、WebExなど。のうちの少なくとも1つを介して受信することを含む方法/システム/ソフトウエア/デバイス。
項E18。項E1または2または3または4の無線監視システムの方法/システム/ソフトウエア/デバイスはであって、緊急メッセージを受信することと、緊急メッセージに基づいて以下の緊急行動のうちの少なくとも1つを実行することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E19。項E1または2または3または4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスまたはタイプ2デバイスのうちの少なくとも1つは、無線監視システムにおいてその役割を果たすことを唯一の目的とする単一目的デバイスである、方法/システム/ソフトウエア/デバイス。
項E20。項E19に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ソフトウエアアップデート、ファームウェアアップデート、ソフトウエアアップグレード、または無線ソフトウエアアップグレード(OTA)の少なくとも1 つに基づいて無線監視システムにおける役割を変更することをさらに含む、方法/システム/ソフトウエア/デバイス。
項E21。項E20に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、デバイスは、最初に無線監視システムにおけるその役割の第1の機能に設定され、無線監視システムのその役割は、システムに追加のデバイスを導入し、無線監視システム内の追加のデバイスと対話するようにデバイスを構成すること、第1の機能を変更すること、第1の機能を調整すること、第1の機能を第2の機能に置き換えること、または第2の機能を追加すること、のうちの少なくとも1つによって変更されることをさらに含む、方法/システム/ソフトウエア/デバイス。
項E22。項E1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスまたはタイプ2デバイスの少なくとも1つは、第1の目的が無線監視システムにおけるその役割を実行することであり、第2の目的が無線監視とは無関係である多目的デバイスである、方法/システム/ソフトウエア/デバイス。
項E23。項E22の無線監視システムの方法/システム/ソフトウエア/デバイスであって、第2の目的は、デバイスの主な目的である、方法/システム/ソフトウエア/デバイス。
項E24。項E22に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、デバイスは、最初は第1の目的なしに第2の目的のために構成され、第2の目的を追加するためにデバイスの構成をアップグレードすることをさらに含む、方法/システム/ソフトウエア/デバイス。
項E25。項E22の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスとタイプ2デバイスとの間で、一方のデバイスは単一目的デバイスであり、他方のデバイスは多目的デバイスである、方法/システム/ソフトウエア/デバイス。
項E26。項E1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスまたはタイプ2デバイスのうちの少なくとも1つは、ロック機構、バヨネット結合、スクリュー結合、プッシュプル結合、ブレークアウエイ結合、プッシュ・アンド・プレス・ツー・リリース結合、スクリューで係止された結合、プッシュ・プッシュ・ロック結合、磁気結合、電磁石、磁石、着脱機構、着脱自在機構、リンク機構、綴じ機構、結合部、コネクタ、ネットワークコネクタ、イーサネットコネクタ、バスコネクタ、USBコネクタ、ファイアワイヤコネクタ、ライトニングコネクタ、機械式ホルダー、吸着機構、サクションカップ、ペグ、クリップ、ステイプル、リング、ピン、フック、ループ、スナップロックフック、スナップオンフック、ブラケット、ハンガー、マウント、チェーン、トラックアンドトロリ、ネジ、ナットアンドスクリュー、ナットアンドボルト、ベルクロ(登録商標)、面ファスナ、接着剤、感圧接着剤(PSA)、粘着テープ、両面接着テープ、接着テープ、糊付きテープ、ファスナー、デュアルロックファスナー、自己嵌合ファスナー、再閉鎖可能ファスナー、重力、重み、および摩擦、ならびに別の取り付けメカニズムのうちの少なくとも1つによって上部に載置すること、のうちの少なくとも1つに基づいてアクセサリに付けられる、方法/システム/ソフトウエア/デバイス。
項E27。項E26の無線監視システムの方法/システム/ソフトウエア/デバイスであって、アクセサリは電源を有していない、方法/システム/ソフトウエア/デバイス。
項E28。項E26の無線監視システムの方法/システム/ソフトウエア/デバイスであって、記アクセサリは少なくとも1つの電源を含む、方法/システム/ソフトウエア/デバイス。
項E29。項E28の無線監視システムの方法/システム/ソフトウエア/デバイスであって、少なくとも1つのタイプ1またはタイプ2は、アクセサリから電力を得ることによって電力を供給される、方法/システム/ソフトウエア/デバイス。
項E30。項E1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスまたはタイプ2デバイスの最後の1つは、有線ネットワークまたは無線ネットワークの少なくとも1つと通信可能に結合されている、方法/システム/ソフトウエア/デバイス。
E31。項E1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスまたはタイプ2デバイスの少なくとも1つは、交流電源、直流電源、別のデバイスからの電力、1回使用電源、再利用可能電源、充電可能電源、バッテリー、充電式バッテリー、非充電式バッテリー、交換可能バッテリー、代わりのないバッテリー、一回使用バッテリー、使い捨てバッテリー、太陽光電源、ソーラーパネル、化学電源、電気化学エネルギ源、熱エネルギ貯蔵、電熱エネルギ源、磁気エネルギ貯蔵、電磁エネルギ源、機械式エネルギ源、電気機械式エネルギ源、重力エネルギ源、水力エネルギ源、空圧エネルギ、コンデンサ、インダクタ、フライホイール、発電機、圧縮空気、エネルギ貯蔵、および別の動力源のうちの少なくとも1つを含む電源を有する方法/システム/ソフトウエア/デバイス。
項E32。項E1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスとタイプ2デバイスを設定することであって、タイプ1デバイスの前にタイプ2デバイスが設定されるか、タイプ2デバイスの前にタイプ1 が設定されるか、タイプ1デバイスとタイプ2が一緒に設定される、設定する方法/システム/ソフトウエア/デバイス。
項E33。項E32の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ2デバイスの設定は、ローカルネットワークにタイプ2デバイスをアクセスできるようにするために、タイプ2デバイスに関連付けられたQRコードをスキャンすることと、タイプ2デバイスの表面に印刷されたQRコードをスキャンすることと、タイプ2デバイスをアクセスポイント(AP)として機能するように設定して、第1のネットワーク識別子(ID)を持つ第1のネットワークを確立することと、第1のネットワークのタイプ2デバイスに関連付けることと、第1のネットワークにおいてタイプ2デバイスとハンドシェイクすることと、第1のネットワークのタイプ2デバイスとプローブの要求/応答ハンドシェイクを実行することと、第1のネットワークのタイプ2デバイスと認証の要求/応答ハンドシェイクを実行することと、第1のネットワークのタイプ2デバイスと関連付けの要求/応答ハンドシェイクを実行することと、特定のネットワークアドレスと特定のネットワークポートにアクセスすることと、第1のネットワークの特定のウエブアドレスのウエブページにアクセスすることと、特定のアクセス手順と特定のアクセスコードを使用して、場所内の第2のネットワークIDを持つ第2のネットワークにクライアントとして接続するようにタイプ2デバイスに指示することと、タイプ2デバイスをリブートすることと、ローカルネットワークを使用してタイプ2デバイスをクラウドサーバにアクセスさせるために、第2のネットワークを介してインターネットへのアクセスを得るためにタイプ2デバイスを設定することと、タイプ2デバイスが、第2のネットワークまたはインターネットの少なくとも1つを介してクラウドサーバにアクセスするように設定することと、タイプ2デバイス、そのハードウエア、そのソフトウエア構成、その能力、その制限のうちの少なくとも1つを無線監視システムのデータベースに登録することと、タイプ2デバイスをタスクに関連付けることと、タイプ2デバイスを場所内のオブジェクト動きの監視に関連付けることと、タイプ2デバイスを、ユーザ、ユーザアカウント、場所、場所のアドレス、ユーザのアドレス、ユーザの位置、場所内のタイプ2デバイスの位置、場所のマップ、タイプ2デバイスの名前、またはタイプ2デバイスの識別子(ID)のうちの少なくとも1つに関連付けることと、タイプ2デバイスの情報を無線監視システムの残りの部分に伝搬させることと、タイプ2デバイスを、無線信号または無線信号からのTSCIを受信/取得/分析し、無線信号から抽出されたTSCIに基づいてオブジェクトの動きを監視し、他のデバイス/タイプ2デバイスと協働/調整できるタイプ2デバイスとして機能させるために、ネットワーク内の少なくとも1つのタイプ1デバイスから無線信号を受信するようにタイプ2デバイスを設定することであって、無線信号は、監視および/またはタスクに関連する少なくとも1つの要件または指定に従う、設定することと、タイプ2デバイスを、ネットワーク内のいずれかのタイプ1デバイスからの無線信号からTSCIを抽出するように設定することと、タイプ2デバイスを、セキュリティプロトコル、ソフトウエアアップデートプロトコル、ファームウェアアップデートプロトコル、タイプ2デバイスのハードウェア/ソフトウエア構成(例えばタイプ2デバイスの集積回路(IC)、プロセッサ,メモリ、クロック周波数、ハードウェア/ソフトウエア/ファームウェアのバージョン、ハードウェア/ファームウェア/ソフトウエアの能力など)、タイプ2デバイスのアクセサリ、タイプ2デバイスの実現、タイプ2デバイスの筐体、タイプ2デバイスの電源、タイプ2デバイスのアンテナ、タイプ2デバイスの設置、タイプ2デバイスの配置、ネットワークトラヒック計画、ネットワーク要件、および/またはユーザプリファレンス、のうちの少なくとも1つに基づいて設定することと、タイプ2デバイスを、タイプ1デバイスが場所の無線マルチパスチャネルでタイプ2デバイスに無線信号を送信する第3のネットワークIDを有する第3のネットワークにおいて、アクセスポイント(AP)、局(STA)、クライアント、またはピアのうちの少なくとも1つとして機能するように構成することと、タイプ2デバイスに、無線監視システムの少なくとも1つの他のタイプ2デバイス、別の無線監視システムの少なくとも1つの他のタイプ2デバイス、別の監視システム、および/または別のシステムのうちの少なくとも1つと協働または調整するように指示することと、タイプ2デバイスによって受信された無線信号の送信に関して、少なくとも1つの他のタイプ2デバイスと調整するようにタイプ2デバイスに指示することであって、調整は、タイプ2デバイスおよび少なくとも1つの他のタイプ2デバイスと関連するタイミング、周波数、位相、同期、タイミングオフセット、遅延、周波数帯域、周波数ホッピング、シグナリング、送信設定、送信アンテナ、受信アンテナ、信号選択、信号強度、プロトコル、サウンディングメカニズム、サウンディング周波数、および/またはサウンディングタイミングのうちの少なくとも1つを調整する、指示することと、タイプ2デバイスと少なくとも1つの他のタイプ2デバイスを、デイジーチェーン、メッシュネットワーク、またはネットワークのネットワークのうちの少なくとも1つに編成することと、タイプ2デバイスと少なくとも1つの他のタイプ2デバイスを編成する最良の方法を計算することと、タイプ2デバイスと少なくとも1つのタイプ2デバイスのの編成または調整の少なくとも1つを無線監視システムのデータベースに登録することと、編成や調整の情報を無線監視システムの他の部分に伝播させることと、タイプ2デバイスに、タイプ1デバイスまたは他のタイプ1デバイスを発見してペアにするために、タイプ2デバイスに第3のネットワーク内のタイプ1デバイスを検出してペアになるように指示することと、タイプ2デバイスを第3のネットワークで検出できるように指示することと、別のデバイスが無線監視のためにタイプ2デバイスに何らかの無線信号を送信するために、タイプ2デバイスを別のデバイスとペアリングすることと、無線監視システムのデータベースにペアリングを登録することと、ペアリングされたタイプ1デバイス、そのハードウェア構成、そのソフトウエアコン構成、その能力、および/またはその制限のうちの少なくとも1つを無線監視システムのデータベースに登録することと、ペアリングの情報を無線監視システムの残りの部分に伝播することと、タイプ2デバイスを、タイプ1デバイス、少なくとも1つの他のタイプ1デバイス、および/または別のタイプ2デバイスの少なくとも1つとペアにするかまたは認証するか、関連付けるようにタイプ2デバイスを設定することと、要件または指定に従う無線信号が無線監視目的のためにタイプ2デバイスに送信されるように、ペアになったデバイスを協働または調整することと、フィードバックおよび/または命令をペアになったデバイスに提供することと、識別情報、ステータス、データ、プローブ、要求、応答、肯定応答、通知、ペアになったデバイスへのハンドシェイクのうちの少なくとも1つを送信することと、 識別情報、ステータス、データ、プローブ、要求、応答、肯定応答、通知、ペアになったデバイスからのハンドシェイクのうちの少なくとも1つを取得することと、すべてのタイプ1デバイスとすべてのタイプ2デバイスを編成する最良の方法の計算することであって、編成は、タイプ1デバイスの1つとタイプ2デバイスの1つとの間のペアワイズペアリングと、任意のタイプ1デバイスから任意のタイプ2デバイスに送信される無線信号に関連する設定とを含む、計算することと、編成を無線監視システムのデータベースに登録することと、編成の情報を残りの無線監視システムに伝播することと、他のデバイスおよび/または他のシステムと情報を共有することと、タイプ1デバイスのうちの少なくとも1つと情報を共有することと、ペアリングされたデバイスおよび/またはタイプ2デバイスの別の構成と情報を共有することと、のうちの少なくとも1つを実行することによって行われる、方法/システム/ソフトウエア/デバイス。
項E34。項E32の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスを以下の少なくとも1つを実行して、セットアップすることであって、タイプ2デバイスにタイプ1デバイスを発見してペアリングするように指示することと、タイプ2デバイスを発見可能にするよう指示することと、タイプ1デバイスにタイプ2デバイスを発見してペアにするよう指示することと、タイプ1デバイスに対して、タイプ2デバイスに関連する第3のネットワーク内のタイプ2デバイスを発見してペアにするよう指示することと、タイプ1デバイスが別のタイプ2デバイスを発見してペアになるように指示することと、タイプ1デバイスが別のタイプ2デバイスに関連付けられている別のネットワークにおける別のタイプ2デバイスを発見してペアになるように指示することと、タイプ1デバイスが発見可能になるように指示することと、タイプ1デバイスがタイプ2デバイスに関連付けられた第3のネットワー クで発見可能になるように指示することと、無線監視の目的ために、それぞれの無線信号をそれぞれのタイプ2デバイスに送信するため、タイプ1デバイスを、タイプ2デバイスまたは別のタイプ2デバイスのうちの少なくとも1つとペアにすることと、タイプ1デバイスからタイプ2デバイスへの無線信号の送信において、タイプ2デバイスとの協力または調整またはネゴシエーションまたはハンドシェイクをすることと、いずれかのタイプ1デバイスからタイプ2デバイスへの任意の無線信号の送信において、ペアになったタイプ2デバイスまたはペアになっていないタイプ2デバイスとの協力または協調またはネゴシエーションまたはハンドシェイクをすることと、ペアになったタイプ2デバイス、またはペアになっていないタイプ2デバイスに対する任意のタイプ1デバイスによる無線信号の送信において、少なくとも1つの他のタイプ1デバイスと協力または調整またはネゴシエーションまたはハンドシェイクすることと、ペアになったタイプ2デバイスまたは別のタイプ2デバイスにより受信された無線信号に関連するタイミング、周波数、位相、同期、タイミングオフセット、遅延、周波数帯域、周波数ホッピング、シグナリング、送信設定、送信アンテナ、受信アンテナ、信号選択、信号強度、プロトコル、サウンディングメカニズム、サウンディング周波数、および/またはサウンディングタイミングのうちの少なくとも1つに関する協力または調整またはネゴシエーションまたはハンドシェイクをすることと、またはタイプ1デバイスの別の設定、の内の少なくとも1つを実行してセットアップする、方法/システム/ソフトウエア/デバイス。
項E35。項E32の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイス、タイプ1デバイスに関連付けられた位置、タイプ1デバイスに関連付けられた領域、タイプ2デバイス、タイプ2デバイスに関連付けられた位置、タイプ2デバイスに関連付けられた領域、タイプ1デバイスおよびタイプ2デバイスのペア、ペアに関連付けられた位置、またはペアに関連付けられた領域のうちの少なくとも1 つにラベル付けする方法/システム/ソフトウエア/デバイス。
項E36。項E35の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ユーザのインプットに基づいて設定段階中にラベルを生成する、方法/システム/ソフトウエア/デバイス。
項E37。項E35の無線監視システムの方法/システム/ソフトウエア/デバイスであって、TSCI、STI、タスク、応答、およびTSCIまたはSTI、少なくとも1つの位置分析,動き分析、統計、および/またはTSCIおよびSTIに基づいて計算された動き統計、少なくとも1つの分析の履歴、またはTSCI、STI、経時変化に係る少なくとも1つの分析、または分析の履歴のうちの少なくとも1つに基づいて計算された少なくとも1つの分析、のうちの少なくとも1つに基づいて設定段階後にラベルを生成する方法/システム/ソフトウエア/デバイス。
項E38。項E35の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスおよびタイプ2デバイスのうちの1つは無線監視に関連しない第2の目的を有する多目的デバイスであり、補助データは第2の目的のためにデバイスによって生成され、補助データに基づいて設定段階後にラベルを生成する、方法/システム/ソフトウエア/デバイス。
項E39。項E1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、前記場所は、マルチフロア構造のフロア、マルチフロア構造の2つ以上のフロア、構造の内部空間、または構造のすぐ近接する外部空間のうちの少なくとも1つを含む、方法/システム/ソフトウエア/デバイス。
項E40。項E2の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ2デバイスおよび複数のタイプ1デバイスは、星形構成を形成する方法/システム/ソフトウエア/デバイス。
項E41。項E3の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスおよび複数のタイプ2デバイスは、星形構成を形成する方法/システム/ソフトウエア/デバイス。
項E42。項E4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ここで、各タイプ2デバイスは、それぞれの無線信号をタイプ2デバイス、タイプ2デバイス、およびスタートポロジを形成する少なくとも1つの関連するタイプ1デバイスにそれぞれ送信する少なくとも1つの関連するタイプ1デバイスと対にされる。
項E43。項E42の無線監視システムの方法/システム/ソフトウエア/デバイスであって、特定のタイプ2デバイスは、タイプ1およびタイプ2の両方である少なくとも1つの関連するタイプ2デバイスとさらにペアにされ、それぞれの関連するタイプ2デバイスはそれぞれの無線信号をタイプ2デバイスに送信し、特定のタイプ2デバイスは、少なくとも1つの関連するタイプ1デバイスおよび少なくとも1つの関連するタイプ2デバイスと共にスタートポロジを形成する、方法/システム/ソフトウエア/デバイス。
E44。項E4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、第1のタイプ2デバイスは、タイプ1およびタイプ2の両方である第2のタイプ2デバイスとさらにペアにされ、第2のタイプ2デバイスはそれぞれの無線信号を第1のタイプ2デバイスに送信し、第2のタイプ2デバイスは、タイプ1およびタイプ2の両方である第3のタイプ2デバイスとさらにペアにされ、第3のタイプ2デバイスはそれぞれの無線信号を第2のタイプ2デバイスに送信し、第1、第2および第3のタイプ2デバイスは、デイジーチェーンを形成する、方法/システム/ソフトウエア/デバイス。
項E45。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、別のタイプ1異種無線デバイスをシステムに追加することと、別のタイプ1デバイスをシステム内に既存のタイプ2デバイスとペアリングすることと、場所の無線マルチパスチャネルを介して別のタイプ1デバイスから別の無線信号を送信し、無線マルチパスチャネルを介して既存のタイプ2デバイスによる別の無線信号の受信することであって、場所の無線マルチパスチャネルとオブジェクト動きとにより受信した別の無線信号が送信された他の無線信号と異なる、送信および受信することと、受信した別の無線信号に基づいて無線マルチパスチャネルの別のTSCIを取得することと、別のTSCIに基づいて別の時空間情報(STI)を計算することと、別のTSCIと別のSTIに基づいてオブジェクト動きを監視することと、監視に基づいてタスクを実行することと、タスクに基づいて応答を生成することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E46。項E45に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、別のタイプ1デバイスの設定をすることであって、設定は、既存のタイプ2デバイスに対して別のタイプ1デバイスを発見してペアになるよう指示すること、既存のタイプ2デバイスを発見可能にすること、別のタイプ1デバイスに対して既存のタイプ2デバイスを発見して登録するよう指示すること、別のタイプ1デバイスを発見できるように指示すること、別のタイプ1デバイスと既存のタイプ2デバイスをペアにすること、別のタイプ1デバイスとそのペアを、無線監視システムのデータベース内の既存のタイプ2デバイスに登録すること、別のタイプ1デバイスとペアとの情報を無線監視システムの残りの部分に伝搬させ、別のタイプ1デバイスから既存のタイプ2デバイスへの別の無線信号の送信において、既存のタイプ2デバイスとの協働、調整、ネゴシエーション、ハンドシェイクを行うことであって、調整は、別のタイプ1デバイスによって既存のタイプ2デバイスに送信される別の無線信号に関連する、タイミング、周波数、位相、同期、タイミングオフセット、遅延、周波数帯、周波数ホッピング、シグナリング、送信設定、送信アンテナ、受信アンテナ、信号選択、信号強度、プロトコル、サウンディング機構、サウンディング周波数、および/またはサウンディングタイミングのうちの少なくとも1つである、協働、調整、ネゴシエーション、ハンドシェイクを行うこと、タイプ1とタイプ2のデバイスをすべて編成する最良の方法を計算すること、別のタイプ1デバイス、および別のタイプ1デバイスと既存のタイプ2デバイスのペアの少なくとも1つに関連付けられたラベルを追加すること、別のタイプ1デバイスを、ユーザ、ユーザアカウント、場所、場所のアドレス、ユーザのアドレス、ユーザの位置、場所内の別のタイプ1デバイスの位置、場所のマップ、別のタイプ1デバイスの名前、または別のタイプ1デバイスの識別子(ID)などのうちの少なくとも1つに関連付けること、の内の少なくとも1つによることをさらに含む、方法/システム/ソフトウエア/デバイス。
項E47。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、現在タイプ2デバイスとペアにされているタイプ1デバイスを削除することをさらに含む、方法/システム/ソフトウエア/デバイス。
項E48。項E47に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスを除去するためにシステムを設定することと、タイプ1デバイスからタイプ2デバイスに送信された無線信号から抽出されたTSCI なしで実行されるように、オブジェクト動きの監視を調整することと、タイプ1デバイスを無線監視システムのデータベースから登録解除することと、登録解除の情報を残りのシステムに伝播することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E49。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、新しいタイプ2異種無線デバイスをシステムに追加し、以下の少なくとも1つを実行することをさらに含み、以下は、新しいタイプ2デバイスを無線監視システムのデータベースに登録すること、新しいタイプ2デバイスの情報を残りのシステムに伝播すること、新しいタイプ1異種無線デバイスを追加すること、新しいタイプ1デバイスと新しいタイプ2デバイスをペアリングすること、元々別のタイプ2デバイスとペアリングされていた既存のタイプ1デバイスを新しいタイプ2デバイスとペアリングするようにリダイレクトすること、システムのデイジーチェーントポロジ、スタートポロジ、リングトポロジ、ハイブリッドトポロジ、または別のトポロジのうちの少なくとも1つにタイプ2デバイスを追加すること、2つのうちの1つがタイプ1デバイスとして機能して、無線信号を2つのうちの他方に送信するように、新しいタイプ2デバイスを別のタイプ2デバイスとペアにすること、データベースにペアリングを登録し、ペアリングの情報をシステムの残りの部分に伝播すること、のうちの少なくとも1つであることをさらに含む方法/システム/ソフトウエア/デバイス。
項E50。項E49に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、新しいタイプ2デバイスを追加するためにシステムを設定することをさらに含む、方法/システム/ソフトウエア/デバイス。
項E51。項E4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、システムからタイプ2異種無線デバイスを削除することをさらに含む、方法/システム/ソフトウエア/デバイス。
項E52。項E51に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、システムをタイプ2デバイスの除去のために設定することと、元々タイプ2デバイスとペアになっていたタイプ1デバイスのサブセットを、代わりに別のタイプ2デバイスとペアにするように指示することと、別のタイプ2デバイスをタイプ1デバイスのサブセットとペアにするように指示することと、別のタイプ2デバイスに、タイプ1デバイスのサブセットのそれぞれと協働、調整またはネゴシエーションするように指示することと、除去されたタイプ2デバイスを無線監視システムのデ-タベ-スに登録解除することと、除去の情報をシステムの残りの部分に伝播することと、新しい組織を無線監視システムのデータベースに登録することと、新しい組織の情報をシステムの残りの部分に伝播することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E53。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、デバイスのセットを一緒に管理することをさらに含み、前記デバイスのセットは、個々のタイプ1デバイス、個々のタイプ2デバイス、ペアになったタイプ1デバイスの集合と一緒のタイプ2デバイス、そのペアになったタイプ2デバイスの集合と一緒のタイプ1デバイス、それらのペアになったタイプ1デバイスの集合と共にトポロジで相互接続されたタイプ2デバイスの集合(トポロジは、スター、デイジーチェーン、ツリー、リング、ハイブリッドトポロジのうちの少なくとも1つを含む)、または、一緒のタイプ1とタイプ2 のすべてのデバイス、を含む方法/システム/ソフトウエア/デバイス。
項E54。項E1に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ユーザのユーザデバイスのユーザインタフェース(UI) でのプレゼンテーションの生成とUIからのユーザ入力の取得とをさらに含む方法/システム/ソフトウエア/デバイス。
項E55。項E1に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、UIは、階層スタイル、フラットスタイル、階層構造、またはフラット構造のうちの少なくとも1つをさらに含む方法/システム/ソフトウエア/デバイス。
項E56。項E1に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、無線監視システムは、スタンドアロンシステム、別のシステムへのアドオン、またはさらに別のシステムの統合サブシステムのうちの少なくとも1つをさらに含む方法/システム/ソフトウエア/デバイス。
項E57。項E1に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスまたはタイプ2デバイスの少なくとも1つは、可聴音警報発生器、対話生成器、対話エンジン、サイレン、ベル、スピーカ、ステータスインジケータ、経路音響インジケータ、位置音響インジケータ、ライト、安全のための通路灯、着色灯、警報灯、警告灯、時限灯のうちの少なくとも1つを含むことをさらに含む方法/システム/ソフトウエア/デバイス。
項E58。項E1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タスクは、スケジュールされたイベント、未読メッセージ、未読ニュースアイテム、スケジュール、タイムテーブル、加入チャネルのニュース、ユーザ設定、イベントに基づく通知の生成、アラーム時計、状況のうちの少なくとも1つに基づいてリマインドを生成すること、監視されているオブジェクト動き、STI、プラン、予定表、条件、検出されたイベント、認識された状況、またはトリガイベントの少なくとも1つに基づいて、システムのモードを変更すること、のうちの少なくとも1つを含む方法/システム/ソフトウエア/デバイス。
項E59。項E58の無線監視システムの方法/システム/ソフトウエア/デバイスであって、リマインドまたは通知のうちの少なくとも1つは、ユーザのユーザデバイス、ユーザのスマートフォン、ユーザのタブレット、ユーザのコンピュータ、スマートスピーカ、標示付きスマートデバイス、スピーカ付きスマートデバイス、キーフォブ、スマートウオッチ、スマートウェアラブル、スマートディスプレイ、スマート機器、スマートデバイス、スマート煙検出器、スマートドアベル、スマートテレビ、小型監視カメラなどのうちの少なくとも1つと通信される、方法/システム/ソフトウエア/デバイス。
項E60。項E1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、リマインド又は通知は、時刻、曜日、月日、年月日、ユーザデバイスの位置、システムのステータス、TSCI、STI、およびSTIに基づいて計算された分析のうちの少なくとも1つの履歴の分析、または機械学習に基づいた予想、のうちの少なくとも1つに基づいて生成される方法/システム/ソフトウエア/デバイス。
項E61。項E7に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、少なくとも1つの登録済みワイヤレス検出可能アイテムが無線監視システムに関連付けられており、ユーザ在宅モードで、一定期間動きが検出されず、登録された無線検出可能アイテムが検出されない場合、クエリーが生成され、ユーザデバイスに伝えられて、ユーザ不在モードに切り替えるかどうかを尋ねる、クエリーを生成することと、ユーザが確認した場合、動作モードをユーザ在宅モードからユーザ不在モードに変更することと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E62。項E7に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ユーザ在宅モードで、ある期間動きが検出されない場合、動作モードをユーザ在宅モードからユーザ不在ユーザモードに変更することをさらに含む方法/システム/ソフトウエア/デバイス。
項E63。項E7に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ユーザ在宅モードでは、動きが検出されない場合は何もしないことをさらに含む方法/システム/ソフトウエア/デバイス。
項E64。項E7に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、少なくとも1 つの登録済みワイヤレス検出可能アイテムが無線監視システムに関連付けられ、ユーザ不在モードでは、登録済みの無線検出可能アイテムが検出された場合、ユーザへのウエルカム通知が生成されることをさらに含む方法/システム/ソフトウエア/デバイス。
項E65。項E7に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、少なくとも1つの登録された無線検出可能アイテムが無線監視システムに関連付けられており、ユーザ不在モードでは、登録された無線検出可能アイテムが検出された場合、動作モードを不在モードからユーザ在宅モードに変更することをさらに含む方法/システム/ソフトウエア/デバイス。
項E66。項E7に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、少なくとも1つの登録された無線検出可能アイテムが無線監視システムに関連付けられており、登録された無線検出可能アイテムが検出されるとユーザに通知することをさらに含む方法/システム/ソフトウエア/デバイス。
項E67。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、動きが検出され、動きが振幅基準および継続期間基準を満たす場合に通知を生成することをさらに含む方法/システム/ソフトウエア/デバイス。
項E68。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、動きが検出されず、動きが振幅基準および継続期間基準を満たす場合に通知を生成することをさらに含む方法/システム/ソフトウエア/デバイス。
項E69。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、特定の位置で動きが検出された場合に通知を生成することをさらに含む方法/システム/ソフトウエア/デバイス。
項E70。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、通知を受信しないことを選択したユーザを除き、無線監視システム内の指定されたユーザの集合に通知を生成することをさらに含む方法/システム/ソフトウエア/デバイス。
項E71。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、通知を受信しないことを選択したユーザを除き、無線監視システム内の指定されたユーザの集合に通知を生成することをさらに含む方法/システム/ソフトウエア/デバイス。
項E72。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、通知を受信することを選択した無線監視システム内の指定されたユーザの集合へ通知を生成することをさらに含む方法/システム/ソフトウエア/デバイス。
項E73。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ユーザ不在モードで、動きが検出された場合、遅延を待ってから警報を立ち上げることをさらに含む方法/システム/ソフトウエア/デバイス。
項E74。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ユーザ在宅モードでは、ユーザがユーザ不在モードに変更することを選択した場合、動作モードをユーザ不在モードに変更する前に遅延時間を待機することをさらに含む方法/システム/ソフトウエア/デバイス。
項E75。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ユーザ在宅モードでは、ユーザがユーザ不在モードに変更することを選択した場合、動作モードをユーザ不在モードに変更するまで遅延時間を待機することをさらに含む方法/システム/ソフトウエア/デバイス。
項E76。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ユーザ在宅モードで、ユーザがユーザ不在モードに変更することを選択したが、遅延時間に場所を離れ損ねた場合、動作モードをユーザ不在モードに変更する前に別の遅延時間を待つことをさらに含む方法/システム/ソフトウエア/デバイス。項73~76のいずれかについて、遅延時間は、ユーザによって調整可能であってもよい。遅延時間中に、サウンドまたは光の表示が関連付けられてもよい。サウンドや光のパターンも調節可能である。
E77。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、TSCI、STI、またはTSCIまたはSTIに基づいて計算された分析のうちの少なくとも1つを、閾値またはパラメータのうちの少なくとも1つに基づいてフィルタ処理することをさらに含む方法/システム/ソフトウエア/デバイス。
項E78。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、TSCIまたはSTIに基づいてパターン認識することをさらに含む方法/システム/ソフトウエア/デバイス。
項E79。項E1または2または3または4に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、最高の権限レベルと権利を持つシステムのスーパーユーザ(SU)アカウントを介したSUによる無線監視システムの制御と管理をすることと、SUアカウントを介してSUによりレギュラーユーザ(RU)のための複数のレギュラーユーザアカウントの作成および管理をすることと、レギュラーユーザアカウントに関連するレギュラーユーザの情報を入力すること、TSCIおよびSTIに基づくオブジェクト動きの監視に関するそれぞれの権限レベルおよび権利をレギュラーユーザアカウントに割り当てることであって、それぞれの権限レベルおよび権利はSUの最高の権限および権利以下であるRUアカウントを設定すること、タスクまたはタスクのサブタスクへのアクセスを割り当てることのうちの少なくとも1つによって、SUによってそれぞれのRUアカウントを設定することと、をさらに含む方法/システム/ソフトウエア/デバイス
項E80。項E79に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、SUによって入力された関連するレギュラーユーザ(RU)情報に基づいて、特定のRUに招待を送信することにより、特定のレギュラーユーザ(RU)のための特定のRUアカウントをアクティブ化をすることをさらに含み、招待は、特定のRUの電子メールアカウントへの電子メール、特定のRUのメッセージアカウントへのメッセージ、RUのユーザデバイス内のRUのアプリケーション(app)へのアプリケーション内メッセージのうちの少なくとも1つの形式であり、アプリケーションは、テキストメッセージングアプリ、ボイスメッセージングアプリ、ビデオメッセージングアプリ、会議アプリ、オンラインチャットアプリ、インスタントメッセージングアプリ、電子メールアプリ、ウェブブラウザによってアクセス可能なウェブベースのメッセージングシステム、テキストを提供するウェブページ、音声、またはビデオベースのメッセージング、テキスト、音声、画像またはビデオのうちの少なくとも1つの形式のメッセージ機能を備えたソフトウエア、テキスト、音声またはビデオメッセージ機能が統合されたソフトウエア、または会議機能を備えたソフトウエア、RU、SMS、MMSのユーザデバイスへのテキストメッセージ、RUからの招待に対する応答の受信、応答に基づいた特定のRUアカウントのアクティブ化をすることのうちの少なくとも1つを含む、方法/システム/ソフトウエア/デバイス。
項E81。項E80に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、アカウントアクティベーションウェブページへのリンクを伴う特定のRUへの招待を送信することと、特定のRU の必要なアクティベーション情報を入力するリンクを使用して、特定のRU によりアカウントアクティベーションウエブ ページにアクセスすることと、をさらに含む方法/システム/ソフトウエア/デバイス。
項E82。項E79に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、特定のRUの権限レベルおよび権利に基づいて、特定のレギュラーユーザ(RU)に対する特定の応答を第三者に生成することをさらに含む方法/システム/ソフトウエア/デバイス。
項E83。項E79に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、特定のレギュラーユーザ(RU)の権限レベルおよび権利に基づいて、特定のRUに対する特定の応答を生成することをさらに含む方法/システム/ソフトウエア/デバイス。
項E84。項E83に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、特定のRUに関連付けられた権限レベルおよび権利に従って、特定のRUのユーザデバイスに特定のレスポンスの少なくとも一部を提示することをさらに含む方法/システム/ソフトウエア/デバイス。
項E85。項E79に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、特定のRUに関連付けられた特定のRUアカウントを更新または終了することをさらに含む方法/システム/ソフトウエア/デバイス。
項E86。項E79に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、特定のレギュラーユーザ(RU)アカウントが、特定の RU に関連付けられている依存ユーザの制限された数の依存ユーザ (DU) アカウントを作成、管理、更新、および終了できるようにすることをさらに含み、DUアカウントの権限レベルおよび権利は、特定のRUの権限レベルおよび権利以下である方法/システム/ソフトウエア/デバイス。
項E87。項E86に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、特定のRUによって作成された従属ユーザアカウントをスーパーユーザ(SU)によって管理することと、特定のRUを一時的に停止することとをさらに含む方法/システム/ソフトウエア/デバイス。
項E88。項E79に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、レギュラーユーザ(RU) アカウントを別のスーパーユーザ(SU) アカウントにアップグレードすることをさらに含む方法/システム/ソフトウエア/デバイス。
項E89。項E88に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、スーパーユーザ(SU)アカウントをレギュラーユーザ(RU)アカウントに格下げすることをさらに含む方法/システム/ソフトウエア/デバイス。
項E90。項E1または2または3または4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、無線監視システムは、サードパーティシステムと相互運用可能である方法/システム/ソフトウエア/デバイス。
項E91。項E90の無線監視システムの方法/システム/ソフトウエア/デバイスであって、STI、オブジェクト動きの監視、タスクの情報、サードパーティシステムとの応答のうち少なくとも1つを共有することを含む方法/システム/ソフトウエア/デバイス。
項E92。項E90の無線監視システムの方法/システム/ソフトウエア/デバイスであって、別の無線信号をタイプ2デバイスに送信するための別のタイプ1デバイスとしての役割を果たすサードパーティシステムのデバイスを有効化または設定することを含む方法/システム/ソフトウエア/デバイス。
項E93。項E92の無線監視システムの方法/システム/ソフトウエア/デバイスであって、別の無線信号は、サードパーティシステムのデバイスによって、無線監視システムと互換性のある方法で送信される方法/システム/ソフトウエア/デバイス。
項E94。項E90の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスから無線信号を受信するための別のタイプ2デバイスとして用いられるサードパーティシステムのデバイスを有効化または設定する方法/システム/ソフトウエア/デバイス。
項E95。項E94の無線監視システムの方法/システム/ソフトウエア/デバイスであって、サードパーティシステムのデバイスを、受信された無線信号に基づいて別のTSCIを取得することを可能にするかまたは設定し、別のTSCIに基づいてオブジェクト動きを監視する方法/システム/ソフトウエア/デバイス。
項E96。項E95の無線監視システムの方法/システム/ソフトウエア/デバイスであって、別のTSCIにも基づいてSTIを計算する方法/システム/ソフトウエア/デバイス。
項E97。項E95の無線監視システムの方法/システム/ソフトウエア/デバイスであって、別のTSCIに基づいて別のSTIを計算し、別のSTIに基づいてオブジェクト動きを監視する方法/システム/ソフトウエア/デバイス。
項E98。項E90の無線監視システムの方法/システム/ソフトウエア/デバイスであって、サードパーティシステムの第1のデバイスが別の無線信号を送信するための別のタイプ1デバイスとして働くことを可能にするかまたは設定する方法/システム/ソフトウエア/デバイス。
項は、サードパーティシステムの第2のデバイスを、別のタイプ1デバイスから別の無線信号を受信するための別のタイプ2デバイスとして機能することを可能にするか設定する。
項E99。項E98の無線監視システムの方法/システム/ソフトウエア/デバイスであって、別の無線信号に基づいて別のTSCIを取得し、別のTSCIに基づいてオブジェクト動きを監視する方法/システム/ソフトウエア/デバイス。
項E100。項E99の無線監視システムの方法/システム/ソフトウエア/デバイスであって、別のTSCIにも基づいてSTIを計算する方法/システム/ソフトウエア/デバイス。
項E101。項E99の無線監視システムの方法/システム/ソフトウエア/デバイスであって、別のTSCIに基づいて別のSTIを計算し、別のSTIに基づいてオブジェクト動きを監視する方法/システム/ソフトウエア/デバイス。
項E102。項E90の無線監視システムの方法/システム/ソフトウエア/デバイスであって、サードパーティシステムのデバイスがTSCIに基づくSTIの計算を支援することを可能にする方法/システム/ソフトウエア/デバイス。
項E103。項E90の無線監視システムの方法/システム/ソフトウエア/デバイスであって、サードパーティシステムのデバイスが、TSCIおよびSTIに基づくオブジェクト動きの監視を支援することを可能にする方法/システム/ソフトウエア/デバイス。
項E104。項E90の無線監視システムの方法/システム/ソフトウエア/デバイスであって、サードパーティシステムのデバイスが、監視に基づいてタスクを実行するのを支援することを可能にする方法/システム/ソフトウエア/デバイス。
項E105。項E90の無線監視システムの方法/システム/ソフトウエア/デバイスであって、サードパーティシステムのデバイスが、監視に基づいてタスクを実行するのを支援することを可能にする方法/システム/ソフトウエア/デバイス。
項E106。項E90の無線監視システムの方法/システム/ソフトウエア/デバイスであって、サードパーティシステムのデバイスが、タスクに基づいて応答を生成するのを支援することを可能にする方法/システム/ソフトウエア/デバイス。
項E107。項E1または2または3または4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、TSCIに基づいてSTIをリアルタイムで計算し、TSCIとSTIに基づいてオブジェクト動きをリアルタイムで監視し、リアルタイムでの監視に基づいてタスクを実行し、リアルタイムでのタスクに基づいて応答を生成する方法/システム/ソフトウエア/デバイス。
項E108。項E1または2または3または4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、TSCIとSTIに基づいてオブジェクト動きの位置を計算する方法/システム/ソフトウエア/デバイス。
項E109。項E1または2または3または4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、TSCIおよびSTIに基づいて、リアルタイムでオブジェクト動きがあるか否かを判定する方法/システム/ソフトウエア/デバイス。
項E110。項E1または2または3または4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、期間に関連付けられた、STI、オブジェクト動きの監視、オブジェクト動きの位置、オブジェクト動きの情報、STIまたはTSCIに基づいて計算された動き分析、タスクまたは応答のうちの少なくとも1つの履歴、トレンドまたは時間的概要の提示を生成する方法/システム/ソフトウエア/デバイス。
項E111。項E1または2または3または4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、標準、標準のフォーマット/フレーム/プロトコル、フレームのフィールド/フォーマット、データフレーム、制御フレーム、管理フレーム、PPDU (物理レイヤプロトコルデータユニット)、MPDU/A-MPDU(マッププロトコルデータユニット)、サウンディングフレーム、ビーコンフレーム,プローブフレーム、通知フレーム、リクエストフレーム、応答フレーム,肯定応答フレーム、エキサイテーションフレーム、ヌルデータフレーム、ヌルデータパケット(NDP)、 NDPへのレスポンス、ヌルデータフレームへの応答、国際標準、国内標準、産業標準、デファクト標準、プロトコール、ハンドシェイク、シグナリング、データ通信標準、無線ローカル/ワイドエリアネットワーク標準、メッシュネットワーク標準、移動通信標準、携帯電話標準、超広帯域(UWB)標準、Wi-Fi標準、IEEE 802.11/15/16標準、IEEE 802.11n/ac/ax/be/bf標準、3G/4G/LTE/5G/6G/7G/8G標準、Bluetooth、BLE、ZigBee、NFC、またはWiMaxに基づいて第1の無線信号が送信され、第2の無線信号が受信される方法/システム/ソフトウエア/デバイス。タイプ1デバイスからタイプ2デバイスへの無線信号は、タイプ2デバイスからタイプ1デバイスへの別の信号(例えば、トリガ信号)への応答であってもよい。
いくつかの実施形態では、多数の候補無線信号が存在する可能性がある(キャリア周波数、帯域幅、信号タイプ,信号特性、PHY/MACレベルのシグナリング、変調、データレート、シグナリングタイミング、サウンディング周波数、空間ストリーム、フィードバックなどの対応するシステム設定を備えている)。無線信号は、TSCI(例えば、STI、オブジェクト動き監視及び/又はタスクに充分な品質のもの)が候補無線信号から得られる/抽出されるように、タイプ1デバイスからタイプ2デバイスに送信されることができる。タイプ1デバイスとタイプ2デバイスとの間の適格試験は、複数の候補無線信号に対して実行されて、それらがタスク、STIに基づくオブジェクト動きの監視、および/またはTSCIに基づくSTIの計算のために十分であるか、または適格であることを保証することができる。適格試験は2つ以上のサブ試験、例えば、無線信号の信号対雑音比/SNRに関するサブ試験、STIのSNRに関するサブ試験、STIの時間一貫性または変動性に関するサブ試験、またはオブジェクト動きが特定の試験オブジェクト動きであるときのTSCI/STIの行動に関するサブ試験などを含むことができる。候補無線信号の1つを無線信号として選択することができる。複数のタスクがある場合、タスクごとに1つずつ、複数の適格試験が存在することがある。いくつかのタスクは、同じ適格試験を共有することができる。あるいは、タスクがそれぞれが対応する的確試験に関連付けられるいくつかのタスククラス(カテゴリ)に分類されてもよい。関連する無線信号を伴うタイプ1デバイスおよびタイプ2デバイスのペアは1つのタスクについて資格が与えられてもよいが、(必ずしも)別のタスクについて資格が与えられなくてもよい。
同期、同時、同じ時、非同期、従属、独立、調整、無調整、協力、無協力な方法、場合によっては標準またはプロトコルに従って(例えば、2つ以上のタイプ1デバイス、および/または2つ以上のタイプ2デバイスによって)、2つ以上の無線信号を送信/受信することができる。2つ以上の無線信号は同じまたは異なった信号タイプ(例えば、1つは照会またはアナウンスメントであってもよく、他の1つは肯定応答であってもよい。他の1つはポイントツーポイント/ユニキャスト、ポイントツーマルチポイント/マルチキャスト/ブロードキャスト/、マルチポイントツーポイント、マルチポイントツーマルチポイント、OFDMA、MU-MIMO、またはBSSカラーリング(BSS coloring)であってもよい)/フレーム構造(例えば、様々なデータ/制御/管理フレーム構造)/信号特性(例えば、様々なキャリア周波数、帯域幅、変調、ヘッダ/プリアンブル構造、サウンディングタイミング/周波数)のものであってもよい。
項E112。項E1または2または3または4の無線監視システムの方法/システム/ソフトウエア/デバイスであって、無線信号は、センシングセッションにおいて、それぞれのタイプ1デバイスによって送信され、それぞれのタイプ2デバイスによって受信される。センシングセッションは、標準またはプロトコルに従ってもよい。
項E113。項E112の無線監視システムのシステム/ソフトウエア/デバイスであって、センシングセッションは、タイプ1デバイス,タイプ2デバイスまたは別のデバイスであってもよい開始デバイスによって開始される。センシングセッションは標準またはプロトコルに従って、開始デバイス(例えば、センシングイニシエータ)によって開始されてもよい。開始デバイスは、タイプ1デバイスまたはタイプ2デバイスに開始要求を送信またはブロードキャストすることができる。センシングセッションに参加するすべての(応答する)タイプ1またはタイプ2デバイスは、センシングセッションの参加開始要求に応答することができる。
項E114。項E113の無線監視システムのシステム/ソフトウエア/デバイスであって、複数の応答デバイスは、開始デバイスからの開始リクエストに応答して、センシングセッションに参加する。すべてのタイプ2デバイスは、参加を応答することができる。タイプ1デバイスのうちの1つ、いくつか、またはすべてが、参加に応答することができる。センシングレスポンダは開始要求に応答し、センシングセッションに参加する任意のデバイス(例えば、タイプ1またはタイプ2デバイス)であってもよい。
1つ(または複数)の特定のType1デバイスはセッションに正式に参加するための開始要求に応答しない可能性がある(例:802.11bfに対応していないため)。特定の(応答しない)タイプ1デバイスは、特定のタイプ2デバイスからのトリガ無線信号に応じて、特定のタイプ2デバイスに無線信号を送信するために、(開始要求に応答し、セッションに参加した)特定のタイプ2デバイスによって「導かれる」ことによって、セッションに依然として寄与することができる(例えば、トリガ信号はデータ/制御/管理フレーム信号であってもよく、無線信号はトリガ信号に対する肯定応答であってもよい)。特定のタイプ2デバイスは無線信号に基づいて/無線信号からTSCIを取得/抽出し、STIを計算し、TSCI/STIに基づいてオブジェクト動きを監視し、監視に基づいてタスクを実行し、タスクに基づいて応答を生成することができる。特定の(応答しない)タイプ1デバイスは、セッションにおける寄与デバイスであってもよい。
特定のタイプ1デバイスおよび特定のタイプ2デバイスは認証されるか、あるいは関連づけられる可能性がある(例えば、特定のタイプ2デバイスは無線アクセスポイント/ルータ/リピータであってもよく、特定のタイプ1デバイスが特定のタイプ2デバイスの無線ネットワークにおいて関連づけられたり、認証されたりする可能性がある)。特定のタイプ2デバイスは関連するシステム設定(例えば、キャリア周波数、帯域幅、サウンディングレート)を有する少なくとも1つの候補トリガ信号を判定/含むことができる。少なくとも1つの候補トリガ信号は、無線標準またはプロトコルに準拠していてもよい。タイプ2デバイスは、開始要求に応じてタイプ1デバイスを試験することができる。候補トリガ信号/設定のいずれか/すべてが適格であるかどうかを調べ、タイプ1デバイスが適格であるかどうかを調べるために、タイプ2デバイスはタスクおよび候補トリガ信号/設定のそれぞれに対するタイプ1デバイス(または認証された又は関連するデバイス)の適格試験を実施してもよい。タイプ2デバイスは、少なくとも1つの候補トリガ信号をタイプ1デバイスに送信することができる。タイプ2デバイスはタイプ1デバイスから、それぞれは、それぞれの候補トリガ信号に応答する、少なくとも1つの応答信号を受信することができる。
タイプ2デバイスは、受信した応答信号をトリガ信号として、候補のトリガ信号の1つを選択することができる。タイプ2デバイスは、オブジェクト動き、またはオブジェクト動きの監視、またはタスクのうちの少なくとも1つに関連付けられている要件または基準(例えば、タイミング、周波数、サウンディング周波数、期間、遅延/ラグ、信号強度、帯域幅、アンテナ数、チャネル状態/輻輳/トラフィック、無線信号の受信成功/不成功、送信された候補信号と受信された無線信号との間の遅延の各々について)に基づいて選択肢を作成することができる。それは、セッションにおいて寄与の可能性のあるデバイス(寄与タイプ1デバイス)として機能することができるタイプ1デバイスの存在を報告することができる。
タイプ2デバイスは、いくつかのタスクのそれぞれについて寄与の可能性のあるデバイスの一覧を維持することができる(例えば、動き検出,存在検出、呼吸監視、心拍監視、転倒検出,動き位置特定,追跡,活動監視、ジェスチャ/歩容/活動認識、TSCIに関する第1の特徴/統計/アルゴリズム/アプローチを使用する第1のタスク、第1のタスクと同じ目標を有するがTSCIに関する第2の特徴/統計/アルゴリズム/アプローチを使用する第2のタスク)。タイプ2デバイスはサーバから、タスクと、それぞれのタスクに関連付けられた要件/基準の情報を取得することができる。
多くのタスクが多数のタスククラス/カテゴリに分類されてもよい。タイプ2デバイスは、タスククラス/カテゴリの数のそれぞれについて寄与の可能性があるデバイスの一覧を維持することができる。要件または基準は、それぞれのタスククラス/カテゴリに関連付けられてもよい。
項E115。項E114の無線監視システムのシステム/ソフトウエア/デバイスであって、応答デバイスは、セッションにおける全てのタイプ2デバイスを含む。
STIの演算、オブジェクト動きの監視、および/またはタスクの実行は、タイプ1デバイスおよびタイプ2デバイスのペアに関連付けられたTSCIに基づいて、別個の、個別の、または独立した方法で行うことができ、またはタイプ1およびタイプ2デバイスの2つ以上のペアに関連付けられた2つ以上のTSCIに基づいて、共同で、結合されて、融合されて、はブリッドでまたは相互依存の方法で行うことができる。タイプ1デバイスは応答デバイス(セッションに参加するための開始要求に応答する)または寄与デバイス(セッションに参加するための開始要求に応答しなかったが、無線信号を送信するためにタイプ2デバイスによって導かれた)であってもよい。共同監視は、タイプ1およびタイプ2デバイスの1つのペアに関連付けられたTSCIに基づいて個々に計算された2つ以上の個々のSTIまたは、タイプ1およびタイプ2デバイスの複数のペアに関連する複数のTSCI、または個々のSTIおよび共同のSTIの組み合わせに基づいて、共同で計算された共同のSTIに基づいてもよい。共同監視における共同のSTIの計算において、寄与タイプ1デバイス(例えば、より小さい重み)に関連するTSCIは応答タイプ1デバイス(例えば、より大きい重み)に関連するTSCIとは異なるように重み付けされてもよい。共同監視では、寄与タイプ1デバイスに関連する個々のSTI(例えば、より小さい重み)は応答したタイプ1デバイスに関連する個々のSTI(例えば、より大きい重み)とは異なって重み付けされてもよい。
項E116。項E114の無線監視システムのシステム/ソフトウエア/デバイスであって、応答デバイスは、タイプ1デバイスの0個、1個、2個以上、または全てを含む。応答デバイスは、タイプ1でもタイプ2デバイスでもない追加のデバイスを含むことができる。追加のデバイスは、演算、蓄積、処理、または無線監視における/無線監視のための何らかの役割/サブタスクを実行することができる。
任意の無線信号は、測定値を検知するために送信/受信される一連の無線プローブ信号であってもよい。それぞれのCIは、それぞれの受信されたプローブ信号に基づいて取得された任意の検知した測定値であってもよい。それぞれのタイプ1デバイスは、センシング送信機であってもよい。それぞれのタイプ2デバイスは、センシング受信機であってもよい。デバイスはセンシングセッションにおいて複数の役割(例えば、タイプ1デバイス及びタイプ2デバイスの両方として)を担うことができる。開始デバイスは、タイプ1デバイス、またはタイプ2デバイス、あるいはその両方、あるいはどちらでもない場合がある。
項E117。項E112の無線監視システムのシステム/ソフトウエア/デバイスであって、センシングセッションは、無線信号がゼロ送信を有する休止期間の1つ以上のインスタンスを含む。無線信号は、休止時間中、タイプ1デバイスからタイプ2デバイスにアクティブ/送信されない。異なる休止期間は、異なる時間期間を有してもよい。休止期間は延長された期間(例えば、世紀、10年、年、月、週、日、時、分、秒、または秒の何分の一かのオーダーの大きさ)であり得る。
項E118。項E112の無線監視システムのシステム/ソフトウエア/デバイスであって、センシングセッションは、アクティブな検知測定の1つ以上のバーストインスタンスを含む。言い換えると、センシングセッションでは、検知測定が第1の期間の間実行され、第2の期間の間中断/一時停止/停止され、次いで、第3の期間の間再開/再開始され、以下同様であり得る。
項E119。項E112の無線監視システムのシステム/ソフトウエア/デバイスであって、センシングセッションは、セットアップ段階、動作段階、および終了段階のうちの少なくとも1つを含む。センシングセッションは、ユーザまたはユーザデバイスによるタスクのセンシングリクエストに応じたものであってもよい。
項E120。項E119に記載の無線監視システムのシステム/ソフトウエア/デバイスは、設定段階において、以下のうちの少なくとも1つをさらに含み、それは、開始デバイスによるセンシングセッションの確立または再確立、各々のタイプ1デバイスまたはタイプ2デバイスへの開始デバイスによる開始リクエストの通信、タイプ1デバイスまたはタイプ2デバイスによるセッションに参加するためのそれぞれの開始要求への応答の送信、タイプ1デバイスまたはタイプ2デバイスのサポートされる操作パラメータの通信、タイプ1デバイス、タイプ2デバイス、またはその両方の適格試験の実行、タイプ1デバイスの存在とTSCIを生成するために無線信号をタイプ2デバイスに送信するタイプ1デバイスの適合性および能力のタイプ2デバイスへの報告、センシングセッションにおける無線信号の送信および受信のためのタイプ1デバイスおよびタイプ2デバイスのペアリング/関連付け/リンク、通信されたサポートされた動作パラメータおよび適格試験に基づくセンシングセッションに関連するタイプ1デバイスまたはタイプ2デバイスの動作パラメータのネゴシエート/選択/定義、または、選択した動作パラメータに基づいてそれぞれのタイプ1デバイスまたはタイプ2デバイスの設定、うちの少なくとも1つであるシステム/ソフトウエア/デバイス。
動作パラメータは、キャリア周波数、帯域幅、多数の候補無線信号からの無線信号の選択、システム設定、信号電力、シグナリングタイミング、サウンディング周波数、CIの選択/精度/量などのいずれかを含むことができる。サポートされる動作パラメータは、タイプ1デバイスとタイプ2デバイスの間、またはそれぞれのタイプ1(またはタイプ2)デバイスと開始デバイスの間で通信されてもよい。
項E121。項E119に記載の無線監視システムのシステム/ソフトウエア/デバイスであって、動作段階において、以下の少なくとも1つをさらに含み、それは、(i)タイプ1デバイスからタイプ2デバイスへの無線信号の送信、(ii)無線信号からのTSCIの取得、(iii)無線信号から入手したTSCIの報告、(iv)TSCIに基づくSTIの計算、(v)STIの報告、(vi)STIに基づくオブジェクト動きの監視、(vii)オブジェクト動きの監視に基づいたタスクの実行、(viii)タスクに基づく応答の生成、応答の報告。ステップ(i)および(ii)は、低レベル測定段階または低レベル測定のサブ段階と見なすことができる。ステップ(iii)は低レベル報告段階または低レベル報告のサブ段階(例えば、低レベルから別の低レベルへ、または低レベルから高レベルへ)と考えることができる。ステップ(iv)~(viii)は、高レベル処理段階または高レベル処理のサブ段階と考えることができる。
一例では、TSCIがタイプ2デバイス(例えば、本タイプ2デバイスの無線集積回路/IC/半導体)によって無線信号からステップ(ii)において抽出/取得されてもよい。ステップ(iii)における報告はタイプ2デバイスから別のデバイス(例えば、タイプ1デバイス、または開始デバイス)へのTSCIの送信(無線またはワイヤード、特定の形式で、おそらく一定の精度で、おそらくは圧縮されて)を含むことができる。ステップ(iii)において無線送信である場合、それはタイプ2デバイスの無線ICから(タイプ2デバイスのアンテナを使用して)別のデバイスの別の無線ICに(そのアンテナを使用して)送信されてもよく、それはPHYレベルまたはMACレベルで、低レベルから低レベルへの報告であってもよい。ステップ(iv)~(viii)は、別のデバイスまたはさらに別のデバイスによって実行されてもよい。ステップ(v)は、スキップされてもされなくてもよい。
別の例では、TSCIがタイプ2デバイス(例えば、タイプ2デバイスの無線集積回路/IC/半導体)によって無線信号からステップ(ii)において抽出/取得されてもよい。ステップ(iii)における報告は、タイプ2デバイス内で内部的に行うことができる。これは、低レベルから高レベルへの報告であってもよく、低レベル(例えば、PHY/MAC層、ファームウェア)から上位レベル(例えば、アプリケーション層、ユーザアプリケーション/ソフトウエア)への報告であってもよい。ステップ(iii)はスキップされてもよい。ステップ(iv)はタイプ2デバイスにおいて(例えば、アプリケーション層、またはPHY/MAC層において)行われてもよい。ステップ(v)において、STIは、タイプ2デバイスによって、別のデバイス(例えば開始デバイス,タイプ1デバイスもしくはサーバ)に報告されてもよい。ステップ(vi)~(viii)は、タイプ2デバイス、別のデバイス、またはさらに別のデバイスによって、別個で、共同で、または協力的な方法で実行され得る。
項E122。項E121に記載の無線監視システムのシステム/ソフトウエア/デバイスであって、終了段階において、以下の少なくとも1つをさらに含み、それは、無線信号の送信停止、無線信号からのTSCIの取得停止、TSCIに基づくSTIの計算の停止、STI/TSCIに基づくオブジェクト動きの監視の停止、タスクの停止、応答の停止である、システム/ソフトウエア/デバイス。
以下の番号付き項は、オブジェクト動きを無線で監視するための実施例を提供する。
項F1。無線動き監視のためのシステムであって、場所の無線マルチパスチャネルを通して第1の無線信号を送信するように構成された送信機と、無線マルチパスチャネルを介して第2の無線信号を受信するように構成された受信機であって、第2の無線信号は、無線マルチパスチャネルおよび場所内のオブジェクトの動きのために第1の無線信号とは異なる、受信機と、プロセッサとを含み、プロセッサは、第2の無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得することと、TSCIに基づいて時空間情報(STI)を計算することと、TSCIとSTIに基づいてオブジェクトの動きを監視することと、監視に基づいてタスクの実行することと、タスクに基づいて応答を生成することと、を行うように構成されたシステム。
項F2。項F1のシステムであって、プロセッサはさらに、タスクに関連付けられた複数のサポートされている動作モードから、タスクの現在の動作モードになる動作モードを選択することと、TSCIおよび現在の動作モードに基づいてオブジェクトの少なくとも1つの状況を監視することと、を行うように構成されており、応答は、タスクの現在の動作モードに基づいて生成されるシステム。
項F3。項F2のシステムであって、現在の動作モードは、システムのユーザが場所に存在しないときに場所を監視するためのユーザ不在モードであり、プロセッサはさらに、オブジェクトを侵入者とし、ユーザ不在モードで次のうち少なくとも1つを実行することであって、オブジェクトの動きを監視するための感度設定を設定すること、送信機またはシステムの少なくとも1つの他の受信機のうちの少なくとも1つを有効または無効にすること、予定表の各期間に関連するそれぞれの設定でユーザ不在モードに対する予定表を構成すること、ユーザ不在モードのパラメータ、閾値、タイミングを設定すること、ユーザへ通知の方法とモードを設定すること、または、ユーザ不在モードに関連付けるオブジェクトの少なくとも1つの状況の監視の設定をすることのうち少なくとも1つを実行することと、侵入者の存在を指すパターンに関するTSCIおよびSTIを監視することと、応答を、指定されたユーザに通知を送信すること、警報を生成すること、アラームアニメーションを生成すること、警報を再生すること、侵入者との対話を実行すること、認証済みユーザの識別情報を生成するように侵入者に要求すること、システムのサイレンを鳴らすこと、場所を保護すること、のうちの少なくとも1つを含むように構成することと、をするように構成されたシステム。
項F4。項F2のシステムであって、現在の動作モードは、システムのユーザが前記場所内に存在するときに場所を監視するためのユーザ在宅モードであり、プロセッサはさらに、オブジェクトをユーザとし、ユーザ在宅で次のうち少なくとも1つを実行することであって、オブジェクトの前記動きを監視するための感度設定を設定すること、送信機またはシステムの少なくとも1つの他の受信機のうちの少なくとも1つを有効または無効にすること、予定表のそれぞれの期間に関連する各設定でユーザ在宅モードに対する予定表を設定すること、ユーザ在宅モードのパラメータ、閾値、タイミングを設定すること、ユーザへの通知方法とモードを設定すること、または、ユーザ在宅モードに関連付けられるオブジェクトの少なくとも1つの状況の監視を設定することのうち少なくとも1つを実行することと、TSCIとSTIに基づいて場所内のユーザの活動を監視することと、応答を、次の少なくとも1つを含むように構成することであって、ユーザの位置特定、ユーザの動きの監視、ユーザの日課、習慣、または行動のうちの少なくとも1つの監視、ユーザの日課、習慣、または行動のうちの少なくとも1つからの偏差の監視、追加ユーザの検出、追加ユーザの動きの監視、追加ユーザの行動の監視、ユーザと追加ユーザ間の相互作用の監視、ユーザの危険な動きの検出、-ユーザの転倒動きの検出、ユーザのバイタルサインの監視、ユーザの呼吸または心拍のうちの少なくとも1つの監視、ユーザの睡眠の監視、ユーザの動きの順番、踊り、運動、歩調、一時停止、または休憩のうちの少なくとも1つの監視、ユーザのジェスチャの検出、ユーザとの対話、やりとりまたは相互作用の実行、ユーザへの通知、レポート、またはリマインドの実行、対話,やりとり,相互作用、通知、レポート、またはリマインドを実行するための少なくとも1つのユーザデバイスへの指示、対話,やりとり,相互作用、通知、レポート、またはリマインドにおける少なくとも1つのユーザデバイスに関する少なくとも1つの提示またはユーザインタフェースの生成、対話、やりとり、または相互作用に基づくユーザの危険性、転倒、イベント、状況、状態、ジェスチャ、コマンドの検証、または、ユーザの活動情報を、他のユーザ、他のユーザのユーザデバイス、サーバ、クラウドサーバ、ローカルサーバ、記憶装置、ネットワーク記憶装置、分散記憶装置、ブロックチェーン、データベース又は分析モジュールのうちの少なくとも一つへの通信、のうちの少なくとも1つを含むように応答を構成することと、を行うように構成されたシステム。
項F5。項F2のシステムであって、現在の動作モードは、システムのユーザが場所に存在せず、ユーザがサイレンを望まないときに場所を監視するためのビジラントモード(vigilant mode)であり、プロセッサはさらに、オブジェクトが侵入者である場合に、ビジラントモードで以下の少なくとも1つを実行することであって、オブジェクトの動きを監視するための感度設定を設定すること、送信機またはシステムの少なくとも1つの他の受信機のうちの少なくとも1つを有効または無効にすること、予定表の各期間に関連付けられた各設定でビジラントモード用の予定表を構成すること、ビジラントモード用のパラメータ、閾値、タイミングを設定すること、ユーザのへ通知の方法とモードを設定すること、または、ビジラントモードに関連付けられるオブジェクトの少なくとも1つの状況の監視を設定することのうちの少なくとも1つを実行することと、侵入者の存在を指し示すパターンに関するTSCIおよびSTIを監視することであって、応答は、指定されたユーザに通知を送信、警報の生成、アラームアニメーションを生成、警告メッセージの再生、侵入者と対話を行い、認証済みユーザの識別情報の示すことを侵入者に要求、システムのサイレンを鳴らす、場所を保護、のうちの少なくとも1つを含む監視することと、警報を生成すること、アラームアニメーションを生成すること、警報を再生すること、侵入者との対話を行うこと、認証済みユーザの識別情報を示すように侵入者に要求すること、システムのサイレンを鳴らすこと、または場所を保護することのうちの少なくとも1つを除外するように応答を構成することと、を含むシステム。
項F6。項F2のシステムであって、現在の動作モードはシステムのユーザが場所に存在せず、ユーザが検出されたオブジェクト動きを通知されることを望む場合に、場所を監視するためのガードモードであり、プロセッサはさらに、オブジェクトを侵入者として、ガードモードのもとで以下の少なくとも1つを実行することであって、オブジェクトの動きを監視するための感度設定を設定すること、送信機またはシステムの少なくとも1つの他の受信機のうちの少なくとも1つを有効または無効にすること、予定表の各期間に関連付けられた各設定でガードモードのタイムテーブルを構成すること、ガードモードのパラメータ、閾値、タイミングを設定すること、ユーザのへの通知の方法とモードを設定すること、または、ガードモードに関連付けられたオブジェクトの少なくとも1つの状況の監視を設定することのうちの少なくとも1つを実行することと、侵入者の存在を指し示すパターンに関するTSCIおよびSTIを監視することと、応答を、ユーザに通知を送信すること、ユーザからの確認に応じて更なる動作を行うこと、又は別の動作モードに切り替えることのうちの少なくとも1つを含むように構成することと、をさらにするように構成されるシステム。
項F7。項F2のシステムであって、現在の動作モードは、場所を監視するためのパワーセービングモードであり、プロセッサは、送信機からの第1の無線信号の送信、受信機による第2の無線信号の受信、第2の無線信号に基づくTSCIの取得、TSCIに基づくSTIの計算、TSCIとSTIに基づく前記オブジェクトの前記動きの監視、タスクの実行、またはタスクに基づく応答の生成、の内の少なくとも1つを一時停止または停止するようにさらに設定されるシステム。
項F8。項F2のシステであって、現在の動作モードは、(a)場所においてオブジェクトの動きが検出され、オブジェクトが未識別であるときに場所を監視するためのユーザチャレンジモード、(b)オブジェクトがユーザの場合に場所を監視するためのユーザ対話モードであり、プロセッサは、ユーザチャレンジモードにおいて応答を、指定されたユーザに通知を送ること、警報を生成すること、アラームアニメーションを生成すること、警告メッセージを再生すること、侵入者との対話を行うこと、承認済みユーザの識別情報を示すことをオブジェクトに要求すること、場所を保護すること、または別の動作モードに切り替えることのうちの少なくとも1つを含むように設定することと、ユーザ対話モードにおいて応答を、ユーザと対話、取り交わしまたは相互作用を行うこと、ユーザへ通知、レポート、またはリマインドを行うこと、対話,取り交わし,相互作用、通知、レポート、またはリマインドを行うように少なくとも1つのユーザデバイスに指示すること、対話,取り交わし,相互作用、通知、レポート、またはリマインドにおいて少なくとも1つのユーザデバイスに上に少なくとも1つの提示またはユーザインタフェースを生成すること、危険、転倒、イベント、状況、状態、睡眠関連状況、活動、踊り、運動、歩調、休憩、および日課、習慣または行動からの偏差、ユーザの動き、ジェスチャ、または対話に基づくユーザのコマンド、取り交わしまたは対話のうちの少なくとも1つを検証すること、ユーザの活動の情報を、他のユーザ、他のユーザの別のユーザデバイス、サーバ、クラウドサーバ、ローカルサーバ、記憶装置、ネットワークストレージ、分散ストレージ、ブロックチェーン、データベース、または分析モジュールのうちの少なくとも1つに通信することのうちの少なくとも1つを含むように設定することと、応答に対する反応に応じてオブジェクトの動きを監視することと、をするように構成されるシステム。
項F9。項F2のシステムであって、プロセッサは、システムのユーザの選択、ユーザの選好、ユーザによるユーザデバイスへの入力、ユーザによるユーザインタフェース(UI)上の選択、ユーザによるUI上のボタン押下、ユーザによる言葉による選択、ユーザへのプレゼンテーション、UI上のプレゼンテーション、対話、ユーザデバイスに基づくユーザとの交換または相互作用、それぞれのサポートされた動作モードにそれぞれ関連付けられた少なくとも1つの状態を含む有限状態機械(FSM)、サポートされた動作モードのシーケンスに関連付けられた状態を含む有限状態機械(FSM)、監視されているオブジェクトの少なくとも1つの状況、およびタスク、ユーザ、オブジェクト、または場所のうちの少なくとも1つに関連付けられた予定表、場所内のユーザの存在または不在、別のシステムとの通信、電源オン、電源停止、システムリセット、またはシステムのパワーセービングニーズのうちの少なくとも1つに基づいてタスクの現在の動作モードを現在の動作モードからサポートされる動作モードの別の動作モードに変更するようにさらに構成されるシステム。
項F10。項F9のシステムであって、プロセッサは、少なくとも1つの登録済み無線検出可能アイテムとシステムとを関連付けることと、ユーザ在宅モードで、ある期間動きが検出されず、少なくとも1つの登録された無線検出可能アイテムのいずれも検出されない場合、問い合わせ、提示、通知、対話、取り交わし、または相互作用のうちの少なくとも1つを生成することであって、問い合わせは、ユーザがユーザ不在モードに切り替える意図を有するかどうかを尋ねるためにユーザデバイスに通信される、生成することと、ユーザが切り替えを確認した後、またはタイムアウト時間内に切り替えを拒否しなかった後に、タスクの現在の動作モードをユーザ在宅モードからユーザ不在モードに変更することと、をするようにさらに構成されるシステム。
項F11。項F9のシステムであって、プロセッサは、ユーザ在宅モードにおいて、動きが一定時間検出されなかった後に、タスクの現在の動作モードをユーザ在宅モードからユーザ不在モードに変更するようにさらに構成されるシステム。
項F12。項F9のシステムであって、プロセッサはさらに、少なくとも1つの登録済み無線検出可能アイテムとシステムとを関連付け、少なくとも1つの登録された無線検出可能アイテムのいずれかが検出されたときに、ユーザ不在モードで、ユーザを迎えるための通知、挨拶、対話、取り交わし、相互作用、または提示を生成し、少なくとも1つの登録された無線検出可能アイテムのいずれかが検出されたときに、ユーザ不在モードからユーザ在宅モードにタスクの現在の動作モードを変更するように設定されるシステム。
項F13。プロセッサは、ユーザ不在モードで動きが検出されると、警報を起動する前に所定の期間待機するようにさらに構成される項F9に記載のシステム。
項F14。プロセッサはユーザが現在の動作モードをユーザ在宅モードからユーザ不在モードに切り替えることを選択したときに、一定期間待ってから、動作モードをユーザ不在に変更するようにさらに構成される、項F9に記載のシステム。
項F15。項F9のシステムであって、プロセッサは、ユーザが現在の動作モードをユーザ在宅モードからユーザ不在モードに切り替えることを選択したが、所定の期間内に場所を離れなかった場合、現在の動作モードをユーザ不在モードに変更するまでに、追加の所定の期間を待機するようにさらに構成されるシステム。
項F16。項F1のシステムであって、ここで、前記プロセッサは、緊急メッセージの受信をすることと、緊急メッセージに基づいて、以下の緊急行動のうちの少なくとも1つを実行することとを含み、緊急アクションは、システムのユーザとの対話、取り交わし、または相互作用の実行、ユーザへの通知、レポート、またはリマインド、対話,取り交わし,相互作用、通知、レポート、またはリマインドを行うようにユーザの少なくとも1つのユーザデバイスへ指示、対話,取り交わし,相互作用、通知、レポート、またはリマインドにおいて、少なくとも1つのユーザデバイス上に少なくとも1つのプレゼンテーションまたはユーザインタフェースを生成すること、対話、取り交わし、または相互作用に基づく緊急通報に関連する緊急事態、危険、転倒、イベント、事態、状態、ジェスチャ、ユーザのコマンドの検証、避難の開始、非常警報システムの作動、緊急時対応システムの発動、非常灯の点灯、非常放送システムの起動、非常メッセージシステムの設定、プライオリティ通知システムの起動、サイレンの鳴動、警報音の鳴動、視覚的警報の表示、アニメーションアラームの作動、システムのユーザ、1人または複数の指定された連絡担当者のうちの少なくとも1人に対する通知または個人向け警報の生成、緊急サービスの依頼、または、場所、指定された位置、ユーザのホームアドレス、またはユーザの現在位置のうちの少なくとも1つへの少なくとも1人の第1対応者の派遣を要求、のうちの少なくとも1つであるシステム。
項F17。項F1のシステムであって、送信機は第1のデバイスに位置し、受信機は第2のデバイスに位置し、第1のデバイスまたは第2のデバイスのうちの少なくとも1つは、システムにおいて単一の役割を有するデバイスであり、プロセッサは、ソフトウエアアップデート、ファームウェアアップデート、ソフトウエアアップグレード、または無線でのソフトウエアアップグレードの少なくとも1 つに基づいて、システム内の第1のデバイスと第2のデバイスの1つを変更するようにさらに設定されるシステム。
項F18。項F17のシステムであって、第1のデバイスまたは第2のデバイスのうちの少なくとも1つは、有線ネットワークまたは無線ネットワークのうちの少なくとも1つと通信可能に結合され、前記第1のデバイスまたは前記第2のデバイスの少なくとも一方は、可聴音警報発生器、対話発生器、会話エンジン、サイレン、ベル、スピーカ、ステータスインジケータ、経路音響インジケータ、位置音響インジケータ、灯火、安全のための通路灯、着色灯、警報灯、警告灯又は時限灯のうちの少なくとも1つを備え、プロセッサは、第2のデバイスが第1のデバイスの前にセットアップされるか、第1のデバイスが第2のデバイスの前にセットアップされるか、または第1のデバイスおよび第2のデバイスが同時にセットアップされるかのうちの1つの方法に従って、第1のデバイスおよび第2のデバイスをセットアップするようにさらに構成されるシステム。
項F19。項F17のシステムであって、前記プロセッサは、第1のデバイス、第1のデバイスに関連付けられた位置、第1のデバイスに関連付けられた領域、第2のデバイス、第2のデバイスに関連付けられた位置、第2のデバイスに関連付けられた領域、第1のデバイスおよび第2のデバイスのペア、ペアに関連付けられた位置、またはペアに関連付けられた領域のうちの少なくとも1つのためのラベルを生成するようにさらに構成され、ラベルは、システムの設定段階中でのシステムのユーザの入力、TSCI、STI、タスク、または設定段階後の応答のうちの少なくとも1つに基づいて生成されるシステム。
項F20。項F1のシステムであって、場所は、マルチフロア構造のフロア、マルチフロア構造の複数のフロア、構造の内部空間、または構造のすぐ近傍の外部空間のうちの少なくとも1つを含み、プロセッサはさらに、システムのユーザのユーザデバイスのユーザインタフェース(UI)の監視に関連したプレゼンテーションを生成し、UIを介してユーザからユーザ入力を取得するように構成されているシステム。
項F21。項F1のシステムであって、タスクは、提示、リマインド、通知、レポート、対話、取り交わし、または、スケジュールされたイベント、未読メッセージ、未読ニュースアイテム、スケジュール、タイムテーブル、加入チャネルのニュース、ユーザ設定、イベント、アラーム時計、または状況のうちの少なくとも1つに基づく相互作用のうちの少なくとも1つを生成すること、または、オブジェクトの動き、STI、プラン、予定表、状況、検出されたイベント、認識された状況、またはトリガイベントのうちの少なくとも1つに基づいてシステムのモードを変更することのうちの少なくとも1つを含むシステム。
項F22。項F21のシステムであって、提示、リマインド、通知、レポート、対話、取り交わし、相互作用、またはモードのうちの少なくとも1つは、ユーザのユーザデバイス、ユーザのスマートフォン、ユーザのタブレット、ユーザのコンピュータ、スマートスピーカ、表示付きスマートデバイス、スピーカ付きスマートデバイス、キーフォブ、スマートウオッチ、スマートウェアラブル、スマートディスプレイ、スマート機器、スマートデバイス、スマート煙検出器、スマートドアベル、スマートテレビ、または小型監視カメラのうちの少なくとも1つに伝達され、リマインド、通知、報告、対話、取り交わし、相互作用、またはモードのうちの少なくとも1つは、時刻、曜日、月日、年月日、ユーザデバイスの位置、システムのステータス、機械学習に基づく予想、またはTSCI、STI、またはSTIに基づいて計算された分析のうちの少なくとも1つの履歴の記録の分析に基づいて決定されるシステム。
項F23。項F1のシステムであって、プロセッサは、少なくとも1人の指定されたユーザに向けて/との間でリマインド、通知、レポート、対話、取り交わし、または相互作用を生成するようにさらに構成され、生成は、動きが検出され、振幅基準および継続期間基準の少なくとも一方に基づくか、または動きが場所内の所定の位置で検出されことに基づくシステム。
項F24。項F1のシステムであって、プロセッサはさらに、閾値またはパラメータの少なくとも1つに基づいて、TSCI、STI、またはTSCIまたはSTIに基づいて計算された分析の少なくとも1つをフィルタリングし、TSCIまたはSTIに基づいてパターンを認識するように構成されるシステム。
項F25。項F1のシステムであって、プロセッサは、最高の権限レベルおよび権利を持つシステムを制御および管理するためのスーパーユーザ(SU)用のSUアカウントを生成することと、システムを制御および管理するために、それぞれのレギュラーユーザ(RU)のための複数のRUアカウントをそれぞれ生成することと、SUによって実行される、RUアカウントに関連するRUの情報を入力すること、TSCIおよびSTIに基づくオブジェクトの動きの監視に関するそれぞれの権限レベルおよび権利をRUアカウントに割り当てることのうちの少なくとも1つに基づいて各RUアカウントを構成することと、をするように設定され、各権限レベルおよび権利が、SUの最高権限レベルおよび権利以下であるか、またはタスクまたはタスクのサブタスクへのアクセス権をRUアカウントに割り当てるシステム。
項F26。項F1のシステムであって、システムはサードパーティのシステムと相互運用可能であり、プロセッサはさらに、STI、オブジェクトの動きの監視、タスクの情報、または応答のうち少なくとも1つをサードパーティシステムと共有することと、サードパーティシステム内のデバイスを、システム内の受信機に追加の無線信号を送信するための追加の送信機として機能させることを可能にし、または構成することと、をするように設定されているシステム。
項F27。項F1のシステムであって、プロセッサは、TSCIとSTIに基づいたオブジェクトの動きの位置の計算することと、TSCIとSTIに基づくリアルタイムにオブジェクト動きがあるかどうかの判断することと、そして、期間に関連付けられる、履歴の提示、およびSTI、タスクまたは応答のうちの少なくとも1つのトレンド又は時間的概要、動きの監視、動きの位置、STIまたはTSCIに基づいて計算された動き分析の生成することと、をするようにさらに構成されるシステム。
項F28。無線監視システムの方法であって、場所の無線マルチパスチャネルを介して非同期に複数の無線信号を送信することであって、それぞれの無線信号は、無線監視システム内の複数の第1のデバイスのうちのそれぞれの1つから送信される、送信することと、無線マルチパスチャネルを介して無線監視システム内の複数の第2のデバイスによって複数の無線信号を受信することであって、それぞれの受信無線信号は、無線マルチパスチャネルおよび場所内のオブジェクトの動きによってそれぞれの送信無線信号とは異なる、受信することと、それぞれの受信無線信号に基づいて無線マルチパスチャネルの複数の時系列チャネル情報(TSCI)の各々を取得することと、それぞれのTSCIに基づいてそれぞれの複数の時空間情報(STI)を計算することと、複数のTSCIの第1のサブセットおよび複数のSTIの第1のサブセットに基づいてオブジェクトの動きの第1の状況を監視することと、複数のTSCIの第2のサブセットおよび複数のSTIの第2のサブセットに基づいてオブジェクトの動きの第2の状況を監視することと、動きの第1の状況を監視することに基づいて第1のタスクを実行することと、動きの第2の状況を監視することに基づいて第2のタスクを実行することと、第1のタスクに基づいて第1の応答を生成することと、第2のタスクに基づいて第2の応答を生成することと、を含む方法。
項F29。項F28の方法であって、各第2のデバイスは、それぞれがそれぞれの無線信号を第2のデバイスに送信する少なくとも1つの第1のデバイスとペアにされ、少なくとも1つの第2のデバイスおよびそのペアにされた少なくとも1つの第1のデバイスはスタートポロジを形成する、方法。
項F30。無線監視システムの無線デバイスであって、プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合された受信機とを備え、無線監視システムの追加の無線デバイスは、現在の動作モードに従って場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成され、受信機は、現在の動作モードに従って、無線マルチパスチャネルを介して第2の無線信号を受信するように構成され、前記第2の無線信号は無線マルチパスチャネル及び場所におけるオブジェクトの動きにより、前記第1の無線信号とは異なり、プロセッサは、タスクおよびオブジェクトの動きに関連付けられた複数のサポートされた動作モードから現在の動作モードを選択し、第2の無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得し、TSCIに基づいて時空間情報(STI)を計算し、TSCIおよびSTIに基づいてオブジェクトの動きを監視し、監視に基づいてタスクを実行し、タスクに基づいて応答を生成する、無線デバイス。
本開示は無線監視の質を向上させるために、送信及び受信アンテナを同一デバイス内において同一の場所に配置するための物理的バリアを有する特殊なアンテナ配置を使用するための方法及びシステムを開示する。様々な実施形態では、アンテナ配置が家、例えばバスルーム内の転倒を検出するのに役立つことができる。物理的バリアがなければ、転倒は検出されないか、または小さなカバレッジエリアにおいてのみ検出され得る。
図31は、本開示のいくつかの実施形態に従う、送信機と受信機との間に配置された物理的バリアに基づく無線監視のための方法を示す。図31に示されるように、TxとRxとの間のバリア3110はセンシングタスクにおいてLOS成分3120が無線信号の他方の成分を支配または圧倒するのを防止するように、無線信号のLOS成分3120を減衰させるのに役立ち得る。そのように、無線信号のより多くのマルチパス成分は、無線動き監視、無線センシングまたは検出のために利用することができる。いくつかの実施形態では、バリアがTxアンテナとRxアンテナとの間に配置されてもよい。
図32は、本開示のいくつかの実施形態による、少なくとも1つの指向性アンテナに基づく無線監視の方法を示す。無線監視システムでは、Tx とRx(またはTx とRx のアンテナ) が一定の離間距離とその間にバリアを配置して、1つのデバイス内の同じ場所に配置される。いくつかの実施形態では、図32に示すように、Txは指向性アンテナを使用してもよく、Rxはオムニアンテナを使用してもよい。LOSがタスクを感知するのに有用でない(または有害でさえある)ことがあるので、RFグランドプランはLOSを回避することができる。
図33は、本開示のいくつかの実施形態による、転倒検出のための壁のコンセントに差し込まれた例示的なデバイスを示す。デバイスは転倒検出のために、例えばバスルーム内の壁プラグに差し込まれる。いくつかの実施形態では、このデバイスが指向性アンテナによって、ビーム幅が十分大きいRFローブを送信するためのTxを有する。また、デバイスは例えば、受信したRF信号から最もリッチなマルチパス成分を抽出することによって浴室内の転倒を検出するために、オムニアンテナによってRFローブを受信するRxを有してもよい。
図34は、本開示のいくつかの実施形態に従って送信機と受信機との間に配置された物理的バリアに基づく無線監視のための方法を示す図である。この例では、Tx とRx(またはTx とRx のアンテナ) が一定の離間距離とその間にバリアが配置された1つのデバイス内に一緒に配置される。いくつかの実施形態では図34に示されるように、Txはオムニアンテナを使用してもよく、Rxは同様に、オムニアンテナを使用してもよい。TxとRxの両方はオムニアンテナを使用するが、距離分離とその間に配置されたバリアは受信無線信号におけるLOS成分の影響を低減または除去するのに役立つことができる。LOSがタスクを感知するのに有用でない(または有害でさえある)ことがあるので、RFグランドプランは、LOSを回避することができる。
図35は、本開示のいくつかの実施形態による、無線監視システムの送信機および受信機のハードウェア構成の例を示す。例1では無線監視システムのTxとRxが個々のWiFiチップと個々のMCUチップを使用する。例2では無線監視システムのTxおよびRxがチップコストを削減するために、個々のWiFiチップを使用するが、1つの共用するMCUチップを使用する。例3では、無線監視システムのTxおよびRxがチップ費用をさらに削減するために、1つの共用するWiFiチップおよび1つの共用するMCUチップを使用する。
図36は、本開示のいくつかの実施形態による、無線監視システムの送信機および受信機の異なる態様の例を示す。バリアは、金属で作ることができる。無線監視システムのTxとRxとの間のペアリングおよび/または同期を用いて、システムを使用して、転倒、動き、睡眠ステータスなどを検出することができる。TxおよびRxのペアは単一の部屋を覆うのに十分であり得るが、性能を改善するために、またはアプリケーション要件に基づいて、追加Txをシステムに追加することができる。
以下の番号付き項は、カバレッジエリアを拡大するための物理的なバリアを有するアンテナ配置に基づく無線監視の例を提供する。
項G1。無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスデバイスの第1のプロセッサ、第1のメモリ、および命令の第1のセットに基づいて場所の無線マルチパスチャネルを介してタイプ1異種無線デバイスから無線信号を送信することであって、無線マルチパスチャネルは、場所のオブジェクトの動きによって影響を受ける、送信することと、タイプ2デバイスの第2のプロセッサ、第2のメモリ、および第2の命令のセットに基づいて、無線マルチパスチャネルを介してタイプ2異種無線デバイスによって無線信号を受信することであって、受信された無線信号は場所の無線マルチパスチャネルおよびオブジェクト動きのために送信された無線信号とは異なり、タイプ1デバイスとタイプ2デバイスは、互いに近接しており、タイプ1デバイスおよびタイプ2デバイスの第1のアンテナは、2つのデバイス間の直接見通しを遮断する物理的なバリアによって分離される、受信することと、受信した無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得することと、TSCIに基づいて時空間情報(STI)を計算することと、TSCIとSTIに基づいてオブジェクト動きを監視することと、監視に基づいてタスクを実行することと、およびタスクに基づいて応答を生成することと、を含む方法/システム/ソフトウエア/デバイス。
項G2。項G1に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスおよびタイプ2デバイスが、有線通信リンク、有線ネットワーク接続、通信ポート、有線データリンク、拡張バス、バス接続、パラレルバス、シリアルバス、同期バス、非同期バス、バスコネクタ、相互接続、内部バス、コンピュータバス、メモリバス、システムバス、データバス、アドレスバス、制御バスのうちの少なくとも1つによって通信可能に結合された方法/システム/ソフトウエア/デバイス。
項G3。項G1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスとタイプ2デバイスは、共有メモリデバイス、物理メモリ、仮想メモリ、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、第1のメモリ、第2のメモリ、不揮発性メモリ、不揮発性メモリ、取り外し不可メモリ、取り外し可能メモリ、ネットワークメモリ、ストレージネットワーク、およびクラウドメモリのうちの少なくとも1つを共用する方法/システム/ソフトウエア/デバイス。
項G4。第1のメモリと第2のメモリが同じメモリである項G3に記載の無線監視システムの方法/システム/ソフトウエア/デバイス。
項G5。項G1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスとタイプ2デバイスは、共有ハードウェア、回路基板、ハードウェアモジュール、集積回路(IC)、ASIC(applicationspecific IC)、プロセッサ、マイクロプロセッサ、CPU(central processingunit)、グラフィックプロセッサ、GPU(graphicsprocessing unit)、マイクロコントローラ、MCU(micro controllerunit)、メモリ、バス、ローカルエリアネットワーク(LAN)回路、イーサネットコントローラ、無線LAN回路、無線コントローラ、無線コントローラ、WiFiチップ、無線機、アンテナ、移動通信回路、または3G/4G/LTE/5G/6G/7G/8Gチップ、のうちの少なくとも1つを共有する方法/システム/ソフトウエア/デバイス。
項G6。タイプ1デバイスのMCUとタイプ2デバイスのMCUが同じMCUである、項G5に記載の無線監視システムの方法/システム/ソフトウエア/デバイス。
項G7。タイプ1デバイスの無線チップおよび前記タイプ2デバイスの無線チップが同じ無線チップである、項G6に記載の無線監視システムの方法/システム/ソフトウエア/デバイス。
項G8。タイプ1デバイスのアンテナおよびタイプ2デバイスのアンテナが同じアンテナである、項G7に記載の無線監視システムの方法/システム/ソフトウエア/デバイス。
項G9。タイプ1デバイスのエンクロージャとタイプ2デバイスのエンクロージャとが同じエンクロージャである、項G7に記載の無線監視システムの方法/システム/ソフトウエア/デバイス。
項G10。項G9の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスおよびタイプ2デバイスは、1組のアンテナを有する同じ共通デバイスであり、タイプ1デバイスの第1のアンテナとタイプ2デバイスの第2のアンテナとが、第1のアンテナと第2のアンテナとの間の直接見通しを中断する物理的バリアによって分離された方法/システム/ソフトウエア/デバイス。
項G11。項G10の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ここで、タイプ2デバイスの第2のアンテナと第3のアンテナとは、第2のアンテナと第3のアンテナとの間の直接的な見通しを遮断する第2の物理的バリアによって隔てられている方法/システム/ソフトウエア/デバイス。
項G12。項G11の無線監視システムの方法/システム/ソフトウエア/デバイスであって、第3のアンテナは、タイプ1デバイス、タイプ2デバイス、タイプ1デバイスから無線信号を受信する別のタイプ2デバイス、タイプ2デバイスに別の無線信号を送信する別のタイプ1デバイス、さらに別の無線デバイスと無線で通信する別の無線デバイス、および切替可能な電源のうちの少なくとも1つに関連する方法/システム/ソフトウエア/デバイス。
項G13。項G11の無線監視システムの方法/システム/ソフトウエア/デバイスであって、第1のアンテナ、第2のアンテナ、第3のアンテナ、物理的バリア及び第2の物理的バリアを含む5つのアイテムが、幾何学的線に沿って配置されている方法/システム/ソフトウエア/デバイス。
項G14。項G13の無線監視システムの方法/システム/ソフトウエア/デバイスであって、幾何学的線に沿った5つのアイテムの並び順は、第1のアンテナ、物理的バリア、第2のアンテナ、第2の物理的バリア、第3のアンテナである方法/システム/ソフトウエア/デバイス。
項G15。項G13の無線監視システムの方法/システム/ソフトウエア/デバイスであって、幾何学的線に沿った5つのアイテムの並び順は、第3のアンテナ、第2の物理的バリア、第1のアンテナ、物理的バリア、第2のアンテナである方法/システム/ソフトウエア/デバイス。
項G16。項G13の無線監視システムの方法/システム/ソフトウエア/デバイスであって、幾何学的線に沿った5つのアイテムの並び順は、第1のアンテナ、物理的バリア、第3のアンテナ、第2の物理的バリア、第2のアンテナである方法/システム/ソフトウエア/デバイス。
項G17。項G13の無線監視システムの方法/システム/ソフトウエア/デバイスであって、5つのアイテムのうち、バリアは、幾何学的線に沿った2つの隣り合うデバイスの間の中間点近傍に配置される方法/システム/ソフトウエア/デバイス。
項G18。項G13の無線監視システムの方法/システム/ソフトウエア/デバイスであって、5つのアイテムのうち、デバイスは、幾何学的線に沿った2つの隣り合うバリアの間の中間点近傍に配置される方法/システム/ソフトウエア/デバイス。
項G19。項G13の無線監視システムの方法/システム/ソフトウエア/デバイスであって、前記幾何学的線は、直線、ピースワイズ線形線、曲線、2次元(2D)曲線、3次元(3D)曲線、らせん、ヘリックス、円弧、円の一部、平滑曲線、または閉曲線のうちの少なくとも1つを含む方法/システム/ソフトウエア/デバイス。
項G20。項G11の無線監視システムの方法/システム/ソフトウエア/デバイスであって、第1のアンテナ、第2のアンテナ、及び第3のアンテナを含む3アイテムが、幾何学的平面内に三角形に配置されていることを特徴とする方法/システム/ソフトウエア/デバイス。
項G21。項G20の無線監視システムの方法/システム/ソフトウエア/デバイスであって、ここで、幾何学的平面は、タイプ1デバイス、タイプ2デバイス、または第3のアンテナに関連する第3のデバイスのうちの少なくとも1つを取り付けるための面、タイプ1デバイス、そのタイプ2デバイス、または第3のデバイスのうちの少なくとも1つのエンクロージャ、タイプ1デバイス、タイプ2デバイス、または第3のデバイスのうちの少なくとも1つの回路基板、のうちの少なくとも1つに関連した別の幾何学的平面に対してある角度である方法/システム/ソフトウエア/デバイス。項22。項G11の無線監視システムの方法/システム/ソフトウエア/デバイスであって、第3のアンテナは、タイプ1デバイスに関連し、第3のアンテナは第1のアンテナの隣に配置され、物理バリア及び第2のバリアはタイプ2デバイスの第2のアンテナをタイプ1デバイスの第1のアンテナ及び第3のアンテナからまとめて分離する方法/システム/ソフトウエア/デバイス。
項G23。項G10の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスの第1のアンテナと第3のアンテナとは、第1及び第3のアンテナの間の直接的な見通しを遮断する第2の物理的バリアによって隔てられており、第3のアンテナは、タイプ2デバイスに関連付けられ、第3のアンテナは、第2のアンテナの隣に配置され、物理バリアと第2バリアは、タイプ1デバイスの第1アンテナをタイプ2デバイスの第2アンテナ及び第3アンテナからまとめて分離する方法/システム/ソフトウエア/デバイス。
項G24。項G22または項G23の無線監視システムの方法/システム/ソフトウエア/デバイスであって、物理的バリアおよび第2のバリアは物理的に接続されている方法/システム/ソフトウエア/デバイス。
項G25。項G20の無線監視システムの方法/システム/ソフトウエア/デバイスであって、物理的バリアと第2のバリアは同じバリアである方法/システム/ソフトウエア/デバイス。
項G26。項G11の無線監視システムの方法/システム/ソフトウエア/デバイスであって、第1のアンテナと第3のアンテナとは、第1と第3のアンテナとの間の直接見通しを遮断する第3の物理的バリアによって隔てられている方法/システム/ソフトウエア/デバイス。
項G27。項G26の無線監視システムの方法/システム/ソフトウエア/デバイスであって、第4のアンテナ及び第1のアンテナ、第2のアンテナ及び第3のアンテナのうちの1つは、2つのアンテナ間の直接的な見通しを遮断する第4の物理的バリアによって隔てられている方法/システム/ソフトウエア/デバイス。
項G28。項G10の無線監視システムの方法/システム/ソフトウエア/デバイスであって、同じ共通デバイスは、3次元コンスタレーションに配置された少なくとも4つのアンテナを含み、アンテナの2つ以上のペアが、少なくとも4つのアンテナの中で決定され、アンテナの各特定のペアは、アンテナのペア間の直接的な見通しを遮断するそれぞれの物理的バリアによって分離される方法/システム/ソフトウエア/デバイス。
項G29。項G10に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、共通デバイスのアンテナの組の第1のサブセットは、タイプ1デバイスに関連付けられ、共通デバイスのアンテナの組の第2のサブセットは、タイプ2デバイスに関連付けられ、アンテナの第1のサブセットとアンテナの第2のサブセットとは、少なくとも部分的に、アンテナの2つのサブセットの間の直接的な見通しを遮断する少なくとも1つの物理的バリアによって分離されることをさらに含む方法/システム/ソフトウエア/デバイス。
項G30。項G29に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、共通デバイスのアンテナの組の第3のサブセットは、共通デバイスの別のタイプ1デバイス、共通デバイスの別のタイプ2デバイスまたは共通デバイスの別のデバイスのうちの少なくとも1つに関連し、アンテナの第3のサブセットおよびアンテナの第1のサブセットまたは第2のサブセットのうちの1つは、少なくとも部分的に、アンテナの2つのサブセットの間の直接見通しを遮断する少なくとも1つの物理的バリアによって分離されることをさらに含む方法/システム/ソフトウエア/デバイス。
項G31。項G29に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、第1のサブセットの第1のアンテナとアンテナの第1のサブセットの第2のアンテナとが、2つのアンテナの間の直接的な見通しを遮断する物理的バリアによって隔てられていることをさらに含む方法/システム/ソフトウエア/デバイス。
項G32。項G29に記載の無線監視システムの方法/システム/ソフトウエア/デバイスであって、第2のサブセットの第1のアンテナとアンテナの第2のサブセットの第2のアンテナとは、2つのアンテナの間の直接的な見通しを遮断する物理的バリアによって隔てられていることをさらに含む方法/システム/ソフトウエア/デバイス。
項G33。項G11の無線監視システムの方法/システム/ソフトウエア/デバイスであって、デバイスの第1のアンテナとデバイスの第3のアンテナとは、第1及び第3のアンテナの間の直接的な見通しを遮断する第3の物理的バリアによって隔てられている。
項G34。項G11の無線監視システムの方法/システム/ソフトウエア/デバイスであって、物理的バリア、第2の物理的バリア、または第1および第3のアンテナを分離する第3のバリアのうちの少なくとも2つは物理的に接続される方法/システム/ソフトウエア/デバイス。
項G35。項G11の無線監視システムの方法/システム/ソフトウエア/デバイスであって、物理的バリア、第2の物理的バリア、または第1および第3のアンテナを分離する第3の物理的バリアのうちの少なくとも2つは同様の物理的特性を有する方法/システム/ソフトウエア/デバイス。
項G36。項G11の無線監視システムの方法/システム/ソフトウエア/デバイスであって、物理的バリア、第2の物理的バリア、または第1および第3のアンテナを分離する第3の物理的バリアのうちの少なくとも2つは同じ物理的バリアである方法/システム/ソフトウエア/デバイス。
項G37。項G11の無線監視システムの方法/システム/ソフトウエア/デバイスであって、物理的バリア、第2の物理的バリア、または第1および第3のアンテナを分離する第3の物理的バリアのうちの少なくとも1つはデバイスの構造部の延長部であり、構造部は、エンクロージャ、基板、回路基板、回路基板の電子素子、ヒートシンク、ブラケット、金属板のうちの少なくとも1つを含む方法/システム/ソフトウエア/デバイス。
項G38。項G36の無線監視システムの方法/システム/ソフトウエア/デバイスであって、物理的バリアおよび第2の物理的バリアの両方はデバイスの構造部の延長部である方法/システム/ソフトウエア/デバイス。
項G39。項G36の無線監視システムの方法/システム/ソフトウエア/デバイスであって、物理的バリア、第2の物理的バリア、および第3の物理的バリアはデバイスの構造部の延長部である方法/システム/ソフトウエア/デバイス。
項G40。項G1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスの第1のアンテナとタイプ2デバイスの第2のアンテナとが、第1のアンテナと第2のアンテナとの間の直接見通しを遮断する物理的バリアによって分離される方法/システム/ソフトウエア/デバイス。
項G41。項G1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、第1のアンテナ、第2のアンテナ、または物理バリアのうちの少なくとも1つは、複合デバイス、機器、または相互接続されたデバイスの統合システムのうちの少なくとも1つの一体化された構成または着脱可能な構成のいずれかである方法/システム/ソフトウエア/デバイス。
項G42。項G41の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイス、タイプ2デバイス、および物理バリアのうちの2つは、複合デバイス、機器、または相互接続されたデバイスの統合システムのうちの少なくとも1つの一体化された構成または着脱可能な構成のいずれかである方法/システム/ソフトウエア/デバイス。
項G43。項G42の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイス、タイプ2デバイス、および物理的バリアのすべては、複合デバイス、機器、または相互接続されたデバイスの統合システムのうちの少なくとも1つの一体化された構成または着脱可能な構成のいずれかである方法/システム/ソフトウエア/デバイス。
項G44。項G1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスまたはタイプ2デバイスは、オムニアンテナ、指向性アンテナ、アレイアンテナ、フェーズドアレイアンテナ、モノポールアンテナ、ダイポールアンテナ、アンテナのコンスタレーション、または一群のアンテナのうちの少なくとも1つを含む方法/システム/ソフトウエア/デバイス。
項G4。項G9の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスのアンテナは、タイプ2デバイスのアンテナのタイプと同じアンテナタイプである方法/システム/ソフトウエア/デバイス。
項G46。項G9の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1デバイスのアンテナは、タイプ2デバイスのアンテナのタイプとは異なるアンテナタイプである方法/システム/ソフトウエア/デバイス。
項G47。項G1の無線監視システムの方法/システム/ソフトウエア/デバイスであって、タイプ1またはタイプ2デバイスの1つは、2つ以上のアンテナを含む方法/システム/ソフトウエア/デバイス。
任意のデバイス(例えば、オリジン1104、ボット1 1102A、ボット2 1102B)は、GPS、MACレイヤ、PHYレイヤ、Wi-Fi、IEEE 802.11標準、802.11a/b/g/n/ac/ad/af/ag/ah/ai/aj/aq/ax/ay、Bluetooth、Bluetooth 1.0/1.1/1.2/2.0/2.1/3.0/4.0/4.1/ 4.2/5, 4.2/5、 BLE、メッシュネットワーク、IEEE 802.16/1/1a/1b/2/2a/a/b/c/d/e/f/g/h/i/j/k/l/m/n/o/p/,標準、802.16、Zigbee,WiMax、UWB、モバイルチャネル、1G/2G/3G/3.5G/4G/LTE/5G/6G/7G/NBIoT等を介して、位置情報を提供することができる。
本明細書で開示されるシンボル「/」は、「および/または」を意味する。例えば、「A/B」は、「Aおよび/またはB」を意味する。本開示は、無線監視システムの方法、機器、デバイス、システムおよび/またはソフトウエアに関する。一実施形態では、システムが無線信号に基づいて場所内のオブジェクトの動きを監視するために場所のそれぞれの配置に配置された一緒に動作する複数の無線デバイスを備える。
図37は、本開示の一実施形態による、場所内のチャネル状態情報に基づいてオブジェクト動きが検出される例示的なシナリオを示す。例えば、図37に示すように、2寝室のアパートメント3700では、オリジン3701をリビングルームエリア3702内に配置し、ボット1 3710を寝室1エリア3712内に配置し、ボット2 3720をダイニングルームエリア3722内に配置することができる。ボット1 3710およびボット2 3720の各々は無線信号をオリジン3701に送信することができ、無線信号に基づいて無線マルチパスチャネルのチャネル情報を取得することができる。オリジン3701は単独で、または動き検出器のような第3のデバイスを介して、チャネル情報に基づいて動き情報を計算し、動き情報に基づいてオブジェクト動き/活動を検出することができる。つまり、オリジン3701は、それ自体、または動き検出器のような第3のデバイスを介して、ボット1 3710および/またはボット2 3720によって送信される無線信号に基づいて、オブジェクト動き/活動を検出することができる。
オブジェクト動き/活動がボット1 3710およびボット2 3720の両方によって送信された無線信号に基づいて検出される場合、活動/動きまたはオブジェクト(例えば、人/ユーザ)は、リビングルームエリア3702内に在ってもよい。オブジェクト動き/活動がボット1 3710によって送信された無線信号のみに基づいて検出される場合、活動/動きまたはオブジェクト(例えば、人/ユーザ)は、寝室-1エリア3712内に在ってもよい。オブジェクト動き/活動がボット2 3720によって送信された無線信号のみに基づいて検出される場合、活動/動きまたはオブジェクト(例えば、人/ユーザ)は、ダイニングルームエリア3722内に在ってもよい。ボット1 3710またはボット2 3720のいずれかによって送信された無線信号に基づいてオブジェクト動き/活動を検出することができない場合、誰も、オブジェクトもアパートメント3700にいないと判定することができる。活動/動き/人/ユーザが検出された対応する領域は、所定パターンでマークされてもよい。
図38は、本開示のいくつかの実施形態による、動き検出および位置特定を伴う無線監視のための例示的なフロアプランおよび無線デバイスの配置を示す。図38に示す例では、2つのオリジンO1およびO2がある。それぞれのオリジンは、3つのボットに関連付けられている。例えば、O1はボットB11、B12、B13に関連付けられ、O2はボットB21、B22、B23に関連付けられる。ボットおよびオリジンのそれぞれのデバイスは、異なった位置に固定される。一実施形態では、オリジンO1はマスタオリジンと呼ばれ、オリジンO2はチャイルドオリジンと呼ばれ、チャイルドオリジンは組み合わせるためにマスタオリジンに統計値および情報を送信することができる。
いくつかの実施形態では、図38のフロアプランおよび無線デバイスの配置が動き統計値に基づいて複数人数または複数オブジェクト動き位置特定を実行するために使用することができる。2つ以上のオリジンが存在する場合、異なるオリジンの異なるリンクから測定された動き統計値は、動き位置特定に一緒に寄与するように組み合わされる。それぞれの活性化されたボットについて、例えば、タイムウインドウ内の平滑化された動き統計値に基づいて、ボットが関連付けられているオリジンが判定される。例えば、ボットkのオリジンjに対する平滑化された動き統計値が閾値より大きい場合、ボットkはオリジンjに関連すると判定される。同じ閾値を他のオリジンに使用することができる。したがって、オリジンごとに、オリジンに関連付けられた1組のアクティブ化されたボットを判定することができる。動きを検出するために、活性化されたボットkごとに尤度が計算され、タイムウインドウにわたって平滑化される。オリジンおよびその関連付けられたボットを含むオリジングループごとに、すべての関連ボットにわたるオリジングループの平均動き統計値が計算される。上記のそれぞれの算出または計算は、オリジンまたはボットで実行することができる。
その環境で動きが検出された場合には、最高の平均動き統計値のオリジングループが選択される。選択されたオリジングループの平均動き統計値が閾値よりも大きい場合、動きはグループのオリジンの周辺であると判定される。そうではなく、選択されたオリジングループの平均動き統計値が閾値よりも大きくない場合、動きは、オリジングループ内で最も高い尤度を有するボット周辺であると判定される。
図39は、本開示の一実施形態による、無線監視システムの第1の無線デバイス、例えばボット3900の例示的なブロック図を示す。ボット3900は、本明細書で説明する様々な方法を実施するように構成することができるデバイスの一例である。図39に示すように、ボット3900は、プロセッサ3902、メモリ3904、送信機3912および受信機3914を含むトランシーバ3910、同期コントローラ3906、電力モジュール3908、オプションのキャリア構成部3920および無線信号発生器3922を含む筐体3940を含む。
この実施形態では、プロセッサ3902がボット3900の一般動作を制御し、中央処理装置(CPU)および/または任意の組み合わせの汎用マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックデバイス(PLD)、コントローラ、状態機械、ゲート論理、個別ハードウェア部品、専用ハードウェア有限状態機械、またはデータの演算または他の操作を実行することができる任意の他の好適な回路、デバイスおよび/または構造などの1つまたは複数の処理回路またはモジュールを含むことができる。
読み出し専用メモリ(ROM)とランダムアクセスメモリ(RAM)の両方を含むことができるメモリ3904は、プロセッサ3902に命令とデータを提供することができる。メモリ3904の一部は、不揮発性ランダムアクセスメモリ(NVRAM)を含むこともできる。プロセッサ3902は、典型的にはメモリ3904内に記憶されたプログラム命令に基づいて、論理演算動作を実行する。メモリ3904に記憶された命令(ソフトウエアとして知られる)は、本明細書に記載する方法を実行するためにプロセッサ3902によって実行することができる。プロセッサ3902とメモリ3904とで共にソフトウエアを記憶し実行するプロセッシングシステムを形成する。本明細書で使用されるように、「ソフトウエア」は、ソフトウエア、ファームウェア、ミドルウェア、マイクロコードなどと呼ばれるかどうかにかかわらず、1つまたは複数の所望の機能または処理を実行するようにマシンまたはデバイスを構成することができる任意のタイプの命令を意味する。命令はコードを含むことができる(例えば、ソースコードフォーマット、バイナリコードフォーマット、実行可能コードフォーマット、または任意の他の適切なフォーマットのコード)。命令は1つ以上のプロセッサによって実行されると、本明細書に記載する様々な機能を処理システムに実行させる。
送信機3912および受信機3914を含むトランシーバ3910は、ボット3900が遠隔デバイス(例えば、オリジンまたは別のボット)との間でデータを送受信することを可能にする。アンテナ3950は、典型的には筐体3940に取り付けられ、トランシーバ3910に電気的に結合される。様々な実施形態では、ボット3900が複数の送信機、複数の受信機、および複数のトランシーバを含む(不図示)。一実施形態では、アンテナ3950がそれぞれが別個の向きを指す複数のビームを形成することができるマルチアンテナアレイ3950と置き換えられる。送信機3912は異なるタイプまたは機能を有する信号を無線で送信するように構成することができ、そのような信号は、プロセッサ3902によって生成される。同様に、受信機3914は異なるタイプまたは機能を有する無線信号を受信するように構成され、プロセッサ3902は複数の異なるタイプの信号を処理するように構成される。
この例でのボット3900は本明細書で開示される任意のシステムのボットまたは送信機として機能し、例えば、場所内の人物を認識するための図14のボット1411、場所内の音響センシングのための図17のボット1711、場所内のオブジェクトの動きを検出するための図37のボット1 3710またはボット2 3720、または場所内の動きを監視するための図23~28のいずれか1つの送信機またはTxまたはボットである。例えば、無線信号発生器3922は場所内のオブジェクトの動きによって影響を受けた無線マルチパスチャネルを通して無線信号を、送信機3912を介して生成し、送信してもよい。無線信号は、チャネルの情報を運ぶ。チャネルは動きの影響を受けたため、チャネル情報はオブジェクトの動きを表す動き情報を含む。このように、無線信号に基づいて動きを示し、検出することができる。無線信号発生器3922での無線信号の生成は別のデバイス、例えば、オリジンからの動き検出の要請に基づくか、またはシステム事前構成に基づくことができる。すなわち、ボット3900は、送信された無線信号が動きを検出するために使用されることを知っていてもいなくてもよい。
この例における同期コントローラ3906はボット3900の動作を、別のデバイス、例えば、オリジンまたは別のボットと同期または非同期になるように制御するように構成され得る。一実施形態では、同期コントローラ3906がボット3900によって送信された無線信号を受信するオリジンと同期するように、ボット3900を制御してもよい。別の実施形態では、同期コントローラ3906が他のボットと非同期に無線信号を送信するようにボット3900を制御することができる。別の実施形態では、ボット3900および他のボットのそれぞれは無線信号を個別に非同期で送信することができる。
キャリア構成部3920は無線信号発生器3922によって生成された無線信号を送信するための送信リソース、例えば時間および搬送波を構成するための、ボット3900内のオプションの構成である。一実施形態では、CIの時系列の各CIが無線信号の送信のキャリアまたはサブキャリアにそれぞれ対応する1つまたは複数の成分を有する。動きの検出は、成分の任意の1つまたは任意の組み合わせについての動き検出に基づくことができる。
電力モジュール3908は、1つまたは複数のバッテリーなどの電源と、図39の上述のモジュールのそれぞれに安定化された電力を供給する電力制御装置とを含むことができる。いくつかの実施形態ではボット3900が専用の外部電源(例えば、壁電源コンセント)に結合される場合、電力モジュール3908は変圧器および電力制御装置を含むことができる。
上述の様々なモジュールは、バスシステム3930によって互いに結合される。バスシステム3930はデータバス、および、例えば、データバスに加えて、電力バス、制御信号バス、および/またはステータス信号バスを含むことができる。ボット3900のモジュールは、任意の好適な技術および媒体を使用して、互いに動作可能に結合され得ることが理解される。
複数の別個のモジュールまたは構成が図39に示されているが、当業者であれば、モジュールのうちの1つまたは複数を組み合わせるか、または共通的に実装することができることを理解するのであろう。例えば、プロセッサ3902は、プロセッサ3902に関して上述した機能性を実装することができるだけでなく、無線信号発生器3922に関して上述した機能性も実装することができる。逆に、図39に示すモジュールのそれぞれは、複数の別個の構成または要素を使用して実装することができる。
図40は本開示の一実施形態による、無線監視システムの第2の無線デバイス、例えば、オリジン4000の例示的ブロック図を示す。オリジン4000は、本明細書で説明する様々な方法を実施するように構成することができるデバイスの一例である。この例でのオリジン4000は本明細書で開示される任意のシステムにおけるオリジンまたは受信機として働くことができ、例えば、場所内で無線で人間を認識するための図14のオリジン1412、場所内で無線で音響センシングするための図17のオリジン1712、場所内でオブジェクトの動きを検出するための図37のオリジン3701、または場所内で無線で動きを監視する図23乃至図28のいずれか1つにおける受信機、Rx又はオリジンである。図40に示されるように、オリジン4000は、プロセッサ4002、メモリ4004、送信機4012および受信機4014を備えるトランシーバ4010、電力モジュール4008、同期コントローラ4006と、チャネル情報抽出部4020およびオプションの動き検出器4022とを収容する筐体4040を含む。
この実施形態ではプロセッサ4002、メモリ4004、トランシーバ4010および電力モジュール4008はボット3900内のプロセッサ3902、メモリ3904、トランシーバ3910および電力モジュール3908と同様に働く。アンテナ4050またはマルチアンテナアレイ4050は、典型的には筐体4040に取り付けられ、トランシーバ4010に電気的に結合される。
オリジン4000は第1の無線デバイス(例えば、ボット3900)のタイプとは異なるタイプを有する第2の無線デバイスであってもよい。特に、オリジン4000内のチャネル情報抽出部4020は場所内のオブジェクトの動きによって影響を受けた無線マルチパスチャネルを介して無線信号を受信し、無線信号に基づいて無線マルチパスチャネルのチャネル情報(CI)の時系列を取得するように構成される。チャネル情報抽出部4020は抽出されたCIを、場所内のオブジェクト動きを検出するために、オプションの動き検出器4022にまたはオリジン4000の外の動き検出器に送ってもよい。
動き検出器4022は、オリジン4000のオプションの構成である。一実施形態では、それは図40に示すようにオリジン4000内にある。別の実施形態ではそれはオリジン4000の外部であり、別のデバイスはボット、別のオリジン、クラウドサーバ、フォグサーバ、ローカルサーバ、およびエッジサーバとすることができる。オプションの動き検出器4022は、オブジェクトの動きに関連する動き情報に基づいて場所内のオブジェクトの動きを検出するように構成されてもよい。第1および第2の無線デバイスに関連する動き情報は、動き検出器4022またはオリジン4000の外部の別の動き検出器によりCIの時系列に基づいて計算される。
この例における同期コントローラ4006はオリジン4000の動作を、別のデバイス、例えば、ボット、別のオリジン、又は独立した動き検出器と同期するか又は同期しないように制御するように構成されてもよい。一実施形態では、同期コントローラ4006が無線信号を送信するボットと同期するようにオリジン4000を制御することができる。別の実施形態では、同期コントローラ4006が他のオリジンと非同期に無線信号を受信するようにオリジン4000を制御することができる。別の実施形態では、オリジン4000および他のオリジンの各々が個別にかつ非同期に無線信号を受信することができる。一実施形態では、オプションの動き検出器4022またはオリジン4000の外部の動き検出器がCIのそれぞれの時系列に基づいて、オブジェクトの動きに関連するそれぞれの異種動き情報を非同期的に計算するように構成される。
上述の様々なモジュールは、バスシステム4030によって互いに結合される。バスシステム4030はデータバスとデータバスに加えて、例えば、電力バス、制御信号バス、および/またはステータス信号バスを含むことができる。オリジン4000のモジュールは、任意の好適な技術および媒体を使用して動作可能に相互が結合され得ることが理解される。
複数の別個のモジュールまたは構成が図40に示されているが、当業者であれば、モジュールのうちの1つまたは複数を組み合わせるか、または共通に実装できることを理解するのであろう。例えば、プロセッサ4002は、プロセッサ4002に関して先に説明した機能性だけでなく、チャネル情報抽出部4020に関して先に説明した機能性も実装することができる。逆に、図40に示すモジュールのそれぞれは、複数の別個の構成または要素を使用して実装することができる。
一実施形態ではボット3900およびオリジン4000に加えて、システムは、アシスタントデバイスと、場所内のオブジェクトの動きによって影響を受ける追加の無線マルチパスチャネルを介して追加の異種無線信号を送信するように構成された第3の無線デバイス、たとえば別のボットか、第3の無線デバイスとは異なったタイプを有する第4の無線デバイス、たとえば別のオリジンとを備えることもできる。第4の無線デバイスは、場所内のオブジェクトの動きによって影響を受ける追加の無線マルチパスチャネルを介して追加の異種無線信号を受信し、追加の異種無線信号に基づいて追加の無線マルチパスチャネルの追加のチャネル情報(CI)の時系列を取得するように構成され得る。追加無線マルチパスチャネルの追加CIは、無線マルチパスチャネルのCIに関連付けられているものとは別のプロトコルまたは構成に関連付けられる。例えば、無線マルチパスチャネルはLTEに関連付けられ、追加無線マルチパスチャネルはWi-Fiに関連付けられる。このケースでは、オプションの動き検出器4022またはオリジン4000の外部の動き検出器が第1および第2の無線デバイスに関連付けられた動き情報と、追加のCIの時系列に基づいて追加の動き検出器および第4の無線デバイスのうちの少なくとも1つによって計算された第3および第4の無線デバイスに関連付けられた追加の動き情報との両方に基づいて、場所内のオブジェクトの動きを検出するように構成される。
図41は、本開示のいくつかの実施形態による、無線微動監視(wireless micro-motion monitoring)のための例示的方法4100のフローチャートを示す。動作4102において、第1の無線信号が、場所の無線マルチパスチャネルを介して無線監視システム内の第1のデバイスから送信される。動作4104において、第2の無線信号が無線マルチパスチャネルを介して無線監視システム内の第2のデバイスによって受信され、第2の無線信号は、無線マルチパスチャネルおよび場所内のオブジェクトの動きのために第1の無線信号とは異なる。動作4106において、無線マルチパスチャネルの時系列チャネル情報(TSCI)が第2の無線信号に基づいて取得され、TSCIのそれぞれのチャネル情報(CI)はN1 個のCI成分を含み、N1は、1より大きい整数である。動作4108において、N1個の CI成分の第1の分析に基づいてN1個の CI成分からN2個の CI成分が選択され、ここで、N2はN1以下の整数である。動作4110において、TSCIのN2個の選択されたCI成分と第1の分析とに基づいて、微動統計値(micro-motion(MM) statistics)が計算される。動作4112において、オブジェクトの動きは、MM統計値の第2の分析に基づいて監視される。動作4114において、第1の分析および第2の分析に基づいてタスクが実行される。動作4116では、タスク、第1の分析、および第2の分析に基づいて応答が生成される。図41の動作の順序は、本開示の様々な実施形態に従って変更することができる。
いくつかの実施形態では、開示されるシステムがTSCIに基づいて微動(MM)統計値を計算し、MM統計値を使用して、動き検出(例えば、光/中/大動き検出または決定)、呼吸検出(例えば、軽度/重度の呼吸検出または判定)、存在検出(例えば、存在、異なる距離に関連する異なるゾーンにおける存在、距離範囲、タイプ1またはタイプ2デバイスからの方向(例えば、セクタ))活動/非活動の検出(例えば、活動位置,活動レベル、非活動、存在)、睡眠ステータス追跡(例えば、就寝時と起床時、睡眠中の頻繁な動き)、微動(MM)に基づく他の無線センシングタスク(例えば、転倒検出,バイタルサイン検出、心拍検出、追跡)、のうちの少なくとも1つを実行することができる。
いくつかの実施形態では、各々のCI(例えば、CSI、CFR、CIR)又はその変換は多くの成分(例えば、CFRのサブキャリア、CIRのタップ)を有することができる。CI (またはその変換)の成分は、CI-成分と呼ぶことができる。CIの変換のいくつかの例には、CIRの変換がCFRであってもよく、CFRの変換がCIRであってもよいことが含まれる。変換は、CIの変換、CIの特徴、CIの特徴の変換、または変換の第2の特徴とすることができる。特徴は、大きさ、位相、またはCIの第1の関数、大きさまたは位相などとすることができる。変換は変換の第2の特徴であってもよく、第2の特徴は変換の大きさ、位相、または第2の関数、その大きさ、またはその位相である。変換は、(i)CIの特徴の変換、または(ii)(i)における変換の別の特徴であってもよい。特徴は、大きさ、位相、CI成分の関数、大きさまたは位相などであってもよい。別の特徴は、変換の大きさ、位相、別の関数、大きさまたは位相などとすることができる。他の変換は、フーリエ変換/FFT、コサイン変換、サイン変換、三角変換、アダマール変換、スパース変換、グラフベース変換、分解、周波数分解、時間/時間領域分解、時間-周波数分解、オーバーコンプリート射影、マッチング追跡、主成分分析/PCA、固有解析、独立成分分析/ICA、特異値分解/SVD、次元縮小、直交射影、ベクトル量子化、神経回路網などである。
いくつかの実施形態では、CIのウインドウが多くの成分、例えば、CIのウインドウの自己相関関数/ACF、CI-成分(またはCI成分の特徴)のグループのACF、各CI-成分(または各CI-成分の特徴)のACFを有することができる。CIのウインドウの成分をCI-ウインドウ成分と呼ぶことがある。特徴は、大きさ、位相、CI成分の関数、大きさまたは位相などであってもよい。CI-成分のグループのACFはACFのグループの重み付き平均であってもよく、それぞれの重みはCI-成分のACF、CI-成分の正規化ACF、CI-成分のACFの関数、CI-成分の関数、大きさまたは位相などである。
いくつかの実施形態では、微動(MM)が、CI-成分またはCI-ウインドウ成分を計算すること、CI-成分またはCI-ウインドウ成分またはそれらの関数に基づいて中間統計値(MM統計ち)を計算すること、MMが閾値を超えた場合は、動きを検出すること、周期的特性(例えば、頻度、期間、その関数など)を計算するためにスライディングタイムウインドウでMMを分析すること、周期特性を分析して、平均、算術平均、幾何平均、調和平均、トリム平均、パーセンタイル、モード、メジアン、レンジ、統計、ヒストグラム、定常性、安定性、分散、標準偏差、変動量、微分、勾配、全変動量、絶対変動量、二乗変動量、広がり、ばらつき、変動性、偏差、絶対偏差、二乗偏差、全偏差、発散、距離、四分位範囲、歪度、尖度、Lモーメント、変動量係数、四分位分散係数、平均絶対差、ジニ係数、相対平均、差分、中央値絶対偏差、平均絶対偏差、距離標準偏差、分散係数、エントロピー、分散対平均比、最大対最小比、変動量測度尺度、正則性測度、類似性測度、尤度、確率分布関数、標本分布、モーメント発生関数、期待値、期待関数などのリアルタイムパフォーマンス統計値を計算すること、または、期間特性および/またはリアルタイムパフォーマンス統計値を分析して、反復性、周期性、擬似周期性、衝動性、突然性、転倒発生、再発、過渡イベント、行動、過渡行動、期間、時間トレンド、時間プロファイル、時間特性、出現、時刻、タイミング、開始時刻、開始時刻、終了時刻、継続期間、履歴、動き種別、動きタイプ、変化、時間変化、周波数変化、CI変化、DI変化、タイミング変化、歩容周期変化を計算すること、のうちの少なくとも1つを実行することによって計算されてもよい。
いくつかの実施形態では、サブキャリアfごとの動き統計値(MS)Φ(f)が
として定義され、ここでρG(τ,f)はCI電力レスポンス測定G(t、f)の自己相関関数(ACF)である。全てのN1個の成分MSΦ(f)の合成MSは、成分のMSの重み付き平均、
として定義されてもよい。周波数特性は異なるサブキャリアにわたって変化し得るので、いくつかのサブキャリアは動きに対して他のサブキャリアよりも敏感であり得る。動き強度が非常に小さい場合(小規模/微動)、すべてのN1個の成分MSΦ(f)の合成MSを使用すると、MSが小さすぎて動き検出をトリガできない場合がある。「よりセンシティブ」サブキャリアのサブセットを選択し、「よりセンシティブ」サブキャリアに基づいてMSを計算して、微動をより良好に特徴化する方が良い。数学的には、すべてのΦ(f)をソートし、N2個の最も高いΦ(f)でN2個のサブキャリアを選択することができる。従って、微動(MM)統計値は、以下のように定義することができる。
ここで
は感度の高いサブキャリアをさらに増幅できる最大比合成に基づく重みである。いくつかの実施形態ではN2はN1の約20%である。
として定義され、ここでρG(τ,f)はCI電力レスポンス測定G(t、f)の自己相関関数(ACF)である。全てのN1個の成分MSΦ(f)の合成MSは、成分のMSの重み付き平均、
として定義されてもよい。周波数特性は異なるサブキャリアにわたって変化し得るので、いくつかのサブキャリアは動きに対して他のサブキャリアよりも敏感であり得る。動き強度が非常に小さい場合(小規模/微動)、すべてのN1個の成分MSΦ(f)の合成MSを使用すると、MSが小さすぎて動き検出をトリガできない場合がある。「よりセンシティブ」サブキャリアのサブセットを選択し、「よりセンシティブ」サブキャリアに基づいてMSを計算して、微動をより良好に特徴化する方が良い。数学的には、すべてのΦ(f)をソートし、N2個の最も高いΦ(f)でN2個のサブキャリアを選択することができる。従って、微動(MM)統計値は、以下のように定義することができる。
ここで
は感度の高いサブキャリアをさらに増幅できる最大比合成に基づく重みである。いくつかの実施形態ではN2はN1の約20%である。
いくつかの実施形態ではタイムウインドTおよび閾値ηについて、微動は
の場合検出され、そうでない場合、動きは検出されない。いくつかの実施形態では、パラメータN2,T,ηが様々な環境において良好な性能を達成するように調整可能であり得る。一般に、N2がより小さいほど、より高い値
が得られ、したがって、このMMの感度がより高くなる。比較的クリーンな環境における子供の存在検出のような用途では小さなN2を使用することができるが、一方、雑音の多い環境ではより大きいN2が好ましい。いくつかの実施形態では、N2は実際には20以内である。Tは
についての平均ウインドウであり、通常は数秒の範囲である。より大きなTはより雑音の多い環境に適用することができ、一方、より小さなTは、より高感度の検出に推奨される。いくつかの実施形態では、自動的に行うことができる空の期間の微動を調べることによって、ηはN2に応じて調整することができ、かつ/または経験的に決定することができる。
の場合検出され、そうでない場合、動きは検出されない。いくつかの実施形態では、パラメータN2,T,ηが様々な環境において良好な性能を達成するように調整可能であり得る。一般に、N2がより小さいほど、より高い値
が得られ、したがって、このMMの感度がより高くなる。比較的クリーンな環境における子供の存在検出のような用途では小さなN2を使用することができるが、一方、雑音の多い環境ではより大きいN2が好ましい。いくつかの実施形態では、N2は実際には20以内である。Tは
についての平均ウインドウであり、通常は数秒の範囲である。より大きなTはより雑音の多い環境に適用することができ、一方、より小さなTは、より高感度の検出に推奨される。いくつかの実施形態では、自動的に行うことができる空の期間の微動を調べることによって、ηはN2に応じて調整することができ、かつ/または経験的に決定することができる。
閾値を自動的に決定するためのいくつかの例示的な規則は、以下の通りである。以下の条件のうちの1つまたは複数を満たす最小の長さWを持つ、期間を探索することができる。第1に、MSの1つの値は、控えめに大きい値、例えば、0.2であってもよいThΦよりも大きくない。第2に、微動(micromotion(MM))の1つの値は、控え目に大きい値、例えば、0.4であってもよい
よりも大きくない。第3に、MMの標準偏差の1つの値は、
よりも大きくない。いくつかの実施形態ではこのような期間が空の期間として識別されてもよく、したがって、微小運動の閾値はウインドウ内のMMの最高値として自動的に決定される。マージンMはまた、いくつかのノイズを許容するために追加されてもよい。次に、微動の最終閾値は、η=最大(ウインドウW内の微動値)+Mとなる。
よりも大きくない。第3に、MMの標準偏差の1つの値は、
よりも大きくない。いくつかの実施形態ではこのような期間が空の期間として識別されてもよく、したがって、微小運動の閾値はウインドウ内のMMの最高値として自動的に決定される。マージンMはまた、いくつかのノイズを許容するために追加されてもよい。次に、微動の最終閾値は、η=最大(ウインドウW内の微動値)+Mとなる。
本明細書に開示される微動検出方法に基づいて、システムは、通常の動き統計値では検出できない微動を検出することができる。小さな動きには、ユーザが準静止している(例えば、ソファーでテレビを見ている)間の時折の手/頭または他の身体動き、および呼吸の胸部運動によって引き起こされる動きが含まれるが、これらに限定されない。本明細書に開示される微動検出システムは、乳児人形の「呼吸」動きを確実に検出することができる。小さな動きを検出するために使用できる他のメトリック(例えば、分散)があり得るが、微動検出システムは動き統計値を増強するために最大比合成(MRC)を採用するので、理論的に最適である。
いくつかの実施形態では、動き検出/監視システムが最初に、場所内の通常の動きを検出しようと試みることができる。通常の動きが検出されない場合、システムは本明細書で開示される方法に基づいて、微動(MM)をさらに検出することができ、例えば、人が静止している(呼吸している、読んでいる、テレビを見ているなど)、散発的な動き/呼吸をして車の中に残された乳児などのオブジェクトの準静止存在を判定し、これは、通常の動き統計値によって検出することができない。
以下の番号付けされた項は、オブジェクトの微動を無線で監視するための実施例を提供する。
項H1。無線動き監視システムであって、場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成された送信機と、無線マルチパスチャネルを介して第2の無線信号を受信するように構成された受信機であって、第2の無線信号は、無線マルチパスチャネルおよび場所内のオブジェクトの動きのために第1の無線信号とは異なる、受信機と、第2の無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得するように構成されたプロセッサとを備え、TSCIの各々のチャネル情報(CI)は、N1 子のCI成分を含み、N1は1より大きい整数であり、TSCIのN1個の CI成分の第1の分析に基づいて、N1個の CI成分からN2個の CI成分を選択し、N2はN1以下の整数であり、TSCIのN2個の選択されたCI成分および第1の分析に基づいて微動(MM)統計値を計算し、MM統計値の第2の分析に基づいてオブジェクトの動きを監視し、第1の分析および第2の分析に基づいてタスクを実行し、タスク、第1の分析、および第2の分析に基づいて応答を生成するシステム。
項H2。項H1のシステムであって、プロセッサはTSCIのそれぞれのCI成分に関連するN1個の成分MM統計値を計算するように構成され、N2個の CI成分は、N1個の成分MM統計値に基づいて選択されるシステム。
項H3。項H2のシステムであって、ここで、TSCIのCI成分に関連付けられた成分のMM統計は、自己相関関数、自己共分散関数、時間フィルタリング、時間的処理、またはCI成分の特徴の重み付き平均のうちの少なくとも1つがTSCIのCI成分のスライディングウインドウに基づく、CI成分の特徴の自己相関関数、CI成分の特徴の自己共分散関数、CI成分の特徴の時間フィルタリング、CI成分の特徴の時間的処理、CI成分の特徴の重み付き平均、およびCI成分の特徴の内積、または合計、重み付き合計、差分、重み付き差分、積、重み付き積、商、重み付き商、またはCI成分の特徴の2つの時間的近傍の二変量関数、のうちの少なくとも1つを含み、CI成分の特徴は、CI成分そのもの、その大きさ、大きさの二乗、位相、実成分、虚数成分、微分、時間微分、成分間微分、勾配、時間勾配、成分間勾配、または特徴の先行の特徴のいずれかの単変量関数のうちの少なくとも1つを含む、システム。
項H4。項H2のシステムであって、N2 個のCI成分は、N1個の成分MM統計値の最初のN2個、N1個の成分MM 統計値の最後のN2個、N1個の成分MM統計値の連続するN2個、N2個の特徴の関数が連続するN2個の成分MM統計値のうちのそれぞれ1つにそれぞれ関連付けられているN1個の成分MM統計値のうちの連続するN2個は、最大値、最小値、ゼロ、事前に決められた値に等しい値、第1の閾値よりも大きい、または第2の閾値よりも小さい、のうちの少なくとも1つである連続するN2個、N1個のソート済み成分MM統計値の最初のN2個、N1個のソート済み成分MM統計の最後のN2個、N1個のソート済み成分MM統計の連続するN2個、N2個の特徴の関数が連続するN2個のソートされた成分MM統計値のうちのそれぞれ1つにそれぞれ関連付けられているN1個のソートされた成分MM統計値のうちの連続するN2個は、最大値、最小値、ゼロ、事前に決められた値に等しい値、第3の閾値よりも大きい、または第4の閾値よりも小さい、のうちの少なくとも1つである連続するN2個、のうちの少なくとも1つに関連付けられたCI成分として選択され、ここで各特徴は、インデックス、ソート前のインデックス、ソート後のインデックス、大きさ、大きさの二乗、位相、実成分、虚成分、導関数、時間導関数、成分間導関数、勾配、時間勾配、成分間勾配、または特徴の先行の特徴のいずれかの単変量関数のうちの少なくとも1つを含み、単変量関数は、線形関数、非線形関数、二乗、立方体、多項式、指数関数、対数関数、逆関数、または有理関数のうちの少なくとも1つを含み、関数は、アグリゲーション、合計、重み付き和、積、加重積、平均、中央値、分散、カバレッジ測定、最大、最小、極大値、または極小値のうちの少なくとも1つを含み、N1個のソートされた成分MM統計値は、インデックス、大きさ、位相、実成分、虚数成分、または特徴の先行の特徴のいずれかの単変量関数のいずれかに関してソートされたN1成分MM統計である、システム。
項H5。項H4のシステムであって、ここで、プロセッサは、N2個の選択されたCI成分に関連するN2個の成分MM統計値の総計に基づいてMM統計値を計算するようにさらに構成され、総計は、代表値、重み関数、重み付き和、重み付き平均、加重中央値、加重積、または先行の総計のいずれかの総計、のうちの少なくとも1つを含むシステム。
項H6。項H5に記載のシステムであって、プロセッサが、N2個の成分MM統計値に対するN2個の重みで重み付けされた量に基づいて総計値を計算することであって、ここで、重み付けされた量は、重み付き平均、加重幾何平均、加重調和平均、または加重中央値のいずれかであり、N2個の重みは、N2個の成分MM統計値の大きさ、位相、または符号のうちの少なくとも1つに基づいて計算される、統計値を計算することをするようにさらに構成されるシステム。
項H7。項H6に記載のシステムであって、重みは成分MM統計値の大きさに関して単調非減少であるシステム。
項H8。項H5のシステムであって、プロセッサは、MM統計値が第5の閾値より大きい場合にオブジェクトの動きのMMを検出することと、TSCIに基づいて計算された動き統計値が第6の閾値よりも大きい場合にオブジェクトの動きを検出することと、MM統計値が第7の閾値より大きく、および動き統計値が第8の閾値より大きい場合に、オブジェクトの存在を決定することと、をするようにさらに構成されたシステム。
項H9。第5の閾値、第6の閾値、第7の閾値および第8の閾値は互いに異なっている、項H8に記載のシステム。
項H10。項H8のシステムであって、前記プロセッサは、MM統計値または動き統計値のうちの少なくとも1つの疑似周期行動を検出することによってオブジェクトの呼吸または心拍を検出すること、MM統計値または動き統計値の疑似周期行動の周波数またはタイミングを分析することによって、オブジェクトの呼吸速度または心拍数を計算すること、呼吸速度、心拍数、MM統計値、または動き統計値のうちの少なくとも1つに基づいて睡眠状態または睡眠分析を計算すること、MM統計値に基づいて動きの速度を計算し、分析することによって、オブジェクトの転倒、状況、状態、変化、または非常事態を検出すること、呼吸、心拍、MM統計値の疑似周期行動、または検出された動きの速度のうちの少なくとも1つに基づいて、オブジェクトの不規則性、状態または状況を検出すること、検出されたMM、検出された動き、検出された呼吸または検出された心拍を分析することによるオブジェクトの活動を検出すること、MM統計値がMMレベルに関連する第1の範囲内にあると判定することによって、オブジェクトの動きの検出されたMMのMMレベルを判定すること、動き統計値が動きレベルに関連する第2の範囲内にあると判定することによって、オブジェクトの検出された動きの動きレベルを判定すること、MM統計値又は動き統計値の疑似周期行動の周波数、タイミング、振幅、位相又は特性を分析することにより、オブジェクトの検出された呼吸の呼吸レベル又は検出された心拍の心拍レベルを判定すること、または、MM統計値、動き統計値、またはMM統計値または動き統計値の擬似周期行動の周波数、タイミング、振幅、位相、または特性のうちの少なくとも1つを分析することによって、オブジェクトの検出された心拍の検出された活動の活動水準を判定すること、のうちの少なくとも1つを実行するようにさらに構成されるシステム。
項H11。項H2のシステムであって、プロセッサはさらに、一連の報告タイムウインドウを判定することと、各報告タイムウインドウに対して、報告タイムウインドウ内のTSCI のN2個の 選択されたCI成分に基づいてN2個のそれぞれのMM統計値を計算することと、N2個のそれぞれのMM統計値に基づいてそれぞれのMM統計値を計算することと、報告タイムウインドウ内のオブジェクトの動きをそれぞれのMM統計値に基づいて監視することと、報告タイムウインドウ内の監視に基づいて報告タイムウインドウ内でタスクを実行することと、報告タイムウインドウ内の監視に基づいて報告タイムウインドウ内で応答を生成することと、をするように構成されるシステム。
項H12。項H11のシステムであって、プロセッサは、各報告タイムウインドウに対して、報告タイムウインドウ内のTSCIのN1個の CI成分に基づいてN1個のそれぞれのMM統計値を計算し、N1個のそれぞれのMM統計値に基づいてそれぞれのMM 統計値を計算するようにさらに構成されたシステム。
項H13。項H12のシステムであって、プロセッサは、各報告タイムウインドウに対して、N1個のそれぞれの成分MM統計値に基づいてN2個のCI成分を適応的に選択することと、選択されたN2個のCI成分に対応するN2個のそれぞれの成分MM統計値に基づくN2個の重みを計算することであって、それぞれの重みは、より大きな重みがより大きな大きさを有する成分MM統計値に関連付けられるように、それぞれの選択されたCI成分に関連付けられる、重みを計算することと、それぞれのMM統計値を、N2個の重みに基づいてN2個のそれぞれの成分MM統計値の重み付き量として計算することとをするようにさらに構成され、重み付き量は重み付き和、重み付き平均、加重幾何平均、加重調和平均、または加重中央値のいずれかである、システム。
項H14。項H11に記載のシステムであって、プロセッサがは、各報告タイムウインドウに対して、報告タイムウインドウ内のTSCIのN1個のCI成分の第1の分析を実行することと、第1の分析に基づいてそれぞれのMM 統計値を計算することと、報告タイムウインドウでそれぞれのMM 統計値の第2の分析を実行することによってオブジェクトの動きを監視することとをするようにさらに構成されたシステム。
項H15。項H14に記載のシステムであって、プロセッサは、各報告タイムウインドウに対して、報告タイムウインドウ内のTSCIのN1個の CI成分の第1の分析によって報告タイムウインドウに対して適応的にN2個の CI成分を選択するようにさらに構成されるシステム。
項H16。N2が、一連の報告タイムウインドウ中に変更されないスカラである項H15に記載のシステム。
項H17。N2が、第1の無線信号を送信する前に予め定められた項H16に記載のシステム。
項H18。プロセッサは、一連の報告タイムウインドウのすべてについて一度、TSCIのN1個の成分に基づいて、スカラであるN2を適応的に決定するようにさらに構成される項H16に記載のシステム。
項H19。項H15に記載のシステムであって、N2が一連の報告タイムウインドウ中に変化する適応的な値であり、プロセッサは、各報告タイムウインドウに対して、報告タイムウインドウ内のTSCIのN1個の CI成分の第1の分析に基づいて、報告タイムウインドウの適応的な値であるN2を計算するようにさらに構成される、システム。
項H20。項H19に記載のシステムであって、プロセッサは、各報告タイムウインドウに対して、以前の報告タイムウインドウまたは近接する報告タイムウインドウのうちの少なくとも1つの適応的な値N2に基づいて報告タイムウインドウの適応的な値N2を計算するようにさらに構成されている、システム。
項H21。項H15に記載のシステムであって、プロセッサは、各報告タイムウインドウに対して、それぞれの以前の報告タイムウインドウまたはそれぞれの近接する報告タイムウインドウのうちの少なくとも1つにおける選択されたCI成分に基づいて、報告タイムウインドウについてN2個のそれぞれのCI成分を適応的に選択するシステム。
項H22。項H15に記載のシステムであって、プロセッサは、各報告タイムウインドウに対して、N1個のそれぞれの成分MM統計値を計算することであって、N1個のそれぞれの成分MM統計値のそれぞれが、報告タイムウインドウ内のそれぞれのCIのそれぞれのCI成分に基づいて計算される、成分MM統計値を計算することと、N1個のそれぞれの成分MM統計値に基づいてN2個のそれぞれのCI成分を選択することと、N2個のそれぞれの選択されたCI成分に関連するN2個のそれぞれの成分MM統計値に基づいてそれぞれのMM統計値を計算することと、をするようにさらに構成された、システム。
項H23。項H22に記載のシステムであって、プロセッサが、各報告タイムウインドウに対して、それぞれのMM統計値を、N2個のそれぞれの選択されたCI成分に関連するN2個のそれぞれの成分MM統計値の総計として計算することであって、総計は、代表値、重み付き和、重み付き量、加重平均、加重中央値、加重積、または先行の総計のいずれかの総計のうちの少なくとも1つを含む、計算することをするようにさらに構成された、システム。
項H24。項H23のシステムであって、総計は、N2個の成分MM統計値に対するN2個の重みで重み付けされた量であり、重み付き量は、加重和、加重平均、加重幾何平均、加重調和平均、または加重中央値のうちの1つであり、プロセッサが、各報告タイムウインドウに対して、N2個の成分MM統計値の大きさ、位相、または符号のうちの少なくとも1つに基づくN2個の重みを計算することであって、N2個の重みの各々は、それぞれの成分MM統計値の大きさに関して単調非減少である、計算することをするようにさらに構成された、システム。
項H25。項H22のシステムであって、プロセッサは、各報告タイムウインドウに対して、報告タイムウインドウをN3個の分析タイムウインドウに細分化することであって、N3は1より大きい整数である、細分化することと、N3個の分析タイムウインドウの各々およびN1個のCI成分の各々について、それぞれの分析タイムウインドウ内のそれぞれのCIのそれぞれのCI成分に基づいて、それぞれのCI成分に関連付けられたそれぞれの一時的な成分MM統計値を計算することと、それぞれがN3個のそれぞれの一時的な成分MM統計値の第1の総計(aggregate)として、N1個のそれぞれの成分MM統計値を計算することと、N1個のそれぞれの成分MM統計値に基づいてN2個のそれぞれのCI成分を選択することと、それぞれのMM統計値を、N2個のそれぞれの選択されたCI成分に関連するN2個のそれぞれの成分MM統計値の第2の総計として計算することと、をするようにさらに構成されており、第1の総計または第2の総計のうちの少なくとも1つは、代表値、加重和、加重平均、加重中央値、または加重積のうちの少なくとも1つを含む、システム。
項H26。項H15のシステムであって、プロセッサは、各報告タイムウインドウに対して、報告タイムウインドウをN3個の分析タイムウインドウに細分化することであって、N3は1より大きい整数である細分化することと、N3個の分析タイムウインドウの各々およびN1個のCI成分の各々について、それぞれの分析タイムウインドウ内のそれぞれのCIのそれぞれのCI成分に基づいて、それぞれのCI成分に関連付けられたそれぞれの一時的な成分MM統計値を計算することと、N1*N3個のそれぞれの一時的な成分MM統計値に基づいてN2個のそれぞれのCI成分を選択することと、N3個の分析タイムウインドウの各々について、N2個のそれぞれの選択されたCI成分に関連付けられたN2個の一時的な成分MM統計値の第1の総計として、それぞれの一時的MM統計値を計算することと、それぞれのMM統計値を、N3個のそれぞれの一時的MM統計値の第2の総計として計算することと、をするようにさらに構成されたシステムであって、第1の総計または第2の総計のうちの少なくとも1つは、代表値、加重和、または加重平均のうちの少なくとも1つを含むシステム。
項H27。項H26のシステムであって、プロセッサは、各報告タイムウインドウに対して、それぞれのMM統計値、N2個の一時的な成分MM統計値、またはN3個のそれぞれの一時的なMM統計値のうちの少なくとも1つに対して第2の分析を実行するようにさらに構成されているシステム。
項H28。無線監視システムの方法であって、無線監視システムの第1のデバイスから、場所の無線マルチパスチャネルを介して第1の無線信号を送信することと、無線監視システムの第2のデバイスによって、無線マルチパスチャネルを介して第2の無線信号を受信することであって、第2の無線信号は、無線マルチパスチャネルおよび場所内のオブジェクトの動きのために第1の無線信号とは異なる、受信することと、第2の無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得することであって、TSCIのそれぞれのチャネル情報(CI)は、N1個のCI成分を含み、N1は1より大きい整数である、取得することと、TSCIのN1個の CI成分の第1の分析に基づいて、N1 個のCI成分からN2 個のCI成分を選択することであって、N2は、N1以下の整数である、選択することと、TSCIのN2個の選択されたCI成分と第一の分析とに基づいて微動(MM)統計値を計算すること、MM統計値の第2の分析に基づいてオブジェクトの動きを監視することと、第1の分析および第2の分析に基づいてタスクを実行することと、タスク、第1の分析および第2の分析に基づいて応答を生成することと、を含む方法。
項H29。項H28に記載の方法であって、TSCIの各CIのそれぞれのCI成分にそれぞれ関連付けられたN1個の成分MM統計値を計算することをさらに含み、N2 個のCI成分は、N1個の成分MM統計値に基づいて選択され、N1個の成分MM統計値の各々は、CI成分の特徴の自己相関関数、CI成分の特徴の内積、またはCI成分の特徴の2つの時間的近傍の2変量関数のうちの少なくとも1つを含み、CI成分の特徴は、CI成分そのもの、CI成分の大きさ、CI成分の位相、または特徴の先行の特徴のいずれかの単変量関数のうちの少なくとも1つを含む、方法。
項H30。無線監視システムの無線デバイスであって、プロセッサと、プロセッサと通信可能に結合されたメモリと、プロセッサと通信可能に結合された受信機とを含み、無線監視システムの追加の無線デバイスは、場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成され、受信機は、無線マルチパスチャネルを介して第2の無線信号を受信するように構成され、第2の無線信号は、無線マルチパスチャネルおよび場所内のオブジェクトの動きのために第1の無線信号とは異なり、プロセッサは、第2の無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得することであって、TSCIのそれぞれのチャネル情報(CI)はN1個の CI成分を含み、N1は1より大きい整数である、取得することと、TSCIのN1個の CI成分の第1の分析に基づいてN1個のCI成分からN2個の CI成分を選択することであってN2は、N1以下の整数である、選択することと、TSCIのN2個の選択されたCI成分と第1の分析に基づいて微動(MM)統計値を計算することと、MM統計値の第2の分析に基づいてオブジェクトの動きを監視することと、第1の分析および第2の分析に基づいてタスクを実行することと、タスク、第1の分析、および第2の分析に基づいて応答を生成することとをするように構成された無線デバイス。
以下の番号付けされた項は、オブジェクトの微動を無線で監視するための実施例を提供する。
項I1。無線センシングシステムの方法/デバイス/システム/ソフトウエアであり、場所の無線マルチパスチャネルを介してシステムのタイプ1異種無線デバイスから無線信号を送信することであって、無線マルチパスチャネルは、場所内のオブジェクトの動きによって影響を受ける、送信することと、無線マルチパスチャネルを通してシステムのタイプ2異種無線デバイスによって無線信号を受信することであって、受信された無線信号は、無線マルチパスチャネル及び場所のオブジェクトの動きのために送信された無線信号とは異なる、受信することと、プロセッサ、メモリおよび命令のセットを用いて、受信した無線信号に基づいて無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得することであって、各チャネル情報(CI)はN1個の CI成分を含みN1は1より大きい、取得することと、TSCIのN1個の CI成分の第1の分析を実行することによって微動(MM)統計値を計算することと、MM統計値の第2の分析を実行することによってオブジェクト動きを監視することと、第1および第2の分析に基づいてタスクを実行することと、 タスクならびに第1および第2の分析に基づいて応答を生成することと、 TSCIのN1 個のCI成分の第1の分析に基づいてN2個の CI成分を選択することであって、N2はN1以下である、選択することと、TSCIのN2個の選択されたCI成分に基づいてMM統計値を計算することと、を含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I2。項I1に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、各々がTSCIのそれぞれのCI成分に関連付けられるN1個の成分MM統計値を計算することと、N1個の成分MM統計値に基づいてN2個の CI成分を選択することと、をさらに含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I3。項I2の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、TSCIのCI成分に関連付けられた成分MM統計値は、CI成分の特徴の自己相関関数、CI成分の特徴の自己共分散関数、CI成分の特徴の時間フィルタリング、CI成分の特徴の時間処理、CI成分の特徴の重み付き平均のうちの少なくとも1つ、TSCIのCI成分のスライディングウインドウに基づく、自己相関関数、自己共分散関数、時間フィルタリング、時間処理、またはCI成分の特徴の重み付き平均のうちの少なくとも1つ、和、重み付き和、差分、重み付き差分、積、重み付き積、商、重み付き商、またはCI成分の特徴の2つの時間的近傍の2変量関数のうちの少なくとも1つ、またはCI成分の特徴の内積、またはクロス積のうちの少なくとも1つを含み、CI成分の特徴は、CI成分そのもの、その大きさ、大きさの二乗、位相、実成分、虚数成分、導関数、時間導関数、成分間導関数、勾配、時間勾配、成分間勾配、または前述の特徴のいずれか1つの単変量関数のうちの少なくとも1つを含む、無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I4。項I2に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、次のいずれかに関連付けられたCI成分としてN2個の選択されたCI成分を選択することであって、次のいずれかは、N1個の成分MM統計値の最初のN2個(すなわち、成分1から成分N2まで、「最初のN2個」はN1個の CI成分の自然なインデックスに関する)、N1個の成分MM統計値の最後のN2個(すなわち、成分N1-N2+1から成分N1まで)、N1個の成分MM統計値の連続するN2個(すなわち、成分kから成分k+N2-1、ここで、1<=k<=N1-N2+1)、N2個の特徴の関数が連続するN2個の成分MM統計値のうちのそれぞれ1つにそれぞれ関連付けられているN1個の成分MM統計値のうちの連続するN2個は、最大値、最小値、ゼロ、事前に決められた値に等しい値、第1の閾値よりも大きい、または第2の閾値よりも小さい、のうちの少なくとも1つである連続するN2個、N1個のソートされた成分MM統計値のうちの最初のN2個(すなわち、成分1から成分2、「最初のN2個」は、N1個のソートされたCI成分の自然なインデックスに関する。)、N1個のソートされた成分MM統計値の最後のN2個(すなわち、成分N1-N2+1から成分N1)、N1個のソートされた成分MM統計値の連続するN2(すなわち、成分kから成分k+N2-1、ただし、1<=k<=N1-N2+1)、N2個の特徴の関数が連続するN2個のソートされた成分MM統計値のうちのそれぞれ1つにそれぞれ関連付けられているN1個のソートされた成分MM統計値のうちの連続するN2個は、最大値、最小値、ゼロ、事前に決められた値に等しい値、第1の閾値よりも大きい、または第2の閾値よりも小さい、のうちの少なくとも1つである連続するN2個、であり、各特徴は、インデックス、ソート前のインデックス、ソート後のインデックス、大きさ、大きさの二乗、位相、実成分、虚数成分、導関数、時間導関数、成分間導関数、勾配、時間勾配、成分間勾配、または先行の特徴のいずれか1つの単変量関数のうちの少なくとも1つを含み、単変量関数は、線形関数、非線形関数、二乗、立方体、多項式、指数関数、逆関数、有理関数のうちの少なくとも1つを含み、関数は、アグリゲーション、和、加重和、内積、ベクトル射影、トリム和、積、加重積、平均、重み付き平均、トリム平均、算術平均、幾何平均、調和平均、調和平均、中央値、パーセンタイル、最頻値、条件付き平均、重心、クラスタ中心、分散、標準偏差、変動量、微分、傾き、勾配、全変動量、絶対変動量、二乗変動量、拡散、分散、変動性、偏差、絶対偏差、二乗偏差、全偏差、発散、範囲、四分位範囲、歪度、尖度、L-モーメント、変動量係数、四分位分散係数、平均絶対差、ジニ係数、相対平均差分、中央値絶対偏差、平均絶対偏差、距離標準偏差、分散係数、エントロピー、分散対平均比、最大対最小比、変動量測定、規則性測定、類似性測定、尤度、確率分布関数、サンプル分布、モーメント発生関数、期待値、期待関数、カバレッジ測定、サポート、距離、変位量、角度、長さ、面積、体積、特性値、代表値、最大、最小、極大又は極小、のうちの少なくとも1つを含み、ここでN1個のソートされた成分MM統計値は、インデックス、大きさ、位相、実成分、虚数成分、または上記の単変量関数のうちの1つに関してソートされたN1成分MM統計である、無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I5。さらに、を含む、項I4に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、N2個の選択されたCI成分に関連するN2個の成分MM統計値の総計としてMM統計値を計算することであって、総計は、代表値、支配的値、フュージョン値、合計値、最大値、最小値、極大値、極小値、和、重み付き和、内積、ベクトル射影、トリム和、積、加重積、平均化、平均、トリム平均、算術平均、幾何平均、調和平均、中央値、パーセンタイル、最頻値、重み付き平均、加重幾何平均、加重調和平均、加重中央値、最大尤度、期待値、条件付き平均、重心、クラスタ中心、または先行の総和のいずれかの総和、のうちの少なくとも1つを含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I6。項I5に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、ここで、総計はN2個の成分MM統計値に対するN2個の重みで重み付けされた量であり、重み付けされた量は、重み付き和、重み付き平均、重み付けされた幾何平均、重み付けされた調和平均、および重み付けされた中央値のうちの1つであり、N2個の成分MM統計値の大きさ、位相、または符号(正/負)のうちの少なくとも1つに基づいてN2個の重みを計算することをさらに含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I7。項I6の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、重みは、成分MM統計値の大きさに関して単調な非減少である無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I8。項I5に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、以下のタスクの少なくとも1つの実行することをさらに含み、以下のタスクは、MM統計値が第1の閾値より大きい場合にオブジェクトの動きのMMを検出することと、TSCIに基づいて計算された動き統計値が第2の閾値よりも大きい場合にオブジェクトの動きを検出することと、MM統計が第3の閾値より大きい場合、または動き統計値が第4の閾値より大きい場合、オブジェクトの存在を計算することと、MM統計値または動き統計値のうちの少なくとも1つの疑似周期行動を検出することによって、オブジェクトの呼吸または心拍を検出することと、MM統計値または動き統計値の疑似周期行動の周波数またはタイミングを分析することによって、オブジェクトの呼吸速度または心拍数を計算することと、呼吸速度、心拍数、MM統計値、または動き統計値のうちの少なくとも1つに基づいて、睡眠状態または睡眠分析を計算することと、MM統計値に基づいて動きの速度を計算し、分析することによって、オブジェクトの転倒、状況、状態、変化、および非常事態を検出することと、少なくとも1つに基づいてオブジェクトの不規則性、状態または状況を、呼吸、心拍、MM統計値の疑似周期行動、検出された動きの速度のうちの少なくとも1つに基づいて検出することと、検出されたMM、検出された動き、検出された呼吸または検出された心拍を分析することによってオブジェクトの活動を検出することと、MM統計値がMMレベルに関連する第1の範囲内にあると判定することによって、オブジェクトの動きの検出されたMMのMMレベルを判定することと、動き統計値が動きレベルに関連する第2の範囲内にあると判定することによって、オブジェクトの検出された動きの動きレベルを判定することと、MM統計または動き統計値の疑似周期行動の周波数、タイミング、振幅、位相または特性を分析することによって、オブジェクトの検出された呼吸の呼吸レベルまたはオブジェクトの検出された心拍の心拍レベルを判定することと、MM統計値、動き統計値、または、MM統計値または動き統計値の疑似周期行動の周波数、タイミング、振幅、位相または特性のうちの少なくとも1つを分析することによって、オブジェクトの検出された心拍の検出された活動の活動レベルを判定することと、MM統計値を、第5の閾値、第2のタイプ1デバイスからタイプ2デバイスに送信された第2の無線信号から取得された第2のTSCIに基づいて計算された第2のMM統計値、またはタイプ1デバイスから第2のデバイスに送信された第3の無線信号から取得された第3のTSCIに基づいて計算された第3のMM統計値のうちの少なくとも1つと比較することによって、オブジェクトまたはオブジェクトの動きの検出されたMMのMM位置を判定することと、動き統計値を、第6の閾値、第2のタイプ1デバイスからタイプ2デバイスに送信された第2の無線信号から取得された第2のTSCIに基づいて計算された第2の動き統計値、またはタイプ1デバイスから第2のタイプ2デバイスに送信された第3の無線信号から取得された第3のTSCIに基づいて計算された第3の動き統計値のうちの少なくとも1つと比較することによって、オブジェクトの動き位置またはオブジェクトの検出された動きを判定することと、MM統計値または動き統計値値の疑似周期行動を、第7の閾値、第2のタイプ1デバイスからタイプ2デバイスに送信された第2の無線信号から取得された第2のTSCIに基づいて計算された第2のMM統計値または第2の動き統計値の第2の擬似周期行動、またはタイプ1デバイスから第2のタイプ2デバイスに送信された第3の無線信号から取得された第3のTSCIに基づいて計算された第3のMM統計値または第3の動き統計値の第3の擬似周期行動、のうちの少なくとも1つと比較することによって、オブジェクトまたはその検出された呼吸の呼吸位置、またはオブジェクトまたはその検出された心拍の心拍位置を判定することと、MM統計値、動き統計値、MM統計値、またはMM統計値または動き統計値の擬似周期的行動を、それぞれの閾値、第2のタイプ1デバイスからタイプ2デバイスに送信された第2の無線信号から取得された第2のTSCIに基づいて計算された第2のMM統計値、または第2の動き統計値、または第2のMM統計値または第2の動き統計値の第2の疑似周期行動の内の少なくとも1つ、または、タイプ1デバイスから第2のタイプ2デバイスに送信された第3の無線信号から取得された第3のTSCIに基づいて計算された第3のMM統計値、第3の動き統計値、第3のMM統計値または第3の動き統計値の第3の擬似周期行動、のうちの少なくとも1つ、とそれぞれ比較することによってオブジェクトの活動位置を判定することと、MM統計値、動き統計値、それらの疑似周期行動、存在、速度、呼吸、心拍、転倒、状況、状態、変化、不規則性、状態、事象、または活動、またはMM統計値または動き統計値に基づくオブジェクトの動きの認識、のうちの少なくとも1つの日々の行動を分析することに基づいて、オブジェクトの日々の活動を監視することと、を含む、無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I9。項I1に記載のであって、一連の報告タイムウインドウを判定することと、各報告タイムウインドウについて、報告タイムウインドウ内のTSCI のN2個の 選択されたCI成分に基づいてN2個の各MM統計値を計算し、N2個のそれぞれのMM統計値に基づいてそれぞれのMM統計値を計算し、各MM統計値に基づいて報告タイムウインドウ内のオブジェクトの動きを監視し、監視に基づいて報告タイムウインドウ内でのタスクを実行し、監視に基づいて報告タイムウインドウ内で応答を生成することと、さらに含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I10。項I9に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、報告タイムウインドウ内のTSCIのN1個の CI成分に基づいてN1個のそれぞれのMM統計値を計算することと、N1 個のそれぞれのMM 統計値に基づいてそれぞれのMM 統計値を計算することと、をさらに含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I11。項10に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、N1個のそれぞれの成分MM統計値に基づいてN2個のCI成分を適応的に選択することと、N2個のそれぞれの成分MM統計値に基づいてN2個の重みを計算することであって、それぞれの重みはそれぞれの選択されたCI成分に関連付けられ、より大きな重みが、より大きな大きさを有する成分MM統計値に与えられる、N2個の重みを計算することと、それぞれのMM統計値をN2個の重みに基づきN2個のそれぞれの成分MM統計値の重み付けされた量として計算することであって、重み付けされた量は、重み付き和、重み平均、加重幾何平均、加重調和平均、および加重中央値のいずれかである、計算することと、をさらに含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I12。項I2に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、報告タイムウインドウ内のTSCIのN1個の CI成分の第1の分析を実行することと、第1の分析に基づいてそれぞれのMM 統計値を計算することと、報告タイムウインドウでそれぞれのMM 統計値の第2の分析を実行してオブジェクト動きを監視することと、をさらに含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I13。項I12に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、報告タイムウインドウ内のTSCIのN1個の CI成分の第1の分析によって、報告タイムウインドウについて適応的にN2 個のCI成分を選択することをさらに含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I14。項I13の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、スカラ値であるN2は、報告タイムウインドウ間で変化しない無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I15。項I14の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、値N2は、事前決定された数値である無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I16。項I15の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、TSCIのN1個の成分に基づいて、スカラ値N2を適応的に1回決定する、無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I17。項13に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、N2の値は、報告タイムウインドウの間で変更され、各報告タイムウインドウに対して、報告タイムウインドウ内のTSCIのN1個のCI成分の第1の分析に基づいて、報告タイムウインドウに対する適応的な値N2を計算することをさらに含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I18。項I17に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、以前の報告タイムウインドウまたは近接する報告タイムウインドウのうちの少なくとも1つの適応値N2に基づいて報告タイムウインドウの適応値N2を計算することと、をさらに含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I19。項13に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、それぞれの以前の報告タイムウインドウまたはそれぞれの近接する報告タイムウインドウの少なくとも1つにおいて選択されたCI成分に基づいて、報告タイムウインドウについてN2個のそれぞれのCI成分を適応的に選択することをさらに含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I20。項13に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、N1個の各成分MM統計値を計算することであって、各成分MM統計値は、報告タイムウインドウ内の各CIの各CI成分に基づいて計算することと、N1個のそれぞれの成分MM統計値に基づいてN2個のそれぞれのCI成分を選択することと、N2個のそれぞれの選択されたCI成分に関連するN2個のそれぞれの成分MM統計値に基づいてそれぞれのMM統計値を計算することと、を含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I21。項I20に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、それぞれのMM統計値を、N2個のそれぞれの選択されたCI成分に関連するN2個のそれぞれの成分MM統計値の総計として計算することを含み、総計は、代表値、支配的値、フュージョン値、総計値、最大値、最小値、極大値、極小値、和、重み付き和、内積、ベクトル射影、トリム和、積、加重積、平均、平均値、トリム平均、算術平均、幾何平均、調和平均、中央値、パーセンタイル、最頻値、重み付き平均、加重幾何平均、加重調和平均、加重中央値、最大尤度、期待値、条件付き平均、重心、クラスタ中心、または前の総計のいずれかの総計のうちの少なくとも1つを含む、無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I22。項I21に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、それぞれの総計は、N2個の成分のMMM統計値に対するN2個の重みを有する重み付けされた量であり、重み付けされた量は、重み付き和、重み付き平均、加重幾何平均、加重調和平均、及び加重中央値のうちの1つであり、N2個のそれぞれの成分MM統計値の大きさ、位相、または符号(正/負)のうちの少なくとも1つに基づいてN2個のそれぞれの重みを計算することをさらに含み、それぞれの重みは、それぞれの成分MM統計値の大きさに関して単調非減少である、無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I23。項I20に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、報告タイムウインドウをN3個の分析タイムウインドウに細分割することであって、N3は、1より大きい細分割することと、N3個の分析タイムウインドウの各々についておよびN1個のCI成分の各々について、それぞれの分析タイムウインドウ内のCIの各々のそれぞれのCI成分に基づいて、それぞれのCI成分に関連付けられたそれぞれの一時的な成分MM統計値を計算することと、それぞれがN3個のそれぞれの一時的成分MM統計値の第1の総計として、N1個のそれぞれの成分MM統計値を計算することと、N1個のそれぞれの成分MM統計値に基づいてN2個のそれぞれのCI成分を選択することと、それぞれのMM統計値を、N2個のそれぞれの選択されたCI成分に関連するN2個のそれぞれの成分MM統計値の第2の総計として計算することとを含み、第1の総計または第2の総計のうちの少なくとも1つは、代表値、支配的値、フュージョン値、総計値、最大値、最小値、極大値、極小値、和、重み付き和、内積、ベクトル射影、トリム和、積、加重積、平均、平均値、トリム平均、算術平均、幾何平均、調和平均、中央値、パーセンタイル、最頻値、最頻値、重み付き平均、加重幾何平均、加重調和平均、加重中央値、最大尤度、期待値、条件付き平均、重心、クラスタ中心、または以前の総計のいずれかの総計のうちの少なくとも1つを含む、無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I24。項13に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、報告タイムウインドウをN3個の分析タイムウインドウに細分割することであって、N3は1より大きい細分割することと、N3個の分析タイムウインドウの各々について、およびN1個のCI成分の各々について、それぞれの分析タイムウインドウ内のCIの各々のそれぞれのCI成分に基づいて、それぞれのCI成分に関連付けられたそれぞれの一時的な成分MM統計値を計算することと、N1*N3個のそれぞれの時間的成分MM統計値に基づいてN2個のそれぞれのCI成分を選択することと、N3個の分析タイムウインドウの各々について、N2個の選択されたそれぞれのCI成分に関連するN2個の一時的成分MM統計値の第1の総計としてそれぞれの一時的MM統計値を計算することと、N3個のそれぞれの一時的なMM統計値の第2の総計としてそれぞれのMM統計値を計算することとを含み、第1の総計または第2の総計のうちの少なくとも1つは代表値、支配的値、フュージョン値、総計値、最大値、最小値、極大値、極小値、和、重み付き和、内積、ベクトル射影、トリム和、積、加重積、平均、平均値、トリム平均、算術平均、幾何平均、調和平均、中央値、パーセンタイル、最頻値、重み付き平均、加重幾何平均、加重調和平均、加重中央値、最大尤度、期待値、条件付き平均、重心、クラスタ中心、または以前の総計のいずれかの総計のうちの少なくとも1つを含む、無線センシングシステムの方法/デバイス/システム/ソフトウエア。
項I25。項I24に記載の無線センシングシステムの方法/デバイス/システム/ソフトウエアであって、それぞれの報告タイムウインドウについて、それぞれのMM統計値、N2個の成分MM統計値、またはN3個のそれぞれの一時的MM統計値のうちの少なくとも1つについて第2の分析を実行することをさらに含む無線センシングシステムの方法/デバイス/システム/ソフトウエア。
上記の特徴は、データ記憶システム、少なくとも1つの入力デバイス、及び少なくとも1つの出力装置からデータ及び命令を受信し、それらにデータ及び命令を送信するように結合された少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能な1つまたは複数のコンピュータプログラムで有利に実施することができる。コンピュータプログラムは、特定のアクティビティを実行したり、特定の結果をもたらすために、コンピュータ内で直接的または間接的に使用される一連の命令である。コンピュータ・プログラムは、コンパイルされた又は解釈された言語を含む任意の形式のプログラミング言語(例えば、C、Java)で書かれてもよく、また、スタンドアロン・プログラムとして又はモジュールとして、構成要素、サブルーチン、ブラウザ・ベースのウェブ・アプリケーション、又はコンピューティング環境での使用に適した他のユニットを含む任意の形式で配置されてもよい。
命令のプログラムを実行するのに適したプロセッサは、例えば、汎用及び専用マイクロプロセッサ、デジタル信号プロセッサ、ならびに任意の種類のコンピュータの単独のプロセッサまたは複数のプロセッサまたはコアのうちの1つを含む。一般に、プロセッサは、読み出し専用可能メモリ又はランダムアクセスメモリ、あるいはその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令及びデータを格納するための1つ以上のメモリである。一般に、コンピュータは、データファイルを記憶するための1つまたは複数の大容量記憶装置も含み、またはそれと通信するように動作可能に結合され、そのような装置は、磁気ディスクのような内部ハードディスク及び取外し可能ディスクな光磁気ディスク、及び光ディスクを含む。コンピュータプログラム命令及びデータを具体的に具現化するのに適した記憶装置は、例として、EPROM、EEPROM、及びフラッシュメモリデバイスなどの半導体メモリデバイス、内部ハードディスクなどの磁気ディスク、及び光磁気ディスク、ならびにCD-ROM及びDVD-ROMディスクなどのリムーバブルディスクを含む、すべての形態の不揮発性メモリを含む。プロセッサ及びメモリは、ASIC(特定用途向け集積回路)によって補完されてもよく、またはASICに組み込まれてもよい。
本開示は、多くの具体的な実施の詳細を含むが、これらは、本開示の範囲またはクレームされ得るものに対する限定として解釈されるべきではなく、むしろ、本開示の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈で本明細書に記載される特定の特徴は、一の実施形態において組み合わせて実施されてもよい。逆に、一の実施形態の文脈で説明される様々な特徴は、複数の実施形態で別々に、または任意の適切な組合せで実装されてもよい。
同様に、動作は、特定の順序で図面に示されているが、これは、望ましい結果を達成するために、そのような動作が、示された特定の順序で、または連続的な順序で実行されること、または示されたすべての動作が実行されることを必要とするものとして理解されるべきではない。特定の状況では、マルチタスキング及び並列処理が有利であり得る。さらに、上記の実施形態における様々なシステム構成要素の分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、説明されるプログラム構成要素及びシステムは、一般に、単一のソフトウエア製品に一緒に統合されてもよく、または複数のソフトウエア製品にパッケージ化されてもよいことを理解されたい。
主題の特定の実施形態を説明した。上述の特徴及びアーキテクチャの任意の組合せは、以下の特許請求の範囲内にあることが意図される。他の実施形態もまた、以下の特許請求の範囲内である。場合によっては、特許請求の範囲に記載されたアクションは、異なる順序で実行されてもよく、依然として望ましい結果を達成することができる。さらに、添付の図面に示されるプロセスは、所望の結果を達成するために、必ずしも示される特定の順序、または連続する順序を必要としない。いくつかの実装形態では、マルチタスキング及び並列処理が有利であり得る。
Claims (20)
- 無線動き監視システムであって、
場所の無線マルチパスチャネルを介して第1の無線信号を送信するように構成された送信機と、
前記無線マルチパスチャネルを介して第2の無線信号を受信するように構成された受信機であって、前記第2の無線信号は前記無線マルチパスチャネル及び前記場所のオブジェクトの動きによって前記第1の無線信号と異なる、受信機と、及び
プロセッサであって、
前記第2の無線信号に基づいて前記無線マルチパスチャネルの時系列チャネル情報(TSCI)を取得することと、
前記TSCIに基づいて時空間情報(STI)を計算することと、
前記TSCI及び前記STIに基づいて前記オブジェクトの前記動きを監視することと、
前記監視に基づいてタスクを実行することと、及び
前記タスクに基づいて応答を発生することと、を行うように構成されたプロセッサと、を含むシステム。 - 請求項1に記載のシステムであって、前記プロセッサはさらに、
前記タスクに関連する複数のサポートされた動作モードから、前記タスクの現在の動作モードになる動作モードを選択することと、
前記TSCI及び前記現在の動作モードに基づいて前記オブジェクトの少なくとも1つの状況を監視することであって、前記応答は前記タスクの前記現在の動作モードに基づいて発生される、監視することと、を行うように構成されているシステム。 - 請求項2に記載のシステムであって、
前記現在の動作モードは、前記システムのユーザが前記場所にいないときは前記場所を監視するためのユーザ不在モードであり、
前記プロセッサはさらに、
前記ユーザ不在モードのもとに、前記オブジェクトが侵入者であることについて、
前記オブジェクトの前記動き監視のための感度設定をすること、
前記システムの前記送信機又は少なくとも1つの他の受信機のうちの少なくとも1つを有効または無効にすること、
タイムテーブルのそれぞれの期間に関連するそれぞれの設定で前記ユーザ不在モードについての前記タイムテーブルを設定すること、
前記ユーザ不在モードについてのパラメータ、閾値及びタイミングを設定すること、
前記ユーザに対する通知の方法とモードを設定すること、又は
前記ユーザ不在モードに関連する前記オブジェクトの前記少なくとも1つの状況の前記監視を設定すること、
のうちの少なくとも1つを実行することと、
前記侵入者の存在を示すパターンについての前記TSCI及び前記STIを監視することと、
前記応答を、
指定されたユーザへ通知を送ること、
警報を発生すること、
アラームアニメーションを発生すること、
警告メッセージを再生すること、
前記侵入者と対話を行うこと、
前記侵入者に正規ユーザの識別情報を示すことを要求すること、
前記システムのサイレンを鳴らすこと、
前記場所を保護すること、
のうちの少なくとも1つを含むように設定することと、を行うように構成されているシステム。 - 請求項2に記載のシステムであって、
前記現在の動作モードは、前記システムのユーザが前記場所に居るときは、前記場所を監視するためのユーザ在宅モードであり、
前記プロセッサはさらに、
前記ユーザ在宅モードのもとに、前記オブジェクトが前記ユーザであることについて、
前記オブジェクトの前記動き監視のための感度設定を設定すること、
前記システムの前記送信機又は少なくとも1つの他の受信機のうちの少なくとも1つを有効又は無効にすること、
タイムテーブルのそれぞれの期間に関連するそれぞれの設定で前記ユーザ在宅モードについての前記タイムテーブルを設定すること、
前記ユーザ在宅モードについてのパラメータ、閾値及びタイミングを設定すること、
前記ユーザに対する通知の方法とモードを設定すること、
前記ユーザ在宅モードに関連する前記オブジェクトの前記少なくとも1つの状況の前記監視を設定することと、
のうちの少なくとも1つを実行することと、
前記場所の前記ユーザの行動を前記TSCI及び前記STIに基づいて監視することと、および
前記応答を、
前記ユーザの位置を特定すること、
前記ユーザの動きを監視すること、
前記ユーザの、日課、習慣又は行動のうちの少なくとも1つを監視すること、
前記ユーザの、前記日課、前記習慣又は前記行動のうちの少なくとも1つからの偏差を監視すること、
追加のユーザを検出すること、
前記追加のユーザの動きを監視すること、
前記追加のユーザの行動を監視すること、
前記ユーザと前記追加のユーザとの間のやりとりを監視すること、
前記ユーザの危険な動きを検出すること、
前記ユーザの転倒動作を検出すること、
前記ユーザの生命兆候を監視すること、
前記ユーザの、呼吸又は心拍のうちの少なくとも1つを監視すること、
前記ユーザの睡眠を監視すること、
前記ユーザの、動きの順序、踊り、運動、歩調、休止又は休憩のうちの少なくとも1つを監視すること、
前記ユーザのジェスチャを検出すること、
前記ユーザとの対話、取り交わし又はやりとりを行うこと、
前記ユーザへ通知、報告又はリマインドすること、
少なくとも1つのユーザデバイスに、前記対話、取り交わし、やりとり、通知、報告又はリマインドをするように指示すること、
前記対話、取り交わし、やりとり、通知、報告又はリマインドにおいて、前記少なくとも1つのユーザデバイスで少なくとも1つのプレゼンテーション又はユーザインタフェースを生成すること、
危険、転倒、イベント、状況、状態、ジェスチャ、前記対話に基づく前記ユーザの命令、取り交わし又はやりとりを検証すること、又は
前記ユーザの前記行動の情報を、他のユーザ、前記他のユーザの他のユーザデバイス、サーバ、クラウドサーバ、ローカルサーバ、ストレージ、ネットワークストレージ、分散ストレージ、ブロックチェーン、データベース又は分析モジュールのうちの少なくとも1つへ通信すること、
のうちの少なくとも1つを含むように設定することと、を行うように構成されているシステム。 - 請求項2に記載のシステムであって、
前記場所にシステムのユーザが不在であってかつ前記ユーザがサイレンを望まないときは、前記現在の動作モードは前記場所を監視するためのビジラントモードであり、
前記プロセッサはさらに、
前記オブジェクトが侵入者であることについて、前記ビジラントモードのもとで、
前記オブジェクトの前記動きを監視するための感度設定を設定すること、
前記システムの前記送信機又は少なくとも1つの他の受信機のうちの少なくとも1つを有効又は無効にすること、
タイムテーブルのそれぞれの期間に関連するそれぞれの設定で前記ビジラントモードについての前記タイムテーブルを設定すること、
前記ビジラントモードに対するパラメータ、閾値及びタイミングを設定すること、
前記ユーザに対する通知の方法とモードを設定すること、又は
前記ビジラントモードに関連する前記オブジェクトの前記少なくとも1つの状況の前記監視を設定すること、
のうちの少なくとも1つを行うことと、
前記侵入者の存在を示すパターンに関する前記TSCI及び前記STIを監視することとであって、前記応答は、
指定されたユーザへ通知を送ること、
アラームを発生すること、
アラームアニメーションを発生すること、
警告メッセージを再生すること、
前記侵入者と対話すること、
前記侵入者に正規ユーザの識別情報を示すことを要求すること、
前記システムのサイレンを鳴らすこと、
前記場所を保護すること、
のうちの少なくとも1つを含む、監視することと、
前記応答を、
アラームを発生すること、
アラームアニメーションを発生すること、
警告メッセージを再生すること、
前記侵入者と対話をすること、
前記侵入者に正規ユーザの識別情報を示すことを要求すること、
前記システムのサイレンを鳴らすこと、
前記場所を保護すること、
のうちの少なくとも1つを除外するように設定することと、
を行うように構成されるシステム。 - 請求項2に記載のシステムであって、
前記場所で前記システムのユーザが不在であって、前記ユーザが検出されたオブシェクトの動きを通知することを望むときは、前記現在の動作モードは前記場所を監視するためのガードモードであって、
前記プロセッサはさらに、
前記オブジェクトが侵入者であることについて、前記ガードモードのもとで、
前記オブジェクトの前記動きを監視するための感度設定を設定すること、
前記システムの前記送信機又は少なくとも1つの他の受信機のうちの少なくとも1つを有効又は無効にすること、
タイムテーブルのそれぞれの期間に関連するそれぞれの設定で前記ガードモードについての前記タイムテーブルを設定すること、
前記ガードモードに対するパラメータ、閾値及びタイミングを設定すること、
前記ユーザに対する通知の方法とモードを設定すること、
前記ガードモードに関連する前記オブジェクトの前記少なくとも1つの状況の前記監視を設定すること、
の内の少なくとも1つを実行することと、
前記侵入者の存在を示すパターンに関する前記TSCI及び前記STIを監視することと、
前記応答を、
前記ユーザへ通知を送ること、
前記ユーザからの確認に基づいてさらにアクションを行うこと、
別の動作モードに切り替えること、のうちの少なくとも1つを含むように設定することと、
を行うように構成されている、システム。 - 請求項2に記載のシステムであって、
前記現在の動作モードは前記場所の監視のためのパワーセービングモードであり、
前記プロセッサはさらに、
前記送信機からの前記第1の無線信号の前記送信、
前記受信機による前記第2の無線信号の前記受信、
前記第2の無線信号に基づく前記TSCIの前記取得、
前記TSCIに基づく前記STIの前記計算、
前記TSCI及び前記STIに基づく前記オブジェクトの前記動きの前記監視、
前記タスクの前記実行、又は
前記タスクに基づく前記応答の前記発生、
の内の少なくとも1つを一時停止又は停止するように構成される、システム。 - 請求項2に記載のシステムであって、
前記現在の動作モードは、(a)前記オブジェクトが前記場所で検知され、前記オブジェクトが未識別であるとき、前記場所を監視するためのユーザチャレンジモード、又は(b)前記オブジェクトがユーザであるときは前記場所を監視するためのユーザ対話モードであり、
前記プロセッサはさらに、
前記ユーザチャレンジモードにおいて前記応答を、
指定されたユーザへ通知を送ること、
警報を発生すること、
アラームアニメーションを発生すること、
警告メッセージを再生すること、
侵入者と対話をすること、
前記オブジェクトに正規ユーザの識別情報を示すことを要求すること、
前記場所を保護すること、
別の動作モードへ切り替えること、
の内の少なくとも1つを含むように設定することと、
前記ユーザ対話モードにおいて前記応答を、
前記ユーザとの対話、取り交わし又はやりとりを行うこと、
前記ユーザへ通知、報告又はリマインドをすること、
少なくとも1つのユーザデバイスに、前記対話、取り交わし、やりとり、通知、報告又はリマインドをするように指示すること、
前記対話、取り交わし、やりとり、通知、報告又はリマインドにおいて、前記少なくとも1つのユーザデバイスで少なくとも1つのプレゼンテーション又はユーザインタフェースを生成すること、
危険、転倒、イベント、状況、状態、睡眠に関係する状態、行動、踊り、運動、歩調、休憩、及び日課、習慣又は行動の内の少なくとも1つからの偏差、動き、ジェスチャ、前記対話に基づく前記ユーザの命令、取り交わし又はやりとり、のうちの少なくとも1つを検証すること、又は
前記ユーザの前記行動の情報を、他のユーザ、前記他のユーザの他のユーザデバイス、サーバ、クラウドサーバ、ローカルサーバ、ストレージ、ネットワークストレージ、分散ストレージ、ブロックチェーン、データベース又は分析モジュールのうちの少なくとも1つへ通信すること、
の内の少なくとも1つを含むように設定することと、
及び
前記応答への反応において前記オブジェクトの前記動きを監視することと、
を行うように構成されているシステム。 - 請求項2に記載のシステムであって、前記プロセッサは、
前記システムのユーザの選択、
前記ユーザの好み、
前記ユーザによるユーザデバイスへの入力、
前記ユーザによるユーザインタフェース(UI)での選択、
前記ユーザによる前記UIでのボタン押下、
前記ユーザによる口頭での選択、
前記ユーザへのプレゼンテーション、
前記UIでのプレゼンテーション、
前記ユーザとの対話、取り交わし又はやりとり、
前記ユーザデバイスに基づく対話、取り交わし又はやりとり、
それぞれが、それぞれのサポートされた動作モードに関連する少なくとも1つの状態を含む有限状態機械(FSM)、
サポートされた動作モードの順序に関連する状態を含む有限状態機械(FSM)、
監視される前記オブジェクトの少なくとも1つの状況、
前記タスク、前記ユーザ、前記オブジェクト又は前記場所の内の少なくとも1つに関連するタイムテーブル、
前記場所での前記ユーザの有無、
他のシステムとの通信、
電源オン、電源停止、システムリセット、又は
前記システムのパワーセービングの必要性、
の内の少なくとも1つに基づいて前記タスクの前記現在の動作モードを、前記動作モードから前記サポートされた動作モードの中の異なる動作モードへ変更するようにさらに構成されているシステム。 - 請求項9に記載のシステムであって、前記プロセッサはさらに、
少なくとも1つの登録された無線検出可能アイテムを前記システムと関連付けることと、
一定期間動きが検出されず、少なくとも1つの登録された無線検出可能アイテムが検出されない場合、ユーザ在宅モードで質問、プレゼンテーション、通知、対話、取り交わし又はやりとりの内の少なくとも1つを発生することであって、前記質問は前記ユーザデバイスへ通信されて、前記ユーザがユーザ不在モードへ切り替える意図があるかどうか尋ねる、発生することと、
前記ユーザが前記切り替えを確認した後又は前記ユーザがタイムアウト時間内に前記切り替えを拒否しなかった後に、前記タスクの前記現在の動作モードを、ユーザ在宅モードからユーザ不在モードへ変更することと、
を行うように構成されているシステム。 - 請求項9に記載のシステムであって、前記プロセッサはさらに、
ユーザ在宅モードにおいて、一定時間、動きが検出されなかった後、前記ユーザ在宅モードからユーザ不在モードへ前記タスクの前記現在の動作モードを変更するように構成されたシステム。 - 請求項9に記載のシステムであって、前記プロセッサはさらに、
少なくとも1つの登録された無線検出可能アイテムを前記システムに関連付けることと、
前記少なくとも1つの登録された無線検出可能アイテムのいずれかが検出されたときに、ユーザ不在モードで、通知、挨拶、対話、取り交わし、やりとり又はユーザを迎えるためのプレゼンテーションを発生することと、
少なくとも1つの前記登録された無線検出可能アイテムのいずれかが検出された場合、前記タスクの前記現在の動作モードを、前記ユーザ不在モードからユーザ在宅モードへ変更することと、を行うように構成されたシステム。 - 請求項9に記載のシステムであって、前記プロセッサはさらに、
ユーザ不在モードで動きが検出された場合、警報を発生する前に所定の期間待機することと、
前記ユーザが前記現在の動作モードを、ユーザ在宅モードからユーザ不在モードへ切り替えることを選択した場合、前記現在のモードを前記ユーザ不在モードへ変更する前に所定の期間待機することと、
前記ユーザが、前記現在の動作モードをユーザ在宅モードからユーザ不在モードへ切り替えることを選択するが、所定の期間内に前記場所を離れなかった場合、前記現在の動作モードを前記ユーザ不在モードへ変更する前に追加の所定の期間待機することと、を行うように構成されたシステム。 - 請求項1に記載のシステムであって、前記プロセッサはさらに、
緊急メッセージを受信することと、
前記緊急メッセージに基づいて、
前記システムのユーザと対話、取り交わし、又はやりとりすること、
前記ユーザへ通知、報告又はリマインドすること、
前記ユーザの少なくとも1つのユーザデバイスに前記対話、取り交わし、やりとり、通知、報告またはリマインドをするように指示すること、
前記対話、取り交わし、やりとり、通知、報告又はリマインドにおいて、前記少なくとも1つのユーザデバイスで少なくとも1つのプレゼンテーション又はユーザインタフェースを生成すること、
前記緊急メッセージ、危険、転倒、イベント、状況、状態、ジェスチャ、前記対話に基づく前記ユーザの命令、取り交わし又はやりとりと関連する緊急事態を検証すること、
避難を開始すること、
緊急警報システムを作動させること、
緊急時対応システムを発動すること、
非常灯をつけること、
緊急放送システムを起動すること、
緊急メッセージシステムを開始すること、
優先通知システムをアクティブにすること、
サイレンを鳴らすこと、
警報音を鳴らすこと、
視覚的警報を表示すること、
アニメーション化されたアラームを動かすこと、
前記システムのユーザ、1人以上の指定された連絡担当者の内の少なくとも1か所へ通知又はパーソナライズされたアラームを発生すること、
緊急サービスを要求すること、又は
前記場所、指定された位置、前記ユーザの自宅の住所又は前記ユーザの現在の位置の内の少なくとも1つへ、少なくとも1人の第1対応者の派遣を要求すること、
の内の少なくとも1つの緊急行動を実行することと、を行うように構成されているシステム。 - 請求項1に記載のシステムであって、
前記送信機は第1のデバイスに配置され、
前記受信機は第2のデバイスに配置され、
前記第1のデバイス又は前記第2のデバイスの内の少なくとも1つは前記システムにおいて1つの役割を持つデバイスであり、
前記プロセッサは、ソフトウエアアップデート、ファームウェアアップデート、ソフトウエアアップグレード、又は無線ソフトウエアアップグレードの内の少なくとも1つに基づいて、前記システムの前記第1のデバイス及び前記第2のデバイスの内の1つを変更するようにさらに構成され、
前記第1のデバイス又は前記第2のデバイスの内の少なくとも1つは、有線ネットワーク又は無線ネットワークの内の少なくとも1つと通信可能に接続され、
前記第1のデバイス又は前記第2のデバイスの内の少なくとも1つは、可聴音警報発生器、対話発生器、会話エンジン、サイレン、ベル、スピーカ、ステータスインジケータ、経路音響インジケータ、位置音響インジケータ、ライト、安全のための通路灯、着色灯、警報灯、警告灯、または時限灯、の内の少なくとも1つを含み、
前記プロセッサは、前記第1のデバイス及び前記第2のデバイスを、
前記第2のデバイスを前記第1のデバイスより前に設定する、
前記第1のデバイスを前記第2のデバイスより前に設定する、
前記第1のデバイスと前記第2のデバイスとを同時に設定する、
の内の1つの方法で設定するようにさらに構成され、
前記プロセッサは、
前記第1のデバイス、前記第1のデバイスに関連する場所、前記第1のデバイスに関連する領域、
前記第2のデバイス、前記第2のデバイスに関連する場所、前記第2のデバイスに関連する領域、
前記第1のデバイス及び前記第2のデバイスのペア、
前記ペアに関連する場所、
前記ペアに関連する領域、
の内の少なくとも1つに対するラベルを生成するようにさらに構成され、
前記ラベルは、
前記システムの設定段階の間の前記システムのユーザの入力、
前記設定段階の後の前記TSCI、前記STI、前記タスク、又は前記応答、
の内の少なくとも1つに基づいて生成され、
前記場所は、
マルチフロア構造のフロア、
前記マルチフロア構造の複数のフロア、
構造物の内部空間、
前記構造物にすぐ隣接する外部空間、
の内の少なくとも1つを含み、
前記プロセッサは、
前記システムのユーザのユーザデバイスのユーザインタフェース(UI)に対する前記監視に関連するプレゼンテーションの生成、及び
前記UIを介する前記ユーザからのユーザ入力の取得、
を行うようにさらに構成されたシステム。 - 請求項1に記載のシステムであって、
前記タスクは、
プレゼンテーション、リマインド、通知、報告、対話、取り交わし、又はスケジュールされたイベント、未読メッセージ、未読ニュースアイテム、スケジュール、タイムテーブル、加入チャネルのニュース、ユーザ設定、イベント、目覚まし時計、又は状況の内の少なくとも1つに基づくやりとり、の内の少なくとも1つを発生すること、又は、
前記オブジェクトの前記動き、前記STI、計画、タイムテーブル、状態、検出されたイベント、認識された状況、又はトリガイベント、のうちの少なくとも1つに基づいて前記システムのモードを変更すること、
の内の少なくとも1つを含み、
前記プレゼンテーション、前記リマインド、前記通知、前記報告、前記対話、前記取り交わし、前記やりとり、又は前記モードの内の少なくとも1つは、ユーザのユーザデバイス、前記ユーザのスマートフォン、前記ユーザのタブレット、前記ユーザのコンピュータ、スマートスピーカ、表示付きのスマートデバイス、スピーカ付きのスマートデバイス、キーフォブ、スマートウオッチ、スマートウェアラブル、スマートディスプレイ、スマート機器、スマートデバイス、スマート煙検出器、スマートドアベル、スマートテレビ、又は小型監視カメラの内の少なくとも1つへ通信され、
前記リマインド、前記通知、前記報告、前記対話、前記取り交わし、前記やりとり、又は前記モードの内の少なくとも1つは、時刻、曜日、月日、年月日、ユーザデバイスの位置、前記システムの状態、機械学習に基づく予測、又は前記TSCI、前記STI又は前記STIに基づいて計算された分析、の内の少なくとも1つの履歴の記録の分析の内の少なくとも1つに基づいて判定される、システム。 - 請求項1に記載のシステムであって、前記プロセッサは、
前記TSCI、前記STI又は前記TSCI又は前記STIに基づいて計算された分析の内の少なくとも1つを、閾値又はパラメータの内の少なくとも1つに基づいてフィルタすることと、
前記TSCI又は前記STIに基づいてパターンを認識することと、
最も高い権限レベルと権利とで前記システムを制御及び管理するためのスーパーユーザ(SU)に対するSUアカウントを生成することと、
前記システムを制御及び管理するためのそれぞれのレギュラーユーザ(RU)に対するRUアカウントを生成することと、
前記SUによって、
前記RUアカウントに関連する前記RUの情報を入力すること、
前記RUアカウントに、前記TSCIと前記STIとに基づいて前記オブジェクトの前記動きを監視することに関するそれぞれの権限レベルと権利とを割り当てることであって、前記それぞれの権限レベルと権利とは前記SUの前記最も高い権限レベルと権利より小さいか等しい、割り当てること、又は
前記タスク又は前記タスクのサブタスクへアクセスする前記RUアカウントを割り当てること、
の内の少なくとも1つに基づいて各RUアカウントを設定することと、を行うようにさらに構成されているシステム。 - 請求項1に記載のシステムであって、前記システムはサードパーティのシステムと相互運用可能であり、
前記プロセッサは、
前記STI、前記オブジェクトの前記動きの前記監視、前記タスクの情報、又は前記応答の内の少なくとも1つを前記サードパーティのシステムと共有することと、
前記サードパーティのシステムのデバイスを、前記システムにおいて追加の無線信号を前記受信機へ送信する追加の送信機として有効化又は構成することと、を行うようにさらに構成されているシステム。 - 請求項1に記載のシステムであって、前記プロセッサは、
前記TSCI及び前記STIに基づいて前記オブジェクトの前記動きの場所を計算することと、
前記TSCI及び前記STIに基づいて、リアルタイムでオブジェクト動きがあるかどうか判定することと、
期間に関連する、前記STI、前記タスク又は前記応答、前記動きの前記監視、前記動きの場所、前記STI又は前記TSCIに基づいて計算された動きの分析、の内の少なくとも1つの履歴、トレンド又は時間的概要のプレゼンテーションを生成することと、を行うようにさらに構成されているシステム。 - 無線監視システムの方法であって、
場所の無線マルチパスチャネルを介して非同期に複数の無線信号を送信することであって、各無線信号は前記無線監視システムの複数の第1のデバイスのそれぞれの1つから送信される、送信することと、
前記無線監視システムの複数の第2のデバイスによって前記無線マルチパスチャネルを介して前記複数の無線信号を受信することであって、各受信された無線信号は、前記無線マルチパスチャネル及び前記場所のオブジェクトの動きのためにそれぞれの前記送信された無線信号とは異なる、受信することと、
それぞれの受信された無線信号に基づいて、前記無線マルチパスチャネルの複数の時系列チャネル情報(TSCI)のそれぞれを取得することと、
それぞれのTSCIに基づいて、複数の時空間情報(STI)をそれぞれ計算することと、
前記複数のTSCIの第1のサブセット及び前記複数のSTIの第1のサブセットに基づいて前記オブジェクトの前記動きの第1の状況を監視することと、
前記複数のTSCIの第2のサブセット及び前記複数のSTIの第2のサブセットに基づいて前記オブジェクトの前記動きの第2の状況を監視することと、
前記動きの前記第1の状況を監視することに基づいて第1のタスクを実行することと、
前記動きの前記第2の状況を監視することに基づいて第2のタスクを実行することと、
前記第1のタスクに基づいて第1の応答を生成することと、
前記第2のタスクに基づいて第2の応答を生成することと、を含む方法。
Applications Claiming Priority (20)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063087122P | 2020-10-02 | 2020-10-02 | |
US63/087,122 | 2020-10-02 | ||
US202063090670P | 2020-10-12 | 2020-10-12 | |
US63/090,670 | 2020-10-12 | ||
US202063104422P | 2020-10-22 | 2020-10-22 | |
US63/104,422 | 2020-10-22 | ||
US202063112563P | 2020-11-11 | 2020-11-11 | |
US63/112,563 | 2020-11-11 | ||
US202163209907P | 2021-06-11 | 2021-06-11 | |
US63/209,907 | 2021-06-11 | ||
US17/352,185 US11906659B2 (en) | 2015-07-17 | 2021-06-18 | Method, apparatus, and system for wireless micro motion monitoring |
US17/352,185 | 2021-06-18 | ||
US17/352,306 | 2021-06-20 | ||
US17/352,306 US11940550B2 (en) | 2015-07-17 | 2021-06-20 | Method, apparatus, and system for wireless monitoring to ensure security |
US17/492,598 | 2021-10-02 | ||
US17/492,598 US11448728B2 (en) | 2015-07-17 | 2021-10-02 | Method, apparatus, and system for sound sensing based on wireless signals |
US17/492,599 | 2021-10-02 | ||
US17/492,599 US11448727B2 (en) | 2015-07-17 | 2021-10-02 | Method, apparatus, and system for human recognition based on gait features |
US17/492,642 US11639981B2 (en) | 2015-07-17 | 2021-10-03 | Method, apparatus, and system for movement tracking |
US17/492,642 | 2021-10-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024021088A true JP2024021088A (ja) | 2024-02-16 |
Family
ID=80442725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021163689A Pending JP2024021088A (ja) | 2020-10-02 | 2021-10-04 | セキュリティを保証するための無線監視のための方法、装置、およびシステム |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP3978949A3 (ja) |
JP (1) | JP2024021088A (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019089432A1 (en) | 2017-10-30 | 2019-05-09 | The Research Foundation For The State University Of New York | System and method associated with user authentication based on an acoustic-based echo-signature |
EP4351014A3 (en) * | 2021-10-06 | 2024-05-15 | Oscar Chi-Lim Au | Method, apparatus, and system for wireless sensing measurement and reporting |
WO2023126727A1 (en) * | 2021-12-31 | 2023-07-06 | Cognitive Systems Corp. | Methods and systems for the allocation of orthogonal frequency division multiple access resource units to a sensing measurement |
US11769506B1 (en) * | 2022-05-09 | 2023-09-26 | Amazon Technologies, Inc. | Response orchestrator for natural language interface |
CN114942688B (zh) * | 2022-05-26 | 2023-05-26 | 浙江机电职业技术学院 | 一种基于边云协同的无人机监控模块数据自适应上传方法 |
CN115278384A (zh) * | 2022-06-15 | 2022-11-01 | 青海宛东生态环境开发有限公司 | 一种具有监测功能的工业无线网络装置 |
CN115273229A (zh) * | 2022-07-21 | 2022-11-01 | 联合汽车电子有限公司 | 一种动作识别方法、装置、存储介质、传感器及车辆 |
WO2024037930A1 (en) | 2022-08-19 | 2024-02-22 | Signify Holding B.V. | A method of and a device for operating a fall detection system and a fall detection system |
EP4365629A1 (en) * | 2022-11-03 | 2024-05-08 | Nxp B.V. | A method for operating a uwb communication unit as a radar device |
CN116106895B (zh) * | 2023-02-21 | 2024-01-26 | 郑州大学 | 基于视觉与无线感知融合的多点微动智能监测系统与方法 |
CN116858753B (zh) * | 2023-05-16 | 2024-05-24 | 中国水产科学研究院东海水产研究所 | 一种水体藻类浓度的测量方法及系统 |
CN116367305B (zh) * | 2023-06-01 | 2023-08-29 | 华中师范大学 | 一种基于掩码自编器和信号引导的无线定位方法及系统 |
CN117575369B (zh) * | 2024-01-16 | 2024-03-29 | 山东建筑大学 | 一种乡村建筑群能耗预测方法及系统 |
CN117854008A (zh) * | 2024-01-16 | 2024-04-09 | 浙江威星电子系统软件股份有限公司 | 基于数字孪生的智慧运动场馆管理系统 |
CN117934468B (zh) * | 2024-03-22 | 2024-06-18 | 泰安中联水泥有限公司 | 基于图像处理的篦冷机故障预测方法及系统 |
CN118039068A (zh) * | 2024-04-09 | 2024-05-14 | 南京康尼机电股份有限公司 | 一种人体运动功能综合评估方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200302187A1 (en) * | 2015-07-17 | 2020-09-24 | Origin Wireless, Inc. | Method, apparatus, and system for people counting and recognition based on rhythmic motion monitoring |
-
2021
- 2021-10-04 EP EP21200823.9A patent/EP3978949A3/en active Pending
- 2021-10-04 JP JP2021163689A patent/JP2024021088A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3978949A2 (en) | 2022-04-06 |
EP3978949A3 (en) | 2022-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3978949A2 (en) | System and method for wireless motion monitoring | |
EP3739356A1 (en) | Method, apparatus, and system for wireless tracking, scanning and monitoring | |
US20200302187A1 (en) | Method, apparatus, and system for people counting and recognition based on rhythmic motion monitoring | |
US11639981B2 (en) | Method, apparatus, and system for movement tracking | |
US11408978B2 (en) | Method, apparatus, and system for vital signs monitoring using high frequency wireless signals | |
US11391830B2 (en) | Method, apparatus, and system for qualified wireless sensing | |
EP3695783A1 (en) | Method, apparatus, and system for wireless gait recognition | |
US11940550B2 (en) | Method, apparatus, and system for wireless monitoring to ensure security | |
JP7278682B2 (ja) | 周期的な動き検出とモニタのためのシステム及び方法 | |
US11500058B2 (en) | Method, apparatus, and system for wireless proximity sensing | |
EP3869223A1 (en) | System and method for wireless material sensing based on multipath channel information | |
US20200202117A1 (en) | Method, apparatus, and system for wireless gait recognition | |
US11448728B2 (en) | Method, apparatus, and system for sound sensing based on wireless signals | |
US11770197B2 (en) | Method, apparatus, and system for accurate wireless monitoring | |
US20200322868A1 (en) | Method, apparatus, and system for improving topology of wireless sensing systems | |
US11448727B2 (en) | Method, apparatus, and system for human recognition based on gait features | |
EP4162865A1 (en) | System and method for radio-based sleep monitoring | |
US11592913B2 (en) | Method, apparatus, and system for wireless writing tracking | |
US11181486B2 (en) | Method, apparatus, and system for wireless material sensing | |
JP2021166704A (ja) | 高周波信号を使用した無線バイタル監視の方法、装置、およびシステム | |
US20220291328A1 (en) | Method, apparatus, and system for speech enhancement and separation based on audio and radio signals | |
US11953618B2 (en) | Method, apparatus, and system for wireless motion recognition | |
US20230090763A1 (en) | Method, apparatus, and system for voice activity detection based on radio signals | |
EP4102247A1 (en) | System and method for radio-assisted sound sensing | |
JP2023058446A (ja) | 無線センシング、モニタリング及びトラッキングのための方法、装置及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220131 |
|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A242764 Effective date: 20220214 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20240613 |